CN108717554A - 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 - Google Patents

Abstract

本发明公开了一种甲状腺肿瘤病理组织切片图像分类方法及其装置，所述方法包括：获取已分类的甲状腺肿瘤病理组织切片原始图像集；在每张原始图像中自动截取若干张含有细胞的区域图像作为子图像集；将子图像集全部或部分作为训练集；构建初步卷积神经网络模型；用训练集训练初步卷积神经网络模型，获得成熟卷积神经网络模型；用成熟卷积神经网络模型对待分类的甲状腺肿瘤病理组织切片图像进行分类。采用高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，在细胞较多的区域实施自动化图像截取，从而实现全自动的细胞图像分类和癌症诊断，可以大量减少医生在审理病理组织切片时候的工作量，提高诊断准确率。

Description

一种甲状腺肿瘤病理组织切片图像分类方法及其装置

技术领域

本发明涉及人工智能和图片识别领域，特别涉及一种基于深度学习的全自动甲状腺肿瘤病理组织切片图像分类方法及其装置。

背景技术

深度学习是目前人工智能领域用于图像识别的最契合、应用最广泛的算法，其模仿人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。

在医疗诊断过程中，对手术切除后的肿瘤标本进行病理诊断是肿瘤诊断的金标准，诊断结果将影响手术后的后续治疗方案。目前绝大部分的病理组织切片是由人工制作，并由病理医生结合自身长期积累的临床诊断经验来分析和判断。甲状腺癌是我国近年来发病率升高最快的肿瘤之一，现为我国城市女性第四位最常见的恶性肿瘤，也是30岁以下女性最常见的恶性肿瘤。对手术切除的甲状腺肿瘤标本进行病理组织学检查是诊断甲状腺癌的金标准。

甲状腺肿瘤病理类型复杂，主要包括良性肿瘤和恶性肿瘤(即甲状腺癌)，其中，良性甲状腺肿瘤包括结节性甲状腺肿和甲状腺腺瘤；甲状腺癌包括***状癌、滤泡性癌、髓样癌和未分化癌，不同的病理类型有不同的术后治疗方案，病理诊断误诊将造成严重后果。

病理组织学检查是通过手术中切除甲状腺肿瘤并制备成病理切片标本，置于光学显微镜下直接观察癌细胞，是诊断甲状腺癌的“金标准”。病理组织学检查可全面了解甲状腺癌的分型、分期、***转移情况等，为术后辅助治疗和预后提供依据。提高甲状腺癌病理诊断准确率改善甲状腺癌预后的关键。

病理组织学方法诊断甲状腺癌的缺点主要是：病理切片图片的结果判断是由病理医生肉眼观察所得，这种人工阅片方法与病理医生自身经验、工作状态等主观因素密切相关，容易产生误差。甲状腺癌的组织病理学分型繁多，病理标本切片形态复杂，对于经验不足的病理医生更容易漏诊、误诊。同时，病理医生要负责检查切片上的所有可见的生物组织，而每个病人都会有许多切片，在进行100倍放大时每个切片都有100多亿的像素，因此人工阅片工作量极大，容易受阅片者主观情绪和疲劳阅片等因素的影响。而且，不同的病理学家对同一病人可能给出相当不同的诊断结论。因此，这种高度依赖人为因素的病理组织学诊断方法具有主观差异性，加上其工作强度大、时间成本高且诊断不一致性等缺点，很大程度上会影响甲状腺癌的早期诊治从而影响患者预后。另外，培养合格专业的病理医生需要进行长期的专业培训和实践过程，培养周期长，且易受当前社会经济、文化等社会因素的影响，意味着我国乃至全世界病理医生数量“供不应求”、职业缺口大的严峻形势亟需解决。

因此，利用深度学习技术对甲状腺癌病理图片进行处理和研究，能为医生提供有用的参考信息，辅助医生及时地对甲状腺肿瘤患者做出准确的诊断。

近年来，深度学习，特别是卷积神经网络在图像识别领域产生了巨大的突破。经过用海量的图片进行训练后，卷积神经网络在图片分类任务上的准确率超过了人类。医院拥有大量的甲状腺癌病理图片，拥有大量的专业医师对其良恶性进行准确的标注，对甲状腺癌病理切片图片采用深度学习方法进行甲状腺癌诊断可以取得很好的效果。

深度学习需要大样本高质量的图像作为训练样本，这往往需要对原图进行截图、扩增等预处理。在一张完整的甲状腺肿瘤病理切片图像中，往往混杂有大量不同的组织细胞，如肿瘤组织、正常甲状腺组织、炎症细胞、血管、肌肉组织等，在现有的深度学习中，无论是训练样本还是检验样本一般都采用病理医师人工截取的方式，截取最典型的肿瘤区域以供训练或检验。这种方法费时费力，而且受医师经验等人为因素影响，甚至截图的医师已经做了潜在的诊断，因此虽然这些截图方法能使深度学习做出很好的判断结果，但不具有临床实用性。根据肿瘤在病理切片图片中的形态特点进行机器识别，设计全自动的图片截取方法，能使得深度学习对病理切片图片的判断更加客观，且具有实用价值。

发明内容

有鉴于现有技术中存在的上述问题，本发明提供了一种基于深度学习的全自动甲状腺肿瘤病理组织切片图像分类方法及其装置，可以自动识别病理组织切片，判断出是否患有癌症以及癌症的种类，本发明可以减少筛选切片时的人工工作量，并提高诊断的准确性。

本发明所述一种甲状腺肿瘤病理组织切片图像分类方法包括：

获取已分类的甲状腺肿瘤病理组织切片原始图像集；

在每张原始图像中自动截取若干张含有细胞的区域图像作为子图像集；

将子图像集全部或部分作为训练集；

构建初步卷积神经网络模型；

用训练集训练初步卷积神经网络模型，获得成熟卷积神经网络模型；

用成熟卷积神经网络模型对待分类的甲状腺肿瘤病理组织切片图像进行分类。

其中，从每张原始图像中截取的子图像数量至少为5张，优选为10-20张。

优选地，所述已分类的甲状腺肿瘤病理组织切片原始图像在每一个分类中至少具有50张，更优选为至少具有60张，或70张，或80张，或90张，或100张。

深度学习训练需要大量的训练数据支持才能达到满意的分类效果，而在医疗领域，数据集由于隐私性的保护，往往很难收集到达到训练的要求的大量数据，由于获取到的数据集数量有限，我们需要对数据集进行扩增。现有的扩增手段主要是由专业的医生在病理切片图像中寻找肿瘤细胞较多的区域进行截取，这样一张病理切片原始图像可以扩增出若干张含有肿瘤细胞的子图像，但这种扩增方法十分费时，操作繁琐，鉴于此点，本发明提供了一种全自动截取扩增图像数据集的方法，无需再由人工进行一张张地截取。

因此，本发明提供了一种甲状腺肿瘤病理组织切片图像自动截取方法，所述方法采用高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，然后通过检测到的细胞的坐标关系，在细胞较多的区域实施自动化截取。

优选地，所述细胞较多的区域可以是有20个以上，或15个以上，或10个以上，或5个以上的细胞。

由于病理组织切片都是经过染色处理的，细胞核都呈现深色斑点状，而癌症的基本判别依据就是来自于细胞的形态和分布。因此本发明采用图像处理中的高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，然后通过检测到的细胞的坐标关系，在细胞较多的区域实施自动化截取。

进一步，关于检测细胞的算法原理如下:图像与某一个二维函数进行卷积运算实际就是求取图像与这一函数的相似性。同理，图像与高斯拉普拉斯函数的卷积实际就是求取图像与高斯拉普拉斯函数的相似性。而高斯拉普拉斯函数特征跟深色斑点十分相似，当图像中的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大。

具体地，所述甲状腺肿瘤病理组织切片图像自动截取方法包括步骤：

1)对原始图像每一个像素点f(x,y)用方差为σ的高斯核进行高斯滤波，去除原始图像中的噪点；

2)将原始图像每一个像素点f(x,y)与高斯核函数G(x,y,σ)求卷积：

L(x,y；σ)＝f(x,y)*G(x,y；σ)；

3)求其拉普拉斯变换:

4)遍历原始图像中每个点(x,y)，算出所对应的拉普拉斯变换的响应，设定第一阈值，找出响应值大于所述第一阈值的响应点，以这些响应点作为原始图像在尺度σ下的斑点集合；

5)设定第二阈值，以任意一个斑点为中心，在一定区域范围内计算斑点数，当斑点数大于所述第二阈值时，截取该一定区域范围作为子图像。

进一步，还包括步骤6)通过更改σ，求得多尺度下的斑点集合，从而获得多尺度下的子图像；其中，σ为自然数，优选的取值范围为[1,10]。

优选地，所述第一阈值为最大响应点的响应值的60-90％，进一步优选为70-80％，最佳为70％或75％或80％。

优选地，所述第二阈值为整张原始图像中斑点数的8-12％，最优为10％。

优选地，所述斑点集合中的斑点数量为200-300个。

优选地，所述子图像的尺寸为448×448像素。

优选地，所述子图像中的细胞数量至少为10个，或15个，或20个，或更多；其中所述细胞选自正常细胞、腺瘤细胞、甲状腺结节肿细胞、***状癌细胞、滤泡性癌细胞、髓样癌细胞、未分化癌细胞中的一种或几种。

进一步优选地，对每张截取后获得的子图像进行数据扩增，用扩增后的子图像对初步卷积神经网络模型进行训练；所述数据扩增的方式为翻转和/或旋转所述子图像；进一步优选地，所述翻转为水平或垂直翻转，所述旋转为0度或90度或180度或270度旋转；水平翻转可以将子图像集扩大为原来的两倍，旋转0度、90度、180度、270度可以将原来的子图像集扩大四倍，所以在经过水平翻转和旋转之后可以将原来的图像数据集扩大为八倍。

优选地，用训练集训练初步卷积神经网络模型的方式为将训练集分批次进行的批量训练，优选的每批次子图像的数量为5-10张，更优选为6-8张。批量训练的好处在于不用每次都把全部的数据集放入神经网络，而是一批一批放入，利用SGD随机梯度下降的方法更新神经网络参数，这样可以节约训练时占用的内存。另外，学习率优取为0.001，dropout率优取为0.4。

优选地，所述子图像数据扩增的方式为在线数据扩增，即在训练时采用批量训练的方法，对每一批中的每张子图像进行随机的水平翻转和/或旋转，当训练的迭代次数足够大的时候，八种变化方式的每一种都会得到训练。这种在线扩增的方法相对于传统的训练之前预先扩增的方法，优势在于可以减少的扩增数据集所占用的存储空间。

优选地，本发明采用VGG-19或Inception_resnet_v2构建初步卷积神经网络模型；VGG-19是一种用大量3×3的小型卷积核和2×2的最大池化层构建出的深度神经网络，具有很好的分类效果；而Inception_resnet_v2是一种将*** Inception V3和Resnet结合起来深度神经网络，具有更好的多尺度提取特征能力。

优选地，在所述用训练集训练初步卷积神经网络模型之前先对选好的卷积神经网络，如VGG-19或Inception_resnet_v2，进行预训练，即利用迁移学习的概念，在ImageNet上进行预训练从而初始化参数；这样做的好处在于加快收敛速度，缩小训练的时间，也可以提升最后的分类准确度。

进一步，由于获取的组织切片原始图像可能存在杂点或者噪音，所以本发明采用均值滤波对图像进行去噪处理。由于每一张病理组织切片染色的程度不一，图像的对比度存在差异，为了不让对比度的差异对训练过程产生影响，需要对训练集中的子图像做对比度归一化。优选地，本发明用到的具体方法就是对每张子图像每个像素都减去该图像RGB三个通道的平均值。

进一步，需要对输出层的种类根据细胞分类的数量进行修改。

优选地，所述用成熟卷积神经网络模型对待分类的甲状腺肿瘤病理组织切片图像进行分类包括：将原始的待分类的甲状腺肿瘤病理组织切片图像进行自动截取若干张有细胞的区域图像作为待分类子图像集，然后再将这些待分类子图像放入成熟卷积神经网络进行分类；进一步还可包括：对分类结果进行统计，全部是正常细胞则判断为正常，如只有良性肿瘤或结节肿细胞则判断为良性肿瘤或结节肿，如有癌症细胞则以最多的癌细胞分类结果作为癌症的最终判断结果。

优选地，所述分类包括但不限于以下类型：正常、腺瘤、甲状腺结节肿、***状癌、滤泡性癌、髓样癌、未分化癌。

优选地，本发明还包括：用测试集测试所述卷积神经网络模型，其中，所述测试集是已分类的甲状腺肿瘤病理组织切片原始图像集经自动截取后的子图像集；在本发明的一种优选实施例中，在已分类的甲状腺肿瘤病理组织切片原始图像集中自动截取若干张含有细胞的区域图像作为子图像集，然后将获得的子图像集按一定比例形成训练集和测试集；所述比例优选为6-8:1。优选地，由同一组织切片原始图像截取的子图像分在同一集下，这是为了防止来自同一组织切片原始图像的子图像同时出现在测试集和训练集中，出现过拟合现象，造成准确度的不精确。

优选地，当测试集测试的正确率高于一定数值，如95％或99％时，成熟卷积神经网络模型构建完成，否则将测试集加入训练集中，再次训练网络，更新参数。

进一步，本发明还提供了一种用于甲状腺肿瘤病理组织切片图像分类的装置，包括：模型构建模块和模型使用模块。

其中，所述模型构建模块包括：

第一图像自动截取单元：用于获取已分类的甲状腺肿瘤病理组织切片原始图像集并自动截取若干张含有细胞的区域图像作为第一子图像集；

训练集形成单元：用于从子图像集中形成训练集；

训练单元：用于对初步卷积神经网络模型进行训练，从而获得成熟卷积神经网络模型，并将所述成熟卷积神经网络模型导出至模型使用模块中的分类单元；优选地，所述训练单元采用批量训练的方式进行训练，进一步还可对每批子图像进行自动化扩增。

优选地，所述模型构建模块还包括：第一图像预处理单元，用于对第一子图像集做对比度归一化处理。

优选地，所述模型构建模块还包括：测试单元，用于测试形成的成熟卷积神经网络模型的准确率；进一步需要配备测试集形成单元。

其中，所述模型使用模块包括：

第二图像自动截取单元：用于获取待分类的甲状腺肿瘤病理组织切片原始图像，并自动截取若干张含有细胞的区域图像作为第二子图像集；

分类单元：包含所述成熟卷积神经网络模型，用所述成熟卷积神经网络模型对第二子图像集进行分类。

优选地，所述模型使用模块还包括：第二图像预处理单元，用于对第二子图像集中的图像做对比度归一化处理。

本发明具有以下有益技术效果：

第一，本发明完全实现了全自动癌症的分类诊断，可以大量减少医生在审理病理组织切片时候的工作量，只需要收集到病理切片，就可以获得诊断结果，可以更好地辅助医生。对于一些医疗条件较差的地区，不再需要顶尖的癌症专家，利用本发明方法及其装置即可完成癌症的分类诊断。

第二，本发明具有较高的诊断准确率，可以减少医生在肉眼诊断中的误诊率，提高癌症的确诊率，为病人争取治疗时间。

第三，本发明具有较高的泛化性，不仅仅适用于甲状腺癌症的诊断，可供医院应用到多种癌症分类诊断中去。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明全自动化截取子图像集数据扩增的流程图；

图2是本发明利用VGG-19进行分类的模型示例流程图；

图3是本发明用于甲状腺肿瘤病理组织切片图像分类的装置的***框图。

具体实施方式

实施例1获取甲状腺肿瘤病理组织切片原始图像集并分类

本发明运用的病理切片数据集来源于实际的应用场所，数据集来自于复旦大学附属肿瘤医院，是从切除甲状腺肿瘤制备成的病理切片标本中获得的，医院将这类病理组织切片视为是诊断癌症的重要诊断依据，因此将这类数据集用来构建自动化诊断***具有重要的意义。我们在获取到切片数据集之后需要先对其进行分类，一共有7类，分别是:正常、腺瘤、甲状腺结节肿，***状癌、滤泡性癌、髓样癌和未分化癌，分别标注为0-6，这是一个将抽象信息转换为数字化信息的编码过程。其中正常的数据集有病理切片原始图像93张，腺瘤的数据集有病理切片原始图像84张，甲状腺结节肿的数据集有病理切片原始图像209张，***状癌的数据集有病理切片原始图像69张，滤泡性癌的数据集有病理切片原始图像76张，髓样癌的数据集有病理切片原始图像101张，未分化癌的数据集有病理切片原始图像155张，一共有632张。

实施例2全自动化截取子图像集数据扩增

深度学习的训练需要大量的训练数据支持才能达到满意的分类效果，而在医疗领域，数据集由于隐私性的保护，往往很难收集到大量达到训练的要求。由于获取到的数据集数量有限，仅有632张,但是该***需要对7个类进行分类，所以我们需要对数据集进行扩增。之前的扩增手段主要是由专业的医生在病理切片中寻找肿瘤细胞较密集的区域进行截取，按照这样的方法，一张病理切片可以扩增出若干张含有一定肿瘤细胞的图片，但这种扩增方法十分费时，操作繁琐，专业医生往往没有足够的时间，因此本实施例采用全自动的截取扩增方法，医生无需再一张张地进行截取扩增。

由于获取到的病理组织切片都是经过染色处理的，细胞核都呈现深色斑点状，而癌症的基本判别依据就是来自于细胞的形态和分布，因此本发明采用图像处理中的高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，然后通过检测到的细胞的坐标关系，在细胞较多的区域实施自动化截取。

关于检测细胞核的算法原理如下:图像与某一个二维函数进行卷积运算实际就是求取图像与这一函数的相似性。同理，图像与高斯拉普拉斯函数的卷积实际就是求取图像与高斯拉普拉斯函数的相似性。而高斯拉普拉斯函数特征跟深色斑点十分相似，当图像中的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大。

具体算法包括以下步骤:

1)对原始图像每一个像素点f(x,y)用方差为σ的高斯核进行高斯滤波，去除原始图像中的噪点；

2)将原始图像每一个像素点f(x,y)与高斯核函数G(x,y；σ)求卷积：

L(x,y；σ)＝f(x,y)*G(x,y；σ)；

3)求其拉普拉斯变换:

4)遍历图像中每个点(x，y)，算出所对应的拉普拉斯变换的响应，设定第一阈值为最大响应点的响应值的70％，找出响应值大于该第一阈值的响应点，即可求得在尺度σ下的斑点集合；本实施例中斑点集合中的斑点数量为200-300个；

5)在检测到的斑点中，我们每次随机取一个斑点，设定第二阈值，然后以该斑点为中心，在448×448的范围内的斑点数如果大于该第二阈值，就把该448×448的区域作为扩增的一张子图像；该第二阈值可自行调整，以获得最佳扩增效果，在本实施例中取值为整张图片斑点数的10％。

6)通过更改σ，求得多尺度下的斑点集合；在本实施例中，σ取值为[1,10]的自然数，也就是分别检测了尺度从1到10的不同尺度下的深色斑点。

按照这样的方法，每张图片都可以扩增为若干张子图像，扩增为10-20张效果最好，扩增的数量太多会造成训练集存在大量重复的图片。

本实施例中所述的全自动化截取子图像集数据扩增的流程如图1所示，在原始图像中先自动检测细胞核，找到细胞核较多的区域进行自动化截取，获得多张子图像，从而完成图像扩增。

通过本实施例的自动化截取数据扩增方法，在每张病理组织切片原始图像中截取多张448×448的子图像，可保证每张扩增后的子图像含有一定数量的细胞，以便于放入神经网络提取到特征。

在获取到自动化截取扩增的数据集后，对数据集进行划分，本实施例利用交叉验证的理论，将数据集随机按照7:1比例分配，分别分配为训练集和测试集。同时需要保证从同一组织切片图像中的截取的子图像在同一集下，这是为了防止来自同一组织切片图像的不同子图像同时出现在测试集和训练集中，出现过拟合现象，造成准确度的不精确。具体的分配方法是将图像名和对应的标签存储在csv文件里，训练集和测试集分别对应一个csv文件。

实施例3利用翻转和/或旋转对训练集进行第二次数据扩增

对训练集的第二次数据扩增是基于子图像的水平翻转和/或旋转进行的，水平翻转可以将数据集扩大为原来的两倍，旋转0度、90度、180、270度则可以将原来的训练集扩大四倍，所以在经过水平翻转和旋转之后可以将原来的数据集扩大为八倍。

对训练集的第二次扩增是采用的是在线数据扩增的方式，这种在线扩增的方法相对于传统的训练之前预先扩增的方法，优势在于可以减少的扩增数据集所占用的存储空间。只需要采用分批训练的方法，在训练时对每一批训练中的每张子图像进行随机的水平翻转和/或旋转，当训练的迭代次数足够大的时候，八种变化方式的每一种都会得到训练。

实施例4初步卷积神经网络的构建

本实施例使用VGG-19和Inception_resnet_v2分别构建深度学习神经网络来对病理组织切片子图像进行分类，其中，VGG-19是一种用大量3×3的小型卷积核和2×2的最大池化层构建出的深度神经网络，具有很好的分类效果，利用其进行分类的模型示例流程图如图2所示。而Inception_resnet_v2是一种将*** Inception V3和Resnet结合起来深度神经网络，具有更好的多尺度提取特征能力。本实施例在这两种卷积神经网络上分别构建分类模型，测试它们对分类的效果，对比结果。

在使用VGG-19的使用需要将输入的图片调整为224×224，Inception_resnet_v2所对应的输入图片尺寸则为299×299，并且需要对最后的输出层的种类进行修改，将其改为7。

本实施例利用迁移学习的概念，凭借VGG-19和Inception_resnet_v2的泛化性，利用它们的预训连模型(在ImageNet已经训练好的模型)来对VGG-19和Inception_resnet_v2初始化参数。这样做的好处在于加快收敛速度，缩小训练的时间，也可以提升最后的分类准确度。具体的做法是在将已训练的好的checkpoints文件载入需要被训练的神经网络。

实施例5训练数据的预处理

由于获取的组织切片原始图像可能存在杂点或者噪音，所以本实施例采用均值滤波对图像进行去噪处理。由于每一张病理组织切片染色的程度不一，图像的对比度存在差异，为了不让对比度的差异对训练过程产生影响，需要对训练集中的子图像做对比度归一化。本实施例用到的具体方法就是对每张子图像每个像素都减去该图片RGB三个通道的平均值。

实施例6卷积神经网络的训练

本实施例采用批量训练的方法，选择的批量的大小为8张子图像，批训练的好处在于不用每次都把全部的数据集放入神经网络，而是一批一批训练，利用SGD随机梯度下降的方法更新神经网络参数，这样可以节约训练时占用的内存。本发明采用学习率为0.001，使用较小的学习率，是为了找到更优秀的解，达到好的分类效果。本实施例采用较低的dropout率为0.4，是为了防止过拟合现象。

实施例7全自动化诊断癌症

在获取到了训练好的成熟神经网络模型之后，本实施例采用全自动的方法进行诊断，医生获得甲状腺病理组织切片，首先用本发明的图像分类装置自动截取组织切片原始图像，生成若干张含有一定量细胞的448×448像素的子图像，然后将这些图像放入所述成熟神经网络模型中进行分类，最后将分类的结果进行统计，出现最多的分类结果即为该张组织切片的判断结果。

实施例8用于甲状腺肿瘤病理组织切片图像分类的装置

本发明用于甲状腺肿瘤病理组织切片图像分类的装置，其***框图如图3所示。

该装置包括模型构建模块和模型使用模块，所述模型构建模块包括：第一图像自动截取单元、第一图像预处理单元、训练/测试集形成单元、训练单元、测试单元；所述模型使用模块包括：第二图像自动截取单元、第二图像预处理单元、分类单元。

在构建卷积神经网络模型时，该装置首先会在第一图像自动截取单元中检测已分类的组织切片原始图像，然后自动生成若干张含有一定量细胞的448×448像素的子图像，作为第一子图像集；然后由第一图像预处理单元归一化处理第一子图像集中的子图像，再由训练/测试集形成单元形成训练集和测试集；然后由训练单元对选定并预训练过的卷积神经网络进行训练，其采用批量训练的方式，在每批训练前，对该批中的子图像进行自动化水平翻转和/或旋转扩增；训练后获得成熟卷积神经网络模型，在测试单元中用测试集对该成熟卷积神经网络模型进行测试，当测试正确率达到一定标准以上时，认为成熟卷积神经网络模型构建完成，并导出该成熟卷积神经网络模型至模型使用模块的分类单元中。

在使用成熟卷积神经网络模型时，该装置首先会在第二图像自动截取单元中检测待分类的组织切片原始图像，然后自动生成若干张含有一定量细胞的448×448像素的子图像，作为第二子图像集；然后由第二图像预处理单元对子图像进行归一化预处理；最后将预处理后的子图像放入分类单元中的成熟卷积神经网络模型中进行分类。

实施例9仿真实验

为了测试本发明的用于甲状腺肿瘤病理组织切片图像分类的装置的性能，本发明进行了以下仿真实验:

仿真条件：

本实施例采用的数据集样本来自于复旦大学附属肿瘤医院所提供的甲状腺肿瘤组织切片，实验目的是利用卷积神经网络以及深度学***均精确度来评判该装置的性能。本实施例所采用的计算机环境为：操作***为ubuntu 16.04版本，Python、Opencv、Tensorflow、gcc编译，以及GTX 1080独立显卡。

实验结果:

分析实验结果可以看到VGG-19普遍比Resnet-inception-v2准确率要高，这是因为Resnet-inception-v2更适用于多尺度图片的训练，而VGG-19则更用于尺寸相对单一的训练集，而病理组织切片都是由同一分辨率生成的图像，所以在尺度上较为单一，因而VGG-19的实验扩增样本的平均准确度较为好，达到了97.03％，最终原图的诊断准确度达到了98.26％。这说明该装置在VGG-19有着较为出色的分类效果。虽然Resnet-inception-v2诊断准确率达到了99.13％，但扩增样本的平均准确度只有93.78％，这说明每张图像的扩增样本错分类比较均匀，没有造成最后原图的误诊。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种甲状腺肿瘤病理组织切片图像分类方法，其特征在于，包括：

获取已分类的甲状腺肿瘤病理组织切片原始图像集；

在每张原始图像中自动截取若干张含有细胞的区域图像作为子图像集；

将子图像集全部或部分作为训练集；

构建初步卷积神经网络模型；

用训练集训练初步卷积神经网络模型，获得成熟卷积神经网络模型；

用成熟卷积神经网络模型对待分类的甲状腺肿瘤病理组织切片图像进行分类。

2.如权利要求1所述的甲状腺肿瘤病理组织切片图像分类方法，其特征在于，所述在每张原始图像中自动截取若干张含有细胞的区域图像作为子图像集的具体方法为：采用高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，然后通过检测到的细胞的坐标关系，在细胞较多的区域实施自动化截取。

3.如权利要求1所述的甲状腺肿瘤病理组织切片图像分类方法，其特征在于，所述在每张原始图像中自动截取若干张含有细胞的区域图像作为子图像集的具体方法包括步骤：

1)对原始图像每一个像素点f(x,y)用方差为σ的高斯核进行高斯滤波，去除原始图像中的噪点；

2)将原始图像每一个像素点f(x,y)与高斯核函数G(x,y,σ)求卷积：

L(x,y；σ)＝f(x,y)*G(x,y；σ)；

3)求其拉普拉斯变换:

4)遍历原始图像中每个点(x,y)，算出所对应的拉普拉斯变换的响应，设定第一阈值，找出响应值大于所述第一阈值的响应点，以这些响应点作为原始图像在尺度σ下的斑点集合；

5)设定第二阈值，以任意一个斑点为中心，在一定区域范围内计算斑点数，当斑点数大于所述第二阈值时，截取该一定区域范围作为子图像。

4.如权利要求1所述的甲状腺肿瘤病理组织切片图像分类方法，其特征在于，还包括对每张截取后获得的子图像进行翻转和/或旋转的数据扩增。

5.一种甲状腺肿瘤病理组织切片图像自动截取方法，其特征在于，所述方法采用高斯拉普拉斯算子特征去匹配病理组织切片中的细胞核从而找到细胞的位置，然后通过检测到的细胞的坐标关系，在细胞较多的区域实施自动化截取。

6.如权利要求5所述的甲状腺肿瘤病理组织切片图像自动截取方法，其特征在于，所述方法包括步骤：

1)对原始图像每一个像素点f(x,y)用方差为σ的高斯核进行高斯滤波，去除原始图像中的噪点；

2)将原始图像每一个像素点f(x,y)与高斯核函数G(x,y,σ)求卷积：

L(x,y；σ)＝f(x,y)*G(x,y；σ)；

3)求其拉普拉斯变换:

4)遍历原始图像中每个点(x,y)，算出所对应的拉普拉斯变换的响应，设定第一阈值，找出响应值大于所述第一阈值的响应点，以这些响应点作为原始图像在尺度σ下的斑点集合；

5)设定第二阈值，以任意一个斑点为中心，在一定区域范围内计算斑点数，当斑点数大于所述第二阈值时，截取该一定区域范围作为子图像。

7.如权利要求6所述的甲状腺肿瘤病理组织切片图像分类方法，其特征在于，还包括步骤6)通过更改σ，求得多尺度下的斑点集合，从而获得多尺度下的子图像。

8.一种用于甲状腺肿瘤病理组织切片图像分类的装置，其特征在于，包括：模型构建模块和模型使用模块；

其中，所述模型构建模块包括：

第一图像自动截取单元：用于获取已分类的甲状腺肿瘤病理组织切片原始图像集并自动截取若干张含有细胞的区域图像作为第一子图像集；

训练集形成单元：用于从子图像集中形成训练集，优选还可进一步对训练集进行自动化扩增；

训练单元：用于对初步卷积神经网络模型进行训练，从而获得成熟卷积神经网络模型；

其中，所述模型使用模块包括：

第二图像自动截取单元：用于获取待分类的甲状腺肿瘤病理组织切片原始图像，并自动截取若干张含有细胞的区域图像作为第二子图像集；

分类单元：用所述成熟卷积神经网络模型对第二子图像集进行分类。

9.一种甲状腺肿瘤超声图像识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。