CN113658174A - 基于深度学习和图像处理算法的微核组学图像检测方法 - Google Patents

Abstract

本发明涉及细胞微核检测技术领域，提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，包括：将预处理后的真阳性微核组学图像输入基于深度学习的微核组学检测模型进行训练以拟合微核组学各指标的特征，并分别获取训练好的各指标的模型参数，将预处理后的待测微核组学图像输入训练好的微核组学检测模型，得到输出图像，采用图像处理算法比较输出图像的微核区域面积和真阳性微核组学图像的微核区域面积，剔除不符合预定面积关系的假阳性微核样本，统计筛选后的微核组学各指标数据并形成可视化分析报告，实现对微核组学的大规模、多指标、高效率、高精度、可视化的检测和患癌风险的有效评估。

Description

基于深度学习和图像处理算法的微核组学图像检测方法

技术领域

本发明涉及细胞微核检测技术领域，具体涉及一种基于深度学习和图像处理算法的微核组学图像检测方法。

背景技术

微核组学试验可综合展示DNA损伤与修复、染色体断裂或丢失、基因***不稳定性、双着丝粒染色体、凋亡、坏死和细胞生长抑制等多种有害结局终点，其中的核质桥NPBs与微核MNi的比值可以作为判断染色体断裂丢失及遗传损伤修复的生物标志物，双核淋巴细胞微核率是2000个双核细胞中含有微核的细胞比例，因此双核细胞BN的检测对微核计数至关重要。同时，微核组学不仅广泛应用于综合检测外源性化学物质(如药品、食品添加剂、化妆品、环境污染物等)的遗传作用类型和模式，还在患癌的风险筛查和风险预测中具有重要意义。

微核组学计数的传统方法包括人工镜检计数、流式细胞仪计数以及计算机图像分析***计数。镜检计数是目前普遍采用的计数方法，通过工作人员在显微镜下不断的移动视野甚至更换涂片来计算微核细胞率，存在效率低、主观性强、难以标准化、复现困难等问题；流式细胞仪计数方法主要分为骨髓细胞的流式检测、外周血的流式检测和体外微核试验的流式检测三个方面，主要存在仪器价格昂贵、分析过的样本无法保存等问题；基于图像处理算法的计算机图像分析***计数方法利用显微镜、摄像机等硬件获取图像，然后采用锐化等滤波算法对图像进行降噪，边缘检测等预处理，接着基于微核大小、形状、纵横比、相对凹凸深度、颜色等特征规则使用改进分水岭、种子区域生长、迭代阈值分割等算法提取感兴趣区域，从而实现微核计数，然而微核组学数据特征复杂多变，难以灵活快速设计一种或几种图像处理算法实现微核组学各指标的精确计数。同时，由于微核面积大小需要满足主核面积大小的1/20到1/3，如果仅仅使用目标检测模型进行检测，在检测后没有对检测出的目标通过图像处理的方法做二次验证，不能准确地筛选出待测微核组学图像中的真阳性微核组学图像，无法保证检测精度。

近年来，深度学习在医学图像分析中取得了明显进展，为医学的研究提供了新的手段和技术。定性分析是对显微图像性质特点进行概括，并没有形成量化指标，因此定性分析的结果不可复现，且受主观因素影响较大。定量分析是指依据统计数据，建立数学模型，从而计算微核组学的各种量化指标。传统机器学习算法和深度学习算法都可用于微核图像的定量分析，但依赖手工设计特征表达，即提取图像的形状、大小和纹理等特征并作挑选，剔除冗余特征得到最优特征集。并且，微核组学各指标手工特征的选取依赖于大量的专业知识，特别是微核与核芽突的共同特征较多，微核、核芽突、核质桥每一种指标在形状、颜色、大小、折光性等方面都有不同的特点，甚至指标类别相同的条件下，在大小、结构、颜色深浅上仍有一些不同，手工设计的提取规则难以涵盖图像的全面特征，导致其使用上饱受局限。

深度学习通过卷积、池化等逐级网络结构，可以将大量标注的微核组学图像从输入层传递到输出层，网络自主学习获取微核图像的高维以及低维特征。相比于其它机器学习算法，深度学习算法对大数据样本的特征提取能力更强。基于实验室不断积累的微核组学大数据显微图像，深度微核分析能充分发挥在大数据样本上的优势，推动微核组学定量定性分析的发展，辅助推动微核试验在癌症早期筛查与风险评估等研究中的应用。

因此基于上述理由，本发明提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，实现对微核组学的大规模、多指标、高效率、高精度、可视化的检测和患癌风险的有效检测。

发明内容

针对上述现有技术中存在的技术问题，本发明提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，包括：将预处理后的真阳性微核组学图像输入基于深度学习的微核组学检测模型进行训练以拟合微核组学各指标的特征，并分别获取训练好的各指标的模型参数，将预处理后的待测微核组学图像输入训练好的微核组学检测模型，得到输出图像，采用图像处理算法比较输出图像的微核区域面积和真阳性微核组学图像的微核区域面积，剔除不符合预定面积关系的假阳性微核样本，统计筛选后的微核组学各指标数据并形成可视化分析报告，实现对微核组学的大规模、多指标、高效率、高精度、可视化的检测和患癌风险的有效检测。

本发明提供了一种基于深度学习和图像处理算法的微核组学图像检测方法,包括：

将预处理后的真阳性微核组学图像输入微核组学检测模型进行训练，并分别获取训练好的所述真阳性微核组学图像各指标的模型参数，所述微核组学检测模型采用深度学习技术拟合微核组学各指标的位置；将预处理后的待测微核组学图像输入训练好的所述微核组学检测模型，得到输出图像；采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积，并剔除不符合预定面积关系的假阳性微核样本；统计筛选后的微核组学各指标数据并形成可视化分析报告。

进一步地，所述真阳性微核组学图像各指标包括：微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN。

进一步地，所述预处理包括：将所述真阳性微核组学图像和\或所述待测微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN的位置进行标注，并分别对所述微核组学图像执行图像切块和数据增强操作。

进一步地，所述标注的方法包括：将所述真阳性微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN利用人工分别进行不同色彩的标注。

进一步地，所述图像切块操作包括：按照预定尺寸采用滑动窗口方法对整幅微核组学图像进行切块，获得若干子图像块，所述预定尺寸采用512*512像素。

进一步地，所述数据增强操作，包括：对所述子图像块执行旋转、移动、翻转、缩放操作，并保存所述数据增强操作前后的所有所述子图像块数据。

进一步地，所述微核组学检测模型包括：采用深度卷积神经网络模型和一阶段目标检测模型，并添加SeLayer注意力机制。

进一步地，采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积包括：采用图像处理算法分别对所述输出图像和所述真阳性微核组学图像计算区域内主核面积和微核面积进行分割，并分别对所述主核面积和所述微核面积进行比较。

进一步地，所述筛选后的微核组学各指标数据包括：所述各指标的数量、所述微核细胞率、所述核质桥NPBs与所述微核的比值。

进一步地，所述细胞微核组学图像采用淋巴细胞微核组学图像。

本发明实施例提供的技术方案至少带来以下有益技术效果：

本发明提供的方法弥补了传统微核检测方法费时费力等缺点，实现了微核组学大规模、多指标、高效率、高精度以及可视化的分析要求，有助于提高患癌风险的有效检测，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种基于深度学习和图像处理算法的微核组学图像检测方法的流程图；

图2根据本发明实施例检测方法微核组学检测模型进行训练方法的流程图；

图3是根据本发明实施例提供的一种获取各指标微核区域面积的检测效果示意图；

图4是根据本发明实施例提供的一种获取微核MNi的指标微核区域面积的检测效果示意图；

图5是根据本发明实施例提供的一种微核组学检测精度效果示意图；

图6是根据本发明实施例提供的微核组学图像各指标形态示意图；

图7是本发明实施例提供的labelimg图像标注软件的示意图；

图8是根据本发明实施例提供的一种微核组学检测模型SEnet注意力机制结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例以及实施例中的特征可以相互组合。本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如包含了一系列步骤S或单元的过程、方法、***、产品或设备不必限于清楚的列出的那些步骤S或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤S和单元。

为使本技术领域的人员更好地理解本发明方案，下面结合本发明实施例中的附图，对本发明实施例中的方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得所有其他实施例，都应当属于本发明保护的范围。

实施例一

本发明实施例提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，图1是根据本发明实施例检测方法的流程图，如图1所示，包括：

步骤S1、将预处理后的真阳性微核组学图像输入微核组学检测模型进行训练，并分别获取训练好的所述真阳性微核组学图像各指标的模型参数，所述微核组学检测模型采用深度学习技术拟合微核组学各指标的位置。图2是根据另一个示例性实施例检测方法微核组学检测模型进行训练方法的流程图，如图2所示：

在一个示例性实施例中经过以下步骤，实现所述微核组学各指标的位置拟合：

S11、获取划分的不同类别的微核组学图像训练数据集；

S12、对所述训练数据集进行扩充；

S13、将扩充后的所述训练数据集输入深度学习模型进行训练；

S14、获取划分的不同类别的微核组学图像测试数据集；

S15、将所述测试数据集加载到所述深度学习模型；

S16、得到训练好的微核检测结果输出。

具体实施过程中，通过在数据库、互联网中或者人工筛选方式尽可能多地获取真阳性微核组学图像，并将该图像进行预处理，例如通过将真阳性微核组学图像中包括微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN等指标的位置进行标注，以便对各指标进行区分和辨识，该标注方法通过从实验室中筛选出符合要求的微核组学图像，由经验丰富的医学人员标出每张微核组学图像中包含微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN的位置，其中各指标位置用不同颜色的框标出。由于所采集的微核组学图像存在图像尺寸较大的问题，需要对所述微核组学图像进行图像切块以及数据增强等预处理操作。具体的，对所述微核组学图像进行图像切块操作包括：例如利用大小为512*512像素的滑动窗口方法对整幅微核组学图像进行切块，遍历整幅微核组学图像，获得所述微核组学图像的子图像块。并对该图像执行数据增强操作，例如对所述子图像块执行旋转、移动、翻转、缩放操作，并保存所述数据增强操作前后的所有所述子图像块数据，达到数据样本扩充的目的。

优选的，本次训练的参数设置为：epoch＝300，batchsize＝32。通过迭代方式对数据进行训练，得到的模型对测试数据集进行预测，并且计算深度学习模型在测试数据集上的准确率。实验中，Loss用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。随着训练次数的增多，训练数据集的Loss值在不断下降。随着Loss值下降范围趋于稳定时，模型训练成功。

进一步，得到训练好的真阳性微核组学图像各指标的模型后提取各指标的模型参数，实现对真阳性微核组学各指标的位置的拟合。

步骤S2、将预处理后的待测微核组学图像输入训练好的所述微核组学检测模型，得到输出图像。

具体的，可通过自动扫描显微镜、数字切片扫描仪、CCD光学显微镜等采集装置获取待测微核组学图像，并按照上述本实施例中的真阳性微核组学图像进行预处理的方法进行预处理。

进一步，将预处理后的待测微核组学图像输入训练好的所述微核组学检测模型，同时输入上述步骤中训练好的各指标的所述模型参数，得到的输出图像可视为与真阳性微核组学图像相似度较高的图像。

本发明实施例中，利用深度学习技术构建目标检测模型，训练用于检测微核组学指标的深度卷积神经网络模型，该模型能够获取执行预处理操作后的微核组学图像中微核组学各指标位置，从而可以统计各指标的数量，统计速度快，提高了检测的效率。

步骤S3、采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积，并剔除不符合预定面积关系的假阳性微核样本。图3是根据本发明实施例提供的一种获取各指标微核区域面积的检测效果示意图，图4是根据本发明实施例提供的一种获取微核MNi的指标微核区域面积的检测效果示意图，如图3 和图4所示：

可以理解的是，在统计微核组学各指标数量之前需要先进行微核筛选工作。由于微核的面积与主核面积的预定面积关系在一定范围内，提取目标检测模型输出的微核细胞目标区域，使用图像处理算法分割计算微核面积、主核面积，剔除不满足面积关系的假阳性微核样本，保证微核组学各指标数据统计的准确性。

需要说明的是，图像处理分割算法包括但不限于：基于阈值的分割方法，基于区域的分割方法，基于边缘的分割方法，基于特定理论如聚类分析的分割方法，基于基因编码的分割方法，基于小波变换的分割方法，基于神经网络的分割方法。本实施例使用OTSU算法(大津法或最大类间方差法)进行微核细胞图像的二值化分割。

具体的，例如采用微核面积大小占主核面积大小的1/20到1/3 范围的预定面积关系，如果仅仅使用目标检测模型进行检测，在检测后没有对检测出的目标通过图像处理的方法做二次验证，不能准确地筛选出待测微核组学图像中的真阳性微核组学图像，无法保证检测精度。因此，在本实施例中，通过采用图像处理算法剔除不符合预定面积关系的假阳性微核样本的方法进一步提高了微核组学图像检测的精度。

步骤S4、统计筛选后的微核组学各指标数据并形成可视化分析报告。图5是根据本发明实施例提供的一种微核组学检测精度效果示意图，如图5所示:

具体实现过程中，可先检验微核组学各指标数据的精度，例如本实施例中微核MNi,核质桥NPBs,核芽突NBUD，三类平均检测精度0.982，正常双核细胞BN检测精度0.961，然后再统计筛选后的微核组学各指标数据并形成可视化分析报告。

具体的，筛选后的微核组学各指标数据包括：所述各指标的数量、所述微核细胞率、所述核质桥NPBs与所述微核的比值。其中，根据微核组学各指标数据统计检测的1000个双核细胞中含微核的双核细胞个数即为微核细胞率，核质桥NPBs数量与微核数量之比即为核质桥NPBs与微核比值，根据这些信息，形成可视化分析报告进行患癌风险的评估。

为了更清晰地理解并应用所述基于深度学习和图像处理算法的微核组学图像检测方法，进行以下公开示例。

需要说明的是，本发明公开所保护的范围不限于以下示例。

本公开实施例提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，包括：将预处理后的真阳性微核组学图像输入基于深度学习的微核组学检测模型进行训练以拟合微核组学各指标的位置，并分别获取训练好的各指标的模型参数，将预处理后的待测微核组学图像输入训练好的微核组学检测模型，得到输出图像，采用图像处理算法比较输出图像的微核区域面积和真阳性微核组学图像的微核区域面积，剔除不符合预定面积关系的假阳性微核样本，统计筛选后的微核组学各指标数据并形成可视化分析报告，进而评估患癌风险。

本发明实施例中，通过设计和开发基于深度学习和图像处理算法的微核组学图像检测方法，可以自动检测微核组学图像中待观察微核组学细胞的位置信息，通过提取检测出的微核细胞目标区域，使用图像处理算法分割计算区域内的主核、微核面积，剔除不符合面积关系的假阳性微核样本，自动获取微核组学图像各指标的检测结果，通过计算微核细胞率以及核质桥NPBs与微核比值等信息有助于实现患癌风险检测。

本发明实施例的方法结合深度学习技术和图像处理算法，构建目标检测网络模型，自动发现微核组学图像中微核组学各指标位置，在此基础上提取微核细胞区域，使用图像处理算法进行二次筛选。该方法能够对微核组学图像中的微核组学各指标进行数值检测，微核细胞率以及核质桥NPBs与微核比值等关键信息的计算，对开发基于微核组学图像的患癌早期筛查与风险检测***具有现实价值。

由此可见，本发明实施例中，所述基于深度学习和图像处理算法的微核组学图像检测方法，与现有技术相比，至少具备以下技术效果：本发明提供的方法弥补了传统微核检测方法费时费力等缺点，实现了微核组学大规模、多指标、高效率、高精度以及可视化的分析要求，有助于提高患癌风险的有效检测，提升了用户体验。

实施例二

在上述方法实施例的基础上，本发明实施例还提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，如图1所示，包括：

步骤S1-S4及其具体实施方式可参照上述实施例一中的详细说明，本发明实施例中不再赘述。

其中，步骤S1、所述真阳性微核组学图像各指标包括：微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN。图6是本发明实施例提供的微核组学图像各指标形态示意图，如图6所示：

通常，采用胞质阻断微核细胞分析法作为细胞组学检测的常用方法，用于检测DNA损伤和错误修复、染色体的不稳定性、有丝***异常、细胞存活状态等，其中微核MNi、核质桥NPBs、核芽突NBUD等指标被用作常用标志物。

具体的，微核是染色体畸变在间期中的一种表现形式，用以评价染色体断裂或整体染色体丢失的生物学标志；核质桥NPBs是双核细胞中细胞核之间相连的桥状体，是DNA错误修复或端粒末端融合的生物学标志；核芽突指双核细胞中与细胞核连接的一个芽突状物质，是扩增DNA被消除过程或DNA修复复合体的生物学标志。另外，微核组学试验的核质桥NPBs与微核的比值可以作为判断遗传毒物类型的依据，计算淋巴细胞微核率是1000个双核细胞中所含有的微核个数，因此正常双核细胞BN的检测对微核计数至关重要。本发明实施例通过采用微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN作为微核组学指标，可提高对相关疾病的检测精度。

在一个优选的实施例中，所述预处理包括：将所述真阳性微核组学图像和\或所述待测微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN的位置进行标注，并分别对所述微核组学图像执行图像切块和数据增强操作。

进一步地，所述标注的方法包括：将所述真阳性微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN利用人工分别进行不同色彩的标注。图7是本发明实施例提供的labelimg图像标注软件的示意图，如图7所示：

筛选出符合要求的真阳性微核组学图像和\或所述待测微核组学图像，根据微核组学各指标的形态特征，由专业的医学人员使用 labelimg等图像标注软件进行微核组学各指标微核、核芽突、核质桥NPBs、双核细胞的标注，且针对各指标分别采用一种色彩以便进行分辨。肉眼观察到的四项指标位置后，用矩形框框定目标。同时每张图片对应生成一份存储矩形框位置信息，目标类别等信息的xml或 txt格式的文件。

对于通过标注后获取的微核组学图像以及标注文件，构成深度学习目标检测模型的训练集、验证集和测试集，划分比例为4：1：1。对数据集进行预处理，通过数据增强(图像上下左右翻转、裁剪、视角变换、尺度变换、旋转、加噪、Mosaic等)方法进行数据集扩充，有利于增强模型的泛化性，构建具有高度鲁棒性的深度微核组学检测模型。以上这几个步骤为预处理操作，基于滑动窗口的图像切块和基于旋转，翻转，缩放等数据增强方法，解决了微核组学显微图像尺寸大对计算资源要求较高的问题，并有效的扩充了病理图像数据集，有利于深度学习模型的训练。

需要说明的是，此处的数据增强手段包括但不限定为对微核组学图像进行旋转、移动、翻转、缩放，达到数据样本扩充的目的。进一步，将上述扩充后的数据用于深度微核组学检测模型的训练。本发明实施例中，数据增强后的数据集，80％的微核组学图像作为训练数据集，20％的微核组学图像用作测试数据集。

在一个优选的实施例中，所述图像切块操作包括：按照预定尺寸采用滑动窗口方法对整幅微核组学图像进行切块，获得若干子图像块，所述预定尺寸采用512*512像素。

具体的，由于通过数字切片扫描仪等采集设备获取的微核组学图像为全切片组学显微图像，图片过大，无法较好进行深度学习训练，通过对图像进行切块操作，使数据归一化。本实施例通过使用滑动窗口法，遍历整幅图像进行图像切块工作，整张图像被切分成数张 512*512像素大小的图像，可以扩充样本数量，使深度学习训练的成本更低、效率更高。

在一个优选的实施例中，确定训练的网络参数包括，所述数据增强操作，包括：对所述子图像块执行旋转、移动、翻转、缩放操作，并保存所述数据增强操作前后的所有所述子图像块数据。

本发明实施例中，通过子图像块执行旋转、移动、翻转、缩放等操作，实现对所述微核组学图像数据集进行数据扩充的目的，有利于后续构建具有稳定性和鲁棒性的深度微核组学检测模型。

同时，通过对采集后的所述微核组学图像进行预处理操作，基于滑动窗口的图像切块和基于旋转、移动、翻转、缩放等手段的数据增强方法，解决了微核组学图像尺寸大对计算资源要求较高的问题，并有效地扩充了微核组学图像数据集，有利于深度学习模型的训练。

在一个优选的实施例中，所述微核组学检测模型包括：采用深度卷积神经网络模型和一阶段目标检测模型，并添加SeLayer注意力机制。图8是根据本发明实施例提供的一种微核组学检测模型SEnet注意力机制结构示意图，如图8所示：

本实施例中，微核组学检测涉及深度微核组学检测模型训练和微核组学检测结果输出，因此深度微核组学检测模型训练之前需要进行模型的搭建。本实施例以PyTorch神经网络库为基础搭建深度学习模型框架，以YOLOv5网络结构为基础构建深度微核组学检测模型。

该微核组学检测模型共有输入端、Backbone骨干网络模块，Neck 路径聚合网络模块，Head检测模块四个部分。Backbone骨干网络模块在不同图像细粒度上聚合并形成图像特征的卷积神经网络。Neck 是一系列混合图像特征的网络层，其将图像特征传递到Head图像预测层。Head预测层对图像进行预测，生成边界框和预测类别。每个部分由不同的模块构成。Backbone骨干网络层主要用来提取输入端获取的图像特征。Backbone骨干网络层主要包括Focus模块，第一卷积层，CSP模块，第二卷积层，CSP模块，第三卷积层，CSP模块，第一SELayer注意力模块，第三卷积层，SPP模块，CSP模块，第二 SELayer注意力模块。Focus模块在backbone骨干网络的第一层，其从输入端获取图像，对图像进行切片操作，其对一张图像中的像素进行邻近下采样，从而产生四张图像，输入通道扩充4倍，即拼接起来的图像相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图像再经过3*3卷积模块进行特征提取，最终得到了没有信息丢失情况下的二倍下采样特征图，其使用目的主要是提取到更充分的特征。各卷积层由Conv_BN_Leakyrelu结构组成，Conv_BN_Leakyrelu 结构由卷积、批标准化和Leakyrelu激活函数组成，其中Leakyrelu 激活函数定义为：Leakyrelu＝max(0,x)+negative_slope*min(0,x)。采用Leakyrelu激活函数可使YOLOv5网络模型具有较好的稳定性和准确性。CSP模块源自CSPNet跨阶段局部网络，其通过将梯度的变化从头到尾集成到特征图中，主要目的是在减少计算量，保持轻量化的同时，增强CNN卷积神经网络的学习能力。SELayer注意力模块源于SENet，其主要目的是增强CNN卷积神经网络对图像多个通道之间的学习，可以更好的利用图像通道之间的关系，学习更充分的特征，提升检测的准确性。Neck组件使用了FPN(Feature Pyramid Networks 特征金字塔网络)模块，同时使用了不同于骨干网路的另一种CSP模块，其加强了网络特征融合能力。Neck是目标检测框架中承上启下的关键环节，其主要对骨干网络提取到的重要特征进行进一步加工及合理利用，通过上采样操作和特征融合操作完成自下而上的特征提取过程，通过下采样操作和特征融合操作完成自上而下的特征提取过程，充分利用特征融合操作，实现了在特征传递过程中保留浅层的特征信息和增大感受野的目的，有利于学习更全面的特征。网络的输出检测层主要进行目标类别的分类与位置的回归。检测层中三个不同尺度的特征层在提取深层特征信息的同时也可避免浅层特征信息的遗失。网络的输出层输出检测目标的预测框位置偏移量、预测框宽高、目标类别及置信度，采用GIoU(Generalized Intersection overUnion)损失来计算损失函数。损失函数是一种用来估算预测值和实际值不一样程度的函数，它是一种非负值函数，当损失函数的值越小时，说明鲁棒性越好，***越稳定。Giou损失函数的计算公式为：

GIoU作为YOLOv5检测网络的损失函数，可以衡量预测框与真实框的重叠面积、中心点距离和长宽比的相似度。 A表示预测框，B表示真实框，Ac表示包含A，B的最小矩形框面积， u表示A与B并集的面积。本模型使用SGDm(Stochastic Gradient Descent with momentum动量随机梯度下降)优化函数，相比于SGD(Stochastic Gradient Descent随机梯度下降)优化函数，通过增加动量，可以使得模型更快的收敛，缩短训练时间。

优选的，加载已训练好的深度微核组学检测模型，将测试数据集中的微核组学图像作为模型输入层所输入图像，输入微核组学图像的大小为512*512像素，CSP模块由卷积层和池化层堆叠而成，其中卷积层的卷积核大小为3*3和1*1，分别用来提取特征信息和调整通道，平均池化窗口大小为2*2。FPN特征金字塔池化模块利用13*13、9*9、 5*5、1*1四个不同大小的最大池化核进行最大池化操作。Neck路径聚合网络模块的池化窗口大小为2*2，池化层用来进行向上池化和向下池化，将特征图放缩至合适的尺寸便于进行特征融合。

进一步，输出层进行19*19、38*38、76*76大小的多尺度预测，提高对小物体的检测精度。三个卷积层输出不同尺度的预测框中心点偏移量、预测框宽和高、目标类别以及置信度等预测结果，经过非极大抑制(Non-Maximum Suppression，NMS)筛选后得到最终检测结果，即微核组学各指标位置与数量。

由此可见，上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：使微核组学检测的数据规模更大、指标更多，进一步提供了检测效率和精确率，提升了用户体验。

在一个优选的实施例中，采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积包括：采用图像处理算法分别对所述输出图像和所述真阳性微核组学图像计算区域内主核面积和微核面积进行分割，并分别对所述主核面积和所述微核面积进行比较。

可以理解的是，在统计微核组学各指标数量之前需要先进行微核筛选工作。由于微核的面积与主核面积的预定面积关系在一定范围内，提取目标检测模型输出的微核细胞目标区域，使用图像处理算法分割计算微核面积、主核面积，剔除不满足面积关系的假阳性微核样本，保证微核组学各指标数据统计的准确性。

需要说明的是，图像处理分割算法包括但不限于：基于阈值的分割方法，基于区域的分割方法，基于边缘的分割方法，基于特定理论如聚类分析的分割方法，基于基因编码的分割方法，基于小波变换的分割方法，基于神经网络的分割方法。本实施例使用OTSU算法(大津法或最大类间方差法)进行微核细胞图像的二值化分割。

本发明实施例中，采用微核面积大小占主核面积大小的1/20到 1/3范围的预定面积关系，如果仅仅使用目标检测模型进行检测，在检测后没有对检测出的目标通过图像处理的方法做二次验证，不能准确地筛选出待测微核组学图像中的真阳性微核组学图像，无法保证检测精度。因此，在本实施例中，通过采用图像处理算法剔除不符合预定面积关系的假阳性微核样本的方法进一步提高了微核组学图像检测的精度。

在一个优选的实施例中，所述筛选后的微核组学各指标数据包括：所述各指标的数量、所述微核细胞率、所述核质桥NPBs与所述微核的比值。

具体的，对各指标的数量的统计，便于对其他指标的值进行计算，使各指标的数量关系更清楚。微核细胞率、核质桥NPBs与微核比值是微核组学检测评估癌症风险的重要参考指标，因此计算微核细胞率以及核质桥NPBs与微核比值等信息，形成可视化分析报告，可更加有效地评估癌症风险。

在一个优选的实施例中，所述细胞微核组学图像采用淋巴细胞微核组学图像。

淋巴细胞是一类具有免疫识别功能的细胞系，是机体免疫应答功能的重要细胞成分，是淋巴***几乎全部免疫功能的主要执行者，是对抗外界感染和监控体内细胞变异的一线“士兵”，淋巴细胞的相关数据通常作为各种疾病包括癌症、感染性疾病等的参考指标，具有重大临床意义。因此，通过采用淋巴细胞微核组学图像进行相关指标的检测，对患癌风险的评估效果更好。

此外，本发明公开了一种基于深度学习和图像处理算法的微核组学图像检测方法，包括基于深度学习的微核组学检测模型和基于图像处理算法的检测后处理机制。

本发明提供了一种基于深度学习和图像处理算法的微核组学图像检测方法，针对待检测的微核组学图像进行采集和人工标注；对采集后的所述微核图像进行预处理；通过预先训练好的基于深度学习的微核组学检测模型，获取执行预处理操作后的微核组学图像中微核 MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN位置；根据获取的微核组学图像中微核细胞位置提取微核区域，使用图像处理算法计算剔除不符合面积关系的假阳性微核数据，统计筛选后的微核组学各指标数量；计算微核细胞率以及核质桥NPBs与微核比值，形成可视化分析报告，由此评估癌症风险。该方法构建基于深度学习的微核组学检测模型，利用数据驱动的方法，不再需要人工提取的大量特征，自动从海量数据中提取出大量特征，增加了特征提取的丰富度。上述方法有效地达到通过对海量特征的自动提取，实现提升微核组学检测结果准确性的目的。

进一步的，该方法采用图像处理算法，提取检测模型检测出的微核细胞目标区域，分割计算区域内的微核、主核面积，剔除不符合面积关系的假阳性微核样本，保证检测出的微核数量的准确性，实现检测器更高的精确度。

本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。

本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或图2的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

Claims (10)

1.一种基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，包括：

将预处理后的真阳性微核组学图像输入微核组学检测模型进行训练，并分别获取训练好的所述真阳性微核组学图像各指标的模型参数，所述微核组学检测模型采用深度学习技术拟合微核组学各指标的位置；

将预处理后的待测微核组学图像输入训练好的所述微核组学检测模型，得到输出图像；

采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积，并剔除不符合预定面积关系的假阳性微核样本；

统计筛选后的微核组学各指标数据并形成可视化分析报告。

2.如权利要求1所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述真阳性微核组学图像各指标包括：微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN。

3.如权利要求2所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述预处理包括：将所述真阳性微核组学图像和\或所述待测微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN的位置进行标注，并分别对所述微核组学图像执行图像切块和数据增强操作。

4.如权利要求3所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述标注的方法包括：将所述真阳性微核组学图像中的微核MNi、核质桥NPBs、核芽突NBUD、正常双核细胞BN利用人工分别进行不同色彩的标注。

5.如权利要求3所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述图像切块操作包括：按照预定尺寸采用滑动窗口方法对整幅微核组学图像进行切块，获得若干子图像块，所述预定尺寸采用512*512像素。

6.如权利要求3所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述数据增强操作，包括：对所述子图像块执行旋转、移动、翻转、缩放操作，并保存所述数据增强操作前后的所有所述子图像块数据。

7.如权利要求1至6任一项所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述微核组学检测模型包括：采用深度卷积神经网络模型和一阶段目标检测模型，并添加SeLayer注意力机制。

8.如权利要求7所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，采用图像处理算法比较所述输出图像的微核区域面积和所述真阳性微核组学图像的微核区域面积包括：采用图像处理算法分别对所述输出图像和所述真阳性微核组学图像计算区域内主核面积和微核面积进行分割，并分别对所述主核面积和所述微核面积进行比较。

9.如权利要求8所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述筛选后的微核组学各指标数据包括：所述各指标的数量、所述微核细胞率、所述核质桥NPBs与所述微核的比值。

10.如权利要求1所述的基于深度学习和图像处理算法的微核组学图像检测方法，其特征在于，所述细胞微核组学图像采用淋巴细胞微核组学图像。

Images