CN112381806A - 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法 - Google Patents

基于多尺度融合方法的双着丝粒畸变染色体分析预测方法 Download PDF

Info

Publication number
CN112381806A
CN112381806A CN202011293549.6A CN202011293549A CN112381806A CN 112381806 A CN112381806 A CN 112381806A CN 202011293549 A CN202011293549 A CN 202011293549A CN 112381806 A CN112381806 A CN 112381806A
Authority
CN
China
Prior art keywords
double
chromosome
centromere
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011293549.6A
Other languages
English (en)
Inventor
崔玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Beion Pharmaceutical Technology Co ltd
Original Assignee
Shanghai Beion Pharmaceutical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Beion Pharmaceutical Technology Co ltd filed Critical Shanghai Beion Pharmaceutical Technology Co ltd
Priority to CN202011293549.6A priority Critical patent/CN112381806A/zh
Publication of CN112381806A publication Critical patent/CN112381806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及染色体分析技术，公开了一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，将训练好的神经网络模型通过CSPN提取输入的待分析染色体图像的深层特征；进行Drop Block操作和空间金字塔池化操作进行提炼关键特征；采用特征金字塔网络与路径聚合网络相结合的特征融合策略，分别在三个尺度上输出三个特征张量；后经过Drop Block操作后输出三个预测张量；采用DIOU NMS算法来筛选所预测的边界框；分析出双着丝粒畸变染色体。本发明训练好的神经网络模型能够快速对畸变染色体图像上的畸变染色体进行标记和统计数量，检测准确率更高，鲁棒性更强，辅助医生完成生物剂量估算。

Description

基于多尺度融合方法的双着丝粒畸变染色体分析预测方法
技术领域
本发明涉及生物剂量估算，尤其涉及一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法。
背景技术
染色体畸变分析用作生物剂量估算已有50多年的历史，其可靠性已通过大量数据得到确认，在事故剂量估算中被认为是一种最可信赖的辐射生物计量方法。
目前，放射工作人员职业健康检查时主要分析计数双着丝粒染色体(dicentricchromosome)、着丝粒环和无着丝粒染色体等。辐射事故生物剂量估算时只计数双着丝粒染色体或双着丝粒染色体加着丝粒环个数，无着丝粒染色体作为辅助指标，因此双着丝粒畸变染色体的检测与计数对生物剂量估算有着重要的意义。
而传统的畸变染色体分析都是通过人工进行观察并找出待分析染色体图像中存在的畸变染色体，再对其进行计数，这需要医生耗费大量的精力来完成，且随着工作时间的增加，医生的工作效率和准确率还会明显下降。目前，很多单位使用染色体自动扫描成像***来检测畸变染色体，这对医生阅片的要求更高。近年来随着人工智能的发展和数字图像技术的进步，采用计算机来自动分析畸变染色体能够极大的提升检测速度，并且达到更高的分析准确率。
目前常见的畸变染色体自动分析***通常采用两步式检测方案，首先通过数字图像处理技术分割出待处理的可能存在畸变染色体的区域，然后再通过支持向量机或者分类卷积神经网络来对染色体进行分类，最终确定染色体图像中是否存在发生畸变的染色体。该方法通过计算机在一定程度上能够提升对畸变染色体的分析速度，但是该方法***对待分析染色体图像质量极其敏感，对于杂质较多、染色体重叠或染色体较密集的图像，其检测准确率较低，且***鲁棒性差。
发明内容
本发明针对现有技术的检测方法检测准确性差、鲁棒性差的缺点，提供了一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，够准确快速的对输入的待分析染色体图像进行自动分析预测，将待分析染色体图像中存在的双着丝粒畸变染色体进行标记，并统计待分析染色体图像中双着丝粒畸变染色体的数量，辅助医生完成生物剂量估算。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，包括如下步骤，
S1：训练好的神经网络模型读取待分析染色体图像并通过主干神经网络CSPN提取输入的待分析染色体图像的深层特征；
S2：深层特征先后经过Drop Block操作和空间金字塔池化操作进行提炼关键特征；
S3：将进行空间金字塔池化操作之后的待分析染色体图像采用特征金字塔网络自顶向下的将高层的特征信息通过上采样的方式进行传递融合，然后在特征金字塔网络的输出端添加一个自底向上的路径聚合网络来对双着丝粒畸变染色体的位置特征进行补充，将低层的强定位特征向上传递融合后，分别在三个尺度上输出三个特征张量；
S4：将神经网络模型提取的三个特征张量经过Drop Block操作后输出三个预测张量；
S5：将三个预测张量中回归预测的双着丝粒畸变染色体边界框进行合并，采用DIOU NMS算法来筛选所预测的边界框；
S6：最终统计神经网络模型预测出的双着丝粒畸变染色体的个数以及边界框信息，在输入的待分析染色体图像上对识别出的双着丝粒畸变染色体进行标记，并将标记过后的图像进行输出。
进一步地，神经网络模型训练步骤如下，
S01：人工对多张样本图像中的双着丝粒畸变染色体进行标注，生成标签文件，该标签文件主要存储样本图像中双着丝粒畸变染色体边界框的中心坐标和宽高信息，以此作为双着丝粒畸变染色体自动分析的神经网络模型的训练样本；
S02：将样本图像的原图与标签文件组合制作成训练集，用于神经网络模型的训练；
S03：训练样本经过设计好的神经网络模型输出三个特征张量，采用损失函数Loss计算出输出的特征张量与样本图像的标签文件之间的损失值，并将损失值反向传递给神经网络模型的各个节点，更新神经网络模型中的权重参数；经过多次迭代训练后获得能够对双着丝粒畸变染色体边界框进行准确回归预测的神经网络模型。
进一步地，步骤S1中，事先将待分析染色体图像划分成S×S个网格单元，每个网格单元负责预测该位置存在双着丝粒畸变染色体的概率。
进一步地，步骤S4中，三个预测张量的尺寸(宽×高×深度)分别为19×19×15、38×38×15和76×76×15，其中预测张量的宽高分别表示神经网络模型进行边界框回归预测的宽高尺寸，深度15表示该预测张量在每个网格单元上根据锚框尺寸预测3个边界框，每个边界框预测一个置信值c、边界框的宽、边界框的高以及中心坐标值(x，y)，因此每个预测张量会在每个网格单元上输出15个预测值。
进一步地，步骤S5中，DIOU NMS算法为首先将所有回归预测的边界框根据其置信值c进行排序，标记置信值c最大的边界框，然后计算所有预测所获得的边界框与该置信值c最大的边界框的DIOU值；删除DIOU值超过阈值范围的边界框，然后继续根据置信值c对边界框进行排序并重复上述步骤，最终将所有标记的边界框作为神经网络模型所输出的双着丝粒畸变染色体目标的边界框。
进一步地，
Figure BDA0002784694240000031
式中，DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离。
进一步地，步骤S03中，用于训练神经网络模型的损失函数Loss主要包括用来判断是否存在双着色粒畸变染色体的置信度损失Lossc和畸变染色体的边界框回归损失Lossb两部分，损失函数Loss＝Lossc+λLossb，式中，通过添加权重值λ来均衡置信度损失函数Lossc和边界框回归损失函数Lossb在总损失函数Loss中的占比。
进一步地，置信度损失函数
Figure BDA0002784694240000032
式中，增添了一个γ因子，以此来减少不存在双着色粒畸变染色体的网格单元的置信度损失Lossc；加入平衡因子α来平衡待分析染色体图像中存在双着色粒畸变染色体的网格单元和不存在双着色粒畸变染色体的网格单元的置信度损失比例；p表示神经网络模型预测每个网格单元中是否存在双着丝粒畸变染色体的概率，y表示相应的标签文件。
进一步地，边界框回归损失函数
Figure BDA0002784694240000033
式中，DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离，影响因子δ是用来衡量预测边界框和实际边界框长宽比一致性的参数。
进一步地，影响因子
Figure BDA0002784694240000034
式中，w、h分别表示用于神经网络模型训练的双着丝粒畸变染色体标签文件边界框的实际宽高，w′、h′分别表示神经网络模型对双着丝粒畸变染色体边界框宽高的预测值。
本发明由于采用了以上技术方案，具有显著的技术效果：
1.本发明检测方法能够不依赖人工分析，采用深度学习的方法搭建神经网络模型，通过大量双着丝粒畸变染色体样本图像来完成双着丝粒畸变染色体检测用的神经网络模型的训练，能够快速准确的完成双着丝粒畸变染色体的自动检测分析，大大提升了畸变染色体分析效率。采用本发明所提出的方法自动检测双着丝粒畸变染色体估算剂量可以代替常规的人工分析估算剂量方法，自动分析造成的误差更小，且分析速度要快30倍。
2.本发明将双着丝粒畸变染色体的位置特征进行量化，将待分析染色体图像划分为S×S个网格单元，通过预测每个网格单元中存在双着丝粒畸变染色体的概率来快速分析待分析染色体图像中是否存在发生畸变的染色体，然后预测畸变染色体相对于该网格单元的中心坐标和宽高信息来进一步确定畸变染色体的边界框，该方法能够更加快速准确的完成双着丝粒畸变染色体目标的检测。
3.本发明采用CSP模块构建主干神经网络来进行特征的提取，能够更有效提取双着丝粒畸变染色体的深层特征，同时通过截断梯度流来防止过多重复的梯度信息被用于神经网络模型的训练，采用层次化特征融合策略来提升主干神经网络对双着丝粒畸变染色体特征的提取能力。
4.传统的Dropout方式在进行特征削减时并没有考虑图像特征的空间特性，因此对于提升神经网络模型的鲁棒性效果并不明显，本发明采用Drop Block方式来对双着丝粒畸变染色体的图像特征进行空间式的削减，能够更有效的防止冗余特征造成的神经网络模型过拟合问题，增强了畸变染色体分析用的神经网络模型的鲁棒性。
5.由于采用空间金字塔池化操作来进行特征的提炼，扩大了后续网络结构对主干特征的接收范围，同时对不同大小的畸变染色体的特征进行了融合，因此本发明所训练好的神经网络模型能够对体积大小不同的双着丝粒畸变染色体都拥有更高的检测准确率。
6.本发明所设计的神经网络模型采用特征金字塔网络FPN自顶向下的将高层的特征信息通过上采样的方式进行传递融合，然后在FPN的输出端添加一个自底向上的路径聚合网络PAN来对畸变染色体的位置特征进行补充，将低层的强定位特征向上传递。通过采用FPN与PAN相结合的特征融合策略，大大提升了神经网络模型对双着丝粒畸变染色体检测的准确率。
7.本发明将用于神经网络模型训练的损失函数拆分为置信度损失函数和边界框回归损失函数两个部分，通过在置信度损失函数中添加影响因子γ和α来强化神经网络模型对输入图像中特征复杂区域的学***衡两种损失值在总损失值中的占比，所设计的损失函数能够更有效的对神经网络模型进行训练。
8.本发明通过输入待分析染色体图像，能够实现待分析染色体图像端到端的自动分析，直接在输入的待分析染色体图像上标记出发生畸变的染色体，并统计畸变染色体的数量。分析速度更快，检测准确率更高，鲁棒性更强。
附图说明
图1为本发明实施例的分析流程图；
图2为本发明的神经网络模型的网络结构图；
图3为本发明的CSP模块结构图；
图4为本发明的SPP的模块结构图；
图5为本发明的待分析染色体图像；
图6为本发明的分析后的染色体图像。
具体实施方式
下面结合附图与实施例对本发明作进一步的说明。
实施例
如图1-2所示，设计的神经网络模型的网络结构主要由主干神经网络CSPN、FPN+PAN特征融合网络以及输出预测端三个部分组成。其中主干神经网络CSPN主要由若干CSP组成，具体的主干神经网络CSPN由五个跨阶段局部神经网络模块(Cross Stage Partial，CSP)组成。CSP模块结构如图3所示，CSP模块是由若干CBM模块和n个循环的残差单元(residual unit)组成，其中CBM模块主要对输入特征图进行卷积操作然后采用Mish激活函数对特征进行处理。
本发明提供一种基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，在对双着丝粒畸变染色体进行回归预测前先对神经网络模型进行训练，训练步骤如下：
S01：人工对多张样本图像中的双着丝粒畸变染色体进行标注，生成标签文件，该标签文件主要存储样本图像中双着丝粒畸变染色体边界框的中心坐标和宽高信息，以此作为双着丝粒畸变染色体自动分析的神经网络模型的训练样本；多张样本图像为超过3张。
S02：将样本图像原图与标签文件组合制作成训练集用于对所神经网络模型进行训练；
S03：训练过程中，训练样本经过设计好的神经网络模型输出三个特征张量，采用损失函数Loss计算出输出的特征张量与样本图像的标签文件之间的损失值，并将损失值反向传递给神经网络模型的各个节点，利用Adam优化算法更新神经网络模型中的权重参数。经过多次迭代训练获得能够对双着丝粒畸变染色体边界框进行准确回归预测的神经网络模型。
用于神经网络模型训练的损失函数Loss主要包括用来判断是否存在双着色粒畸变染色体的置信度损失Lossc和畸变染色体的边界框回归损失Lossb两部分。
采用交叉熵损失函数训练神经网络模型会导致在大量简单样本图像的迭代过程中，神经网络模型收敛缓慢并且可能无法优化至最优，本发明在原有的交叉熵损失函数的基础上增添了一个γ(γ>0)因子，以此来减少不存在双着色粒畸变染色体的网格单元的置信度损失Lossc，使神经网络模型着重关注于样本图像上难以分辨是否存在双着色粒畸变染色体的位置。此外，加入平衡因子α来平衡图像中存在双着色粒畸变染色体的网格单元和不存在双着色粒畸变染色体的网格单元的置信度损失比例。置信度损失函数Lossc如下所示，其中p表示神经网络模型预测每个网格单元中是否存在双着丝粒畸变染色体的概率，y表示相应的标签文件：
Figure BDA0002784694240000061
为了更好的对双着丝粒畸变染色体的边界框进行回归预测，本发明采用完全交并比损失函数(Complete Intersection Over Union Loss)来计算回归预测的双着色粒畸变染色体边界框和实际边界框的损失值，通过计算预测边界框和实际边界框的重叠面积、中心点距离和长宽比来衡量对双着色粒畸变染色体边界框的回归预测是否准确。边界框回归损失函数Lossb如下所示，其中DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离，影响因子δ是用来衡量预测边界框和实际边界框长宽比一致性的参数。IOU为交并比，其计算的是预测边界框与实际边界框的交集和并集的比值。
Figure BDA0002784694240000062
影响因子δ公式如下所示，其中w、h分别表示用于神经网络模型训练的双着丝粒畸变染色体标签文件边界框的实际宽高，w′、h′分别表示神经网络模型对双着丝粒畸变染色体边界框宽高的预测值，通过计算标签文件边界框和回归预测边界框宽高比的差异来设定影响因子δ。通过δ来使神经网络模型对双着丝粒畸变染色体的宽高比进行学习，提升神经网络模型对双着丝粒畸变染色体边界框回归预测的精确度。
Figure BDA0002784694240000071
为了解决置信度损失Lossc和畸变染色体的边界框回归损失Lossb对总损失值影响权重不同的问题，本发明通过添加权重值λ来均衡置信度损失函数Lossc和边界框回归损失函数Lossb在总损失函数Loss中的占比。最终，神经网络模型的损失函数Loss设计如下所示。
Loss＝Lossc+λLossb
为了提升神经网络模型的训练速度和准确度，本发明通过对训练样本中双着丝粒畸变染色体目标边界框的宽高值进行聚类分析，统计训练样本中双着丝粒畸变染色体目标边界框宽高的9个聚类中心，根据9个聚类中心的宽高值设定神经网络模型在每个尺度上预测所采用的锚框尺寸，以此来强化训练神经网络模型对双着丝粒畸变染色体边界框回归预测的精度。
在神经网络模型的训练中采用Drop Block(卷积)的方式来防止神经网络模型出现过拟合。采用该方法能够对图像中相邻区域单元的特征进行空间式的削减。在卷积层和跳跃连接层中应用Drop Block方式能够提升神经网络模型对双着丝粒畸变染色体特征的筛选能力，提升神经网络模型的鲁棒性。此外，在训练过程中可以通过逐渐增加Drop Block单元的数量来提升神经网络模型对双着丝粒畸变染色体检测的准确性和对超参数选择的鲁棒性。
将所设计的神经网络模型在训练集上进行训练，采用损失函数Loss进行模型损失值的计算，并反向传播更新模型的权重值，经过多次训练直至神经网络模型完全收敛，获得用来检测双着丝粒畸变染色体的神经网络模型。
神经网络模型训练好后进行如下步骤对双着丝粒畸变染色体进行预测分析：
S1：事先将待分析染色体图像划分成S×S个网格单元，每个网格单元负责预测该位置存在双着丝粒畸变染色体的概率；用训练好的神经网络模型读取待分析染色体图像并通过主干神经网络CSPN提取输入的待分析染色体图像的深层特征；输入的待分析染色体图像如图5所示。主干神经网络CSPN能够重复利用所提取的双着丝粒畸变染色体特征，同时通过截断梯度流来防止过多重复的梯度信息被用于神经网络模型的训练，采用层次化特征融合策略来提升主干神经网络CSPN对双着丝粒畸变染色体特征的提取能力。
S2：在主干神经网络CSPN提取深层特征后，先后经过Drop Block(卷积处理)操作和空间金字塔池化(Spatial Pyramid Pooling，SPP)操作进行提炼关键特征。
采用Drop Block方式来对双着丝粒畸变染色体的图像特征进行空间式的削减，能够更有效的防止冗余特征造成的神经网络模型过拟合问题，增强了神经网络模型的鲁棒性。SPP操作可更有效的提炼主干神经网络CSPN所提取的双着丝粒畸变染色体特征。此外，在空间金字塔池化操作中能够将不同大小双着丝粒畸变染色体的特征进行融合，提升了神经网络模型对大小不同的双着丝粒畸变染色体的检测准确率。SPP操作模块的结构如图4所示，SPP在输入特征图上采用填补模式进行三个尺寸上的池化操作，并将池化结果和输入特征图进行合并，输出一个深度扩充为原来四倍的特征张量，该特征张量融合了不同尺度上畸变染色体特征的池化操作结果，扩大了后续特征融合网络所接收的特征范围。
S3：将进行空间金字塔池化操作之后的待分析染色体图像采用特征金字塔网络(Feature Pyramid Networks，FPN)自顶向下的将高层特征信息通过上采样的方式进行传递融合。FPN只能将高层神经网络所提取的双着丝粒畸变染色体的强语义特征向下传递，只增强了语义信息，对所检测的双着丝粒畸变染色体的定位信息没有传递，因此不利于神经网络模型对双着丝粒畸变染色体边界框的回归预测。因此本发明在FPN之后添加一个自底向上的路径聚合网络(Path Aggregation Network,PAN)，通过PAN来对FPN进行双着丝粒畸变染色***置信息的补充，将低层的强定位特征向上传递，以此强化神经网络模型对双着色粒畸变染色体的检测准确度。通过FPN和PAN融合双着色粒畸变染色体的语义特征和位置特征，分别在三个尺度上输出三个特征张量。
S4：将神经网络模型提取的三个特征张量经过Drop Block(卷积处理)操作后输出三个预测张量，三个预测张量的尺寸(宽×高×深度)分别为19×19×15、38×38×15和76×76×15，其中预测张量的宽高分别表示神经网络模型进行边界框回归预测的宽高尺寸，深度15表示该预测张量在每个网格单元上根据锚框尺寸预测3个边界框，每个边界框预测一个置信值c、边界框的宽(w)、边界框的高(h)以及中心坐标值(x，y)，因此每个预测张量会在每个网格单元上输出15个预测值。在三个尺度上用于边界框预测的锚框尺寸设置如下所示，其中anchor1用于19×19尺度上的预测，anchor2用于38×38尺度上的预测，anchor3用于76×76尺度上的预测。
anchor1＝[97,116,80,170,145,120]
anchor2＝[78,87,110,66,156,61]
anchor3＝[48,73,76,50,53,116]
S5：将三个预测张量中回归预测的双着丝粒畸变染色体边界框进行合并，采用距离交并比非极大值抑制算法(DIOU NMS)来筛选所预测的边界框。该算法首先将所有回归预测的边界框根据其置信值c进行排序，标记置信值c最大的边界框，然后计算所有预测所获得的边界框与该置信值c最大的边界框的DIOU值。删除DIOU值超过阈值范围的边界框，然后继续根据置信值c对边界框进行排序并重复上述步骤，最终将所有标记的边界框作为神经网络模型所输出的双着丝粒畸变染色体目标的边界框。DIOU计算公式如下所示：
Figure BDA0002784694240000091
S6：最终统计神经网络模型预测出的双着丝粒畸变染色体的个数以及边界框信息，在输入的待分析染色体图像上对识别出的双着丝粒畸变染色体进行标记，并将标记过后的图像进行输出，完成双着丝粒畸变染色体的自动分析预测。输出的图像如图6所示。
本实施例利用人工标注的双着丝粒畸变染色体数据集来对用于对双着丝粒畸变染色体自动分析的神经网络模型进行训练，利用训练所获得的神经网络模型对双着丝粒畸变染色体目标的边界框进行回归预测，以此来自动预测分析待分析染色体图像中可能存在的双着丝粒畸变染色体。
总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (10)

1.基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，包括如下步骤，
S1：训练好的神经网络模型读取待分析染色体图像并通过主干神经网络CSPN提取输入的待分析染色体图像的深层特征；
S2：深层特征先后经过Drop Block操作和空间金字塔池化操作进行提炼关键特征；
S3:将进行空间金字塔池化操作之后的待分析染色体图像采用特征金字塔网络自顶向下的将高层的特征信息通过上采样的方式进行传递融合，然后在特征金字塔网络的输出端添加一个自底向上的路径聚合网络来对双着丝粒畸变染色体的位置特征进行补充，将低层的强定位特征向上传递融合后，分别在三个尺度上输出三个特征张量；
S4：将神经网络模型提取的三个特征张量经过Drop Block操作后输出三个预测张量；
S5：将三个预测张量中回归预测的双着丝粒畸变染色体边界框进行合并，采用DIOUNMS算法来筛选所预测的边界框；
S6：最终统计神经网络模型预测出的双着丝粒畸变染色体的个数以及边界框信息，在输入的待分析染色体图像上对识别出的双着丝粒畸变染色体进行标记，并将标记过后的图像进行输出。
2.根据权利要求1所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，神经网络模型训练步骤如下，
S01：人工对多张样本图像中的双着丝粒畸变染色体进行标注，生成标签文件，该标签文件主要存储样本图像中双着丝粒畸变染色体边界框的中心坐标和宽高信息，以此作为双着丝粒畸变染色体自动分析的神经网络模型的训练样本；
S02：将样本图像的原图与标签文件组合制作成训练集，用于神经网络模型的训练；
S03：训练样本经过设计好的神经网络模型输出三个特征张量，采用损失函数Loss计算出输出的特征张量与样本图像的标签文件之间的损失值，并将损失值反向传递给神经网络模型的各个节点，更新神经网络模型中的权重参数；经过多次迭代训练后获得能够对双着丝粒畸变染色体边界框进行准确回归预测的神经网络模型。
3.根据权利要求1所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，步骤S1中，事先将待分析染色体图像划分成S×S个网格单元，每个网格单元负责预测该位置存在双着丝粒畸变染色体的概率。
4.根据权利要求3所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，步骤S4中，三个预测张量的尺寸(宽×高×深度)分别为19×19×15、38×38×15和76×76×15，其中预测张量的宽高分别表示神经网络模型进行边界框回归预测的宽高尺寸，深度15表示该预测张量在每个网格单元上根据锚框尺寸预测3个边界框，每个边界框预测一个置信值c、边界框的宽、边界框的高以及中心坐标值(x，y)，因此每个预测张量会在每个网格单元上输出15个预测值。
5.根据权利要求1所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，步骤S5中，DIOU NMS算法为首先将所有回归预测的边界框根据其置信值c进行排序，标记置信值c最大的边界框，然后计算所有预测所获得的边界框与该置信值c最大的边界框的DIOU值；删除DIOU值超过阈值范围的边界框，然后继续根据置信值c对边界框进行排序并重复上述步骤，最终将所有标记的边界框作为神经网络模型所输出的双着丝粒畸变染色体目标的边界框。
6.根据权利要求5所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，
Figure FDA0002784694230000021
式中，DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离。
7.根据权利要求2所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，步骤S03中，用于训练神经网络模型的损失函数Loss主要包括用来判断是否存在双着色粒畸变染色体的置信度损失Lossc和畸变染色体的边界框回归损失Lossb两部分，损失函数Loss＝Lossc+λLossb，式中，通过添加权重值λ来均衡置信度损失函数Lossc和边界框回归损失函数Lossb在总损失函数Loss中的占比。
8.根据权利要求7所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，置信度损失函数
Figure FDA0002784694230000022
式中，增添了一个γ因子，以此来减少不存在双着色粒畸变染色体的网格单元的置信度损失Lossc；加入平衡因子α来平衡待分析染色体图像中存在双着色粒畸变染色体的网格单元和不存在双着色粒畸变染色体的网格单元的置信度损失比例；p表示神经网络模型预测每个网格单元中是否存在双着丝粒畸变染色体的概率，y表示相应的标签文件。
9.根据权利要求7所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，边界框回归损失函数
Figure FDA0002784694230000031
式中，DC表示同时包含预测边界框和实际边界框的最小闭包区域的对角线距离，DP表示预测边界框和实际边界框中心点的距离，影响因子δ是用来衡量预测边界框和实际边界框长宽比一致性的参数。
10.根据权利要求9所述的基于多尺度融合方法的双着丝粒畸变染色体分析预测方法，其特征在于，影响因子
Figure FDA0002784694230000032
式中，w、h分别表示用于神经网络模型训练的双着丝粒畸变染色体标签文件边界框的实际宽高，w′、h′分别表示神经网络模型对双着丝粒畸变染色体边界框宽高的预测值。
CN202011293549.6A 2020-11-18 2020-11-18 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法 Pending CN112381806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011293549.6A CN112381806A (zh) 2020-11-18 2020-11-18 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011293549.6A CN112381806A (zh) 2020-11-18 2020-11-18 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法

Publications (1)

Publication Number Publication Date
CN112381806A true CN112381806A (zh) 2021-02-19

Family

ID=74585095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293549.6A Pending CN112381806A (zh) 2020-11-18 2020-11-18 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法

Country Status (1)

Country Link
CN (1) CN112381806A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990373A (zh) * 2021-04-28 2021-06-18 四川大学 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接***
CN113537182A (zh) * 2021-09-17 2021-10-22 北京慧荣和科技有限公司 染色体中期***相显微图像的自动识别方法与***
CN113807259A (zh) * 2021-09-18 2021-12-17 上海北昂医药科技股份有限公司 一种基于多尺度特征融合的染色体***相定位与排序的方法
JP2023527615A (ja) * 2021-04-28 2023-06-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879996A (zh) * 2019-12-03 2020-03-13 上海北昂医药科技股份有限公司 一种染色体***相定位排序方法
CN111832513A (zh) * 2020-07-21 2020-10-27 西安电子科技大学 基于神经网络的实时足球目标检测方法
CN111951266A (zh) * 2020-09-01 2020-11-17 厦门汉舒捷医疗科技有限公司 一种染色体畸变的人工智能识别分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879996A (zh) * 2019-12-03 2020-03-13 上海北昂医药科技股份有限公司 一种染色体***相定位排序方法
CN111832513A (zh) * 2020-07-21 2020-10-27 西安电子科技大学 基于神经网络的实时足球目标检测方法
CN111951266A (zh) * 2020-09-01 2020-11-17 厦门汉舒捷医疗科技有限公司 一种染色体畸变的人工智能识别分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
智能算法: ""目标检测算法YOLOv4详解"", 《微信公众号》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990373A (zh) * 2021-04-28 2021-06-18 四川大学 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接***
CN112990373B (zh) * 2021-04-28 2021-08-03 四川大学 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接***
JP2023527615A (ja) * 2021-04-28 2023-06-30 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム
CN113537182A (zh) * 2021-09-17 2021-10-22 北京慧荣和科技有限公司 染色体中期***相显微图像的自动识别方法与***
CN113807259A (zh) * 2021-09-18 2021-12-17 上海北昂医药科技股份有限公司 一种基于多尺度特征融合的染色体***相定位与排序的方法

Similar Documents

Publication Publication Date Title
CN108830188B (zh) 基于深度学习的车辆检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN109583425B (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN112381806A (zh) 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法
CN112288706B (zh) 一种自动化的染色体核型分析以及异常检测方法
CN111259930A (zh) 自适应注意力指导机制的一般性目标检测方法
CN111695482A (zh) 一种管道缺陷识别方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN111310756B (zh) 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN108009518A (zh) 一种基于快速二分卷积神经网络的层次化交通标识识别方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
CN112819821B (zh) 一种细胞核图像检测方法
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别***及方法
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及***
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及***
CN113313678A (zh) 一种基于多尺度特征融合的***形态学自动分析方法
CN113221853A (zh) 一种基于Yolov4的养鸡场饲养鸡识别算法
CN110889418A (zh) 一种气体轮廓识别方法
CN114882375A (zh) 一种尾矿库智能识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219