CN112365482A - 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 - Google Patents
一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 Download PDFInfo
- Publication number
- CN112365482A CN112365482A CN202011275495.0A CN202011275495A CN112365482A CN 112365482 A CN112365482 A CN 112365482A CN 202011275495 A CN202011275495 A CN 202011275495A CN 112365482 A CN112365482 A CN 112365482A
- Authority
- CN
- China
- Prior art keywords
- chromosome
- mask
- feature
- multiplied
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000349 chromosome Anatomy 0.000 title claims abstract description 266
- 230000011218 segmentation Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000004027 cell Anatomy 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 14
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000002759 chromosomal effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000024321 chromosome segregation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，将一幅包含染色体的图像划分为S×S的网格单元，根据染色体实例三等分特征点的位置，将染色体实例分配给多个网格单元，每个网格单元负责预测一个实例的实例类别。每个输出通道负责预测该网格单元所属染色体对象的实例掩码图。相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明提出的方法采用染色体三等分特征点来完成染色体实例分割，对于交叉重叠的染色体拥有更高的分割准确率，解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。
Description
技术领域
本申请涉及医疗图像领域，特别涉及一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法。
背景技术
当前，在典型的染色体核型分析流程中，需要对染色体图像进行分割、分类等图像处理。国内已开发出一些染色体自动分析***，在染色体图像出现交叠、粘连的时候，其分析的效果仍有待改进。传统的分割方法包括在图像直方图上基于阈值的，基于形态学腐蚀和膨胀的，基于形态学轮廓分析的，然而这些方法都有其限制的使用范围，对于目标染色体的形状和重叠区域的模式具有较高的要求，由于染色体具有目标小、形态杂、粘连多、辨识难等特点，致使传统图像分割方法无法自动地、鲁棒地达到理想的分割效果。
随着深度学习的发展，深度卷积神经网络在医学图像处理领域展现出了巨大的潜力，采用卷积神经网络Mask RCNN对染色体图像进行实例级别的自动分割效果有极大的提升，但由于染色体目标粘连、重叠、遮挡严重等问题，可能会导致非极大值抑制(NMS)过程中交叉重叠染色体过度抑制、掩模回归时重叠单体出现相互干扰等问题，使得染色体图像的分割效果仍然不够理想。
发明内容
本发明提供了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，目的在于解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。
为了解决上述问题或至少部分地解决上述技术问题，在本申请的一个实施例中，提供了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，所述方法包括：
步骤1：对多张包含染色体原图中的染色体实例进行纯色覆盖，生成多张染色体掩码图，以此作为神经网络当中染色体实例掩码图预测分支的样本标签；
步骤2：将包含染色体实例的原图划分成S×S个网格，每个网格负责预测一个染色体实例，根据每个染色体的三等分特征点来将该染色体分配给不同的网格来预测该染色体实例的实例类别；
步骤3：将待处理的染色体原图与标注的染色体实例掩码图以及所有网格的预测类别组合制作成训练集，采用所设计的损失函数将模型在制作的训练集上对染色体实例分割网络进行训练，经过多次迭代训练获得有效的染色体实例分割模型；
步骤4：利用训练好的染色体实例分割模型对染色体图像进行推理，将需要进行分割的染色体原图输入到模型当中，经过FPN提取染色体图像特征，在三个尺度上分别输出三个尺寸的张量来对特征进行输出；
步骤5：将FPN输出的特征张量进行自适应下采样操作，将每个特征张量中的特征进行提取，输出一个形状为S×S×256的特征张量用于染色体实例类别的预测，采用尺寸为3×3的卷积核对获得的特征张量进行特征提取，最终输出一个大小为S×S×C的特征张量来预测染色体实例类别；
步骤6：将FPN输出的特征张量进行上采样，输出一个形状为H×W×(256+2)的特征张量来用于预测染色体实例掩码图，采用3×3大小的卷积核对该特征张量进行七次卷积操作输出一个形状为H×W×S2的特征张量用于预测不同染色体实例的掩码图；
步骤7：结合输出的染色体实例类别预测张量和染色体实例掩码图预测张量，采用非极大值抑制算法来筛选预测结果，合并重叠的染色体掩码图，最终确定染色体实例分割的结果。
进一步的，在实例类别预测张量中，输出一个形状为S×S×C的张量来预测S×S个网格中可能存在的染色体实例类别，以此来预测在不同位置上可能存在的染色体实例类别，该分支网络的输出采用Focal Loss作为损失函数，染色体实例类别预测分支损失函数公式如下：
其中y表示实例类别标签值，y′表示模型预测的实例类别概率，参数λ用于调整易分类样本和难分类样本的权重，通常取2.0，参数α用于调节不同实例样本的比例，通常取0.25。
进一步的，在染色体实例掩码图预测分支中，将x、y坐标和原始特征连接起来，对空间信息进行编码；然后将该特征张量连接到输入特征当中并向下传递；若原特征张量的大小为H×W×D，则新特征张量的大小为H×W×(D+2)，其中后两个通道为x、y像素坐标特征；在推理过程中将特征图上采样到原图大小，输出一个形状为2H×2W×S2的张量，以此来预测染色体实例的掩码图；掩码预测分支损失函数公式如下：
其中N表示正样本数，k＝iS+j表示模型预测第(i,j)个栅格上对应掩码图的编号，
表示模型预测第(i,j)个栅格中可能存在实例目标的概率，I是指示函数，当
时I等于1，否则I等于0，mk和
分别表示实例掩码图标签和模型预测的实例掩码图；dmask采用了Dice loss损失函数来保证训练时模型能够更好的收敛，其中dmask的公式如下：
其中，mx,y和gx,y分别表示预测的染色体实例掩码图m和真实的实例掩码图g在坐标(x,y)上的值；
采用大量染色体实例样本来对所设计的深度学习模型进行训练，获得能够实现端到端的染色体实例分割模型。
进一步的，模型训练的损失函数公式定义如下，其中γ为染色体实例类别和实例掩码图预测分支损失的权重系数：
loss＝lossc+γlossm；
将需要检测的染色体图像输入到训练好的深度学习模型当中，预测在第(i,j)个网格上可能存在的染色体实例类别概率Pi,j和其相应的掩码图mk，其中k＝i·S+j；
染色体类别预测和对应的掩码图是通过它们的参考网格单元关联起来，可以直接形成每个网格的最终实例分割结果。
本发明公开了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，将一幅包含染色体的图像划分为S×S的网格单元，根据染色体实例三等分特征点的位置，将染色体实例分配给多个网格单元，每个网格单元负责预测一个实例的实例类别。每个输出通道负责预测该网格单元所属染色体对象的实例掩码图。相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明提出的方法采用染色体三等分特征点来完成染色体实例分割，对于交叉重叠的染色体拥有更高的分割准确率，解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅用于示意本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图中未提及的技术特征、连接关系乃至方法步骤。
图1是本发明一实施例的一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法的流程示意图；
图2是本发明一实施例的染色体分割模型网络的结构示意图；
图3是本发明一实施例的待分割染色体原图示意图；
图4是本发明一实施例的染色体三等分特征点定位示意图；
图5是本发明一实施例的染色体实例类别预测图示意图；
图6是本发明一实施例的染色体实例掩码图预测图示意图；
图7是本发明一实施例的染色体实例分割结果图示意图。
具体实施例
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地，取决于语境，短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
参见图1，是本发明的一个实施例提供的基于染色体三等分特征点定位的交叉染色体图像实例分割方法的流程图。其中染色体实例分割网络的结构如图2所示，网络结构主要由特征金字塔网络(FPN)和染色体实例预测网络(CIPN)两个部分组成，分别用于染色体特征提取和染色体实例分割结果的预测。该染色体图像实例分割方法步骤包括：
步骤1：待分割的染色体原图如图3所示，人工对多张包含染色体原图中的染色体实例进行纯色覆盖，生成多张染色体掩码图，以此作为神经网络当中染色体实例掩码图预测分支的样本标签。
步骤2：将包含染色体实例的原图划分成S×S个网格，每个网格负责预测一个染色体实例，根据每个染色体的三等分特征点来将该染色体分配给不同的网格来预测该染色体实例的实例类别，染色体实例的分配如图4所示。
步骤3：将待处理的染色体原图与标注的染色体实例掩码图以及所有网格的预测类别组合制作成训练集，采用所设计的损失函数将模型在制作的训练集上对染色体实例分割网络进行训练，经过多次迭代训练获得有效的染色体实例分割模型。
步骤4：利用训练好的染色体实例分割模型对染色体图像进行推理。将需要进行分割的染色体原图输入到模型当中，经过FPN提取染色体图像特征，在三个尺度上分别输出三个尺寸的张量来对特征进行输出。
步骤5：将FPN输出的特征张量进行自适应下采样操作，将每个特征张量中的特征进行提取，输出一个形状为S×S×256的特征张量用于染色体实例类别的预测，采用尺寸为3×3的卷积核对获得的特征张量进行特征提取，最终输出一个大小为S×S×C的特征张量来预测染色体实例类别，染色体实例类别预测结果如图5所示。
步骤6：将FPN输出的特征张量进行上采样，输出一个形状为H×W×(256+2)的特征张量来用于预测染色体实例掩码图，采用3×3大小的卷积核对该特征张量进行七次卷积操作输出一个形状为H×W×S2的特征张量用于预测不同染色体实例的掩码图，染色体实例掩码图预测结果如图6所示。
步骤7：结合输出的染色体实例类别预测张量和染色体实例掩码图预测张量，采用非极大值抑制算法来筛选预测结果，合并重叠的染色体掩码图，最终确定染色体实例分割的结果，染色体实例分割结果如图7所示。
为了解决上述问题，本申请实施例提供一种基于染色体三等分特征点定位的交叉染色体实例分割方法，该方法不依赖染色体的形态模式，通过对大量染色体实例样本的学习，提升算法对各种形态染色体的实例分割效果。算法采用多特征点实例类别预测来代替实例定位分割网络中的实例中心点类别预测，改善了模型对重叠染色体的分割效果，提升了算法对染色体分割的准确率，相较于其他基于深度学习的染色体实例分割算法，该算法能够直接进行端到端的染色体实例分割，更适合在计算设备中执行，具体实现方案如下：
将一幅包含染色体的图像划分为S×S的网格单元，根据染色体实例三等分特征点的位置，将染色体实例分配给多个网格单元，每个网格单元负责预测一个实例的实例类别。每个输出通道负责预测该网格单元所属染色体对象的实例掩码图。相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明提出的方法采用染色体三等分特征点来完成染色体实例分割，对于交叉重叠的染色体拥有更高的分割准确率。
由于深层网络容易响应语义特征，浅层网络更容易响应图像特征，因此本发明采用特征金字塔网络(FPN)合并了深层和浅层特征来同时满足分类和检测的需求，从而将不同大小的染色体分配到不同层次的特征图当中，生成多个大小不同的金字塔特征图并将其作为每个预测端的输入，以此来预测染色体的实例类别和对应的掩码图。
本发明所提出的染色体分割算法将染色体实例分割任务转化为两个像素级的分类任务，在每个尺度的FPN输出端上附加两个分支网络来完成染色体实例分割任务，一个用于染色体实例类别的预测，另一个则用于染色体实例掩码图的分割。
在实例类别预测分支中，输出一个形状为S×S×C的张量来预测S×S个网格中可能存在的染色体实例类别，以此来预测在不同位置上可能存在的染色体实例类别，该分支网络的输出采用Focal Loss作为损失函数，染色体实例类别预测分支损失函数公式如下，其中y表示实例类别标签值，y′表示模型预测的实例类别概率，参数λ用于调整易分类样本和难分类样本的权重，通常取2.0，参数α用于调节不同实例样本的比例，通常取0.25：：
在染色体掩码预测分支中，我们将x、y坐标和原始特征连接起来，对空间信息进行编码。然后将该特征张量连接到输入特征当中并向下传递。若原特征张量的大小为H×W×D，则新特征张量的大小为H×W×(D+2)，其中后两个通道为x、y像素坐标特征。在推理过程中将特征图上采样到原图大小，输出一个形状为2H×2W×S2的张量，以此来预测染色体实例的掩码图。掩码预测分支损失函数公式如下：
其中N表示正样本数，k＝iS+j表示模型预测第(i,j)个栅格上对应掩码图的编号，
表示模型预测第(i,j)个栅格中可能存在实例目标的概率，I是指示函数，当
时I等于1，否则I等于0，mk和
分别表示实例掩码图标签和模型预测的实例掩码图。dmask采用了Dice loss损失函数来保证训练时模型能够更好的收敛，其中dmask的公式如下，mx,y和gx,y分别表示预测的染色体实例掩码图m和真实的实例掩码图g在坐标(x,y)上的值：
采用大量染色体实例样本来对所设计的深度学习模型进行训练，获得能够实现端到端的染色体实例分割模型。模型训练的损失函数公式定义如下，其中γ为染色体实例类别和实例掩码图预测分支损失的权重系数。
loss＝lossc+γlossm
将需要检测的染色体图像输入到训练好的深度学习模型当中，预测在第(i,j)个网格上可能存在的染色体实例类别概率Pi,j和其相应的掩码图mk，其中k＝i·S+j。染色体类别预测和对应的掩码图是通过它们的参考网格单元关联起来，可以直接形成每个网格的最终实例分割结果。最终收集所有输出结果并使用非最大值抑制算法来获得最终的染色体实例分割结果。
本实施例通过染色体三等分特征点定位来完成染色体实例位置信息的预测，并预测染色体实例的掩码图从而完成端到端的实例分割任务，将染色体实例分割任务转化为两个像素级的分类任务来完成，通过预测染色体实例的类别和掩码图来完成端到端的染色体实例分割。
本实施例通过染色体的三个特征点位置来预测实例类别，解决染色体交叉重叠导致分割失败的问题，同时相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明所提出的方法采用染色体三等分特征点来进行染色体实例分割，能够在更精细的尺度上分割染色体实例，对于交叉重叠的染色体和体积较小的染色体拥有更好的分割效果，算法对染色体实例分割的准确率更高，检测速度更快。
传统染色体分割方法依赖于染色体图像的质量，染色体实例分割结果受图像限制较大，算法鲁棒性较差，本发明采用深度学习的方法搭建深度神经网络模型，通过大量的染色体实例样本来完成染色体实例分割模型的训练，大大提升了染色体实例分割算法的鲁棒性。
采用本发明所提出的方法进行染色体分割模型的训练能够直接利用染色体实例掩码图进行单独训练，可以不受局部边界框检测和像素分组的限制，实现像素级实例分割，并在不需要分组后处理的情况下一次性完成染色体实例掩码图和实例类别的预测，大大提升了染色体实例分割模型的训练效率。
本发明采用染色体三等分特征点的位置来完成实例类别的预测，通过染色体的三等分特征点来区分交叉染色体的实例类别，解决重叠交叉染色体难以区分分割的问题，对于重叠的染色体实例有更好的分割效果，算法的交叉染色体实例分割准确率更高。
本发明将染色体实例的位置特征进行了量化，将待分割的染色体图像划分为S×S个栅格，通过染色体三等分特征点所属的栅格来确定染色体实例的位置，因此算法能够更准确的区分不同染色体的实例类别，从而快速的完成染色体实例类别的预测。
本发明所提出的染色体实例分割方法将染色体实例位置预测任务转化为分类任务，更易于使用固定数量的通道对多个实例进行建模，同时不依赖于分组或学习嵌入式向量之类的后处理，加快了染色体实例的分割速度。
本发明所提出的方法采用多级特征金字塔网络来完成染色体特征的提取，在多个特征等级上对染色体实例掩码图进行分割，因此算法对于同一幅染色体图像上体积差异较大的染色体实例都能够保持良好的分割效果，解决了小体积染色体容易漏检的问题。
算法能够以染色体图像为输入，直接输出染色体实例掩码和对应的染色体实例类别概率，染色体分割的效果不受染色体边界框位置和大小的影响，能够实现染色体图像端到端的实例分割任务，算法模型结构简单，拥有更快的染色体分割速度。
本发明公开了一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，将一幅包含染色体的图像划分为S×S的网格单元，根据染色体实例三等分特征点的位置，将染色体实例分配给多个网格单元，每个网格单元负责预测一个实例的实例类别。每个输出通道负责预测该网格单元所属染色体对象的实例掩码图。相较于实例定位分割网络只采用实例中心点来完成实例分割，本发明提出的方法采用染色体三等分特征点来完成染色体实例分割，对于交叉重叠的染色体拥有更高的分割准确率，解决染色体图像的分割效果仍然不够理想，小体积染色体容易漏检的问题，大大提升了染色体实例分割算法的鲁棒性，加快了染色体实例的分割速度。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (4)
1.一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，所述方法包括：
步骤1：对多张包含染色体原图中的染色体实例进行纯色覆盖，生成多张染色体掩码图，以此作为神经网络当中染色体实例掩码图预测分支的样本标签；
步骤2：将包含染色体实例的原图划分成S×S个网格，每个网格负责预测一个染色体实例，根据每个染色体的三等分特征点来将该染色体分配给不同的网格来预测该染色体实例的实例类别；
步骤3：将待处理的染色体原图与标注的染色体实例掩码图以及所有网格的预测类别组合制作成训练集，采用所设计的损失函数将模型在制作的训练集上对染色体实例分割网络进行训练，经过多次迭代训练获得有效的染色体实例分割模型；
步骤4：利用训练好的染色体实例分割模型对染色体图像进行推理，将需要进行分割的染色体原图输入到模型当中，经过FPN提取染色体图像特征，在三个尺度上分别输出三个尺寸的张量来对特征进行输出；
步骤5：将FPN输出的特征张量进行自适应下采样操作，将每个特征张量中的特征进行提取，输出一个形状为S×S×256的特征张量用于染色体实例类别的预测，采用尺寸为3×3的卷积核对获得的特征张量进行特征提取，最终输出一个大小为S×S×C的特征张量来预测染色体实例类别；
步骤6：将FPN输出的特征张量进行上采样，输出一个形状为H×W×(256+2)的特征张量来用于预测染色体实例掩码图，采用3×3大小的卷积核对该特征张量进行七次卷积操作输出一个形状为H×W×S2的特征张量用于预测不同染色体实例的掩码图；
步骤7：结合输出的染色体实例类别预测张量和染色体实例掩码图预测张量，采用非极大值抑制算法来筛选预测结果，合并重叠的染色体掩码图，最终确定染色体实例分割的结果。
2.根据权利要求1所述的一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，在实例类别预测张量中，输出一个形状为S×S×C的张量来预测S×S个网格中可能存在的染色体实例类别，以此来预测在不同位置上可能存在的染色体实例类别，该分支网络的输出采用FocalLoss作为损失函数，染色体实例类别预测分支损失函数公式如下：
其中y表示实例类别标签值，y′表示模型预测的实例类别概率，参数λ是用于调整易分类样本和难分类样本的权重系数，参数α是用于调节不同实例样本的比例的权重系数。
3.根据权利要求2所述的一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，在染色体实例掩码图预测分支中，将x、y坐标和原始特征连接起来，对空间信息进行编码；然后将该特征张量连接到输入特征当中并向下传递；若原特征张量的大小为H×W×D，则新特征张量的大小为H×W×(D+2)，其中后两个通道为x、y像素坐标特征；在推理过程中将特征图上采样到原图大小，输出一个形状为2H×2W×S2的张量，以此来预测染色体实例的掩码图；掩码预测分支损失函数公式如下，
其中N表示正样本个数，k表示模型所预测的掩码图的编号，
表示模型预测第(i,j)个栅格中可能存在实例目标的概率，I表示指示函数，当
时I等于1，否则I等于0，mk和
分别表示实例掩码图标签和模型预测的实例掩码图；dmask采用了Diceloss损失函数来保证训练时模型能够更好的收敛，其中dmask的公式如下：
其中，mx,y和gx,y分别表示预测的染色体实例掩码图m和真实的实例掩码图g在坐标(x,y)上的值；
采用大量染色体实例样本来对所设计的深度学习模型进行训练，获得能够实现端到端的染色体实例分割模型。
4.根据权利要求3所述的一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法，其特征在于，模型训练的损失函数公式定义如下，其中γ为染色体实例类别和实例掩码图预测分支损失的权重系数：
loss＝lossc+γlossm；
将需要检测的染色体图像输入到训练好的深度学习模型当中，预测在第(i,j)个网格上可能存在的染色体实例类别概率Pi,j和其相应的掩码图mk，其中k＝iS+j；
染色体类别预测和对应的掩码图是通过它们的参考网格单元关联起来，可以直接形成每个网格的最终实例分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011275495.0A CN112365482B (zh) | 2020-11-16 | 2020-11-16 | 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011275495.0A CN112365482B (zh) | 2020-11-16 | 2020-11-16 | 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365482A true CN112365482A (zh) | 2021-02-12 |
| CN112365482B CN112365482B (zh) | 2022-05-03 |
Family
ID=74514869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011275495.0A Active CN112365482B (zh) | 2020-11-16 | 2020-11-16 | 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365482B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096143A (zh) * | 2021-04-30 | 2021-07-09 | 天津深析智能科技发展有限公司 | 一种染色体核型分析中染色体分割方法 |
| CN113658199A (zh) * | 2021-09-02 | 2021-11-16 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
| CN114170218A (zh) * | 2021-12-16 | 2022-03-11 | 易构智能科技(广州)有限公司 | 一种染色体图像实例标签生成方法及*** |
| CN115330603A (zh) * | 2022-10-17 | 2022-11-11 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习卷积神经网络的人类染色体图像摆正方法 |
| CN117078668A (zh) * | 2023-10-13 | 2023-11-17 | 笑纳科技(苏州)有限公司 | 一种基于大尺寸图像的染色体分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118519A (zh) * | 2018-07-26 | 2019-01-01 | 北京纵目安驰智能科技有限公司 | 基于实例分割的目标Re-ID方法、***、终端和存储介质 |
| US20190026604A1 (en) * | 2017-07-19 | 2019-01-24 | Tata Consultany Services Limited | Crowdsourcing and deep learning based segmenting and karyotyping of chromosomes |
| CN109344874A (zh) * | 2018-08-31 | 2019-02-15 | 华侨大学 | 一种基于深度学习的染色体自动分析方法及*** |
| CN110533684A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种染色体核型图像切割方法 |
| CN110895810A (zh) * | 2019-10-24 | 2020-03-20 | 中科院广州电子技术有限公司 | 基于改进Mask RCNN的染色体图像实例分割方法及装置 |
| CN111223084A (zh) * | 2020-01-07 | 2020-06-02 | 华南师范大学 | 一种染色体切割数据的处理方法、***和存储介质 |
-
2020
- 2020-11-16 CN CN202011275495.0A patent/CN112365482B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190026604A1 (en) * | 2017-07-19 | 2019-01-24 | Tata Consultany Services Limited | Crowdsourcing and deep learning based segmenting and karyotyping of chromosomes |
| CN109118519A (zh) * | 2018-07-26 | 2019-01-01 | 北京纵目安驰智能科技有限公司 | 基于实例分割的目标Re-ID方法、***、终端和存储介质 |
| CN109344874A (zh) * | 2018-08-31 | 2019-02-15 | 华侨大学 | 一种基于深度学习的染色体自动分析方法及*** |
| CN110533684A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种染色体核型图像切割方法 |
| CN110895810A (zh) * | 2019-10-24 | 2020-03-20 | 中科院广州电子技术有限公司 | 基于改进Mask RCNN的染色体图像实例分割方法及装置 |
| CN111223084A (zh) * | 2020-01-07 | 2020-06-02 | 华南师范大学 | 一种染色体切割数据的处理方法、***和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| KAIXIN WANG等: ""PANet:Few-Shot Semantic Segmentation with Prototype Alignment"", 《ARXIV》 * |
| LI XIAO等: ""DeepACEv2: AUTOMATED CHROMOSOME ENUMERATION IN METAPHASE CELL IMAGES"", 《IEEE》 * |
| SHU LIU等: ""Path Aggregation Network for Instance Segmentation"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 冯涛等: ""基于改进的Mask R-CNN的染色体图像分割框架"", 《计算机软件及计算机应用》 * |
| 林成创等: ""AS- PANet: 改进路径增强网络的重叠染色体实例分割"", 《中国图像图形学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113096143A (zh) * | 2021-04-30 | 2021-07-09 | 天津深析智能科技发展有限公司 | 一种染色体核型分析中染色体分割方法 |
| CN113096143B (zh) * | 2021-04-30 | 2022-03-15 | 天津深析智能科技发展有限公司 | 一种染色体核型分析中染色体分割方法 |
| CN113658199A (zh) * | 2021-09-02 | 2021-11-16 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
| CN113658199B (zh) * | 2021-09-02 | 2023-11-03 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
| CN114170218A (zh) * | 2021-12-16 | 2022-03-11 | 易构智能科技(广州)有限公司 | 一种染色体图像实例标签生成方法及*** |
| CN115330603A (zh) * | 2022-10-17 | 2022-11-11 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习卷积神经网络的人类染色体图像摆正方法 |
| CN117078668A (zh) * | 2023-10-13 | 2023-11-17 | 笑纳科技(苏州)有限公司 | 一种基于大尺寸图像的染色体分割方法 |
| CN117078668B (zh) * | 2023-10-13 | 2024-02-20 | 笑纳科技(苏州)有限公司 | 一种基于大尺寸图像的染色体分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365482B (zh) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365482B (zh) | 一种基于染色体三等分特征点定位的交叉染色体图像实例分割方法 | |
| CN110321923B (zh) | 不同尺度感受野特征层融合的目标检测方法、***及介质 | |
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN109766830B (zh) | 一种基于人工智能图像处理的舰船目标识别***及方法 | |
| CN112949572B (zh) | 基于Slim-YOLOv3的口罩佩戴情况检测方法 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| CN110826379B (zh) | 一种基于特征复用与YOLOv3的目标检测方法 | |
| CN110490155B (zh) | 一种禁飞空域无人机检测方法 | |
| CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及*** | |
| CN110633633A (zh) | 一种基于自适应阈值的遥感影像道路提取方法 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN115937659A (zh) | 基于Mask-RCNN的室内复杂环境下多目标检测方法 | |
| CN110472514B (zh) | 一种自适应车辆目标检测算法模型及其构建方法 | |
| CN115393635A (zh) | 一种基于超像素分割以及数据增强的红外小目标检测方法 | |
| CN116129426A (zh) | 一种宫颈细胞涂片18类别的细粒度分类方法 | |
| CN115424264A (zh) | 全景分割方法及相关装置、电子设备、存储介质 | |
| CN114708434A (zh) | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 | |
| Aakroum et al. | Deep learning for inferring the surface solar irradiance from sky imagery | |
| CN117315380A (zh) | 一种基于深度学习的肺炎ct图像分类方法及*** | |
| CN112418358A (zh) | 一种强化深度融合网络的车辆多属性分类方法 | |
| CN115294406B (zh) | 基于属性的多模态可解释分类的方法与*** | |
| CN113947723B (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
| CN115187831A (zh) | 模型训练及烟雾检测方法、装置、电子设备及存储介质 | |
| CN114005045A (zh) | 基于轻量级深度神经网络的旋转框遥感目标检测方法 | |
| CN113936300A (zh) | 建筑工地人员识别方法、可读存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A cross chromosome image instance segmentation method based on chromosome trisection feature point localization Granted publication date: 20220503 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pengpu Sub branch Pledgor: SHANGHAI BEION PHARMACEUTICAL TECHNOLOGY CO.,LTD. Registration number: Y2024310000281 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |