CN110796127A - 基于遮挡感知的胚胎原核检测***、存储介质及终端 - Google Patents

基于遮挡感知的胚胎原核检测***、存储介质及终端 Download PDF

Info

Publication number
CN110796127A
CN110796127A CN202010007935.8A CN202010007935A CN110796127A CN 110796127 A CN110796127 A CN 110796127A CN 202010007935 A CN202010007935 A CN 202010007935A CN 110796127 A CN110796127 A CN 110796127A
Authority
CN
China
Prior art keywords
layer
embryo
prokaryotic
occlusion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010007935.8A
Other languages
English (en)
Inventor
杨波
蒲逊
汪燕
邓唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Communication Research Planning & Designing Co Ltd
Original Assignee
Sichuan Communication Research Planning & Designing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Communication Research Planning & Designing Co Ltd filed Critical Sichuan Communication Research Planning & Designing Co Ltd
Priority to CN202010007935.8A priority Critical patent/CN110796127A/zh
Publication of CN110796127A publication Critical patent/CN110796127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于遮挡感知的胚胎原核检测***、存储介质及终端，属于图像处理技术领域，***包括遮挡感知网络包括遮挡感知检测单元和分类单元；所述遮挡感知检测单元包括第一ROI池化层和依次连接的ROI池化模块、遮挡处理模块和求和层，所述第一ROI池化层输出端与所述求和层连接；所述遮挡感知检测单元输出端与所述分类单元连接，所述遮挡感知检测单元用于检测被遮挡的原核全局特征图，所述分类单元用于判断所述原核全局特征图中是否存在被遮挡的原核。本发明能够在原核与原核之间发生遮挡时，检测出是否存在被遮挡的原核，极大地降低了遮挡条件下的胚胎原核误检率。

Description

基于遮挡感知的胚胎原核检测***、存储介质及终端
技术领域
本发明涉及图像处理技术领域，尤其涉及基于遮挡感知的胚胎原核检测***、存储介质及终端。
背景技术
随着现代医疗水平的飞速发展，以及对胚胎发育机理研究的不断深入，体外受精-胚胎移植技术愈发趋于成熟，与此同时胚胎移植的需求量也大大增加。医生需要每天将胚胎从培养环境中取出观察，记录观测结果，平均每天需要观察上百个胚胎，严重依赖医院的人力资源，并且整个流程全靠人工实现，整体工作效率较为低下；另一方面，现有卵泡监测方式为容积探头，存在探头无法全方位拍摄、原核之间相互遮挡的问题。因此传统的人工观察胚胎特征，已经无法满足当前日益增长的胚胎移植需求。为了提升胚胎移植的工作效率以及医生资源的利用率，准确、高效地识别胚胎形态学特征，为胚胎质量评估提供准确数据，有效地胚胎移植提供辅助决策，一种能够在遮挡条件下对胚胎原核期原核自动、准确检测的胚胎原核检测方法就显得尤为重要。
在基于图像数据分析的胚胎检测技术领域，申请号为CN201610325368.4、名称为“一种基于细胞运动信息和灰度特性的胚胎***检测方法”的发明专利公开了一种胚胎***检测方法，该发明属于胚胎***自动检测领域，其中的胚胎自动检测方法主要思路如下：该发明提供了一种胚胎***自动检测领域的基于细胞运动信息和灰度特性的胚胎***检测方法，从胚胎影像中提取图像序列后,首先利用胚眙细胞的运动信息进行***期检测,根据检测得到的***期，可以计算出细胞的***次数和各稳定期时间,然后利用灰度特性,检测第一个稳定期内原核的个数以及存在时间，结合灰度特性和***期,对胚胎的发育状况作出评估。该检测方法利用胚胎细胞的运动信息和灰度特性,对胚胎原核进行检测。虽然上述技术方法考虑到传统的变化检测方法如差值法、K-T变换等方法抗干扰能力差、适用范围小的缺陷，通过相邻帧图像的像素的对应关系，计算胚胎内部的运动信息,用来衡量胚胎内部的变化程度，进而确定胚胎***期，并利用了原核和细胞本身的灰度特性，克服了光照、运动等干扰因素的影响。但是，由于培养过程中，极易出现细胞分泌物等杂质且探头无法全方位拍摄，原核与原核之间也极易发生遮挡，上述方法并没有考虑到培养基液中杂质的影响以及原核之间的遮挡问题，在这些情况下，现有的检测方法并不适用，在此基础上，一种能够基于遮挡感知的胚胎原核检测方法及***的发明就显得很有必要。
发明内容
本发明的目的在于克服现有技术中无法解决因原核间相互遮挡而造成胚胎原核误检率高的不足，提供了一种基于遮挡感知的胚胎原核检测***、存储介质及终端。
一种基于遮挡感知的胚胎原核检测***，所述***包括遮挡感知网络，所述遮挡感知网络包括遮挡感知检测单元和分类单元；所述遮挡感知检测单元包括第一ROI池化层和依次连接的ROI池化模块、遮挡处理模块和求和层，所述第一ROI池化层输出端与所述求和层连接；所述遮挡感知检测单元输出端与所述分类单元连接，所述遮挡感知检测单元用于检测被遮挡的原核全局特征图，所述分类单元用于判断所述原核全局特征图中是否存在被遮挡的原核。
具体地，所述ROI池化模块包括若干ROI池化层，用于对胚胎主体图像各部分进行采样得到若干第一特征图；所述遮挡处理模块包括若干遮挡处理单元，所述遮挡处理单元包括依次连接的第一卷积模块、第二softmax层和乘积层，所述第一卷积模块包括若干卷积层，且所述第一卷积模块中的第一个卷积层的输入端与所述乘积层输入端连接，用于预测所述第一特征图中原核的可见度，并将所述第一特征图与对应原核区域的可见度进行点积处理得到原核各部分的第二特征图；所述求和层包括第一全连接层和第二全连接层，用于将所述第二特征图中的元素逐一相加得到原核全局特征图，以进一步判断是否存在被遮挡的原核。
具体地，所述分类单元包括第一全连接层和第一softmax层，所述第一全连接层输出端与所述第一softmax层连接。
具体地，所述遮挡感知网络还包括回归单元，所述回归单元包括依次连接的第二全连接层和回归层，用于获取各原核在胚胎主体图像中的位置信息。
具体地，所述遮挡感知网络还包括特征提取单元，所述提取单元输出端与所述遮挡感知检测单元连接；所述特征提取单元包括若干依次连接的卷积模块，用于提取输入的胚胎主体图像的特征，进而确定胚胎主体图像中目标原核区域。
具体地，所述***还包括分割网络，所述分割网络包括输出层、若干identity_block模块和若干conv_block模块，所述identity_block模块输出端、conv_block模块输出端与所述输出层连接；所述identity_block模块包括若干identity_block单元，所述conv_block模块包括若干conv_block单元；所述identity_block单元、conv_block单元用于对输入的原始胚胎图像依次进行下采样、上采样处理，最后经输出层输出最优胚胎主体图像MASK。
具体地，所述identity_block单元包括依次连接的第一特征提取层、第二特征提取层和第一全加层，所述第一特征提取层为第一卷积层或第一深度可分离卷积层，所述第二特征提取层为第二卷积层或第二深度可分离卷积层。
具体地，所述conv_block单元包括第五特征提取层和依次连接的第三特征提取层、第四特征提取层、第二全加层，所述第五特征提取层输入端与所述第三特征提取层输入端连接，所述第五特征提取层输出端与所述第二全加层输入端连接；所述第三特征提取层为第三卷积层或第三深度可分离卷积层或第一转置层，所述第四特征提取层为第四卷积层或第四深度可分离卷积层；所述第五特征提取层包括第五卷积层或第五深度可分离卷积层或第二转置层。
本发明还包括一种存储介质，所述存储介质上存储有运行所述基于遮挡感知的胚胎原核检测***的方法，所述方法包括：采用遮挡感知检测单元检测被遮挡的原核全局特征图；采用分类单元判断所述原核全局特征图中是否存在被遮挡的原核。
本发明还包括一种终端，所述终端用于运行所述基于遮挡感知的胚胎原核检测***的方法，所述方法包括：采用遮挡感知检测单元检测被遮挡的原核全局特征图；采用分类单元判断所述原核全局特征图中是否存在被遮挡的原核。
与现有技术相比，本发明有益效果是：
（1）本发明通过对遮挡感知检测单元检测被遮挡的原核全局特征图，分类单元用于判断原核全局特征图中是否存在被遮挡的原核，能够有效判断是否存在被遮挡的原核，极大地降低了遮挡条件下的胚胎原核误检率。
（2）本发明通过ROI池化模块对输入的胚胎主体图像中目标原核区域各部分进行采样，遮挡处理模块预测各原核区域的可见度，进一步获得各目标原核区域各部分的局部特征，求和层根据目标原核区域各部分的局部特征获得各目标原核区域的全局特征图，能够有效判断是否存在被遮挡的原核，极大地降低了遮挡条件下的胚胎原核误检率。
（3）本发明特征提取单元能够提取输入的胚胎主体图像的特征，进而确定胚胎主体图像中目标原核区域。
（4）本发明回归单元能够获取各原核在胚胎主体图像中的位置信息，确定各原核在胚胎原始图像中的位置。
（5）本发明分割网络能够预测胚胎主体图像MASK，进而进一步实现胚胎主体图像与背景图像的分割。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图中：
图1为本发明实施例1的分割网络框架图；
图2为本发明实施例1的identity_block单元、conv_block单元结构示意图；
图3为本发明实施例1的遮挡感知网络的示意图；
图4为本发明实施例1的特征提取单元示意图；
图5为本发明实施例1的遮挡感知检测单元的示意图；
图6为本发明实施例1的遮挡处理模块的示意图；
图7为本发明实施例2的方法流程图；
图8为本发明实施例2的原始胚胎图像的标注过程示意图；
图9为本发明实施例2的提取胚胎主体图像的示意图；
图10为本发明实施例2判断是否存在被遮挡原核的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施提供了一种基于遮挡感知的胚胎原核检测***，***包括基于网络对称思想与残差结构的分割网络和基于R-CNN的遮挡感知网络。分割网络用于在原核识别之前进行胚胎主体图像分割，去除培养基液杂质等的干扰，缩小了原核检测模型需要检测的范围，不仅排除了来自胚胎外部的干扰，也在一定意义上提高了检测速度。基于R-CNN的遮挡感知网络能够在原核与原核之间发生相互遮挡时，可以有效检测出被遮挡原核的特征，极大地降低了遮挡条件下的误检率。
进一步地，如图1所示，分割网络包括输出层、若干identity_block模块和若干conv_block模块，identity_block模块输出端、conv_block模块输出端与输出层连接；identity_block模块包括若干identity_block单元，conv_block模块包括若干conv_block单元；identity_block单元、conv_block单元用于对输入的原始胚胎图像依次进行下采样、上采样处理，最后经输出层输出最优胚胎主体图像MASK。具体地，identity_block单元包括依次连接的第一特征提取层、第二特征提取层和第一全加层，第一特征提取层为第一卷积层或第一深度可分离卷积层，第二特征提取层为第二卷积层或第二深度可分离卷积层。conv_block单元包括第五特征提取层和依次连接的第三特征提取层、第四特征提取层、第二全加层，第五特征提取层输入端与第三特征提取层连接，第五特征提取层输出端与第二全加层连接；第三特征提取层为第三卷积层或第三深度可分离卷积层或第一转置层，第四特征提取层为第四卷积层或第四深度可分离卷积层；第五特征提取层包括第五卷积层或第五深度可分离卷积层或第二转置层。identity_block单元和conv_block单元用于对原始胚胎图像进行采样处理，输出层用于确定判断输出原始胚胎图像的准确率；更为具体地，如图2所示，对于identity_block单元，首先根据初始参数conv_type判断对原始胚胎图像做一般卷积（Conv2D）还是深度可分离卷积（SeparableConv2D），一般卷积同时进行区域和通道的卷积操作，参数较多，而深度可分离卷积将卷积运算分为两步，依次执行区域卷积和通道卷积，契合Inception模块假设，即卷积层通道间的相关性和空间相关性是可以退耦合的，将它们分开映射，能达到更好的效果；然后对输入的张量（input_tensor）连续采用两次同类型卷积，默认卷积核为3*3，最后将结果与输入张量求和（add）并作为identity_block模块的输出。对于conv_block单元，首先依旧通过判断conv_type参数决定是做一般卷积（Conv2D）、深度可分离卷积（SeparableConv2D）还是转置卷积（Conv2DTranspose），然后对输入的张量（input_tensor）采用一次卷积，默认卷积核为3*3。若conv_type为‘separable’，则再采用一次深度可分离卷积；否则采用卷积核为3*3的一般卷积。shortcut支路对输入张量采用一次1*1，默认步长为2的卷积（由conv_type判断卷积类型），最后对特征图求和并返回结果。输出层采用Sigmoid激活函数，使得输出胚胎主体Mask每个像素的取值范围为[0,1]，表示其属于胚胎区域的概率，确定最优的胚胎主体Mask。
进一步地，如图3所示，遮挡感知网络包括特依次连接的征提取单元、遮挡感知检测单元、分类单元和回归单元，图3中分类单元和回归单元中的k表示类别总数，本发明中遮挡感知网络只区分背景和原核两类，因此k=2；更进一步地，如图4所示，特征提取单元包括VGG-16网络前五个卷积模块，用于提取输入的胚胎主体图像特征，进而确定胚胎主体图像中目标原核区域。需要进一步说明的是，图4中conv2卷积模块、conv3卷积模块、conv4卷积模块、conv5卷积模块，从左只有第一层网络均为最大池化层，conv5卷积模块最后一层对应VGG-16网络第五个卷积模块第三层conv5_3。
更进一步地，如图5所示，遮挡感知检测单元包括第一ROI池化层和依次连接的遮挡感知ROI池化模块、遮挡处理模块和求和层，第一ROI池化层输出端与所述求和层连接，用于将第一ROI池化层输出的候选区域特征图与遮挡处理模块输出的原核各部分特征和是否存在遮挡的信息相结合，得到原核全局特征图；ROI池化模块包括若干ROI池化层，遮挡处理模块包括若干遮挡处理单元，遮挡处理单元包括依次连接的第一卷积模块、第二softmax层和乘积层，第一卷积模块包括若干卷积层，求和层包括第一全连接层和第二全连接层。针对因原核之间遮挡而引起的误检、漏检问题，原核遮挡的ROI池化单元接受锚点框标注的目标原核区域的胚胎主体图像，使用分块遮挡感知ROI池化模块来替代原先Faster R-CNN模块里的ROI池化模块，Faster R-CNN模块里的ROI池化模块源自与模型Fast-R-CNN，使用M×N的网格，将每个候选区域均匀分成M×N块，对每一块进行最大池化操作，从而将大小不一的候选区域统一成同维的特征向量，即将原核不同位置的结构化信息进行综合，并输入到Faster R-CNN对应的经遮挡处理模块中，遮挡处理模块进一步对原核遮挡状况进行估计。更为具体地，如图6所示，遮挡处理单元包括依次连接的3个卷积层、softmax层和乘积层，且第一个卷积层输入端与乘积层输入端连接。遮挡处理单元采用log损失函数来对遮挡处理模块进行参数训练，进而预测胚胎主体图像中目标原核区域的可见度，再对目标原核区域各部分的特征图与对应的预测可见度进行点积操作得到原核各部分最终全局特征（包括被遮挡部分的特征），特征维度为512*7*7，最后对原核四个部分的最终特征按元素逐一相加，用于Faster R-CNN模块的分类和窗口回归，以判断是否存在被遮挡的原核及原核在胚胎主体图像中的位置信息。其中，对原核四个部分的最终特征按元素逐一相加再经连接层、softmax层进行分类处理，判断是否存在被遮挡的原核；对原核四个部分的最终特征按元素逐一相加再经连接层、回归层进行回归处理，得到原核在胚胎主体图像中的位置信息。
本发明的分割网络实现胚胎主体图像与背景图像的分割，去除杂质干扰的同时简化了运算步骤，遮挡感知网络能够检测出被遮挡的原核，极大地降低了遮挡条件下的胚胎原核误检率。
本实施例提供了一种存储介质，是在实施例1基础上作出的进一步优化，其上存储有计算机指令，计算机指令运行时执行实施例1中的基于遮挡感知的胚胎原核检测***的方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例还提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行实施例1中的基于遮挡感知的胚胎原核检测***的方法的步骤。处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
实施例2
本发明在考虑原核之间极易发生遮挡问题的基础上，使用基于遮挡感知R-CNN的胚胎原核检测***的检测方法，对遮挡条件下的胚胎原核进行更加有效、准确的检测。具体思路如下：本发明针对遮挡条件下的胚胎原核特性进行了分析，提出了基于胚胎主体分割和遮挡感知R-CNN的胚胎原核检测方法。首先，对胚胎图像进行预处理，将胚胎主体从图像中分割出来，以排除来自胚胎外杂质的干扰，为后面胚胎原核检测提供方便。然后利用遮挡感知R-CNN对胚胎原核进行检测，这里的遮挡感知R-CNN同样是两阶段的基于Faster R-CNN的检测框架。其中第一阶段RPN网络产生目标候选框，通过引入聚合损失函数，使得训练过程中多个匹配到真实目标上的锚点尽量靠近；第二阶段使用Faster R-CNN部分模块对目标候选框进行进一步的分类和回归，根据先验将原核目标分成4个部分，分别提取4个部分的特征，根据原核形态的先验能够获得互补的局部特征，结合原核目标的全局特征做加权求和，再做进一步的分类和回归，降低了原核之间相互遮挡对原核检测造成的影响。
如图7所示，在实施例1中，基于遮挡感知的胚胎原核检测方法，具体包括以下步骤：
S01：建立、训练分割网络和遮挡感知网络；该步骤包括构建分割网络和遮挡感知网络，并训练上述构建分割网络和遮挡感知网络。
进一步地，基于网络对称思想和残差结构的分割网络包括identity_block模块、conv_block模块和输出层，identity_block模块包括identity_block单元、conv_block模块conv_block单元，identity_block单元和conv_block单元用于对原始胚胎图像进行采样处理，输出层用于确定判断输出原始胚胎图像的准确率。遮挡感知网络是基于R-CNN的遮挡感知网络，选择VGG-16模型为基本架构，
包括遮挡感知ROI池化模块、遮挡处理模块和求和层，用于检测被遮挡部分的原核特征。
进一步地，训练分割网络具体包括以下步骤：
S011：采用标签图像对分割网络进行训练；具体地，对分割网络进行训练包括生成标签图像步骤及根据该标签图像划分训练集和验证集步骤；生成标签图像步骤即对原始胚胎图像进行标注，使用图像标注软件labelme将胚胎与背景分割，软件自动生成JSON格式文件，再将JSON文件转换成PNG格式的标签图像。其中，图像标注过程效果图如图8所示，从左至右分别为原始胚胎图像，带有标注的图像，标签图像。划分训练集和验证集步骤即对原始标签图像进行旋转、模糊、方位平移等操作，对数据集进行数据增强，进而增加训练与验证数据，然后将数据集划分为训练集和验证集，训练集占80%，验证集占20%。
S012：定义模型函数。具体地，定义模型函数包括定义存储模型的函数、学习率动态调整函数、优化器配置函数并配置模型训练函数。更为具体地，定义存储模型的函数ModelCheckpoint，包括定义模型的存储路径和训练过程中的输出，指定网络模型训练的监控对象（val_loss）以及定义是否仅存模型的权重等参数；定义学习率动态调整函数ReduceLROnPlateau，指定监控指标val_loss，定义学习率减少指数、学习率下限等参数，当评价指标不再提升时，减小学习率；定义优化器配置函数compile，选择优化器、损失函数以及训练和测试时的性能指标；配置模型训练函数fit_generator，设置每次训练和测试输入的数据数目、模型训练的总轮数以及反馈函数。
进一步地，训练遮挡感知网络具体为计算损失函数值，并根据损失函数值更新Faster R-CNN神经网络，对更新后的Faster R-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件，网络模型训练成功。更为具体地，计算损失函数值的方法具体为，将训练样本中原核标注框与锚点框进行匹配，与原核标注框匹配的锚点框为正样本，与原核标注框不匹配则为负样本。对于所有的负样本，计算出分类预测所带来的误差值，并根据误差值进行降序排序，选取误差值最大的一批负样本作为训练数据集的负样本，其余负样本全部拋弃，保证正样本与负样本的数量比例为1:3，这样正负样本之间有着比较平衡的数量关系，有利于网络训练的平稳进行。最后，根据正样本与所选取的负样本即可实现损失函数值的计算。
S02：提取胚胎主体图像，实现胚胎主体图像与背景图像的分离，具体包括以下步骤：
S021：根据已训练好的主体分割网络生成胚胎主体图像MASK；具体地，首先定义模型输入图像大小，即重定义像素大小为320*240，并对输入图片进行标准卷积计算，将通道数扩展至32。然后开始下采样阶段，下采样共执行4次，每次先将上一次采样的原始胚胎图像中的胚胎主体特征图存储于中间变量用于上采样过程中的add操作，再分别采用conv_block单元和identity_block单元计算，4次下采样后的通道数分别为64、128、256和512。接着进入上采样过程，同样执行4次，每次先采用conv_block（conv_type = transpose）上采样，将浅层特征图与当前结果连接（add），并采用1*1卷积调整通道数，再执行identity_block操作。经由上采样操作，胚胎主体特征图还原至与输入大小相同，最终采用3*3卷积将通道压缩为1，并采用Sigmoid函数判断胚胎主体图像MASK的准确率，输出最优胚胎主体图像MASK。
S022：据胚胎主体图像MASK得到胚胎主体图像。具体地，根据胚胎主体图像MASK采用最小矩形切割原始胚胎图像得到胚胎主体图像，实现胚胎主体图像与背景图像的分割，能够去除培养基液杂质等的干扰，缩小了原核检测模型需要检测的范围，不仅排除了来自胚胎外部的干扰，也进一步提高了检测速度。如图9所示，从左至右依次为原始胚胎图像、标签图像、主体分割后的胚胎图像。
S03：根据胚胎主体图像判断是否存在被遮挡原核，如图10所示，具体包括以下步骤：
S031：确定输入的胚胎主体图像中的目标原核区域；遮挡感知网络的特征提取单元提取输入的胚胎主体图像特征，并在胚胎主体图像特征部分铺设若干不同面积的锚点框，将锚点框与遮挡感知网络模型中特征提取单元中的高层卷层关联，以提取到更多的语义信息和全局信息；特征提取单元中区域生成网络在输入图像特征部分的位置铺设5种面积的锚点框，锚点框面积分别为8*8,16*16,32*32,64*64,128*128，且所有锚点框的宽高比值均为1(原核大致比例)，以确定胚胎主体图像中目标原核区域。
S032：对原核遮挡状况进行预估以判断是否存在被遮挡原核；具体地，针对因原核之间遮挡而引起的误检、漏检问题，使用分块遮挡感知ROI池化模块来替代原先Faster R-CNN模块里的ROI池化模块，将原核不同位置的结构化信息进行综合之后，输入到Faster R-CNN对应模块中，并经一个小型的神经网络来对遮挡状况进行估计，具体过程包括：
S0321：将输入的胚胎主体图像中目标原核区域分为若干部分，采用分块遮挡感知ROI池化模块对目标原核区域各部分进行采样，即使用最大池化操作对目标原核区域各部分的特征维度进行统一，得到若干固定大小的小第一特征图(宽和高均为7)；
S0322：预测第一特征图中原核的可见度，将第一特征图与对应第一特征图中的原核可见度进行点积处理得到第二特征图；其中，第二特征图中原核特征维度为512*7*7；具体地，遮挡处理模块由三个卷积层后接一个softmax层、softmax层接Eltw乘积层组成，并使用log损失函数来对遮挡处理模块进行参数训练，oi,j表示胚胎主体图像对应预测的可见度得分，o*i,j为胚胎主体图像中对应锚点框标定的真实可见度得分。若胚胎主体图像中第i个候选窗口的第j个部分与相对应的标定窗口之间的交并比大于或等于0.5，则o*i,j=1，否则为0。因此定义遮挡处理模块的损失函数：
Locc({ti},( ti*))=
Figure 699322DEST_PATH_IMAGE002
（o*i,jlog oi,j+（1-o*i,j）log（1-oi,j））
其中，i为锚点框的标号，ti为预测的第i个锚点框原核对应的坐标，ti*为第i个锚点框相关联的物体的标定坐标。
S0323：将第二特征图中的元素逐一相加，并进行分类处理，以判断第二特征图中是否存在被遮挡的原核，进而有效检测出被遮挡的原核，极大地降低了遮挡条件下的胚胎原核误检率。
进一步地，在步骤S0323中，将第二特征图中的元素逐一相加得到原核全局特征图，将该原核全局特征图进行回归处理，能够获得原核在胚胎主图图像中的位置信息。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于遮挡感知的胚胎原核检测***，其特征在于：所述***包括遮挡感知网络，所述遮挡感知网络包括遮挡感知检测单元和分类单元；所述遮挡感知检测单元包括第一ROI池化层和依次连接的ROI池化模块、遮挡处理模块和求和层，所述第一ROI池化层输出端与所述求和层连接；
所述遮挡感知检测单元输出端与所述分类单元连接，所述遮挡感知检测单元用于检测被遮挡的原核全局特征图，所述分类单元用于判断所述原核全局特征图中是否存在被遮挡的原核。
2.根据权利要求1所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述ROI池化模块包括若干ROI池化层，用于对胚胎主体图像各部分进行采样得到若干第一特征图；
所述遮挡处理模块包括若干遮挡处理单元，所述遮挡处理单元包括依次连接的第一卷积模块、第二softmax层和乘积层，所述第一卷积模块包括若干卷积层，且所述第一卷积模块中的第一个卷积层的输入端与所述乘积层输入端连接，用于预测所述第一特征图中原核的可见度，并将所述第一特征图与对应原核区域的可见度进行点积处理得到原核各部分的第二特征图；
所述求和层包括第一全连接层和第二全连接层，用于将所述第二特征图中的元素逐一相加得到原核全局特征图，以进一步判断是否存在被遮挡的原核。
3.根据权利要求2所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述分类单元包括第一全连接层和第一softmax层，所述第一全连接层输出端与所述第一softmax层连接。
4.根据权利要求2所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述遮挡感知网络还包括回归单元，所述回归单元包括依次连接的第二全连接层和回归层，用于获取各原核在胚胎主体图像中的位置信息。
5.根据权利要求1所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述遮挡感知网络还包括特征提取单元，所述提取单元输出端与所述遮挡感知检测单元连接；
所述特征提取单元包括若干依次连接的卷积模块，用于提取输入的胚胎主体图像的特征，进而确定胚胎主体图像中目标原核区域。
6.根据权利要求1所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述***还包括分割网络，所述分割网络包括输出层、若干identity_block模块和若干conv_block模块，所述identity_block模块输出端、conv_block模块输出端与所述输出层连接；
所述identity_block模块包括若干identity_block单元，所述conv_block模块包括若干conv_block单元；所述identity_block单元、conv_block单元用于对输入的原始胚胎图像依次进行下采样、上采样处理，最后经所述输出层输出最优胚胎主体图像MASK。
7.根据权利要求6所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述identity_block单元包括依次连接的第一特征提取层、第二特征提取层和第一全加层，所述第一特征提取层为第一卷积层或第一深度可分离卷积层，所述第二特征提取层为第二卷积层或第二深度可分离卷积层。
8.根据权利要求6所述的基于遮挡感知的胚胎原核检测***，其特征在于：所述conv_block单元包括第五特征提取层和依次连接的第三特征提取层、第四特征提取层、第二全加层，所述第五特征提取层输入端与所述第三特征提取层输入端连接，所述第五特征提取层输出端与所述第二全加层输出端连接；
所述第三特征提取层为第三卷积层或第三深度可分离卷积层或第一转置层，所述第四特征提取层为第四卷积层或第四深度可分离卷积层；所述第五特征提取层包括第五卷积层或第五深度可分离卷积层或第二转置层。
9.一种存储介质，其特征在于：所述存储介质上存储有运行权利要求1-7中任意一项所述基于遮挡感知的胚胎原核检测***的方法，所述方法包括：
采用遮挡感知检测单元检测被遮挡的原核全局特征图；
采用分类单元判断所述原核全局特征图中是否存在被遮挡的原核。
10.一种终端，其特征在于：所述终端用于运行权利要求1-7中任意一项所述基于遮挡感知的胚胎原核检测***的方法，所述方法包括：
采用遮挡感知检测单元检测被遮挡的原核全局特征图；
采用分类单元判断所述原核全局特征图中是否存在被遮挡的原核。
CN202010007935.8A 2020-01-06 2020-01-06 基于遮挡感知的胚胎原核检测***、存储介质及终端 Pending CN110796127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010007935.8A CN110796127A (zh) 2020-01-06 2020-01-06 基于遮挡感知的胚胎原核检测***、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010007935.8A CN110796127A (zh) 2020-01-06 2020-01-06 基于遮挡感知的胚胎原核检测***、存储介质及终端

Publications (1)

Publication Number Publication Date
CN110796127A true CN110796127A (zh) 2020-02-14

Family

ID=69448534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010007935.8A Pending CN110796127A (zh) 2020-01-06 2020-01-06 基于遮挡感知的胚胎原核检测***、存储介质及终端

Country Status (1)

Country Link
CN (1) CN110796127A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022250A (zh) * 2016-05-17 2016-10-12 华中科技大学 一种基于细胞运动信息和灰度特性的胚胎***检测方法
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107909027A (zh) * 2017-11-14 2018-04-13 电子科技大学 一种具有遮挡处理的快速人体目标检测方法
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及***
CN109409182A (zh) * 2018-07-17 2019-03-01 宁波华仪宁创智能科技有限公司 基于图像处理的胚胎自动识别方法
CN109635629A (zh) * 2018-10-23 2019-04-16 南京行者易智能交通科技有限公司 一种基于深度学习的公交站台人群密度检测方法及装置
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022250A (zh) * 2016-05-17 2016-10-12 华中科技大学 一种基于细胞运动信息和灰度特性的胚胎***检测方法
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107909027A (zh) * 2017-11-14 2018-04-13 电子科技大学 一种具有遮挡处理的快速人体目标检测方法
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及***
CN109409182A (zh) * 2018-07-17 2019-03-01 宁波华仪宁创智能科技有限公司 基于图像处理的胚胎自动识别方法
CN109635629A (zh) * 2018-10-23 2019-04-16 南京行者易智能交通科技有限公司 一种基于深度学习的公交站台人群密度检测方法及装置
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN111814741B (zh) * 2020-07-28 2022-04-08 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法

Similar Documents

Publication Publication Date Title
CN111814741B (zh) 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN111798416B (zh) 基于病理图像与深度学习的肾小球智能检测方法及***
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断***
CN111931751B (zh) 深度学习训练方法、目标物识别方法、***和存储介质
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及***
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
EP4290451A1 (en) Deep neural network-based method for detecting living cell morphology, and related product
CN112819821B (zh) 一种细胞核图像检测方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN111476307A (zh) 一种基于深度领域适应的锂电池表面缺陷检测方法
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN115205520A (zh) 胃镜图像智能目标检测方法、***、电子设备及存储介质
CN115546187A (zh) 基于YOLO v5的农业病虫害检测方法及装置
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
CN110796127A (zh) 基于遮挡感知的胚胎原核检测***、存储介质及终端
KR20210113539A (ko) 인공지능을 이용한 염색체 분류 방법, 장치 및 컴퓨터프로그램
CN116682109A (zh) 一种病理显微图像的分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214