CN118015006A - 基于动态圆形卷积的胚胎细胞空泡检测方法及电子设备 - Google Patents

Abstract

本发明提供了一种基于动态圆形卷积的胚胎细胞空泡检测方法，包括以下步骤：步骤S1：通过二维卷积提取原始胚胎图像的特征图；步骤S2：将所述特征图输入若干个卷积瓶颈模块依次进行特征提取，得到特征层；采用动态圆形卷积代替所述卷积瓶颈模块中的标准卷积；步骤S3：将所述特征层输入预测头部，得到检测结果。针对空泡目标小，模型难以分辨目标的精细变化问题，采用动态圆形卷积代替标准卷积；动态圆形卷积通过自适应地聚焦于空泡的边缘局部特征，从而关注到对空泡的感知，使得空泡检测的结果更加准确。

Description

基于动态圆形卷积的胚胎细胞空泡检测方法及电子设备

技术领域

本发明涉及胚胎细胞检测方法，具体涉及一种基于动态圆形卷积的胚胎细胞空泡检测方法及电子设备。

背景技术

在胚胎细胞中，空泡的大小和数量可以调节细胞的体积和形态对于胚胎发育过程中的细胞定位、组织形成和器官发育至关重要。因此在判断胚胎细胞的好坏和发育状态时，空泡的形态和情况可以提供重要的信息。通过综合考虑多个因素，并由经验丰富的专业人员进行细致的观察和分析，这些评估结果将为胚胎发育监测和医疗决策提供重要依据。利用先进的计算机视觉技术去构建检测模型，可以帮助医生更好的判断胚胎细胞的健康状况和发育程度。但是，目前对于胚胎细胞空泡目标检测方法存在一些挑战和待解决的问题。

(1)空泡占图像的一小部分，像素的组成有限。此外，在实际检测中，空泡结构还容易受到背景的干扰，使得模型很难精确区分细微的目标变化，导致检测困难。

(2)在胚胎发育过程中，空泡的大小和形态经历着动态的变化，此外考虑到空泡在显微镜下有一定的立体空间，在不同视角上看到的效果会有点不一样，这也会导致模型很难精确地识别空泡的细微变化。

这些问题会影响模型对胚胎细胞中空泡的判断，进而影响对胚胎质量的评估。

发明内容

本发明提出了一种基于动态圆形卷积的胚胎细胞空泡检测方法及电子设备，以解决空泡目标小，模型难以分辨目标的精细变化的技术问题。

为解决上述技术问题，本发明提供了一种基于动态圆形卷积的胚胎细胞空泡检测方法，包括以下步骤：

步骤S1：通过二维卷积提取原始胚胎图像的特征图；

步骤S2：将所述特征图输入若干个卷积瓶颈模块依次进行特征提取，得到特征层；采用动态圆形卷积代替所述卷积瓶颈模块中的标准卷积；

步骤S3：将所述特征层输入预测头部，得到检测结果。

优选地，当所述卷积瓶颈模块的步长为1时，主干通路由两个相同的动态圆形卷积串联组成；当所述卷积瓶颈模块的步长为2时，主干通路在两个相同动态圆形卷积之间串联一个通道卷积。

优选地，通过连续性约束对所述动态圆形卷积进行限制。

优选地，所述动态圆形卷积的进行卷积的步骤包括：

步骤S21：将标准卷积核在x轴和y轴方向都进行了直线化；

步骤S22：增加偏移量对x轴和y轴方向进行偏移；

步骤S23：采用插值得到偏移后的像素值。

优选地，基于动态圆形卷积生成若干个形态学核模板。

优选地，对若干个卷积瓶颈模块进行分组，并对每个分组提取的特征进行随机丢弃。

优选地，所述随机丢弃的方法包括：

第l组卷积核提取m个特征，表示为：

；

；

m表示第l组中动态圆形卷积的数量；和/>表示第l组卷积核分别在x轴和y轴方向提取的特征图；/>表示动态圆形卷积生成的第i个形态学核模板生成的特征；

通过以下公式进行随机丢弃：

；

式中，表示随机变量；/>表示伯努利分布，q表示随机丢弃的概率；/>表示在第l组中根据随机丢弃策略得到的实际使用的特征；/>表示第l+1组的特征图；/>表示第l组中实际使用的第t个卷积核的特征。

本发明还提供了一种电子设备，包括：存储器、处理器和计算机程序，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现上述的一种基于动态圆形卷积的胚胎细胞空泡检测方法。

本发明还提供一种存储有计算机指令的计算机可读存储介质，所述计算机指令用于使处理器执行上述方法。

本发明的有益效果至少包括：

针对空泡目标小，模型难以分辨目标的精细变化问题，本发明提出了动态圆形卷积代替标准卷积；动态圆形卷积通过自适应地聚焦于空泡的边缘局部特征，从而关注到对空泡的感知。

作为附加技术特征，针对显微镜下收集到的空泡结构视角不单一，有的接近圆形，有的为不规则椭圆形，为了应对空泡多变的全局形态的挑战，本发明提出了一种多视角特征融合策略。通过基于动态圆形卷积生成多个形态学核模板，从不同角度观察目标的结构特征，为模型补充额外的特征信息，并通过总结典型的关键特征实现高效的特征融合。

附图说明

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的含有空泡的胚胎细胞图像；

图3为本发明实施例的基于标准卷积网络实现胚胎细胞空泡目标检测方法总体架构示意图；

图4为本发明中不同步长的卷积瓶颈模块的结构示意图；

图5为本发明实施例的动态圆形卷积和标准卷积感受野对比图示意图；

图6为本发明实施例的动态圆形卷积示意图；

图7为本发明实施例的多视角特征融合示意图；

图8为本发明实施例的基于动态圆形卷积网络实现胚胎细胞空泡目标检测方法总体架构示意图；

图9为本发明实施例的预测效果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

图2展示了胚胎发育过程中不同阶段的胚胎细胞图像，其中显示了含有空泡的细胞。从图2中可以看到空泡只占有图像的一小部分，像素的组成有限，另外胚胎中还会有与空泡相似的其他物质，造成对空泡检测的干扰。因此，让模型在目标小的基础上能精细分辨出目标的细微变化，无疑是一种新的挑战。

除此之外，空泡在胚胎发育过程中会随着胚胎动态变化，空泡的大小、形态都会变化，正如图2中三幅图像所展示的，空泡从左至右依次呈现出圆形、椭圆形和不规则形。对于胚胎细胞，在电子显微镜的观察下，由于空泡具有一定的立体结构，在不同视角层面观察下的空泡会有差别。因此当胚胎图像中的空泡表现出未曾见过的形态特征时，模型倾向于过拟合到已见过的特征，无法识别未见过的特征形态，从而导致泛化性较弱。

因此，如图1所示，本发明实施例提供了一种基于动态圆形卷积的胚胎细胞空泡检测方法，包括以下步骤：

步骤S1：通过二维卷积提取原始胚胎图像的特征图；

步骤S2：将特征图输入若干个卷积瓶颈模块依次进行特征提取，得到特征层；采用动态圆形卷积代替卷积瓶颈模块中的标准卷积；

步骤S3：将特征层输入预测头部，得到检测结果。

具体地，在构建胚胎图像空泡目标检测网络模型中，需要关注到最大化提取特征和加强特征。因此构建了主干提取网络，输入的胚胎细胞图像首先会在主干网络里面进行特征提取，提取到的特征可以被称作特征图，是输入胚胎细胞图像的特征集合。

但是由于胚胎细胞***、空泡在胚胎细胞中的作用过程所发生的形态、大小、数量变化以及胚胎细胞中其他物体的干扰，原始网络模型并不能对某些特殊形态的空泡目标做出有效的检测。

由于空泡在胚胎图像中所占有的区域较小，此外，当一个胚胎细胞中出现多个空泡时，可能会出现空泡之间相互挤压，产生形变的情况。一般情况下单个独立的空泡呈凸起圆球形且有明显边缘，形变后变成椭球形、不规则形等，使得空泡边缘变得模糊不清，这进一步增加了相关工作人员对胚胎细胞空泡目标检测评估的难度。

在现有的检测中，通常基于YOLO网络实现，其基于标准卷积网络的目标检测网络结构如如图3所示，胚胎图像空泡目标检测网络模型包括二维卷积模块、N个标准卷积瓶颈模块、加强特征提取层和预测头部模块；在检测模型的主干部分，胚胎图像首先会依次经过一个二维卷积和N个标准卷积瓶颈模块进行特征提取，提取到的特征可以被称作特征层，是输入图片的特征集合。预测头部是检测目标模型的的分类器与回归器，对特征点进行判断，判断特征点是否有物体与其对应，最终输出目标的预测结果。

原始的胚胎图像经过一个二维卷积模块进行初步特征提取，随后二维卷积模块提取的特征图依次经过N个卷积瓶颈模块。如图4中的（a）所示，当卷积瓶颈块的步长为1时，主干通路由两个相同的标准卷积模块串联组成，其中，每个卷积模块包括标准形卷积、第一批归一化层、第二ReLU非线性激活函数层；如图4中的（b）所示，当卷积瓶颈块的步长为2时，主干通路是在两个相同卷积模块之间串联一个通道卷积组成；最后特征提取模块所提取的深层特征经过预测头部对重构后的位置进行分类和回归。

上述的标准卷积网络的目标检测网络结构，原始输入图像通过一个二维卷积处理后得到初步特征图，随后，初步特征图经过特征提取模块提取包含空泡更深层的特征信息序列，这些序列包含丰富的语义信息，可以理解为带有目标特征信息的序列。检测胚胎细胞中的空泡，需要这些序列能很好地提取到空泡的深层特征，包括目标的纹理、大小和空间位置。

由于空泡仅占整体图像的一小部分，像素构成有限，检测过程中容易受到背景的干扰，使模型难以精确辨别空泡目标微妙的变化。此外在胚胎发育过程中，空泡的大小和形态经历着动态的变化，由于这种变化，采用传统的卷积方法可能产生不理想的效果，本发明希望模型在学习特征的过程中，改变卷积核的形状，来关注空泡自身的结构特点。

因此，本发明实施例为了应对模型难以集中注意力处理空泡目标微妙的变化问题，采用动态圆形卷积(DRConv)代替卷积瓶颈块里的标准卷积；动态圆形卷积通过自适应地聚焦于空泡的边缘局部特征，增强对几何结构的感知。如图5所示，在标准卷积和圆形动态卷积感受野对比图中，传统卷积的感受野和采样位在整个空泡顶层特征图上固定的，而在动态圆形卷积中，它们根据空泡特征图的尺度和形状进行自适应调整。与标准卷积不同，标准卷积对特征图使用固定的权重卷积核进行卷积操作。这意味着在整个空泡特征图上，卷积核的权重参数是相同的，不随位置而变，此外，标准卷积的卷积核参数在空泡特征图上共享，因此对于每个位置，卷积核执行相同的卷积操作，更加注重整幅图像的全局特征提取，忽视了局部特征，也就不能具体关注到空泡的特征信息。而在动态圆形卷积具有以下优势。①可学习权重卷积核：在动态卷积中，空泡特征图通过使用可学习的权重卷积核进行卷积操作。每个位置上的卷积核参数是可训练的，可以根据输入数据的内容进行调整。②位置自适应权重：不同位置上的卷积核可以学习适应该位置特征的权重。这使得动态卷积更具灵活性，可以自适应地捕捉空泡结构中的局部特征。

采用动态圆形卷积，自适应地关注空泡的局部特征，应对模型难以集中注意力处理精细变化的局部结构这一问题。动态圆形卷积通过自适应地聚焦于空泡结构的细小的局部特征，增强对几何结构的感知。一方面动态圆形卷积希望卷积核能够自由地贴合空泡目标学习到特征，另一方面希望能够在约束条件下不偏离目标结构太远，如果卷积核在变化过程中太过自由，容易让模型丢失占比小的细节特征，因此本发明实施例将连续型约束加入到卷积核中补充学习过程。

具体地，对圆形动态卷积描述如下：

对于给定标准二维卷积坐标为P，中心坐标为，一个/>的卷积核P表示为：

（1）

本发明将标准卷积核在x轴和y轴方向都进行了直线化。以x轴方向为例，P中每个网格的具***置表示为：

（2）

其中d=0,1,2,3,4表示距离中心网格的水平距离。卷积核P中每个网格位置的选择是一个累积过程。从中心位置/>开始，i表示中心点的序号，远离中心网格的位置取决于前一个网格的位置：/>相对于/>增加了偏移量/>。最后，需要对以上偏移量进行累加。动态圆形卷积在x和y轴方向的变化分别为公式（3）和（4）：

（3）

（4）

其中，和/>分别表示中心点P _i在x轴和y轴方向上的坐标，d表示距离中心网格的距离；/>和/>分别表示坐标点P _i在x轴和y轴方向上在正负偏移d的情况下的位置；/>表示偏移量，是从前面的特征图中学习的，具体来说，通过在相同的输入特征图上应用一个卷积层，使用与当前卷积层相同的空间分辨率和膨胀率，通常是一个3x3的卷积核，这个卷积操作的输出被用来生成偏移。/>和/>分别表示中心点P _i在x轴和y轴方向上的偏移量，通常是小数值，表示在每个整数步长上的微小变化。由于加入偏移量/>后的位置非整数，并不对应特征图上实际存在的像素点，因此需要使用插值来得到偏移后的像素值，通常可采用双线性插值，用公式表示如下：

（5）

其中，P表示公式（3）和公式（4）的中心点的小数位置，代表所有整数空间位置，表示插值后得到的整数值，K是双线性插值核，表示一个函数，可以分解为两个一维核，即：

（6）

将公式（6）带入到公式（5）又可以写为以下形式：

（7）

公式（6）中，和/>分别表示水平和垂直方向上的一维插值核，其中是水平方向上的插值位置坐标，/>，/>是竖直方向上的插值位置坐标。这些核函数用于计算插值时的权重，以考虑小数位置上的变化。公式（7）的意义就是将插值点位置的像素值设为其4领域像素点的加权和，领域4个点是离其最近的在特征图上实际存在的像素点，每个点的权重则根据它与插值点横、纵坐标的距离来设置，公式中的max就是限制了插值点与领域点不会超过1个像素的距离。

在二维（x轴，y轴）的特征图中，动态圆形卷积核在变形过程中覆盖了空泡的感受野可选择范围，这样之后的卷积区域始终覆盖在目标形状周围，能够提取到目标特征，如图6所示。

传统的卷积操作是将特征图分成一个个与卷积核大小相同的部分，然后进行卷积操作，每部分在特征图上的位置都是固定的。本发明考虑到显微镜下收集到的空泡结构视角从来不是单一的，有的接近圆形，有的为不规则椭圆形，为了应对空泡多变的全局形态的挑战，在设计中融合多视角特征也是必然的选择。因此本发明实施例还提出了一种多视角特征融合策略。在这种方法中，基于动态圆形卷积生成多个形态学核模板，从不同角度观察目标的结构特征，为模型补充额外的特征信息，并通过总结典型的关键特征实现高效的特征融合。

并且加入了分组与随机丢弃的策略，一定程度上缓解了网络内内存的压力并避免模型陷入过拟合。

对于每一个，分别提取第l组的每个动态圆形卷积从x轴和y轴上的两个特征映射/>表示为：

（8）

其中和/>分别是在x轴和y轴方向的位置坐标，/>和/>分别表示在x轴和y轴方向提取的特征图；/>和/>分别表示在x轴和y轴方向/>和/>位置的权重，第l组卷积核提取的特征采用累积法计算。根据式（8），第l组卷积核提取m个特征为/>，其中包含动态圆形卷积的不同形态：

（9）

（10）

公式（9）中，表示基于动态圆形卷积下的第l组卷积核提取生成的m个不同形态学核模板生成的多组特征，/>表示生成的第i个形态学核模板生成的特征。然而，融合更多的特征带来的必然结果，就是更大的网络负载，且如此多的特征难免会出现冗余，因此本发明在特征融合的训练阶段引入了一种随机丢弃策略/>，以提高模型的鲁棒性能并防止过拟合，而不增加额外的计算负担，此时公式（10）变为：

（11）

其中，q是随机丢弃的概率，是一个随机变量，符合伯努利分布，表示第l组中的随机丢弃策略。/>表示在第l层中根据随机丢弃策略得到的实际使用的特征。/>表示第l+1组的特征图，其中采用了由/>部分组成的多组特征，/>代表着第l组中实际使用的第t组特征。在训练阶段保存最佳的丢弃策略，并在测试阶段引导模型融合关键特征。整个过程如图7所示，共有m个动态圆形卷积，每个生成的偏移量在[-1,1]之间，每个的偏移量一般不同，是自由学习的。对于二维图像，基于以上的偏移量生成m个形态学模板，每个模板包含x和y方向上的特征，最后对于采取随机丢弃策略后得到的实际特征图模板进行融合。

根据上述技术，最终生成动态圆形卷积网络模型DRCNet，用于下述目标检测过程。图8表示本发明提出的基于动态圆形卷积网络的空泡目标检测示意图，如图所示，原始的胚胎图像经过一个二维卷积模块进行初步特征提取，随后二维卷积模块提取的特征图依次经过I组动态圆形卷积瓶颈模块，每组瓶颈模块包括M个基于动态圆形卷积的形态学核模板，获得从多个角度观察空泡目标的结构特征，这些特征融合之后作为下一组动态圆形卷积瓶颈模块的输入，通过第I组动态圆形卷积瓶颈模块输出做融合的特征输入预测头部，经由预测头部进行锚框的生成、位置回归、目标框预测等处理，产生预测框的位置、形状。

本发明实施例在使用时，大致分为数据收集与预处理阶段和模型训练。

在进行数据收集与预处理阶段，发明实施例收集了从2014年到2022年来自生殖中心的超十万张图像，这些图像是在时差培养箱中拍摄的，这些图像中包含了含有空泡的胚胎细胞。对于每一张胚胎图像，邀请多名胚胎专家进行数据标注，采用投票数最多的作为该张图像的最终标签，增加标签的准确性和可靠性。考虑到时差培养箱中拍摄的图像在同一阶段具有相似的特征，因此本发明对整个数据集进行了随机抽样，得到了一个精简的标准数据集，去除了冗余的图像，以加快网络的训练速度。此外，在数据预处理阶段，对于含有目标空泡少的样本进行数据增强操作，通过图像处理技术中的旋转、翻转对图像进行扩张，来增加样本的多样性和数量，从而增强模型多少见类别的学习能力。

最后，将数据集按照8:1:1的比例划分为训练集、验证集和测试集，确保模型在训练过程中充分利用数据进行学习，并在验证集和测试集上进行评估和验证。通过这样的数据集划分，可以有效地评估模型的性能和泛化能力。

在模型训练阶段，将设置好的训练集和验证集输入动态圆形卷积网络模型中训练，使用的硬件为Intel® Core™ i5-10400 CPU @ 2.90GHz，16G内存，NVIDIA GeForceGTX1070，设置训练轮数为800次，一次训练所选取的样本数为32，类型识别为空泡类别，实际训练时间为5h，最终获得空泡检测所需的配置文件。检测结果如图9所示，可以看出，其很好的检测出了细胞中的空泡情况，检测效果优秀。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：包括以下步骤：

步骤S1：通过二维卷积提取原始胚胎图像的特征图；

步骤S2：将所述特征图输入若干个卷积瓶颈模块依次进行特征提取，得到特征层；采用动态圆形卷积代替所述卷积瓶颈模块中的标准卷积；

步骤S3：将所述特征层输入预测头部，得到检测结果。

2.根据权利要求1所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：当所述卷积瓶颈模块的步长为1时，主干通路由两个相同的动态圆形卷积串联组成；当所述卷积瓶颈模块的步长为2时，主干通路在两个相同动态圆形卷积之间串联一个通道卷积。

3.根据权利要求1所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：通过连续性约束对所述动态圆形卷积进行限制。

4.根据权利要求3所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：所述动态圆形卷积的进行卷积的步骤包括：

步骤S21：将标准卷积核在x轴和y轴方向都进行了直线化；

步骤S22：增加偏移量对x轴和y轴方向进行偏移；

步骤S23：采用插值得到偏移后的像素值。

5.根据权利要求1所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：基于动态圆形卷积生成若干个形态学核模板。

6.根据权利要求5所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：对若干个卷积瓶颈模块进行分组，并对每个分组提取的特征进行随机丢弃。

7.根据权利要求6所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法，其特征在于：所述随机丢弃的方法包括：

第l组卷积核提取m个特征，表示为：

；

；

m表示第l组中动态圆形卷积的数量；和/>表示第l组卷积核分别在x轴和y轴方向提取的特征图；/>表示动态圆形卷积生成的第i个形态学核模板生成的特征；

通过以下公式进行随机丢弃：

；

式中，表示随机变量；/>表示伯努利分布，q表示随机丢弃的概率；/>表示在第l组中根据随机丢弃策略得到的实际使用的特征；/>表示第l+1组的特征图；/>表示第l组中实际使用的第t个卷积核的特征。

8.一种电子设备，包括：存储器、处理器和计算机程序，其特征在于：所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现权利要求1~7任一项所述的一种基于动态圆形卷积的胚胎细胞空泡检测方法。

9.一种存储有计算机指令的计算机可读存储介质，其特征在于：所述计算机指令用于使处理器执行权利要求1至7任意一项所述方法。