CN114445343A - 一种显微镜***tct图像细胞鲁棒检测方法 - Google Patents

一种显微镜***tct图像细胞鲁棒检测方法 Download PDF

Info

Publication number
CN114445343A
CN114445343A CN202111632351.0A CN202111632351A CN114445343A CN 114445343 A CN114445343 A CN 114445343A CN 202111632351 A CN202111632351 A CN 202111632351A CN 114445343 A CN114445343 A CN 114445343A
Authority
CN
China
Prior art keywords
normalization
feature
delta
layer
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111632351.0A
Other languages
English (en)
Inventor
亢宇鑫
崔灿
崔磊
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202111632351.0A priority Critical patent/CN114445343A/zh
Publication of CN114445343A publication Critical patent/CN114445343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及显微镜下病理图像细胞鲁棒检测方法技术领域，尤其涉及一种显微镜***TCT图像细胞鲁棒检测方法，针对当前现有的显微镜下病理图像细胞鲁棒检测方法仍存在网络的泛化能力较弱以及输入特征值的差异较大导致产生的差异值较大的问题，现提出如下方案，其中包括以下步骤：S1：构建基础网络结构,S2:构建自适应标准化模块，本发明的目的是通过自编码器能够自适应的学习到离散性较高的特征均值、标准差，缩放因子等统计信息，提高输入特征值的准确性，减小产生的差异值，有效的提升显微镜病理图像细胞检测精度，同时自适应标准化模块与传统的批处理标准化使用方式相同，可以兼容深度卷积神经网络，增强模型的域泛化能力。

Description

一种显微镜***TCT图像细胞鲁棒检测方法
技术领域
本发明涉及显微镜下病理图像细胞鲁棒检测方法技术领域，尤其涉及一种显微镜***TCT图像细胞鲁棒检测方法。
背景技术
在数字病理图像细胞检测方法中，基于深度学习的目标检测网络被广泛使用。目标检测网络通常通过卷积神经网络有效多尺度特征及其上下文信息并进行编码，然后将编码到的深度特征利用区域生成网络得到候选区域框，最终通过非极大值抑制、全连接分类等技术手段对候选区域框的类别及位置进行回归，从而达到对细胞进行检测、分类的效果。目标检测网络需要丰富的上下文信息以及局部的细粒度特征信息。同时目标检测网络对于数据集样本的特征域特别敏感，当使用单一域的数据对模型进行训练并接近拟合时，模型的参数对于多域下的图像信息是非常敏感的，噪声分布不同的影响均会导致模型性能降低。领域适应是近几年非常热门的一个研究方向。许多方法在视觉任务中联合执行特征级和像素级领域自适应，例如图像分类、语义分割和目标检测。这些方法通过将对抗学习与深度卷积神经网络相结合，利用两种不同场景分布的数据并将其输入到具有特征级对齐的任务网络中，进行像素级的自适应。然而，在多场景显微镜下细胞检测任务中，由于切片成像场景本身是无界的，而使用有界的领域自适应方法无法有效的模拟真实应用场景，因此性能并不能得到保证。而相比于领域自适应，领域泛化旨在学习场景的不变表示，从而在不访问目标域的情况下改进泛化。然而多数的域泛化工作均在多个场景的训练图像上展开。目前，如何在单一场景下学习领域不变表示，进而在多场景中进行泛化应用，是一大挑战。
但是目前现有的显微镜下病理图像细胞鲁棒检测方法仍存在网络的泛化能力较弱以及输入特征值的差异较大导致产生的差异值较大的问题，因此，我们提出一种显微镜***TCT图像细胞鲁棒检测方法用于解决上述问题。
发明内容
本发明的目的是为了解决目前现有的显微镜下病理图像细胞鲁棒检测方法仍存在网络的泛化能力较弱以及输入特征值的差异较大导致产生的差异值较大等问题，而提出的一种显微镜***TCT图像细胞鲁棒检测方法。
为了实现上述目的，本发明采用了如下技术方案：
一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：基于目标检测网络FPN构建基础目标检测网络结构图；
S2：构建自适应标准化模块：通过构建自适应标准化模块进行标准化与归一化；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化；
S4：自适应归一化：通过操作进行自适应归一化参数学习和特征归一化；
优选的，所述S1中，使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
优选的，所述S2中，在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
优选的，所述S3中，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000041
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000042
其中所述公式中μfinal与δfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
优选的，所述S4中，所述自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
与现有技术相比，本发明的有益效果是：
1、通过自编码器能够自适应的学习到离散性较高的特征均值、标准差，缩放因子等统计信息，提高输入特征值的准确性，减小产生的差异值，有效的提升显微镜病理图像细胞检测精度。
2、自适应标准化模块与传统的批处理标准化使用方式相同，可以兼容深度卷积神经网络，增强模型的域泛化能力。
本发明的目的是通过自编码器能够自适应的学习到离散性较高的特征均值、标准差，缩放因子等统计信息，提高输入特征值的准确性，减小产生的差异值，有效的提升显微镜病理图像细胞检测精度，同时自适应标准化模块与传统的批处理标准化使用方式相同，可以兼容深度卷积神经网络，增强模型的域泛化能力。
附图说明
图1为本发明提出的一种显微镜***TCT图像细胞鲁棒检测方法的流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一
参照图1，一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
S2：构建自适应标准化模块：在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000081
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000091
其中所述公式中μfinal与μfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
S4：自适应归一化：通过操作进行自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
实施例二
参照图1，一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
S2：构建自适应标准化模块：在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000111
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000121
其中所述公式中μfinal与δfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
S4：自适应归一化：通过操作进行自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
实施例三
参照图1，一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
S2：构建自适应标准化模块：在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000141
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差ostan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000151
其中所述公式中μfinal与δfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
S4：自适应归一化：通过操作进行自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
实施例四
参照图1，一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
S2：构建自适应标准化模块：在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000171
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000181
其中所述公式中μfinal与δfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
S4：自适应归一化：通过操作进行自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
实施例五
参照图1，一种显微镜***TCT图像细胞鲁棒检测方法，包括以下步骤：
S1：构建基础网络结构：使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络(RPN)获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数，可根据需求进行自主定义，由于在卷积提取特征过程的过程中步长的不同，因此分别对四个不同尺度的特征图对应的步长进行RoIAlign操作，所述RoIAlign指的是，遍历每一个候选区域，保持浮点数边界不做量化，并将候选区域分割成k×k个单元，每个单元的边界均不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值进行最大池化操作，通过操作将每个尺度得到的候选区域框映射在输入的原图上，同时将经过RoIAlign操作产生的映射在原图上的候选区域进行Concat连接，最后将网络分为全连接预测类别class和全连接预测矩形框box两部分；
S2：构建自适应标准化模块：在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure BDA0003441389780000211
公式中i与j分别表示特征图的横纵坐标，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，通过实验对比分析，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure BDA0003441389780000221
其中所述公式中μfinal与μfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfina与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10，目的是防止δfinal为0，即分母为0导致计算错误；
S4：自适应归一化：通过操作进行自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个，第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个，第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，与μ和δ相同，与标准化过程相同，μ与δ特征可共用同一编码器进行解码，μ与δ所使用的编码器参数共享，而解码器参数则各自独立，保持独立预测，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
将实施例一、实施例二、实施例三、实施例四和实施例五中一种显微镜***TCT图像细胞鲁棒检测方法进行试验，得出结果如下：
Figure BDA0003441389780000231
实施例一、实施例二、实施例三、实施例四和实施例五制得显微镜***TCT图像细胞鲁棒检测方法对比现有方法精确度有了显著提高，且实施例一为最佳实施例。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，包括以下步骤：
S1：构建基础网络结构：基于目标检测网络FPN构建基础目标检测网络结构图；
S2：构建自适应标准化模块：通过构建自适应标准化模块进行标准化与归一化；
S3：自适应标准化：通过计算和公式代入进行自适应标准化参数学习、获得残差项稳定特征信息和特征标准化；
S4：自适应归一化：通过操作进行自适应归一化参数学习和特征归一化。
2.根据权利要求1所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，所述S1中，使用编码网络提取多尺度的语义特征，同时使用空间金字塔网络获得目标检测候选区域框anchor box，经过非最大值抑制操作后保留N个RoI，其中N为超参数。进一步通过插值操作将每个尺度得到的候选区域框映射在输入的原图上，最后将利用坐标回归器与类别分类器分别预测矩形框的坐标位置和类别。
3.根据权利要求1所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，所述S2中，在基础目标检测网络中，每个编码层、中间层、预测层均加入自适应标准化模块用于特征标准化，所述特征标准化由标准化与归一化两个步骤，其中所述标准化是通过统计学方法沿通道计算每个实例输入特征图的特征均值μ与特征方差δ，并使用自编码器自适应学***移因子γ进行的。
4.根据权利要求1所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，所述S3中，所述自适应标准化参数学习是通过卷积操作得到特征图x，维度为C×H×W，其中C表示该特征图的通道数，H与W则分别表示特征的长宽尺寸，同时通过均值操作与方差操做沿通道求出特征图x的每一通道均值μc与δc，其中μ与δ为整个特征图中每个通道的μc与δc的整合，维度均为C×1，且计算公式为
Figure FDA0003441389770000021
公式中i与j分别表示特征图的横纵坐标。
5.根据权利要求5所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，在求得μ与δ之后，采用自编码器自适应学习离散化的特征均值μstan与方差δstan，其中自编码器由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个,第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个,第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，在每个解码器后，采用relu激活的方式保证学习到的特征均值μstan与方差δstan离散且非负。
6.根据权利要求1所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，所述S3中，所述残差项稳定特征信息是通过自编码解码器得到的特征均值μstan与方差δstan，并采用残差计算的方式稳定特征均值μstan与方差δstan，其中所述残差计算是使用可学习的权重因子λ作为残差权重项，对学习到的μstan与δstan进行加权，利用1-λ约束μ与δ，同时利用算数相加进行融合，其中所述计算公式为
Figure FDA0003441389770000031
其中所述公式中μfinal与δfinal分别表示最终的特征均值与特征方差，所述特征标准化是使用μfinal与δfinal对特征x进行标准化，得到标准化后的特征图x_s，所述标准化操作公式为x_s＝(x-μfinal)/(δfinal+ε)，其中公式中ε为常数项，值为1e-10。
7.根据权利要求1所述的一种显微镜***TCT图像细胞鲁棒检测方法，其特征在于，所述S4中，所述自适应归一化参数学***移因子γ，所述归一化操作是在计算出的μ与δ基础上，利用自编码器自适应学***移因子γ进行操作，其中归一化中的自编码器同样由编码器与解码器构成，所述编码器由三层全连接层构成，第一层编码层输入神经元为C个，输出神经元为C/2个，第二层输入神经元为C/2个，输出神经元为C/4个,第三层输入神经元为C/4个，输出神经元为C/8个，所述解码器由三层全连接层构成，第一层解码层输入神经元为C/8个，输出神经元为C/4个，第二层输入神经元为C/4个，输出神经元为C/2个,第三层输入神经元为C/2个，输出神经元为C个，mean与std在经过解码器前特征维度变为C/8*1，经过解码器后特征维度则恢复至C*1，同时在平移因子γ的经过解码器之前采用tanh激活方式进行激活，在平移因子γ的解码器之后采用sigmoid操作保证学***移因子γ对标准化后的特征图x_s进行归一化，得到归一化后的特征图x_norm，其中具体标准化操作为公式为xnorm＝xs*β+γ。
CN202111632351.0A 2021-12-29 2021-12-29 一种显微镜***tct图像细胞鲁棒检测方法 Pending CN114445343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111632351.0A CN114445343A (zh) 2021-12-29 2021-12-29 一种显微镜***tct图像细胞鲁棒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111632351.0A CN114445343A (zh) 2021-12-29 2021-12-29 一种显微镜***tct图像细胞鲁棒检测方法

Publications (1)

Publication Number Publication Date
CN114445343A true CN114445343A (zh) 2022-05-06

Family

ID=81364847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111632351.0A Pending CN114445343A (zh) 2021-12-29 2021-12-29 一种显微镜***tct图像细胞鲁棒检测方法

Country Status (1)

Country Link
CN (1) CN114445343A (zh)

Similar Documents

Publication Publication Date Title
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
US11631248B2 (en) Video watermark identification method and apparatus, device, and storage medium
CN109919204B (zh) 一种面向噪声图像的深度学习聚类方法
CN110555881A (zh) 一种基于卷积神经网络的视觉slam测试方法
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN112070044B (zh) 一种视频物体分类方法及装置
US11062210B2 (en) Method and apparatus for training a neural network used for denoising
KR20200144398A (ko) 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법
CN111695673B (zh) 训练神经网络预测器的方法、图像处理方法及装置
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及***
WO2019204146A1 (en) Context embedding for capturing image dynamics
CN116363465A (zh) 一种基于非对称掩码的对比学习方法
CN113065551A (zh) 利用深度神经网络模型执行图像分割的方法
CN113869234B (zh) 人脸表情识别方法、装置、设备及存储介质
CN113762396A (zh) 一种二维图像语义分割方法
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN116958163A (zh) 一种多器官和/或病灶的医学图像分割方法及装置
CN111723934B (zh) 图像处理方法及***、电子设备及存储介质
CN117036832A (zh) 一种基于随机多尺度分块的图像分类方法、装置及介质
CN116778470A (zh) 对象识别及对象识别模型训练方法、装置、设备及介质
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN114445343A (zh) 一种显微镜***tct图像细胞鲁棒检测方法
CN116849697A (zh) 一种基于自监督迁移学习的盆底功能障碍评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination