CN111553873B - 基于多尺度卷积神经网络的脑神经元自动检测方法 - Google Patents

基于多尺度卷积神经网络的脑神经元自动检测方法 Download PDF

Info

Publication number
CN111553873B
CN111553873B CN202010051615.2A CN202010051615A CN111553873B CN 111553873 B CN111553873 B CN 111553873B CN 202010051615 A CN202010051615 A CN 202010051615A CN 111553873 B CN111553873 B CN 111553873B
Authority
CN
China
Prior art keywords
convolution
scale
pixels
neural network
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010051615.2A
Other languages
English (en)
Other versions
CN111553873A (zh
Inventor
尤珍臻
姜明
石争浩
石程
梁继民
都双丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010051615.2A priority Critical patent/CN111553873B/zh
Publication of CN111553873A publication Critical patent/CN111553873A/zh
Application granted granted Critical
Publication of CN111553873B publication Critical patent/CN111553873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度卷积神经网络的脑神经元自动检测方法，首先建立数据库，构建对应真值图，随机将其分为训练集和测试集。然后，对原始彩色图像进行预处理；再次，构建多尺度卷积神经网络，预测神经元质心概率。在训练集上运用反向传播和随机梯度下降法，根据最小化交叉熵原理，训练神经网络参数，运用测试集验证神经网络的准确性；最后，通过局部极值的求取实现神经元质心的检测。本发明解决了现有技术中存在的神经元检测方法局限性大的问题。

Description

基于多尺度卷积神经网络的脑神经元自动检测方法
技术领域
本发明属于计算机科学与生物医学技术领域，具体涉及一种基于多尺度卷积神经网络的脑神经元自动检测方法。
背景技术
目前，用于细胞检测的相关算法大多是针对特定的解剖区域，在这些区域中，几乎没有黏连的细胞，或者细胞密度较低。因此，应用传统的阈值分割、数学形态学方法、基于凹点检测的方法、区域生长法、分水岭算法、主动轮廓模型、混合高斯模型等方法，可以很好地检测单个细胞。但是，在高密度解剖区域中，如海马体齿状回区域，成千上万个神经元相互黏连，上述方法不再适用，很容易导致神经元的过检测和欠检测现象。而近年来广泛应用在组织学显微图像中的深度学习方法(CNN、FCRN、U-net等)可以有效地解决部分黏连神经元的自动检测问题，但是由于这些网络结构采用固定尺寸的感受野，因此，对于高密度解剖区域中大量黏连的神经元检测仍有一定的局限性。而本发明能够很好地解决上面的问题，自动检测高密度解剖区域中大量黏连的神经元。
发明内容
本发明的目的是提供一种基于多尺度卷积神经网络的脑神经元自动检测方法，解决了现有技术中存在的神经元检测方法局限性大的问题。
本发明所采用的技术方案是，基于多尺度卷积神经网络的脑神经元自动检测方法，具体按照以下步骤实施：
步骤1、建立数据库，将该数据库中的图像随机分成训练集和测试集，并构建对应的训练集真值图和测试集真值图；
步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训练集图像和测试集图像；
步骤3、构建多尺度卷积神经网络：采用步骤2的训练集图像和步骤1 的训练集真值图分别作为多尺度卷积神经网络的输入和输出，训练、更新网络参数，从而得到多尺度卷积神经网络的模型；
步骤4、预测神经元质心概率：将步骤2的测试集图像送入步骤3训练好的多尺度卷积神经网络模型的输入端，该网络得到的输出结果即为预测的测试集中神经元质心的概率图；
步骤5、检测神经元质心：根据步骤4的神经元质心的概率图，对图中的每个像素，提取以该像素为中心、半径为R的圆盘内概率大于T且为局部最大值的像素，T＝0.15，计算提取的全部像素的连通分量，其重心即为本发明检测到的神经元的质心。
本发明的特点还在于，
步骤1具体如下：
从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张图像作为测试集，在上述M张图像中每个神经元中心位置即质心处手动标记一个圆盘识别每个神经元，构建真值图。
圆盘半径为5像素。
步骤2具体如下：
对步骤1建立的数据库图像进行预处理，得到归一化的图像I：
I(x,y)＝(R(x,y)+G(x,y)+B(x,y))/3/255 (1)
式中，I(x,y)为图像I中像素(x,y)的灰度归一化值，I(x,y)的范围为0-1，步骤1的数据库图像为彩色图像，由红色R、绿色G、蓝色B分量构成，R(x,y)为像素(x,y)在R分量中的灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y) 为像素(x,y)在B分量中的灰度级。
步骤3具体如下：
步骤3.1、构建多尺度编码器网络；
步骤3.2、构建解码器网络；
步骤3.3、将步骤2的训练集图像作为步骤3.1中构建的多尺度编码器网络的输入端，将步骤1的训练集真值图作为步骤3.2中构建的多尺度解码器网络的输出端，使用反向传播和随机梯度下降法，根据最小化交叉熵原理，训练、更新网络参数，得到多尺度卷积神经网络模型。
步骤3.1中多尺度编码器网络由最大池化层、卷积层和ReLU层构成，具体如下：
步骤3.1.1、首先构建3个尺度提取神经元特征，具体如下：
a1.直接对步骤2的训练集图像进行最大池化运算操作，作为第一个尺度，得到特征图
Figure RE-GDA0002560398160000031
其中，m和n代表特征图的长和宽，d代表特征图第三维度的长度，即特征图数量，步骤a1的特征图为
Figure RE-GDA0002560398160000032
a1为该特征图的编号；
a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行一次卷积操作，该64个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作，作为第二个尺度，得到特征图
Figure RE-GDA0002560398160000033
a2为该特征图的编号；
a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行两次连续的卷积操作，这两次卷积操作采用的共128个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作为第三个尺度，得到特征图
Figure RE-GDA0002560398160000041
a3为该特征图的编号；
步骤3.1.2、将步骤3.1.1中得到的三个尺度的特征图
Figure RE-GDA0002560398160000042
Figure RE-GDA0002560398160000043
级联在一起，得到特征图
Figure RE-GDA0002560398160000044
m1为该特征图的编号，至此，感受野尺寸为2×2像素、4×4像素和6×6像素；
步骤3.1.3、然后继续构建3个尺度提取神经元特征，具体如下：
b1.使用大小为1×1像素的1个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA0002560398160000045
进行一次卷积操作，该卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，作为第一个尺度，得到特征图
Figure RE-GDA0002560398160000046
b1为该特征图的编号；
b2.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA0002560398160000047
进行一次卷积操作，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，为第二个尺度，得到特征图
Figure RE-GDA0002560398160000048
b2为该特征图的编号；
b3.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA0002560398160000049
进行两次连续的卷积操作，这两次卷积操作采用的共512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作为第三个尺度，得到特征图
Figure RE-GDA00025603981600000410
b3为该特征图的编号；
步骤3.1.4、将步骤3.1.3中得到的三个尺度的特征图
Figure RE-GDA00025603981600000411
Figure RE-GDA00025603981600000412
级联在一起，得到特征图
Figure RE-GDA00025603981600000413
m2为该特征图的编号，至此，感受野尺寸为4×4像素、6×6像素、8×8像素、10×10 像素、12×12像素、14×14像素和16×16像素；
步骤3.1.5、对步骤3.1.4得到的特征图
Figure RE-GDA0002560398160000051
使用大小为3×3像素的1024个卷积核执行两次卷积操作，这两次卷积操作采用的共2048个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，用来加强神经元质心细节特征的提取，得到特征图
Figure RE-GDA0002560398160000052
c为该特征图的编号，至此，得到感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26 像素、28×28像素、30×30像素和32×32像素的7个不同尺度构成的多尺度编码器网络。
步骤3.2中解码器网络由两组对应编码器网络的上采样层、卷积层和 ReLU层组成，具体如下：
步骤3.2.1、对步骤3.1的结果进行一次上采样，得到特征图
Figure RE-GDA0002560398160000053
q为该特征图的编号；
步骤3.2.2、使用大小为2×2像素的512个卷积核对步骤3.2.1得到的特征图
Figure RE-GDA0002560398160000054
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000055
e为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.3、使用大小为3×3像素的512个卷积核对步骤3.2.2得到的特征图
Figure RE-GDA0002560398160000056
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000057
g为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.4、对步骤3.2.3得到的特征图
Figure RE-GDA0002560398160000058
进行一次上采样，得到特征图
Figure RE-GDA0002560398160000059
h为该特征图的编号；
步骤3.2.5、使用大小为2×2像素的256个卷积核对步骤3.2.4得到的特征图
Figure RE-GDA0002560398160000061
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000062
k为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.6、使用大小为3×3像素的256个卷积核对步骤3.2.5得到的特征图
Figure RE-GDA0002560398160000063
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000064
l代表为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
至此，步骤3.2.6得到特征图
Figure RE-GDA0002560398160000065
的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图数量为256；
步骤3.2.7、采用内核大小为3×3像素的2个卷积核对步骤3.2.6的结果进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000066
n为该特征图的编号，这2个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，特征图数量 2对应于步骤1的真值图中的2个类别，即神经元质心和非质心；
步骤3.2.8、对步骤3.2.7的结果应用sigmoid激活函数，得到步骤2的训练集图像I对应的神经元的质心概率图P，该质心概率图P尺寸为512×512 像素，在质心概率图P中，像素的概率值越大，该像素为神经元质心的可能性越大。
步骤3.3具体如下：
设置学习率为0.0001，选择Adam作为优化器，损失函数设为 binary_crossentropy，使用反向传播和随机梯度下降法最小化损失函数，得到训练好的网络参数，即所有卷积核的权重，所有卷积核的权重即构成多尺度卷积神经网络模型。
本发明的有益效果是，在海马体区域中构建数据集，手动标注该数据集中神经元质心的位置作为真值图，为深度学习在医学领域中的应用扩充了数据库；构建的多尺度卷积神经网络，可以自动、有效、准确地检测尤其是高密度解剖区域中大量黏连的神经元；构建的多尺度卷积神经网络，便于直接应用训练好的模型处理新的图像，能有效的缩短大尺寸脑显微图像中神经元的检测时间。
附图说明
图1是本发明的流程示意图；
图2是本发明构建的多尺度卷积神经网络结构；
图3(a)为本发明实验使用图像；
图3(b)为本发明使用实验图像的真值图；
图4(a1)为具有少量神经元的低密度图像；
图4(a2)为具有许多黏连神经元的较高密度的图像；
图4(a3)为具有大量黏连神经元的极高密度的图像；
图4(b1)为对图4(a1)应用多尺度卷积神经网络得到的神经元质心的概率图；
图4(b 2)为对图4(a2)应用多尺度卷积神经网络得到的神经元质心的概率图；
图4(b 3)为对图4(a3)应用多尺度卷积神经网络得到的神经元质心的概率图；
图4(c1)为在图4(a1)中检测到的神经元质心图；
图4(c 2)为在图4(a2)中检测到的神经元质心图；
图4(c 3)为在图4(a3)中检测到的神经元质心图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明所使用的数据库来自于合作单位法国原子能和替代能源署(CEA) 提供的猕猴脑组织显微图像。本发明采用第91张脑冠状切片的组织显微图像(约145GB)海马体中864张图像(每张图像大小为512×512像素)。
本发明基于多尺度卷积神经网络的脑神经元自动检测方法，流程图如图 1所示，具体按照以下步骤实施：
步骤1、建立数据库，将该数据库中的图像随机分成训练集和测试集，并构建对应的训练集真值图和测试集真值图；
步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训练集图像和测试集图像；
步骤3、构建多尺度卷积神经网络：采用步骤2的训练集图像和步骤1 的训练集真值图分别作为多尺度卷积神经网络的输入和输出，训练、更新网络参数，从而得到多尺度卷积神经网络的模型；
步骤4、预测神经元质心概率：将步骤2的测试集图像送入步骤3训练好的多尺度卷积神经网络模型的输入端，该网络得到的输出结果即为预测的测试集中神经元质心的概率图；
步骤5、检测神经元质心：根据步骤4的神经元质心的概率图，对图中的每个像素，提取以该像素为中心、半径为R的圆盘内概率大于T且为局部最大值的像素，T＝0.15，计算提取的全部像素的连通分量，其重心即为本发明检测到的神经元的质心。
其中，步骤1具体如下：
从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张图像作为测试集，在上述M张图像中每个神经元中心位置即质心处手动标记一个圆盘识别每个神经元，构建真值图。图3(a)为本发明实验使用图像；图像中的深色区域代表神经元，其特征为神经元中心位置颜色较暗，从神经元的中心位置到其边界，颜色逐渐变亮；图3(b)为本发明使用实验图像的真值图；含有2个类别：神经元质心和非质心，其中半径为5像素的白色圆盘表示手工标记的神经元质心，剩余黑色区域为非质心区域；
步骤2具体如下：
对步骤1建立的数据库图像进行预处理，得到归一化的图像I：
I(x,y)＝(R(x,y)+G(x,y)+B(x,y))/3/255 (1)
式中，I(x,y)为图像I中像素(x,y)的灰度归一化值，I(x,y)的范围为0-1，步骤1的数据库图像为彩色图像，由红色R、绿色G、蓝色B分量构成，R(x,y)为像素(x,y)在R分量中的灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y) 为像素(x,y)在B分量中的灰度级。
步骤3具体如下：
步骤3.1、构建多尺度编码器网络；
步骤3.2、构建解码器网络；
步骤3.3、将步骤2的训练集图像作为步骤3.1中构建的多尺度编码器网络的输入端，将步骤1的训练集真值图作为步骤3.2中构建的多尺度解码器网络的输出端，使用反向传播和随机梯度下降法，根据最小化交叉熵原理，训练、更新网络参数，得到多尺度卷积神经网络模型。
步骤3.1中多尺度编码器网络由最大池化层、卷积层和ReLU层构成，具体如下：
步骤3.1.1、首先构建3个尺度提取神经元特征，具体如下：
a1.直接对步骤2的训练集图像进行最大池化运算操作，作为第一个尺度，得到特征图
Figure RE-GDA0002560398160000101
其中，m和n代表特征图的长和宽，d代表特征图第三维度的长度，即特征图数量，步骤a1的特征图为
Figure RE-GDA0002560398160000102
a1为该特征图的编号；
a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行一次卷积操作，该64个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作，作为第二个尺度，得到特征图
Figure RE-GDA0002560398160000103
a2为该特征图的编号；
a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行两次连续的卷积操作，这两次卷积操作采用的共128个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作为第三个尺度，得到特征图
Figure RE-GDA0002560398160000104
a3为该特征图的编号；
步骤3.1.2、将步骤3.1.1中得到的三个尺度的特征图
Figure RE-GDA0002560398160000105
Figure RE-GDA0002560398160000106
级联在一起，得到特征图
Figure RE-GDA0002560398160000107
m1为该特征图的编号，至此，感受野尺寸为2×2像素、4×4像素和6×6像素；
步骤3.1.3、然后继续构建3个尺度提取神经元特征，具体如下：
b1.使用大小为1×1像素的1个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA0002560398160000108
进行一次卷积操作，该卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，作为第一个尺度，得到特征图
Figure RE-GDA0002560398160000109
b1为该特征图的编号；
b2.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA00025603981600001010
进行一次卷积操作，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，为第二个尺度，得到特征图
Figure RE-GDA0002560398160000111
b2为该特征图的编号；
b3.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure RE-GDA0002560398160000112
进行两次连续的卷积操作，这两次卷积操作采用的共512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作为第三个尺度，得到特征图
Figure RE-GDA0002560398160000113
b3为该特征图的编号；
步骤3.1.4、将步骤3.1.3中得到的三个尺度的特征图
Figure RE-GDA0002560398160000114
Figure RE-GDA0002560398160000115
级联在一起，得到特征图
Figure RE-GDA0002560398160000116
m2为该特征图的编号，至此，感受野尺寸为4×4像素、6×6像素、8×8像素、10×10 像素、12×12像素、14×14像素和16×16像素；
步骤3.1.5、对步骤3.1.4得到的特征图
Figure RE-GDA0002560398160000117
使用大小为3×3像素的1024个卷积核执行两次卷积操作，这两次卷积操作采用的共2048个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，用来加强神经元质心细节特征的提取，得到特征图
Figure RE-GDA0002560398160000118
c为该特征图的编号，至此，得到感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26 像素、28×28像素、30×30像素和32×32像素的7个不同尺度构成的多尺度编码器网络。
步骤3.2中解码器网络由两组对应编码器网络的上采样层、卷积层和 ReLU层组成，具体如下：
步骤3.2.1、对步骤3.1的结果进行一次上采样，得到特征图
Figure RE-GDA0002560398160000119
q为该特征图的编号；
步骤3.2.2、使用大小为2×2像素的512个卷积核对步骤3.2.1得到的特征图
Figure RE-GDA00025603981600001110
进行一次卷积操作，得到特征图
Figure RE-GDA00025603981600001111
e为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.3、使用大小为3×3像素的512个卷积核对步骤3.2.2得到的特征图
Figure RE-GDA0002560398160000121
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000122
g为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.4、对步骤3.2.3得到的特征图
Figure RE-GDA0002560398160000123
进行一次上采样，得到特征图
Figure RE-GDA0002560398160000124
h为该特征图的编号；
步骤3.2.5、使用大小为2×2像素的256个卷积核对步骤3.2.4得到的特征图
Figure RE-GDA0002560398160000125
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000126
k为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.6、使用大小为3×3像素的256个卷积核对步骤3.2.5得到的特征图
Figure RE-GDA0002560398160000127
进行一次卷积操作，得到特征图
Figure RE-GDA0002560398160000128
l代表为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
至此，步骤3.2.6得到特征图
Figure RE-GDA0002560398160000129
的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图数量为256；
步骤3.2.7、采用内核大小为3×3像素的2个卷积核对步骤3.2.6的结果进行一次卷积操作，得到特征图
Figure RE-GDA00025603981600001210
n为该特征图的编号，这2个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，特征图数量 2对应于步骤1的真值图中的2个类别，即神经元质心和非质心；
步骤3.2.8、对步骤3.2.7的结果应用sigmoid激活函数，得到步骤2的训练集图像I对应的神经元的质心概率图P，该质心概率图P尺寸为512×512 像素，在质心概率图P中，像素的概率值越大，该像素为神经元质心的可能性越大。
步骤3.3具体如下：
设置学习率为0.0001，选择Adam作为优化器，损失函数设为 binary_crossentropy，使用反向传播和随机梯度下降法最小化损失函数，得到训练好的网络参数，即所有卷积核的权重，所有卷积核的权重即构成多尺度卷积神经网络模型。
图2是本发明构建的多尺度卷积神经网络结构，conv代表卷积运算， ReLU代表激活函数，max pool代表最大池化运算，up代表上采样运算，concatenation代表级联操作，sigmoid代表激活函数。每个方块左下角数字代表该图像的尺寸，每个方块正上方的数字代表该图像第三维度的长度。
图4为本发明用在不同神经元密度图像中得到的神经元质心检测结果。其中，图4(a1)-(a3)为合作单位提供的原始彩色图像的灰度图，半径为 5像素的圆盘表示手工标记的神经元质心，图4(a1)为具有少量神经元的低密度图像。图4(a2)为具有许多黏连神经元的较高密度的图像。图4(a3) 为具有大量黏连神经元的极高密度的图像。图4(b1)-(b3)分别为应用所发明的多尺度卷积神经网络得到对应图4(a1)-图4(a3)的神经元质心的概率图。图像中某一像素颜色越亮，代表该像素为神经元质心的概率越大；图4(c1)-(c3)分别为在图4(a1)-(a3)中检测到的神经元质心。计算图4(b1)-(b3)中概率大于T(T＝0.15)且为局部最大值的像素的连通分量，其重心即为本发明检测到的神经元的质心，以该质心为中心、半径为R 的圆盘表示。
本发明构建的多尺度卷积神经网络使用测试集验证其预测结果的准确性。将步骤2的测试集图像送入神经网络，利用训练好的神经网络模型得到神经元概率图，使用步骤5得到的测试集对应的神经元质心图，计算预测得到的神经元数量，使用相对计数误差ε和步骤1的测试集真值图的神经元数量比较，定量评估所提出网络的性能，式(2)为相对误差的定义。
ε＝|Na-Ne|/Ne (2)
式中，Na是通过自动方法检测到的神经元质心的数量，Ne是专家标记的神经元质心的数量。相对误差越小，自动检测方法的性能越好。如表1所示，对步骤2的测试集图像分别应用FCRN、U-net、本发明的神经网络，通过对比神经元数量与根据步骤1的测试集真值图得到的神经元数量，从而计算得到的神经元数量的平均相对误差和标准差，
表1不同方法中相对误差±标准差对比
方法 相对误差±标准差
FCRN 1.428±1.255
U-net 0.169±0.214
发明的神经网络 0.135±0.189
表1中，FCRN：W.Xie,J.A.Noble,and A.Zisserman,“Microscopy cell countingand detection with fully convolutional regression networks,”Computer Methodsin Biomechanics and Biomedical Engineering:Imaging&Visualization, vol.6,no.3,pp.283–292,2016。
U-net：T.Falk et al.,“U-Net:deep learning for cell counting,detection,and morphometry,”Nature Methods,vol.16,no.1,pp.67–70,2019,doi: 10.1038/s41592-018-0261-2。
从表1可以看出，本发明应用在测试集上得到的平均相对误差和标准差均小于参考方法得到的结果。应用本发明的神经网络得到的神经元数量的平均相对误差最小，与FCRN和U-net相比，神经元质心检测正确率分别提高了90.5％和20.1％。此外，应用发明的神经网络得到神经元数量的标准差也最小，证明对于不同密度的神经元组织显微图像，发明的神经网络比其他两种参考方法更鲁棒。

Claims (8)

1.基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，具体按照以下步骤实施：
步骤1、建立数据库，将该数据库中的图像随机分成训练集和测试集，并构建对应的训练集真值图和测试集真值图；
步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训练集图像和测试集图像；
步骤3、构建多尺度卷积神经网络：采用步骤2的训练集图像和步骤1的训练集真值图分别作为多尺度卷积神经网络的输入和输出，训练、更新网络参数，从而得到多尺度卷积神经网络的模型；
步骤4、预测神经元质心概率：将步骤2的测试集图像送入步骤3训练好的多尺度卷积神经网络模型的输入端，该网络得到的输出结果即为预测的测试集中神经元质心的概率图；
步骤5、检测神经元质心：根据步骤4的神经元质心的概率图，对图中的每个像素，提取以该像素为中心、半径为R的圆盘内概率大于T且为局部最大值的像素，T＝0.15，计算提取的全部像素的连通分量，其重心即为本发明检测到的神经元的质心。
2.根据权利要求1所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤1具体如下：
从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张图像作为测试集，在上述M张图像中每个神经元中心位置即质心处手动标记一个圆盘识别每个神经元，构建真值图。
3.根据权利要求2所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述圆盘半径为5像素。
4.根据权利要求2所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤2具体如下：
对步骤1建立的数据库图像进行预处理，得到归一化的图像I：
I(x,y)＝(R(x,y)+G(x,y)+B(x,y))/3/255 (1)
式中，I(x,y)为图像I中像素(x,y)的灰度归一化值，I(x,y)的范围为0-1，步骤1的数据库图像为彩色图像，由红色R、绿色G、蓝色B分量构成，R(x,y)为像素(x,y)在R分量中的灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y为像素(x,y)在B分量中的灰度级。
5.根据权利要求4所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤3具体如下：
步骤3.1、构建多尺度编码器网络；
步骤3.2、构建解码器网络；
步骤3.3、将步骤2的训练集图像作为步骤3.1中构建的多尺度编码器网络的输入端，将步骤1的训练集真值图作为步骤3.2中构建的多尺度解码器网络的输出端，使用反向传播和随机梯度下降法，根据最小化交叉熵原理，训练、更新网络参数，得到多尺度卷积神经网络模型。
6.根据权利要求5所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤3.1中多尺度编码器网络由最大池化层、卷积层和ReLU层构成，具体如下：
步骤3.1.1、首先构建3个尺度提取神经元特征，具体如下：
a1.直接对步骤2的训练集图像进行最大池化运算操作，作为第一个尺度，得到特征图
Figure FDA0002371371600000021
其中，m和n代表特征图的长和宽，d代表特征图第三维度的长度，即特征图数量，步骤a1的特征图为
Figure FDA0002371371600000031
a1为该特征图的编号；
a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行一次卷积操作，该64个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作，作为第二个尺度，得到特征图
Figure FDA0002371371600000032
a2为该特征图的编号；
a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像进行两次连续的卷积操作，这两次卷积操作采用的共128个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后再执行一次最大池化操作为第三个尺度，得到特征图
Figure FDA0002371371600000033
a3为该特征图的编号；
步骤3.1.2、将步骤3.1.1中得到的三个尺度的特征图
Figure FDA0002371371600000034
Figure FDA0002371371600000035
级联在一起，得到特征图
Figure FDA0002371371600000036
m1为该特征图的编号，至此，感受野尺寸为2×2像素、4×4像素和6×6像素；
步骤3.1.3、然后继续构建3个尺度提取神经元特征，具体如下：
b1.使用大小为1×1像素的1个卷积核对步骤3.1.2得到的特征图
Figure FDA0002371371600000037
进行一次卷积操作，该卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，作为第一个尺度，得到特征图
Figure FDA0002371371600000038
b1为该特征图的编号；
b2.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure FDA0002371371600000039
进行一次卷积操作，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作，为第二个尺度，得到特征图
Figure FDA00023713716000000310
b2为该特征图的编号；
b3.使用大小为3×3像素的256个卷积核对步骤3.1.2得到的特征图
Figure FDA0002371371600000041
进行两次连续的卷积操作，这两次卷积操作采用的共512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，然后执行一次最大池化操作为第三个尺度，得到特征图
Figure FDA0002371371600000042
b3为该特征图的编号；
步骤3.1.4、将步骤3.1.3中得到的三个尺度的特征图
Figure FDA0002371371600000043
Figure FDA0002371371600000044
级联在一起，得到特征图
Figure FDA0002371371600000045
m2为该特征图的编号，至此，感受野尺寸为4×4像素、6×6像素、8×8像素、10×10像素、12×12像素、14×14像素和16×16像素；
步骤3.1.5、对步骤3.1.4得到的特征图
Figure FDA0002371371600000046
使用大小为3×3像素的1024个卷积核执行两次卷积操作，这两次卷积操作采用的共2048个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，用来加强神经元质心细节特征的提取，得到特征图
Figure FDA0002371371600000047
c为该特征图的编号，至此，得到感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26像素、28×28像素、30×30像素和32×32像素的7个不同尺度构成的多尺度编码器网络。
7.根据权利要求6所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤3.2中解码器网络由两组对应编码器网络的上采样层、卷积层和ReLU层组成，具体如下：
步骤3.2.1、对步骤3.1的结果进行一次上采样，得到特征图
Figure FDA0002371371600000048
q为该特征图的编号；
步骤3.2.2、使用大小为2×2像素的512个卷积核对步骤3.2.1得到的特征图
Figure FDA0002371371600000049
进行一次卷积操作，得到特征图
Figure FDA00023713716000000410
e为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.3、使用大小为3×3像素的512个卷积核对步骤3.2.2得到的特征图
Figure FDA0002371371600000051
进行一次卷积操作，得到特征图
Figure FDA0002371371600000052
g为该特征图的编号，该512个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.4、对步骤3.2.3得到的特征图
Figure FDA0002371371600000053
进行一次上采样，得到特征图
Figure FDA0002371371600000054
h为该特征图的编号；
步骤3.2.5、使用大小为2×2像素的256个卷积核对步骤3.2.4得到的特征图
Figure FDA0002371371600000055
进行一次卷积操作，得到特征图
Figure FDA0002371371600000056
k为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
步骤3.2.6、使用大小为3×3像素的256个卷积核对步骤3.2.5得到的特征图
Figure FDA0002371371600000057
进行一次卷积操作，得到特征图
Figure FDA0002371371600000058
l代表为该特征图的编号，该256个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一；
至此，步骤3.2.6得到特征图
Figure FDA0002371371600000059
的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图数量为256；
步骤3.2.7、采用内核大小为3×3像素的2个卷积核对步骤3.2.6的结果进行一次卷积操作，得到特征图
Figure FDA00023713716000000510
n为该特征图的编号，这2个卷积核的权重即为需要训练的多尺度卷积神经网络的参数之一，特征图数量2对应于步骤1的真值图中的2个类别，即神经元质心和非质心；
步骤3.2.8、对步骤3.2.7的结果应用sigmoid激活函数，得到步骤2的训练集图像I对应的神经元的质心概率图P，该质心概率图P尺寸为512×512像素，在质心概率图P中，像素的概率值越大，该像素为神经元质心的可能性越大。
8.根据权利要求7所述的基于多尺度卷积神经网络的脑神经元自动检测方法，其特征在于，所述步骤3.3具体如下：
设置学习率为0.0001，选择Adam作为优化器，损失函数设为binary_crossentropy，使用反向传播和随机梯度下降法最小化损失函数，得到训练好的网络参数，即所有卷积核的权重，所有卷积核的权重即构成多尺度卷积神经网络模型。
CN202010051615.2A 2020-01-17 2020-01-17 基于多尺度卷积神经网络的脑神经元自动检测方法 Active CN111553873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010051615.2A CN111553873B (zh) 2020-01-17 2020-01-17 基于多尺度卷积神经网络的脑神经元自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010051615.2A CN111553873B (zh) 2020-01-17 2020-01-17 基于多尺度卷积神经网络的脑神经元自动检测方法

Publications (2)

Publication Number Publication Date
CN111553873A CN111553873A (zh) 2020-08-18
CN111553873B true CN111553873B (zh) 2023-03-14

Family

ID=72005446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010051615.2A Active CN111553873B (zh) 2020-01-17 2020-01-17 基于多尺度卷积神经网络的脑神经元自动检测方法

Country Status (1)

Country Link
CN (1) CN111553873B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070690B (zh) * 2020-08-25 2023-04-25 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN113240620B (zh) * 2021-01-29 2023-09-12 西安理工大学 基于点标记的高度黏连和多尺寸脑神经元自动分割方法
CN113920124B (zh) * 2021-06-22 2023-04-11 西安理工大学 基于分割和误差引导的脑神经元迭代分割方法
CN113674207B (zh) * 2021-07-21 2023-04-07 电子科技大学 一种基于图卷积神经网络的pcb元器件自动定位方法
CN115578335B (zh) * 2022-09-29 2023-05-05 西安理工大学 基于多尺度特征提取的声带白斑图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2913432A1 (en) * 2015-11-26 2016-01-27 Robert Zakaluk System and method for identifying, analyzing, and reporting on players in a game from video
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN108846473A (zh) * 2018-04-10 2018-11-20 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2913432A1 (en) * 2015-11-26 2016-01-27 Robert Zakaluk System and method for identifying, analyzing, and reporting on players in a game from video
WO2018052586A1 (en) * 2016-09-14 2018-03-22 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN108846473A (zh) * 2018-04-10 2018-11-20 杭州电子科技大学 基于方向和尺度自适应卷积神经网络的光场深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的交通路标识别;陈柏立等;《计算机与现代化》(第07期);全文 *

Also Published As

Publication number Publication date
CN111553873A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553873B (zh) 基于多尺度卷积神经网络的脑神经元自动检测方法
Ali et al. Structural crack detection using deep convolutional neural networks
CN110097554B (zh) 基于密集卷积和深度可分离卷积的视网膜血管分割方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
CN111815574B (zh) 一种基于粗糙集神经网络的眼底视网膜血管图像分割方法
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN112465830B (zh) 一种磨玻璃样肺结节自动分割方法及计算机设备
CN111507884A (zh) 一种基于深层卷积神经网络的自适应图像隐写分析方法及***
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN110781901B (zh) 基于bp神经网络预测阈值的仪表重影字符识别方法
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
CN107871316B (zh) 基于深度神经网络的x光片手骨兴趣区域自动提取方法
CN110751644B (zh) 道路表面裂纹检测方法
CN111815563B (zh) 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN107145885A (zh) 一种基于卷积神经网络的单字图文字识别方法及装置
CN110689060B (zh) 一种基于聚合特征差异学习网络的异源图像匹配方法
CN111242949B (zh) 基于全卷积神经网络多尺度特征的眼底图像血管分割方法
CN113240620B (zh) 基于点标记的高度黏连和多尺寸脑神经元自动分割方法
CN112818920A (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN115797216A (zh) 一种基于自编码网络的碑文文字修复模型及修复方法
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
Jiang et al. Efficient BFCN for automatic retinal vessel segmentation
CN109741313B (zh) 独立成分分析和卷积神经网络的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant