CN111553418B - 神经元重建错误的检测方法、装置和计算机设备 - Google Patents

神经元重建错误的检测方法、装置和计算机设备 Download PDF

Info

Publication number
CN111553418B
CN111553418B CN202010349589.1A CN202010349589A CN111553418B CN 111553418 B CN111553418 B CN 111553418B CN 202010349589 A CN202010349589 A CN 202010349589A CN 111553418 B CN111553418 B CN 111553418B
Authority
CN
China
Prior art keywords
node
image
neuron
training
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010349589.1A
Other languages
English (en)
Other versions
CN111553418A (zh
Inventor
卢东焕
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010349589.1A priority Critical patent/CN111553418B/zh
Publication of CN111553418A publication Critical patent/CN111553418A/zh
Application granted granted Critical
Publication of CN111553418B publication Critical patent/CN111553418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种神经元重建错误的检测方法、装置、计算机设备和存储介质。方法包括:获取重建的神经元的各节点图像;将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图;通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果;根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。采用本方法能够通过分类网络能够自动识别出重建的神经元中重建错误的起始节点,无需人工检测,能够提高神经元重建错误的检测效率。

Description

神经元重建错误的检测方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种神经元重建错误的检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,神经领域的研究人员对人类脑部结构和功能的研究越来越深入,对脑部结构和功能的相关研究数据是实现人工智能的关键部分。而神经元作为脑部的基本组成单元,对脑部结构和功能的研究依赖于神经元的重建。
神经元重建是基于显微镜下高分辨率的大脑三维图像,且重建后的神经元可能有几万乃至十几万个节点。目前主要通过人工标注的方式对神经元进行重建,而为了判断重建的神经元是否正确,需要对重建的神经元进行检测。
目前对重建的神经元的检测主要依赖于对神经元中各节点连续性的判断。然而,连续的神经元节点标注错误时,根据神经元中各节点连续性无法检测出神经元重建错误的位置。因此,重建的神经元的错误检测效率低。
发明内容
基于此,有必要针对重建的神经元的错误检测效率低的技术问题,提供一种神经元重建错误的检测方法、装置、计算机设备和存储介质。
一种神经元重建错误的检测方法,所述方法包括:
获取重建的神经元的各节点图像;
将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
通过所述分类网络的全连接层,基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;
根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
一种神经元重建错误的检测装置,所述装置包括:
节点图像获取模块,用于获取重建的神经元的各节点图像;
特征提取模块,用于将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
第一分类模块,用于通过所述分类网络的全连接层基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;
确定模块,用于根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取重建的神经元的各节点图像;
将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
通过所述分类网络的全连接层,基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;
根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取重建的神经元的各节点图像;
将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
通过所述分类网络的全连接层,基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;
根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
上述神经元重建错误的检测方法、装置、计算机设备和存储介质,通过获取重建的神经元的各节点图像,将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图,通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果,根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。通过分类网络能够自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
一种分类网络的训练方法,所述方法包括:
获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;
根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
一种分类网络的训练装置,所述装置包括:
训练节点图像获取模块,用于获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
输入模块,用于将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
第二分类模块,用于通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;
调整模块,用于根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;
根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;
根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
上述分类网络的训练方法、装置、计算机设备和存储介质,通过获取训练节点图像,并获取训练节点图像对应的类别标签;该类别标签包括重建错误的起始节点和重建正确的节点,将训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的节点与邻域节点之间的特征,得到训练节点图像的特征图,通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果,根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。通过训练好分类网络能够对重建的神经元的各节点进行分类,从而自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
附图说明
图1为一个实施例中神经元重建错误的检测方法的应用环境图;
图2为一个实施例中神经元重建错误的检测方法的流程示意图;
图3为一个实施例中重建的神经元图像的示意图;
图4为一个实施例中获取重建的神经元的各节点图像的流程示意图;
图5为一个实施例中通过分类网络中由三维卷积层和三维池化层组成的各卷积块对节点图像进行特征提取,得到节点图像对应的特征图的流程示意图;
图6为一个实施例中分类网络的结构示意图;
图7为一个实施例中分类网络的训练方法的流程示意图;
图8为一个实施例中获取训练节点图像的流程示意图;
图9为一个实施例中确定目标节点在重建正确的神经元图像中是否存在匹配点的流程示意图;
图10为另一个实施例中分类网络的训练方法的流程示意图;
图11为一个实施例中神经元重建错误的检测装置的结构框图;
图12为一个实施例中分类网络的训练装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的神经元重建错误的检测方法,可以应用于如图1所示的应用环境中。终端102可获取重建的神经元的各节点图像,并将各节点图像发送给服务器104。服务器104接收各节点图像,将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图。服务器104通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果。接着,服务器104将各节点图像的分类结果返回给终端102。终端102根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。其中,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本实施例中,通过分类网络能够自动识别出重建的神经元中重建错误的起始节点,提高神经元重建的准确率和效率。
在一个实施例中,如图2所示,提供了一种神经元重建错误的检测方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,获取重建的神经元的各节点图像。
其中,神经元是构成神经***结构和功能的基本单位。重建的神经元可以是基于图片中各像素点数据构建的神经元。节点是指重建的神经元图像中的各像素点。节点图像是指从重建的神经元图像中选择一个节点,以该节点为中心,截取预设范围内的图像区域所得到的图像。该节点图像中包含该处于中心的节点,以及该节点对应的邻域节点。
如图3展示了重建的神经元的图像。从图3中可以看出重建的神经元的各个节点,即白色标注的明亮点,以及各个节点之间的连接关系。终端可从该重建的神经元图像中截取各节点图像,截取的节点图像如图3中的白色矩形框所示。
节点对应的邻域节点是指在该节点图像中除该处于中心的节点以外的节点。例如,该节点图像中有11个节点,第6个节点为中心,则第1-5节点和第7-10节点都为第6个节点的邻域节点。
具体地,神经元图像为三维图像,且神经元在图像中比较稀疏,三维神经元图像中会存在很多冗余信息,即与神经元无关或相关性不大的信息。直接对重建后的三维神经元图像进行检测,影响检测的精度,导致检测不准确。则终端获取重建后的神经元图像,确定该重建的神经元图像中的各节点。终端以各节点为中心,截取该中心的节点预设范围内的区域,得到各节点图像。进一步地,所截取各节点图像的尺寸相同。例如,以节点为中心,截取尺寸为32×32×32的图像作为节点图像。
进一步地,由于神经元重建是基于显微镜下高分辨率的大脑三维图像,重建后的神经元的某一维长度可达数千像素,即使只截取神经元所在区域的图像也会占用非常大的存储空间,但单个神经元在图像中只占极小的位置,因此神经元的重建结果可以通过特定文件存储。每个存储文件用于存储一个神经元的信息,存储文件中每行表示该神经元的一个节点,并在每行中存储与该节点相关的数据。终端可获取重建后的神经元的存储文件,从该神经元的存储文件的每行中获取节点数据。终端可基于该节点数据生成重建的神经元中各节点的节点图像。
步骤204,将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图。
其中,分类网络可以采用3D-CNN(3D convolutional neural network)深度神经网络、也可以用3D-Vgg11(3D Visual Geometry Group 11)结构,但不限于此。该分类网络采用加权交叉熵(weighted cross entropy)为损失函数,负样本权重为2,正样本权重为1。
训练时采用基于Adam(Adam:A Method for Stochastic Optimization)优化算法的梯度下降法更新网络参数。Adam中的betas=(0.95,0.9995),没有使用weight decay(权重衰减)。训练时,初始学习率为0.0001,每经过10个epoch(时期,即将所有训练样本训练一次的过程)缩小为原来的十分之一,总共训练50个epoch。为了避免过拟合,两个全连接层中间加入了drop out层,drop out rate设为0.5,即在每次迭代的时候,只有随机挑选的50%的特征被用于训练,而测试的时候所有特征均可使用。dropout是指在深度学习网络的训练过程中,按照一定的概率将一部分神经网络单元暂时从网络中丢弃,相当于从原始的网络中找到一个更精简的网络。
具体地,每张节点图像中包含处于图像中心的目标节点和该目标节点对应的领域节点,包含处于图像中心的目标节点与各邻域节点之间的连接关系,以及各邻域节点之间的连接关系。终端将各节点图像输入训练好的分类网络中,该分类网络中包含第一预设数量的卷积块。通过该分类网络中第一预设数量的卷积块提取各节点图像的特征,得到该分类网络输出的各节点图像的特征图。
在本实施例中,针对每个节点图像,该分类网络中的第一个卷积块基于节点图像中的目标节点与邻域节点之间的连接关系、各邻域节点之间的连接关系进行特征提取,得到第一个卷积块输出的特征图。从该分类网络中的第二个卷积块起,将上一卷积块输出的特征图作为下一卷积块的输入,直到得到该分类网络中的最后一卷积块输出的特征图。该最后一卷积块输出的特征图即为该节点图像对应的特征图。
步骤206,通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果。
其中,全连接层可以整合卷积层或者池化层中具有类别区分性的局特征信息。分类网络输出节点图像的分类结果为0或者是1,输出为1则表示该节点为重建错误的起始节点,输出为0则表示该节点不是重建错误的起始节点。也可以根据需要,设定输出为1表示节点不是重建错误的起始节点,输出为0则表示节点为重建错误的起始节点。
具体地,该分类网络中可包含第二预设数量的全连接层。通过该分类网络中的第二预设数量的全连接层对各节点图像对应的特征图进行全连接处理,得到各节点图像分别对应的分类结果。该各节点图像的分类结果即为在重建的神经元中的各节点的分类结果。
在本实施例中,该分类网络中的第一个全连接层对各节点图像的特征图进行全连接处理,得到输出特征图。从第二个全连接层起,将上一全连接层的输出特征图作为下一全连接层的输入,直到得到该分类网络中的最后一全连接层输出的各节点图像对应的二分类结果。
步骤208,根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。
具体地,分类网络的全连接层输出各节点图像分别对应的分类结果。终端根据各节点图像分别对应的分类结果可以确定该重建的神经元中重建错误的起始节点。
上述神经元重建错误的检测方法中,获取重建的神经元的各节点图像,将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到表示各节点图像的关键特征信息的特征图。通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果,以得到节点图像在重建的神经元中对应节点的分类结果,从而可确定各节点是否为重建错误的起始节点。将对重建的神经元的重建错误的检测问题转化为对节点图像的二分类问题,以通过分类结果判断神经元重建的质量,通过分类网络能够自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
根据各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点,能够对重建错误的起始节点进行调整或修改,以及对该起始节点之后的重建节点进行调整或修改,能够提高神经元重建的准确率和效率。
在一个实施例中,各节点图像为双通道的三维图像,该双通道包括灰度特征通道和二值特征通道。
具体地,重建后的神经元图像为三维图像,因此各节点图像也为三维图像。双通道是指节点图像中的一个特征通道为该节点图像的灰度特征,另一个特征通道为该节点图像的二值特征。灰度特征可以为该节点图像的灰度值。二值特征是指通过二值(0或1)表示该节点是否为该重建的神经元的节点。通过在分类网络中输入双通道的三维节点图像,该双通道包括灰度特征通道和二值特征通道,能够准确实现节点图像的分类。
在一个实施例中,如图4所示,获取重建的神经元的各节点图像,包括:
步骤402,获取重建的神经元的各节点数据,该各节点数据包括各节点对应的邻域节点,以及各节点与对应的邻域节点之间的连接关系。
具体地,重建的神经元的数据通过特定文件存储,例如使用SWC文件存储。SWC文件类似于压缩包文件。每个SWC文件代表一个神经元,每行代表神经元中的一个节点。每行中存储了该节点在神经元图像中的三维坐标、节点的类型(树突或轴突)和节点半径等信息。该SWC文件中的每行还存储了该节点及其父节点的编号以体现节点间的连接关系。
终端可获取该重建的神经元图像的存储文件,从该存储文件中的各行得到该神经元图像的各节点数据。终端存储文件的每行中获取节点对应的邻域节点,并获取该节点与各邻域节点之间的连接关系。
步骤404,根据各节点和各节点对应的邻域节点的灰度值,确定各节点对应的灰度特征。
具体地,终端可获取节点的灰度值,并获取该节点对应的各邻域节点的灰度值。接着,终端可计算节点和各邻域节点中所有节点的灰度值的均值。终端可将该均值作为该节点灰度特征。例如,该神经元的一个节点有10个邻域节点,则终端获取该节点的灰度值,并获取10个邻域节点中每个邻域节点的灰度值,计算11个节点的均值,并将该均值作为该节点的灰度特征。
在本实施例中,终端对该节点和各邻域节点中所有节点的灰度值进行标准差分析,得到所有节点的灰度值的标准差。终端将所有节点的灰度值的均值和标准差作为节点的灰度特征。
按照相同的处理方式,终端可得到各节点分别对应的灰度特征。
步骤406,根据各节点对应的邻域节点和连接关系确定各节点的二值化特征。
具体地,终端可根据节点对应的邻域节点、节点与各邻域节点之间的连接关系、各邻域节点之间的连接关系确定该节点的二值化特征。进一步地,终端可将该节点标注为1,节点对应的各邻域节点标注为0,得到该节点和各邻域节点的二值化的值(1或0)。终端可将该节点和各邻域节点的二值化的值作为该节点的二值化特征。按照相同的处理方式,可得到各节点分别对应的二值化特征。
步骤408,基于各节点对应的灰度特征和二值化特征,获取重建的神经元中各节点的节点图像。
具体地,终端通过节点对应的灰度特征,可得到该节点对应的灰度图像。终端通过该节点的二值化特征可在该灰度图像中标注出该节点,从而得到节点图像。按照相同的处理方式,终端可得到重建的神经元中每个节点对应的节点图像。
本实施例中,通过获取重建的神经元的各节点数据,该各节点数据包括各节点对应的邻域节点,以及各节点与对应的邻域节点之间的连接关系,根据各节点和各节点对应的邻域节点的灰度值,确定各节点对应的灰度特征,从而可生成各节点对应的灰度图像。根据各节点对应的邻域节点和连接关系确定各节点的二值化特征,通过二值化特征可在灰度图像中标注节点所在的位置。将灰度特征和二值化特征作为特征通道,从而得到具有双通道的三维节点图像。
在一个实施例中,该通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图,包括:针对每个节点图像,通过分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,得到节点图像对应的特征图。
具体地,终端将各节点图像输入分类网络,该分类网络中可包含第一预设数量的卷积块。每个卷积块由三维卷积层和三维池化层构成。
针对每个节点图像,节点图像中的中心节点为目标节点。分类网络中的第一卷积块中的三维卷积层基于节点图像中的目标节点与邻域节点之间的连接关系、各邻域节点之间的连接关系进行特征提取,以提取节点图像中的目标节点与邻域节点之间的特征,并将提取的特征输入第一卷积块中的三维池化层进行池化处理,从而得到该第一卷积块输出的该节点图像对应的特征图。该第一卷积块为该分类网络中的第一个卷积块。
从第二卷积块开始,将上一卷积块输出的特征图作为下一卷积块的输出,每个卷积块中的三维卷积层对输入的特征进行特征提取,并将提取的特征输入三维池化层进行池化处理,得到该卷积块的输出。该分类网络中的最后一卷积块输出的特征图即为节点图像对应的特征图。按照相同的处理方式,终端可得到各节点图像分别对应的特征图。
在本实施例中,每个卷积块中包含的三维卷积层的数量可不相同,每个卷积块中包含一个三维池化层。
在本实施例中,针对每个节点图像,通过分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,能够通过多个卷积块提取节点图像的关键特征信息,从而得到整合了节点图像关键特征的特征图。
在一个实施例中,如图5所示,通过分类网络中由三维卷积层和三维池化层组成的各卷积块对节点图像进行特征提取,得到节点图像对应的特征图,包括:
步骤502,通过分类网络的卷积块中的三维卷积层提取节点图像中的节点与邻域节点之间的特征。
步骤504,将三维卷积层提取的特征输入卷积块中的三维池化层进行最大池化处理,得到卷积块的三维池化层输出的特征图。
具体地,终端通过分类网络中的第一卷积块中的三维卷积层基于节点图像中的目标节点与邻域节点之间的连接关系、各邻域节点之间的连接关系进行特征提取,以提取节点图像中的目标节点与邻域节点之间的特征。该目标节点为节点图像中的中心节点。将提取的特征输入第一卷积块中的三维池化层进行池化处理,从而得到该第一卷积块输出的该节点图像对应的特征图。
在本实施例中,每个卷积块中至少包含一个三维卷积层,并且包含一个三维池化层,该三维池化层为最大池化层。当第一卷积块中包含不止一个三维卷积层时,通过第一卷积块中的第一三维卷积层对节点图像进行特征提取。从该第一卷积块中的第二三维卷积层起,将上一三维卷积层提取的特征作为下一三维卷积层的输入,直到得到该第一卷积块中的最后一三维卷积层输出的特征。将最后一三维卷积层输出的特征输入该第一卷积块中的三维池化层进行最大池化处理,得到该第一卷积块中的三维池化层输出的特征图。
步骤506,将分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的节点图像对应的特征图。
具体地,从分类网络中的第二卷积块起,将上一卷积块输出的特征图作为下一卷积块的输入,直到得到最后一卷积块输出的特征图。该最后一卷积块输出的特征图即为节点图像对应的特征图。
进一步地,从分类网络中的第二卷积块起,将上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,并通过三维卷积层的特征提取,将提取的特征作为三维池化层的输入。经过三维池化层进行最大池化处理,得到卷积块的输出。在第二卷积块起的各卷积块中依次执行特征提取和最大池化处理的操作,直到该分类网络中的最后一卷积块中的三维池化层输出的特征图。该最后一卷积块的三维池化层输出的特征图即为节点图像对应的特征图。按照相同的处理方式,终端可得到各节点图像分别对应的特征图。
在本实施例中,通过分类网络的卷积块中的三维卷积层提取节点图像中的节点与邻域节点之间的特征,将三维卷积层提取的特征输入卷积块中的三维池化层进行最大池化处理,得到卷积块的三维池化层输出的特征图,将分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的节点图像对应的特征图,从而能够通过各卷积块逐渐深入提取节点图像的细化特征并进行整合,得到整合了节点图像的关键特征信息的特征图。
在一个实施例中,每个卷积块中各卷积层的卷积核大小均为3×3×3。三维池化层均为核大小均为2×2×2的最大池化层。经过最大池化层处理后输出的特征图的尺寸为输入特征尺寸的一半。
如图6所示,为一个实施例中分类网络的结构图。该分类网络由5个卷积块和3个全连接层组成,分类网络中所使用的激活函数均为ReLU(Rectified Linear Unit)。5个卷积块中每个卷积块的卷积层的个数分别为1,1,2,2,2。其中,所有卷积层的卷积核大小均为3×3×3,所有池化层均为核大小为2×2×2的最大池化层(max pooling layer)。第一个卷积块中包含一个卷积层和一个池化层,第二个卷积块中包含一个卷积层和一个池化层。第三个卷积块中包含两个卷积层和一个池化层,第四个卷积块中包含两个卷积层和一个池化层。第五个卷积块中包含两个卷积层和一个池化层。
该分类网络的输入的节点图像为具有双通道的三维节点图像,例如输入的节点图像大小为32×32×32×2,分类网络的输出为二分类结果,即节点图像的中心节点是否为重建错误的起始节点。
节点图像经过第一个卷积块中的卷积层,在每个像素点上会提取64维特征,但各个方向上的尺寸会通过最大池化层下降为原本的1/2,即通过第一卷积块输出的特征图大小为16×16×16×64。第一个卷积块输出的16×16×16×64的特征图作为第二个卷积块的输入,经过第二个卷积块输出大小为8×8×8×128的特征图。经过第三个卷积块输出大小为4×4×4×256的特征图。经过第四个卷积块输出大小为2×2×2×512的特征图。经过第五个卷积块输出大小为1×1×1×512的特征图。
接着,通过三个输出特征维数分别为4096,4096和2的全连接层(fully connectedlayer),得到节点图像的二分类结果。
通过分类网络全自动对重建的神经元的各节点进行检测,确定重建错误的起始节点,无需人工进行判断,提高了神经元的重建错误的检测效率。
在一个实施例中,如图7所示,提供了一种分类网络的训练方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤702,获取训练节点图像,并获取训练节点图像对应的类别标签;该类别标签包括重建错误的起始节点和重建正确的节点。
其中,训练节点图像为从重建的神经元图像中获取的节点图像。该训练节点图像包括正样本和负样本,正样本为重建正确的神经元中的节点。负样本为重建的神经元中重建错误的起始节点。该类别标签包括0和1,重建正确的节点可以通过1表示,重建错误的起始节点可以通过0表示。也可以根据需求将1表示为重建错误的起始节点,将0表示为重建正确的节点。
具体地,终端获取重建正确的神经元图像,从重建正确的神经元图像中获取正样本。终端获取重建错误的神经元图像,并从重建错误的神经元图像中获取重建错误的起始节点作为负样本。
步骤704,将训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的节点与邻域节点之间的特征,得到训练节点图像的特征图。
具体地,训练节点图像中的中心节点为目标节点。每张训练节点图像中包含处于图像中心的目标节点和该目标节点对应的领域节点,包含处于图像中心的目标节点与各邻域节点之间的连接关系,以及各邻域节点之间的连接关系。终端将训练节点图像输入待训练的分类网络中,该待训练的分类网络中包含第一预设数量的卷积块。通过该分类网络中第一预设数量的卷积块基于训练节点图像中的目标节点与邻域节点之间的连接关系、各邻域节点之间的连接关系进行特征提取,以提取训练节点图像中的目标节点与邻域节点之间的特征,得到该分类网络输出的训练节点图像的特征图。
在本实施例中,该待训练的分类网络中的第一个卷积块对训练节点图像进行特征提取,得到第一个卷积块输出的特征图。从该分类网络中的第二个卷积块起,将上一卷积块输出的特征图作为下一卷积块的输入,直到得到该分类网络中的最后一卷积块输出的特征图。该最后一卷积块输出的特征图即为该训练节点图像对应的特征图。
步骤706,通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果。
其中,该待训练的分类网络输出训练节点图像的分类结果为0或者是1,输出为1则表示该节点为重建错误的起始节点,输出为0则表示该节点为重建正确的节点。也可以根据需要,设定输出为1表示该节点为重建正确的节点,输出为0则表示节点为重建错误的起始节点。
可以理解的是,该分类结果和类别标签的表示方式相同。例如,该类别标签中,通过1表示重建正确的节点,通过0表示重建错误的起始节点;则分类网络输出的分类结果中,1表示重建正确的节点,0表示重建错误的起始节点。
具体地,该分类网络中可包含第二预设数量的全连接层。通过该分类网络中的第二预设数量的全连接层对训练节点图像对应的特征图进行全连接处理,得到训练节点图像对应的分类结果。
在本实施例中,该分类网络中的第一个全连接层对训练节点图像的特征图进行全连接处理,得到输出特征图。从第二个全连接层起,将上一全连接层的输出特征图作为下一全连接层的输入,直到得到该分类网络中的最后一全连接层输出的训练节点图像对应的分类结果。
步骤708,根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
具体地,终端获取该训练节点图像对应的类别标签,将分类网络输出的该训练节点图像的分类结果和对应的类别标签进行对比,确定两者之间的差异。终端根据两者之间的差异调整该分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
在本实施例中,预设条件为训练节点图像对应的分类结果和对应的类别标签之间的差异小于预设差异。或者预设条件为分类网络输出的损失误差小于误差阈值。当训练节点图像对应的分类结果和对应的类别标签之间的差异小于预设差异,或者预设条件分类网络输出的损失误差小于误差阈值时,停止训练,得到训练好的分类网络型。
本实施例中,通过获取训练节点图像,并获取训练节点图像对应的类别标签;该类别标签包括重建错误的起始节点和重建正确的节点,将训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的节点与邻域节点之间的特征,得到训练节点图像的特征图,通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果,根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。通过训练好分类网络能够对重建的神经元的各节点进行分类,从而自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
在一个实施例中,如图8所示,训练节点图像包括正样本和负样本;获取训练节点图像,包括:
步骤802,获取重建正确的神经元图像,并获取对应的重建错误的神经元图像。
具体地,由于神经元形态和背景的复杂性,目前的神经元重建一般通过人工标注实现。为了得到准确的标注结果,一般需要进行多轮标注。经过多轮标注并检查后,得到重建正确的神经元图像。正确重建的神经元图像是指神经元中的每个节点重建正确,以及各节点之间的连接关系重建正确的图像。重建错误的神经元图像是指存在至少一个节点重建错误的神经元图像。该正确重建的神经元图像和重建错误的神经元图像为同一个神经元的重建图像。
步骤804,从重建正确的神经元图像中获取节点图像,得到正样本。
具体地,终端可直接获取重建正确的神经元图像中的各节点,以各节点为中心,截取各节点图像,将各节点图像作为正样本。可以理解的是,正样本为从多个重建正确的神经元图像中获取的节点图像。
步骤806,基于重建正确的神经元图像从重建错误的神经元图像中获取负样本。
具体地,正样本可以直接使用正确重建的神经元中的任意节点,但负样本并不能直接使用未通过检查的神经元中的节点。即并非任意重建错误的神经元图像中的节点都可以作为负样本,因为这些重建错误的神经元图像中的大部分节点是重建正确的,只有少部分节点的重建错误。因此,负样本需要通过对重建正确的神经元图像和对应的重建错误的神经元图像得到。终端可对比重建正确的神经元图像和重建错误的神经元图像中的节点,根据节点的对比结果从该重建错误的神经元图像中获取负样本。
在本实施例中,通过正样本和负样本对分类网络进行训练时,由于训练集中负样本数目远小于正样本,为了避免训练集中的正负样本比例极度不平衡,对每个batch中选择的训练样本做了一定的限制。训练时batch size设定为15,其中5个是负样本,5个是跟这些负样本相匹配的正样本(即与错误的起始节点相匹配的正确节点)。其余5个样本则从不与任何负样本匹配的正样本中随机挑选。这样能够平衡用于训练的正负样本的数量。尽管如何,但每个batch中正样本数目仍然是负样本的两倍,因此本分类网络中采用加权交叉熵(weighted cross entropy)为损失函数,负样本对应的权重为2,正样本对应的权重为1,以增加训练的准确性。
本实施例中,通过同一神经元对应的重建正确的神经元图像和重建错误的神经元图像,从重建正确的神经元图像中获取节点图像,得到正样本。基于重建正确的神经元图像从重建错误的神经元图像中获取负样本,能够根据重建正确的神经元的节点确定重建错误的神经元中哪些是重建正确的节点,哪些是重建错误的节点,从而筛选出重建错误的神经元中重建错误的节点。基于筛选出的重建错误的节点得到负样本,提高所采集的训练样本的准确性和可靠性。
在一个实施例中,基于重建正确的神经元图像从重建错误的神经元图像中获取负样本,包括:获取重建错误的神经元图像中的目标节点,并确定目标节点的邻域节点;当目标节点在重建正确的神经元图像中存在匹配点,且目标节点的邻域节点在重建正确的神经元图像中不存在匹配点时,获取目标节点的节点图像作为负样本。
具体地,终端获取重建错误的神经元图像中的目标节点,并获取各目标节点对应的邻域节点。接着,终端可确定各目标节点在重建正确的神经元图像的各节点中是否存在匹配点。当目标节点在重建正确的神经元图像中存在匹配点时,确定该目标节点的各邻域节点在重建正确的神经元图像的各节点中是否存在匹配点。
当目标节点在重建正确的神经元图像中存在匹配点,且该目标节点的各邻域节点在重建正确的神经元图像中均存在匹配点时,表示该目标节点和各邻域节点重建正确。则终端获取另一目标节点和对应的领域节点进行匹配点判断。
当目标节点在重建正确的神经元图像中存在匹配点,且该目标节点的至少一个邻域节点在重建正确的神经元图像中不存在匹配点时,表示该至少一个邻域节点重建错误。则终端将该目标节点作为重建错误的起始节点,获取该目标节点的节点图像作为负样本。
在本实施例中,当目标节点在重建正确的神经元图像中存在匹配点时,确定匹配点的邻域节点。终端确定该匹配点的各个邻域节点在重建错误的神经元图像中是否存在匹配点。当该匹配点的至少一个邻域节点在重建错误的神经元图像中不存在匹配点时,将该目标节点作为重建错误的起始节点,获取该目标节点的节点图像作为负样本。
本实施例中,获取重建错误的神经元图像中的目标节点,并确定目标节点的邻域节点,通过目标节点在重建正确的神经元图像是否存在匹配点,以及目标节点的邻域节点在重建正确的神经元图像中是否存在匹配点为条件,准确筛选出重建错误的起始节点,从而得到训练的负样本。
例如,当重建错误的神经元Rb中的节点pi满足以下两个条件时,该节点pi为重建错误的起始节点(负样本):
1)重建错误的神经元Rb和重建正确的神经元Ra为对同一神经元进行重建后得到的神经元;并且,重建错误的神经元Rb中的节点pi在重建正确的神经元Ra中有匹配点pj
2)节点pi的某个邻域节点在重建正确的神经元Ra中没有匹配点;或者节点pj的某个邻域节点在重建错误的神经元Rb中没有匹配点。
在一个实施例中,确定目标节点在重建正确的神经元图像中是否存在匹配点,包括:
确定目标节点和重建正确的神经元图像中各节点之间的第一距离;当存在第一距离小于或等于距离阈值时,该目标节点在重建正确的神经元图像中存在匹配点。
具体地,终端可获取目标节点在重建错误的神经元图像中的三维坐标,并获取重建正确的神经元图像中各节点的三维坐标。接着,终端计算目标节点和重建正确的神经元图像中各节点之间的第一距离,得到各个第一距离。终端将各个第一距离与距离阈值进行比较,当存在第一距离小于或等于距离阈值时,表示该目标节点在重建正确的神经元图像中存在匹配点。进一步地,小于或等于该距离阈值的第一距离对应的在重建正确的神经元图像中的节点为该目标节点的匹配点。
在本实施例中,当不存在第一距离小于或等于距离阈值,即当各个第一距离均大于距离阈值时,表示该目标节点在重建正确的神经元图像中不存在匹配点。当该目标节点在重建正确的神经元图像中不存在匹配点时,则终端获取该目标节点作为重建错误的起始点,得到负样本。
本实施例中,该第一距离可以为欧式距离,终端确定目标节点和重建正确的神经元图像中各节点之间的欧式距离;当存在欧式距离小于或等于距离阈值时,该目标节点在重建正确的神经元图像中存在匹配点。
本实施例中,确定目标节点和重建正确的神经元图像中各节点之间的第一距离,基于第一距离和距离阈值时,确定目标节点在重建正确的神经元图像中是否存在匹配点,从而能够准确筛选出重建错误的神经元图像中重建错误的起始节点,保证所采集的负样本的可靠性。
在一个实施例中,如图9所示,该方法还包括:
步骤902,将小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点作为目标节点的匹配点。
具体地,终端确定小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点,将该节点作为目标节点的匹配点。
步骤904,获取目标节点的匹配点对应的各邻域节点。
步骤906,确定目标节点的邻域节点与匹配点对应的各邻域节点之间的第二距离。
具体地,终端可获取目标节点的匹配点对应的各邻域节点,并获取匹配点对应的邻域节点在重建正确的神经元图像中的三维坐标。终端获取目标节点的邻域节点在重建错误的神经元图像中的三维坐标。终端基于各三维坐标,计算目标节点的一个邻域节点和匹配点对应的各邻域节点之间的第二距离,得到各第二距离。
终端将各个第二距离与距离阈值进行比较,当存在第二距离小于或等于距离阈值时,表示该一个邻域节点在重建正确的神经元图像中存在匹配点。
在本实施例中,当该一个邻域节点在重建正确的神经元图像中存在匹配点时,终端获取该目标节点的另一个领域节点进行匹配点判断。
步骤908,当各第二距离均大于距离阈值时,该目标节点的邻域节点在重建正确的神经元图像中不存在匹配点。
具体地,当各个第二距离均大于距离阈值时,表示选择的该邻域节点在重建正确的神经元图像中不存在匹配点,则该目标节点为重建错误的起始节点,从而将该目标节点作为负样本。
在本实施例中,第二距离可以为欧式距离,终端确定目标节点的邻域节点与匹配点对应的各邻域节点之间的欧式距离,当各欧式距离均大于距离阈值时,该目标节点的邻域节点在重建正确的神经元图像中不存在匹配点。
本实施例中,将小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点作为目标节点的匹配点,获取目标节点的匹配点对应的各邻域节点,确定目标节点的邻域节点与匹配点对应的各邻域节点之间的第二距离,基于第二距离和距离阈值时,确定目标节点的各邻域节点在重建正确的神经元图像中是否存在匹配点,从而能够准确筛选出重建错误的神经元图像中重建错误的起始节点,保证所采集的负样本的可靠性。
在一个实施例中,Ra和Rb分别代表一个重建的神经元,pi为重建的神经元Ra中的一个节点。当pi满足以下两个条件时,该节点pi为在重建的神经元Rb中存在匹配点:
1)重建的神经元Rb和重建的神经元Ra为同一神经元的重建结果。
2)Rb中存在一个节点pj和Ra中的节点pi的欧式距离小于距离阈值(例如距离阈值为4),即:
Figure BDA0002471470290000211
其中,pi,x,pi,y,pi,z为节点pi的三维坐标。pj,x,pj,y,pj,z为节点pi的三维坐标。
可以理解的是,节点pi和节点pj可以为邻域节点。
在一个实施例中,如图10所示,根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络,包括:
步骤1002,根据训练节点图像的分类结果和对应的类别标签,确定分类网络的损失误差。
具体地,终端获取该训练节点图像对应的类别标签,并获取分类网络的损失函数。终端将分类结果、类别标签输入损失函数,计算出损失误差。
例如,该分类网络中采用加权交叉熵(weighted cross entropy)为损失函数,对负样本权重为2,正样本权重为1。终端可通过以下公式计算出分类网络的损失误差:
L=-(w1ylog(p)+w2(1-y)log(1-p))
其中,L为分类网络的损失误差,p为分类网络的预测分类结果,y为训练节点图像的类别标签,w1代表正样本权重,w2为负样本权重。
步骤1004,当损失误差大于误差阈值时,调整分类网络的参数并继续训练。
具体地,终端获取误差阈值,将损失误差和误差阈值进行对比。当损失误差大于误差阈值时,表示未满足训练停止条件,则终端调整分类网络的参数,并对调整参数后的分类网络进行训练。
步骤1006,当损失误差小于或等于误差阈值停止训练,得到训练好的分类网络。
具体地,当计算出的分类网络的损失误差小于或等于误差阈值,表示满足训练停止条件,则停止对分类网络的训练,将本次训练使用的分类网络中的参数作为最终的参数,从而得到训练好的分类网络。
本实施例中,根据训练节点图像的分类结果和对应的类别标签,确定分类网络的损失误差,当损失误差大于误差阈值时,调整分类网络的参数并继续训练,以根据分类网络的输出结果和真实值之间的差距调整分类网络的参数,直到当损失误差小于或等于误差阈值完成训练,得到训练好的分类网络。
在一个实施例中,提供了一种神经元重建错误的检测方法,包括:
终端获取重建正确的神经元图像,并获取对应的重建错误的神经元图像。
接着,终端从重建正确的神经元图像中获取节点图像,得到正样本。
接着,终端获取重建错误的神经元图像中的目标节点,并确定目标节点的邻域节点。
进一步地,终端确定目标节点和重建正确的神经元图像中各节点之间的第一距离。
进一步地,当存在第一距离小于或等于距离阈值时,目标节点在重建正确的神经元图像中存在匹配点,则终端将小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点作为目标节点的匹配点。
接着,终端获取目标节点的匹配点对应的各邻域节点。确定目标节点的邻域节点与匹配点对应的各邻域节点之间的第二距离。
进一步地,当各第二距离均大于距离阈值时,目标节点的邻域节点在重建正确的神经元图像中不存在匹配点。
接着,当目标节点在重建正确的神经元图像中存在匹配点,且目标节点的邻域节点在重建正确的神经元图像中不存在匹配点时,获取目标节点的节点图像作为负样本。
进一步地,终端生成正样本对应的类别标签和负样本对应的类别标签,基于正样本和负样本,以及类别标签生成训练集,并从该训练集中获取特定数量的正负样本作为训练节点图像。
接着,终端将获取的训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的目标节点与邻域节点之间的特征,得到训练节点图像的特征图。
接着,终端通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果。
进一步地,终端根据训练节点图像的分类结果和对应的类别标签,确定分类网络的损失误差。
进一步地,终端当损失误差大于误差阈值时,调整分类网络的参数并继续训练。当损失误差小于或等于误差阈值停止训练,得到训练好的分类网络。
接着,终端获取重建的神经元的各节点数据,各节点数据包括各节点对应的邻域节点,以及各节点与对应的邻域节点之间的连接关系。
接着,终端根据各节点和各节点对应的邻域节点的灰度值,确定各节点对应的灰度特征。
进一步地,终端根据各节点对应的邻域节点和连接关系确定各节点的二值化特征。
进一步地,终端基于各节点对应的灰度特征和二值化特征,获取重建的神经元中各节点的节点图像。
接着,终端将各节点图像输入训练好的分类网络,针对每个节点图像,通过分类网络的卷积块中的三维卷积层提取节点图像中的目标节点与邻域节点之间的特征。
接着,终端将三维卷积层提取的特征输入卷积块中的三维池化层进行最大池化处理,得到卷积块的三维池化层输出的特征图。
进一步地,终端将分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的节点图像对应的特征图。
接着,终端通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到各节点图像的分类结果。
进一步地,终端根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。
本实施例中,通过获取正负样本和对应的类别标签,并通过正负样本训练分类网络,根据分类网络输出的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,损失误差小于或等于误差阈值停止训练,得到训练好的分类网络。通过训练好分类网络能够对重建的神经元的各节点进行分类,从而自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
本实施例中,将对重建的神经元的错误检测问题转化为对局部节点图像的二分类问题,并保证了截取出来的节点图像包含足够的特征信息可以判定其中心节点的类别。通过获取重建的神经元的各节点图像,将各节点图像输入训练好的分类网络,通过分类网络的卷积块对各节点图像进行特征提取,得到表示各节点图像的关键特征信息的特征图。通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到各节点图像的分类结果,根据各节点图像的分类结果准确确定重建的神经元中重建错误的起始节点,能够对重建错误的起始节点进行调整或修改,以及对该起始节点之后的重建节点进行调整或修改,能够提高神经元重建的准确率和效率。
在一个实施例中,该神经元重建错误的检测方法的原理,能够应用于对图像的感兴趣点进行检测。例如,通过训练图像训练得到分类网络,将待识别图像转换为同等大小的二值化图像。将二值化图像和待识别图像相结合作为第二个通道的数据,输入分类网络,得到分类网络输出的待识别图像的感兴趣区域或图像识别结果。
应该理解的是,虽然图2、图4-图10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图4-图10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种神经元重建错误的检测装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:节点图像获取模块1102、特征提取模块1104、第一分类模块1106和确定模块1108,其中:
节点图像获取模块1102,用于获取重建的神经元的各节点图像。
特征提取模块1104,用于将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到各节点图像的特征图。
第一分类模块1106,用于通过分类网络的全连接层基于各节点图像的特征图进行分类,得到重建的神经元中的各节点图像的分类结果。
确定模块1108,用于根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点。
本实施例中,通过获取重建的神经元的各节点图像,将各节点图像输入训练好的分类网络,通过分类网络的卷积块提取各节点图像中的节点与对应的邻域节点之间的特征,得到表示各节点图像的关键特征信息的特征图。通过分类网络的全连接层,基于各节点图像的特征图进行分类,得到各节点图像的分类结果,从而可确定各节点是否为重建错误的起始节点。通过分类网络能够自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
在一个实施例中,该各节点图像为双通道的三维图像,该双通道包括灰度特征通道和二值特征通道。通过在分类网络中输入双通道的三维节点图像,该双通道包括灰度特征通道和二值特征通道,能够准确实现节点图像的分类。
在一个实施例中,该节点图像获取模块1102还用于:获取重建的神经元的各节点数据,各节点数据包括各节点对应的邻域节点,以及各节点与对应的邻域节点之间的连接关系;根据各节点和各节点对应的邻域节点的灰度值,确定各节点对应的灰度特征;根据各节点对应的邻域节点和连接关系确定各节点的二值化特征;基于各节点对应的灰度特征和二值化特征,获取重建的神经元中各节点的节点图像。
本实施例中,通过获取重建的神经元的各节点数据,该各节点数据包括各节点对应的邻域节点,以及各节点与对应的邻域节点之间的连接关系,根据各节点和各节点对应的邻域节点的灰度值,确定各节点对应的灰度特征,从而可生成各节点对应的灰度图像。根据各节点对应的邻域节点和连接关系确定各节点的二值化特征,通过二值化特征可在灰度图像中标注节点所在的位置。将灰度特征和二值化特征作为特征通道,从而得到具有双通道的三维节点图像。
在一个实施例中,该特征提取模块1104还用于:针对每个节点图像,通过分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,得到节点图像对应的特征图。
在本实施例中,针对每个节点图像,通过分类网络中由三维卷积层和三维池化层组成的各卷积块对节点图像进行特征提取,能够通过多个卷积块提取节点图像的关键特征信息,从而得到整合了节点图像关键特征的特征图。
在一个实施例中,该特征提取模块1104还用于:通过分类网络的卷积块中的三维卷积层提取节点图像中的节点与邻域节点之间的特征;将三维卷积层提取的特征输入卷积块中的三维池化层进行最大池化处理,得到卷积块的三维池化层输出的特征图;将分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的节点图像对应的特征图。
在本实施例中,通过分类网络的卷积块中的三维卷积层对节点图像进行特征提取,将三维卷积层提取的特征输入卷积块中的三维池化层进行最大池化处理,得到卷积块的三维池化层输出的特征图,将分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的节点图像对应的特征图,从而能够进一步提取节点图像的细化特征并进行整合,得到代表节点图像的关键特征信息的特征图。
关于神经元重建错误的检测装置的具体限定可以参见上文中对于神经元重建错误的检测方法的限定,在此不再赘述。上述神经元重建错误的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图12所示,提供了一种分类网络的训练装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:训练节点图像获取模块1202、输入模块1204、第二分类模块1206和调整模块1208。其中:
训练节点图像获取模块1202,用于获取训练节点图像,并获取训练节点图像对应的类别标签;类别标签包括重建错误的起始节点和重建正确的节点。
输入模块1204,用于将训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的节点与邻域节点之间的特征,得到训练节点图像的特征图。
第二分类模块1206,用于通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果。
调整模块1208,用于根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。
本实施例中,通过获取训练节点图像,并获取训练节点图像对应的类别标签;该类别标签包括重建错误的起始节点和重建正确的节点,将训练节点图像输入待训练的分类网络,通过待训练的分类网络的卷积块提取训练节点图像中的节点与邻域节点之间的特征,得到训练节点图像的特征图,通过待训练的分类网络的全连接层对训练节点图像的特征图进行分类,得到训练节点图像的分类结果,根据训练节点图像的分类结果和对应的类别标签之间的差异,调整分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络。通过训练好分类网络能够对重建的神经元的各节点进行分类,从而自动识别出重建的神经元中重建错误的起始节点,无需人工检测,提高神经元重建错误的检测效率。
在一个实施例中,该训练节点图像包括正样本和负样本;该训练节点图像获取模块1202还用于:获取重建正确的神经元图像,并获取对应的重建错误的神经元图像;从重建正确的神经元图像中获取节点图像,得到正样本;基于重建正确的神经元图像从重建错误的神经元图像中获取负样本。
本实施例中,通过同一神经元对应的重建正确的神经元图像和重建错误的神经元图像,从重建正确的神经元图像中获取节点图像,得到正样本。基于重建正确的神经元图像从重建错误的神经元图像中获取负样本,能够根据重建正确的神经元的节点确定重建错误的神经元中哪些是重建正确的节点,哪些是重建错误的节点,从而筛选出重建错误的神经元中重建错误的节点。基于筛选出的重建错误的节点得到负样本,提高所采集的训练样本的准确性和可靠性。
在一个实施例中,该训练节点图像获取模块1202还用于:获取重建错误的神经元图像中的目标节点,并确定目标节点的邻域节点;当目标节点在重建正确的神经元图像中存在匹配点,且目标节点的邻域节点在重建正确的神经元图像中不存在匹配点时,获取目标节点的节点图像作为负样本。
本实施例中,获取重建错误的神经元图像中的目标节点,并确定目标节点的邻域节点,通过目标节点在重建正确的神经元图像是否存在匹配点,以及目标节点的邻域节点在重建正确的神经元图像中是否存在匹配点为条件,准确筛选出重建错误的起始节点,从而得到训练的负样本。
在一个实施例中,该训练节点图像获取模块1202还用于:确定目标节点和重建正确的神经元图像中各节点之间的第一距离;当存在第一距离小于或等于距离阈值时,目标节点在重建正确的神经元图像中存在匹配点。
本实施例中,确定目标节点和重建正确的神经元图像中各节点之间的第一距离,基于第一距离和距离阈值时,确定目标节点在重建正确的神经元图像中是否存在匹配点,从而能够准确筛选出重建错误的神经元图像中重建错误的起始节点,保证所采集的负样本的可靠性。
在一个实施例中,该训练节点图像获取模块1202还用于:将小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点作为目标节点的匹配点;获取目标节点的匹配点对应的各邻域节点;确定目标节点的邻域节点与匹配点对应的各邻域节点之间的第二距离;当各第二距离均大于距离阈值时,目标节点的邻域节点在重建正确的神经元图像中不存在匹配点。
本实施例中,将小于距离阈值的第一距离所对应的重建正确的神经元图像中的节点作为目标节点的匹配点,获取目标节点的匹配点对应的各邻域节点,确定目标节点的邻域节点与匹配点对应的各邻域节点之间的第二距离,基于第二距离和距离阈值时,确定目标节点的各邻域节点在重建正确的神经元图像中是否存在匹配点,从而能够准确筛选出重建错误的神经元图像中重建错误的起始节点,保证所采集的负样本的可靠性。
在一个实施例中,该调整模块1208还用于:根据训练节点图像的分类结果和对应的类别标签,确定分类网络的损失误差;当损失误差大于误差阈值时,调整分类网络的参数并继续训练;当损失误差小于或等于误差阈值停止训练,得到训练好的分类网络。
本实施例中,根据训练节点图像的分类结果和对应的类别标签,确定分类网络的损失误差,当损失误差大于误差阈值时,调整分类网络的参数并继续训练,以根据分类网络的输出结果和真实值之间的差距调整分类网络的参数,直到当损失误差小于或等于误差阈值完成训练,得到训练好的分类网络。
关于分类网络的训练装置的具体限定可以参见上文中对于分类网络的训练方法的限定,在此不再赘述。上述分类网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储神经元重建错误的识别过程中产生的数据,以及分类网络的训练数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类网络的训练方法,以及一种神经元重建错误的检测方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种神经元重建错误的检测方法,以及一种分类网络的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种神经元重建错误的检测方法,其特征在于,所述方法包括:
获取重建的神经元的各节点图像;
将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
通过所述分类网络的全连接层,基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;所述节点图像的分类结果表征相应节点属于重建错误的起始节点或不属于重建错误的起始节点;
根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
2.根据权利要求1所述的方法,其特征在于,所述各节点图像为双通道的三维图像,所述双通道包括灰度特征通道和二值特征通道。
3.根据权利要求1所述的方法,其特征在于,所述获取重建的神经元的各节点图像,包括:
获取重建的神经元的各节点数据,所述各节点数据包括各节点对应的邻域节点,以及所述各节点与对应的邻域节点之间的连接关系;
根据所述各节点和所述各节点对应的邻域节点的灰度值,确定所述各节点对应的灰度特征;
根据所述各节点对应的邻域节点和所述连接关系确定所述各节点的二值化特征;
基于所述各节点对应的灰度特征和二值化特征,获取所述重建的神经元中各节点的节点图像。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图,包括:
针对每个节点图像,通过所述分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,得到所述节点图像对应的特征图。
5.根据权利要求4所述的方法,其特征在于,所述通过所述分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,得到所述节点图像对应的特征图,包括:
通过所述分类网络的卷积块中的三维卷积层提取节点图像中的节点与邻域节点之间的特征;
将所述三维卷积层提取的特征输入所述卷积块中的三维池化层进行最大池化处理,得到所述卷积块的三维池化层输出的特征图;
将所述分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的所述节点图像对应的特征图。
6.一种分类网络的训练方法,其特征在于,所述方法包括:
获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;所述训练节点图像的分类结果表征相应训练节点属于重建错误的起始节点或不属于重建错误的起始节点;
根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络;
其中,所述训练好的分类网络用于根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点,所述节点图像的分类结果表征相应节点属于重建错误的起始节点或不属于重建错误的起始节点,所述各节点图像的分类结果是通过所述全连接层基于所述各节点图像的特征图进行分类得到的;所述各节点图像的特征图是通过所述卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征得到的。
7.根据权利要求6所述的方法,其特征在于,所述训练节点图像包括正样本和负样本;所述获取训练节点图像,包括:
获取重建正确的神经元图像,并获取对应的重建错误的神经元图像;
从所述重建正确的神经元图像中获取节点图像,得到正样本;
基于所述重建正确的神经元图像从所述重建错误的神经元图像中获取负样本。
8.根据权利要求7所述的方法,其特征在于,所述基于所述重建正确的神经元图像从所述重建错误的神经元图像中获取负样本,包括:
获取所述重建错误的神经元图像中的目标节点,并确定所述目标节点的邻域节点;
当所述目标节点在所述重建正确的神经元图像中存在匹配点,且所述目标节点的邻域节点在所述重建正确的神经元图像中不存在匹配点时,获取所述目标节点的节点图像作为负样本。
9.根据权利要求8所述的方法,其特征在于,确定所述目标节点在所述重建正确的神经元图像中是否存在匹配点,包括:
确定所述目标节点和所述重建正确的神经元图像中各节点之间的第一距离;
当存在第一距离小于或等于距离阈值时,所述目标节点在所述重建正确的神经元图像中存在匹配点。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
将小于所述距离阈值的第一距离所对应的所述重建正确的神经元图像中的节点作为所述目标节点的匹配点;
获取所述目标节点的匹配点对应的各邻域节点;
确定所述目标节点的邻域节点与所述匹配点对应的各邻域节点之间的第二距离;
当各第二距离均大于所述距离阈值时,所述目标节点的邻域节点在所述重建正确的神经元图像中不存在匹配点。
11.根据权利要求6至10中任一项所述的方法,其特征在于,所述根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络,包括:
根据所述训练节点图像的分类结果和对应的类别标签,确定所述分类网络的损失误差;
当所述损失误差大于误差阈值时,调整所述分类网络的参数并继续训练;
当所述损失误差小于或等于所述误差阈值停止训练,得到训练好的分类网络。
12.一种神经元重建错误的检测装置,其特征在于,所述装置包括:
节点图像获取模块,用于获取重建的神经元的各节点图像;
特征提取模块,用于将所述各节点图像输入训练好的分类网络,通过所述分类网络的卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征,得到所述各节点图像的特征图;
第一分类模块,用于通过所述分类网络的全连接层基于所述各节点图像的特征图进行分类,得到所述重建的神经元中的各节点图像的分类结果;所述节点图像的分类结果表征相应节点属于重建错误的起始节点或不属于重建错误的起始节点;
确定模块,用于根据所述各节点图像的分类结果确定所述重建的神经元中重建错误的起始节点。
13.根据权利要求12所述的装置,其特征在于,所述各节点图像为双通道的三维图像,所述双通道包括灰度特征通道和二值特征通道。
14.根据权利要求12所述的装置,其特征在于,所述节点图像获取模块,还用于获取重建的神经元的各节点数据,所述各节点数据包括各节点对应的邻域节点,以及所述各节点与对应的邻域节点之间的连接关系;根据所述各节点和所述各节点对应的邻域节点的灰度值,确定所述各节点对应的灰度特征;根据所述各节点对应的邻域节点和所述连接关系确定所述各节点的二值化特征;基于所述各节点对应的灰度特征和二值化特征,获取所述重建的神经元中各节点的节点图像。
15.根据权利要求12至14中任一项所述的装置,其特征在于,所述特征提取模块,还用于针对每个节点图像,通过所述分类网络中由三维卷积层和三维池化层组成的各卷积块提取节点图像中的节点与邻域节点之间的特征,得到所述节点图像对应的特征图。
16.根据权利要求15所述的装置,其特征在于,所述特征提取模块,还用于通过所述分类网络的卷积块中的三维卷积层提取节点图像中的节点与邻域节点之间的特征;将所述三维卷积层提取的特征输入所述卷积块中的三维池化层进行最大池化处理,得到所述卷积块的三维池化层输出的特征图;将所述分类网络中的上一卷积块中三维池化层输出的特征图作为下一卷积块中三维卷积层的输入,直到得到最后一卷积块中三维池化层输出的所述节点图像对应的特征图。
17.一种分类网络的训练装置,其特征在于,所述装置包括:
训练节点图像获取模块,用于获取训练节点图像,并获取所述训练节点图像对应的类别标签;所述类别标签包括重建错误的起始节点和重建正确的节点;
输入模块,用于将所述训练节点图像输入待训练的分类网络,通过所述待训练的分类网络的卷积块提取所述训练节点图像中的节点与邻域节点之间的特征,得到所述训练节点图像的特征图;
第二分类模块,用于通过所述待训练的分类网络的全连接层对所述训练节点图像的特征图进行分类,得到所述训练节点图像的分类结果;所述训练节点图像的分类结果表征相应训练节点属于重建错误的起始节点或不属于重建错误的起始节点;
调整模块,用于根据所述训练节点图像的分类结果和对应的类别标签之间的差异,调整所述分类网络的参数并继续训练,直到满足预设条件时停止训练,得到训练好的分类网络;
其中,所述训练好的分类网络用于根据各节点图像的分类结果确定重建的神经元中重建错误的起始节点,所述节点图像的分类结果表征相应节点属于重建错误的起始节点或不属于重建错误的起始节点,所述各节点图像的分类结果是通过所述全连接层基于所述各节点图像的特征图进行分类得到的;所述各节点图像的特征图是通过所述卷积块提取所述各节点图像中的节点与对应的邻域节点之间的特征得到的。
18.根据权利要求17所述的装置,其特征在于,所述训练节点图像获取模块,还用于获取重建正确的神经元图像,并获取对应的重建错误的神经元图像;从所述重建正确的神经元图像中获取节点图像,得到正样本;基于所述重建正确的神经元图像从所述重建错误的神经元图像中获取负样本。
19.根据权利要求18所述的装置,其特征在于,所述训练节点图像获取模块,还用于获取所述重建错误的神经元图像中的目标节点,并确定所述目标节点的邻域节点;当所述目标节点在所述重建正确的神经元图像中存在匹配点,且所述目标节点的邻域节点在所述重建正确的神经元图像中不存在匹配点时,获取所述目标节点的节点图像作为负样本。
20.根据权利要求19所述的装置,其特征在于,所述训练节点图像获取模块,还用于确定所述目标节点和所述重建正确的神经元图像中各节点之间的第一距离;当存在第一距离小于或等于距离阈值时,所述目标节点在所述重建正确的神经元图像中存在匹配点。
21.根据权利要求20所述的装置,其特征在于,所述训练节点图像获取模块,还用于将小于所述距离阈值的第一距离所对应的所述重建正确的神经元图像中的节点作为所述目标节点的匹配点;获取所述目标节点的匹配点对应的各邻域节点;确定所述目标节点的邻域节点与所述匹配点对应的各邻域节点之间的第二距离;当各第二距离均大于所述距离阈值时,所述目标节点的邻域节点在所述重建正确的神经元图像中不存在匹配点。
22.根据权利要求17至21中任一项所述的装置,其特征在于,所述调整模块,还用于根据所述训练节点图像的分类结果和对应的类别标签,确定所述分类网络的损失误差;当所述损失误差大于误差阈值时,调整所述分类网络的参数并继续训练;当所述损失误差小于或等于所述误差阈值停止训练,得到训练好的分类网络。
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010349589.1A 2020-04-28 2020-04-28 神经元重建错误的检测方法、装置和计算机设备 Active CN111553418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010349589.1A CN111553418B (zh) 2020-04-28 2020-04-28 神经元重建错误的检测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010349589.1A CN111553418B (zh) 2020-04-28 2020-04-28 神经元重建错误的检测方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111553418A CN111553418A (zh) 2020-08-18
CN111553418B true CN111553418B (zh) 2022-12-16

Family

ID=72001729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349589.1A Active CN111553418B (zh) 2020-04-28 2020-04-28 神经元重建错误的检测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111553418B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985315A (zh) * 2018-05-24 2018-12-11 天津大学 一种距离映射模式分类方法
CN109934226A (zh) * 2019-03-13 2019-06-25 厦门美图之家科技有限公司 关键区域确定方法、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840940B (zh) * 2019-02-11 2023-06-27 清华-伯克利深圳学院筹备办公室 动态三维重建方法、装置、设备、介质和***
CN110489585B (zh) * 2019-07-08 2022-12-02 南京邮电大学 基于监督学习的分布式图像搜索方法
CN110929779B (zh) * 2019-11-19 2023-05-02 腾讯科技(深圳)有限公司 重建神经元质量检测方法、有序点云分类方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985315A (zh) * 2018-05-24 2018-12-11 天津大学 一种距离映射模式分类方法
CN109934226A (zh) * 2019-03-13 2019-06-25 厦门美图之家科技有限公司 关键区域确定方法、装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reconstruction-error-based learning for continuous emotion recognition in speech;Jing Han等;《2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20170619;第2367-2371页 *
局灶性皮质发育不良所致额叶和颞叶癫痫脑白质结构研究;林欢;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20180131;第2018年卷(第1期);E060-149 *

Also Published As

Publication number Publication date
CN111553418A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN110599451B (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN110599503B (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
JP2017062713A (ja) 識別器作成装置、識別器作成方法、およびプログラム
CN105303179A (zh) 指纹识别方法、装置
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN111666990A (zh) 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN111723815B (zh) 模型训练方法、图像处理方法、装置、计算机***和介质
CN110570312B (zh) 样本数据获取方法、装置、计算机设备和可读存储介质
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
KR20200075704A (ko) 어노말리 디텍션
CN108764361A (zh) 基于集成学习的游梁式抽油机示功图的工况识别方法
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN115937703A (zh) 一种用于遥感图像目标检测的增强特征提取方法
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN112818946A (zh) 年龄识别模型的训练、年龄识别方法、装置及电子设备
CN111553418B (zh) 神经元重建错误的检测方法、装置和计算机设备
CN116958221A (zh) 细胞数据分析方法、装置、设备及存储介质
CN110705509A (zh) 人脸方向识别方法、装置、计算机设备和存储介质
CN114240928B (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN116030346A (zh) 基于马尔可夫判别器的非成对弱监督云检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027943

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant