CN112926691A - 一种提取特征逻辑用于分类的卷积树突方法 - Google Patents

一种提取特征逻辑用于分类的卷积树突方法 Download PDF

Info

Publication number
CN112926691A
CN112926691A CN202110373833.2A CN202110373833A CN112926691A CN 112926691 A CN112926691 A CN 112926691A CN 202110373833 A CN202110373833 A CN 202110373833A CN 112926691 A CN112926691 A CN 112926691A
Authority
CN
China
Prior art keywords
data
classification
layer
logic
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110373833.2A
Other languages
English (en)
Inventor
马辛
付幸文
孙亦琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110373833.2A priority Critical patent/CN112926691A/zh
Publication of CN112926691A publication Critical patent/CN112926691A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提取特征逻辑用于分类的卷积树突方法，属于人工智能领域，本发明依靠输入数据的特征逻辑进行分类，能够在提取数据特征的同时也获取特征之间的逻辑关系，包括步骤：(1)首先利用权重矩阵对输入的图像信号或时间序列信号数据的卷积运算提取输入数据特征得到特征数据；(2)将特征数据与偏置矩阵求和引入常数项得到中间数据；(3)将包含特征数据和常数项的中间数据与中间数据本身做哈达姆积构造特征之间的逻辑关系；(4)采用误差反向传播算法迭代优化权重矩阵和偏置矩阵，从而保留对分类精度有贡献的特征逻辑关系作为本层的输出数据，本层的输出数据为下一层的输入数据。本发明具有运算量小、分类精度高、模型稳定性好、收敛速度快、可移植性强的优点。

Description

一种提取特征逻辑用于分类的卷积树突方法
技术领域
本发明涉及人工智能领域，具体涉及一种应用于图像信号或者时间序列信号的抽取特征逻辑用于分类的卷积树突方法。
背景技术
分类是故障诊断、自动化、计算机视觉(CV)和自然语言处理(NLP)等多个领域的基本问题。机器学习一直是解决分类问题的有用工具。分类是根据样本特征划分数据的任务。因此，可以自然的认为通过找到合适的分类曲线或曲面来解决这个问题。然而，使用这种策略的机器学习算法只生成一个黑盒模型。传统的分类模型大多是根据样本特征找到适当的分类曲线或曲面来划分数据集，但忽略了样本特征之间的逻辑关系。实际上样本特征的逻辑关系对于分类而言至关重要。
大脑中的生物树突被证明具有与\或\非的逻辑运算能力。现有模仿生物树突功能的模型是一种树突型网络。树突型网络与传统的胞体网络不同之处在于：1.考虑了输入数据的逻辑关系；2.传统胞体网络的非线性激活函数被树突代替，得到一个白盒模型，因此能够根据模型的分类或者拟合结果，有目标地修改树突层的个数，有效地避免网络过深或过浅造成的过拟合和欠拟合现象。为了便于区分，本发明将这种依靠样本特征找到适当的分类曲线或曲面来划分数据集的网络称为胞体网络，将依靠输入数据或特征之间的逻辑关系进行分类的网络称为树突网络。
虽然树突型网络在各大主流分类数据集，如MNIST、FASHION-MNIST等，均取得了很好的效果。但是其仍然存在如下3个问题：1.树突型网络是将图片数据变成一维张量，在未作特征提取之前全部送入网络，虽然考虑了所有的输入数据之间的逻辑关系，但其实都知道一张图片不是所有数据都对分类精度有贡献；2.树突型网络在做逻辑抽取时需要保证数据传播前后维度一致，导致难以嵌入其他网络；3.树突型网络在做逻辑提取过程中会丢失网络之前提取到的逻辑关系。
发明内容
本发明要解决的技术问题是，克服传统树突型网络无法做特征提取、难以嵌入其他网络以及丢失前面网络提取的逻辑关系的问题，为分类领域设计了一种抽取特征逻辑用于分类的卷积树突方法，该方法可以应用于图像信号处理，以及时间序列信号处理中，在提取输入数据特征的同时考虑特征之间的逻辑关系，与传统寻找分类曲线和曲面来分类的网络原理截然不同，具有分类精度高、收敛速度快、稳定性好、可移植好等优点。
本发明解决其技术问题所采用的技术方案为：一种提取特征逻辑用于分类的卷积树突方法，包括如下步骤：
步骤1、输入图像信号或时间序列信号作为输入数据，利用权重矩阵对输入数据的卷积运算提取输入数据特征得到特征数据；
步骤2、将特征数据与偏置矩阵求和引入常数项得到中间数据；
步骤3、将包含特征数据和常数项的中间数据与中间数据本身做哈达姆积构造特征之间的逻辑关系；
步骤4、采用误差反向传播算法迭代优化权重矩阵和偏置矩阵，从而保留对分类精度有贡献的特征逻辑关系作为本层的输出数据，本层的输出数据为下一层的输入数据；
步骤5重复上述步骤1～4即可构造出更深层次的逻辑关系用于分类。
进一步的，所述步骤1利用权重矩阵对输入数据进行卷积运算得到特征数据具体包括：
Figure BDA0003010391730000021
式中n为层标记，XF为特征数据，Xin为输入数据，W为权重矩阵，
Figure BDA0003010391730000026
为卷积。
进一步的，所述步骤2将特征数据与偏置矩阵求和获得中间数据：
Figure BDA0003010391730000022
式中n为层标记，XM为中间数据，XF为特征数据，B为偏置矩阵；
进一步的，所述步骤3将中间数据与中间数据本身做哈达姆积运算构造特征之间的逻辑关系得到本层的输出数据：
Figure BDA0003010391730000023
式中n为层标记，Xout为输出数据，XM为中间数据，
Figure BDA0003010391730000024
为哈达姆积；
进一步的，所述步骤4本层的输出数据为下一层的输入数据：
Figure BDA0003010391730000025
式中n为层标记，Xin为输入数据，Xout为输出数据。
重复上述步骤(1)～(4)即可构造出更深层次的逻辑关系用于分类。
本发明的原理是：1.利用权重矩阵与输入数据的卷积运算来提取输入数据的特征获得特征数据，排除了大量对分类精度没有贡献甚至影响分类精度的数据，在降低运算量的同时提高了分类精度、模型稳定性和收敛速度；2.将特征数据与偏置矩阵求和获得中间数据，这一运算为特征数据引入了常数项；3.将中间数据与中间数据本身进行哈达姆积获得输出数据，中间数据是特征数据与偏置矩阵(即常数项)的和，再与其本身做哈达姆积得到的输出数据会保留之前网络所提取到的特征逻辑，同时不必考虑数据传播过程中的维度变化，使得模型具备超高的可移植性；4.将本层的输出数据作为输入数据送入下一层网络，使得网络在提取数据特征的同时也抽取了特征之间的逻辑关系，最后根据特征之间的逻辑关系进行分类。
本发明与现有技术相比的优点在于：
与传统依靠样本特征找到适当的分类曲线或曲面来划分数据集的胞体网络(如采用不同激活函数的多层感知机、卷积神经网络等)相比的优点为：(1)考虑了输入数据的逻辑关系；(2)传统胞体网络的非线性激活函数被树突代替，得到一个白盒模型，因此能够根据模型的分类或者拟合结果，有目标地修改树突层的个数，有效地避免网络过深或过浅造成的过拟合和欠拟合现象。
与传统树突网络相比的优点为：通过提取特征数据的方式，减少了冗余数据，因此具有更小的运算量、更高的分类精度、更好的模型稳定性以及更快的收敛速度；通过添加偏置矩阵引入常数项再与中间数据本身做哈达姆积的方式，保留了网络之前抽取的特征逻辑，同时不用考虑数据传播过程中的维度变化问题，具有更高的可移植性；解决了传统树突网络不能提取特征的问题，做到了在提取数据特征的同时也抽取了特征之间的逻辑关系。
附图说明
图1是本发明的流程图；
图2是采用本发明搭建的分类模型；
图3是采用本发明搭建的分类模型与传统主流模型的对比框架；
图4是对比实验在MNIST数据集上得到的实验结果；
图5是对比实验在FASHION-MNIST数据集上得到的实验结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图进一步详细说明本发明的示例性实施方式。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。前述技术方案中所涉及的分类目标可为任意维度和大小的张量，下面以3×3×1张量的输入数据作为实施例，说明本发明的一种提取特征逻辑用于分类的卷积树突方法，可以应用于人工智能领域，例如应用于图像信号或者电路采集的时间序列信号，如图1所示，包括如下步骤：
步骤1、输入图像信号或时间序列信号作为输入数据，利用权重矩阵对输入数据进行卷积运算得到特征数据
Figure BDA0003010391730000041
式中n为层标记，XF为特征数据，Xin为输入数据，W为权重矩阵，
Figure BDA0003010391730000045
为卷积；
步骤2、将特征数据与偏置矩阵求和引入常数项得到中间数据
Figure BDA0003010391730000042
式中n为层标记，XM为中间数据，XF为特征数据，B为偏置矩阵；
步骤3、将包含特征数据和常数项的中间数据与中间数据本身做哈达姆积构造特征之间的逻辑关系得到本层的输出数据
Figure BDA0003010391730000043
式中n为层标记，Xout为输出数据，XM为中间数据，
Figure BDA0003010391730000044
为哈达姆积；
从Xout的展开式可以看到，Xout包含了与逻辑(x·x)、或逻辑(x+x)、非逻辑(-x)，即构造了分类所需的逻辑关系，再通过误差反向传播算法调节权重矩阵以及偏置矩阵，即可获取对分类精度有贡献的特征逻辑关系组合。
步骤4、采用误差反向传播算法迭代优化权重矩阵和偏置矩阵，从而保留对分类精度有贡献的特征逻辑关系作为本层的输出数据，本层的输出数据为下一层的输入数据
Figure BDA0003010391730000051
式中n为层标记，Xin为输入数据，Xout为输出数据。
重复上述步骤1～4即可构造出更深层次的逻辑关系用于分类。
为进一步描述本发明的使用方法，下面采用本发明构建一个完整的图像分类模型，对两个开源数据集MNIST和FASHION-MNIST的图像信号进行分类，并与当前各大主流的分类模型在同一框架下对比。为了便于描述，下面将本发明的分类方法简称为CDD，将采用本发明构建的分类模型称为CDD Net。
如图2所示，CDD Net由多个CDD模块和全连接层组成。CDD Net的训练具体包含以下过程：
步骤1.将MNIST和FASHION-MNIST训练集中的图像信号转换为1×28×28大小的张量送入CDD模块，在CDD中经过上述步骤(1)～(4)处理，即采用权重矩阵与图像信号之间的卷积运算提取特征然后通过中间数据之间的哈达姆积构造特征逻辑组合，获得相对浅层的特征逻辑组合作为输出数据；
步骤2.将上一个CDD模块的输出数据作为下一个CDD模块的输入数据，继续提取相对深层的逻辑组合；
步骤3.重复过程2直到获得最后一个CDD模块的输出，再将输出送入全连接层得到分类结果；
步骤4.计算分类结果与已知标签之间的误差，采用误差反向传播算法优化权重矩阵和偏置矩阵；
步骤5.重复过程1～4进行迭代优化，直到输出与图像标签的误差在允许范围内，即可获取对分类精度有贡献的特征逻辑组合，从而得到优化好的CDD Net。整个提取特征以及获取有益特征逻辑组合的过程，均以减小误差为目标，以误差反向传播算法为方法自动进行迭代优化，不需要人工参与。CDD Net的预测分类过程为训练过程1～3，即提取特征然后根据特征之间的有益的逻辑关系组合得到输出进行分类。由于CDD Net内部的权重矩阵和偏置矩阵已经被训练集中的大量数据调整和优化，因此测试集中的图像信号经过CDDNet得到的输出与图像标签之间的误差，同样会在允许范围内。
如图3所示，将本发明(简称CDD)与当前各大主流的分类模型在同一框架下对比，包括最擅长图像识别的卷积神经网络(CNN)，以及传统树突网络(DD)，还有经典的采用不同激活函数的多层感知机(MLP)，其中Relu、Sig、Tsig均为较为常见的激活函数。采用的数据集为人工智能领域主流的开源数据集MNIST和FASHION-MNIST。为了形成对照，令所有模型具备类似的结构。
在MNIST和FASHION-MNIST上的得到的对比结果分别如图4和图5所示，从图4和图5中可以看到，本发明具有最高的测试精度、最快的收敛速度以及最好的稳定性，这说明1.CDD能够以最快速度和最大限度地逼近全局最小值而不是局部极小值；2.CDD能够快速地抽取样本特征并学***面的传统胞体网络(如CNN或者MLP)而言具有更高的稳定性。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种提取特征逻辑用于分类的卷积树突方法，其特征在于，包括如下步骤：
步骤1、输入图像信号或时间序列信号作为输入数据，利用权重矩阵对输入数据的卷积运算提取输入数据特征得到特征数据；
步骤2、将特征数据与偏置矩阵求和引入常数项得到中间数据；
步骤3、将包含特征数据和常数项的中间数据与中间数据本身做哈达姆积构造特征之间的逻辑关系；
步骤4、采用误差反向传播算法迭代优化权重矩阵和偏置矩阵，从而保留对分类精度有贡献的特征逻辑关系作为本层的输出数据，本层的输出数据为下一层的输入数据；
步骤5重复上述步骤(1)～(4)即可构造出更深层次的逻辑关系用于分类。
2.根据权利要求1所述的一种提取特征逻辑用于分类的卷积树突方法，其特征在于，所述步骤1利用权重矩阵对输入数据进行卷积运算得到特征数据具体包括：
Figure FDA0003010391720000011
式中n为层标记，XF为特征数据，Xin为输入数据，W为权重矩阵，
Figure FDA0003010391720000012
为卷积。
3.根据权利要求1所述的一种提取特征逻辑用于分类的卷积树突方法，其特征在于，所述步骤2将特征数据与偏置矩阵求和获得中间数据：
Figure FDA0003010391720000013
式中n为层标记，XM为中间数据，XF为特征数据，B为偏置矩阵。
4.根据权利要求1所述的一种提取特征逻辑用于分类的卷积树突方法，其特征在于，所述步骤3将中间数据与中间数据本身做哈达姆积运算构造特征之间的逻辑关系得到本层的输出数据：
Figure FDA0003010391720000014
式中n为层标记，Xout为输出数据，XM为中间数据，○为哈达姆积。
5.根据权利要求1所述的一种提取特征逻辑用于分类的卷积树突方法，其特征在于，所述步骤4本层的输出数据为下一层的输入数据：
Figure FDA0003010391720000015
式中n为层标记，Xin为输入数据，Xout为输出数据。
CN202110373833.2A 2021-04-07 2021-04-07 一种提取特征逻辑用于分类的卷积树突方法 Withdrawn CN112926691A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110373833.2A CN112926691A (zh) 2021-04-07 2021-04-07 一种提取特征逻辑用于分类的卷积树突方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373833.2A CN112926691A (zh) 2021-04-07 2021-04-07 一种提取特征逻辑用于分类的卷积树突方法

Publications (1)

Publication Number Publication Date
CN112926691A true CN112926691A (zh) 2021-06-08

Family

ID=76173661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373833.2A Withdrawn CN112926691A (zh) 2021-04-07 2021-04-07 一种提取特征逻辑用于分类的卷积树突方法

Country Status (1)

Country Link
CN (1) CN112926691A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537325A (zh) * 2021-07-05 2021-10-22 北京航空航天大学 一种用于图像分类的基于提取高低层特征逻辑的深度学习方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537325A (zh) * 2021-07-05 2021-10-22 北京航空航天大学 一种用于图像分类的基于提取高低层特征逻辑的深度学习方法
CN113537325B (zh) * 2021-07-05 2023-07-11 北京航空航天大学 一种用于图像分类的基于提取高低层特征逻辑的深度学习方法

Similar Documents

Publication Publication Date Title
CN109584337B (zh) 一种基于条件胶囊生成对抗网络的图像生成方法
CN107437096B (zh) 基于参数高效的深度残差网络模型的图像分类方法
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN112561910B (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN112784964A (zh) 基于桥接知识蒸馏卷积神经网络的图像分类方法
US20210158166A1 (en) Semi-structured learned threshold pruning for deep neural networks
CN105528638A (zh) 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN108021947A (zh) 一种基于视觉的分层极限学习机目标识别方法
CN105095833A (zh) 用于人脸识别的网络构建方法、识别方法及***
CN112364913A (zh) 一种基于核心数据集的联邦学习通信量优化方法及***
CN111127423B (zh) 一种基于cnn-bp神经网络算法水稻病虫害识别方法
CN114186672A (zh) 一种用于脉冲神经网络的高效高精度训练算法
Chen et al. Application of improved convolutional neural network in image classification
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
Pan et al. A Novel Combinational Convolutional Neural Network for Automatic Food-Ingredient Classification.
CN110473195A (zh) 一种可自动定制的医学病灶检测架构及方法
Sun et al. Optimized light-weight convolutional neural networks for histopathologic cancer detection
CN113836319B (zh) 融合实体邻居的知识补全方法及***
CN113592008B (zh) 小样本图像分类的***、方法、设备及存储介质
CN109033304B (zh) 基于在线深层主题模型的多模态检索方法
CN112926691A (zh) 一种提取特征逻辑用于分类的卷积树突方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210608

WW01 Invention patent application withdrawn after publication