CN109948647B

CN109948647B - 一种基于深度残差网络的心电图分类方法及***

Info

Publication number: CN109948647B
Application number: CN201910067775.3A
Authority: CN
Inventors: 钱步月; 李晓宇; 刘涛; 陈思睿; 李安; 林佳亮; 刘璇; 吕欣; 郑庆华
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2019-01-24
Filing date: 2019-01-24
Publication date: 2021-02-02
Anticipated expiration: 2039-01-24
Also published as: CN109948647A

Abstract

本发明公开了一种基于深度残差网络的心电图分类方法及***，包括：采集标注好的心电图数据，获得心电图样本数据、类别标签和关键波形标签；将三者以及它们之间的对应关系整合为数据集；数据集包括训练集和验证集；构建基本的深度残差网络，在其主干网络预设位置构建用以重构关键波形位置的分支；分支包括：卷积层和Sigmoid层；训练后，获得训练好的具有分支的深度残差网络模型；通过训练好的模型对待分类检测的心电图数据进行分类。本发明通过在深度残差网络中引入新的分支来检测关键波形，使得模型能够更关注于心电图的关键波形，在可解释性和性能上都得到提升，输出给医生的分类数据更具有参考价值。

Description

一种基于深度残差网络的心电图分类方法及***

技术领域

本发明属于心电图分类技术领域，特别涉及一种基于深度残差网络的心电图分类方法及***。

背景技术

在心电图分类中，基于手工特征的传统方法在实践中需要心内科专家的深度参与，特征的选择严重依赖于专业的医疗知识，需要复杂繁琐的微调。近年来，一系列端到端的深度学***。但是这样的模型并不能直接应用，因为单纯由数据驱动的深度学习模型有一个重大的问题：作为黑箱模型，难以对结果做出合理的解释。另外，目前的基于深度残差网络的心电图分类方法中，采用的深度残差网络缺乏医学领域的先验知识，在样本量较少的情况下，其分类准确性较低。

例如，文献1提供了可参考的基于深度残差网络进行心电图分类的技术解决方案：

文献1.Rajpurkar P,Hannun A Y,Haghpanahi M,et al.Cardiologist-LevelArrhythmia Detection with Convolutional Neural Networks[J].2017.文献1中提出利用深度残差网络来解决心电图的分类问题并宣称达到了专家水平。该文献作者收集了29163个病人的心电图数据，包含14类心律不齐，为深度残差网络的训练提供了数据基础。技术上基于何凯明提出的深度残差网络，针对数据集构建了34层的残差网络。模型评估时除了在测试集中计算本模型的F1值，同时设置了一组心内专家来判断测试集的结果来计算心内专家的F1值，发现模型性能已高于该组心内专家。

但是文献1所述方法在应用中存在两个重大的问题：一是作为单纯由数据驱动的深度学***，这是文献1中单纯的深度残差模型无法保证的。

发明内容

本发明的目的在于提供一种基于深度残差网络的心电图分类方法及***，以解决上述存在的技术问题。本发明通过在深度残差网络中引入新的分支来检测关键波形，使得模型能够更关注于心电图的关键波形，在可解释性和性能上都得到提升，输出给医生的分类数据更具有参考价值。

为达到上述目的，本发明采用以下技术方案：

一种基于深度残差网络的心电图分类方法，包括以下步骤：

S1，样本数据预处理：采集获取预设数量的标注好的心电图数据，预处理后获得作为模型训练输入的心电图样本数据和类别标签；根据心电图样本数据提取关键波形位置获取关键波形标签；将心电图样本数据、类别标签和关键波形标签以及它们之间的对应关系整合为数据集；将数据集按照预设比例划分为训练集和验证集；

S2，构建具有分支的深度残差网络模型：构建基本的深度残差网络，在其主干网络预设位置构建用以重构关键波形位置的分支；分支包括：卷积层和Sigmoid层；具有分支的深度残差网络模型的训练过程中，通过构建的基本的深度残差网络计算出分类损失函数，通过构建的分支计算出波形检测的损失函数，根据计算出的分类损失函数和波形检测的损失函数得出最终的损失函数；

S3，设置批处理数量和初始学习率，通过步骤S1得到的训练集对步骤S2构建的具有分支的深度残差网络模型进行训练；通过步骤S1得到的验证集对训练后的具有分支的深度残差网络模型进行验证，当验证集损失函数达到预设收敛条件则完成训练，获得训练好的具有分支的深度残差网络模型；

S4，将待分类检测的心电图数据输入步骤S3获得的训练好的具有分支的深度残差网络模型，模型输出心电图分类结果。

进一步地，步骤S1中，关键波形包括P波和R波中的一种或两种。

进一步地，步骤S1中的预处理包括：将采集的心电图数据进行归一化和滤波去噪处理；

具体包括：将采集的心电图数据补齐至统一预定长度进行归一化，然后先后通过低通滤波器和高通滤波器以滤去噪音信号。

进一步地，步骤S2构建的基本的深度残差网络模型中：数据进入模型后，先依次经过卷积层、批归一化层和ReLU激活层；然后分为两部分，一部分直接经过最大池化层进行处理，另一部分依次经过卷积层、批归一化层、ReLU激活层、Dropout层、卷积层和最大池化层进行处理，处理完毕获得的两部分数据加到一起，再依次经过预设数量的卷积块进行处理，处理后的数据再依次经过批处理层、ReLU激活层、全连接层和Softmax层处理后输出；分支的卷积层的输入端与主干网预设位置的卷积块的输出端相连接。

进一步地，所述的卷积块的输入数据分为两个分支；一个分支只经过一个最大池化层处理，另一个分支依次经过预设数量的卷积层、批归一化层、ReLU激活层和Dropout层之后再经过一个最大池化层处理，两个分支处理后的数据再加到一起作为所述卷积块的输出。

进一步地，分类损失函数的计算公式为：

式中，S为经过预处理后的心电图序列，Y是类别标签，p()函数是预测当前心电图属于某个类别的概率，N是类别数量。

进一步地，步骤S2中，在构建的基本的深度残差网络的主干网的两个预设位置分别引入一个分支，每个分支后分别连接一个卷积层和Sigmoid层，卷积层的神经元数量设置为2，Sigmoid层输出一个三维的张量(b，f，2)，b表示批处理数量，f表示feature map长度，2表示这个张量来预测一个二元组(x，c)，x为关键波形顶点的相对位置，c为关键波形的概率。

进一步地，波形检测的损失函数的计算公式为：

式中，S为经过预处理后的心电图序列，X表示关键波形位置标签，C表示置信度标签；λ_coord表示做x相对坐标回归的系数，λ_noobj表示对没有物体的网格计算预测结果的系数，用于控制正例和负例对结果的贡献比例；

和

分别表示有物体或没有物体时值为1，否则为0；

和

分别表示预测物体的真实相对位置和真实置信度，x_i和c_i分别表示当前模型预测的物体相对位置和置信度。

进一步地，关键波形包括P波和R波，最终的损失函数的计算公式为：

式中，X_P表示P波关键位置标签，X_R表示R波关键位置标签；C表示P波的置信度标签，C_R表示R波的置信度标签。

一种基于深度残差网络的心电图分类***，包括：

样本数据预处理模块，用于采集获取预设数量的标注好的心电图数据，预处理后获得作为模型训练输入的心电图样本数据和类别标签；根据心电图样本数据提取关键波形位置获取关键波形标签；用于将心电图样本数据、类别标签和关键波形标签以及它们之间的对应关系整合为数据集，并将数据集按照预设比例划分为训练集和验证集；

具有分支的深度残差网络模型构建模块，用于构建基本的深度残差网络，然后在其主干网络预设位置构建用以重构关键波形位置的分支；分支包括：卷积层和Sigmoid层；具有分支的深度残差网络模型的训练过程中，通过构建的基本的深度残差网络计算出分类损失函数，通过构建的分支计算出波形检测的损失函数，根据计算出的分类损失函数和波形检测的损失函数得出最终的损失函数；

训练验证模块，用于设置批处理数量和初始学习率，通过训练集对构建的具有分支的深度残差网络模型进行训练；通过得到的验证集对训练后的具有分支的深度残差网络模型进行验证，当验证集损失函数达到预设收敛条件则完成训练，获得训练好的具有分支的深度残差网络模型；

输入输出模块，用于将待分类检测的心电图数据输入训练好的具有分支的深度残差网络模型，模型输出心电图分类结果。

与现有技术相比，本发明具有以下有益效果：

本发明的深度残差网络中包括主干和分支，主干网络用于检测分类，引入的新的分支用于检测关键波形，可使得模型能够更关注于心电图的关键波形，在可解释性和性能上都能够得到提升，输出给医生的分类结果数据更具有参考价值。

进一步地，关键波形包括P波和R波中的一种或两种，更有利于房颤分类。

进一步地，采用二维图像识别领域中的物体检测方法，来检测关键波形，可准确获得关键波形的位置。

本发明的***能够完成心电图分类，通过在深度残差网络中引入新的分支来检测关键波形，使得***模型能够更关注于心电图的关键波形，输出给医生的数据在可解释性和性能上都可得到提升，输出的分类数据更具有参考价值。

附图说明

图1是本发明中模型训练流程示意框图；

图2是本发明中融合专业知识的深度残差网络结构示意框图；

图3是本发明中卷积块的结构示意框图；

图4是本发明中波形位置检测方法示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细说明。

请参阅图1，本发明的一种基于深度残差网络的心电图分类方法，包括以下步骤：

步骤1，数据预处理。

采集心电图数据，将所有采集的心电图数据补齐到统一长度进行归一化。然后用一般的滤波技术去噪，比如先后通过一个5Hz的低通滤波器和41Hz的高通滤波器以滤去噪音信号，将通过滤波器后的心电图数据作为模型的输入。采集的心电图数据中，包括心电图样本数据、分类标签以及二者的对应关系。

将作为模型训练输入的心电图数据利用传统的医学检测方法，从心电图数据中提取关键波形的位置作为后面重构任务的标签，关键波形为P波和R波中的一种或两种。将数据集按照8:1:1或7:2:1分为训练集、验证集和测试集。

步骤2，模型构建。

请参阅图2和图3，构建基本的深度残差网络，然后在主干网络上构建新的分支用以重构关键波形位置，最终网络结构如图2所示。

Step1：构建基本的深度残差网络具体为，深度残差网络由一系列的网络层次构成，数据进入模型后，会先依次经过一个卷积层(Conv)、批归一化层(BN)、ReLU激活层(ReLU)，然后分为两部分，一部分直接经过一个最大池化层(Max pooling)，与另一部分经过一系列层次后再加到一起。后面会经过一系列卷积块(Conv Block)，每个卷积块中由两个分支，一个分支只经过一个最大池化层，另一个分支经过一系列层次之后再经过一个最大池化层，然后再把两个分支加到一起作为卷积块的输出。为了保证层次的深度，这里卷积块中的最大池化层只在奇数个卷积块中出现。最后，在这些卷积块中紧接着是一个批处理层、ReLU激活层、全连接层(Dense)和一个Softmax层，用Softmax层的输出进行计算，在这里进行分类损失函数的计算：

这里S为输入的心电图序列，Y是类别标签，p()函数是预测当前心电图属于某个类别的概率，N是类别数量。

具体实施例，我们将卷积神经元的长度都设为64，数量都设为64*k，此处k初始值为1并且在每4个卷积块后增加1，并设所有卷积核长度为16，最大池卷积层的长度和间隔都为2。

Step2：增加引入专业知识的分支。具体的，我们在网络中两个特定的位置分别引入一个新的分支，分支后分别连接一个卷积层和Sigmoid层，分别针对P波和R波。

请参阅图4，本发明的实施例中将两个分支的卷积层的神经元数量设为2，最后分别得到一个三维的张量(b，f，2)，b表示批处理数量，f表示feature map长度，2表示这个张量来预测一个二元组(x，c)，基于卷积神经网络的线性映射关系，相当于将一个心电图原始输入视为f个网格，在每个网格里去预测在该网格出现关键波形的概率c和在网格中关键波形顶点的相对位置x，则可计算出波形检测任务的损失函数：

式中，S表示原始输入，X表示波形位置标签，C表示置信度标签；λ_coord表示做x相对坐标回归的系数，λ_noobj表示对没有物体的网格计算预测结果的系数，用于控制正例和负例对结果的贡献比例；

和

分别表示有物体或没有物体时值为1，否则为0；

和

分别表示预测物体的真实相对位置和真实置信度，x_i和c_i分别表示当前模型预测的物体相对位置和置信度。通过分别对物体的网格做x坐标回归，并对所有网格计算存在物体的置信度预测，通过上述算式可计算得对某种波形检测的损失函数值。分别对R波和P波进行检测，再加上分类损失函数，得到最终的损失函数如下：

本发明中，根据线性映射关系将输入分隔成f个网格，然后对每一个网格分别预测一个位置小写x和一个置信度c；在考虑分类的同时兼顾P波和R波的检测，可使得分类网络能够相对更关注与关键波形——R波和P波。

步骤3，训练并测试模型。

对模型进行训练时，设置批处理数量和初始学习率，当验证集损失函数连续三个周期没有下降时，就将学习率降低为原来的n分之一，如果连续五个周期没有下降就结束训练，每次都保存最好的模型参数，对预训练和微调过程都是如此。

具体为，先移除主要的分类分支，对只包含P波分和R波分支的网络进行预训练，预训练结束后加回原来的主分支进行微调，最终在测试集上进行测试。结束之后，得到的分类器模型便可用于进行心电图分类，由于P波分支和R波分支引入了先验知识，使得模型更关注于P波和R波，所以其结果要优于缺少P波和R波分支的深度残差网络。本发明中，通过预训练能够使得模型训练地更充分。因为对于18000长度的输入，五六千的样本量，分类任务本身经过五六个周期(epoch)后就会过拟合，而检测任务要经过三四十个周期才过拟合，如果一起训练就会导致检测任务训练不充分以致于方法失效。

本发明首先对数据进行滤波和归一化，并用传统方法提出P波和R波位置作为后续的标签；其次，构建基本的深度残差网络，最重要的是，在深度残差网络中构建新的分支分别来检测P波和R波的位置，并将该问题视为一个物体检测问题，利用深度卷积网络的线性映射关系，将输入视为一系列网格，对网格中是否存在关键波形做预测并对预测的波形相对位置做回归，使得网络模型更关注于关键的波形，以此引入专业知识；最后，先移除主分支进行预训练，再拿回主分支进行微调，以此方式训练好最终的模型，经过测试后用于心电图的分类。本发明通过在深度残差网络中引入检测关键波形的分支，并作为一个典型的物体检测问题来解决，以此融合专业知识，缓解了模型可解释性差和在小数据上性能无法得到保证的难题。

本发明的一种基于深度残差网络的心电图分类***，包括：

实施例1

本发明实施例的一种基于深度残差网络并融合专业知识的分类方法，包括以下步骤：

步骤1，数据预处理。

本实施例中，数据以国际房颤分类比赛CinC Challenge 2017比赛数据为例，该数据频率为300Hz，时间长度从9秒到60秒不等，即最长约为18000(300*60)个点，为计算方便，我们将所有输入补齐到长度为18176(71*2⁸)，将所有心电图数据进行归一化，然后先后通过一个5Hz的低通滤波器和41Hz的高通滤波器，将通过滤波器后的数据作为模型的输入。同时，利用传统的医学检测方法，从心电图数据中提取关键波形的位置(P波和R波)作为后面重构任务的标签，关键波形为P波和R波。然后，将数据集按8：1：1分为训练集、验证集和测试集。

步骤2，模型构建；构建基本的深度残差网络，然后在主干网络上构建新的分支用以重构关键波形位置，最终网络结构如图2所示。

Step1：构建基本残差网络。具体的，深度残差网络由一系列的网络层次构成。数据进入模型后，会先依次经过一个卷积层(Conv)、批归一化层(BN)、ReLU激活层(ReLU)，然后分为两部分，一部分直接经过一个最大池化层(Max pooling)，与另一部分经过一系列层次后再加到一起。后面会经过16个卷积块(Conv Block)，每个卷积块中由两个分支，一个分支只经过一个最大池化层，另一个分支经过一系列层次之后再经过一个最大池化层，然后再把两个分支加到一起作为卷积块的输出。为了保证层次的深度，这里卷积块中的最大池化层只在奇数个卷积块中出现。最后，在16个卷积块中紧接着是一个批处理层、ReLU激活层、全连接层(Dense)和一个Softmax层，在这里进行分类损失函数的计算：

式中，S为输入的心电图序列，Y是类别标签，p()函数是预测当前心电图属于某个类别的概率，N是类别数量。

在具体的各层网络设置中，将卷积神经元的长度都设为64，数量都设为64*k，此处k初始值为1并且在每4个卷积块后增加1，并设所有卷积核长度为16，最大池卷积层的长度和间隔都为2。

Step2：增加引入专业知识的分支。具体的，我们分别在第五个和第六个卷积块之后引入一个新的分支，分支后分别连一个卷积层和Sigmoid层，分别针对P波和R波。本发明将这个卷积层的神经元数量设为2，最后分别得到一个三维的张量(b，f，2)，这里b表示批处理数量，f表示feature map长度，2表示这个张量来预测一个二元组(x，c)，基于卷积神经网络的线性映射关系，相当于我们将一个心电图原始输入视为f个网格，在每个网格里去预测在该网格出现关键波形的概率c和在网格中关键波形顶点的相对位置x，则可计算出波形检测任务的损失函数，计算公式为：

式中，S表示原始输入X表示波形位置标签，C表示置信度标签；λ_coord表示做x相对坐标回归的系数，λ_coobj表示对没有物体的网格计算预测结果的系数，用于控制正例和负例对结果的贡献比例，在这里我们取λ_coord等于5，λ_coobj等于0.5；

和

分别表示有物体或没有物体时值为1，否则为0；

和

步骤3，训练并测试模型。

对模型进行训练，将初始学习率设为0.001，当验证集损失函数连续三个周期没有下降时，就将学习率降低为原来的十分之一，如果连续五个周期没有下降就结束训练，每次都保存最好的模型参数，对预训练和微调过程都是如此。具体的，先移除主要的分类分支，对只包含P波分和R波分支的网络进行预训练，预训练结束后加回原来的主分支进行微调，最终在测试集上进行测试。结束之后，得到的分类器模型便可用于进行房颤分类，由于P波分支和R波分支引入了先验知识，使得模型更关注于P波和R波，所以其结果要优于缺少P波和R波分支的深度残差网络。

本实施例以深度残差网络为基础，在网络的合理位置建立新的分支来引入关键波形(P波和R波)检测任务，并作为一个物体检测任务得以解决，使得模型更关注于用于检测房颤的关键波形，以此在深度残差网络中融合医学知识。

综上所述，本发明提供了一种基于深度残差网络并融合专业知识的分类方法，步骤包括：首先，对训练数据进行必要的预处理，一方面作为模型输入，另一方面用传统的医学检测方法检测出心电图关键波形的位置，作为后面计算重构任务损失函数的标签；其次，针对当前心电图数据构建基本的深度残差网络用以进行分类任务，并在原来的网络上构建新的分支来进行关键波形位置的重构任务，并将重构视为一个物体检测问题进行解决；最后对模型进行训练，训练完成的模型便可用来对心电图进行检测分类。本发明通过在深度残差网络中引入新的分支来检测关键波形，在深度模型中融入了医学知识，使得模型能够更关注于心电图的关键波形，在可解释性和性能上都得到提升。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims

1.一种基于深度残差网络的心电图分类方法，其特征在于，包括以下步骤：

S4，将待分类检测的心电图数据输入步骤S3获得的训练好的具有分支的深度残差网络模型，模型输出心电图分类结果；

其中，步骤S1中，关键波形包括P波和R波中的一种或两种；

步骤S2构建的基本的深度残差网络模型中：数据进入模型后，先依次经过卷积层、批归一化层和ReLU激活层；然后分为两部分，一部分直接经过最大池化层进行处理，另一部分依次经过卷积层、批归一化层、ReLU激活层、Dropout层、卷积层和最大池化层进行处理，处理完毕获得的两部分数据加到一起，再依次经过预设数量的卷积块进行处理，处理后的数据再依次经过批处理层、ReLU激活层、全连接层和Softmax层处理后输出；分支的卷积层的输入端与主干网预设位置的卷积块的输出端相连接；

卷积块内的数据流分为两个分支处理；一个分支只经过一个最大池化层处理，另一个分支依次经过预设数量的卷积层、批归一化层、ReLU激活层和Dropout层之后再经过一个最大池化层处理，两个分支处理后的数据再加到一起作为所述卷积块的输出。

2.根据权利要求1所述的一种基于深度残差网络的心电图分类方法，其特征在于，步骤S1中的预处理包括：将采集的心电图数据进行归一化和滤波去噪处理；

3.根据权利要求1所述的一种基于深度残差网络的心电图分类方法，其特征在于，分类损失函数的计算公式为：

式中，S为经过预处理后的心电图序列，Y是类别标签，p()函数是预测当前心电图属于某个类别的概率，N是类别数量，y_i是第i个类别。

4.根据权利要求3所述的一种基于深度残差网络的心电图分类方法，其特征在于，步骤S2中，在构建的基本的深度残差网络的主干网的两个预设位置分别引入一个分支，每个分支后分别连接一个卷积层和Sigmoid层，卷积层的神经元数量设置为2，Sigmoid层输出一个三维的张量（b，f，2），b表示批处理数量，f表示特征的长度，2表示这个张量来预测一个二元组（x，c），x为关键波形顶点的相对位置，c为关键波形的概率。

5.根据权利要求4所述的一种基于深度残差网络的心电图分类方法，其特征在于，波形检测的损失函数的计算公式为：

式中，S为经过预处理后的心电图序列，X表示关键波形位置标签，C表示置信度标签；

表示做x相对坐标回归的系数，

表示对没有物体的网格计算预测结果的系数，用于控制正例和负例对结果的贡献比例；

和

分别表示有物体和没有物体时值为1，否则为0；

和

分别表示预测物体的真实相对位置和真实置信度，

和

分别表示当前模型预测的物体相对位置和置信度。

6.根据权利要求5所述的一种基于深度残差网络的心电图分类方法，其特征在于，关键波形包括P波和R波，最终的损失函数的计算公式为：

式中，X_P表示P波关键位置标签，X_R表示R波关键位置标签；C_P表示P波的置信度标签，C_R表示R波的置信度标签；C表示关键波形的置信度标签。

7.一种基于深度残差网络的心电图分类***，其特征在于，包括：

输入输出模块，用于将待分类检测的心电图数据输入训练好的具有分支的深度残差网络模型，模型输出心电图分类结果；

其中，样本数据预处理模块中，关键波形包括P波和R波中的一种或两种；

构建的基本的深度残差网络模型中：数据进入模型后，先依次经过卷积层、批归一化层和ReLU激活层；然后分为两部分，一部分直接经过最大池化层进行处理，另一部分依次经过卷积层、批归一化层、ReLU激活层、Dropout层、卷积层和最大池化层进行处理，处理完毕获得的两部分数据加到一起，再依次经过预设数量的卷积块进行处理，处理后的数据再依次经过批处理层、ReLU激活层、全连接层和Softmax层处理后输出；分支的卷积层的输入端与主干网预设位置的卷积块的输出端相连接；卷积块内的数据流分为两个分支处理；一个分支只经过一个最大池化层处理，另一个分支依次经过预设数量的卷积层、批归一化层、ReLU激活层和Dropout层之后再经过一个最大池化层处理，两个分支处理后的数据再加到一起作为所述卷积块的输出。