CN110136115A - Ivoct图像易损斑块自动检测神经网络集成方法 - Google Patents
Ivoct图像易损斑块自动检测神经网络集成方法 Download PDFInfo
- Publication number
- CN110136115A CN110136115A CN201910402166.9A CN201910402166A CN110136115A CN 110136115 A CN110136115 A CN 110136115A CN 201910402166 A CN201910402166 A CN 201910402166A CN 110136115 A CN110136115 A CN 110136115A
- Authority
- CN
- China
- Prior art keywords
- network
- vulnerable plaque
- integrated
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 31
- 238000013459 approach Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 125
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 22
- 238000007689 inspection Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000004069 differentiation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 9
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000002526 effect on cardiovascular system Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000002608 intravascular ultrasound Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种IVOCT图像易损斑块自动检测神经网络集成方法，包括以下步骤：集成网络选取，选取的网络包括传统的目标检测网络Haar‑Adaboost、基于回归的目标检测网络YOLO和SSD及基于区域建议的目标检测网络Faster R‑CNN；网络训练检测，根据IVOCT图像的自身特征，设置反映每个网络对于易损斑块检测结果的数据指标和评价指标，对每个网络进行训练生成不同的测试模型，各自检测预定数量的IVOCT测试图像；两步集成方法，先是利用设计的集成策略对每个网络检测出来的IVOCT检测图像类别标签进行集成，然后根据类别集成的结果进行区域集成得出检测结果。本申请能提高检测易损斑块区域的准确性，减少漏检和错检的情况，且能提高检测区域与真实区域之间的重合度及最终检测结果性能。
Description
技术领域
本发明涉及IVOCT图像检测技术领域，具体涉及一种IVOCT图像易损斑块自动检测神经网络集成方法。
背景技术
易损斑块检测依赖于血管内成像技术(intravascular imaging modality)。目前，临床上常用血管内超声(Intravascular Ultrasound，IVUS)和血管内光学相干断层扫描(Intravascular Optical Coherence Tomography，IVOCT)两种成像技术来检测易损斑块。其中，IVOCT是一种高分辨率(10-20μm)的成像方式，是IVUS的约10倍，且与IVUS相比，IVOCT对易损斑块的检测具有更好的敏感性(sensitivity)和特异性(specificity)。此外，这种技术本身可以进行重复处理，在多次成像之后依然可以保证结果的稳定性。因此，IVOCT技术更适用于易损斑块的检测。
基于IVOCT图像的易损斑块检测的传统方法是医生凭借自己的经验进行肉眼判别，其过程费时费力，结果主观性强。在此背景下，出现了基于单个网络如Faster R-CNN网络对于易损斑块的自动检测。但是，本发明的发明人经过研究发现，单个网络对于易损斑块的检测容易出现漏检和误检的情况，因而检测结果的准确性较低，使得对于易损斑块区域的检测效果不太具有客观性。
发明内容
针对现有易损斑块通过单个网络检测容易出现漏检和误检的情况，因而检测结果准确性较低，使得对于易损斑块区域的检测效果不太具有客观性的技术问题，本发明提供一种IVOCT图像易损斑块自动检测神经网络集成方法，该方法通过将神经网络集成应用于易损斑块检测来提高检测的准确性。
为了解决上述技术问题，本发明采用了如下的技术方案：
IVOCT图像易损斑块自动检测神经网络集成方法，所述方法包括以下步骤：
集成网络选取，选取不同代表性的网络进行易损斑块检测，选取的网络包括传统的目标检测网络Haar-Adaboost和深度神经网络，所述深度神经网络包括基于回归的目标检测网络YOLO和SSD及基于区域建议的目标检测网络Faster R-CNN；
网络训练检测，根据IVOCT图像的自身特征，设置反映每个网络对于易损斑块检测结果的数据指标和评价指标；对每个网络进行训练生成不同的测试模型，用预定数量的IVOCT测试图像让每个网络进行检测得到各自网络的输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；
两步集成方法，第一步是根据每个网络检测结果的数据指标和评价指标设计集成策略，利用集成策略对每个网络检测出来的IVOCT检测图像类别标签进行集成，得出该IVOCT检测图像中是否含有易损斑块区域的判断，第二步是根据第一步类别集成的结果，对IVOCT检测图像中含有易损斑块区域的所有区域进行集成合并处理，集成结果作为最终的输出检测结果。
进一步，所述每个网络对于易损斑块检测结果的数据指标包括真阳性TP、假阳性FP、假阴性FN和真阴性TN；其中，
式中，T是阈值，DSC(Ai,Bj)为Dice相似性系数，用来衡量检测出的易损斑块区域和与真实的易损斑块区域的重叠程度，Ai表示真实的易损斑块区域集合A＝{A1,A2,...,An}中的第i个真实的易损斑块区域，Bj表示检测出的易损斑块区域集合B＝{B1,B2,...,Bm}中的第j个检测出的易损斑块区域，i∈[1,n],j∈[1,m]，|·|表示区域的宽；
所述每个网络对于易损斑块检测结果的评价指标包括精确度P、召回率R、重合度D和检测质量评分S；其中，
式中，w1表示精确度和召回率的权重因子，w2表示重合度的权重因子，w1,w2∈[0,1]，w1+w2＝1。
进一步，所述阈值T＝0.5。
进一步，所述集成策略包括有四种集成策略，具体地：
第一种集成策略为在Faster R-CNN、YOLO和SSD三个检测网络中，只要有一个网络检测到易损斑块则将对应的图像判别为正样本；
第二种集成策略为采用简单投票法，按少数服从多数的方法对Faster R-CNN、YOLO和SSD三个检测网络的输出进行集成；
第三种集成策略为整体按照简单投票法，但是当Faster R-CNN、YOLO和SSD三个检测网络中只要Faster R-CNN或者SSD检测到易损斑块时，则采用加权投票法赋予这两个网络较高的权值，使得最终的判别结果以他们检测的结果为准将对应的图像判别为正样本；
第四种集成策略为当Haar-Adaboost网络判别图像为负样本时，采用加权投票法，并在Faster R-CNN、YOLO、SSD和Haar-Adaboost四个检测网络中，将Haar-Adaboost网络在类别集成中的权值分配为0.4～0.7，其他三个网络的权值都分配为0.1～0.2；而当Haar-Adaboost网络判别图像为正样本时，Haar-Adaboost网络在类别集成中不分配权值，且采用前述第三种集成策略进行类别判断。
进一步，所述简单投票法采用下式进行计算：
其中，C(x)表示最终的投票的结果输出，sign是符号函数，Ci(x)表示第i个分类器的投票结果。
进一步，所述加权投票法采用下式进行计算：
其中，C(x)表示最终的投票的结果输出，sign是符号函数，wi表示第i个分类器对应的权值，Ci(x)表示第i个分类器的投票结果。
进一步，所述第四种集成策略中，当Haar-Adaboost网络判别图像为负样本时，将Haar-Adaboost网络在类别集成中的权值分配为0.4，其他三个网络的权值都分配为0.2。
进一步，所述两步集成方法的第二步区域集成中，应尽量包含单网格检测的区域，所以当有多个检测网格输出有易损斑块时，需将所有的易损斑块区域进行合并处理，集成结果为所有区域的并集。
进一步，所述方法还包括采用前述的评价指标对每种集成策略输出结果进行评价的步骤。
本发明提供的IVOCT图像易损斑块自动检测神经网络集成方法，通过将神经网络集成应用于易损斑块的检测，与现有技术相比具有以下优点：
1、采用神经网络集成方法对易损斑块进行检测，能提高检测易损斑块区域的准确性，能减少漏检和错检的情况，且能提高检测区域与真实区域之间的重合度，能提升最终检测结果的性能；
2、对实现IVOCT图像易损斑块的自动检测功能有促进作用，在节省人力物力和减少医生的工作量的情况下，使得对易损斑块区域的检测效果更具有客观性；
3、对测试集检测结果表明，精确度、召回率和重合度都有一定的提升，检测质量评分也都高于任意的单个网络，特别是在集成策略中加入了Haar-Adaboost检测网络对负样本类别进行校正之后，明显提高了易损斑块检测的精确度，检测质量评分提高了许多，而且都高于任意单个网络的检测结果。
附图说明
图1是本发明提供的IVOCT图像易损斑块自动检测神经网络集成方法流程示意图。
图2是本发明提供的传统Faster R-CNN网络结构示意图。
图3是本发明提供的传统YOLO网络训练原理示意图。
图4是本发明提供的心血管专家手工标记易损斑块图以及集成后的检测结果示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参考图1至图3所示，本发明提供一种IVOCT图像易损斑块自动检测神经网络集成方法，所述方法包括以下步骤：
集成网络选取，选取不同代表性的网络进行易损斑块检测，选取的网络包括传统的目标检测网络Haar-Adaboost和深度神经网络，所述深度神经网络包括基于回归的目标检测网络YOLO和SSD及基于区域建议的目标检测网络Faster R-CNN；为了更好地理解本发明，现将对传统的Haar-Adaboost、Faster R-CNN、YOLO和SSD四个检测网络的检测原理作如下介绍：
Haar特征是基于“块”的特征，计算量可减小，通过计算黑色和白色区域之间的像素和之差，得到特征值，Haar特征反映的是在某个特征点区域的灰度变化情况；Adaboost分类器原理是训练不同的弱分类器，然后将弱分类器级联起来形成一个强的分类器。
基于区域建议的Faster R-CNN算法可分为两步，首先通过区域建议算法生成含有目标的候选区域，然后通过卷积神经网络进行特征提取，进行目标的分类和位置的回归。Faster R-CNN算法是先利用一个卷积神经网络提取待测图像的特征，生成特征图，然后利用候选区域建议网络(Region Proposal Network,RPN)对特征图进行处理，生成高质量多尺度的目标候选区域，最后检测网络学习高质量的候选区域的特征并进行分类，具体的Faster R-CNN网络结构如图2所示。其中，Faster R-CNN算法中的特征提取网络是一个卷积神经网络，提取出的卷积特征共享给候选区域建议网络和检测网络，候选区域建议网络相当于是一个目标的粗检测过程，用特征提取网络提取的特征作为网络的输入，采用anchor机制生成不同尺度和长宽比的建议框，可以减轻分类网络的负担，在选取较少检测窗口的情况下，还能有较高的检测精度。而候选区域建议网络的损失函数是一个多任务损失函数，结合了候选区域的类别置信和修正参数任务，损失函数主要由两部分组成：分类损失和回归损失，获得候选区域之后，便对候选区域进行分类回归。特征提取网络输出的特征图和候选区域建议网络输出的候选区域一起作为检测网络的输入，输出候选区域对应类别置信度和修正参数。
基于回归的目标检测算法YOLO没有区域建议，基于CNN特征直接对位置和类别进行预测，然后经过非极大值抑制机制合并多余框，去除小概率框，最终生成预测结果。YOLO将目标检测作为一个回归问题，直接采用整张图像进行训练，使用全连接层来产生预测结果，每个预测框都使用全局特征，不需要预先提取候选区域，正向生成目标区域，反向校正目标区域，时间成本小，直接从完整图像预测目标的位置和类别，并实现端到端目标检测，具体的YOLO网络训练原理如图2所示。具体在正向生成目标区域时，YOLO的CNN网络将输入图像分割为S×S大小的网格，然后每个单元格去检测中心点落在网络内的目标，每个网格都会预测B个边界框以及每个边界框的置信度，置信度包含边界框内含有目标的可能性和边界框的准确度，将图像分为一个一个的网格并且同时预测边界框、置信度和C个类别概率，其正向输出的结果是一个张量：S×S×(B*5+C)。反向校正目标区域是通过优化误差函数，使损失函数最小化，YOLO的损失函数主要包含了三部分：预测框与实际框的坐标误差、IOU误差和分类误差，反向更新调整预测框的位置，使得损失函数最小化，提高检测的准确性。在实验中，针对IVOCT图像训练集，从头开始训练YOLO以得到不同的训练方案及超参数，使用一个小型网络(tiny-yolo-voc.cfg)进行训练，在训练阶段，训练的权重与迭代次数一起保存。
SSD是基于前馈卷积网络，产生固定大小的默认框和框中目标类别的分数，然后进行多尺度特征图检测，在每一个卷积层，都会有不同大小感受野的特征图输出，在这些不同尺度的特征图上，对这些默认框进行位置和类别的预测，在预测边界框的时候，SSD仿照了Faster R-CNN网络中的anchor机制，每个单元格设置尺度或长宽比不同的先验框，以先验框为基准预测边界框，减少训练，节省时间上的开销，最后对每个类别所预测到的边界框采用非极大值抑制原则去除多余的以及概率小的边界框，产生最终的检测结果。SSD使用局部特征，适合于不同尺寸目标的预测问题。
网络训练检测，根据IVOCT图像的自身特征，设置反映每个网络对于易损斑块检测结果的数据指标和评价指标；对每个网络进行训练生成不同的测试模型，用预定数量的IVOCT测试图像让每个网络进行检测得到各自网络的输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标。其中，IVOCT图像数据是包含有易损斑块区域的正样本，标记为“1”，以及不含有易损斑块的负样本，标记为“0”。具体地，IVOCT图像有其自身的特征，典型的目标检测评价指标，如平均精度均值(MeanAverage Precision，MAP)，并不能很好的反映易损斑块的检测效果，对于医学图像性能评价一般考虑Dice相似性系数(Dice similarity coefficient)、敏感性和特异性等指标。其中，Dice相似性系数可以被看作集合间的一种相似性度量，在本申请中，它可以用来衡量检测出的易损斑块区域和与真实的易损斑块区域的重叠程度。
假设真实的易损斑块区域的集合为A＝{A1,A2,...,An}，检测出的易损斑块区域的集合为B＝{B1,B2,...,Bm}。注意检测出的易损斑块区域Bi(1≤i≤m)和Bj(1≤j≤m)可能存在交叉部分，针对这种情况，本申请将Bi和Bj视为错误输出(因为集合A中的元素之间交集均为空)，需利用公式(1)将这样的区域从集合B中排除。
则Dice相似性系数为：
其中，|·|表示区域的宽(单位：像素)，DSC(Ai,Bj)∈[0,1]，Ai表示真实的易损斑块区域集合A＝{A1,A2,...,An}中的第i个真实的易损斑块区域，Bj表示检测出的易损斑块区域集合B＝{B1,B2,...,Bm}中的第j个检测出的易损斑块区域。
作为具体实施例，所述每个网络对于易损斑块检测结果的数据指标包括真阳性TP(true positive)、假阳性FP(false positive)、假阴性FN(false negative)和真阴性TN(true negative)；其中，TP的值按如下公式(3)计算：
其中，i∈[1,n],j∈[1,m]，表达式DSC(Ai,Bj)＞T是逻辑表达式；其值为真时用数字1表示，其值为假时用数字0表示。T是阈值，如果DSC(Ai,Bj)＞T，则认为Bj是一个易损斑块区域。根据本申请实验和先前研究，对于医学图像，当T＝0.5时，可以使特异性和灵敏度之间得到很好的权衡。
同样，本申请中假阳性FP和假阴性FN的值按下式计算：
其中，公式(4)表示如果Ai和Bj不相似(0＜DSC(Ai,Bj)≤T)，或者集合A中没有与Bj相交的元素，那么就认为Bj不是易损斑块区域。公式(5)表示如果集合B中没有元素与Ai相交，则易损斑块区域Ai被认为漏检。
真阴性TN的值(直接检测出来的负样本数)表示心血管专家标记为阴性并且也检测为阴性的样品数。
所述每个网络对于易损斑块检测结果的评价指标包括精确度P、召回率R、重合度D和检测质量评分S，具体可以根据公式(3)、(4)、(5)来定义易损斑块检测结果的评价指标；其中，
精确度P(Precision rate)定义如下：
其中，P∈[0,1]。
召回率R(Recall rate)定义如下：
其中，R∈[0,1]。
重合度D(Overlap rate)定义如下：
重合度D为大于0.5的DSC的均值，D∈[0,1]。
检测质量评分S(Detection quality score)定义如下：
式中，w1表示精确度和召回率的权重因子，w2表示重合度的权重因子，w1,w2∈[0,1]，w1+w2＝1。其中S∈[0,1]，S越大表明易损斑块检测质量越好。
作为具体实施例，所述对每个网络进行训练生成不同的测试模型，具体可采用现有IVOCT数据分别对每个网络进行训练生成用于检测的模型，而具体的训练方法为本领域技术人员熟知，所以在此不再赘述。之后采用300张IVOCT测试图像(198张正样本，102张负样本)让每个网络进行检测，每个网络都会有各自的输出结果，下面给出了每个网络检测的结果，包括TP、FP、FN和TN，下表1是每个网络检测出的数据指标。
表1数据指标(TP、FP、FN和TN)
从表1中可以看出，Haar-Adaboost网络对负样本的检测很准确，在300个测试图像中，所有的负样本都被正确检测出来，但是误检和漏检的数量很大；YOLO网络存在大量的误检情况，很多负样本未被准确的检测出来；SSD网络漏检数量偏高，很多易损斑块区域未被检测出；Faster R-CNN网络检测到的正确易损斑块区域的数量明显高于其他网络，但还是有大量的负样本被检测成含有易损斑块的图像。通过表1的数据指标对检测结果的评价指标进行计算，详细结果如表2所示。
表2评价指标(精确度、召回率、重合度以及检测质量评分)
在医疗诊断中，漏诊(假阴性FN)和误诊(假阳性FP)造成的后果都是很严重的。如果被诊断者本身患病，而检测的时候将其诊断为无病，属于漏诊，因为不能及时发现疾病并进行治疗，这种情况是最严重的，这样不仅耽误了患者的治疗，而且错过最佳治疗时间是最可怕的。另一种则是被诊断者本身不患病，而检测的时候将其诊断为患病，属于误诊，这种情况对于患者的心理打击也是很大的，而且也会浪费医疗资源，由此无论是哪种情况都会带来很大的伤害。因而，本申请的发明人经过研究分析，在IVOCT图像易损斑块的检测中，为了减少误诊和漏诊，提高检测的精确性，决定集成多个网络的检测结果，这样即使某一个分类器得到的是错误的预测，那么其他的分类器也能通过集成的规则将错误纠正过来。
因此，本申请在最后的集成方法中采用两步集成方法，第一步是根据每个网络检测结果的数据指标和评价指标设计集成策略，利用集成策略对每个网络检测出来的IVOCT检测图像类别标签进行集成，得出该IVOCT检测图像中是否含有易损斑块区域的判断；第二步是根据第一步类别集成的结果，对IVOCT检测图像中含有易损斑块区域的所有区域进行集成合并处理，集成结果作为最终的输出检测结果。
具体在机器学***均值作为最终分类器的输出，求取平均值的方法有算数平均和加权平均。
算数平均法：
加权平均法：
在公式(10)和(11)中，C(x)表示最终的投票的结果输出，ωi表示第i个分类器对应的权值，Ci(x)表示第i个分类器的投票结果。
另一种分类问题，一般采用投票法，将个体学习器给出的判别结果通过投票进行集成，最后将投票的结果作为最终的分类器的输出。投票法有简单投票和加权投票，简单投票是所有分类器的权重都一样，也即为相对多数投票法，少数服从多数，类别得票数超过一半的作为最终输出的结果；加权投票则是每个分类器的权重不一样，加权票数求和，类别值最大的作为最终分类器的输出。
简单投票法采用下式进行计算：
加权投票法采用下式进行计算：
在公式(12)和(13)中，C(x)表示最终的投票的结果输出，sign是符号函数，wi表示第i个分类器对应的权值，Ci(x)表示第i个分类器的投票结果。
作为具体实施例，在一张IVOCT图像中有的含有易损斑块区域，有的不含有易损斑块区域，因而在所述集成方法的第一步类别集成中，首先要对图像的类别进行判断，先确定这张图像是正样本还是负样本。而根据前述个体学习器(即各个检测网络)的检测结果来看，网络YOLO、SSD和Faster R-CNN的检测结果稍好一些，但是网络Haar-Adaboost对于负样本的检测准确性很高，所以在进行类别集成的时候，本申请采用简单投票和加权投票相结合的策略来集成最终的类别输出。
作为具体实施例，本申请设计的集成策略包括有四种集成策略，而根据前述表1和表2的结果，首先只采用YOLO、SSD和Faster R-CNN三个检测网络进行集成，具体地：
第一种集成策略，在诊断过程中，由于漏诊的代价更大，所以在检测中为了防止漏检，在Faster R-CNN、YOLO和SSD三个检测网络中，只要有一个网络检测到易损斑块则将对应的图像判别为正样本，具体类别集成结果参见表3。
第二种集成策略，直接采用简单投票法，按少数服从多数的方法对Faster R-CNN、YOLO和SSD三个检测网络的输出进行集成，具体类别集成结果参见表4。
第三种集成策略，整体按照简单投票法的原则，但是当Faster R-CNN、YOLO和SSD三个检测网络中只要Faster R-CNN或者SSD检测到易损斑块时，则采用加权投票法赋予这两个网络较高的权值，使得最终的判别结果以他们检测的结果为准将对应的图像判别为正样本，具体类别集成结果参见表5。
上述三种集成方法在漏检上得到了一些改正，但是仍然还有许多误检的情况，而且很多是将负样本误检为正样本，为了纠正这种错误，根据表1的结果来看，Haar-Adaboost网络对于判别负样本有一定的帮助，但是对于检测到的易损斑块区域的准确性很低，所以本申请设计只选取Haar-Adaboost网络对类别的判断作为集成学习策略的一部分。因而，第四种集成策略主要通过Haar-Adaboost网络来纠正负样本的判别，具体为当Haar-Adaboost网络判别图像为负样本时，采用加权投票法，并在Faster R-CNN、YOLO、SSD和Haar-Adaboost四个检测网络中，将Haar-Adaboost网络在类别集成中的权值分配为0.4～0.7，其他三个网络的权值都分配为0.1～0.2；而当Haar-Adaboost网络判别图像为正样本时，Haar-Adaboost网络在类别集成中不分配权值，且采用前述第三种集成策略进行类别判断，其具体类别集成结果参见表6。
作为优选实施例，所述第四种集成策略中，当Haar-Adaboost网络判别图像为负样本时，将Haar-Adaboost网络在类别集成中的权值分配为0.4，其他三个网络的权值都分配为0.2，由此可以很好地通过Haar-Adaboost网络来纠正负样本的判别。
图像的类别集成完成以后，就需要对类别输出为正样本的结果进行第二步集成，即对检测到的易损斑块进行集成。由于在类别集成中已经基本减少了负样本的检错情况，因而当判别输出为正样本时，对易损斑块区域集成则尽量包含单网络检测的区域，所以当有多个检测网络(或个体学习器)输出有易损斑块时，需将所有的易损斑块区域进行合并处理，集成结果为所有区域的并集。
下表3～6中给出了单网络检测出的图像类别标签，具体为当网络检测出来的图像含有易损斑块区域表示为正样本，标签记为“1”；当网络检测出来的图像不含有易损斑块区域表示为负样本，标签记为“0”；“-”则表示无论网络检测的图像类别输出为正样本还是负样本。通过第一步类别集成之后输出类别标签，然后在类别输出结果的基础上进行易损斑块区域的集成输出。如果集成类别标签输出为“0”，则区域集成没有输出，如果集成类别标签输出为“1”，则按照区域集成策略输出。其中“F”表示检测区域输出为Faster R-CNN网络的检测结果输出；“S”表示检测区域输出为SSD网络的检测结果输出；“Y”表示检测区域输出为YOLO网络的检测结果输出；“Merge(Y&S)”表示检测到的易损斑块为YOLO和SSD网络检测到的易损斑块区域的并集；同理，“Merge(F&S)”、“Merge(F&Y)”、“Merge(F&Y&S)”分别表示对应网络检测的易损斑块区域的并集。
表3第一种集成策略的输出结果
表4第二种集成策略的输出结果
表5第三种集成策略的输出结果
表6第四种集成策略的输出结果
作为具体实施例，本申请提供的IVOCT图像易损斑块自动检测神经网络集成方法还包括采用前述的评价指标对每种集成策略输出结果进行评价的步骤。具体地，根据前述设计的四种集成策略对各个网络输出结果进行集成，每种集成策略都有对应的结果输出，表7给出了每种集成策略最终输出的结果所对应的TP、FP、FN和TN值。
表7集成输出结果计算指标(TP、FP、FN和TN)
采用前面介绍的数据指标对检测性能进行评价，和表1的结果相比，TP值都提高了，FP和FN值降低了；而且在第四种集成策略中加入Haar-Adaboost网络对图像类别的判断输出，对负样本检测进行了大量的纠正，进而提高了TN值，降低了FP的值。通过表7的数据指标对检测结果的评价指标进行计算，详细结果如表8所示。
表8集成输出结果计算评价指标(精确度、召回率、重合度以及检测质量评分)
和表2单个网络的评价指标相比，前三种集成策略综合了YOLO、SSD、Faster R-CNN三个网络进行集成，精确度、召回率和重合度都有一定的提升，而检测质量评分也都高于任意的单个网络。第四种集成策略中加入了Haar-Adaboost网络对负样本类别进行校正之后，有利于提高易损斑块检测的精确度，精确度和表2相比提高了10个百分点左右，检测质量评分提高了许多，而且都高于任意单个网络的检测结果。并且从四种集成策略的检测质量评分来看，第四种集成策略的检测质量评分最高，所以可优选第四种集成策略进行类别集成。
作为具体实施方式，请参考图4所示，第一行表示心血管专家手工标记的结果，第二行表示第一种集成策略的输出结果，第三行表示第二种集成策略的输出结果，第四行表示第三种集成策略的输出结果，第五行表示第四种集成策略的输出结果，不同的集成策略输出结果可能存在差异。第一列的结果显示，第一种集成策略输出的结果与心血管专家手工标记的结果较吻合，第三种类别集成输出正确，但是区域集成不准确。第二列的结果显示，第二和第四种集成策略的输出结果与心血管专家标记结果一致。第三列结果显示，只有第四种集成策略加入Haar-Adaboost网络对负样本类别输出进行纠正后，才与心血管专家手工标记结果一致。
至此，本发明提供的IVOCT图像易损斑块自动检测神经网络集成方法，通过将神经网络集成应用于易损斑块的检测，与现有技术相比具有以下优点：
1、采用神经网络集成方法对易损斑块进行检测，能提高检测易损斑块区域的准确性，能减少漏检和错检的情况，且能提高检测区域与真实区域之间的重合度，能提升最终检测结果的性能；
2、对实现IVOCT图像易损斑块的自动检测功能有促进作用，在节省人力物力和减少医生的工作量的情况下，使得对易损斑块区域的检测效果更具有客观性；
3、对测试集检测结果表明，精确度、召回率和重合度都有一定的提升，检测质量评分也都高于任意的单个网络，特别是在集成策略中加入了Haar-Adaboost检测网络对负样本类别进行校正之后，明显提高了易损斑块检测的精确度，检测质量评分提高了许多，而且都高于任意单个网络的检测结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述方法包括以下步骤：
集成网络选取，选取不同代表性的网络进行易损斑块检测，选取的网络包括传统的目标检测网络Haar-Adaboost和深度神经网络，所述深度神经网络包括基于回归的目标检测网络YOLO和SSD及基于区域建议的目标检测网络Faster R-CNN；
网络训练检测，根据IVOCT图像的自身特征，设置反映每个网络对于易损斑块检测结果的数据指标和评价指标；对每个网络进行训练生成不同的测试模型，用预定数量的IVOCT测试图像让每个网络进行检测得到各自网络的输出结果即每个网络检测结果的数据指标，通过对数据指标进行计算得到每个网络检测结果的评价指标；
两步集成方法，第一步是根据每个网络检测结果的数据指标和评价指标设计集成策略，利用集成策略对每个网络检测出来的IVOCT检测图像类别标签进行集成，得出该IVOCT检测图像中是否含有易损斑块区域的判断，第二步是根据第一步类别集成的结果，对IVOCT检测图像中含有易损斑块区域的所有区域进行集成合并处理，集成结果作为最终的输出检测结果。
2.根据权利要求1所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述每个网络对于易损斑块检测结果的数据指标包括真阳性TP、假阳性FP、假阴性FN和真阴性TN；其中，
式中，T是阈值，DSC(Ai,Bj)为Dice相似性系数，用来衡量检测出的易损斑块区域和与真实的易损斑块区域的重叠程度，Ai表示真实的易损斑块区域集合A＝{A1,A2,...,An}中的第i个真实的易损斑块区域，Bj表示检测出的易损斑块区域集合B＝{B1,B2,...,Bm}中的第j个检测出的易损斑块区域，i∈[1,n],j∈[1,m]，|·|表示区域的宽；
所述每个网络对于易损斑块检测结果的评价指标包括精确度P、召回率R、重合度D和检测质量评分S；其中，
式中，w1表示精确度和召回率的权重因子，w2表示重合度的权重因子，w1,w2∈[0,1]，w1+w2＝1。
3.根据权利要求2所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述阈值T＝0.5。
4.根据权利要求1所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述集成策略包括有四种集成策略，具体地：
第一种集成策略为在Faster R-CNN、YOLO和SSD三个检测网络中，只要有一个网络检测到易损斑块则将对应的图像判别为正样本；
第二种集成策略为采用简单投票法，按少数服从多数的方法对Faster R-CNN、YOLO和SSD三个检测网络的输出进行集成；
第三种集成策略为整体按照简单投票法，但是当Faster R-CNN、YOLO和SSD三个检测网络中只要Faster R-CNN或者SSD检测到易损斑块时，则采用加权投票法赋予这两个网络较高的权值，使得最终的判别结果以他们检测的结果为准将对应的图像判别为正样本；
第四种集成策略为当Haar-Adaboost网络判别图像为负样本时，采用加权投票法，并在Faster R-CNN、YOLO、SSD和Haar-Adaboost四个检测网络中，将Haar-Adaboost网络在类别集成中的权值分配为0.4～0.7，其他三个网络的权值都分配为0.1～0.2；而当Haar-Adaboost网络判别图像为正样本时，Haar-Adaboost网络在类别集成中不分配权值，且采用前述第三种集成策略进行类别判断。
5.根据权利要求4所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述简单投票法采用下式进行计算：
其中，C(x)表示最终的投票的结果输出，sign是符号函数，Ci(x)表示第i个分类器的投票结果。
6.根据权利要求4所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述加权投票法采用下式进行计算：
其中，C(x)表示最终的投票的结果输出，sign是符号函数，wi表示第i个分类器对应的权值，Ci(x)表示第i个分类器的投票结果。
7.根据权利要求4所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述第四种集成策略中，当Haar-Adaboost网络判别图像为负样本时，将Haar-Adaboost网络在类别集成中的权值分配为0.4，其他三个网络的权值都分配为0.2。
8.根据权利要求1所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述两步集成方法的第二步区域集成中，应尽量包含单网格检测的区域，所以当有多个检测网格输出有易损斑块时，需将所有的易损斑块区域进行合并处理，集成结果为所有区域的并集。
9.根据权利要求1所述的IVOCT图像易损斑块自动检测神经网络集成方法，其特征在于，所述方法还包括采用前述的评价指标对每种集成策略输出结果进行评价的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910402166.9A CN110136115B (zh) | 2019-05-14 | 2019-05-14 | Ivoct图像易损斑块自动检测神经网络集成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910402166.9A CN110136115B (zh) | 2019-05-14 | 2019-05-14 | Ivoct图像易损斑块自动检测神经网络集成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136115A true CN110136115A (zh) | 2019-08-16 |
| CN110136115B CN110136115B (zh) | 2022-11-08 |
Family
ID=67574096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910402166.9A Expired - Fee Related CN110136115B (zh) | 2019-05-14 | 2019-05-14 | Ivoct图像易损斑块自动检测神经网络集成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136115B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366374A (zh) * | 2013-07-12 | 2013-10-23 | 重庆大学 | 基于图像匹配的消防通道障碍物检测方法 |
| CN108416769A (zh) * | 2018-03-02 | 2018-08-17 | 成都斯斐德科技有限公司 | 基于预处理的ivoct图像易损斑块自动检测方法 |
| CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及*** |
| CN108986073A (zh) * | 2018-06-04 | 2018-12-11 | 东南大学 | 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法 |
| CN109598290A (zh) * | 2018-11-22 | 2019-04-09 | 上海交通大学 | 一种基于两级检测相结合的图像小目标检测方法 |
-
2019
- 2019-05-14 CN CN201910402166.9A patent/CN110136115B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366374A (zh) * | 2013-07-12 | 2013-10-23 | 重庆大学 | 基于图像匹配的消防通道障碍物检测方法 |
| CN108416769A (zh) * | 2018-03-02 | 2018-08-17 | 成都斯斐德科技有限公司 | 基于预处理的ivoct图像易损斑块自动检测方法 |
| CN108416394A (zh) * | 2018-03-22 | 2018-08-17 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN108986073A (zh) * | 2018-06-04 | 2018-12-11 | 东南大学 | 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法 |
| CN108961229A (zh) * | 2018-06-27 | 2018-12-07 | 东北大学 | 基于深度学习的心血管oct影像易损失斑块检测方法及*** |
| CN109598290A (zh) * | 2018-11-22 | 2019-04-09 | 上海交通大学 | 一种基于两级检测相结合的图像小目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LINCAN LI .ETC: ""Deep convolutional neural networks for cardiovascular vulnerable plaque detection"", 《2018 INTERNATIONAL JOINT CONFERENCE ON METALLURGICAL AND MATERIALS ENGINEERING (JCMME 2018)》 * |
| ZHONG-QUN WANG .ETC: ""Role of AGEs in the progression and regression of atherosclerotic plaques"", 《GLYCOCONJUGATE JOURNAL》 * |
| 姜远 等: ""神经网络集成在肺癌细胞识别中的应用"", 《南京大学学报（自然科学）》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136115B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113392775B (zh) | 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法 | |
| CN110175993A (zh) | 一种基于FPN的Faster R-CNN肺结核征象检测***及方法 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
| CN109145921A (zh) | 一种基于改进的直觉模糊c均值聚类的图像分割方法 | |
| CN114387201B (zh) | 一种基于深度学习和强化学习细胞病理图像辅助诊断*** | |
| CN109948684A (zh) | 点云数据标注质量的质检方法、装置及其相关设备 | |
| CN108303748A (zh) | 检查设备和检测行李物品中的***的方法 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN108830332A (zh) | 一种视觉车辆检测方法及*** | |
| KR102045223B1 (ko) | 골 연령 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN110503635B (zh) | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 | |
| CN104680542A (zh) | 基于在线学习的遥感影像变化检测方法 | |
| CN106340000A (zh) | 骨龄评估方法 | |
| CN108447055A (zh) | 基于spl和ccn的sar图像变化检测方法 | |
| CN111798976A (zh) | 一种ddh人工智能辅助诊断方法及装置 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN105956620A (zh) | 一种基于稀疏表示的肝脏超声图像识别方法 | |
| CN108122221A (zh) | 弥散加权成像图像中脑缺血区域的分割方法及装置 | |
| CN110264444A (zh) | 基于弱分割的损伤检测方法及装置 | |
| CN107871316A (zh) | 一种基于深度神经网络的x光片手骨兴趣区域自动提取方法 | |
| CN110021022A (zh) | 一种基于深度学习的甲状腺核医学图像诊断方法 | |
| CN104616022B (zh) | 一种近红外光谱的分类方法 | |
| CN111753877B (zh) | 一种基于深度神经网络迁移学习的产品质量检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221108 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |