CN108961229A - 基于深度学习的心血管oct影像易损失斑块检测方法及*** - Google Patents
基于深度学习的心血管oct影像易损失斑块检测方法及*** Download PDFInfo
- Publication number
- CN108961229A CN108961229A CN201810678850.5A CN201810678850A CN108961229A CN 108961229 A CN108961229 A CN 108961229A CN 201810678850 A CN201810678850 A CN 201810678850A CN 108961229 A CN108961229 A CN 108961229A
- Authority
- CN
- China
- Prior art keywords
- network
- region
- oct image
- image
- oct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 230000002526 effect on cardiovascular system Effects 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000013434 data augmentation Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 5
- 230000008602 contraction Effects 0.000 claims description 4
- 210000000352 storage cell Anatomy 0.000 claims description 4
- 241001573881 Corolla Species 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 abstract description 2
- 238000012014 optical coherence tomography Methods 0.000 description 64
- 239000000523 sample Substances 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 2
- 208000007536 Thrombosis Diseases 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 210000004351 coronary vessel Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010020608 Hypercoagulation Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000454 anti-cipatory effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001269 cardiogenic effect Effects 0.000 description 1
- 230000007211 cardiovascular event Effects 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 201000005665 thrombophilia Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于深度学习的心血管OCT影像易损失斑块检测方法及***。所述方法包括如下步骤：首先从OCT影像设备仪获取待检测的心血管OCT影像并建立图像数据集；由专业医师标注OCT影像中的斑块区域；采用图像扭曲的方式对原图像数据集进行数据增广；使用一种全卷积神经网络对原始OCT图像去噪并提取感兴趣区域。采用目标检测领域目前最先进的Faster R‑CNN框架定位并识别OCT影像中的易损失斑块；输出标注出易损失斑块位置的OCT影像并对图像数据进行存储。经实验证明，本发明提出的基于深度学习的OCT影像易损失斑块检测方法及***识别率高，定位精准，性能稳定，检测速度极快，具有较强的鲁棒性和较高的临床应用价值。
Description
技术领域
本发明涉及医疗器械技术领域，涉及一种基于深度学习技术检测心血管OCT影像中的易损失斑块的方法及***。
背景技术
易损斑块(Vulnerable Plaque)是指那些不稳定和有血栓形成倾向的斑块。易损斑块与急性心血管事件的***密切，是造成血栓、引发急性冠脉综合症、冠心病甚至导致猝死的主要原因。世界上每年约有1900万患者因急性冠状动脉综合征(ACS)和心源性猝死而死亡,因为不稳定的冠状动脉粥样硬化斑块破裂进一步形成血栓导致心肌梗死的患者占70％，因此心血管易损失斑块检测在心血管疾病预防方面具有重要意义。
近年来发展起来的光学相干断层成像(OCT)是目前国内外较新的冠状动脉内影像技术,分辨率约为10μm,是IVUS分辨率的10倍。而且OCT具有组织辨别能力,即通过OCT影像可基本了解斑块的主要成分和组织学特征,因此心血管光学相干断层成像(IVOCT)技术成为目前临床上用于检测心血管易损斑块的首选方法。
目前临床检测心血管易损失斑块是通过医师人工读取分析OCT影像，观察其纹理特征和弹性。这样耗时耗力而且易出现误诊的情况。
目前已有的自动检测IVOCT图像中易损失斑块的算法主要是使用SVM分类器、使用浅层CNN神经网络等。
由于OCT图像成像的特性，其图像含有的较多的斑点噪声，对检测结果的干扰较大，因此检测易损失斑块前对图像进行精准的去噪、分割等操作非常必要。目前已有的自动去噪、分割算法主要为基于图像灰度、梯度特征设计的算法。
目前临床采用的医师人工读片的方法需要医师具备丰富的专业经验知识，并且由于OCT影像分辨率高，对一段4cm的支架扫描就会产生200多张图像，使得医师诊断费时费力，还容易出现漏诊、误诊的情况。
现有的自动检测易损失斑块的算法主要基于SVM分类器等传统的算法或是浅层卷积神经网络(CNN)，这样检测的准确度并不理想，检测速度也有待提升。
由于OCT影像的成像特性，其图像含有较多的斑点噪声，对检测病灶产生了干扰。目前的去噪算法主要是基于图像灰度、梯度特征设计的算法，比如基于核函数的去噪算法，但是只能实现去掉部分噪声，仍不能取得令人满意的结果。
发明内容
为了解决现有技术存在的问题，本发明提出一种基于深度学习的OCT影像易损失斑块检测方法及***，实现了快速、准确检测OCT影像中的易损失斑块。
本发明的具体技术方案为：
基于深度学习的心血管OCT影像易损失斑块检测方法，包括步骤如下：
步骤1：从OCT影像设备获取心血管OCT影像，对图像数据集进行数据增广；
步骤1-1，获取一个由m张OCT心血管图像组成的数据集，其中包括含易损失斑块的正样本和不含易损失斑块的负样本，正样本数量大于负样本数量，所有正样本均由专业医师标注出易损失斑块的具***置；
步骤1-2，对m张OCT心血管图像组成的数据集进行数据增广，以获得4m～10m张的样本；所述的数据增广方式包括对原图进行适度的局部膨胀、收缩、扭转、花冠和旗帜形扭曲；
步骤2：用全卷积神经网络对心血管OCT影像进行去噪和提取感兴趣区域；
步骤2-1，将数据集分为训练集、验证集和测试集，训练集和验证集每一张图像对应一张标签图，所述标签图为去掉背景、导管多余部分，只保留感兴趣的区域(RoI)；测试集没有标签图；将训练集、验证集输入所述全卷积网络训练，用测试集测试网络的表现；
步骤2-2，步骤2-1全卷积神经网络在测试集上表现良好以后，将数据集所有图像均使用该全卷积神经网络进行去噪和提取感兴趣区域；
步骤3：用Faster R-CNN目标检测框架定位并识别心血管OCT影像中易损失斑块；Faster R-CNN是目前目标检测领域最先进、最受欢迎的框架。它将目标检测的四个基本步骤(候选区域生成，特征提取，分类，位置精修)统一到一个深度网络框架之内，所有计算没有重复，完全在GPU中完成，大大提高了运行速度。
训练数据集图像均经过步骤2所述全卷积网络处理，每张图对应由专业医师标注的斑块区域坐标位置信息；FasterR-CNN算法由两大模块组成：(1)区域建议网络(RegionProposal Network，RPN)，(2)Fast R-CNN检测网络；
步骤3-1，采用区域建议网络提取检测区域，它能和整个检测网络共享全图的卷积特征，使得区域建议几乎不花时间。区域建议网络首先进行特征提取，然后生成候选区域(anchor)，最后进行窗口分类和位置精修；
步骤3-2，为后续训练区域建议网络，给每个候选区域分配类标签{目标、非目标}；对区域建议网络候选区域的标签设置说明如下：
目标：与任意参考标准(ground truth)包围盒(bounding box)的重合度大于x(IoU>x)的候选区域；
非目标：与所有参考标准包围盒的重合度小于(1-x)的候选区域；
由于特征提取网络提取出数量众多的候选框，各候选框之间有很多重叠区域，采用非极大值抑制法(NMS，non-maximum suppression)实现检测框合并与删除；具体地，将所有候选框的得分排序，选中最高分及其对应的框；将与最高得分候选框的重合度大于x(IoU>x)的候选框全部删除，仅剩下此最高得分候选框；非极大值抑制法后，对候选区域进行排序，取排序后的前N个来检测；
步骤3-3，区域建议网络(RPN)提取得到候选区域后，采用Fast R-CNN模块实现最终的检测和识别，通过训练使区域建议网络和Fast R-CNN共享ResNet101的卷积层；
步骤四：***储存检测数据，输出检测结果；
对OCT影像设备采集的每一张OCT影像，经过步骤2、3深度学习方法处理后即可得到标注出图像上易损失斑块区域及其概率的输出结果。
进一步地，上述步骤2使用的全卷积网络模型架构：该全卷积神经网络由左侧的收缩路径和右侧的扩展路径组成，整体成一个U型。对输入图像进行n次下采样构成左侧收缩路径，对图像进行n次上采样构成右侧扩展路径。其中，收缩路径由两个重复应用的卷积核大小为3*3的卷积层组成，每个卷积层都跟随一个修正线性单元(rectified linear unit，ReLU)，每卷积A次后进行一次下采样(down sampling)，下采样操作由步长为2的2*2的最大池化层(max pooling)完成，每个下采样步骤将特征通道数目加倍；右侧扩展路径重复应用两个卷积核大小为3*3的卷积层，每一个都跟随一个修正线性单元，每卷积A次后进行一次上采样，上采样(up sampling)使特征通道的数量减半；右侧扩展路径最后一层的卷积核大小为1*1，将特征图转化为特定深度的结果，若将一张图像的像素分为B个类别，则特定深度等于B。
进一步地，上述步骤3-1中特征提取采用的是深度学***移缩放的参数。
进一步地，上述步骤3-3，具体的训练流程如下：利用区域建议网络生成的建议框，由Fast R-CNN训练一个单独的检测网络，该检测网络同样是由ResNet101初始化，首先训练区域建议网络，固定共享的卷积层，只微调区域建议网络独有的层，然后保持共享的卷积层固定，微调Fast R-CNN的全连接层；两个网络共享相同的卷积层，构成一个统一的网络。
上述基于深度学习的心血管OCT影像易损失斑块检测***，包括依次连接的OCT影像获取单元、数字信号处理单元、数据存储单元、检测结果显示单元；
OCT影像获取单元：连接OCT影像设备和本***，将图像从OCT影像设备传输到***中；
数字信号处理单元：实施整个检测算法，包括(1)对影像设备拍摄的原始图像去噪提取感兴趣区域和(2)定位、识别OCT影像中的易损失斑块；
数据存储单元：存储对OCT影像检测的结果和影像设备拍摄的原始图像；
检测结果显示单元：输出检测结果，结果图显示OCT影像中易损失斑块的位置以及其概率。
本发明的有益效果为，利用深度学***均一张图片检测仅需200ms。解决了由医师人工诊断OCT影像易损失斑块的耗时和误诊率较高的问题。
附图说明
图1为极坐标系下的原始OCT影像示意图。
图2为基于深度学习的易损失斑块检测方法流程图。
图3为本发明通过图像扭曲变形的方式对原始OCT影像数据集进行数据增广的说明，其中(a)一张原始OCT影像，(b)对原图(a)进行旗帜形扭曲，(c)对原图(a)进行局部膨胀扭曲，(d)对原图(a)进行挤压扭曲。
图4为对步骤2所用全卷积网络的训练集制作的标签图(a)以及原图(b)示例。
图5为本发明检测方法步骤2使用的一种全卷积网络U-net的架构图。
图6为使用训练好的全卷积网络分割后只保留感兴趣区域的OCT影像图。
图7为本发明采用的目标检测框架Faster R-CNN架构图。
图8为由专业医师标注的斑块位置坐标文本示例。
图9为本发明在Faster R-CNN检测框架中使用的loss函数组成图。
图10为本发明所采用的检测框合并与删除方式示意图。
图11为基于深度学习的易损失斑块检测方法及***的检测最终结果图。
图12为基于深度学习的易损失斑块检测***组成图。
图13为基于深度学习的易损失斑块检测方法流程图。
具体实施方式
接下来结合附图详细说明本发明的具体实施例，使本发明的技术路线、特征和优点更加易懂。
步骤1：从OCT影像设备获取心血管OCT影像，对图像数据集进行数据增广。
步骤1-1，从设备获取2000张心血管OCT图像，建立图像数据集，其中1000张为含有易损失斑块的正样本，1000张为不含易损失斑块的负样本。OCT原始影像如图1所示。
步骤1-2，参照图2，对图像数据集进行数据增广，采用图像扭曲的方法对原图进行适度的局部膨胀、收缩、扭转、花冠和旗帜形等扭曲，增加图像数据至4N～10N张。具体地，本发明扩充图像数据量到原来的4倍，获得8000张图像。图2中的(a),(b),(c),(d)分别是：一张原始OCT影像，对原图进行旗帜形扭曲，对原图进行局部膨胀扭曲，对原图进行挤压扭曲。
参照图3，图3给出了步骤2和步骤3深度学习方法的算法流程图，简要地说，步骤2使用一种全卷积神经网络(U-net)对原始的心血管OCT影像去噪和提取感兴趣区域，步骤3用经步骤2处理的OCT影像作为输入，采用Faster R-CNN框架定位并识别OCT影像中的易损失斑块。
步骤2：用一种全卷积神经网络对心血管OCT影像进行去噪和提取感兴趣区域。
步骤2-1，从经过扩充的OCT影像数据集中选取5000张图片作为全卷积网络的训练集，从训练集中选取500张图片作为验证集，从剩余的3000张OCT影像中随机选取500张作为测试集。参照图4(a),为每张训练集中的OCT影像制作一张标签图，仅保留感兴趣区域，去掉无关的导管、背景、边角，图4(b)为与图4(a)对应的原图。
参照图5，图5为本发明使用的一种全卷积网络U-net的构架。该全卷积神经网络由左侧的收缩路径和右侧的扩展路径组成，整体成一个U型。具体地，该网络对输入图像进行4次下采样构成左侧收缩路径，对图像进行4次上采样构成右侧扩展路径。其中，收缩路径由两个重复应用的卷积核大小为3*3的卷积层组成，每个卷积层都跟随一个修正线性单元(rectified linear unit，ReLU)。具体地，本发明取A＝2,每卷积2次后进行一次下采样(down sampling)。下采样操作由步长为2的2*2的最大池化层(max pooling)完成，每个下采样步骤将特征通道数目加倍。右侧扩展路径重复应用两个卷积核大小为3*3的卷积层，每一个都跟随一个修正线性单元，每卷积2次后进行一次上采样，上采样(up sampling)使特征通道的数量减半。右侧扩展路径最后一层的卷积核大小为1*1，将特征图转化为特定深度的结果，具体地，本实施例中需要将原始OCT图像的像素分为2个类别，则特定深度等于B＝2。
特别地，对本发明训练全卷积网络U-net进行说明：设置momentum＝0.90，这样可以较大限度地使用GPU内存，使得大量先前网络训练过的样本来确定当前优化步骤中的更新。最后一层使用交叉熵函数与softmax，为了使某些像素点更加重要，在公式中引入了w(x)。对每一张标注图像预计算了一个权重图，来补偿训练集中每类像素的不同频率，使网络更注重学习感兴趣区域(RoI)的分割边界。
步骤2-2，在步骤2-1训练好全卷积网络U-net后，数据集8000张图像均使用U-net进行图像去噪和提取感兴趣区域，图6给出两张本发明使用训练好的全卷积网络U-net处理原始OCT影像后得到的结果图。
步骤3：用Faster R-CNN目标检测框架定位并识别心血管OCT影像中易损失斑块。
参照图7，图7为本发明采用的目标检测框架Faster R-CNN流程图。FasterR-CNN算法由两大模块组成：(1)区域建议网络(Region Proposal Network，RPN)，(2)Fast R-CNN检测网络。
步骤3-1：先为Faster R-CNN的训练进行数据准备。Faster R-CNN网络的输入图像来自于第二阶段得到的结果图。如图8所示，每一张图对应一个由专业医师标注的斑块区域坐标位置标签。具体地，对标签各个数据具体含义进行说明：第一个数据表示图片名称，第二个数据有两个可选值(0,1),1表示该图属于正样本,含有至少一处斑块区域，0代表该图为负样本，不含斑块区域。从第三个数据对开始为图像中斑块区域的起始和结束的列像素。以0006.png为例，该图像为正样本，含有两处斑块区域，第一个斑块区域起始列像素为1，结束列像素为164；第二个斑块区域起始列像素为688，结束列像素为720。斑块区域列像素坐标作为Faster R-CNN网络检测框的参考标准(ground truth)。
步骤3-2：用区域建议网络提取检测区域，它能和整个检测网络共享全图的卷积特征，使得区域建议几乎不花时间。区域建议网络首先进行特征提取，然后生成候选区域，最后进行窗口分类和位置精修。特征提取使用ImageNet上常见的深度学***移缩放的参数。
特别地，为了训练区域建议网络，需要给每个候选区域分配类标签{目标、非目标}。对于正负标签，目标等于正标签，非目标等于负标签；
本发明给出如下规定：
参照图9，描述Faster R-CNN中的多任务损失。FasterR-CNN中对一个图像的函数定义为：
pi为anchor预测为目标的概率；ground truth标签：
ti＝{tx,ty,tw,th}是一个向量，表示预测的bounding box包围盒的4个参数化坐标；是与positive anchor对应的ground truth包围盒的坐标向量；是两个类别的对数损失： 是回归损失，用来计算，R是smooth L1函数。这一项意味着只有前景才有回归损失，其他情况就没有。cls层和reg层的输出分别由{pi}和{ui}组成，这两项分别由Ncls和Nreg以及一个平衡权重λ归一化。
Faster R-CNN中的bounding box回归：
tx＝(x-xa)/wa,ty＝(y-ya)/ha,
tw＝log(w/wa),th＝log(h/ha),
其中，x,y,w,h为box的中心坐标、宽、高：
参照图10(a)，由于特征提取网络提取出数量众多的候选框，各候选框之间有很多重叠区域，采用非极大值抑制法(NMS，non-maximum suppression)实现检测框合并与删除。具体地，非极大值抑制法操作如下：将所有候选框的得分排序，选中最高分及其对应的框。将与最高得分候选框的重合度大于0.7(IoU>0.7)的候选框全部删除，仅剩下此最高得分候选框，如图10(b)所示。同理，在最终检测端时可设置将重合度大约某阈值x或概率大约某阈值P的预测框采用非极大值抑制法进行合并。非极大值抑制法不会影响最终的检测准确率，但是大幅地减少了建议框的数量。
区域建议网络(RPN)提取得到候选区域后，采用Fast R-CNN模块实现最终的检测和识别，通过训练使区域建议网络和Fast R-CNN共享ResNet101的卷积层。具体的训练流程如下：
利用区域建议网络生成的建议框，由Fast R-CNN训练一个单独的检测网络，该检测网络同样是由ResNet101初始化，首先训练区域建议网络，固定共享的卷积层，只微调区域建议网络独有的层，然后保持共享的卷积层固定，微调Fast R-CNN的全连接层。这样，两个网络共享ResNet101的卷积层，构成一个统一的网络。
参照图11(a)和图11(b)，给出两个本实施例检测结果图，可以看出结果图清晰标注出易损失斑块的位置和概率，检测效果良好。
参照图12，给出基于深度学习的易损失斑块检测装置的构架。该检测装置由OCT影像获取模块、数字信号处理模块、数据存储模块和检测结果显示模块共四个模块组成。
OCT影像获取模块包括三个单元：探测单元、探头接口单元和光信号处理单元，OCT影像获取模块用于获得患者血管内壁的影像。
数字信号处理模块：所述数字信号处理模块用于检测获取的OCT影像中的易损失斑块。通过上述第二阶段和第三阶段的深度学习方法处理待检测的OCT影像，实现对原图去噪、提取感兴趣区域并检测出易损失斑块的位置和概率。
数据存储模块：所述存储模块用于储存OCT影像获取模块获得的OCT影像以及OCT影像的检测结果。
检测结果显示模块：所述检测结果显示模块用于显示患者OCT影像易损失斑块的检测结果。
本实施例对从OCT设备获取的OCT影像进行数据增广，设计了两阶段深度学***均只需200ms，真正实现了实时检测，具有较好的临床应用价值。
Claims (6)
1.基于深度学习的心血管OCT影像易损失斑块检测方法，其特征在于，包括步骤如下：
步骤1：从OCT影像设备获取心血管OCT影像，对图像数据集进行数据增广；
步骤1-1，获取一个由m张OCT心血管图像组成的数据集，其中包括含易损失斑块的正样本和不含易损失斑块的负样本，正样本数量大于负样本数量，所有正样本均由专业医师标注出易损失斑块的具***置；
步骤1-2，对m张OCT心血管图像组成的数据集进行数据增广，以获得4m～10m张的样本；所述的数据增广方式包括对原图进行适度的局部膨胀、收缩、扭转、花冠和旗帜形扭曲；
步骤2：用全卷积神经网络对心血管OCT影像进行去噪和提取感兴趣区域；
步骤2-1，将数据集分为训练集、验证集和测试集，训练集和验证集每一张图像对应一张标签图，所述标签图为去掉背景、导管多余部分，只保留感兴趣的区域(RoI)；测试集没有标签图；将训练集、验证集输入所述全卷积网络训练，用测试集测试网络的表现；
步骤2-2，步骤2-1全卷积神经网络在测试集上表现良好以后，将数据集所有图像均使用该全卷积神经网络进行去噪和提取感兴趣区域；
步骤3：用Faster R-CNN目标检测框架定位并识别心血管OCT影像中易损失斑块；
训练数据集图像均经过步骤2所述全卷积网络处理，每张图对应由专业医师标注的斑块区域坐标位置信息；FasterR-CNN算法由两大模块组成：(1)区域建议网络(RegionProposal Network，RPN)，(2)Fast R-CNN检测网络；
步骤3-1，采用区域建议网络提取检测区域，区域建议网络首先进行特征提取，然后生成候选区域(anchor)，最后进行窗口分类和位置精修；
步骤3-2，为后续训练区域建议网络，给每个候选区域分配类标签{目标、非目标}；对区域建议网络候选区域的标签设置说明如下：目标等于正标签，非目标等于负标签；
正标签：与任意参考标准(ground truth)包围盒(bounding box)的重合度大于x(IoU>x)的候选区域；
负标签：与所有参考标准包围盒的重合度小于(1-x)的候选区域；
采用非极大值抑制法实现检测框合并与删除；具体地，将所有候选框的得分排序，选中最高分及其对应的框；将与最高得分候选框的重合度大于x(IoU>x)的候选框全部删除，仅剩下此最高得分候选框；非极大值抑制法后，对候选区域进行排序，取排序后的前N个来检测；
步骤3-3，区域建议网络(RPN)提取得到候选区域后，采用Fast R-CNN模块实现最终的检测和识别，通过训练使区域建议网络和Fast R-CNN共享ResNet101的卷积层；
步骤四：***储存检测数据，输出检测结果；
对OCT影像设备采集的每一张OCT影像，经过步骤2、3深度学习方法处理后即可得到标注出图像上易损失斑块区域及其概率的输出结果。
2.根据权利要求1所述的基于深度学习的心血管OCT影像易损失斑块检测方法，其特征在于，所述步骤2使用的全卷积网络模型架构：该全卷积神经网络由左侧的收缩路径和右侧的扩展路径组成，整体成一个U型；对输入图像进行n次下采样构成左侧收缩路径，对图像进行n次上采样构成右侧扩展路径；其中，收缩路径由两个重复应用的卷积核大小为3*3的卷积层组成，每个卷积层都跟随一个修正线性单元(rectified linear unit，ReLU)，每卷积A次后进行一次下采样(down sampling)，下采样操作由步长为2的2*2的最大池化层(maxpooling)完成，每个下采样步骤将特征通道数目加倍；右侧扩展路径重复应用两个卷积核大小为3*3的卷积层，每一个都跟随一个修正线性单元，每卷积A次后进行一次上采样，上采样(up sampling)使特征通道的数量减半；右侧扩展路径最后一层的卷积核大小为1*1，将特征图转化为特定深度的结果，若将一张图像的像素分为B个类别，则特定深度等于B。
3.根据权利要求1或2所述的基于深度学***移缩放的参数。
4.根据权利要求1或2所述的基于深度学习的心血管OCT影像易损失斑块检测方法，其特征在于，步骤3-3，具体的训练流程如下：利用区域建议网络生成的建议框，由Fast R-CNN训练一个单独的检测网络，该检测网络同样是由ResNet101初始化，首先训练区域建议网络，固定共享的卷积层，只微调区域建议网络独有的层，然后保持共享的卷积层固定，微调Fast R-CNN的全连接层；两个网络共享相同的卷积层，构成一个统一的网络。
5.根据权利要求3所述的基于深度学习的心血管OCT影像易损失斑块检测方法，其特征在于，步骤3-3，具体的训练流程如下：利用区域建议网络生成的建议框，由Fast R-CNN训练一个单独的检测网络，该检测网络同样是由ResNet101初始化，首先训练区域建议网络，固定共享的卷积层，只微调区域建议网络独有的层，然后保持共享的卷积层固定，微调FastR-CNN的全连接层；两个网络共享相同的卷积层，构成一个统一的网络。
6.采用权利要求1-5任一所述检测方法的检测***，其特征在于，包括依次连接的OCT影像获取单元、数字信号处理单元、数据存储单元、检测结果显示单元；
OCT影像获取单元：连接OCT影像设备和本***，将图像从OCT影像设备传输到***中；
数字信号处理单元：实施整个检测算法，包括(1)对影像设备拍摄的原始图像去噪提取感兴趣区域和(2)定位、识别OCT影像中的易损失斑块；
数据存储单元：存储对OCT影像检测的结果和影像设备拍摄的原始图像；
检测结果显示单元：输出检测结果，结果图显示OCT影像中易损失斑块的位置以及其概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810678850.5A CN108961229A (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的心血管oct影像易损失斑块检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810678850.5A CN108961229A (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的心血管oct影像易损失斑块检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108961229A true CN108961229A (zh) | 2018-12-07 |
Family
ID=64487159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810678850.5A Pending CN108961229A (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的心血管oct影像易损失斑块检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961229A (zh) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685776A (zh) * | 2018-12-12 | 2019-04-26 | 华中科技大学 | 一种基于ct图像的肺结节检测方法及*** |
| CN109712140A (zh) * | 2019-01-02 | 2019-05-03 | 中楹青创科技有限公司 | 训练用于跑冒滴漏检测的全连接分类网络的方法及装置 |
| CN109829892A (zh) * | 2019-01-03 | 2019-05-31 | 众安信息技术服务有限公司 | 一种预测模型的训练方法、使用该模型的预测方法及装置 |
| CN109859201A (zh) * | 2019-02-15 | 2019-06-07 | 数坤（北京）网络科技有限公司 | 一种非钙化斑块检出方法及其设备 |
| CN109886245A (zh) * | 2019-03-02 | 2019-06-14 | 山东大学 | 一种基于深度学习级联神经网络的行人检测识别方法 |
| CN110136107A (zh) * | 2019-05-07 | 2019-08-16 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| CN110136115A (zh) * | 2019-05-14 | 2019-08-16 | 重庆大学 | Ivoct图像易损斑块自动检测神经网络集成方法 |
| CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
| CN110189292A (zh) * | 2019-04-15 | 2019-08-30 | 浙江工业大学 | 一种基于Faster R-CNN和密度估计的癌细胞检测方法 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别*** |
| CN110223781A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种多维度斑块破裂风险预警*** |
| CN110223280A (zh) * | 2019-06-03 | 2019-09-10 | Oppo广东移动通信有限公司 | 静脉血栓检测方法和静脉血栓检测装置 |
| CN110321844A (zh) * | 2019-07-04 | 2019-10-11 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
| CN110706246A (zh) * | 2019-10-15 | 2020-01-17 | 上海微创医疗器械（集团）有限公司 | 一种血管图像分割方法、装置、电子设备和存储介质 |
| CN111160479A (zh) * | 2019-12-31 | 2020-05-15 | 华南理工大学 | 一种焊点识别方法 |
| CN111341420A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学 | 基于全心七维模型的心血管影像识别***及方法 |
| CN111507335A (zh) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | 自动标注利用于深度学习网络的训练图像的方法和装置 |
| WO2020222004A1 (en) | 2019-05-01 | 2020-11-05 | Cambridge Enterprise Limited | Method and apparatus for analysing intracoronary images |
| CN112308822A (zh) * | 2020-10-10 | 2021-02-02 | 杭州电子科技大学 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
| CN112767375A (zh) * | 2021-01-27 | 2021-05-07 | 深圳技术大学 | 基于计算机视觉特征的oct图像分类方法及***、设备 |
| CN112767350A (zh) * | 2021-01-19 | 2021-05-07 | 深圳麦科田生物医疗技术股份有限公司 | 血栓弹力图最大区间预测方法、装置、设备和存储介质 |
| CN112819705A (zh) * | 2021-01-13 | 2021-05-18 | 西安交通大学 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
| CN112861849A (zh) * | 2020-12-29 | 2021-05-28 | 北京航空航天大学 | 一种脊柱畸形矫正手术术中组织识别方法 |
| CN112950546A (zh) * | 2021-02-03 | 2021-06-11 | 中南民族大学 | 一种钡餐造影图像的食道癌检测方法及*** |
| CN113256531A (zh) * | 2021-06-11 | 2021-08-13 | 云南电网有限责任公司电力科学研究院 | 一种用于电力设备高光谱图像的降噪方法 |
| CN114140453A (zh) * | 2021-12-08 | 2022-03-04 | 广州医科大学附属第一医院（广州呼吸中心） | 一种基于神经网络的剪影血管造影术的分割方法 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
| CN114693622A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测*** |
| CN114757847A (zh) * | 2022-04-24 | 2022-07-15 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展U-Net及其在低剂量X射线成像的应用方法 |
| WO2023284055A1 (zh) * | 2021-07-13 | 2023-01-19 | 深圳市中科微光医疗器械技术有限公司 | 一种计算腔内oct图像的ipa的方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507201A (zh) * | 2017-09-22 | 2017-12-22 | 深圳天琴医疗科技有限公司 | 一种医学图像分割方法及装置 |
| CN107993221A (zh) * | 2017-11-16 | 2018-05-04 | 济南大学 | 心血管光学相干断层oct图像易损斑块自动识别方法 |
| US20190325605A1 (en) * | 2016-12-29 | 2019-10-24 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
-
2018
- 2018-06-27 CN CN201810678850.5A patent/CN108961229A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190325605A1 (en) * | 2016-12-29 | 2019-10-24 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for detecting objects in images |
| CN107507201A (zh) * | 2017-09-22 | 2017-12-22 | 深圳天琴医疗科技有限公司 | 一种医学图像分割方法及装置 |
| CN107993221A (zh) * | 2017-11-16 | 2018-05-04 | 济南大学 | 心血管光学相干断层oct图像易损斑块自动识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王黎 等: "基于深度学习的心血管OCT影像易损失斑块检测方法", 《中国计量大学学报》 * |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685776A (zh) * | 2018-12-12 | 2019-04-26 | 华中科技大学 | 一种基于ct图像的肺结节检测方法及*** |
| CN109685776B (zh) * | 2018-12-12 | 2021-01-19 | 华中科技大学 | 一种基于ct图像的肺结节检测方法及*** |
| CN109712140A (zh) * | 2019-01-02 | 2019-05-03 | 中楹青创科技有限公司 | 训练用于跑冒滴漏检测的全连接分类网络的方法及装置 |
| CN109829892A (zh) * | 2019-01-03 | 2019-05-31 | 众安信息技术服务有限公司 | 一种预测模型的训练方法、使用该模型的预测方法及装置 |
| CN111507335A (zh) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | 自动标注利用于深度学习网络的训练图像的方法和装置 |
| CN111507335B (zh) * | 2019-01-31 | 2023-10-13 | 斯特拉德视觉公司 | 自动标注利用于深度学习网络的训练图像的方法和装置 |
| CN109859201A (zh) * | 2019-02-15 | 2019-06-07 | 数坤（北京）网络科技有限公司 | 一种非钙化斑块检出方法及其设备 |
| CN109886245A (zh) * | 2019-03-02 | 2019-06-14 | 山东大学 | 一种基于深度学习级联神经网络的行人检测识别方法 |
| CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
| CN110189292A (zh) * | 2019-04-15 | 2019-08-30 | 浙江工业大学 | 一种基于Faster R-CNN和密度估计的癌细胞检测方法 |
| US11983875B2 (en) | 2019-05-01 | 2024-05-14 | Cambridge Enterprise Limited | Method and apparatus for analysing intracoronary images |
| WO2020222004A1 (en) | 2019-05-01 | 2020-11-05 | Cambridge Enterprise Limited | Method and apparatus for analysing intracoronary images |
| CN110136107A (zh) * | 2019-05-07 | 2019-08-16 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| CN110136107B (zh) * | 2019-05-07 | 2023-09-05 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| CN110136115A (zh) * | 2019-05-14 | 2019-08-16 | 重庆大学 | Ivoct图像易损斑块自动检测神经网络集成方法 |
| CN110222759A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别*** |
| CN110223781A (zh) * | 2019-06-03 | 2019-09-10 | 中国医科大学附属第一医院 | 一种多维度斑块破裂风险预警*** |
| CN110222759B (zh) * | 2019-06-03 | 2021-03-30 | 中国医科大学附属第一医院 | 一种冠状动脉易损斑块自动识别*** |
| CN110223280B (zh) * | 2019-06-03 | 2021-04-13 | Oppo广东移动通信有限公司 | 静脉血栓检测方法和静脉血栓检测装置 |
| CN110223280A (zh) * | 2019-06-03 | 2019-09-10 | Oppo广东移动通信有限公司 | 静脉血栓检测方法和静脉血栓检测装置 |
| CN110321844A (zh) * | 2019-07-04 | 2019-10-11 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
| CN110321844B (zh) * | 2019-07-04 | 2021-09-03 | 北京万里红科技股份有限公司 | 一种基于卷积神经网络的快速虹膜检测方法 |
| CN110706246A (zh) * | 2019-10-15 | 2020-01-17 | 上海微创医疗器械（集团）有限公司 | 一种血管图像分割方法、装置、电子设备和存储介质 |
| CN111160479A (zh) * | 2019-12-31 | 2020-05-15 | 华南理工大学 | 一种焊点识别方法 |
| CN111341420A (zh) * | 2020-02-21 | 2020-06-26 | 四川大学 | 基于全心七维模型的心血管影像识别***及方法 |
| CN111341420B (zh) * | 2020-02-21 | 2022-08-30 | 四川大学 | 基于全心七维模型的心血管影像识别***及方法 |
| CN112308822A (zh) * | 2020-10-10 | 2021-02-02 | 杭州电子科技大学 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
| CN112861849A (zh) * | 2020-12-29 | 2021-05-28 | 北京航空航天大学 | 一种脊柱畸形矫正手术术中组织识别方法 |
| CN112819705A (zh) * | 2021-01-13 | 2021-05-18 | 西安交通大学 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
| CN112819705B (zh) * | 2021-01-13 | 2023-04-18 | 西安交通大学 | 一种基于网状结构与长距离相关性的真实图像去噪方法 |
| CN112767350B (zh) * | 2021-01-19 | 2024-04-26 | 深圳麦科田生物医疗技术股份有限公司 | 血栓弹力图最大区间预测方法、装置、设备和存储介质 |
| CN112767350A (zh) * | 2021-01-19 | 2021-05-07 | 深圳麦科田生物医疗技术股份有限公司 | 血栓弹力图最大区间预测方法、装置、设备和存储介质 |
| CN112767375A (zh) * | 2021-01-27 | 2021-05-07 | 深圳技术大学 | 基于计算机视觉特征的oct图像分类方法及***、设备 |
| CN112767375B (zh) * | 2021-01-27 | 2022-03-08 | 深圳技术大学 | 基于计算机视觉特征的oct图像分类方法及***、设备 |
| CN112950546B (zh) * | 2021-02-03 | 2023-10-31 | 中南民族大学 | 一种钡餐造影图像的食道癌检测方法及*** |
| CN112950546A (zh) * | 2021-02-03 | 2021-06-11 | 中南民族大学 | 一种钡餐造影图像的食道癌检测方法及*** |
| CN113256531A (zh) * | 2021-06-11 | 2021-08-13 | 云南电网有限责任公司电力科学研究院 | 一种用于电力设备高光谱图像的降噪方法 |
| WO2023284055A1 (zh) * | 2021-07-13 | 2023-01-19 | 深圳市中科微光医疗器械技术有限公司 | 一种计算腔内oct图像的ipa的方法和装置 |
| CN114387464A (zh) * | 2021-12-01 | 2022-04-22 | 杭州脉流科技有限公司 | 基于ivus影像的易损斑块识别方法、计算机设备、可读存储介质和程序产品 |
| CN114140453A (zh) * | 2021-12-08 | 2022-03-04 | 广州医科大学附属第一医院（广州呼吸中心） | 一种基于神经网络的剪影血管造影术的分割方法 |
| CN114140453B (zh) * | 2021-12-08 | 2024-04-12 | 广州医科大学附属第一医院（广州呼吸中心） | 一种基于神经网络的剪影血管造影术的分割方法 |
| CN114693622A (zh) * | 2022-03-22 | 2022-07-01 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测*** |
| CN114693622B (zh) * | 2022-03-22 | 2023-04-07 | 电子科技大学 | 一种基于人工智能的斑块侵蚀自动检测*** |
| CN114757847A (zh) * | 2022-04-24 | 2022-07-15 | 汕头市超声仪器研究所股份有限公司 | 多信息提取的扩展U-Net及其在低剂量X射线成像的应用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961229A (zh) | 基于深度学习的心血管oct影像易损失斑块检测方法及*** | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测*** | |
| Amiri et al. | Two-stage ultrasound image segmentation using U-Net and test time augmentation | |
| CN109087327B (zh) | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 | |
| CN108171698B (zh) | 一种自动检测人体心脏冠脉钙化斑块的方法 | |
| CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| CN107492071B (zh) | 医学图像处理方法及设备 | |
| CN112017198B (zh) | 基于自注意力机制多尺度特征的右心室分割方法及装置 | |
| CN107194872B (zh) | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN111539930A (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
| Morris | A pyramid CNN for dense-leaves segmentation | |
| CN111445478A (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测***和检测方法 | |
| CN112132166B (zh) | 一种数字细胞病理图像智能分析方法、***及装置 | |
| CN111784721A (zh) | 基于深度学习的超声内窥图像智能分割与量化方法及*** | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN112270667B (zh) | 一种基于ti-rads的集成深度学习多标签识别方法 | |
| CN114359629A (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
| CN110895815A (zh) | 一种基于深度学习的胸部x线气胸分割方法 | |
| CN112926652A (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| CN103169506A (zh) | 一种自动识别肝癌的超声诊断装置和方法 | |
| Kitrungrotsakul et al. | Interactive deep refinement network for medical image segmentation | |
| CN104732230A (zh) | 一种基于细胞核统计信息的病理图像局部特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |