CN112862808A - 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 - Google Patents
一种基于深度学习的乳腺癌超声图像的可解释性识别方法 Download PDFInfo
- Publication number
- CN112862808A CN112862808A CN202110253620.6A CN202110253620A CN112862808A CN 112862808 A CN112862808 A CN 112862808A CN 202110253620 A CN202110253620 A CN 202110253620A CN 112862808 A CN112862808 A CN 112862808A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- boundary
- cutting
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及乳腺癌识别技术领域,特别涉及一种基于深度学习的乳腺癌超声图像的可解释性识别方法,S1:收集乳腺超声图像作为数据集,一部分标注结节区域,生成掩模图像,作为训练集;S2:将标注好结节的一部分数据集作为训练集训练分割网络;S3:将结节切割为边界和内核两部分,并将边界和内核切割成若干块;S4:将切割得到的数据集的一部分作为训练集训练分类网络;S5:用患者超声图像测试集测试,并得到若干分类结果;S6:采用集成学习方式,得出判别诊断,本发明对乳腺超声图像进行自动分割与切割得到大量具有边界特征和内部回声均匀度特征的图像,通过分类和集成学习算法,训练较少的超声图像就能获得传统方法训练大量超声图像得到了准确率。
Description
技术领域
本发明涉及乳腺癌识别技术领域,特别涉及一种基于深度学习的乳腺癌超声图像的可解释性识别方法。
背景技术
乳腺癌是发生在乳腺上皮组织的恶性肿瘤,已成为威胁妇女健康的主要病因。乳腺癌中99%发生在女性,男性仅占1%。发病机制主要包括遗传因素,基因突变,机体免疫功能下降,神经功能状况等。乳腺癌的早期症状为肿块和局部皮肤改变,随着病情发展,晚期可能表现出局部及全身症状主要表现为***溢液、糜烂或皮肤凹陷等。目前国际、国内的乳癌病理分类,在实际应用中仍未统一,国内多采用的病理分型为非浸润性癌,早期浸润性癌,浸润性癌和其它罕见癌。全球乳腺癌新发病例高达226万例,成为全球第一大癌。我国城市中乳腺癌的死亡率增长了38.91%,乳腺癌发病率位居大城市女性肿瘤的第一位。国外的乳腺癌患者随着年龄增加而增加,一般在65~70岁达到高峰。在我国,乳腺癌发病呈现两个高峰:第一个出现在45-55岁之间,另一个出现在70-74岁之间。从年龄分布上看,乳腺癌发病率从30岁开始逐渐升高,并于55岁年龄组达到高峰,50岁以下的女性患者约占40%。
目前,对乳腺癌病理图像辅助诊断的研究主要有手工提取特征的传统图像处理和基于深度学习的图像处理两种方法。传统图像处理方法需要人工提取图像特征,存在人工提取特征过程复杂度高、测试识别准确度低和泛化能力差等问题。深度学习有着极强的特征自动抽取能力,可以解决传统机器学习对手工提取特性的依赖。而大部分深度学习方法的基本架构都是在端到端的模式下、通过标注大量数据来进行误差后向传播的方式来优化参数,这种学习方法解释性较弱,使得大多依赖大量的工程经验和技巧。可解释性指算法要对特定任务给出清晰概括,并与人类世界中已定义的原则或原理联结。在医疗决策这样的高风险领域,利用深度学习进行重大决策时,往往需要知晓算法所给出结果的依据,如判定结果是基于病人哪些因素的考虑。因此,透明化深度学习的黑盒子,使其具有可解释性,具有重要意义。本文着重研究基于深度学习的乳腺癌超声图像识别,根据可解释分析结果判断结节的良恶性。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于深度学习的乳腺癌超声图像的可解释性识别方法。
为解决上述问题,本发明提供以下技术方案:
一种基于深度学习的乳腺癌超声图像的可解释性识别方法包括有以下步骤:
步骤S1:收集乳腺超声图像作为数据集,一部分标注结节区域,生成掩模图像,作为训练集;
步骤S2:将标注好结节的一部分数据集作为训练集训练分割网络;
步骤S3:将结节切割为边界和内核两部分,并将边界和内核切割成若干块;
步骤S4:将切割得到的数据集的一部分作为训练集训练分类网络;
步骤S5:用患者超声图像测试集测试,通过完成训练的分割网络、图像切割和完成训练的分类网络得到若干分类结果;
步骤S6:采用集成学习方式,综合得出判别诊断,获得具有可解释性的辅助诊断结果。
进一步的,所述步骤S1包括有以下步骤:
步骤S11:收集有结节的乳腺超声图像,以及对应良恶性数据;
步骤S12:数据收集完成后,部分由乳腺科超声医生勾画结节,标注结节位置,生成掩模图像,在此基础上,构建结节分割与分类的数据集作为训练集,其余作为测试集。
进一步的,所述步骤S2包括有以下步骤:
步骤S21:分割网络为预训练Unet网络;
步骤S22:训练集和测试集来训练和验证并获取最终的Unet模型;
步骤S23:将上述最终的Unet模型应用于乳腺超声图像的结节的分割。
进一步的,所述步骤S3采用边缘分割法对图像进行分割,包括有以下步骤:
步骤T31:设A(i,j)为掩模图像中的所有像素点,结节的边缘为连通区域,为整个掩模图像上的连通区域的面积函数为area(A),(X0,Y0)为整个连通区域的中点,其计算公式为:
其中,m和n均为大于1的正整数;
步骤T32:根据步骤T31中的连通区域的中点(X0,Y0),根据边缘检测算子对图像中的边缘点进行提取,边缘点函数为h(X0,Y0),其计算公式为:
步骤T33:将提取的边缘点通过边缘闭合技术闭合,得到结节边缘的分割图。
进一步的,所述步骤S3还包括有以下步骤:
步骤S31:将结节切割为边界和内核两部分图像,并将边界和内核切割成若干块,分别获得带有边界特征和内核特征的数据集;
步骤S32:其中切割边界方法为:从定位掩模图像左上角第一个像素点,开始切割32×32的像素格,定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集;
步骤S33:定位不包含边界的像素格为原始图像内核位置,并移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集。
进一步的,所述掩模图像是由分割图像经过二值化得到,利用OTSU算法假设阈值将图像分成了前景和背景两个部分并找到找到最佳阈值。
进一步的,所述步骤S4包括有以下步骤:
步骤S41:分类网络为预训练CNN网络;
步骤S42:训练集和测试集来训练和验证并获取最终的CNN模型;
步骤S43:将上述最终的CNN模型应用于乳腺超声图像子图像的分类。
进一步的,所述步骤S4还包括有以下步骤:
步骤S44:所述CNN网络的全连接层转换成为卷积层形成FCN网络;
步骤S45:分类网络为预训练FCN网络;
步骤S46:训练集和测试集来训练和验证并获取最终的FCN模型;
步骤S47:将上述最终的FCN模型应用于乳腺超声图像的子图像进行像素分类。
进一步的,所述步骤S5包括有以下步骤:
步骤S51:完成训练的Unet网络对输入的乳腺超声图像进行层层特征映射,经过多层卷积、池化处理后,输出切割过程所需的掩模图像;
步骤S52:完成切割后得到包含边界和内核的图像,其中边界图像包含形态不规则度和清晰度特征,内核图像包含回声均匀度特征;
步骤S53:完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,得到所有部分各自的分类结果;
步骤S54:FCN网络对输入的通过切割得到的图像进行像素级的分类,接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸,对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后得到和原图大小相同的特征图。
进一步的,所述步骤S6采用集成学***均值作为标准,做出综合判别诊断,获得具有可解释性的辅助诊断结果。
本发明的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,具有以下有益效果:
其一:本发明通过对乳腺超声图像进行自动分割与切割得到大量具有边界特征和内部回声均匀度特征的图像,通过分类和集成学习算法,使乳腺超声图像的信息得到最大化利用,训练较少的超声图像就能获得传统方法训练大量超声图像得到了准确率,并且通过切割再训练,大大提高了深度学习的可解释性,为医生的诊断提供了有效的第二意见,提高了医生的工作效率;
其二:本发明基于阈值的分割法分隔图像检测出一份结节的边缘子图像,通过边缘分割法检测出来的一份结节边缘,然后通过边缘分割法得出的结节边缘通过基于阈值的分割法分割成若干个子图像,两个方法得出子图像配合能够提高对通过对乳腺超声图像内的结节的边缘形态不规则度、检测的正确率,避免对灰度差异不明显以及不同目标灰度值有重叠分割不明显的情况;
其三:本发明通过CNN网络和FCN网络配合,对完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,进行上采样的特征图上进行逐像素分类,提高对图像上结节的边缘的清晰度以及检测准确度,大大提高了深度学习的可解释性的专业性,能够切实的提高了医生的工作效率。
附图说明
图1是本发明实施例一基于深度学习的乳腺癌超声图像的可解释性识别方法流程图;
图2是本发明基于深度学习的乳腺癌超声图像的识别******框架图;
图3是本发明含有乳腺结节的普通B超图像;
图4是本发明乳腺图像得到的结节掩模图像;
图5是本发明切割得到的子图像(a)为边界图像,(b)为内核图像;
图6是本发明实施例二基于深度学习的乳腺癌超声图像的可解释性识别方法流程图;
图7是本发明实施例二掩模图像采用边缘分割法后的实例分割图。
具体实施方式
下面结合说明书附图和实施例,对本发明的具体实施例做进一步详细描述:
实施例一:
参照图1至图7所示的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,包括有以下步骤:
步骤S1:收集乳腺超声图像作为数据集,一部分标注结节区域,生成掩模图像,作为训练集;
从B超室获取乳腺超声图像数据和良恶性数据,由专业乳腺超声科医生勾画好结节,标注结节位置,对图像进行二值化处理,得到掩模图像。
步骤S2:将标注好结节的一部分数据集作为训练集训练分割网络;
步骤S3:将结节切割为边界和内核两部分,并将边界和内核切割成若干块;
阈值分割法的原理:用一个或几个阈值将图像的灰度直方图分成几个类,认为图像中灰度值在同一类中的像素属于同一物体。(常用的二值分割)
优点:直接利用图像的灰度特性,所以计算简单、运算效率较高、速度快。
适用范围:相差很大的不同目标和背景能进行有效的分割。
此时,采用边缘分割法进行确定,原理通常不同的区域之间的边缘上像素灰度值的变化往往比较剧烈,这是边缘检测方法得以实现的主要假设之一。常用灰度的一阶或二阶微分算子进行边缘检测。
优点:搜索检测的速度快,对边缘检测好。
步骤S4:将切割得到的数据集的一部分作为训练集训练分类网络;
步骤S5:用患者超声图像测试集测试,通过完成训练的分割网络、图像切割和完成训练的分类网络得到若干分类结果;
步骤S6:采用集成学习方式,综合得出判别诊断,获得具有可解释性的辅助诊断结果。
对乳腺超声图像标签标注轮廓,轮廓内为乳腺结节病灶。
所述步骤S1包括有以下步骤:
步骤S11:收集有结节的乳腺超声图像,以及对应良恶性数据;
从B超室获取乳腺超声图像数据和良恶性数据,由专业乳腺超声科医生勾画好结节,标注结节位置,对图像进行二值化处理,得到掩模图像如图4所示。
步骤S12:数据收集完成后,部分由乳腺科超声医生勾画结节,标注结节位置,生成掩模图像,在此基础上,构建结节分割与分类的数据集作为训练集,其余作为测试集。
其中80%的超声图像得到的掩模图像作为训练集,20%的原始图像作为测试集。
所述步骤S2包括有以下步骤:
步骤S21:分割网络为预训练Unet网络;
步骤S22:训练集和测试集来训练和验证并获取最终的Unet模型;
步骤S23:将上述最终的Unet模型应用于乳腺超声图像的结节的分割。
(1)所述卷积神经网络Unet模型由卷积块,反卷积块,池化层和输出层组成。卷积块共有5组,每组卷积块均有2层卷积层,每层卷积层之后都跟有一层批归一化层、一层ReLU激活层,除第一组卷积块外,其他卷积块都有一层池化层在其头部;所述反卷积块共有4组,每一组反卷积块均有一层反卷积层和2层卷积层,并且每层卷积层之后都跟有一层批归一化层、一层ReLU激活层;所述输出层仅包含一层卷积层。
(2)所述卷积块及反卷积块中的卷积层的卷积核大小为3,步长为1,填充为1;所述卷积块中池化层的卷积核大小为2,步长为2,填充为0;所述反卷积块中的反卷积层的卷积核大小为2,步长为2,填充为0;所述输出层的卷积层的卷积核大小为1,步长为1,填充为0。
(3)所述卷积神经网络Unet模型的输出布置了一个通道,该通道的输出将输入进Loss损失函数,得到乳腺结节概率图,该概率图以0.5为分界转化为二值图,用于与专家标记进行比较。
(4)Loss损失函数先将网络的输出传入Sigmoid函数获得归一化的概率图,即Sigmoid函数会将网络的输出约束在0到1的范围内以表示概率,再通过交叉熵函数与专家标记的二值图进行对比。Unet训练使用了0.01学习率和e-8的权重衰减的RMSprop优化算法。
(5)在训练期间,将乳腺超声图像和其二值标签图对应采样和训练。就该实施例而言,由于我们试图比较具有不同放大倍率(即5倍,10倍和20倍)训练集的模型的性能,因此将乳腺超声图像和其二值标签图对应地下采样和训练。将乳腺超声图像和相关的标注裁剪为不重叠的256×256像素块。就该实施例而言,裁剪乳腺超声图像,然后将其拆分为256×256像素的非重叠图像像素块,产生训练像素块和验证像素块。
所述步骤S3还包括有以下步骤:
步骤S31:将结节切割为边界和内核两部分图像,并将边界和内核切割成若干块,分别获得带有边界特征和内核特征的数据集;
步骤S32:其中切割边界方法为:从定位掩模图像左上角第一个像素点,开始切割32×32的像素格,定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集;
步骤S33:定位不包含边界的像素格为原始图像内核位置,并移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集。
所述掩模图像是由分割图像经过二值化得到,利用OTSU算法假设阈值将图像分成了前景和背景两个部分并找到找到最佳阈值。
找到边界是利用opencv自带的findContours函数。
发明基于阈值的分割法分隔图像检测出结节的边缘,然后通过边缘分割法对检测出来的边缘再次检测,能够提高对通过对乳腺超声图像内的结节的边缘检测的正确率,避免对灰度差异不明显以及不同目标灰度值有重叠分割不明显的情况;
所述步骤S4包括有以下步骤:
步骤S41:分类网络为预训练CNN网络;
步骤S42:训练集和测试集来训练和验证并获取最终的CNN模型;
步骤S43:将上述最终的CNN模型应用于乳腺超声图像子图像的分类。
(1)结节分为内核和边界两部分,找到掩模图像所有坐标,定位左上角第一个坐标,开始分割为32×32的像素格。
(2)遍历图像像素,统计每个像素值出现的次数,即255个bin,统计每个bin像素值的个数;遍历0到255每个像素,以i像素值为当前分类的阈值,在(0~i)范围内计算前景像素平均灰度u0,前景部分像素点数所占比例w0;在(i~155)计算背景像素平均灰度u1,背景部分像素点数所占比例w1;计算当前类间方差varValueI=w0*w1*(u1-u0)*(u1-u0);选择最大类间方差varValueI时的i像素阈值作为区分前景与背景的最佳阈值。利用最佳阈值将图像分成了前景和背景两个部分,进而利用opencv函数findContours找到边界坐标。
(3)定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集,如图5(a)所示;定位不包含边界的像素格为原始图像内核位置,并将其移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集,如图5(b)所示。
构建图像分类网络,在切割得到的子图像上训练结节分类模型。
(1)上述子图像为切割得到的结节边界和内核的剪切图,包含边界清晰度,边界规则度以及内核回声均匀度特征。
(2)将采集到的子图像分类建立数据集,并划分训练样本与测试样本,具体80%训练集,20%测试集;构建CNN网络,输入层结构为512*512*3,两层卷积层的结构为512*512*24和512*512*128,池化层选择最大池化方式,两层全连接层为1*1*128到240和240到20;训练CNN模型,输入训练样本图像及图像类别到CNN模型中,来使得softmax层来计算损失误差。
(4)修改不同学习率以及学习率衰减策略,重复交叉实验,在测试集上预测并做出ROC曲线,选取AUC值最高的一次参数和模型,作为良恶性识别模型;
所述步骤S5包括有以下步骤:
步骤S51:完成训练的Unet网络对输入的乳腺超声图像进行层层特征映射,经过多层卷积、池化处理后,输出切割过程所需的掩模图像;
步骤S52:完成切割后得到包含边界和内核的图像,其中边界图像包含形态不规则度和清晰度特征,内核图像包含回声均匀度特征;
步骤S53:完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,得到所有部分各自的分类结果;
(1)分割网络训练完成后,在原始图像上使用分割模型预测结节位置,输出结节掩模图像。
(2)掩模图像通过过程三切割算法得到具有包含边界形态不规则度和清晰度特征以及内核图像回声均匀度特征的大量子图像。
(3)分类网络训练完成后,输入分割得到的子图像,对各个子图像包块内部回声均匀度辨别,轮廓形态规则度辨别,边界清晰度辨别,得出对应的良恶性概率。
所述步骤S6采用集成学***均值作为标准,做出综合判别诊断,获得具有可解释性的辅助诊断结果。
(1)集中学***均值作为标准,概率最高的对应的类型为最终的预测结果。
(2)各个子图像经分类网络完成分类,得出各自良恶性概率,采用SoftVoting算法,得出具有可解释性的综合良恶性概率结果。
实施例二:
参照图1至图7所示的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,包括有以下步骤:
步骤S1:收集乳腺超声图像作为数据集,一部分标注结节区域,生成掩模图像,作为训练集;
从B超室获取乳腺超声图像数据和良恶性数据,由专业乳腺超声科医生勾画好结节,标注结节位置,对图像进行二值化处理,得到掩模图像。
步骤S2:将标注好结节的一部分数据集作为训练集训练分割网络;
步骤S3:将结节切割为边界和内核两部分,并将边界和内核切割成若干块;
阈值分割法的原理:用一个或几个阈值将图像的灰度直方图分成几个类,认为图像中灰度值在同一类中的像素属于同一物体。(常用的二值分割)
优点:直接利用图像的灰度特性,所以计算简单、运算效率较高、速度快。
适用范围:相差很大的不同目标和背景能进行有效的分割。
缺点:对噪声敏感,对灰度差异不明显以及不同目标灰度值有重叠分割不明显,所以需要与其他方法进行结合,合适的阈值查找。
此时,采用边缘分割法进行确定,原理通常不同的区域之间的边缘上像素灰度值的变化往往比较剧烈,这是边缘检测方法得以实现的主要假设之一。常用灰度的一阶或二阶微分算子进行边缘检测。
优点:搜索检测的速度快,对边缘检测好。
步骤S4:将切割得到的数据集的一部分作为训练集训练分类网络;
步骤S5:用患者超声图像测试集测试,通过完成训练的分割网络、图像切割和完成训练的分类网络得到若干分类结果;
步骤S6:采用集成学习方式,综合得出判别诊断,获得具有可解释性的辅助诊断结果。
对乳腺超声图像标签标注轮廓,轮廓内为乳腺结节病灶。
所述步骤S1包括有以下步骤:
步骤S11:收集有结节的乳腺超声图像,以及对应良恶性数据;
从B超室获取乳腺超声图像数据和良恶性数据,由专业乳腺超声科医生勾画好结节,标注结节位置,对图像进行二值化处理,得到掩模图像如图4所示。
步骤S12:数据收集完成后,部分由乳腺科超声医生勾画结节,标注结节位置,生成掩模图像,在此基础上,构建结节分割与分类的数据集作为训练集,其余作为测试集。
其中80%的超声图像得到的掩模图像作为训练集,20%的原始图像作为测试集。
所述步骤S2包括有以下步骤:
步骤S21:分割网络为预训练Unet网络;
步骤S22:训练集和测试集来训练和验证并获取最终的Unet模型;
步骤S23:将上述最终的Unet模型应用于乳腺超声图像的结节的分割。
(1)所述卷积神经网络Unet模型由卷积块,反卷积块,池化层和输出层组成。卷积块共有5组,每组卷积块均有2层卷积层,每层卷积层之后都跟有一层批归一化层、一层ReLU激活层,除第一组卷积块外,其他卷积块都有一层池化层在其头部;所述反卷积块共有4组,每一组反卷积块均有一层反卷积层和2层卷积层,并且每层卷积层之后都跟有一层批归一化层、一层ReLU激活层;所述输出层仅包含一层卷积层。
(2)所述卷积块及反卷积块中的卷积层的卷积核大小为3,步长为1,填充为1;所述卷积块中池化层的卷积核大小为2,步长为2,填充为0;所述反卷积块中的反卷积层的卷积核大小为2,步长为2,填充为0;所述输出层的卷积层的卷积核大小为1,步长为1,填充为0。
(3)所述卷积神经网络Unet模型的输出布置了一个通道,该通道的输出将输入进Loss损失函数,得到乳腺结节概率图,该概率图以0.5为分界转化为二值图,用于与专家标记进行比较。
(4)Loss损失函数先将网络的输出传入Sigmoid函数获得归一化的概率图,即Sigmoid函数会将网络的输出约束在0到1的范围内以表示概率,再通过交叉熵函数与专家标记的二值图进行对比。Unet训练使用了0.01学习率和e-8的权重衰减的RMSprop优化算法。
(5)在训练期间,将乳腺超声图像和其二值标签图对应采样和训练。就该实施例而言,由于我们试图比较具有不同放大倍率(即5倍,10倍和20倍)训练集的模型的性能,因此将乳腺超声图像和其二值标签图对应地下采样和训练。将乳腺超声图像和相关的标注裁剪为不重叠的256×256像素块。就该实施例而言,裁剪乳腺超声图像,然后将其拆分为256×256像素的非重叠图像像素块,产生训练像素块和验证像素块。
所述步骤S3采用边缘分割法对图像进行分割,包括有以下步骤:
步骤T31:设A(i,j)为掩模图像中的所有像素点,结节的边缘为连通区域,为整个掩模图像上的连通区域的面积函数为area(A),(X0,Y0)为整个连通区域的中点,其计算公式为:
其中,m和n均为大于1的正整数;
步骤T32:根据步骤T31中的连通区域的中点(X0,Y0),根据边缘检测算子对图像中的边缘点进行提取,边缘点函数为h(X0,Y0),其计算公式为:
步骤T33:将提取的边缘点通过边缘闭合技术闭合,得到结节边缘的分割图。
所述边缘检测算子的计算公式为:
其中,Ckd为正比例系数,K和d均为大于1的正整数;
所述步骤S3还包括有以下步骤:
步骤S31:将结节切割为边界和内核两部分图像,并将边界和内核切割成若干块,分别获得带有边界特征和内核特征的数据集;
步骤S32:其中切割边界方法为:从定位掩模图像左上角第一个像素点,开始切割32×32的像素格,定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集;
步骤S33:定位不包含边界的像素格为原始图像内核位置,并移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集。
本发明基于阈值的分割法分隔图像检测出一份结节的边缘子图像,通过边缘分割法检测出来的一份结节边缘,然后通过边缘分割法得出的结节边缘通过基于阈值的分割法分割成若干个子图像,两个方法得出子图像配合能够提高对通过对乳腺超声图像内的结节的边缘形态不规则度、检测的正确率,避免对灰度差异不明显以及不同目标灰度值有重叠分割不明显的情况;
所述掩模图像是由分割图像经过二值化得到,利用OTSU算法假设阈值将图像分成了前景和背景两个部分并找到找到最佳阈值。
所述步骤S4包括有以下步骤:
步骤S41:分类网络为预训练CNN网络;
步骤S42:训练集和测试集来训练和验证并获取最终的CNN模型;
步骤S43:将上述最终的CNN模型应用于乳腺超声图像子图像的分类。
(1)结节分为内核和边界两部分,找到掩模图像所有坐标,定位左上角第一个坐标,开始分割为32×32的像素格。
(2)遍历图像像素,统计每个像素值出现的次数,即255个bin,统计每个bin像素值的个数;遍历0到255每个像素,以i像素值为当前分类的阈值,在(0~i)范围内计算前景像素平均灰度u0,前景部分像素点数所占比例w0;在(i~155)计算背景像素平均灰度u1,背景部分像素点数所占比例w1;计算当前类间方差varValueI=w0*w1*(u1-u0)*(u1-u0);选择最大类间方差varValueI时的i像素阈值作为区分前景与背景的最佳阈值。利用最佳阈值将图像分成了前景和背景两个部分,进而利用opencv函数findContours找到边界坐标。
(3)定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集,如图5(a)所示;定位不包含边界的像素格为原始图像内核位置,并将其移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集,如图5(b)所示。
构建图像分类网络,在切割得到的子图像上训练结节分类模型。
(1)上述子图像为切割得到的结节边界和内核的剪切图,包含边界清晰度,边界规则度以及内核回声均匀度特征。
(2)将采集到的子图像分类建立数据集,并划分训练样本与测试样本,具体80%训练集,20%测试集;构建CNN网络,输入层结构为512*512*3,两层卷积层的结构为512*512*24和512*512*128,池化层选择最大池化方式,两层全连接层为1*1*128到240和240到20;训练CNN模型,输入训练样本图像及图像类别到CNN模型中,来使得softmax层来计算损失误差。
(4)修改不同学习率以及学习率衰减策略,重复交叉实验,在测试集上预测并做出ROC曲线,选取AUC值最高的一次参数和模型,作为良恶性识别模型;
所述步骤S4还包括有以下步骤:
步骤S44:所述CNN网络的全连接层转换成为卷积层形成FCN网络;
步骤S45:分类网络为预训练FCN网络;
步骤S46:训练集和测试集来训练和验证并获取最终的FCN模型;
步骤S47:将上述最终的FCN模型应用于乳腺超声图像的子图像进行像素分类。
本发明通过CNN网络和FCN网络配合,对完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,FCN网络进行上采样的特征图上进行逐像素分类,提高对图像上结节的边缘的清晰度以及检测准确度,大大提高了深度学习的可解释性的专业性,能够切实的提高了医生的工作效率。
本发明通过CNN网络和FCN网络配合,对完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,以及在上采样的特征图上进行逐像素分类,最后得到所有部分各自的分类结果,提高对图像上结节的特征检测准确度,大大提高了深度学习的可解释性的专业性,能够切实的提高了医生的工作效率。
所述步骤S5包括有以下步骤:
步骤S51:完成训练的Unet网络对输入的乳腺超声图像进行层层特征映射,经过多层卷积、池化处理后,输出切割过程所需的掩模图像。
步骤S52:完成切割后得到包含边界和内核的图像,其中边界图像包含形态不规则度和清晰度特征,内核图像包含回声均匀度特征。
步骤S53:完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,得到所有部分各自的分类结果。
(1)分割网络训练完成后,在原始图像上使用分割模型预测结节位置,输出结节掩模图像。
(2)掩模图像通过过程三切割算法得到具有包含边界形态不规则度和清晰度特征以及内核图像回声均匀度特征的大量子图像。
(3)分类网络训练完成后,输入分割得到的子图像,对各个子图像包块内部回声均匀度辨别,轮廓形态规则度辨别,边界清晰度辨别,得出对应的良恶性概率。
步骤S54:FCN网络对输入的通过切割得到的图像进行像素级的分类,接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸,对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后得到和原图大小相同的特征图。
所述FCN模型的得出特征图的步骤如下:
使用VGG对图像特征进行提取,移除最后的全连接层,使用上采样的转置卷积层将多次下采样的特征图恢复到和原图一样的大小,然后对每个像素生成一个分类的标签。
使用Pytorch实现FCN32s,32s表示转置卷积层前的特征提取网络的整体步长为32,即使用stride=2的下采样5次:
FCN16s将pool5层输出(此时整体步长为32)的特征图2倍上采样一次后,将其与pool4层的输出相加,后进行4次上采样得到原图大小的特征图;FCN16s将pool5层输出(此时整体步长为32)的特征图上采样一次后,将其与pool4层的输出相加,相加后的结果再2倍上采样一次后与pool3的输出结果相加,接着进行3次上采样得到原图大小的特征图。
所述步骤S6采用集成学***均值作为标准,做出综合判别诊断,获得具有可解释性的辅助诊断结果。
(1)集中学***均值作为标准,概率最高的对应的类型为最终的预测结果。
(2)各个子图像经分类网络完成分类,得出各自良恶性概率,采用SoftVoting算法,得出具有可解释性的综合良恶性概率结果。
以上所述,仅是本发明的较佳实施例而已,并非对本发明的技术范围作出任何限制,故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属于本发明的技术方案的范围内。
Claims (10)
1.一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:包括有以下步骤:
步骤S1:收集乳腺超声图像作为数据集,一部分标注结节区域,生成掩模图像,作为训练集;
步骤S2:将标注好结节的一部分数据集作为训练集训练分割网络;
步骤S3:将结节切割为边界和内核两部分,并将边界和内核切割成若干块;
步骤S4:将切割得到的数据集的一部分作为训练集训练分类网络;
步骤S5:用患者超声图像测试集测试,通过完成训练的分割网络、图像切割和完成训练的分类网络得到若干分类结果;
步骤S6:采用集成学习方式,综合得出判别诊断,获得具有可解释性的辅助诊断结果。
2.根据权利要求1所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S1包括有以下步骤:
步骤S11:收集有结节的乳腺超声图像,以及对应良恶性数据;
步骤S12:数据收集完成后,部分由乳腺科超声医生勾画结节,标注结节位置,生成掩模图像,在此基础上,构建结节分割与分类的数据集作为训练集,其余作为测试集。
3.根据权利要求2所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S2包括有以下步骤:
步骤S21:分割网络为预训练Unet网络;
步骤S22:训练集和测试集来训练和验证并获取最终的Unet模型;
步骤S23:将上述最终的Unet模型应用于乳腺超声图像的结节的分割。
5.根据权利要求3或4所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S3还包括有以下步骤:
步骤S31:将结节切割为边界和内核两部分图像,并将边界和内核切割成若干块,分别获得带有边界特征和内核特征的数据集;
步骤S32:其中切割边界方法为:从定位掩模图像左上角第一个像素点,开始切割32×32的像素格,定位包含边界的像素格为原图像边界位置,切割原始图像得到包含边界图像的数据集;
步骤S33:定位不包含边界的像素格为原始图像内核位置,并移动若干像素得到若干内核位置,切割原始图像得到包含内核图像的数据集。
6.根据权利要求4所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述掩模图像是由分割图像经过二值化得到,利用OTSU算法假设阈值将图像分成了前景和背景两个部分并找到找到最佳阈值。
7.根据权利要求1所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S4包括有以下步骤:
步骤S41:分类网络为预训练CNN网络;
步骤S42:训练集和测试集来训练和验证并获取最终的CNN模型;
步骤S43:将上述最终的CNN模型应用于乳腺超声图像子图像的分类。
8.根据权利要求7所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S4还包括有以下步骤:
步骤S44:所述CNN网络的全连接层转换成为卷积层形成FCN网络;
步骤S45:分类网络为预训练FCN网络;
步骤S46:训练集和测试集来训练和验证并获取最终的FCN模型;
步骤S47:将上述最终的FCN模型应用于乳腺超声图像的子图像进行像素分类。
9.根据权利要求7所述的一种基于深度学习的乳腺癌超声图像的可解释性识别方法,其特征在于:所述步骤S5包括有以下步骤:
步骤S51:完成训练的Unet网络对输入的乳腺超声图像进行层层特征映射,经过多层卷积、池化处理后,输出切割过程所需的掩模图像;
步骤S52:完成切割后得到包含边界和内核的图像,其中边界图像包含形态不规则度和清晰度特征,内核图像包含回声均匀度特征;
步骤S53:完成训练的CNN网络对输入的通过切割得到的包含形态不规则度、清晰度以及内部回声均匀度的图像进行分类,得到所有部分各自的分类结果;
步骤S54:FCN网络对输入的通过切割得到的图像进行像素级的分类,接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸,对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后得到和原图大小相同的特征图。
10.根据权利要求1所述的一种基于深度学***均值作为标准,做出综合判别诊断,获得具有可解释性的辅助诊断结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110253620.6A CN112862808A (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110253620.6A CN112862808A (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112862808A true CN112862808A (zh) | 2021-05-28 |
Family
ID=75994815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110253620.6A Withdrawn CN112862808A (zh) | 2021-03-02 | 2021-03-02 | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862808A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408596A (zh) * | 2021-06-09 | 2021-09-17 | 北京小白世纪网络科技有限公司 | 病理图像的处理方法、装置、电子设备及可读存储介质 |
CN113724827A (zh) * | 2021-09-03 | 2021-11-30 | 上海深至信息科技有限公司 | 一种超声报告中病灶区域自动标注的方法和*** |
CN114283136A (zh) * | 2021-12-23 | 2022-04-05 | 西安交通大学 | 基于级联网络的癌症浸润检测方法 |
CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN114973244A (zh) * | 2022-06-12 | 2022-08-30 | 桂林电子科技大学 | 一种乳腺癌h&e染色病理图像有丝***自动识别***和方法 |
CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和*** |
CN116309585A (zh) * | 2023-05-22 | 2023-06-23 | 山东大学 | 基于多任务学习的乳腺超声图像目标区域识别方法及*** |
CN117422927A (zh) * | 2023-11-09 | 2024-01-19 | 什维新智医疗科技(上海)有限公司 | 一种乳腺超声图像分类方法、***、电子设备及介质 |
WO2024114507A1 (zh) * | 2022-11-28 | 2024-06-06 | 中国科学院深圳先进技术研究院 | 基于强化学习的机器人乳腺超声探头的自动调整方法及其*** |
-
2021
- 2021-03-02 CN CN202110253620.6A patent/CN112862808A/zh not_active Withdrawn
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408596A (zh) * | 2021-06-09 | 2021-09-17 | 北京小白世纪网络科技有限公司 | 病理图像的处理方法、装置、电子设备及可读存储介质 |
CN113724827A (zh) * | 2021-09-03 | 2021-11-30 | 上海深至信息科技有限公司 | 一种超声报告中病灶区域自动标注的方法和*** |
CN114283136B (zh) * | 2021-12-23 | 2023-10-27 | 西安交通大学 | 基于级联网络的癌症浸润检测方法 |
CN114283136A (zh) * | 2021-12-23 | 2022-04-05 | 西安交通大学 | 基于级联网络的癌症浸润检测方法 |
CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN114926486B (zh) * | 2022-05-12 | 2023-02-07 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN114973244A (zh) * | 2022-06-12 | 2022-08-30 | 桂林电子科技大学 | 一种乳腺癌h&e染色病理图像有丝***自动识别***和方法 |
US20230401707A1 (en) * | 2022-06-12 | 2023-12-14 | Guilin University Of Electronic Technology | System and method for automatically identifying mitosis in h&e stained breast cancer pathological images |
US12002206B2 (en) * | 2022-06-12 | 2024-06-04 | Guilin University Of Electronic Technology | System and method for automatically identifying mitosis in H and E stained breast cancer pathological images |
CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和*** |
WO2024114507A1 (zh) * | 2022-11-28 | 2024-06-06 | 中国科学院深圳先进技术研究院 | 基于强化学习的机器人乳腺超声探头的自动调整方法及其*** |
CN116309585A (zh) * | 2023-05-22 | 2023-06-23 | 山东大学 | 基于多任务学习的乳腺超声图像目标区域识别方法及*** |
CN116309585B (zh) * | 2023-05-22 | 2023-08-22 | 山东大学 | 基于多任务学习的乳腺超声图像目标区域识别方法及*** |
CN117422927A (zh) * | 2023-11-09 | 2024-01-19 | 什维新智医疗科技(上海)有限公司 | 一种乳腺超声图像分类方法、***、电子设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
US10192099B2 (en) | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images | |
CN108416360B (zh) | 基于乳腺钼靶钙化特征的癌症诊断***及方法 | |
Biswas et al. | Mammogram classification using gray-level co-occurrence matrix for diagnosis of breast cancer | |
CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断*** | |
CN111415352B (zh) | 一种基于深度级联网络的癌转移全景病理切片分析方法 | |
Hamad et al. | Breast cancer detection and classification using artificial neural networks | |
Dhaware et al. | Lung cancer detection using bayasein classifier and FCM segmentation | |
CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能*** | |
Ghongade et al. | Detection and classification of breast cancer from digital mammograms using RF and RF-ELM algorithm | |
WO2021183765A1 (en) | Automated detection of tumors based on image processing | |
Ghongade et al. | Computer-aided diagnosis system for breast cancer using RF classifier | |
CN116758336A (zh) | 一种基于人工智能的医学图像智能分析*** | |
CN114782948A (zh) | 一种对宫颈液基细胞学涂片的全局判读方法及*** | |
CN114565786A (zh) | 基于通道注意力机制的断层扫描图像分类装置和方法 | |
Malik et al. | Lung cancer detection at initial stage by using image processing and classification techniques | |
Mastouri et al. | A morphological operation-based approach for Sub-pleural lung nodule detection from CT images | |
CN115423806B (zh) | 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 | |
Wei et al. | Multi-feature fusion for ultrasound breast image classification of benign and malignant | |
Torrent et al. | A supervised micro-calcification detection approach in digitised mammograms | |
CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
CN109978846B (zh) | 一种基于体局部方向三值模式的肺结节纹理特征提取***及方法 | |
Kalsoom et al. | An efficient liver tumor detection using machine learning | |
Nandanwar et al. | Analysis of pixel intensity variation by performing morphological operations for image segmentation on cervical cancer pap smear image | |
Widodo et al. | SEGMENTATION OF LUNG CANCER IMAGE BASED ON CYTOLOGIC EXAMINATION USING THRESHOLDING METHOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210528 |
|
WW01 | Invention patent application withdrawn after publication |