CN114677349B - 编解码端边缘信息增强和注意引导的图像分割方法及*** - Google Patents
编解码端边缘信息增强和注意引导的图像分割方法及*** Download PDFInfo
- Publication number
- CN114677349B CN114677349B CN202210301529.1A CN202210301529A CN114677349B CN 114677349 B CN114677349 B CN 114677349B CN 202210301529 A CN202210301529 A CN 202210301529A CN 114677349 B CN114677349 B CN 114677349B
- Authority
- CN
- China
- Prior art keywords
- edge
- segmentation
- image
- attention
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 164
- 238000010586 diagram Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 26
- 238000003708 edge detection Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 230000009191 jumping Effects 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种编解码端边缘信息增强和注意引导的图像分割方法及***，将真实图像集，语义分割真值图和边缘分割真值图构成数据集，将数据集分为训练集、验证集和测试集；构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器；利用训练集和验证集对图像分割网络N进行训练，得到训练好的图像分割模型M，将测试集图像数据输入训练好的图像分割模型M中，得到图像分割结果。本发明有效缓解了图像分割方法中边缘识别模糊的问题，从而获得更加精确的图像分割结果和更精细的边缘特征。
Description
技术领域
本发明属于计算机视觉与图像处理技术领域，具体涉及一种编解码端边缘信息增强和注意引导的图像分割方法及***。
背景技术
医学图像分割是将医学图像中的器官、病灶等区域与其背景区域区分开来的过程，是像素级别上的分类。医学图像分割对于辅助医生进行疾病的分析和诊断具有十分重要的意义。
早期的传统医学图像分割主要基于图像的灰度、纹理等浅层特征信息对医学图像进行分割，这类分割都需要手动设计图像特征提取算子，其性能和泛化能力相对较差，现有的实验结果表明，传统的医学图像分割方法已越来越无法满足临床医学图像分割的要求，无法获得令人满意的分割效果。
随着深度学习的发展，其在图像处理领域也得到了广泛的应用。全卷积网络的提出很大程度上提高了医学图像分割的准确率和分割效果，此后基于全卷积网络的分割算法也获得了极大地发展和改进。
但受成像设备影响，医学图像不可避免出现噪声和边缘模糊现象。由于边界区域像素的特征表示通常具有较弱的判别性，所以很多语义分割的错误是分布在边界区域上的，这也极大地影响了医学图像分割的精度，阻碍医学图像分割在临床上的应用。
综上，需要设计一种更加关注边缘信息分割的分割网络来解决医学图像边界模糊，对比度低的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种编解码端边缘信息增强和注意引导的图像分割方法及***，解决医学图像分割中存在的图像边界模糊，对比度低的问题。
本发明采用以下技术方案：
编解码端边缘信息增强和注意引导的图像分割方法，包括以下步骤：
S1、采用真实图像集，语义分割真值图和边缘分割真值图构成数据集F，并将数据集F分为训练集、验证集和测试集；
S2、构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器，特征提取器使用堆叠残差卷积块的编码器，编码器引入边缘信息增强模块用于对各层特征图进行边缘信息增强，解码器引入边缘注意引导模块编码器；
S3、利用步骤S1获得的训练集和验证集对步骤S2构建的图像分割网络N进行训练，得到训练好的图像分割模型M，将步骤S1获得的测试集数据输入训练好的图像分割模型M中，得到图像分割结果。
具体的，步骤S1中，训练集占数据集F的60％，验证集占数据集F的20％，测试集占数据集F的20％。
具体的，步骤S1中，对图像数据集中真实图像集对应的语义分割真值图上运用canny边缘检测算子，得到边缘分割图作为边缘分割分支上的真实分割图，具体为：
对原始图像进行灰度化，然后对灰度化后的图像进行高斯滤波，计算灰度化后图像的梯度幅值和方向，确定非极大值抑制，得到一个二值图像，采用双阈值算法检测二值图像，低阈值产生的边缘用于辅助高阈值产生的边缘构成轮廓，在高阈值图像中把高阈值产生的边缘连接成轮廓，当到达轮廓的断点时，在断点的8邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合，将闭合后得到的原始图像作为对应的真实分割图。
进一步的，计算灰度化图像的梯度幅值和方向具体为：
灰度化后图像在X方向的梯度幅值P[i，j]、Y方向梯度幅值Q[i，j]以及梯度方向θ[i，j]为：
P[i，j]＝(f[i+1，j]-f[i，j]+f[i+1，j+1]-f[i，j+1])/2
Q[i，j]＝(f[i+1，j]-f[i，j+1]+f[i+1，j]-f[i+1，j+1])/2
θ[i，j]＝tan-1(Q[i，j]/P[i，j])
其中，f为图像灰度值，i，j分别为像素的x，y方向坐标值。
具体的，步骤S2中，边缘信息增强模块对各层特征图进行边缘信息增强的具体操作为：
第i层经过边缘强化模块后的特征图Hi为：
Hi＝fscale(MF)×Pi+Pi
其中，fcanny(*)是canny边缘检测算子的处理过程，MF为数据集F经过处理过程后得到的边缘注意图，fscale(*)为放缩操作，i为层数，Pi为第i层的输入特征图。
进一步的，数据集F经过处理过程后得到的边缘注意图MF为：
MF＝fcanny(F)
其中，fcanny(*)是canny边缘检测算子的处理过程。
具体的，编码器中，每个残差卷积块有两个卷积操作，两次卷积后的结果与输入特征相加作为残差块的输出，通过叠加的下采样操作获得不同感受野下的特征图，原始特征图经过一次残差卷积块后的输出H为：
H＝Conv(P)+P
其中，Conv(*)为一个残差卷积块的处理过程，P为由主干CNN提取的特征图。
具体的，解码器包括语义分割分支和边缘分割分支，对于编码器的最终输出Pl，语义分割分支和边缘分割分支通过反卷积恢复特征图尺寸，通过跳跃连接补充丢失的空间信息，最终得到两个输出结果，分别为语义分割分支输出Ms和边缘分割分支输出Me，最后对语义分割分支输出Ms和边缘分割分支输出Me分别计算Dice损失和BCE损失，将语义分割损失和边缘分割损失构造成一个复合损失函数，通过最小化损失训练构造的分割网络，语义分割分支上的Dice损失DiceLosss和缘分割分支上的BCE损失BCELosse如下：
Losssum＝λ1*DiceLosss+λ2*BCELosse
其中，Mmask为原始图像的分割标签，Medge为将canny边缘检测算子作用于Mmask得到的边缘分割分支上的真实分割图，Losssum为训练总损失，λ1，λ2为平衡语义分割分支损失和边缘分割损失的超参数项，Ms为语义分割分支输出，Mseg为语义分割标签，为边缘分割标签，为边缘分割分支输出，ω为手动设置的超参数，N为样本数量。
具体的，边缘注意引导模块设置在语义分割分支和边缘分割分支之间，通过边缘分支上的学习构造每层特征图上的空间注意图，通过空间注意图引导语义分割分支的学习，对于解码器边缘分割分支上每层的特征图Pe，首先进行两次卷积操作，接着通过一次卷积核尺寸为1的卷积操作降低特征图通道维数至1，再通过一次sigmoid运算得到Pe对应的空间注意图，将空间注意图与语义分割分支上对应层的特征图Ps相乘并与Ps相加作为边缘注意引导模块的输出Mspatial，最后输出Mspatial为sigmoid运算后生成的空间注意图，与语义分割分支对应层上的特征图相乘后的结果与原始特征图相加作为最终的输出Hs；具体为：
Hs＝Mspatial×Ps+Ps
其中，Ps为对应层特征图，Mspatial为边缘注意引导模块输出的权重图，Hs为语义分割分支最终得到的特征图。
本发明的另一个技术方案是，一种编解码端边缘信息增强和注意引导的图像分割***，包括：
数据模块，采用真实图像集，语义分割真值图和边缘分割真值图构成数据集F，并将数据集F分为训练集、验证集和测试集；
网络模块，构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器，特征提取器使用堆叠残差卷积块的编码器每个编码器引入边缘信息增强模块用于对各层特征图进行边缘信息增强，解码器引入边缘注意引导模块；
分割模块，利用数据模块获得的训练集和验证集对网络模块构建的图像分割网络N进行训练，得到训练好的图像分割模型M，将数据模块的测试集数据输入训练好的图像分割模型M中，得到图像分割结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明编解码端边缘信息增强和注意引导的图像分割方法，使用堆叠的残差卷积块的编码器作为图像分割网络的特征提取器，能够避免随网络深度增加导致的梯度消失问题，通过引入边缘信息增强模块在编码器获得更多的边缘信息编码器，可以有效增强特征提取过程中的边缘细节信息，通过引入边缘注意引导模块进一步增强语义分割分支输出特征图中的边缘信息，有效缓解边缘识别模糊的问题，从而获得更加精确的图像分割结果和更精细的边缘特征。
进一步的，将训练集，验证集和测试集按照60％，20％和20％比例划分，验证集可以帮助在网络训练过程中进行各项超参数的调整，测试集帮助对训练好的模型进行性能的评估。
进一步的，在真实分割图上运用canny边缘检测算子得到边缘分割图，将边缘分割图作为边缘分割分支上的真实分割图可以在训练师添加对边缘分割分支上的监督，使网络更好的学习边缘细节信息。
进一步的，对编码器各层特征图进行边缘信息强化，可以使编码器的特征提取中学习更多的边缘信息，有利于提高模型分割的精度。
进一步的，将原始图像F经过处理过程后得到的边缘注意图MF，用于对编码器各层特征图进行边缘信息增强，提高网络对边缘信息的特征获取能力，进而提升整个网络的分割性能。
进一步的，编码器由堆叠的若干个残差卷积块组成，每个残差卷积块由两个卷积操作，两次卷积后的结果与输入特征相加作为残差块的输出，通过叠加的下采样操作获得不同感受野下的特征图，原始特征图经过一次残差卷积块后的输出H设置的目的或好处，这种残差块可以有效避免随网络深度增加产生的梯度消失问题，使网络训练过程中更好收敛。
进一步的，联合语义分割分支上的Dice损失DiceLosss和边缘分割分支上的BCE损失BCELosse作为总的分割损失，可以使网络兼顾语义信息和边缘信息的学习，使网络在关注更多边缘信息的同时提高整个网络的分割精度。
进一步的，通过构造多任务学习框架，在语义分割分支与边缘分割分支间引入边缘注意引导模块，使得边缘分割分支上的学习过程指导语义分割分支进行边缘细节分割的关注，学习更丰富的边缘细节信息，经过边缘分割分支的引导得到语义分割分支上的输出特征图Hs可以使语义分割分支特征图的边缘信息更加清晰完善，提高语义分割分支输出特征图的精度。
综上所述，本发明能够有效缓解图像分割方法中边缘识别模糊的问题，从而获得更加精确的图像分割结果和更精细的边缘特征。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的整体流程图；
图2为本发明分割网络模型架构图；
图3为本发明编码器中残差卷积块示意图；
图4为本发明边缘信息增强模块示意图；
图5为本发明边缘注意引导模块示意图；
图6为本发明在肝脏分割数据集上的分割结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种编解码端边缘信息增强和注意引导的图像分割方法，建立一个以编码器-解码器结构为基础的图像分割模型；在编码器中，设计一个边缘增强模块，将该模块输出与编码器各个残差卷积块连接，用于增强编码器中各层特征图中的边缘信息。解码器设计为边缘分割和语义分割两个分支，使用两个分支上的联合损失函数监督整个图像分割模型的训练。另外，在解码器端设计一个边缘注意引导模块进一步引导语义分割分支对边缘信息的学习，增强解码器各层特征图中的边缘信息。本发明通过在编解码端设计和引入边缘信息增强与注意引导模块，提高了模型对边缘信息的提取能力，可以对边缘进行更精细的分割，取得更精确的分割效果。
请参阅图1，本发明一种编解码端边缘信息增强和注意引导的图像分割方法，包括以下步骤：
S1、获取图像数据集F并对数据集F进行划分；
S101、对原始图像数据集进行预处理，由于数据集较大，计算资源有限，随机选取一部分数据集作为分割数据集，并将原始三维图像转换为二维png格式，之后进行统一的图像放缩处理。在真实分割图上运用canny边缘检测算子，得到边缘分割图作为边缘分割分支上的真实分割图，在数据集F中抽取随机60％作为训练集、抽取随机20％作为验证集、剩余20％作为测试集。
S2、建立图像分割网络N；
请参阅图2，图2是本发明分割网络网络N架构图，本发明选取编码器和解码器作为骨干网络，编码器用于进行特征提取，通过逐层下采样逐渐获取图像中更深层的语义特征。
S201、建立编码器，编码器由堆叠的若干个残差卷积块(每个残差卷积块由两个卷积操作，两次卷积后的结果与输入特征相加作为残差块的输出)组成，通过叠加的下采样操作获得不同感受野下的特征图，进而获得原始输入图像的上下文信息。图3是编码器中的残差卷积块示意图，通过引入残差连接可以防止在反向传播过程中的梯度消失问题。
S202、引入边缘信息增强模块，在编码阶段引入边缘信息增强模块，利用传统图像处理技术构造边缘注意力图，用于对编码阶段各层特征图进行边缘信息增强；
对编码器中每层输入特征图进行边缘信息增强处理，具体做法是在编码器中每个残差块之前引入边缘信息增强模块，详细结构如图4所示，对于输入的原始图像，在其上应用canny边缘检测算子得到边缘注意图，该图是一个二值图，边缘相关像素上值为1，其他像素上值均为0，通过将其放缩后与各层输入特征图对应像素相乘可以得到边缘信息增强特征图，最后与输入特征图相加得到边缘信息增强后的输入特征图，用其替换各层原始的输入特征图进行后续的卷积操作流程能够更加准确的学习图像中的边缘信息，获得更精准的分割。
Canny边缘检测算子的具体流程如下：
a.对原始图像进行灰度化，Canny边缘检测算子通常处理的图像为灰度图，因此如果摄像机获取的是彩色图像，那首先就得进行灰度化，对一幅彩色图进行灰度化，就是根据图像各个通道的采样值进行加权平均。
b.对图像进行高斯滤波，图像高斯滤波的实现可以用两个一维高斯核两次加权实现，也可以通过一个二维高斯核一次卷积实现。
c.计算梯度幅值和方向，图像灰度值的梯度一般使用一阶有限差分来进行近似，得到图像在x和y方向上偏导数的两个矩阵。
P[i，j]＝(f[i+1，j]-f[i，j]+f[i+1，j+1]-f[i，j+1])/2
Q[i，j]＝(f[i+1，j]-f[i，j+1]+f[i+1，j]-f[i+1，j+1])/2
θ[i，j]＝tan-1(Q[i，j]/P[i，j])
其中，f为图像灰度值，P代表X方向梯度幅值，Q代表Y方向梯度幅值，M是该点幅值，θ是梯度方向，也就是角度。
d.非极大值抑制，图像梯度幅值矩阵中的元素值越大，说明图像中该点的幅度值越大，但这不能说明该点就是边缘(这仅仅是属于图像增强的过程)。在Canny边缘检测算子中，非极大值抑制是进行边缘检测的重要步骤。完成非极大值抑制后，会得到一个二值图像，非边缘的点灰度值均为0，可能为边缘的局部灰度极大值点可设置其灰度为128。这时得到的检测结果还包含很多噪声以及其他因素造成的假边缘，因此还需进一步的处理。
e.用双阈值算法检测和连接边缘，Canny边缘检测算子中减少假边缘数量的方法是采用双阈值法，选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，为解决这样一个问题采用了另外一个低阈值。在高阈值图像中把边缘连接成轮廓。当到达轮廓的端点时，该算法会在断点的8邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。
对于给定输入的原始图像F，通过canny边缘检测算子处理得到F的边缘注意图MF，对于编码器中每一层的输入特征Pi，将边缘注意图MF放缩到当前层特征图Pi尺寸后与之逐像素点相乘后再与当前层特征图Pi相加作为边缘强化模块的输出，边缘信息增强后的输入特征图如下：
MF＝fcanny(F)
Hi＝fscale(MF)×Pi+Pi
其中，fcanny(*)是canny边缘检测算子的处理过程，原始图像F经过该处理过程得到边缘注意图MF，fscale(*)表示放缩操作，目的是将MF放缩到与Pi相同尺寸，i表示层数，i∈[1，4]，Pi表示第i层的输入特征图，Hi为第i层经过边缘强化模块后的特征图，用其替换Pi作为第i层的输入特征，进行后续的各项处理。
S203、建立解码器，通过解码器进行特征图尺寸的恢复并通过跳过连接来恢复编码器下采样过程中丢失的空间信息；
解码器设置两个分支即语义分割分支和边缘分割分支，构造语义分割和边缘分割多任务学习框架，将两个分支的输出分别通过与Mseg和Medge(在Mseg上应用canny边缘检测算子得到)计算损失对整个分割模型的训练进行监督；
编码器，使用堆叠的残差卷积块作为特征提取器，将边缘信息增强模块的多个边缘信息增强子模块Edge_1，Edge_2，Edge_3，Edge_4连接到编码器的对应各个残差卷积块Encode_1，Encode_2，Encode_3，Encode_4上，构造完成图像分割模型的编码器。
S204、引入边缘注意引导模块；
在解码器两个分支间引入提出的边缘注意引导模块，该模块通过边缘分割分支的特征图构造空间注意力图，用于对语义分割分支各层特征图进行边缘信息增强；
引入边缘注意引导模块，在解码器的两个分支上，通过边缘分割分支的学习来引导语义分割分支的学习，如图5所示。
解码器，将边缘信息增强模块Edge_1，Edge_2，Edge_3和Edge_4的输出分别与特征提取器的各个残差卷积块Encode_1，Encode_2，Encode_3和Encode_4的输入进行逐像素相加，得到4个输出特征图Output_1，Output_2，Output_3和Output_4。将4个输出特征图分别通过反卷积模块和普通卷积模块将分辨率和通道数恢复至原始图像输入的尺寸和大小，构造完成图像分割模型的解码器。使用语义分割分支和边缘分割分支上的两个损失构造整体损失函数L，使用L对网络训练进行监督得到分割效果最优的图像分割模型，使用最优分割模型进行图像的分割测试。
对于解码器边缘分割分支上每层的特征图Pe，首先进行两次卷积操作(一次卷积操作包括一次卷积，一次批归一化和一次ReLU函数激活)，接着通过一次卷积核尺寸为1的卷积操作降低特征图通道维数至1，再通过一次sigmoid运算得到Pe对应的空间注意图，将该空间注意图与语义分割分支上对应层的特征图Ps相乘并与Ps相加作为边缘注意引导模块的输出，该输出包含了语义分割分支上的原始特征图信息和边缘信息增强信息；
边缘信息增强后的输出特征图如下：
Mspatial＝sigmoid(Convchannel(Convdouble(Pe)))
Hs＝Mspatial×Ps+Ps
其中，Convdouble(*)表示两次卷积核尺寸为3的卷积操作，Convchannel(*)表示通过卷积核尺寸为1的卷积操作降低特征图通道维数为1，sigmoid(*)表示对特征图进行sigmoid运算，最后Mspatial为sigmoid运算后生成的空间注意图，将其与语义分割分支对应层上的特征图相乘后的结果与原始特征图相加作为最终的输出Hs。
为了构造多任务学习框架来互补提升分割效果，解码器有两个分支，一个是语义分割分支，一个是边缘分割分支，将两个分支的输出分别通过与Mseg和Medge(在Mseg上应用canny边缘检测算子得到)计算损失对整个分割网络计算损失对模型的训练进行监督。
S3、利用步骤S1获得的训练集和验证集对编解码端边缘信息增强和注意引导的图像分割网络N进行训练，得到训练好的图像分割模型M；将步骤S1获得的测试集的图像数据输入训练好的图像分割模型M中，得到图像分割结果。
本发明再一个实施例中，提供一种编解码端边缘信息增强和注意引导的图像分割***，该***能够用于实现上述编解码端边缘信息增强和注意引导的图像分割方法，具体的，该编解码端边缘信息增强和注意引导的图像分割***包括数据模块、网络模块以及分割模块。
其中，数据模块，采用真实图像集，语义分割真值图和边缘分割真值图构成数据集F，并将数据集F分为训练集、验证集和测试集；
网络模块，构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器，特征提取器使用堆叠残差卷积块的编码器，每个编码器引入边缘信息增强模块用于对各层特征图进行边缘信息增强；解码器引入边缘注意引导模块；
分割模块，利用数据模块获得的训练集和验证集对网络模块构建的图像分割网络N进行训练，得到训练好的图像分割模型M，将数据模块的测试集数据输入训练好的图像分割模型M中，得到图像分割结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可通过以下仿真进一步说明：
1.仿真条件
使用一台带有10块RTX 2080TI GPU的服务器，采用Pytorch深度学习框架。
2.仿真内容
随机选择步骤S1获取的LITS肝脏分割数据集中的测试集中的部分图像作为待分割图像，如图6中的(a)。
将待分割图像输入到训练好的分割模型中，进行多张待分割图像的分割结果预测。
3.仿真结果分析
请参阅图6，由最左列向右依次是输入图像，真实分割图，U-Net，PSPNet，DeepLabv3和本发明方法的可视化结果，对分割结果进行分析，本发明方法的分割结果在边缘像素上更加接近于真实分割图。如图6(f)所示，本发明的到的分割模型对于待分割图像中器官的分割更加精细，尤其是边缘细节部分。证明了本发明方法在处理边缘模糊，对比度低的医学图像分割方面是有效的。
综上所述，本发明一种编解码端边缘信息增强和注意引导的图像分割方法及***，具有以下特点：
1)在通用的编码器-解码器基础框架中，我们在编码器部分引入了边缘信息增强模块，该模块通过canny边缘检测算子作用于原始输入图像获得边缘分割图，与编码器各层特征图融合后得到了边缘信息增强后的各层特征图。该模块在没有引入大量参数的同时提高了编码器对于边缘信息的特征获取能力，获得了更丰富的边缘信息。
2)将解码器设置为语义分割和边缘分割分支两个分支，并在两个分支上分别构造分割损失监督本发明中模型的训练，两个分支间的互相学习使得模型兼顾了语义特征与边缘特征的学习，取得了更好的权衡，提升了模型的性能。
3)在解码器两个分支间引入边缘注意引导模块，通过边缘分割分支的学习引导语义分割分支的学习，使得语义分割分支更加关注边缘细节特征的学习，从而丰富了解码器各层输出特征图的边缘信息，使模型在最终分割预测时获得了更精细的边缘分割效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (7)
1.编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，包括以下步骤：
S1、采用真实图像集，语义分割真值图和边缘分割真值图构成数据集F，并将数据集F分为训练集、验证集和测试集，对图像数据集中真实图像集对应的语义分割真值图上运用canny边缘检测算子，得到边缘分割真值图作为边缘分割分支上的真实分割图，具体为：
对原始图像进行灰度化，然后对灰度化后的图像进行高斯滤波，计算灰度化后图像的梯度幅值和方向，确定非极大值抑制，得到一个二值图像，采用双阈值算法检测二值图像，低阈值产生的边缘用于辅助高阈值产生的边缘构成轮廓，在高阈值图像中把高阈值产生的边缘连接成轮廓，当到达轮廓的断点时，在断点的8邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合，将闭合后得到的原始图像作为对应的真实分割图；
S2、构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器，特征提取器使用堆叠残差卷积块的编码器，编码器引入边缘信息增强模块用于对各层特征图进行边缘信息增强，解码器引入边缘注意引导模块，边缘信息增强模块对各层特征图进行边缘信息增强具体操作为：
第i层经过边缘强化模块后的特征图Hi为：
Hi＝fscale(MF)×Pi+Pi
其中，fcanny(*)是canny边缘检测算子的处理过程，MF为数据集F经过处理过程后得到的边缘注意图，fscale(*)为放缩操作，i为层数，Pi为第i层的输入特征图，数据集F经过处理过程后得到的边缘注意图MF为：
MF＝fcanny(F)
其中，fcanny(*)是canny边缘检测算子的处理过程；
S3、利用步骤S1获得的训练集和验证集对步骤S2构建的图像分割网络N进行训练，得到训练好的图像分割模型M，将步骤S1获得的测试集数据输入训练好的图像分割模型M中，得到图像分割结果。
2.根据权利要求1所述的编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，步骤S1中，训练集占数据集F的60％，验证集占数据集F的20％，测试集占数据集F的20％。
3.根据权利要求1所述的编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，步骤S1中，计算灰度化图像的梯度幅值和方向具体为：
灰度化后图像在X方向的梯度幅值P[i，j]、Y方向梯度幅值Q[i，j]以及梯度方向θ[i，j]为：
P[i，j]＝(f[i+1，j]-f[i，j]+f[i+1，j+1]-f[i，j+1])/2
Q[i，j]＝(f[i+1，j]-f[i，j+1]+f[i+1，j]-f[i+1，j+1])/2
θ[i，j]＝tan-1(Q[i，j]/P[i，j])
其中，f为图像灰度值，i，j分别为像素的x，y方向坐标值。
4.根据权利要求1所述的编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，编码器中，每个残差卷积块有两次卷积操作，两次卷积后的结果与输入特征相加作为残差块的输出，通过叠加的下采样操作获得不同感受野下的特征图，原始特征图经过一次残差卷积块后的输出H为：
H＝Conv(P)+P
其中，Conv(*)为一个残差卷积块的处理过程，P为由主干CNN提取的特征图。
5.根据权利要求1所述的编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，解码器包括语义分割分支和边缘分割分支，对于编码器的最终输出Pl，语义分割分支和边缘分割分支通过反卷积恢复特征图尺寸，通过跳跃连接补充丢失的空间信息，最终得到两个输出结果，分别为语义分割分支输出Ms和边缘分割分支输出Me，最后对语义分割分支输出Ms和边缘分割分支输出Me分别计算Dice损失和BCE损失，将语义分割损失和边缘分割损失构造成一个复合损失函数，通过最小化损失训练构造的分割网络，语义分割分支上的Dice损失DiceLosss和缘分割分支上的BCE损失BCELosse如下：
Losssum＝λ1*DiceLosss+λ2*BCELosse
其中，Mmask为原始图像的分割标签，Medge为将canny边缘检测算子作用于Mmask得到的边缘分割分支上的真实分割图，Losssum为训练总损失，λ1，λ2为平衡语义分割分支损失和边缘分割损失的超参数项，Ms为语义分割分支输出，Mseg为语义分割标签，为边缘分割标签，为边缘分割分支输出，ω为手动设置的超参数，N为样本数量。
6.根据权利要求5所述的编解码端边缘信息增强和注意引导的图像分割方法，其特征在于，边缘注意引导模块设置在语义分割分支和边缘分割分支之间，通过边缘分支上的学习构造每层特征图上的空间注意图，通过空间注意图引导语义分割分支的学习，对于解码器边缘分割分支上每层的特征图Pe，首先进行两次卷积操作，接着通过一次卷积核尺寸为1的卷积操作降低特征图通道维数至1，再通过一次sigmoid运算得到Pe对应的空间注意图，将空间注意图与语义分割分支上对应层的特征图Ps相乘并与Ps相加作为边缘注意引导模块的输出Mspatial，最后输出Mspatial为sigmoid运算后生成的空间注意图，与语义分割分支对应层上的特征图相乘后的结果与原始特征图相加作为最终的输出Hs；具体为：
Hs＝Mspatial×Ps+Ps
其中，Ps为对应层特征图，Mspatial为边缘注意引导模块输出的权重图，Hs为语义分割分支最终得到的特征图。
7.一种编解码端边缘信息增强和注意引导的图像分割***，其特征在于，包括：
数据模块，采用真实图像集，语义分割真值图和边缘分割真值图构成数据集F，并将数据集F分为训练集、验证集和测试集，对图像数据集中真实图像集对应的语义分割真值图上运用canny边缘检测算子，得到边缘分割真值图作为边缘分割分支上的真实分割图，具体为：
对原始图像进行灰度化，然后对灰度化后的图像进行高斯滤波，计算灰度化后图像的梯度幅值和方向，确定非极大值抑制，得到一个二值图像，采用双阈值算法检测二值图像，低阈值产生的边缘用于辅助高阈值产生的边缘构成轮廓，在高阈值图像中把高阈值产生的边缘连接成轮廓，当到达轮廓的断点时，在断点的8邻域中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合，将闭合后得到的原始图像作为对应的真实分割图；
网络模块，构建编解码端边缘信息增强和注意引导的图像分割网络N，图像分割网络N中设置有特征提取器和解码器，特征提取器使用堆叠残差卷积块的编码器，每个编码器引入边缘信息增强模块用于对各层特征图进行边缘信息增强，解码器引入边缘注意引导模块，边缘信息增强模块对各层特征图进行边缘信息增强具体操作为：
第i层经过边缘强化模块后的特征图Hi为：
Hi＝fscale(MF)×Pi+Pi
其中，fcanny(*)是canny边缘检测算子的处理过程，MF为数据集F经过处理过程后得到的边缘注意图，fscale(*)为放缩操作，i为层数，Pi为第i层的输入特征图，数据集F经过处理过程后得到的边缘注意图MF为：
MF＝fcanny(F)
其中，fcanny(*)是canny边缘检测算子的处理过程；
分割模块，利用数据模块获得的训练集和验证集对网络模块构建的图像分割网络N进行训练，得到训练好的图像分割模型M，将数据模块的测试集数据输入训练好的图像分割模型M中，得到图像分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210301529.1A CN114677349B (zh) | 2022-03-25 | 2022-03-25 | 编解码端边缘信息增强和注意引导的图像分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210301529.1A CN114677349B (zh) | 2022-03-25 | 2022-03-25 | 编解码端边缘信息增强和注意引导的图像分割方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114677349A CN114677349A (zh) | 2022-06-28 |
| CN114677349B true CN114677349B (zh) | 2024-07-19 |
Family
ID=82074612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210301529.1A Active CN114677349B (zh) | 2022-03-25 | 2022-03-25 | 编解码端边缘信息增强和注意引导的图像分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677349B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797633B (zh) * | 2022-12-02 | 2023-06-27 | 中国科学院空间应用工程与技术中心 | 一种遥感图像分割方法、***、存储介质和电子设备 |
| CN116739949B (zh) * | 2023-08-15 | 2023-11-03 | 武汉互创联合科技有限公司 | 一种胚胎图像的卵裂球边缘增强处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN113807355B (zh) * | 2021-07-29 | 2023-08-25 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
| CN113642581B (zh) * | 2021-08-12 | 2023-09-22 | 福州大学 | 基于编码多路径语义交叉网络的图像语义分割方法及*** |
-
2022
- 2022-03-25 CN CN202210301529.1A patent/CN114677349B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114677349A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及*** | |
| Wang et al. | Haze concentration adaptive network for image dehazing | |
| CN114677349B (zh) | 编解码端边缘信息增强和注意引导的图像分割方法及*** | |
| Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
| CN111681252A (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN112651979A (zh) | 肺部x光图像分割方法、***、计算机设备及存储介质 | |
| CN109815931B (zh) | 一种视频物体识别的方法、装置、设备以及存储介质 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| Kang et al. | ASF-YOLO: A novel YOLO model with attentional scale sequence fusion for cell instance segmentation | |
| CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
| CN117078930A (zh) | 基于边界感知和注意力机制的医学图像分割方法 | |
| CN116935044B (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN111325766A (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| CN112836602A (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN112529915A (zh) | 一种脑肿瘤图像分割方法及*** | |
| CN117496144A (zh) | 一种应用于皮损分割的多注意力编解码器网络和*** | |
| Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
| CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、*** | |
| CN115829962B (zh) | 医学图像分割装置、训练方法及医学图像分割方法 | |
| Fan et al. | EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation | |
| CN116452812A (zh) | 一种伪装物体识别及语义分割方法 | |
| CN116258632A (zh) | 一种基于文本辅助的文本图像超分辨率重建方法 | |
| CN116188501A (zh) | 基于多尺度交叉注意力的医学图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |