CN112348839A - 一种基于深度学习的图像分割方法及*** - Google Patents
一种基于深度学习的图像分割方法及*** Download PDFInfo
- Publication number
- CN112348839A CN112348839A CN202011168588.3A CN202011168588A CN112348839A CN 112348839 A CN112348839 A CN 112348839A CN 202011168588 A CN202011168588 A CN 202011168588A CN 112348839 A CN112348839 A CN 112348839A
- Authority
- CN
- China
- Prior art keywords
- convolution
- processing block
- layer
- image segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000005070 sampling Methods 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 60
- 238000011176 pooling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 abstract description 12
- 238000002591 computed tomography Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图像分割方法及***。该方法为:将待分割图像输入图像分割模型,获得图像分割结果;图像分割模型建立过程:S1,构建训练集和测试集;S2,构建图像分割卷积网络;图像分割卷积网络包括下采样链路、上采样链路、N个联接链路,下采样链路设有N个下采样处理块,上采样链路设有N个上采样处理块;第N下采样处理块与第N上采样处理块通过第N联接链路连接;第n下采样处理块与第n上采样处理块通过第n联接链路连接,在第n联接链路上设有k个卷积块,n∈[1,N‑1];S3,利用训练集对图像分割卷积网络进行训练。在联接链路中设置k个卷积块,将原图进行k次卷积操作后再进行拼接,更全面补充信息,提升分割精确度和可靠性。
Description
技术领域
本发明涉及一种图像分割方法,特别是涉及一种基于深度学习的图像分割方法及***。
背景技术
随着医疗影像学设备的高速发展和全面普及,诸如磁共振成像(MR)、计算机断层扫描(CT)、超声扫描等成像技术成为了医疗行业诊断疾病、制定医疗计划、评估治疗结果等医疗步骤中不可或缺的技术。医学图像处理中图像分割是重要环节。
近年来,深度学习的迅速发展使得医学图像机器分割取得了显著的成就,能够对医学图像中的人体器官进行自动分割,相较于传统的手工分割,极大地提高了图像分割速度以及节省了人力,但是基于现有深度学习方法的图像分割方法获得的分割结果不够精细,存在着器官边界模糊,粘连等情况,以及由于CT图像等医学图像具有较多的噪点,对肝、胰、肾脏的分割存在可靠性差、分割效果不尽人意的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于深度学习的图像分割方法及***。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种基于深度学习的图像分割方法,包括:将待分割图像输入图像分割模型,获得图像分割结果;所述图像分割模型的建立过程包括:步骤S1,获取多个样本图像并设置标签图,构建训练集和测试集;步骤S2,构建图像分割卷积网络;所述图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路,在所述下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、…、第N-1上采样处理块和第N下采样处理块,在所述上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N-1上采样处理块、…、第二上采样处理块和第一上采样处理块;所述第N下采样处理块与第N上采样处理块通过第N联接链路连接;第n下采样处理块与第n上采样处理块通过第n联接链路连接,在所述第n联接链路上设有k个卷积块,所述n∈[1,N-1],k为正整数,N为大于1的正整数;步骤S3,利用训练集对图像分割卷积网络进行训练,利用测试集对训练后的图像分割卷积网络进行验证:若验证通过,保存图像分割卷积网络的模型参数,获得图像分割模型;若验证不通过,继续利用训练集对当前训练后的图像分割卷积网络进行训练。
上述技术方案:本发明的图像分割卷积网络中在联接链路中设置k个卷积块,跳接时不再使用原图进行拼接,而是将原图进行k次卷积操作后再进行拼接,相对于U-Net网络的现有联接链路,能更全面的补充信息,有利于更深入得提取特征值并进行综合,提升分割精确度和可靠性。
在本发明的一种优选实施方式中,所述第一下采样处理块内依次设有2个卷积层和最大池化层,图像数据通过2个卷积层后分别进入第一联接链路和最大池化层,所述最大池化层与第二下采样处理块连接;所述第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块,图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块;所述第n'下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块,所述n'∈[3,N-1];所述第N下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块。
上述技术方案:下采样处理块内通过堆叠恒等残差块和卷积残差块,网络深度得到了巨大提升,进而提升了分割精确度,并且每一级尺度都形成了一个小型的残差网络,每经过一个残差块就多两条选择路径,这样若N为5的话,那么每一个尺度的图片有16条路径可走,所留下的特征图都是不一样的,相对于现有卷积网络结构可以获得图片更丰富的特征。在本发明的一种优选实施方式中,所述卷积残差块由卷积主路径的三重卷积和与所述卷积主路径并联的卷积Shoutcut路径的单卷积层构成;卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器,卷积核的大小为1×1,卷积步长为2;卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器,卷积核的大小为3×3;卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍,卷积核的大小为1×1,卷积步长为1;卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致,卷积核大小为1×1,步长为2。
上述技术方案:卷积残差块将上一层输入图片的特征以间隔1的形式提取出来,并且缩小图片尺寸为原来的一半,这样既完成了滤波也完成了池化层的提取图片特征的作用,省略了池化层,简化了结构;使得图片进入卷积残差块后可以得到多一倍的通道数并且自身被进一步提取特征,很好地执行了普通神经网络中的卷积池化操作,不同的是它的多路径到达的设计理念以及先提取特征再增加通道数的操作使得图片通过该结构被保留的有用信息更多,但是产生的参数更少,对网络的负荷也更小。
在本发明的一种优选实施方式中,所述恒等残差块由恒等主路径的三重卷积和与所述恒等主路径并联的恒等Shoutcut路径构成;恒等主路径第一层卷积的过滤器数目为输入所述恒等残差块的图像的通道数的一半,卷积核的大小为1×1,步长为1;恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致,卷积核的大小为3×3,步长为1;恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍,卷积核的大小为1×1,步长为1;恒等Shortcut路径不包含额外操作,只提供连接作用。
上述技术方案:恒等残差块的输入图片与输出图片的通道数一致,但是经过该模块的图片有的经过了主路径的一系列操作有了变化,有些则不经过加工直接输出,使得图片留下的特征信息更加丰富,并且降低了网络的负荷,提高了卷积效率。从功能的角度来说,该模块优化了多层卷积模块堆叠所带来的一系列问题,使得加深网络所带来的负面影响得到消除。
在本发明的一种优选实施方式中,所述第N上采样处理块包括反卷积层,图像数据通过反卷积层进入第N-1上采样处理块;所述第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层,拼接层将第n”联接链路输出的图像与第n”-1上采样处理块输出的图像拼接,拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块,所述n”∈[2,N-1];所述第一上采样处理块包括拼接层、2个卷积层和全连接层,拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接,拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
上述技术方案:上采样链路各模块依次将各个尺度的图片进行反卷积操作,得到的图片与下采样链路中相对应尺度的图片经过联接链路的k个卷积后的图片进行合并,使通道数加倍,再经过两次卷积的筛选继续上采直到还原为原图的大小,然后通过一层卷积层将图片二分类获得最终结果。在本发明的一种优选实施方式中,在所述图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
上述技术方案:通过BN(BatchNormal)层能够加速网络收敛。在本发明的一种优选实施方式中,在所述步骤S1中,所述训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
在本发明的一种优选实施方式中,在所述步骤S3中,利用测试集对训练后的图像分割卷积网络进行验证的过程包括:通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数,所述DICE系数为:DICE=2×comm(S1,S2)÷(S1+S2),所述S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像,comm(S1,S2)表示求图像S1和S2的交集;若DICE系数达到预设的DICE阈值,则验证通过;若DICE系数未达到DICE阈值,则验证不通过,则继续训练图像分割卷积网络,直到可以通过测试。
上述技术方案:DICE系数作为随时函数,图像分割的预测效果更好。
在本发明的一种优选实施方式中,在所述步骤S3中,利用训练样本对图像分割卷积网络进行多轮次训练,每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数,当经过早停函数设置的数值个轮次后,图像分割卷积网络的模型参数没有被更新,则训练结束,否则进行下一早停函数设置的数值个轮次训练。
上述技术方案:有效避免过拟合现象。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种图像分割***,包括图片输入单元和处理器,所述处理器从图片输入单元获得待分割图片并按照本发明所述的基于深度学习的图像分割方法对待分割图片进行图像分割。
上述技术方案:该***能够自动、快速且精准地对待分割图像进行分割,在U-Net基础架构上,对下采样过程采用残差块堆叠加深网络,并在每个卷积操作后添加BN层加速网络收敛,以及在5个尺度图像的拼接操作之前加入卷积层过滤图片特征等,建立了一种新的图像分割卷积网络,极大地提高了拟合效果、预测精确度。
附图说明
图1是本发明一具体实施方式中基于深度学习的图像分割方法流程示意图;
图2是本发明一具体实施方式中图像分割卷积网络的结构示意图;
图3是本发明一具体实施方式中卷积残差块的结构示意图;
图4是本发明一具体实施方式中恒等残差块的结构示意图;
图5是本发明一种应用场景中的分割结果示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于深度学习的图像分割方法,在一种优选实施方式中,流程示意图如图1所示,该方法包括:将待分割图像输入图像分割模型,获得图像分割结果;图像分割模型的建立过程包括:
步骤S1,获取多个样本图像并设置标签图,构建训练集和测试集;
步骤S2,构建图像分割卷积网络;图像分割卷积网络的结构为:
图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路,在下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、…、第N-1上采样处理块和第N下采样处理块,在上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N-1上采样处理块、…、第二上采样处理块和第一上采样处理块;第N下采样处理块与第N上采样处理块通过第N联接链路连接;第n下采样处理块与第n上采样处理块通过第n联接链路连接,在第n联接链路上设有k个卷积块,n∈[1,N-1],k为正整数,N为大于1的正整数;k优选但不限于为2,N优选但不限于为5;
步骤S3,利用训练集对图像分割卷积网络进行训练,利用测试集对训练后的图像分割卷积网络进行验证:若验证通过,保存图像分割卷积网络的模型参数,获得图像分割模型;若验证不通过,继续利用训练集对当前训练后的图像分割卷积网络进行训练。
在本实施方式中,卷积操作可以过滤图像边缘的细节信息,而使用k个卷积块少量卷积层进行过滤可以留下大部分的边缘细节信息,但是经过卷积操作每个通道的图片都留下了不同的细节信息。由于拼接层的目的是补充原图的细节信息,经过卷积筛选后补充的信息会更全面。所以选择双层卷积(k为2时)作为图片拼接前的预处理。
在本实施方式中,样本图像优选但不限于医学MRI图像、CT图像,也可为植物图像(用于植物生长状态评估的果实、树叶分割)。标签图可通过在样本图像上手工标注获得。
在一种优选实施方式中,如图2所示,第一下采样处理块内依次设有2个卷积层和最大池化层,图像数据通过2个卷积层后分别进入第一联接链路和最大池化层,最大池化层与第二下采样处理块连接;
第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块,图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块;
第n'下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块,n'∈[3,N-1];
第N下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块。
在本实施方式中,如图2所示,优选的,第N上采样处理块包括反卷积层,图像数据通过反卷积层进入第N-1上采样处理块;
第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层,拼接层将第n”联接链路输出的图像与第n”-1上采样处理块输出的图像拼接,拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块,n”∈[2,N-1];
第一上采样处理块包括拼接层、2个卷积层和全连接层,拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接,拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
在一种优选实施方式中,如图3所示,卷积残差块由卷积主路径的三重卷积和与卷积主路径并联的卷积Shoutcut路径的单卷积层构成;
卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器,卷积核的大小为1×1,卷积步长为2;
卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器,卷积核的大小为3×3;
卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍,卷积核的大小为1×1,卷积步长为1;
卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致,卷积核大小为1×1,步长为2。
在本实施方式中,如图3所示,卷积残差块由主路径的三重卷积和Shoutcut连接的单卷积层构成。主路径第一层卷积使用与上一层相同数目的滤波器,卷积核的大小为1×1,卷积步长为2,其作用是将上一层输入图片的特征以间隔1的形式提取出来,并且缩小图片尺寸为原来的一半,这样既完成了滤波也完成了池化层的提取图片特征的作用,所以省略了池化层。主路径第二层卷积使用和第一层卷积相同数目的滤波器,但是它的卷积核为3×3的大小,目的是进一步提取图片的特征。主路径第三层卷积将滤波器数量增加了一倍,同时设置卷积核的大小为1×1,卷积步长为也为1,目的是增加图片的通道数同时保持图片的尺寸不变。而在Shortcut路径中也设置了一个卷积层,滤波器数目与主路径第三层卷积一致,卷积核大小为1×1,但是步长变为了2,其作用是提供一条路径可以直接将输入的图片通道数加倍同时使用间隔1的方法提取出图片特征并且将其大小变为原来的一半。
在本实施方式中,卷积残差块的设计使得图片进入该残差块后可以得到多一倍的通道数并且自身被进一步提取特征,它很好地执行了普通神经网络中的卷积池化操作,不同的是它的多路径到达的设计理念以及先提取特征再增加通道数的操作使得图片通过该结构被保留的有用信息更多,但是产生的参数更少,对网络的负荷也更小。使用卷积残差块可以获得不同的图片尺寸是它区别于恒等残差块的原因。
在一种优选实施方式中,如图4所示,恒等残差块由恒等主路径的三重卷积和与恒等主路径并联的恒等Shoutcut路径构成;
恒等主路径第一层卷积的过滤器数目为输入恒等残差块的图像的通道数的一半,卷积核的大小为1×1,步长为1;
恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致,卷积核的大小为3×3,步长为1;
恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍,卷积核的大小为1×1,步长为1;
恒等Shortcut路径不包含额外操作,只提供连接作用。
在本实施方式中,恒等残差块由主路径的三重卷积和Shoutcut连接层构成。主路径第一层卷积的过滤器数目是输入图片的通道数的一半,卷积核为1×1的大小,步长为1,其作用是将图片的通道数减少,以便减少计算的参数,降低网络的负荷,以获得更高的效率和更好的卷积效果。主路径第二层卷积的卷积核变为了3×3的大小,其它参数与第一层一样,它是一个标准的神经网络卷积层,作用是通过卷积操作过滤图片信息。主路径第三层的滤波器数目变为前一层的一倍,与输入该模块的图片的通道数一致,采用1×1大小的卷积核,步长为1,作用是将过滤完的图片恢复到输入时的尺寸。Shortcut层没有任何操作,只是提供了一个连接,给通过该模块的图片提供了一条不经过主路径操作的路径。
在本实施方式中,恒等残差块的输入图片与输出图片的通道数一致,但是经过该模块的图片有的经过了主路径的一系列操作有了变化,有些则不经过加工直接输出,使得图片留下的特征信息更加丰富,并且降低了网络的负荷,提高了卷积效率。从功能的角度来说,该模块优化了多层卷积模块堆叠所带来的一系列问题,使得加深网络所带来的负面影响得到消除。
在一种优选实施方式中,在图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
在本实施方式中,BN(Batchnormalisation)层通过一定规范化手段将每层输入数据值的分布强行归一化到该标准正太分布上,使得每一次反向传导更新模型的时候都有一定梯度,则模型可以不断收敛。
在本发明的一种应用场景中,N为5,k为2。如图2所示,图像在网络各层中的具体运算如下:
第一下采样处理块:输入512×512×1的图像,通过两个卷积层拓展图像通道为64,得到512×512×64的图像,此时有两条路径,一条是向右再经过第一联接链路的两次卷积处理等待拼接操作,另一条是通过一个最大池化层下采样图片使其变为256×256×128到达第二下采样处理块;
第二下采样处理块:图片通过一个卷积残差块和三个恒等残差块变换后有两条路径,一条向右通过第二联接链路的两次卷积等待拼接操作,另一条通过一个卷积残差块通向下一级的第三下采样处理块,此时图片的尺寸进一步变小,通道数进一步增加,变为128×128×256;
第三下采样处理块:图片通过三个恒等残差块后有两条路径,一条向右通过第三联接链路的两次卷积等待拼接操作,另一条通过一个卷积残差块通向下一级的第四下采样处理块,图片尺寸变为64×64×512;
第四下采样处理块:图片通过三个恒等残差块后有两条路径,一条向右通过第四联接链路的两次卷积等待拼接操作,另一条通过一个卷积残差块通向下一级的第五下采样处理块,图片尺寸变为32×32×1024;
第五下采样处理块:图片通过三个恒等残差块后通过第五联接链路进入上采样链路中的第五上采样处理块;
第五上采样处理块:图片通过反卷积层后进入下一级的第四上采样处理块,图片尺寸变为64×64×512;
第四上采样处理块:图片首先与第四联接链路的输出图像拼接,此时图像大小为64×64×1024,然后通过两个卷积层将空间收缩到64×64×512,然后通过一个反卷积层进入下一级的第三上采样处理块,图片尺寸变为128×128×256;
第三上采样处理块:图片首先与第三联接链路的输出图像拼接,此时图像大小为128×128×512,然后通过两个卷积层将空间收缩到128×128×256,然后通过一个反卷积层进入下一级的第二上采样处理块,图片尺寸变为256×256×128;
第二上采样处理块:图片首先与第二联接链路的输出图像拼接,此时图像大小为256×256×256,然后通过两个卷积层将空间收缩到256×256×128,然后通过一个反卷积层进入下一级的第一上采样处理块,图片尺寸变为512×512×64;
第一上采样处理块:图片首先与第一联接链路的输出图像拼接,此时图像大小为512×512×128,然后通过两个卷积层将空间收缩到512×512×64,最后通过一个卷积核大小为1×1全卷积层将通道数压缩到2,最终输出二分类的结果。
在应用场景中,将本发明提供的图像分割方法中的卷积网络结构(ResU-Net)与现有的卷积网络结构U-Net输出分割结果进行对比实验,最终结果如下表所示:
通过分析实验数据不难看出,本方法所提出的网络模型相比于目前的U-Net网络,在分割精度上有很大的提升,解决现有医学图像分割技术中,准确率低、可靠性差的问题。与当前的U-Net分割方法相比,本发明具有更好的分割准确度与可靠性。因为U-Net结构的下采样部分通过卷积池化变换将图片逐步采样为5个尺度,依次折半,所以在堆叠恒等块和卷积块的时候也遵循这5个尺度的变换。具体堆叠为一个卷积块后面跟3个恒等块,这样每个尺度的操作都相当于包含了12层卷积层,所以实际网络深度接近50层(算上每个卷积层后跟随的BN层远超此数值),对比U-Net的实际层数只有不到20层,网络的深度得到了巨大的提升,随之而来的是分割精确度的提升,并且每一级尺度都形成了一个小型的残差网络,每经过一个残差块就多两条选择路径,这样每一个尺度的图片有16条路径可走,所留下的feature map都是不一样的,相对于当前网络可以获得图片更丰富的特征。
在一种优选实施方式中,在步骤S1中,训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
在一种优选实施方式中,在步骤S3中,利用测试集对训练后的图像分割卷积网络进行验证的过程包括:
通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数,DICE系数为:DICE=2×comm(S1,S2)÷(S1+S2),S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像,comm(S1,S2)表示求图像S1和S2的交集的像素点数;S1+S2表示图像S1和S2的并集的像素点数。
若DICE系数达到预设的DICE阈值,则验证通过;若DICE系数未达到DICE阈值,则验证不通过,则继续训练图像分割卷积网络,直到可以通过测试。
在一种优选实施方式中,在步骤S3中,利用训练样本对图像分割卷积网络进行多轮次训练,每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数,当经过早停函数设置的数值个轮次后,图像分割卷积网络的模型参数没有被更新,则训练结束,否则进行下一早停函数设置的数值个轮次训练。
在本实施方式中,模型每一轮训练结束后会保存效果最好的模型参数,当经过早停函数设置的数值(即检测值)个轮次后,模型参数都没有被更新,则认定模型训练结束。该函数可以有效预防模型过拟合,因为如果模型无止境训练下去或是设置的轮次太多很容易引发过拟合现象。
在本发明上述方法的一种应用场景中,输出的分割图形如图5所示,在本应用场景中,待分割图像为医学MRI或CT图像,为来自医院的真实病例MRI图像与CT图像数据,以及网络上公开的用于科研目的公开MRI图像与CT图像数据。
本发明还公开了一种图像分割***,在一种优选实施方式中,该***包括图片输入单元和处理器,处理器从图片输入单元获得待分割图片并按照上述基于深度学习的图像分割方法对待分割图片进行图像分割。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于深度学习的图像分割方法,其特征在于,包括:将待分割图像输入图像分割模型,获得图像分割结果;
所述图像分割模型的建立过程包括:
步骤S1,获取多个样本图像并设置标签图,构建训练集和测试集;
步骤S2,构建图像分割卷积网络;
所述图像分割卷积网络包括下采样链路、上采样链路、以及N个联接链路,在所述下采样链路中沿图像数据传输方向依次设有第一下采样处理块、第二下采样处理块、....、第N-1上采样处理块和第N下采样处理块,在所述上采样链路中沿图像数据传输方向依次设有第N上采样处理块、第N-1上采样处理块、....、第二上采样处理块和第一上采样处理块;
所述第N下采样处理块与第N上采样处理块通过第N联接链路连接;
第n下采样处理块与第n上采样处理块通过第n联接链路连接,在所述第n联接链路上设有k个卷积块,所述n∈[1,N-1],k为正整数,N为大于1的正整数;
步骤S3,利用训练集对图像分割卷积网络进行训练,利用测试集对训练后的图像分割卷积网络进行验证:若验证通过,保存图像分割卷积网络的模型参数,获得图像分割模型;若验证不通过,继续利用训练集对当前训练后的图像分割卷积网络进行训练。
2.如权利要求1所述的基于深度学习的图像分割方法,其特征在于,所述第一下采样处理块内依次设有2个卷积层和最大池化层,图像数据通过2个卷积层后分别进入第一联接链路和最大池化层,所述最大池化层与第二下采样处理块连接;
所述第二下采样处理块内依次设有1个卷积残差块和3个恒等残差块,图像数据通过3个恒等残差块后分别进入第二联接链路和再通过1个卷积残差块后进入第三下采样处理块;
所述第n'下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后分别进入第n'三联接链路和再通过1个卷积残差块后进入第n'+1下采样处理块,所述n'∈[3,N-1];
所述第N下采样处理块内设有3个恒等残差块,图像数据通过3个恒等残差块后通过第N联接链路传送至第N上采样处理块。
3.如权利要求2所述的基于深度学习的图像分割方法,其特征在于,所述卷积残差块由卷积主路径的三重卷积和与所述卷积主路径并联的卷积Shoutcut路径的单卷积层构成;
卷积主路径第一层卷积使用与上一层卷积相同数目的滤波器,卷积核的大小为1×1,卷积步长为2;
卷积主路径第二层卷积使用和第一层卷积相同数目的滤波器,卷积核的大小为3×3;
卷积主路径第三层卷积的滤波器数量为第二层卷积的两倍,卷积核的大小为1×1,卷积步长为1;
卷积Shortcut路径中的卷积层的滤波器数目与主路径第三层卷积的滤波器数目一致,卷积核大小为1×1,步长为2。
4.如权利要求2所述的基于深度学习的图像分割方法,其特征在于,所述恒等残差块由恒等主路径的三重卷积和与所述恒等主路径并联的恒等Shoutcut路径构成;
恒等主路径第一层卷积的过滤器数目为输入所述恒等残差块的图像的通道数的一半,卷积核的大小为1×1,步长为1;
恒等主路径第二层卷积的过滤器数目与恒等主路径第一层卷积的过滤器数目一致,卷积核的大小为3×3,步长为1;
恒等主路径第三层卷积的滤波器数目为恒等主路径第二层卷积的过滤器数目的两倍,卷积核的大小为1×1,步长为1;
恒等Shortcut路径不包含额外操作,只提供连接作用。
5.如权利要求1所述的基于深度学习的图像分割方法,其特征在于,所述第N上采样处理块包括反卷积层,图像数据通过反卷积层进入第N-1上采样处理块;
所述第n”上采样处理块依次包括拼接层、2个卷积层和1个反卷积层,拼接层将第n”联接链路输出的图像与第n”-1上采样处理块输出的图像拼接,拼接后的图像经过第n”上采样处理块的2个卷积层和1个反卷积层处理后进入第n”上采样处理块,所述n”∈[2,N-1];
所述第一上采样处理块包括拼接层、2个卷积层和全连接层,拼接层将第一联接链路输出的图像与第二上采样处理块输出的图像拼接,拼接后的图像经过第一上采样处理块的2个卷积层和全连接层处理后输出。
6.如权利要求1-5之一所述的基于深度学习的图像分割方法,其特征在于,在所述图像分割卷积网络中的全部或者部分卷积层后都设置BN层。
7.如权利要求1所述的基于深度学习的图像分割方法,其特征在于,在所述步骤S1中,所述训练集和测试集均包括多个样本图片以及与样本图片对应关联的标签图。
8.如权利要求1所述的基于深度学习的图像分割方法,其特征在于,在所述步骤S3中,利用测试集对训练后的图像分割卷积网络进行验证的过程包括:
通过图像分割卷积网络输出的预测图像和输入图像对应的标签图计算DICE系数,所述DICE系数为:DICE=2×comm(S1,S2)÷(S1+S2),所述S1和S2分别表示图像分割卷积网络输出的预测图像和输入图像,comm(S1,S2)表示求图像S1和S2的交集;
若DICE系数达到预设的DICE阈值,则验证通过;若DICE系数未达到DICE阈值,则验证不通过,则继续训练图像分割卷积网络,直到可以通过测试。
9.如权利要求1所述的基于深度学习的图像分割方法,其特征在于,在所述步骤S3中,利用训练样本对图像分割卷积网络进行多轮次训练,每一轮训练结束后保存之前训练轮次中DICE系数最高的图像分割卷积网络的模型参数,当经过早停函数设置的数值个轮次后,图像分割卷积网络的模型参数没有被更新,则训练结束,否则进行下一早停函数设置的数值个轮次训练。
10.一种图像分割***,其特征在于,包括图片输入单元和处理器,所述处理器从图片输入单元获得待分割图片并按照权利要求1-9之一所述的基于深度学习的图像分割方法对待分割图片进行图像分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011168588.3A CN112348839B (zh) | 2020-10-27 | 2020-10-27 | 一种基于深度学习的图像分割方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011168588.3A CN112348839B (zh) | 2020-10-27 | 2020-10-27 | 一种基于深度学习的图像分割方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112348839A true CN112348839A (zh) | 2021-02-09 |
CN112348839B CN112348839B (zh) | 2024-03-15 |
Family
ID=74359269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011168588.3A Active CN112348839B (zh) | 2020-10-27 | 2020-10-27 | 一种基于深度学习的图像分割方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348839B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255601A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市安软科技股份有限公司 | 一种车辆重识别模型的训练方法、***及相关设备 |
CN113344939A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种基于细节保持网络的图像分割方法 |
CN116912489A (zh) * | 2023-06-26 | 2023-10-20 | 天津师范大学 | 一种基于傅里叶先验知识的医学图像分割方法和*** |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及*** |
CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
CN109919948A (zh) * | 2019-02-26 | 2019-06-21 | 华南理工大学 | 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法 |
CN110414674A (zh) * | 2019-07-31 | 2019-11-05 | 浙江科技学院 | 一种基于残差网络及局部细化的单目深度估计方法 |
CN110570431A (zh) * | 2019-09-18 | 2019-12-13 | 东北大学 | 一种基于改进的卷积神经网络的医学图像分割方法 |
EP3620986A1 (en) * | 2018-09-05 | 2020-03-11 | Sartorius Stedim Data Analytics AB | Computer-implemented method, computer program product and system for analysis of cell images |
US20200085382A1 (en) * | 2017-05-30 | 2020-03-19 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
EP3660785A1 (en) * | 2018-11-30 | 2020-06-03 | Laralab UG | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ |
CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
CN111598095A (zh) * | 2020-03-09 | 2020-08-28 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
US20210401392A1 (en) * | 2019-03-15 | 2021-12-30 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
-
2020
- 2020-10-27 CN CN202011168588.3A patent/CN112348839B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200085382A1 (en) * | 2017-05-30 | 2020-03-19 | Arterys Inc. | Automated lesion detection, segmentation, and longitudinal identification |
EP3620986A1 (en) * | 2018-09-05 | 2020-03-11 | Sartorius Stedim Data Analytics AB | Computer-implemented method, computer program product and system for analysis of cell images |
EP3660785A1 (en) * | 2018-11-30 | 2020-06-03 | Laralab UG | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ |
CN109886971A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像分割方法及*** |
CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
CN109919948A (zh) * | 2019-02-26 | 2019-06-21 | 华南理工大学 | 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法 |
US20210401392A1 (en) * | 2019-03-15 | 2021-12-30 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
CN110414674A (zh) * | 2019-07-31 | 2019-11-05 | 浙江科技学院 | 一种基于残差网络及局部细化的单目深度估计方法 |
CN110570431A (zh) * | 2019-09-18 | 2019-12-13 | 东北大学 | 一种基于改进的卷积神经网络的医学图像分割方法 |
CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
CN111598095A (zh) * | 2020-03-09 | 2020-08-28 | 浙江工业大学 | 一种基于深度学习的城市道路场景语义分割方法 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
Non-Patent Citations (1)
Title |
---|
接鑫;王瑶;郭丽红;: "基于卷积神经网络的脑MRI分割模型研究", 工业控制计算机, no. 08, 25 August 2020 (2020-08-25) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344939A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种基于细节保持网络的图像分割方法 |
CN113255601A (zh) * | 2021-06-29 | 2021-08-13 | 深圳市安软科技股份有限公司 | 一种车辆重识别模型的训练方法、***及相关设备 |
CN113255601B (zh) * | 2021-06-29 | 2021-11-12 | 深圳市安软科技股份有限公司 | 一种车辆重识别模型的训练方法、***及相关设备 |
CN116912489A (zh) * | 2023-06-26 | 2023-10-20 | 天津师范大学 | 一种基于傅里叶先验知识的医学图像分割方法和*** |
CN116912489B (zh) * | 2023-06-26 | 2024-06-21 | 天津师范大学 | 一种基于傅里叶先验知识的医学图像分割方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN112348839B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN112348839A (zh) | 一种基于深度学习的图像分割方法及*** | |
CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN109543623B (zh) | 一种基于核磁共振成像的胎儿发育状况预测装置 | |
CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能*** | |
CN111724397B (zh) | 一种颅脑ct图像出血区域自动分割方法 | |
CN109919915A (zh) | 基于深度学习的视网膜眼底图像异常区域检测方法及设备 | |
CN112259223B (zh) | 基于全视野数字切片的病人级别肿瘤智能诊断方法 | |
CN112420170B (zh) | 一种提高计算机辅助诊断***图片分类准确度的方法 | |
WO2021212715A1 (zh) | 精神***症分类识别方法、运行控制装置及医疗设备 | |
CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及*** | |
CN111461233A (zh) | 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置 | |
CN111696126A (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
CN110728666A (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其*** | |
CN115147404B (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
CN114998307A (zh) | 基于双分辨率网络的两阶段全3d腹部器官分割方法及*** | |
CN109215035A (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
CN113222944B (zh) | 细胞核分割方法及基于病理图像的癌症辅助分析***、装置 | |
CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
CN110084810A (zh) | 一种肺结节图像检测方法、模型训练方法、装置及存储介质 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN111275720B (zh) | 一种基于深度学习的全端到端小器官图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |