CN110020987B - 一种基于深度学习的医学影像超分辨率重建方法 - Google Patents
一种基于深度学习的医学影像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110020987B CN110020987B CN201910224792.3A CN201910224792A CN110020987B CN 110020987 B CN110020987 B CN 110020987B CN 201910224792 A CN201910224792 A CN 201910224792A CN 110020987 B CN110020987 B CN 110020987B
- Authority
- CN
- China
- Prior art keywords
- resolution
- data
- training
- medical image
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000004140 cleaning Methods 0.000 claims 1
- 238000002560 therapeutic procedure Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的医学图像超分辨率重建的方法，将医学图像直接输入到***中即可得到正确的超分辨率结果，通过大量的高质量医学图像数据来训练网络，采用在训练阶段引入了医学图像数据中病灶的位置信息，所述位置信息指病灶的中心坐标和尺寸或者病灶精细的边缘标注，通过加入这些先验信息，可以解决其他方法医学图像超分辨率网络训歪导致的超分辨率后的医学图像丢失了原本影像学意义的问题。
Description
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种基于深度学习的医学影像超分辨率重建方法。
背景技术
随着深度学***在一些场景下正在不断突破传统方法的瓶颈。图像超分辨率作为一种计算机视觉中的重要技术，同样蓬勃发展。自然场景下基于深度学习的超分辨率方法层出不穷，也衍生出了多种不同的网络设计模式，网络深度不断增加，特征复用能力不断增强，不同尺度下的PSNR指标也在不断上涨，在视频监控、视频复原、数字高清以及卫星图像等实际场景中有着广泛的应用。
由于医疗器械硬件的限制或者医疗影像拍摄时剂量的限制，超分辨率在医疗图像领域也有很大的发展空间，目前也有一些研究者将自然图像中的方法直接迁移到医学图像上，虽然在PSNR指标上和视觉效果好像也获得了一些提升，但是这中直接将自然图像中的方法迁移到更加严肃的医学图像上，并且不根据医学图像的具体特征进行相应调整的做法是存疑的。和自然图像不同，医学图像存在阳性区域(病灶)和阴性区域(正常组织)的问题，常规的自然图像图像超分辨率直接将图像分块训练的方法会由于阴阳数据极不平衡导致模型学歪到正常组织上去，这样会对具有影像学意义的医疗图像信息造成了破坏。并且PSNR作为一个图像全局信息信号层面的一个评价指标，仅用PSNR作为衡量医学图像超分辨率效果的评价指标也是不全面的，并不能评价真正重要的区域的超分辨率效果到底好不好，病灶区域的信号可能会被湮没在大量的正常组织区域信号中。
发明内容
本发明要解决的问题如背景技术中所提，本发明提供一种基于深度学习的医学影像超分辨率重建方法，主要内容为：
(1)针对医学图像特征，对医疗数据集的额外标注信息进行利用，提出新的数据集制作和训练策略，来解决阴阳样本不平衡的问题，后文将此方法简称为PN-samplebalance。
(2)由于目前并没有一个公认有效的医疗图像超分辨率重建效果评价指标，本发明提出使用CAD***结合PSNR联合评价医疗图像超分辨率重建效果的评价指标。
CAD***的引入可以弥补PSNR无法衡量超分辨率是否对医生真正关注的病灶区域进行了有效增强的缺陷。只有超分辨率技术向着正确的方向进行，PSNR的指标的提升也才具有意义。
与现有技术相对，本发明具有以下明显优势：
1、提出的PN-sample balance方法可以有效的保证模型训练稳定性，保证阴阳区域都能够得到一个较好平衡的学习效果。
2、提出的联合评价指标可以有效识别避免网络训歪时大部分阴性区域提升导致的整体PSNR提升的情况。能够确保医疗图像超分辨率效果的有效性。
附图说明：
图1为本发明流程图
图2为本发明使用的3D dense网络结构；
图3为本发明设计的Dense Block和Compressor的网络结构图；
图4validation PSNR表现，左图为现有方法，右图为本发明1所提出的方法；
图5为本发明2验证，CAD***效果对比图；
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合附图1-5以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明提供了一套基于深度学习的医学图像超分辨率重建的方法和***。将医学图像直接输入到***中即可得到正确的超分辨率结果。通过大量的高质量医学图像数据来训练网络，其中和其他方法不同的是我们在训练阶段引入了医学图像数据中病灶的位置信息，但测试时不需要，符合实际需求。此处位置信息指病灶的中心坐标和尺寸或者病灶精细的边缘标注。通过加入这些先验信息，我们可以解决其他方法医学图像超分辨率网络训歪导致的超分辨率后的医学图像丢失了原本影像学意义的问题，我们称此方法为PN-samplebalance方法。并且提出CAD***联合PSNR共同对医学影像超分辨率性能进行真正有效的评估，超分辨率方法应该在确保CAD***性能提升的前提下提升PSNR才有意义，如果超分辨率后的数据导致CAD***性能下降提升的PSNR也失去了意义，可能只是对一些无关区域进行了增强，而我们真正关心的病灶区域信息已经遭到了破坏，这也是PSNR的缺点，CAD***的引入可以有效弥补这一缺点。
本发明实施例中，步骤(1)主要包括：高质量医学图像的获取以及病灶位置信息的引入和处理。
具体的，步骤(1-1)，收集高质量的医学图像数据集，并对数据进行清洗，将数据集中较差的数据删除掉。由于我们的任务是超分辨率重建，所以z、y、x三个方向的高分辨率是我们考虑的首要因素，我们一般选择三个方向的spacing均小于1mm为高质量数据。Spacing的含义是医学图像中一个体素所包含的实际物理空间中的空间信息，三个方向的spacing越小则实际大小的物体将由更多的体素组成，也就是分辨率更高。并且我们需要收集数据中病灶的位置信息作为我们训练时额外考虑的先验信息。
步骤(1-2)，在收集好数据后我们要开始制作超分辨率训练数据集，为了更高的适用性，我们采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ILR)和高分辨率(IHR)数据对儿(data-pairs)。对病灶位置信息，我们通过Vo xel coords＝(World coords-Origin)/Spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息。坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)。Vo xel coords为医疗图像矩阵中对应的坐标，World coords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，spacing则为上文提到的一个体素所包含的空间信息。我们需要记录和我们所使用的图像匹配的Voxel coords，保存到内存中用于指导训练时的采样策略。
步骤(2)主要包网络的训练和优化。
具体的，步骤(2-1)不同于其他方法直接在训练前将数据切好块用于训练，我们采用位置信息指导的在线切块策略，在每次获取训练数据时根据人为设定的阴阳数据比例来产生随机数，假设我们认为阴阳比2∶1为一个合理的比值，则可以先产生随机数0，1，2，如果产生0，则去从步骤(1-2)中保存在内存中的阳性区域坐标信息中随机取一个坐标信息，并在空间每个维度中加入20个体素的扰动，将扰动后的坐标作为中心坐标，在步骤(1-2)中所述的低分辨率高分辨率数据对儿(ILR、IHRdata-pairs)中分别截取一个较大的数据块，此处“较大的数据块”指比正式训练时要大一些，增广后再切除多余的部分，防止训练数据在做完在线数据增广后导致边缘有padding的情况发生。经过对训练数据块进行：水平翻转，垂直翻转，前后翻转，平移，放缩，多角度旋转等随机增广操作后切除边缘多余部分到42*42*42(此处为3维数据，二维数据则为42*42)的尺寸用于网络训练。若随机数为1或者2，则在图像中随机有效位置采样，然后进行于阳性区域相同的切块增广操作，用于训练。
步骤(2-2)，将步骤(1-2)中采样得到的满足阴阳比例的一批数据块送入后续的网络中去进行训练。得到超分辨率后的重建的高分辨率图像(ISR)，将得到的ISR和作为金标准的IHR进行MSE loss
计算重建损失，再通过反向传播算法(back propagation)优化网络参数。式中i，j，k分别为三个方向的坐标序号。在训练平稳后选取合适的超分辨率网络模型为后续使用。
此处网络我们使用性能优秀的densenet的密集连接的方式来设计网络，对低层高层特征进行复用融合，以达到更好的结果，如图2所示，并且同样性能下使用的参数量更小，能够对有限参数的表征能力进行最大化的开发，如图3所示为我们的dense block和compressor的基本结构，dense block为dense连接方式，完成主要的特征提取工作，compressor主要在其中起到数据降维的效果，因为3D数据非常容易造成显存的不足。
至此我们的第一个发明点陈述完毕，在没有涉及我们第二个发明点时，即超分网络是否正确对医学图像进行增强，仅仅在PSNR指标上我们也超过了传统的训练方法很多，图4为我们已有的结果对比。即不考虑医学图像中存在的阴阳样本不平衡问题虽也有较大提升，但性能有限。并且在本发明2中可以发现现存超分方法存在的问题。
步骤3，将现有超分辨率方法在本发明2上进行验证，验证超分辨率方法的切实有效性。同时可以验证本发明1的有效性。注意，本发明2均在实际数据上进行了验证，即实验中使用的低分辨率数据是真实采集的低分辨率数据，而非人造的通过采样得到的假的低分辨率数据。其中：
步骤(3-1)，先在不经过任何超分操作的数据上进行CAD***的训练和测试，作为这批数据所能达到的性能的baseline。
步骤(3-2)使用我们步骤(2)中训练的模型将真实的低分辨率数据进行超分操作进行增强得到ISR，并使用ISR代替原始的低分辨率数据，按照相同的参数训练CAD***算法，得到本发明1的性能指标。
步骤(3-3)使用步骤(2)中除本发明1中的阴阳平衡方法外，其他均相同的配置，进行训练，作为已有方法的代表。
步骤(3-4)对三次实验进行对比，发现现有的超分方法会导致大量假阳性的出现，也就意味着影响中的医学信息已被破坏。而本发明1中的方法则可以有效避免此问题，并且性能获得了提升，如图5所示。
步骤(3-5)综上说明本发明2可以找出现有超分方法存在的错误学习的问题，能够更全面的评价医学图像超分辨率的性能。而本发明1则可以有效解决上述问题，正确的对医学影像特征进行学习，从而达到正确提升医学图像质量的效果。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (1)
1.一种基于深度学习的医学影像超分辨率重建方法，其特征在于，包括：
步骤1、高质量医学图像的获取
步骤(1-1)、收集高质量的医学图像数据集，并对数据进行清洗；
步骤(1-2)，制作超分辨率训练数据集，采用多尺度同时训练的方式，首先对高质量数据集在三个方向中的目标方向上进行相应尺度的下采样操作，再通过双三次插值方法或者三次样条法插值到原始分辨率，作为模拟的低分辨率的数据，和原始数据组成低分辨率(ILR)和高分辨率(IHR)数据对儿(data-pairs)，对病灶位置信息，通过Voxel coords＝(World coords-Origin)/Spacing来将真实的坐标信息转化为和三维图像匹配的voxel坐标信息；坐标根据具体的医疗图像的维度具体分为二维坐标(y，x)或三维坐标(z，y，x)，Voxel coords为医疗图像矩阵中对应的坐标，World coords为病灶的世界坐标系，origin为拍摄仪器的坐标原点，Spacing的含义是医学图像中一个体素所包含的实际物理空间中的空间信息；
步骤2、病灶位置信息的引入和处理
步骤(2-1)、在训练前将数据切好块用于训练，采用位置信息指导的在线切块策略，在每次获取训练数据时根据人为设定的阴阳数据比例来产生随机数，假设阴阳比为2:1，则可以先产生随机数0，1，2，如果产生0，则去从步骤(1-2)中保存在内存中的阳性区域坐标信息中随机取一个坐标信息，并在空间每个维度中加入20个体素的扰动，将扰动后的坐标作为中心坐标，在步骤(1-2)中所述的低分辨率(ILR)和高分辨率(IHR)数据对儿(data-pairs)中分别截取一个较大的数据块；经过对训练数据块进行：水平翻转、垂直翻转、前后翻转、平移、放缩、多角度旋转随机增广操作后切除边缘多余部分到42*42*42的尺寸用于网络训练；若随机数为1或者2，则在图像中随机有效位置采样，然后进行于阳性区域相同的切块增广操作，用于训练；
步骤(2-2)、将步骤(1-2)中采样得到的满足阴阳比例的数据块送入后续的网络中去进行训练，得到超分辨率后的重建的高分辨率图像(ISR)，将得到的ISR和作为金标准的IHR进行MSE loss计算重建损失
再通过反向传播算法(back propagation)优化网络参数，其中，i、j、k分别为三个方向的坐标序号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910224792.3A CN110020987B (zh) | 2019-03-24 | 2019-03-24 | 一种基于深度学习的医学影像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910224792.3A CN110020987B (zh) | 2019-03-24 | 2019-03-24 | 一种基于深度学习的医学影像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110020987A CN110020987A (zh) | 2019-07-16 |
| CN110020987B true CN110020987B (zh) | 2023-06-30 |
Family
ID=67189877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910224792.3A Active CN110020987B (zh) | 2019-03-24 | 2019-03-24 | 一种基于深度学习的医学影像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020987B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610459A (zh) * | 2019-09-17 | 2019-12-24 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 图像处理方法及装置 |
| CN111192255B (zh) * | 2019-12-30 | 2024-04-26 | 上海联影智能医疗科技有限公司 | 指标检测方法、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654425A (zh) * | 2015-12-07 | 2016-06-08 | 天津大学 | 一种应用于医学x光图像的单幅图像超分辨率重建方法 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2019
- 2019-03-24 CN CN201910224792.3A patent/CN110020987B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654425A (zh) * | 2015-12-07 | 2016-06-08 | 天津大学 | 一种应用于医学x光图像的单幅图像超分辨率重建方法 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘蓬博.基于深度学习的医学图像增强算法的研究.《中国优秀硕士学位论文全文数据库》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110020987A (zh) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Super-resolution of real-world rock microcomputed tomography images using cycle-consistent generative adversarial networks | |
| CN111105352B (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
| Liu et al. | Trident dehazing network | |
| Zhang et al. | Light-field depth estimation via epipolar plane image analysis and locally linear embedding | |
| Ma et al. | Image retargeting quality assessment: A study of subjective scores and objective metrics | |
| US20120313937A1 (en) | Coupled reconstruction of hair and skin | |
| SG188646A1 (en) | Multi-view ray tracing using edge detection and shader reuse | |
| CN110020987B (zh) | 一种基于深度学习的医学影像超分辨率重建方法 | |
| TWI331731B (en) | Method of utilizing multi-view images to solve occlusion problem for photorealistic model reconstruction | |
| CN112802046B (zh) | 基于深度学习从多序列mr中生成伪ct的影像生成*** | |
| CN114972332B (zh) | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 | |
| Xu et al. | Quality assessment of stereoscopic 360-degree images from multi-viewports | |
| TW201123076A (en) | Three-dimensional display method of medical images | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| Dai et al. | High-quality surface reconstruction using gaussian surfels | |
| Shen et al. | Depth map enhancement method based on joint bilateral filter | |
| Zhuang et al. | Spdet: Edge-aware self-supervised panoramic depth estimation transformer with spherical geometry | |
| CN111145280B (zh) | 一种oct图像散斑抑制方法 | |
| Fu et al. | ADGAN: An asymmetric despeckling generative adversarial network for unpaired OCT image speckle noise reduction | |
| Sahasrabudhe et al. | Structured spatial domain image and data comparison metrics | |
| CN110322548B (zh) | 一种基于几何图像参数化的三维网格模型生成方法 | |
| JP4082718B2 (ja) | 画像認識方法および画像表示方法および画像認識装置 | |
| Li et al. | A Bayesian approach to uncertainty-based depth map super resolution | |
| CN115311135A (zh) | 一种基于3dcnn的各向同性mri分辨率重建方法 | |
| Zhang et al. | Light field occlusion removal network via foreground location and background recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |