CN114708353B - 图像重建方法、装置、电子设备与存储介质 - Google Patents
图像重建方法、装置、电子设备与存储介质 Download PDFInfo
- Publication number
- CN114708353B CN114708353B CN202210628118.3A CN202210628118A CN114708353B CN 114708353 B CN114708353 B CN 114708353B CN 202210628118 A CN202210628118 A CN 202210628118A CN 114708353 B CN114708353 B CN 114708353B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- training
- sample
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 243
- 230000001537 neural effect Effects 0.000 claims abstract description 124
- 238000006243 chemical reaction Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 6
- 238000002610 neuroimaging Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能技术领域，提供一种图像重建方法、装置、电子设备与存储介质，通过确定待重建的神经影像，将神经影像输入至图像重建模型，得到神经影像的重建结果。采用的图像重建模型通过第一样本神经影像及其对应的样本重建结果对目标预训练模型进行训练得到，目标预训练模型则是通过对比学习无监督预训练、跨模态影像转换有监督预训练以及图像重建无监督预训练这三种预训练方式训练得到，避免了模型出现过拟合的问题，极大提升了模型在图像重建任务上的性能与泛化性，在此基础上，应用图像重建模型对输入的神经影像进行重建，能够极大提升重建结果的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像重建方法、装置、电子设备与存储介质。
背景技术
图像重建任务是指对存在部分缺失、伪影、分辨率较低等有缺陷的图像进行修复，该任务通常通过神经网络模型实现。
目前，基于迁移学习的图像重建模型大多采用单一预训练任务结合微调的常规训练方式训练得到。然而，对于脑部神经影像重建任务来说，数据集规模通常较小，仅有几十例或几百例数据量使得常规训练方式容易出现过拟合的问题，从而导致图像重建模型的性能较差。
发明内容
本发明提供一种图像重建方法、装置、电子设备与存储介质，用以解决现有技术神经影像的图像重建模型的训练方式容易出现过拟合的缺陷。
本发明提供一种图像重建方法，包括：
确定待重建的神经影像；
将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练。
根据本发明提供的一种图像重建方法，所述基于第二样本神经影像的对比学习无监督预训练，包括如下步骤：
基于所述第二样本神经影像，构建正样本对和负样本对；
将所述正样本对中的各个影像输入至第一待训练模型，得到所述第一待训练模型输出的所述正样本对对应的各个特征向量；所述第一待训练模型基于所述初始模型确定；
将所述负样本对中的各个影像输入至所述第一待训练模型，得到所述第一待训练模型输出的所述负样本对对应的各个特征向量；
以所述正样本对对应的各个特征向量的一致性，以及所述负样本对对应的各个特征向量的差异性为目标，对所述第一待训练模型进行训练。
根据本发明提供的一种图像重建方法，所述基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练，包括如下步骤：
将所述第三样本神经影像输入至第二待训练模型，得到所述第二待训练模型输出的转换影像；所述第二待训练模型基于所述初始模型确定；
计算所述转换影像与所述目标模态影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第二待训练模型进行训练。
根据本发明提供的一种图像重建方法，所述基于第四样本神经影像的图像重建无监督预训练，包括如下步骤：
基于图像重建任务信息，对所述第四样本神经影像进行预处理，得到预处理结果；
将所述预处理结果输入至第三待训练模型，得到所述第三待训练模型输出的预测影像；所述第三待训练模型基于所述初始模型确定；
计算所述预测影像与所述第四样本神经影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第三待训练模型进行训练。
根据本发明提供的一种图像重建方法，所述初始模型基于第一初始网络和/或第二初始网络构建。
根据本发明提供的一种图像重建方法，所述图像重建模型包括第一编码器、线性展平层、第二编码器及多层感知器；
所述第一编码器对应于所述第一初始网络中的第一初始编码器；
所述线性展平层、所述第二编码器以及所述多层感知器分别对应于所述第二初始网络中的初始线性展平层、第二初始编码器以及初始多层感知器；
所述第一编码器、所述线性展平层、所述第二编码器以及所述多层感知器依次连接。
根据本发明提供的一种图像重建方法，所述神经影像为多模态神经影像。
本发明还提供一种图像重建装置，包括：
确定单元，用于确定待重建的神经影像；
重建单元，用于将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的图像重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的图像重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的图像重建方法。
本发明提供的图像重建方法、装置、电子设备与存储介质，通过确定待重建的神经影像，将神经影像输入至图像重建模型，得到神经影像的重建结果。采用的图像重建模型通过第一样本神经影像及其对应的样本重建结果对目标预训练模型进行训练得到，目标预训练模型则是通过对比学习无监督预训练、跨模态影像转换有监督预训练以及图像重建无监督预训练这三种预训练方式训练得到，避免了模型出现过拟合的问题，极大提升了模型在图像重建任务上的性能与泛化性，在此基础上，应用图像重建模型对输入的神经影像进行重建，能够极大提升重建结果的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像重建方法的流程示意图；
图2是本发明提供的图像重建模型的训练流程示意图；
图3是本发明提供的图像重建模型的网络结构示意图；
图4是本发明提供的图像重建装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，基于深度学习的神经影像重建技术是基于神经网络模型的，模型输入为存在部分缺失、伪影和低分辨率等现象的需要重建的图像，模型输出为重建后的神经影像，例如：缺失部分补全，去掉伪影和高分辨率的神经影像。模型训练时采用的数据一般通过对质量较好的神经影像人为遮罩（即合成部分缺失图像）、添加伪影（即合成伪影图像）、下采样（即合成低分辨率图像）等方式处理得到，模型训练时的预测目标即为未经处理的无缺陷的原始影像。
已有的应用于图像重建任务的神经影像的神经网络模型的预训练方法大多基于对比学习或图像重建方法，都属于无监督方法，且局限于单一的预训练任务。这将导致最后微调得到的神经网络模型的图像重建性能较差。而且，已有的神经网络模型预训练时所使用的预训练数据集规模较小，限制了预训练方法对神经网络模型的性能提升。
基于此，本发明实施例中提供了一种图像重建方法。
图1是本发明提供的图像重建方法的流程示意图，如图1所示，该方法包括：
S11，确定待重建的神经影像；
S12，将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练。
具体地，本发明实施例中提供的图像重建方法，其执行主体为图像重建装置，该装置可以配置于服务器内，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机等，本发明实施例中对此不作具体限定。
首先执行步骤S11，确定待重建的神经影像。其中，待重建的神经影像是指需要进行重建的三维神经影像，可以是部分缺失图像、伪影图像或低分辨率图像等，此处不作具体限定。
然后执行步骤S12，将该神经影像输入至图像重建模型，通过图像重建模型对神经影像进行分析，得到并输出神经影像的重建结果。该重建结果可以是部分缺失图像对应的完整图像、伪影图像对应的去伪影图像或低分辨率图像对应的高分辨率图像等。
考虑到无监督预训练方法可以充分利用大量的无标签（label）神经影像数据，从神经影像数据中抽取更好的表征能力，提升下游任务的性能，对此，本发明实施例中引入无监督预训练过程，可以包括对比学习无监督预训练以及图像重建无监督预训练，从而能够有效利用无标签大数据集，提高神经影像的表征学习能力，进而可以提升模型在重建任务上的性能与泛化性，同时能够降低对于有标签数据集的依赖性，节省数据的标注成本。
此外，考虑到基于单一预训练任务的预训练方式对模型重建性能的提升效果有限，本发明实施例中采用无监督和有监督融合的多阶段式预训练策略，在对比学习无监督预训练以及图像重建无监督预训练的基础上，引入跨模态影像转换有监督预训练，可以进一步提升模型在重建任务上的性能与泛化性。
基于此，本发明实施例中的目标预训练模型是在初始模型的基础上，采用如下三种预训练方式联合训练得到的：一）基于第二样本神经影像的对比学习无监督预训练；二）基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；三）基于第四样本神经影像的图像重建无监督预训练。初始模型可以采用单一的神经网络，也可以采用多个神经网络的组合，本发明实施例对此不作具体限定。此处，涉及的神经网络可以包括ResNet、Inception等卷积神经网络（Convolutional Neural Network，CNN）、Transformer等，即初始模型即可以是单一的CNN或Transformer，也可以是CNN与Transformer相结合的模型，此处不作具体限定。
上述三种预训练方式以串行方式对初始模型先后进行预训练，三种预训练方式的执行顺序可以根据需要进行设置，例如可以按先后顺序依次执行预训练方式一）、二）以及三），也可以按先后顺序依次执行预训练方式二）、一）以及三），或者按先后顺序依次执行预训练方式三）、一）以及二），此处三种预训练方式的执行顺序不做具体限定。
以下仅以按先后顺序依次执行预训练方式一）、二）以及三）为例进行说明，其他执行顺序则不再赘述。此时，可以先通过第二样本神经影像，对初始模型进行对比学习无监督预训练，得到第一预训练模型，然后，在第一预训练模型的基础上添加特定于跨模态影像转换任务的层，并应用第三样本神经影像及其对应的目标模态影像进行训练，从而得到第二预训练模型。随即，在第二预训练模型的基础上添加特定于图像重建任务的层，并应用第四样本神经影像进行训练，得到第三预训练模型。最后，通过第一样本神经影像及其对应的样本重建结果对第三预训练模型进行微调，即可得到最终的图像重建模型。
可以理解的是，此处的第三预训练模型即为目标预训练模型。本发明实施例中采用的第一样本神经影像、第二样本神经影像、第三样本神经影像以及第四样本神经影像可以取自于同一样本神经影像集合，此处不作具体限定。
需要说明的是，图像重建模型采用无监督和有监督融合的多阶段式预训练策略得到，并在有监督预训练阶段引入跨模态影像转换有监督预训练，从而极大促进了模型学习到泛化性更强的特征表示，多阶段式预训练策略可以缓解模型在单一预训练任务上所出现的过拟合问题，进而极大提升了模型在图像重建任务上的性能与泛化性，在此基础上，应用图像重建模型对输入的神经影像进行重建，从而能够得到较为准确的神经影像的重建结果。
本发明实施例提供的图像重建方法，首先确定待重建的神经影像；然后将神经影像输入至图像重建模型，得到神经影像的重建结果。采用的图像重建模型通过第一样本神经影像及其对应的样本重建结果对目标预训练模型进行训练得到，目标预训练模型则是通过对比学习无监督预训练、跨模态影像转换有监督预训练以及图像重建无监督预训练这三种预训练方式训练得到，从而节省了数据的标注成本，同时避免了模型出现过拟合的问题，极大提升了模型在图像重建任务上的性能与泛化性，在此基础上，应用图像重建模型对输入的神经影像进行重建，能够极大提升重建结果的准确性。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述基于第二样本神经影像的对比学习无监督预训练，包括如下步骤：
基于所述第二样本神经影像，构建正样本对和负样本对；
将所述正样本对中的各个影像输入至第一待训练模型，得到所述第一待训练模型输出的所述正样本对对应的各个特征向量；所述第一待训练模型基于所述初始模型确定；
将所述负样本对中的各个影像输入至所述第一待训练模型，得到所述第一待训练模型输出的所述负样本对对应的各个特征向量；
以所述正样本对对应的各个特征向量的一致性，以及所述负样本对对应的各个特征向量的差异性为目标，对所述第一待训练模型进行训练。
具体地，为了从无标签大数据集中学习潜在空间的表征，保证同类数据的表征尽量相似，异类数据的表征尽量不同，以利用学习到的表征能力来提升模型在下游任务上的性能表现，本发明实施例采用对比学习算法，对第一待训练模型进行对比学习无监督预训练，从而得到第一预训练模型。此处，第一待训练模型是指对比学习无监督预训练的训练对象，可以基于初始模型确定，具体与上述三种预训练方式的执行顺序有关。当按先后顺序依次执行预训练方式一）、二）以及三）时，该第一待训练模型为初始模型。
对比学习无监督预训练的具体过程可以如下：
首先，对原始的第二样本神经影像进行一定的旋转、翻转、颜色变换、模糊等数据增强操作，根据增强处理后的影像构建正样本对和负样本对，正样本对为来自相同的样本神经影像的两个影像，负样本对为来自不同的样本神经影像的两个影像；将正样本对中的每个影像输入到第一待训练模型中，得到第一待训练模型输出的每个影像的特征向量，由此即可得到正样本对对应的两个特征向量；将负样本对中的每个影像输入到第一待训练模型中，得到第一待训练模型输出的每个影像的特征向量，由此即可得到负样本对对应的两个特征向量；
在此基础上，可以将正样本对对应的两个特征向量之间的一致性，以及负样本对对应的两个特征向量之间的差异性作为目标，对第一待训练模型进行训练，即在训练过程中结合正样本对对应的两个特征向量之间的一致性的损失，以及负样本对对应的两个特征向量之间的差异性的损失，来更新第一待训练模型的参数，最终得到第一预训练模型。
本发明实施例中，在对比学习无监督预训练过程中，模型能够学习到不同样本神经影像间底层语义信息差异性，提取到的特征在各种下游任务中有较强的通用性。同时，与需要使用标签信息的有监督学习预训练相比，在第二样本神经影像上应用对比学习无监督预训练的成本更低，不需要额外的标签或其他模态等信息，仅需要样本神经影像本身即可进行。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练，包括如下步骤：
将所述第三样本神经影像输入至第二待训练模型，得到所述第二待训练模型输出的转换影像；所述第二待训练模型基于所述初始模型确定；
计算所述转换影像与所述目标模态影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第二待训练模型进行训练。
具体地，本发明实施例中，在跨模态影像转换有监督预训练时，首先将第三样本神经影像输入至第二待训练模型，第二待训练模型对第三样本神经影像进行模态转换，得到并输出第三样本神经影像对应的转换影像。该第二待训练模型是指跨模态影像转换有监督预训练的训练对象，可以基于初始模型确定，具体与上述三种预训练方式的执行顺序有关。当按先后顺序依次执行预训练方式一）、二）以及三）时，该第二待训练模型为经对比学习无监督预训练得到的第一预训练模型。
此后，可以计算转换影像与第三样本神经影像对应的目标模态影像的逐体素均方误差，并可以以逐体素均方误差为目标，对第二待训练模型进行训练。即可以将逐体素均方误差作为损失函数，用以优化第二待训练模型的结构，更新第二待训练模型的参数，进而实现对第二待训练模型的训练，得到第二预训练模型。
本发明实施例中，能够使第二待训练模型在跨模态转换的过程中学习到不同模态间的关系，同时跨模态转换任务可以一定程度上视作将其他模态的信息以标签的形式提供给了模型。
此外，在跨模态影像转换有监督预训练的过程中，如果得到的第二预训练模型对影像模态的转换效果较好，可以将第二预训练模型的输出用于对第一样本神经影像进行扩充，以达到扩充第一样本神经影像的模态种类的目的，为最终的图像重建模型进行图像重建提供更多模态信息。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述基于第四样本神经影像的图像重建无监督预训练，包括如下步骤：
基于图像重建任务信息，对所述第四样本神经影像进行预处理，得到预处理结果；
将所述预处理结果输入至第三待训练模型，得到所述第三待训练模型输出的预测影像；所述第三待训练模型基于所述初始模型确定；
计算所述预测影像与所述第四样本神经影像的逐体素均方误差，并以所述逐体素均方误差为目标，对第三待训练模型进行训练。
具体地，本发明实施例中在进行图像重建无监督预训练时，可以是通过第四样本神经影像，对第三待训练模型进行训练。该第三待训练模型可以是图像重建无监督预训练的训练对象，可以基于初始模型确定，具体与上述三种预训练方式的执行顺序有关。当按先后顺序依次执行预训练方式一）、二）以及三）时，该第三待训练模型为经跨模态影像转换有监督预训练得到的第二预训练模型。
由于第四样本神经影像通常是作为重建目标，因此在训练之前可以先基于图像重建任务信息，对第四样本神经影像进行预处理，得到预处理结果。图像重建任务信息是指图像重建任务的具体类型，例如可以是超分辨率图像重建任务、部分缺失图像重建任务以及伪影修复等。预处理方式可以根据图像重建任务信息进行选取，例如，若图像重建任务信息是超分辨率图像重建任务，则预处理方式可以是对第四样本神经影像进行下采样；若图像重建任务信息为部分缺失图像重建任务，则预处理方式可以是在第四样本神经影像中随机选取若干个点作为中心点，以上述中心点为中心分别遮罩随机大小的立方体；若图像重建任务信息为伪影修复，则预处理方式可以为对第四样本神经影像进行模糊等处理以模拟伪影。
由此可知，预处理操作的目的是为第三待训练模型提供训练样本，预处理结果即为需要重建的样本神经影像。进而，在预处理操作之后，可以将预处理结果输入至第三待训练模型，由第三待训练模型得到并输出该预处理结果对应的预测影像。
此后，可以计算预测影像与第四样本神经影像的逐体素均方误差，并以逐体素均方误差为目标，对第三待训练模型进行训练。即可以将逐体素均方误差作为损失函数，用以优化第三待训练模型的结构，更新第三待训练模型的参数，进而实现对第三待训练模型的训练，得到第三预训练模型。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述第一样本神经影像基于图像重建任务信息，对样本重建结果进行预处理得到，该样本重建结果可以是人为从目标数据集中选取的重建目标。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述初始模型基于第一初始网络和/或第二初始网络构建。
具体地，本发明实施例中，初始模型可以基于单一的第一初始网络或第二初始网络构建，第一初始网络可以采用ResNet、Inception等主流的CNN网络架构进行构建，第二初始网络可以采用Transformer构建。
考虑到单一的神经网络作为初始模型存在缺陷和局限性，例如CNN提取局部位置信息的能力强，但是不易于对长距离信息进行建模。基于此，初始模型也可以结合第一初始网络以及第二初始网络共同构建，即初始模型可以是CNN与Transformer结合的模型。
本发明实施例提供的方法，通过使用CNN与Transformer结合的模型，兼顾了CNN擅长提取局部信息与Transformer擅长提取全局信息的特点，其性能优于仅用CNN或仅用Transformer模型架构。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，所述图像重建模型包括第一编码器、线性展平层、第二编码器及多层感知器；
所述第一编码器对应于所述第一初始网络中的第一初始编码器；
所述线性展平层、所述第二编码器以及所述多层感知器分别对应于所述第二初始网络中的初始线性展平层、第二初始编码器以及初始多层感知器；
所述第一编码器、所述线性展平层、所述第二编码器以及所述多层感知器依次连接。
具体地，本发明实施例中，初始模型可以基于第一初始网络以及第二初始网络构建，第一初始网络可以包括第一初始编码器，第二初始网络可以包括初始线性展平层、第二初始编码器及初始多层感知器。初始模型可以通过第一初始编码器、初始线性展平层、第二初始编码器及初始多层感知器顺次拼接得到。
进而，在对初始模型进行预训练得到目标预训练模型、对目标预训练模型进行训练得到图像重建模型的整个过程中，对第一初始网络以及第二初始网络进行联合训练，分别得到第一网络和第二网络，并将第一网络中的第一编码器结合第二网络中的线性展平层、第二编码器及多层感知器构成图像重建模型。
在上述实施例的基础上，本发明实施例中提供的图像重建方法，考虑到不同模态的神经影像包含的信息不一样，待重建的神经影像可以是多模态神经影像，从而可以通过采用多模态融合策略，引入更多的数据模态，进而可以使得图像重建模型利用不同模态提供的互补信息，进一步提升图像重建模型的重建表现。对应地，用于训练模型的各类样本神经影像也可以是多模态的样本神经影像。
此处，多模态神经影像例如可以是CT（Computed Tomography，计算机断层扫描），MRI（Magnetic Resonance Imaging，磁共振成像）等方式得到的脑部神经影像，本发明实施例对此不作具体限定。
图2为本发明实施例中提供的图像重建装置的完整训练流程示意图，如图2所示，该流程包括：
S21，采用对比学习无监督预训练的训练方式得到第一预训练模型：
在大规模神经影像数据集上对初始模型进行对比学习无监督预训练，对原始的第
二样本神经影像进行一定的旋转、翻转、颜色变换、模糊等数据增强操作，根据增强处理后
的影像构建正样本对和负样本对，正样本对为来自相同的第二样本神经影像的样本对，负
样本对为来自不同的第二样本神经影像的样本对，训练过程中，每次取样本对中的两个影
像分别输入到初始模型，初始模型针对每个输入的影像输出一个长度相同的特征向量，计
算两个特征向量的余弦距离
，不同的是，针对于正样本对，将
作为其损失函数值
（loss），针对于负样本对，将
作为其loss。
S22、采用跨模态影像转换有监督预训练的训练方式得到第二预训练模型：
在大规模神经影像数据集上对第一预训练模型进行跨模态图像转换有监督预训练，即将大规模神经影像数据集上与第三样本神经影像相同模态的神经影像作为第一预训练模型的输入，第一预训练模型的输出为输入影像对应的其他模态影像，此处是期望第一预训练模型能够将一种或几种模态的神经影像转换为目标模态的神经影像。在训练过程中，可以将第一预训练模型得到的转换影像与目标模态的神经影像的逐体素均方误差作为loss用于优化第一预训练模型的网络结构，进而得到第二预训练模型。
S23、采用图像重建无监督预训练的训练方式得到第三预训练模型：
在大规模神经影像数据集上对第二预训练模型进行图像重建无监督预训练，根据图像重建任务信息，可以对第四神经影像进行不同的预处理。在该过程中，依然可以采用预测影像与第四样本神经影像的逐体素均方误差作为损失函数值，对第二预训练模型进行训练，得到第三预训练模型；
S24、在下游任务上对第三预训练模型，即目标预训练模型进行微调，得到图像重建模型：
可以将第三预训练模型应用于下游任务中进行微调训练，例如，可以应用于图像重建任务中，在第三预训练模型的基础上添加特定于图像分类任务的层，并应用第一样本神经影像及其对应的样本重建结果进行训练，最终即可得到微调后的图像重建模型。由于第三预训练模型已在原始数据上收敛，此时应设置较小学习率（例如≤0.0001）在第一样本神经影像上进行训练。
图3是本发明提供的图像重建模型的网络结构示意图，如图3所示，在图像重建模
型的应用过程中，可以将待重建的多模态的神经影像
（通道、高度、宽度和深度分别为C、H、
W和D）输入到图像重建模型中，由第一网络（3D CNN）的第一编码器对该神经影像进行特征
提取，得到特征图
（通道、高度、宽度和深度分别为
、
、
和
），第二网络
（Transformer）的线性展平层（Linear Flatten）对特征图
分成的各个patch进行Flatten
操作，映射得到各个patch向量（Patch Embedding）以及对应的位置编码（Position
Encoding），再将各个patch向量及其对应的位置编码以序列形式输入到第二网络的第二编
码器中，得到第二编码器输出的各个编码向量，再由共享的多层感知器的头（Multilayer
Perceptron Head，MLP Head）分别对特征图
对应的各个patch向量进行映射，最终将特征
图
转换为重建结果。图3中Patch Embedding用无标号的小圆圈表示，Position Encoding
用带有1-N标号的小圆圈表示。
综上所述，本发明实施例提供的图像重建方法，使用无监督和有监督融合的多阶段式预训练策略，引入对比学习无监督预训练、跨模态影像转换有监督预训练以及图像重建无监督预训练等多个预训练任务，能够有效利用无标签大数据集，提升图像重建模型在下游任务上的性能与泛化性，提高神经影像的表征学习能力。
如图4所示，在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，包括：
确定单元41，用于确定待重建的神经影像；
重建单元42，用于将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，还包括第一预训练模块，用于：
基于所述第二样本神经影像，构建正样本对和负样本对；
将所述正样本对中的各个影像输入至第一待训练模型，得到所述第一待训练模型输出的所述正样本对对应的各个特征向量；所述第一待训练模型基于所述初始模型确定；
将所述负样本对中的各个影像输入至所述第一待训练模型，得到所述第一待训练模型输出的所述负样本对对应的各个特征向量；
以所述正样本对对应的各个特征向量的一致性，以及所述负样本对对应的各个特征向量的差异性为目标，对所述第一待训练模型进行训练。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，还包括第二预训练模块，用于：
将所述第三样本神经影像输入至第二待训练模型，得到所述第二待训练模型输出的转换影像；所述第二待训练模型基于所述初始模型确定；
计算所述转换影像与所述目标模态影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第二待训练模型进行训练。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，还包括第三预训练模块，用于：
基于图像重建任务信息，对所述第四样本神经影像进行预处理，得到预处理结果；
将所述预处理结果输入至第三待训练模型，得到所述第三待训练模型输出的预测影像；所述第三待训练模型基于所述初始模型确定；
计算所述预测影像与所述第四样本神经影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第三待训练模型进行训练。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，所述初始模型基于第一初始网络和/或第二初始网络构建。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，所述图像重建模型包括第一编码器、线性展平层、第二编码器及多层感知器；
所述第一编码器对应于所述第一初始网络中的第一初始编码器；
所述线性展平层、所述第二编码器以及所述多层感知器分别对应于所述第二初始网络中的初始线性展平层、第二初始编码器以及初始多层感知器；
所述第一编码器、所述线性展平层、所述第二编码器以及所述多层感知器依次连接。
在上述实施例的基础上，本发明实施例中提供了一种图像重建装置，所述神经影像为多模态神经影像。
具体地，本发明实施例中提供的图像重建装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器（Processor）510、通信接口（Communications Interface）520、存储器（Memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各实施例中提供的图像重建方法，该方法包括：确定待重建的神经影像；将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：基于第二样本神经影像的对比学习无监督预训练；基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；基于第四样本神经影像的图像重建无监督预训练。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的图像重建方法，该方法包括：确定待重建的神经影像；将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：基于第二样本神经影像的对比学习无监督预训练；基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；基于第四样本神经影像的图像重建无监督预训练。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的图像重建方法，该方法包括：确定待重建的神经影像；将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：基于第二样本神经影像的对比学习无监督预训练；基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；基于第四样本神经影像的图像重建无监督预训练。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种图像重建方法，其特征在于，包括：
确定待重建的神经影像；
将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练；
所述基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练，包括如下步骤：
将所述第三样本神经影像输入至第二待训练模型，得到所述第二待训练模型输出的转换影像；所述第二待训练模型基于所述初始模型确定；
计算所述转换影像与所述目标模态影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第二待训练模型进行训练。
2.根据权利要求1所述的图像重建方法，其特征在于，所述基于第二样本神经影像的对比学习无监督预训练，包括如下步骤：
基于所述第二样本神经影像，构建正样本对和负样本对；
将所述正样本对中的各个影像输入至第一待训练模型，得到所述第一待训练模型输出的所述正样本对对应的各个特征向量；所述第一待训练模型基于所述初始模型确定；
将所述负样本对中的各个影像输入至所述第一待训练模型，得到所述第一待训练模型输出的所述负样本对对应的各个特征向量；
以所述正样本对对应的各个特征向量的一致性，以及所述负样本对对应的各个特征向量的差异性为目标，对所述第一待训练模型进行训练。
3.根据权利要求1所述的图像重建方法，其特征在于，所述基于第四样本神经影像的图像重建无监督预训练，包括如下步骤：
基于图像重建任务信息，对所述第四样本神经影像进行预处理，得到预处理结果；
将所述预处理结果输入至第三待训练模型，得到所述第三待训练模型输出的预测影像；所述第三待训练模型基于所述初始模型确定；
计算所述预测影像与所述第四样本神经影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第三待训练模型进行训练。
4.根据权利要求1所述的图像重建方法，其特征在于，所述初始模型基于第一初始网络和/或第二初始网络构建。
5.根据权利要求4所述的图像重建方法，其特征在于，所述图像重建模型包括第一编码器、线性展平层、第二编码器及多层感知器；
所述第一编码器对应于所述第一初始网络中的第一初始编码器；
所述线性展平层、所述第二编码器以及所述多层感知器分别对应于所述第二初始网络中的初始线性展平层、第二初始编码器以及初始多层感知器；
所述第一编码器、所述线性展平层、所述第二编码器以及所述多层感知器依次连接。
6.根据权利要求1至5中任一项所述的图像重建方法，其特征在于，所述神经影像为多模态神经影像。
7.一种图像重建装置，其特征在于，包括：
确定单元，用于确定待重建的神经影像；
重建单元，用于将所述神经影像输入至图像重建模型，得到所述图像重建模型输出的所述神经影像的重建结果；
其中，所述图像重建模型是在目标预训练模型的基础上，基于第一样本神经影像及其对应的样本重建结果训练得到的，所述目标预训练模型是在初始模型的基础上，采用如下三种方式联合训练得到的：
基于第二样本神经影像的对比学习无监督预训练；
基于第三样本神经影像及其对应的目标模态影像的跨模态影像转换有监督预训练；
基于第四样本神经影像的图像重建无监督预训练；
还包括第二预训练模块，用于：
将所述第三样本神经影像输入至第二待训练模型，得到所述第二待训练模型输出的转换影像；所述第二待训练模型基于所述初始模型确定；
计算所述转换影像与所述目标模态影像的逐体素均方误差，并以所述逐体素均方误差为目标，对所述第二待训练模型进行训练。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的图像重建方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628118.3A CN114708353B (zh) | 2022-06-06 | 2022-06-06 | 图像重建方法、装置、电子设备与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628118.3A CN114708353B (zh) | 2022-06-06 | 2022-06-06 | 图像重建方法、装置、电子设备与存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708353A CN114708353A (zh) | 2022-07-05 |
| CN114708353B true CN114708353B (zh) | 2022-09-06 |
Family
ID=82177729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210628118.3A Active CN114708353B (zh) | 2022-06-06 | 2022-06-06 | 图像重建方法、装置、电子设备与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708353B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115619647B (zh) * | 2022-12-20 | 2023-05-09 | 北京航空航天大学 | 一种基于变分推断的跨模态超分辨率重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523584A (zh) * | 2018-10-26 | 2019-03-26 | 上海联影医疗科技有限公司 | 图像处理方法、装置、多模态成像***、存储介质及设备 |
| CN113314205A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种高效的医学影像标注与学习*** |
| CN113868459A (zh) * | 2021-06-25 | 2021-12-31 | 之江实验室 | 模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置 |
-
2022
- 2022-06-06 CN CN202210628118.3A patent/CN114708353B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523584A (zh) * | 2018-10-26 | 2019-03-26 | 上海联影医疗科技有限公司 | 图像处理方法、装置、多模态成像***、存储介质及设备 |
| CN113314205A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种高效的医学影像标注与学习*** |
| CN113868459A (zh) * | 2021-06-25 | 2021-12-31 | 之江实验室 | 模型训练方法、跨模态表征方法、无监督图像文本匹配方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Measuring the Effects of Data Parallelism on Neural Network Training;Christopher J.Shallue等;《Jorunal of Machine Learning Reasearch》;20190719;第1-30页 * |
| 深度信念网络研究进展;周涛;《计算机工程与应用》;20200324;第24-30页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708353A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3916635B1 (en) | Defect detection method and apparatus | |
| EP3298576B1 (en) | Training a neural network | |
| CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
| WO2021048607A1 (en) | Motion deblurring using neural network architectures | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| Zhang et al. | Gated fusion network for degraded image super resolution | |
| KR20200084434A (ko) | 초해상도 영상 복원을 위한 기계 학습 방법 | |
| CN112862830B (zh) | 一种多模态图像分割方法、***、终端及可读存储介质 | |
| CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| Vu et al. | Perception-enhanced image super-resolution via relativistic generative adversarial networks | |
| CN114708465B (zh) | 图像分类方法、装置、电子设备与存储介质 | |
| Yang et al. | A survey of super-resolution based on deep learning | |
| CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
| Bao et al. | SCTANet: A spatial attention-guided CNN-transformer aggregation network for deep face image super-resolution | |
| Xia et al. | Meta-learning-based degradation representation for blind super-resolution | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN115761358A (zh) | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 | |
| Lee et al. | Wide receptive field and channel attention network for jpeg compressed image deblurring | |
| Li et al. | Underwater Imaging Formation Model‐Embedded Multiscale Deep Neural Network for Underwater Image Enhancement | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| Chen et al. | Towards real-world blind face restoration with generative diffusion prior | |
| CN117372617A (zh) | 一种基于GCN-Transformer模型的点云数据重建方法及电子设备 | |
| Graham et al. | Unsupervised 3d out-of-distribution detection with latent diffusion models | |
| CN116016953A (zh) | 一种基于深度熵编码的动态点云属性压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |