CN117994135A - 基于深度学习进行soho/mdi磁图超分辨率重建的方法 - Google Patents

基于深度学习进行soho/mdi磁图超分辨率重建的方法 Download PDF

Info

Publication number
CN117994135A
CN117994135A CN202410390803.6A CN202410390803A CN117994135A CN 117994135 A CN117994135 A CN 117994135A CN 202410390803 A CN202410390803 A CN 202410390803A CN 117994135 A CN117994135 A CN 117994135A
Authority
CN
China
Prior art keywords
mdi
soho
magnetic map
model
magnetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410390803.6A
Other languages
English (en)
Inventor
覃瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Astronomical Observatory of CAS
Original Assignee
Yunnan Astronomical Observatory of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Astronomical Observatory of CAS filed Critical Yunnan Astronomical Observatory of CAS
Priority to CN202410390803.6A priority Critical patent/CN117994135A/zh
Publication of CN117994135A publication Critical patent/CN117994135A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习进行SOHO/MDI磁图超分辨率重建的方法。主要通过数据预处理、构建基于RLFN的100层卷积神经网络MESR,包含浅层特征提取层、深层特征提取层、图像重建模块,进行特征提取,利用广义损失函数Charbonnier Loss构建模型损失函数。在训练过程中,采用Adam优化器,设置初始学习率为0.001,训练500个epoch。最后对模型进行效果评估,采用PSNR,SSIM,CC和RMSE等指标进行评估。此方法有效提高了模型的学习映射能力以及了模型的训练效果,有利于更精确地对SOHO/MDI磁图进行超分辨率重建。

Description

基于深度学习进行SOHO/MDI磁图超分辨率重建的方法
技术领域
本发明属于图像识别领域,更具体的说涉及基于深度学习进行SOHO/MDI磁图超分辨率重建的方法。
背景技术
太阳磁场在太阳活动过程中扮演了关键角色,其观测数据(磁图)对于研究太阳磁场分布、活动区磁场间的关系、日冕活动、磁流体力学模拟等具有重要价值。在太阳物理研究中,磁场图像是非常重要的研究基础。随着技术的发展,甚至出现了专门针对太阳磁场的空间卫星观测仪器,如SOHO、Hinode、SDO等。其中,SOHO的MDI观测仪器和SDO的HMI观测仪器各有优势与限制:MDI虽实现了空间磁场观测,但缺乏矢量磁场测量,时间和空间分辨率都较低;而HMI则实现了全日面太阳矢量磁场的空间观测,但空间分辨率仍不足以观测太阳的小尺度结构。
近年来,深度学习技术在太阳磁场图像处理中得到了广泛应用,例如使用HighRes-net模型实现MDI磁图到HMI磁图的超分辨率,或者使用GAN模型将MDI的特征转移到降采样的HMI上,生成视觉质量良好的超分辨磁图。然而,这些方法或是网络较为基础,或是训练和测试场景不匹配,导致重建结果不尽如人意。
发明内容
本发明提出一种基于深度学习进行SOHO/MDI磁图超分辨率重建方法,该方法将预处理之后的SOHO/MDI和SDO/HMI的相同物理结构的同时观测数据作为样本进行训练,通过深度网络结构进行超分辨率重建,实现SOHO/MDI磁图的4倍可靠分辨率增强。
为了实现上述目的,本发明是采用以下技术方案实现的:所述的方法包括:
数据预处理;
构建基于RLFN的100层的卷积神经网络MESR,采用三个卷积层进行残差局部特征学习以简化特征聚合;
构建模型的损失函数,采用广义损失函数CharbonnierLoss;
对模型进行训练,采用Adam优化器,设置初始学习率;
对构建的模型效果进行定量评估,使用峰值信噪比PSNR,结构相似度SSIM,相关系数CC和均方根误差RMSE进行评估。
在一个方案中,所述的数据预处理具体如下:
采集SOHO/MDI和SDO/HMI两个观测仪对全日面观测的数据作为数据集,全日面观测的数据保存在观测仪的磁图头文件里;
根据磁图头文件里的时间关键词T_REC将SOHO/MDI和SDO/HMI时间相近的磁图数据进行配对;
利用SIFT算法将SOHO/MDI和SDO/HMI全日面磁图进行图像配准;
在SOHO/MDI全日面磁图上随机截取128*128的子块,并在SDO/HMI对应位置裁剪出512*512的子块,再进一步对齐;
对(3)里裁剪出的子块进行0°、90°、180°、270°的随机旋转和极性反转,进行数据增广。
在一个方案中,所述的基于RLFN的100层的卷积神经网络MESR具体构成包括:浅层特征提取层、深层特征提取层、图像重建模块;
浅层特征提取层的核心结构是RLFB网络结构,每个RLFB通过堆叠3个Conv-SiLU进行局部特征提取,采用64个通道数,之后经过一个1×1卷积层以降低通道数与ESA模块连接;
ESA模块开始于一个1×1卷积,减少输入特征的通道维度,然后使用步长为2的stridedconvolution和大小为7×7,步长为3的max-pooling层去减少空间尺寸,之后通过3×3卷积层提取特征,并采用基于插值的上采样恢复空间尺寸,使用残差连接,将提取的特征经过1×1卷积层处理并恢复通道数,最后,由sigmoid函数生成特征矩阵,并且和原始输入特征相乘。
在一个方案中,所述的广义损失函数如下:
其中,是真实的图像灰度值,/>是重建结果图像的灰度值,/>是图像像素点的总数量。
在一个方案中,所述的对模型进行训练的参数设置如下:
使用了Adam优化器,初始学习率ε设置为0.001,使用CharbonnierLoss作为损失函数来优化模型。
在一个方案中,所述的初始学习率ε设置为0.002。
在一个方案中,所述的浅层特征提取层为一个3×3卷积层;
所述的深层特征提取层由12个RLFB网络结构堆叠构成;
所述的图像重建模块为亚像素卷积层。
本发明有益效果:
本发明基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,可以有效提高SOHO/MDI磁图的分辨率,使得磁图中的细节信息更为清晰。同时,该方法采用了多种优化技术,如基于RLFN的100层的卷积神经网络MESR,广义损失函数Charbonnier Loss等,能够提高模型的学习效率和训练稳定性。此外,通过对模型进行定量评估,可以有效评估模型的性能,为进一步优化模型提供参考。因此,本发明具有很好的应用前景,能够为太阳物理的研究提供有价值的数据。
附图说明
图1为本发明方法流程图;
图2为本发明MESR网络结构图;
图3为本发明 ESA模块结构图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是,本发明可以以许多不同的形式来实现,并不限于本发明所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
如图1所示,所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法包括:
S1数据预处理,解决由于图像之间的随机位置、旋转和时间差异,导致模型学习映射关系的能力降低;
从2010年4月8日到2011年4月11日,SOHO/MDI和SDO/HMI对全日面的同时观测有20150组数据,这为模型的训练提供了丰富的数据集。在本发明中,划分2010年4月至2011年2月的数据作为训练集,2011年3月份的数据作为验证集,2011年4月份的数据作为测试集,虽然神经网络可以学习仪器之间的***差异,但图像之间的随机位置、旋转和时间差异会显著降低模型学习映射关系的能力,因此在训练前必须进行预处理:(1)根据磁图头文件里的时间关键词T_REC将MDI和HMI时间较为相近的磁图数据进行配对;(2)利用SIFT算法将MDI与HMI全日面磁图进行图像配准;(3)在MDI全日面磁图上随机截取128*128的子块,并在HMI对应位置裁剪出512*512的子块,再进一步对齐;(4)对这些子块进行0°、90°、180°、270°的随机旋转和极性反转,以实现数据增广。
S2构建基于RLFN的100层的卷积神经网络MESR,采用三个卷积层进行残差局部特征学习以简化特征聚合,实现高效轻量的超分模型。
图像超分辨率重建 (Super resolution image reconstruction, SRIR或SR)是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率(Low-resolution,LR)图像转换成高分辨率(High-resolution,HR)图像的技术。在天文数据处理中,SR是指利用大量的训练数据,从中学习低分辨率图像和高分辨率图像之间的非线性映射关系,对观测到的天文图像添加高频内容,消除由于天文望远镜图像处理所造成的质量退化问题,从而获得更高分辨率的天文图像的过程。超分辨率是一个不适定(ill-posed)的问题,因为一个LR输入可以有多个SR输出。随着深度学习的迅速发展以及高性能GPU的出现,基于深度学习的超分辨率重建方法是目前主流的研究方向。CNN和GAN是两种不同的深度学习模型。
一般图像的SR网络通常需要大量的计算资源。相比之下,磁图的超分辨率更关注的是保真度,即磁场物理参数的不变性(磁通量保持不变),以及如何部署在计算资源有限的设备中。
RLFN是一种新的高效的超分辨率ESR(Efficient Super-Resolution)模型,它采用三个卷积层进行残差局部特征学习以简化特征聚合,这种处理机制可以大幅减少推理耗时,同时保持模型容量。
设计了一个基于RLFN的100层的卷积神经网络(下面简称MESR),实现高效轻量的超分模型。整体架构如图2所示。该网络主要包含三大部分:浅层特征提取层(一个3×3卷积层)、深层特征提取层(由12个RLFB堆叠构成)、图像重建模块(亚像素卷积层)。其中,核心结构是由Kong等人提出的RLFB(Residual Local Feature Block)。每个RLFB通过堆叠3个Conv-SiLU进行局部特征提取,为补充性能损失,采用64个通道数,之后经过一个1×1卷积层以降低通道数与ESA模块连接,结构如图3所示。ESA开始于一个1×1卷积去减少输入特征的通道维度,然后使用步长为2的strided convolution和大小为7×7,步长为3的max-pooling层去减少空间尺寸,以获得更高的效率,之后通过3×3卷积层提取特征,并采用基于插值的上采样恢复空间尺寸,使用残差连接,将提取的特征经过1×1卷积层处理并恢复通道数,最后,由sigmoid函数生成特征矩阵,并且和原始输入特征相乘。
S3构建模型的损失函数,采用广义损失函数Charbonnier Loss。
损失函数(Loss Function)是用来估算实际值与模型预测值之间的不一样程度的函数式。在深度学习中,通常用损失函数来评价网络的效果。损失函数的设计是深度学习中十分重要的部分,不仅会影响到训练的速度,还会影响隐含层中数据的分布情况。选择合适的损失函数是网络能够得到理想结果的保证。
使用典型的基于重建的损失函数MSE就可以获得视觉上令人满意的SR重建结果。但是由于L2(即MSE)对大误差的敏感性,容易出现梯度***,导致输出结果会通过过度平滑进行补偿。因此,分别使用了几个不同的损失函数,如L1(即MAE)、SSIM、PSNR来获得优化结果。发现L1损失在定量和视觉评价方面都比其他方法更加突出,公式如下:
(1)
但缺点是L1 loss在零点不平滑且不可导,所以在w=0时没法接着梯度下降。在此基础上,为了使训练更加稳定,研究了广义损失函数Charbonnier Loss,公式如下:
(2)
其中,其中,是真实的图像灰度值,/>是重建结果图像的灰度值,/>是图像像素点的总数量。
(3)
与L1 loss相比,优点是曲线更平滑了。接近零点的值的梯度由于常数ε的存在,梯度也不会太小,避免梯度消失;远离零点的值的梯度由于开方,梯度也不会太大,避免梯度***,可以更好地处理异常值。
S4对模型进行训练,采用Adam优化器,设置初始学习率。
模型训练过程:为了训练MESR网络,裁剪了128 × 128 LR MDI磁图和512 × 512HR HMI磁图组成数据对,batch size为32,训练了500个epoch,并使用了Adam优化器,初始学习率为0.001,并随着epoch的增加而减小。使用Charbonnier Loss作为损失函数来优化模型,常数ε为0.001。
S5对构建的模型效果进行定量评估,使用峰值信噪比PSNR,结构相似度SSIM,相关系数CC和均方根误差RMSE进行评估。
视觉效果不足以证明超分辨率磁图的科学价值。为了进行定量评估,使用峰值信噪比(PSNR),结构相似度(SSIM) ,相关系数(CC)和均方根误差(RMSE)来评估的方法。PSNR表示对应像素点之间的误差,可以用来衡量模型的重建质量,反映生成图像的保真度。公式如下:
(4)
式中,i为测试样本数,为图像灰度范围4000G,MSE为目标与生成的磁图之间的均方误差。峰值信噪比的值一般从30到60不等,越高越好。SSIM根据亮度、对比度和结构来衡量图像的相似性。用均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量。其公式如下:
(5)
(6)
(7)
(8)
其中,、/>、/>、/>、/>分别为目标磁图的均值、重建结果磁图的均值、目标磁图和重建结果磁图的协方差、目标磁图的方差、重建结果磁图的方差。c1、c2、c3是常数。SSIM是一个0到1的值,越接近1越好。CC是目标磁图和重建结果磁图之间像素到像素的Pearson相关系数,反映观测到的磁通量和生成的磁通量之间的线性相关程度。
(9)
其中,、/>、/>、/>分别为实际测量的磁通量、重建结果磁通量、实际测量的平均磁通量和重建结果的平均磁通量。最后一个评估度量是均方根误差(RMSE),反映的是重建结果的磁通量与实际测量的磁通量之间的偏差。
(10)
最后测试评估结果如表1所示,为测试数据集的Pearson相关系数(CC)、峰值信噪比(Peak S/N)、结构相似性指数(SSIM)、均方根误差(RMSE)和平均绝对误差(MAE)的平均值。
使用MESR模型对测试数据集进行批量重建,为了评估测试数据集(MDI全磁盘磁图)的重建质量,统计结果的定量评价如表1所示。表1报告了通过比较SOHO/MDI和SDO/HMI的分辨率增强的全盘磁图得出的PSNR、SSIM、LPIPS、CC和RMSE的平均值。结果清楚地表明,MESR方法在所有指标上都明显优于其他方法,为其有效性提供了充分的证据。
表1
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnlyMemory,ROM)或随机存储记忆体(RandomABBessMemory,RAM)等。
应当理解,以上借助优选实施例对本发明的技术方案进行的详细说明是示意性的而非限制性的。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的方法包括:
数据预处理;
构建基于RLFN的100层的卷积神经网络MESR,采用三个卷积层进行残差局部特征学习以简化特征聚合;
构建模型的损失函数,采用广义损失函数Charbonnier Loss;
对模型进行训练,采用Adam优化器,设置初始学习率;
对构建的模型效果进行定量评估,使用峰值信噪比PSNR,结构相似度SSIM,相关系数CC和均方根误差RMSE进行评估。
2.根据权利要求1所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的数据预处理具体如下:
采集SOHO/MDI和SDO/HMI两个观测仪对全日面观测的数据作为数据集,全日面观测的数据保存在观测仪的磁图头文件里;
(1)根据磁图头文件里的时间关键词T_REC将SOHO/MDI和SDO/HMI时间相近的磁图数据进行配对;
(2)利用SIFT算法将SOHO/MDI和SDO/HMI全日面磁图进行图像配准;
(3)在SOHO/MDI全日面磁图上随机截取128*128的子块,并在SOHO/MDI对应位置裁剪出512*512的子块,再进一步对齐;
(4)对(3)里裁剪出的子块进行0°、90°、180°、270°的随机旋转和极性反转,进行数据增广。
3.根据权利要求1所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的基于RLFN的100层的卷积神经网络MESR具体构成包括:
浅层特征提取层、深层特征提取层、图像重建模块;浅层特征提取层的核心结构是RLFB网络结构,每个RLFB通过堆叠3个Conv-SiLU进行局部特征提取,采用64个通道数,之后经过一个1×1卷积层以降低通道数与ESA模块连接;
ESA模块开始于一个1×1卷积,减少输入特征的通道维度,然后使用步长为2的stridedconvolution和大小为7×7,步长为3的max-pooling层去减少空间尺寸,之后通过3×3卷积层提取特征,并采用基于插值的上采样恢复空间尺寸,使用残差连接,将提取的特征经过1×1卷积层处理并恢复通道数,最后,由sigmoid函数生成特征矩阵,并且和原始输入特征相乘。
4.根据权利要求1所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的广义损失函数如下:
其中,是真实的图像灰度值,/>是重建结果图像的灰度值,/>是图像像素点的总数量。
5.根据权利要求1所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的对模型进行训练的参数设置如下:
使用了Adam优化器,初始学习率ε设置为0.001,使用Charbonnier Loss作为损失函数来优化模型。
6.根据权利要求5所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的初始学习率ε设置为0.002。
7.根据权利要求3所述的基于深度学习进行SOHO/MDI磁图超分辨率重建的方法,其特征在于:所述的浅层特征提取层为一个3×3卷积层;
所述的深层特征提取层由12个RLFB网络结构堆叠构成;
所述的图像重建模块为亚像素卷积层。
CN202410390803.6A 2024-04-02 2024-04-02 基于深度学习进行soho/mdi磁图超分辨率重建的方法 Pending CN117994135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410390803.6A CN117994135A (zh) 2024-04-02 2024-04-02 基于深度学习进行soho/mdi磁图超分辨率重建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410390803.6A CN117994135A (zh) 2024-04-02 2024-04-02 基于深度学习进行soho/mdi磁图超分辨率重建的方法

Publications (1)

Publication Number Publication Date
CN117994135A true CN117994135A (zh) 2024-05-07

Family

ID=90894462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410390803.6A Pending CN117994135A (zh) 2024-04-02 2024-04-02 基于深度学习进行soho/mdi磁图超分辨率重建的方法

Country Status (1)

Country Link
CN (1) CN117994135A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225807A1 (en) * 2016-12-28 2018-08-09 Shenzhen China Star Optoelectronics Technology Co., Ltd. Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN112884643A (zh) * 2019-11-29 2021-06-01 国网江苏省电力有限公司盐城供电分公司 一种基于edsr网络的红外图像超分辨率重建方法
CN113296259A (zh) * 2021-05-25 2021-08-24 中国科学院国家天文台南京天文光学技术研究所 基于孔径调制子***和深度学习的超分辨成像方法和装置
CN115936983A (zh) * 2022-11-01 2023-04-07 青岛哈尔滨工程大学创新发展中心 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180225807A1 (en) * 2016-12-28 2018-08-09 Shenzhen China Star Optoelectronics Technology Co., Ltd. Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction
CN112884643A (zh) * 2019-11-29 2021-06-01 国网江苏省电力有限公司盐城供电分公司 一种基于edsr网络的红外图像超分辨率重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法
CN113296259A (zh) * 2021-05-25 2021-08-24 中国科学院国家天文台南京天文光学技术研究所 基于孔径调制子***和深度学习的超分辨成像方法和装置
CN115936983A (zh) * 2022-11-01 2023-04-07 青岛哈尔滨工程大学创新发展中心 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曾洵文: "基于深度学习的太阳黑子群磁类型识别与太阳耀斑爆发预报研究", 中国优秀硕士学位论文全文库基础科学辑, no. 2, 15 February 2023 (2023-02-15), pages 1 - 73 *
陶一寒 等: "深度学习在天文学中的应用与改进", 天文学进展, no. 02, 15 July 2020 (2020-07-15), pages 1 - 10 *

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
Gu et al. Blind super-resolution with iterative kernel correction
CN111754403B (zh) 一种基于残差学习的图像超分辨率重构方法
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
Li et al. Survey of single image super‐resolution reconstruction
Luo et al. Lattice network for lightweight image restoration
CN113870422B (zh) 一种点云重建方法、装置、设备及介质
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111161141B (zh) 基于频带间注意力机制对抗学习高光谱单图超分辨率方法
CN116485934A (zh) 一种基于CNN和ViT的红外图像彩色化方法
CN114331911A (zh) 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法
Zhang et al. Deformable and residual convolutional network for image super-resolution
Yang et al. An image super-resolution network based on multi-scale convolution fusion
Xu et al. Image enhancement algorithm based on generative adversarial network in combination of improved game adversarial loss mechanism
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Li et al. Single image super-resolution reconstruction based on fusion of internal and external features
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Zhou et al. Ristra: Recursive image super-resolution transformer with relativistic assessment
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN112184552A (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN117994135A (zh) 基于深度学习进行soho/mdi磁图超分辨率重建的方法
CN116091319A (zh) 基于长距离上下文依赖的图像超分辨率重建方法及***
Guo et al. Super-resolution image reconstruction based on self-calibrated convolutional gan
Yang et al. Deep networks for image super-resolution using hierarchical features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination