CN111353938A - 一种基于网络反馈的图像超分辨率学习方法 - Google Patents

一种基于网络反馈的图像超分辨率学习方法 Download PDF

Info

Publication number
CN111353938A
CN111353938A CN202010132826.9A CN202010132826A CN111353938A CN 111353938 A CN111353938 A CN 111353938A CN 202010132826 A CN202010132826 A CN 202010132826A CN 111353938 A CN111353938 A CN 111353938A
Authority
CN
China
Prior art keywords
image
resolution
convolution
feedback
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010132826.9A
Other languages
English (en)
Inventor
颜成钢
楼杰栋
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010132826.9A priority Critical patent/CN111353938A/zh
Publication of CN111353938A publication Critical patent/CN111353938A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于网络反馈的图像超分辨率学习方法。本发明首先使用卷积网络对低分辨率图像进行处理，获得浅层特征，然后将获得的低分辨率图像的浅层特征以及前一时刻反馈网络输出的高级特征通过反馈连接作为反馈网络的输入，通过反馈网络将高级特征作为低级特征的一种校正得到一个更高级的特征。最后将反馈网络的输出通过反卷积后再通过卷积得到残差图像，将原图像通过双线性插值上采样得到的图像与残差图像相加得到超分辨率图像。本发明解决了现有的深度学习方法没有利用人类视觉***中普遍存在的反馈机制，面对多个高分辨率图像对应同一低分辨率图像，以及超分辨率缩放因子的增大图像细节无法修复的问题。

Description

一种基于网络反馈的图像超分辨率学习方法
技术领域
本发明涉及本发明涉及图像、视频处理技术领域，具体地说是涉及一种基于网络反馈的图像超分辨率学习方法。
背景技术
图像超分辨率重建(super resolution,SR),是指从观测到的低分辨率图像重建出相应的高分辨率图像,是计算机视觉和图像处理领域里一种重要的图像处理技术,由于图像超分辨率方法能够在一定程度上修正设备或环境对图像造成的损坏，在许多领域有着重要的应用价值，比如目标检测、医学成像、安防监控和卫星遥感等。
近年来，随着深度学习的迅速发展，深度学习被应用于各种人工智能任务，比如图像分类和目标检测等，并取得了突破性进展，研究学者们也积极地探索用深度学习来解决超分辨率问题，一种更加有效的方法被广泛用于解决图像超分辨率问题:基于深度学习的图像超分辨率方法。通过训练端到端的网络模型，直接学习低分辨率图像与高分辨率之间的映射关系.
随着提出了各种各样的基于深度学习的超分辨率方法，从早期的基于卷积神经网络的方法再到后来的基于生成对抗网络的方法，都展示了很好的性能。然而人类视觉***中普遍存在的反馈机制尚未在现有的深度学习中得到充分利用。由于总有多个高分辨率图像对应同一个低分辨率图像，因此超分辨率问题非常具有挑战性且是一个不适用问题，此外，随着超分辨率缩放因子的增大，图像丢失细节的恢复会更加复杂。因此在这里通过一种基于网络反馈的方式，用一个RNN使用其中的隐藏状态来实现信息反馈，并通过这种反馈得到高级信息，并不断迭代生成最终高分辨率图像。
发明内容
针对现有的深度学习方法没有利用人类视觉***中普遍存在的反馈机制，面对多个高分辨率图像对应同一低分辨率图像，以及超分辨率缩放因子的增大图像细节无法修复问题，本发明提出一种基于网络反馈的图像超分辨率学习方法，通过具有约束的RNN将前一时刻状态进行反馈生成具有高级信息的特征表示，并通过引入递归学习策略，由自上而下的反馈连接的递归结构提供强大的早期超分辨率重建能力，并最终生成鲁棒的超分辨率图像。
一种基于网络反馈的图像超分辨率学习方法，包括以下步骤：
步骤(1)、使用卷积网络对低分辨率图像进行处理，获得浅层特征。
将低分辨率图像
Figure BDA0002396260900000021
输入到一个具有4×m个卷积核大小为3×3以及m个卷积核大小为1×1的卷积网络中得到浅层特征输出
Figure BDA0002396260900000022
作为反馈网络的输入。下一时刻的低分辨率图像
Figure BDA0002396260900000023
由
Figure BDA0002396260900000024
下采样得到，由于
Figure BDA0002396260900000025
为初期重建的超分辨率图像，将重建后图像通过采样得到的图像作为下一时刻迭代的输入，形成反馈提升后期重建效果。
步骤(2)、将获得的低分辨率图像的浅层特征以及前一时刻反馈网络输出的高级特征通过反馈连接作为反馈网络的输入，通过反馈网络将高级特征作为低级特征的一种校正得到一个更高级的特征。具体步骤如下：
(2.1)将浅层特征
Figure BDA0002396260900000026
以及高级特征
Figure BDA0002396260900000027
作为反馈网络输入,通过m个卷积核大小为1×1的卷积层，将
Figure BDA0002396260900000028
与
Figure BDA0002396260900000029
连接并压缩，反馈信息
Figure BDA00023962609000000210
细化输入特征产生细化的输入特征
Figure BDA00023962609000000211
其中
Figure BDA00023962609000000212
为
Figure BDA00023962609000000213
其中卷积核k的大小取决于缩放倍数。
(2.2)将输入特征
Figure BDA00023962609000000214
通过1个由m个卷积核大小为k×k，卷积核数量为m个的反卷积层进行上采样，生成1个高分辨率特征
Figure BDA00023962609000000215
将高分辨率特征
Figure BDA00023962609000000216
通过1个卷积核大小为k×k，卷积核数量为m个的的卷积层进行上采样,得到细化后的高级特征
Figure BDA00023962609000000217
(2.3)将得到细化后的高级特征
Figure BDA0002396260900000031
作为输入特征，在步骤(2.2)中的卷积与反卷积操作前分别加入1层由卷积核大小为1×1，卷积核数量为m个的卷积层，进行步骤(2.2)相同操作，重复G次，得到低级特征生成的高级特征向量组
Figure BDA0002396260900000032
以及对应的细化后的特征向量组
Figure BDA0002396260900000033
(2.4)为了下一个时刻的反馈输入包含更好的特征，将细化后的特征通过1层卷积核大小为1×1，卷积核数量为m个的卷积层进行融合生成反馈网络的输出
Figure BDA0002396260900000034
步骤(3)、将反馈网络的输出通过反卷积后再通过卷积得到残差图像，将原图像通过双线性插值上采样得到的图像与残差图像相加得到超分辨率图像。具体步骤如下：
(3.1)将反馈网络的输出
Figure BDA0002396260900000035
通过m层卷积核大小为k的反卷积层，生成高分辨率特征图。将原图
Figure BDA0002396260900000036
通过双线性插值得到一个大分辨率图
Figure BDA0002396260900000037
(3.2)将高分辨率特征图通过一个n层的卷积核大小为3×3的卷积层得到残差图像
Figure BDA0002396260900000038
最后将大分辨率图
Figure BDA0002396260900000039
与残差图像
Figure BDA00023962609000000310
相加得到超分辨率图像
Figure BDA00023962609000000311
当为灰度图时n＝1，彩色时n＝3。
本发明有益效果如下：
本发明解决了现有的深度学习方法没有利用人类视觉***中普遍存在的反馈机制，面对多个高分辨率图像对应同一低分辨率图像，以及超分辨率缩放因子的增大图像细节无法修复的问题。
附图说明
图1是本发明方法流程图；
图2是本发明方法模型的具体图；
图3是本发明反馈网络的结构图；
图4是分发明反馈机制补充说明图。
具体实施方式
下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。
如图1为本发明提出的一种基于网络反馈的图像超分辨率学习方法的流程图，图2是方法模型的结构图，图3是反馈网络的结构图，图4是反馈机制补充说明图。
如图1所示其具体步骤如下：
步骤(1).使用卷积网络对低分辨率图像进行处理，获得浅层特征。
步骤(1.1)根据图1的浅层特征提取模块操作将低分辨率图像
Figure BDA0002396260900000041
输入到一个具有4×m个卷积核大小为3×3以及m个卷积核大小为1×1的卷积网络中得到浅层特征输出
Figure BDA0002396260900000042
作为反馈网络的输入。
步骤(1.2)下一时刻的低分辨率图像
Figure BDA0002396260900000043
为初期重建的超分辨率图像
Figure BDA0002396260900000044
下采样得到，将重建结果作为一种反馈引入到输入，提升后续重建效果。具体如模型图2左中的(a)操作以及下采样操作。
步骤(2).将获得的低分辨率图像的浅层特征以及前一时刻的反馈网络输出的高级特征输入到反馈网络中，生成细化后的高级特征。
步骤(2.1)将浅层特征
Figure BDA0002396260900000045
以及高级特征
Figure BDA0002396260900000046
作为反馈网络输入，通过m个卷积核大小为1×1的卷积层，将
Figure BDA0002396260900000047
与
Figure BDA0002396260900000048
连接并压缩，反馈信息
Figure BDA0002396260900000049
细化输入特征产生细化的输入特征
Figure BDA00023962609000000410
其中
Figure BDA00023962609000000411
为
Figure BDA00023962609000000412
如图3的a部分所示。
步骤(2.2)将细化后的输入特征
Figure BDA00023962609000000413
通过1个卷积核大小为k×k，卷积核数量为m个的反卷积层进行上采样，生成1个高分辨率特征
Figure BDA0002396260900000051
由
Figure BDA0002396260900000052
通过1个卷积核大小为k×k，卷积核数量为m个的卷积层进行上采样,得到细化后的高级特征
Figure BDA0002396260900000053
如图3的b部分所示。
步骤(2.3)将得到细化后的高级特征
Figure BDA0002396260900000054
作为输入特征，在步骤(2.2)中的卷积与反卷积操作前分别加入1层卷积核大小为1×1，卷积核数量为m个的卷积层，进行步骤(2.2)相同操作，G次，最终得到高级特征向量组
Figure BDA0002396260900000055
以及对应的细化后的高级特征向量组
Figure BDA0002396260900000056
如图3的c部分所示
步骤(2.4)最后将细化后的特征通过1层卷积核大小为1×1，卷积核数量为m个的卷积层进行融合生成反馈网络的输出
Figure BDA0002396260900000057
如图3的d部分所示
步骤(3).将反馈网络的输出通过反卷积后再通过卷积得到残差图像，将原图像通过双线性插值上采样得到的图像与残差图像相加得到超分辨率图像。
步骤(3.1)将反馈模块输出模块得到的输出
Figure BDA0002396260900000058
通过m层卷积核大小为k的反卷积层，生成高分辨率特征图。将原图
Figure BDA0002396260900000059
通过双线性插值得到一个大分辨率图
Figure BDA00023962609000000510
步骤(3.2)将高分辨率特征图通过一个n层的卷积核大小为3×3的卷积层得到残差图像
Figure BDA00023962609000000511
最终将大分辨率图
Figure BDA00023962609000000512
与残差图像
Figure BDA00023962609000000513
相加得到超分辨率图像
Figure BDA00023962609000000514
当为灰度图时n＝1，彩色时n＝3。

Claims (1)

1.一种基于网络反馈的图像超分辨率学习方法，其特征在于，包括以下步骤：
步骤(1)、使用卷积网络对低分辨率图像进行处理，获得浅层特征；
将低分辨率图像
Figure FDA0002396260890000011
输入到一个具有4×m个卷积核大小为3×3以及m个卷积核大小为1×1的卷积网络中得到浅层特征输出
Figure FDA0002396260890000012
作为反馈网络的输入；下一时刻的低分辨率图像
Figure FDA0002396260890000013
由
Figure FDA0002396260890000014
下采样得到，由于
Figure FDA0002396260890000015
为初期重建的超分辨率图像，将重建后图像通过采样得到的图像作为下一时刻迭代的输入，形成反馈提升后期重建效果；
步骤(2)、将获得的低分辨率图像的浅层特征以及前一时刻反馈网络输出的高级特征通过反馈连接作为反馈网络的输入，通过反馈网络将高级特征作为低级特征的一种校正得到一个更高级的特征；具体步骤如下：
(2.1)将浅层特征
Figure FDA0002396260890000016
以及高级特征
Figure FDA0002396260890000017
作为反馈网络输入,通过m个卷积核大小为1×1的卷积层，将
Figure FDA0002396260890000018
与
Figure FDA0002396260890000019
连接并压缩，反馈信息
Figure FDA00023962608900000110
细化输入特征产生细化的输入特征
Figure FDA00023962608900000111
其中
Figure FDA00023962608900000112
为
Figure FDA00023962608900000113
其中卷积核k的大小取决于缩放倍数；
(2.2)将输入特征
Figure FDA00023962608900000114
通过1个由m个卷积核大小为k×k，卷积核数量为m个的反卷积层进行上采样，生成1个高分辨率特征
Figure FDA00023962608900000115
将高分辨率特征
Figure FDA00023962608900000116
通过1个卷积核大小为k×k，卷积核数量为m个的的卷积层进行上采样,得到细化后的高级特征
Figure FDA00023962608900000117
(2.3)将得到细化后的高级特征
Figure FDA00023962608900000118
作为输入特征，在步骤(2.2)中的卷积与反卷积操作前分别加入1层由卷积核大小为1×1，卷积核数量为m个的卷积层，进行步骤(2.2)相同操作，重复G次，得到低级特征生成的高级特征向量组
Figure FDA0002396260890000021
以及对应的细化后的特征向量组
Figure FDA0002396260890000022
(2.4)为了下一个时刻的反馈输入包含更好的特征，将细化后的特征通过1层卷积核大小为1×1，卷积核数量为m个的卷积层进行融合生成反馈网络的输出
Figure FDA0002396260890000023
步骤(3)、将反馈网络的输出通过反卷积后再通过卷积得到残差图像，将原图像通过双线性插值上采样得到的图像与残差图像相加得到超分辨率图像；具体步骤如下：
(3.1)将反馈网络的输出
Figure FDA0002396260890000024
通过m层卷积核大小为k的反卷积层，生成高分辨率特征图；将原图
Figure FDA0002396260890000025
通过双线性插值得到一个大分辨率图
Figure FDA0002396260890000026
(3.2)将高分辨率特征图通过一个n层的卷积核大小为3×3的卷积层得到残差图像
Figure FDA0002396260890000027
最后将大分辨率图
Figure FDA0002396260890000028
与残差图像
Figure FDA0002396260890000029
相加得到超分辨率图像
Figure FDA00023962608900000210
当为灰度图时n＝1，彩色时n＝3。
CN202010132826.9A 2020-02-29 2020-02-29 一种基于网络反馈的图像超分辨率学习方法 Pending CN111353938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010132826.9A CN111353938A (zh) 2020-02-29 2020-02-29 一种基于网络反馈的图像超分辨率学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010132826.9A CN111353938A (zh) 2020-02-29 2020-02-29 一种基于网络反馈的图像超分辨率学习方法

Publications (1)

Publication Number Publication Date
CN111353938A true CN111353938A (zh) 2020-06-30

Family

ID=71197315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010132826.9A Pending CN111353938A (zh) 2020-02-29 2020-02-29 一种基于网络反馈的图像超分辨率学习方法

Country Status (1)

Country Link
CN (1) CN111353938A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986085A (zh) * 2020-07-31 2020-11-24 南京航空航天大学 一种基于深度反馈注意力网络***的图像超分辨率方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其***、存储介质
CN112508794A (zh) * 2021-02-03 2021-03-16 中南大学 医疗图像超分辨率重建方法及***
CN113781304A (zh) * 2021-09-08 2021-12-10 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、***、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293706A1 (en) * 2017-04-05 2018-10-11 Here Global B.V. Deep convolutional image up-sampling
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110322400A (zh) * 2018-03-30 2019-10-11 京东方科技集团股份有限公司 图像处理方法及装置、图像处理***及其训练方法
KR20190131205A (ko) * 2018-05-16 2019-11-26 한국과학기술원 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293706A1 (en) * 2017-04-05 2018-10-11 Here Global B.V. Deep convolutional image up-sampling
CN110322400A (zh) * 2018-03-30 2019-10-11 京东方科技集团股份有限公司 图像处理方法及装置、图像处理***及其训练方法
KR20190131205A (ko) * 2018-05-16 2019-11-26 한국과학기술원 슈퍼 레졸루션(Super Resolution) 네트워크 처리방법 및 시스템
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHEN LI, JINGLEI YANG, ZHENG LIU, XIAOMIN YANG, GWANGGIL JEON, WEI WU: "Feedback Network for Image Super-Resolution", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), pages 1 - 5 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986085A (zh) * 2020-07-31 2020-11-24 南京航空航天大学 一种基于深度反馈注意力网络***的图像超分辨率方法
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其***、存储介质
CN112508794A (zh) * 2021-02-03 2021-03-16 中南大学 医疗图像超分辨率重建方法及***
WO2023010831A1 (zh) * 2021-08-03 2023-02-09 长沙理工大学 提高图像分辨率的方法、***、装置及存储介质
CN113781304A (zh) * 2021-09-08 2021-12-10 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN113781304B (zh) * 2021-09-08 2023-10-13 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法

Similar Documents

Publication Publication Date Title
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN111243066A (zh) 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN109685716B (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111353940A (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN112837215B (zh) 一种基于生成对抗网络的图像形状变换方法
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN118339577A (zh) 使用变分核自动编码器的鲁棒高效的盲超分辨率
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及***
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN108765297B (zh) 基于循环训练的超分辨率重建方法
CN116797456A (zh) 图像超分辨率重建方法、***、设备和存储介质
CN113538231B (zh) 一种基于像素分布估计的单张图像超分辨重建***及方法
CN116228576A (zh) 基于注意力机制与特征增强的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination