CN115792853A - 一种基于动态权重损失的雷达回波外推方法 - Google Patents

一种基于动态权重损失的雷达回波外推方法 Download PDF

Info

Publication number
CN115792853A
CN115792853A CN202211630284.3A CN202211630284A CN115792853A CN 115792853 A CN115792853 A CN 115792853A CN 202211630284 A CN202211630284 A CN 202211630284A CN 115792853 A CN115792853 A CN 115792853A
Authority
CN
China
Prior art keywords
model
radar echo
prediction
representing
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211630284.3A
Other languages
English (en)
Inventor
耿苏桐
张永宏
马光义
谢东林
赵华俊
逯焕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211630284.3A priority Critical patent/CN115792853A/zh
Publication of CN115792853A publication Critical patent/CN115792853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于动态权重损失的雷达回波外推方法,包括:(1)基于现有短临预报模型的预测结果构建动态损失函数,所述现有短临预报模型为采用雷达回波外推方法实现降水强度预测的模型;(2)采集雷达回波数据并建立雷达回波外推数据集,将雷达回波外推数据集按照一定比例划分为训练集与验证集;(3)将训练集数据输入短临预报模型进行模型训练,获取动态损失函数优化短临预报模型,将验证集数据输入优化后的短临预报模型获取预测结果。本发明基于雷达数据有效提升目前主流的深度学习模型预测性能,并且有效缓解现有雷达回波外推方法产生的累积误差。

Description

一种基于动态权重损失的雷达回波外推方法
技术领域
本发明涉及遥感信息处理的领域,具体是涉及一种基于动态权重损失的雷达回波外推方法。
背景技术
短临预报是指预测2h以内的未来降水强度。在0-2h的临近预报技术中主要为雷达回波外推法,而在实际预报中有效时间在1h以内。临近预报是一种预警局部地区灾害性天气的重要手段,为农业,旅游,交通和人们的日常活动提供及时有效的气象保障服务。然而,由于短时降水***固有的复杂性和非线性特点,使得预测某个地区的短时降雨分布非常具有挑战性。传统上的短临预报主要有雷达回波外推、中尺度数值模式以及概念模型等方法,数值模式广泛应用于中长期预报,利用复杂的大气物理方程来模拟天气过程,在临近预报中表现不佳,因其需要大量实时大气资料,很难生成短时间的高分辨率预报;同时,要利用大型计算机作数值计算,花费的成本巨大。概念模型预报方法依靠预报员的主观意识判断,其结果缺乏一定的细节信息。由此可见,目前业务上短临预报方法仍以雷达回波外推预报为主。
近些年来,深度学***传输记忆状态,也可以在层间垂直传输记忆状态。通过引入时间记忆单元和空间记忆单元,可以有效地对形状变形和运动轨迹进行建模。但是ST-LSTM会面临梯度消失的问题。为解决该问题,该团队于2018年提出PredRNN升级版PredRNN++模型,通过引入梯度高速公路单元模块捕捉长期的记忆依赖。2019年又由该团队提出Memory in Memory(MIM)模型,从非平稳性的角度看待时空序列预测问题,该网络在手写数字预测,降雨量预测,交通预测和人体行为预测的时空序列任务中与其他网络相比,取得了更好的效果。
以前的研究为了提高雷达回波外推的准确性,循环单元变得更加复杂,例如,PredRNN,MIM和E3D-LSTM等。虽然这些模型的时空预测性能得到提升,但是,这大大增加了参数量,显存消耗和训练时间。另一方面,一些研究直接使用均方误差(MSE)或平均绝对误差(MAE)对模型进行训练,但是每一帧回波图像的预测难度是不同的,并且预测时间靠后图像的误差更大,直接进行MSE和MAE损失计算没有考虑到预测结果的误差特点,限制了后期图像的预报性能。现有技术中存在一些基于损失函数进行预测模型优化,例如申请号为2020109616071的专利申请公开了一种基于改进的TrajGRU网络的气象雷达回波外推方法,通过增加一层雷达图形序列输入,根据所得损失函数值大小程度计算每层雷达数据的损失函数权重给予不容损失值不同的权重值。但是该方法虽然考虑到对损失函数进行权重值的设计,但主要是对两层雷达序列进行权重值的设计,并没有提高模型使用现有损失函数产生误差累积的问题。
发明内容
发明目的:本发明提供一种基于动态权重损失的雷达回波外推方法,通过设计一种分配给每一帧图像的动态权重优化损失函数,最终获取到较为准确的外推结果,解决现有雷达回波外推方法产生的累积误差。
技术方案:本发明提供一种基于动态权重损失的雷达回波外推方法,具体包括:
(1)基于现有短临预报模型的预测结果构建动态损失函数,所述现有短临预报模型为采用雷达回波外推方法实现降水强度预测的模型;所述动态损失函数DWL公式为:
Figure BDA0004000491790000021
式中,wi表示第i个预测时刻的动态权重;k,b,x均为超参数;
Figure BDA0004000491790000022
表示第i个预测时刻绝对误差,
Figure BDA0004000491790000023
表示第i个预测时刻的预测回波图像,yi表示第i个预测时刻的观测回波图像,i∈[1,m],m为雷达回波序列的长度;WLi表示第i个预测时刻的损失,具体每个预测时刻的损失计算公式为:
Figure BDA0004000491790000031
Figure BDA0004000491790000032
Figure BDA0004000491790000033
式中,
Figure BDA0004000491790000034
表示任一预测时刻对应的加权损失函数;β表示缩小系数,γ表示放大系数;B-MSE表示带有权重的MSE,B-MAE表示带有权重的MAE,Lssim=1-SSIM,SSIM表示结构相似性函数;Rt,h,w表示像素坐标为(t,h,w)的标签反射率,
Figure BDA0004000491790000035
表示像素坐标为(t,h,w)的预测反射率,weightt,h,w表示像素坐标为(t,h,w)的权重;
(2)采集雷达回波数据并建立雷达回波外推数据集,将雷达回波外推数据集按照一定比例划分为训练集与验证集;
(3)将训练集数据输入短临预报模型进行模型训练,获取动态损失函数优化短临预报模型,将验证集数据输入优化后的短临预报模型获取预测结果。
进一步的,步骤(1)中现有短临预报的模型包括:ConvLSTM模型、TrajGRU模型、PredRNN模型。
进一步的,步骤(1)中weightt,h,w具体公式为:
Figure BDA0004000491790000036
进一步的,步骤(1)中SSIM具体公式为:
Figure BDA0004000491790000037
式中,μY表示真实值的均值,
Figure BDA0004000491790000038
表示预测值的均值;
Figure BDA0004000491790000039
表示真实值与预测值的协方差,用于衡量图像的结构相似度;σY表示真实值的方差;
Figure BDA0004000491790000041
表示预测值的方差,用于估计图像的对比度;C1、C2均为常数。
进一步的,步骤(3)中k=b=1,x=e。
此外,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
有益效果:本发明所述一种基于动态权重损失的雷达回波外推方法相对于现有技术,其显著优点是:通过获取任意预测时刻的预测结果与实际结果之间的绝对误差设计基于时间的动态权重,根据动态权重优化损失函数的计算从而解决现有预测模型使用现有损失函数产生误差累积的问题,提高较为准确的外推结果。
附图说明
图1所示为本发明所述方法的流程图;
图2所示为本发明所述进行预测结构示意图;
图3所示为本发明的平均绝对误差MAE变化曲线图;图3(a)所示为基于ConvLSTM模型采用本发明所述方法的平均绝对误差MAE变化曲线图,图3(b)所示为基于TrajGRU模型采用本发明所述方法的平均绝对误差MAE变化曲线图;
图3(c)所示为基于PredRNN模型采用本发明所述方法的平均绝对误差MAE变化曲线图;
图4所示为采用本发明所述方法与现有技术最终预测结果对比可视化图。
具体实施方式
下面结合附图对本发明的技术方案进一步说明。
如图1所示,本发明提供一种基于动态权重损失的雷达回波外推方法,具体包括:
步骤一、基于现有短临预报模型的预测结果构建动态损失函数。
所述短临预报模型选用现有技术中基于雷达回波外推方法实现预测的模型,主流的短临预报模型包括:ConvLSTM模型、TrajGRU模型、PredRNN模型。
如图2所示,所述构建动态损失函数过程具体包括:
(1)假设预测未来长度为m的雷达回波序列{y1,y2,……ym},预测结果为
Figure BDA0004000491790000042
Figure BDA0004000491790000043
和yi分别表示第i个时刻的预测回波图像和观测回波图像,第i个时刻的绝对误差表示为
Figure BDA0004000491790000044
定义第i个预测时刻回波图像的预测难度为di,图像的误差越大表示图像的预测难度越大,所以用图像的误差来表示其预测的难度。具体公式如下,数值范围在0-1之间,值越大,表示占总损失的比重大,意味着图像的预测难度大。具体公式为:
Figure BDA0004000491790000051
不同任务的难度是由当前预测模型的预测结果决定的,所以每一帧的损失权重是动态调整的。一个任务的难度越大,相应地它所得到损失权重就越大,也就是说预测模型对它的惩罚力度越大,反之亦然。
因此,对于第i预测时刻的损失权重可以表示为如下公式,
Figure BDA0004000491790000052
式中,wi表示第i个预测时刻的动态权重;k,b,x均为超参数,i∈p1,m]。
(2)对于每个预测时刻对应的损失函数,本发明选择B-MSE和B-MAE来提高雷达回波的预测的能力,带有权重的MSE和MAE可以表示为如下公式:
Figure BDA0004000491790000053
Figure BDA0004000491790000054
其中,
Figure BDA0004000491790000055
式中,Rt,h,w表示像素坐标为(t,h,w)的标签反射率,
Figure BDA0004000491790000056
表示像素坐标为(t,h,w)的预测反射率,weightt,h,w表示像素坐标为(t,h,w)的权重。
(3)为了提高图像结构相似性和分辨率在损失中加入Lssim=1-SSIM,其中SSIM表示结构相似性函数,公式为:
Figure BDA0004000491790000057
式中,μY表示真实值的均值,
Figure BDA0004000491790000058
表示预测值的均值;
Figure BDA0004000491790000059
表示真实值与预测值的协方差,用于衡量图像的结构相似度;σY表示真实值的方差;
Figure BDA00040004917900000510
表示预测值的方差,用于估计图像的对比度;C1、C2均为常数。
根据(2)与(3)本发明构建了一个加权损失函数为:
Figure BDA0004000491790000061
式中,
Figure BDA0004000491790000062
表示任一预测时刻对应的加权损失函数;β表示缩小系数,γ表示放大系数;β、γ用来调节2个损失函数在数值上的差异。
(4)结合提出的动态权重wi,最终动态损失函数DWL公式为:
Figure BDA0004000491790000063
式中,WLi表示第i个预测时刻的损失。
本实施例设定k=b=1,b为偏置来防止权重出现0的情况;x设为e,e为自然常数,β=5×10-4,γ=1×104
步骤二、获取雷达回波数据并建立雷达回波外推数据集。
具体的,本发明选用雷达回波数据选自南京大学运营的C波段双偏振天气雷达数据,数据名为NJU-CPOL。选用时间范围为2014年至2019年,包括268次降水事件。选用的雷达数据扫描范围为3公里等高面的256×256公里区域,雷达扫描间隔约为6分钟。由于数据大小不满足模型的训练,故先需将256×256的大小图像裁剪为128×128,用15帧宽的滑动窗口对其连续图像进行切片,将它们分为几个不相交的子集。因此,每个序列由15帧组成,每个序列的前5帧(30分钟)的观测值作为预测模型输入,后10帧(60分钟)的观测结果作为预测模型输出。
根据获取的雷达回波序列建立雷达回波外推数据集,并按照8:1的比例将数据集划分为训练集与验证集。本实施例中共得到4000个样本的训练集和500个样本的验证集。
步骤三、将训练集数据输入短临预报模型进行模型训练,获取动态损失函数。根据获取的动态损失函数替代短临预报模型中原损失函数,从而优化短临预报模型。将验证集数据输入优化后的短临预报模型进行预测。
为了验证本发明相对于现有技术预测的效果更佳,准备三组实验,分别采用ConvLSTM模型,TrajGRU模型和PredRNN模型进行预测,每组使用不同的损失函数,包括MSE,MSE+MAE,WL和DWL。使用Adam优化器进行模型训练,初始学习率为0.001,使用学习率自动下降法,每经过5个epoch后损失值仍未下降,学习率将衰减0.1,每个迭代批次的batchsize设定为5。
采用常见的2种气象上的降水评价指标:临界成功指数(Critical SuccessIndex,CSI)和F1-Score平衡F分数(balanced F Score),它被定义为精确率与召回率的调和平均数,F1-Score(FSC)指标综合了precision与recall的结果。FSC的取值范围在0到1之间,越接近1表示模型的性能越好,越接近0表示模型的性能越差。假设有2个类别,正类和负类,分别用1和0表示,构建混肴矩阵如表1。
表1回波预测结果
Figure BDA0004000491790000071
所以CSI和FSC指标的计算公式为:
Figure BDA0004000491790000072
Figure BDA0004000491790000073
其中,
Figure BDA0004000491790000074
CSI和FSC指标可以直接反映模型的优劣,CSI和FSC越大,模型性能越好。
基于以上评价指标,分别设置20、30和35dBZ三种不同阈值对预测结果进行检验。除此之外,利用MAE来评估模型性能,其计算公式如下,其中Yi
Figure BDA0004000491790000075
分别表示标签真实数据和预测数据:
Figure BDA0004000491790000076
最终,基于ConvLstm模型使用不同损失方法在CSI、FSC和MAE方面的比较结果如表2所示:
表2
Figure BDA0004000491790000077
Figure BDA0004000491790000081
从表2可以看出,对于ConvLstm模型,WL损失相比于MSE或MSE+MAE,各项指标都有所提高,但DWL方法表现最佳。阈值为35dBZ条件下,相比较前3种方法,在CSI指标上分别提升0.1125,0.1544和0.0194,改进了36.48%,57.94%和4.83%;在FSC指标上分别提升0.1378,0.2050和0.0206,改进了30.77%,53.86%和3.65%。在MAE指标上,相比较前3种方法,分别下降0.611,0.497和0.468。
基于TrajGRU模型使用不同损失方法在CSI、FSC和MAE方面的比较结果如表3所示:
表3
Figure BDA0004000491790000082
从表3可以看出,对于TrajGRU模型,本研究方法DWL在3个指标上均优于其它方法,MSE方法表现得最差。阈值为30dBZ条件下,相比较MSE,MSE+MAE和WL方法,在CSI指标上分别提升0.0926,0.0919和0.0017,改进了16.17%,16.03%和0.26%;在FSC指标上分别提升0.0784,0.0755和0.0012,改进了10.88%,10.44%和0.15%;在MAE指标上,相较于前3种方法,分别下降0.873,0.631和0.214。
基于TrajGRU模型使用不同损失方法在CSI、FSC和MAE方面的比较结果如表4所示:
表4
Figure BDA0004000491790000083
从表4可以看出,对于PredRNN模型,MSE方法表现最差,本研究方法DWL优于其它三种损失方法,表现出最佳性能。阈值为35dBZ条件下,相较于前三种损失方法,在CSI指标上分别提升0.0408,0.0210和0.0109,改进了8.46%,4.18%和2.13%;在FSC指标上分别提升0.0379,0.0191和0.0104,改进了5.86%,2.87%和1.54%;在MAE指标方面,分别下降0.792,0.478和0.222。
此外,根据图3(a)、图3(b)与图3(c)所示的平均绝对误差MAE变化曲线图,本发明提出的动态权重损失方法与其它损失方法相比平均绝对误差最小。结合图4所示的采用本发明所述方法与现有技术最终预测结果对比可视化图,本发明提出的动态权重损失方法与其它损失方法相比,有着更优的性能。

Claims (7)

1.一种基于动态权重损失的雷达回波外推方法,其特征在于,包括以下步骤:
(1)基于现有短临预报模型的预测结果构建动态损失函数,所述现有短临预报模型为采用雷达回波外推方法实现降水强度预测的模型;所述动态损失函数DWL公式为:
Figure FDA0004000491780000011
式中,wi表示第i个预测时刻的动态权重;k,b,x均为超参数;
Figure FDA0004000491780000012
表示第i个预测时刻绝对误差,
Figure FDA0004000491780000013
表示第i个预测时刻的预测回波图像,yi表示第i个预测时刻的观测回波图像,i∈[1,m],m为雷达回波序列的长度;WLi表示第i个预测时刻的损失,具体每个预测时刻的损失计算公式为:
Figure FDA0004000491780000014
Figure FDA0004000491780000015
Figure FDA0004000491780000016
式中,
Figure FDA0004000491780000017
表示任一预测时刻对应的加权损失函数;β表示缩小系数,γ表示放大系数;B-MSE表示带有权重的MSE,B-MAE表示带有权重的MAE,Lssim=1-SSIM,SSIM表示结构相似性函数;Rt,h,w表示像素坐标为(t,h,w)的标签反射率,
Figure FDA0004000491780000018
表示像素坐标为(t,h,w)的预测反射率,weightt,h,w表示像素坐标为(t,h,w)的权重;
(2)采集雷达回波数据并建立雷达回波外推数据集,将雷达回波外推数据集按照一定比例划分为训练集与验证集;
(3)将训练集数据输入短临预报模型进行模型训练,获取动态损失函数优化短临预报模型,将验证集数据输入优化后的短临预报模型获取预测结果。
2.根据权利要求1所述的基于动态权重损失的雷达回波外推方法,其特征在于,步骤(1)中现有短临预报模型包括:ConvLSTM模型、TrajGRU模型、PredRNN模型。
3.根据权利要求1所述的基于动态权重损失的雷达回波外推方法,其特征在于,步骤(1)中weightt,h,w具体公式为:
Figure FDA0004000491780000021
4.根据权利要求1所述的基于动态权重损失的雷达回波外推方法,其特征在于,步骤(1)中SSIM具体公式为:
Figure FDA0004000491780000022
式中,μY表示真实值的均值,
Figure FDA0004000491780000023
表示预测值的均值;
Figure FDA0004000491780000024
表示真实值与预测值的协方差,用于衡量图像的结构相似度;σY表示真实值的方差;
Figure FDA0004000491780000025
表示预测值的方差,用于估计图像的对比度;C1、C2均为常数。
5.根据权利要求1所述的基于动态权重损失的雷达回波外推方法,其特征在于,步骤(1)中k=b=1,x=e。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至权利要求5中任意一项所述方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求5中任意一项所述的方法的步骤。
CN202211630284.3A 2022-12-15 2022-12-15 一种基于动态权重损失的雷达回波外推方法 Pending CN115792853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211630284.3A CN115792853A (zh) 2022-12-15 2022-12-15 一种基于动态权重损失的雷达回波外推方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211630284.3A CN115792853A (zh) 2022-12-15 2022-12-15 一种基于动态权重损失的雷达回波外推方法

Publications (1)

Publication Number Publication Date
CN115792853A true CN115792853A (zh) 2023-03-14

Family

ID=85425612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211630284.3A Pending CN115792853A (zh) 2022-12-15 2022-12-15 一种基于动态权重损失的雷达回波外推方法

Country Status (1)

Country Link
CN (1) CN115792853A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117129963A (zh) * 2023-10-09 2023-11-28 北京大学重庆大数据研究院 基于迁移预测的雷达回波外推方法及其可读存储介质
CN118070846A (zh) * 2024-04-18 2024-05-24 南京信息工程大学 一种短临降水预测方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117129963A (zh) * 2023-10-09 2023-11-28 北京大学重庆大数据研究院 基于迁移预测的雷达回波外推方法及其可读存储介质
CN118070846A (zh) * 2024-04-18 2024-05-24 南京信息工程大学 一种短临降水预测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112561146B (zh) 一种基于模糊逻辑和深度lstm的大规模实时交通流预测方法
Zhang et al. Weather radar echo prediction method based on convolution neural network and long short-term memory networks for sustainable e-agriculture
WO2023103587A1 (zh) 短临降水预测方法及装置
CN110348624B (zh) 一种基于Stacking集成策略的沙尘暴等级预测方法
CN115792853A (zh) 一种基于动态权重损失的雷达回波外推方法
Ramirez et al. Artificial neural network technique for rainfall forecasting applied to the Sao Paulo region
CN112183886B (zh) 基于卷积网络和注意力机制的短时临近降雨预测方法
CN112446419A (zh) 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112415521A (zh) 基于cgru的强时空特性雷达回波临近预报方法
CN110689183B (zh) 一种集群光伏功率概率预测方法、***、介质及电子设备
CN114742206B (zh) 综合多时空尺度多普勒雷达数据的降雨强度估计方法
CN117665825B (zh) 一种雷达回波外推预报方法、***及存储介质
CN114943365A (zh) 融合多源数据的降水估测模型建立方法及降水估测方法
CN117494034A (zh) 基于交通拥堵指数和多源数据融合的空气质量预测方法
CN115859620A (zh) 一种基于多头注意力机制和图神经网络的径流重建方法
CN114881286A (zh) 一种基于深度学习的短时降水预测方法
CN115691049A (zh) 一种基于深度学习的对流初生预警方法
CN116227349A (zh) 一种基于多模态rnn的短临降水预测方法、装置及设备
Niu et al. Precipitation forecast based on multi-channel ConvLSTM and 3d-CNN
CN117849902A (zh) 一种时空双订正高分辨次季节网格集合降水预报释用方法
CN116148864A (zh) 一种基于DyConvGRU和Unet的预测细化结构的雷达回波外推方法
Li et al. AdaRW training optimization algorithm for deep learning model of marine target detection based on SAR
CN112380985A (zh) 变电站入侵异物实时检测方法
CN118050729B (zh) 一种基于改进U-Net的雷达回波时间降尺度订正方法
Tang et al. Visibility estimation of foggy weather based on continuous video information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination