CN114973121A - 一种基于CenterNet的河道排水口检测方法、***及电子设备 - Google Patents

一种基于CenterNet的河道排水口检测方法、***及电子设备 Download PDF

Info

Publication number
CN114973121A
CN114973121A CN202210465106.3A CN202210465106A CN114973121A CN 114973121 A CN114973121 A CN 114973121A CN 202210465106 A CN202210465106 A CN 202210465106A CN 114973121 A CN114973121 A CN 114973121A
Authority
CN
China
Prior art keywords
image
outlet
centernet
detection method
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210465106.3A
Other languages
English (en)
Inventor
胡胤
陈志祥
王秋玲
周晓彤
徐锡平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vclusters Information Technology Co ltd
Original Assignee
Shenzhen Vclusters Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vclusters Information Technology Co ltd filed Critical Shenzhen Vclusters Information Technology Co ltd
Priority to CN202210465106.3A priority Critical patent/CN114973121A/zh
Publication of CN114973121A publication Critical patent/CN114973121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/40Protecting water resources
    • Y02A20/402River restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于CenterNet的河道排水口检测方法、***及电子设备,包括获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;将待识别图像输入到该MobileNetv2的识别模型中;基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。数据增强提升排水口与背景水泥草丛的区分度,提高识别模型的准确度,同时,分别对待识别图像依次进行5次下采样及3次上采样,使得处理后的图像覆盖了更大范围的排水口,排水口特征更易检测。

Description

一种基于CenterNet的河道排水口检测方法、***及电子设备
技术领域
本发明涉及河道排水口检测技术领域,特别涉及一种基于CenterNet的河道排水口检测方法、***及电子设备。
背景技术
近些年国家在生态保护方面做了很多的工作,其中对于水资源的生态保护尤为重要,因此对水利建设的投入相当大,其中,对于河道的治理、城市污水的排放等等,都有明确的要求,然而,所有的规范化流程都需要有人来监管,早期的人力监管确实对违规排放等不良行为起到不少作用,但是人力资源是有限的,发展一种全天候自动化的监管技术成为了杜绝该问题的关键。
但是对于排水口而言,大多排水口使用水泥砌成的边缘与周围的背景颜色相似,特别是在违规设置排水口的区域,其排水口的位置较为隐秘,排水口的特征颜色与背景颜色相近,例如草丛、楼栋尾部区域,而传统的监控摄像头距离排水口的位置通常较远,很多排水口在画面中的像素占比少,这就给传统的图像识别模型带来了较大困难,其识别率较低。
发明内容
为了克服目前现有的排水口识别率的问题,本发明提供基于CenterNet的河道排水口检测方法、***及电子设备。
本发明为解决上述技术问题,提供一种基于CenterNet的河道排水口检测方法,其特征在于:包括如下步骤:
步骤S1:获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;步骤S2:将待识别图像输入到该MobileNetv2的识别模型中;步骤S3:基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
优选地,在步骤S3中,CenterNet目标检测算法采用可变性卷积层进行特征识别。
优选地,在步骤S1和步骤S2之间,还包括:对多张增强图像进行预处理。
优选地,在步骤S3之后,还包括:去除目标框重叠的特征图。
本发明还提供一种基于CenterNet的河道排水口检测***,包括:数据增强单元,用于获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;图像输入单元,用于将待识别图像输入到该MobileNetv2的识别模型中;目标检测单元,用于基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
本发明还提供一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行上述任一项中所述的基于CenterNet的河道排水口检测方法;所述处理器被设置为通过所述计算机程序执行上述任一项中所述的基于CenterNet的河道排水口检测方法。
与现有技术相比,本发明提供的一种基于CenterNet的河道排水口检测方法、***及电子设备,具有以下优点:
通过采用基于MobileNetv2的识别模型,在训练时采用数据增强算法,mixup融合的方式能更大程度的将背景和前景融合到一起,在训练阶段对两者的特征学习得更好,大大提升了排水口与背景水泥草丛的区分度,大大降低了误检率。其次,通过CenterNet目标检测算法,分别对待识别图像依次进行5次下采样及3次上采样,使得处理后的图像覆盖了更大范围的排水口,排水口特征更易检测,采用轻量化的MobileNetv2网络模型来缓解计算量增大的问题,可以提高识别效率。再进一步地,采用可变性的卷积层提升了提取不同形状的排水口特征的能力。
附图说明
图1为本发明第一实施例提供的一种基于CenterNet的河道排水口检测方法的整体流程图。
图2为本发明第二实施例提供的一种基于CenterNet的河道排水口检测***的模块图。
图3为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明:
1、数据增强单元;2、图像输入单元;3、目标检测单元;
10、存储器;20、处理器。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明第一实施例提供一种基于CenterNet的河道排水口检测方法,包括以下步骤:
步骤S1:获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型。
步骤S2:将待识别图像输入到该MobileNetv2的识别模型中;
步骤S3:基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
可以理解,在步骤S1中,采用数据增强算法,具体为采用mixup的方法进行数据增强,该方法能组合不同的图像目标,根据其不同的透明度融合至同一张图像中,能够增加背景的多样性以及前景目标对背景的适应程度,对于排水口而言,大多排水口使用水泥砌成的边缘与周围的背景颜色相似,通过mixup融合的方式能更大程度的将背景和前景融合到一起,在训练阶段对两者的特征学习得更好,大大提升了排水口与背景水泥草丛的区分度,大大降低了误检率。
可以理解,在步骤S1中,该步骤为识别模型在训练阶段的训练样本增强,可以加快识别模型训练的收敛。
可以理解,在步骤S2和步骤S3中,本实施例中采用MobileNetv2网络作为基础模型,并在该模型中采用Anchor Free的Centernet作为目标检测算法,分别对输入的待识别图像依次进行5次下采样及3次上采样,例如:在1080p的分辨率下,基于Anchor Free的CenterNet,经过5次的下采样之后再经过3次的上采样,最终相比输入尺寸只下降了4倍,我们采用1024*1024的尺寸输入到CenterNet网络,4*1920/1024≈8,能检测到的最小尺寸就为8*8像素的目标,这对于绝大部分的小排水口都能被覆盖。
而Centernet算法是基于Anchor Free的网络,对于长宽比较大的目标不依赖anchor的设置,特征更容易被检出。另外,在增大尺寸的同时,也增加了相当大的参数和计算量,本实施例采用轻量化的MobileNetv2网络模型来缓解计算量增大的问题,可以提高识别效率。
可选地,作为一种实施例,在步骤S3中,CenterNet目标检测算法采用可变性卷积层进行特征识别。河道的排水口,除了目标小,由于水的漫灌、杂草的遮挡等影响还有形状多变的问题,所以对比现有的方块卷积无法应对多尺度的排口,本实施例针对排水口形状多变的问题引入可变性卷积(Deformable Convolution),如图3所示,(a)为正常的卷积核,(b)(c)(d)为不同形状的可变形卷积核,在正常的方形坐标采样点上加了一个偏移量,偏移量不同,所对应的卷积核形状也不同,在模型训练的过程中提升了提取不同形状的排水口特征的能力。
可选地,作为又一种实施例,在步骤S1和步骤S2之间,还包括:对多张增强图像进行预处理,图像预处理可以包括resize、mean、scale等操作,可进一步提高特征识别的效率和准确度。
可选地,作为又一种实施例,在步骤S3之后,还包括:去除目标框重叠的特征图。在图像识别中,会在待识别图像内的特征区域形成矩形的目标框,表示当前识别的特征位置及范围,而面对大量的目标框,会存在重叠现象,也即同一个目标产生多个目标框,使得检测模型对目标的位置预测出现偏差。在本实施例中,采用非极大抑制算法(NMS)将重叠的目标框过滤掉,而NMS可以根据IOU的大小保留置信度最高的其中一个目标框。
请参阅图2,本发明第二实施例还提供一种基于CenterNet的河道排水口检测***。用于执行上述第一实施例中基于CenterNet的河道排水口检测方法,该基于CenterNet的河道排水口检测***可以包括:
数据增强单元1,用于实施上述步骤S1,用于获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;
图像输入单元2,用于实施上述步骤S2,用于将待识别图像输入到该MobileNetv2的识别模型中;
目标检测单元3,用于实施上述步骤S3,用于基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
请参阅图3,本发明第三实施例提供一种用于实施上述基于CenterNet的河道排水口检测方法的电子设备,所述电子设备包括存储器10和处理器20,所述存储器10中存储有运算机程序,所述运算机程序被设置为运行时执行上述任一项基于CenterNet的河道排水口检测方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于CenterNet的河道排水口检测方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
与现有技术相比,本发明提供的一种基于CenterNet的河道排水口检测方法、***及电子设备,具有以下优点:
通过采用基于MobileNetv2的识别模型,在训练时采用数据增强算法,mixup融合的方式能更大程度的将背景和前景融合到一起,在训练阶段对两者的特征学习得更好,大大提升了排水口与背景水泥草丛的区分度,大大降低了误检率。其次,通过CenterNet目标检测算法,分别对待识别图像依次进行5次下采样及3次上采样,使得处理后的图像覆盖了更大范围的排水口,排水口特征更易检测,采用轻量化的MobileNetv2网络模型来缓解计算量增大的问题,可以提高识别效率。再进一步地,采用可变性的卷积层提升了提取不同形状的排水口特征的能力。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读信号介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括图像预处理单元、预测单元、损失监督单元及模型更新单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,图像预处理单元还可以被描述为“用于获取经过预处理的图像的单元”。
作为另一方面,本申请还提供了一种计算机存储器,该计算机存储器可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机存储器承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;将待识别图像输入到该MobileNetv2的识别模型中;基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
以上仅为本发明较佳实施例而已,并不用以限制本发明,凡在本发明原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。

Claims (6)

1.一种基于CenterNet的河道排水口检测方法,其特征在于:包括如下步骤:
步骤S1:获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;
步骤S2:将待识别图像输入到该MobileNetv2的识别模型中;
步骤S3:基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
2.如权利要求1中所述基于CenterNet的河道排水口检测方法,其特征在于:在步骤S3中,CenterNet目标检测算法采用可变性卷积层进行特征识别。
3.如权利要求1中所述基于CenterNet的河道排水口检测方法,其特征在于:在步骤S1和步骤S2之间,还包括:
对多张增强图像进行预处理。
4.如权利要求1中所述基于CenterNet的河道排水口检测方法,其特征在于:在步骤S3之后,还包括:
去除目标框重叠的特征图。
5.一种基于CenterNet的河道排水口检测***,其特征在于,包括:
数据增强单元,用于获取多张训练图像,将训练图像中的前景特征及背景特征进行数据增强,获得多张增强图像,多张增强图像训练获得基于MobileNetv2的识别模型;
图像输入单元,用于将待识别图像输入到该MobileNetv2的识别模型中;
目标检测单元,用于基于CenterNet目标检测算法,对输入的待识别图像依次进行5次下采样及3次上采样,在处理过后的图像上进行特征识别,获得河道排水口特征图。
6.一种电子设备,包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述基于CenterNet的河道排水口检测方法;
所述处理器被设置为通过所述计算机程序执行所述权利要求1至4任一项中所述基于CenterNet的河道排水口检测方法。
CN202210465106.3A 2022-04-29 2022-04-29 一种基于CenterNet的河道排水口检测方法、***及电子设备 Pending CN114973121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210465106.3A CN114973121A (zh) 2022-04-29 2022-04-29 一种基于CenterNet的河道排水口检测方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210465106.3A CN114973121A (zh) 2022-04-29 2022-04-29 一种基于CenterNet的河道排水口检测方法、***及电子设备

Publications (1)

Publication Number Publication Date
CN114973121A true CN114973121A (zh) 2022-08-30

Family

ID=82979984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210465106.3A Pending CN114973121A (zh) 2022-04-29 2022-04-29 一种基于CenterNet的河道排水口检测方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN114973121A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
CN113901944A (zh) * 2021-10-25 2022-01-07 大连理工大学 一种基于改进的yolo算法的海洋生物目标检测方法
CN113936019A (zh) * 2021-06-25 2022-01-14 深圳市识农智能科技有限公司 一种基于卷积神经网络技术的大田作物产量估算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936019A (zh) * 2021-06-25 2022-01-14 深圳市识农智能科技有限公司 一种基于卷积神经网络技术的大田作物产量估算方法
CN113469050A (zh) * 2021-07-01 2021-10-01 安徽大学 基于图像细分类的火焰检测方法
CN113901944A (zh) * 2021-10-25 2022-01-07 大连理工大学 一种基于改进的yolo算法的海洋生物目标检测方法

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN117078943B (zh) 融合多尺度特征和双注意力机制的遥感影像道路分割方法
CN112862685B (zh) 图像拼接的处理方法、装置和电子***
CN112056993B (zh) 一种清洁方法、装置、电子设备及计算机可读存储介质
CN107705254B (zh) 一种基于街景图的城市环境评估方法
KR20220050960A (ko) 목표 검출 방법, 장치, 전자 기기 및 기억 매체
CN113012383B (zh) 火灾检测报警方法、相关***、相关设备及存储介质
WO2017095866A1 (en) Information extraction using image data
CN113888557A (zh) 一种基于rgb-d特征融合的场景语义分割方法及***
CN112749578A (zh) 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN112417955A (zh) 巡检视频流处理方法及装置
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
CN104182976A (zh) 一种野外运动目标精细化提取方法
CN113705332A (zh) 检测车载终端摄像头遮挡的方法和装置、车载终端、车辆
Lin et al. Real-time active tampering detection of surveillance camera and implementation on digital signal processor
CN110795975A (zh) 人脸误检优化方法及装置
CN115937071A (zh) 一种图像检测方法、装置、设备及介质
CN113158963B (zh) 一种高空抛物的检测方法及装置
CN114359149A (zh) 基于实时图像边缘增强的坝岸险***检测方法及***
CN114973121A (zh) 一种基于CenterNet的河道排水口检测方法、***及电子设备
CN113609980A (zh) 一种用于自动驾驶车辆的车道线感知方法及装置
CN113284066A (zh) 遥感影像自动云检测方法和装置
CN115984378A (zh) 一种轨道异物检测方法、装置、设备及介质
CN113762266B (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN115393384A (zh) 基于跨相机的多目标跟踪模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination