CN116760963A - 视频全景拼接与三维融合方法及装置 - Google Patents

视频全景拼接与三维融合方法及装置 Download PDF

Info

Publication number
CN116760963A
CN116760963A CN202310699313.XA CN202310699313A CN116760963A CN 116760963 A CN116760963 A CN 116760963A CN 202310699313 A CN202310699313 A CN 202310699313A CN 116760963 A CN116760963 A CN 116760963A
Authority
CN
China
Prior art keywords
dimensional
video
fusion
stitching
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310699313.XA
Other languages
English (en)
Inventor
马平
张小二
孙靖
严姗姗
任鹏辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Film Digital Production Base Co ltd
Original Assignee
China Film Digital Production Base Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Film Digital Production Base Co ltd filed Critical China Film Digital Production Base Co ltd
Priority to CN202310699313.XA priority Critical patent/CN116760963A/zh
Publication of CN116760963A publication Critical patent/CN116760963A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及视频拼接融合领域,具体为视频全景拼接与三维融合方法及装置。其包括如下步骤:S1、使用多个摄像机拍摄不同角度的视频,得到多个视频流;S2、对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像;S3、将处理后的多个视频流进行全景拼接,获得全景视频;S4、利用三维建模软件构建三维场景模型;S5、将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频。本发明能将拍摄的视频流与虚拟构建的三维场景模型结合来制作出真实性更高、结合度更好的三维全景视频。

Description

视频全景拼接与三维融合方法及装置
技术领域
本发明涉及视频拼接融合领域,特别是涉及视频全景拼接与三维融合方法及装置。
背景技术
全景视频可以达到拍摄角度360度的视频显示效果,全景视频的实现一般采用视频拼接技术,例如利用多个摄像头对场景进行视频采集,然后将多个摄像头采集的视频进行实时拼接形成全景视频。
中国专利公开号CN111583116A公开了基于多摄像机交叉摄影的视频全景拼接融合方法及***,从视频流中获取两张拍摄区域重叠的摄像机同一时刻的图像;对两张图像依次进行畸变校正和正射校正获得校正图像;提取两张校正图像的特征点,根据特征点得到特征点匹配对;根据特征点匹配对得到透视变换矩阵,根据透视变换矩阵得到两张透视变换图像;获得两张两张透视变换图像的蒙版;根据终蒙版以及特征点匹配对,对两张透视变换图像进行拼接。本技术方案实现了主光轴交叉夹角大的摄像机之间的图像的拼接。
但是,上述技术方案存在如下不足之处:
全景视频仅限于拍摄真实的环境或物体,当想要获取的物体画面并不是时刻处于真实的拍摄画面中时,则无法捕捉并拍摄带有该物体的全景视频。此外,当想要获取的物体画面并不能按照人为期望进行运动时,即便能拍摄到带有该物体的全景视频,所制作的全景视频也达不到用户需求,全景视频的表现力不够。
发明内容
本发明目的是针对背景技术中存在的问题,提出能将拍摄的视频流与虚拟构建的三维场景模型结合来制作出真实性更高、结合度更好的三维全景视频的视频全景拼接与三维融合方法及装置。
一方面,本发明提出视频全景拼接与三维融合方法,包括如下步骤:
S1、使用多个摄像机拍摄不同角度的视频,得到多个视频流;
S2、对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像;
S3、将处理后的多个视频流进行全景拼接,获得全景视频;
S4、利用三维建模软件构建三维场景模型;
S5、将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频。
优选的,还包括S6、用户通过交互方式实现对三维全景视频的控制。
优选的,步骤S2中,图像处理过程使用高斯滤波公式:
其中,G(x,y)表示高斯函数,σ表示标准差,x和y分别表示像素在水平和竖直方向上的距离。
优选的,步骤S3中,全景拼接使用透视变换来将拼接前的图像坐标变换为拼接后的图像坐标,使用的透视变换公式:
其中,表示转换后的坐标点,/>表示原始图像中的坐标点,f表示摄像机焦距,θ表示摄像机旋转角度,tx和ty表示摄像机平移距离。
优选的,三维重建融合中使用的三角测量公式:
其中,d表示物体到摄像机的距离,b表示物体在图像上的长度,xb和xa分别表示物体在图像上的两个端点的横坐标值。
优选的,步骤S1中,多个摄像机同时处于静止状态或同时处于移动状态来拍摄视频流。
另一方面,本发明提出视频全景拼接与三维融合装置,用于实施上述视频全景拼接与三维融合方法,该视频全景拼接与三维融合装置包括:
视频流拍摄模块:使用多个摄像机拍摄不同角度的视频,得到多个视频流;
视频流处理模块:对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像;
全景视频拼接模块:将处理后的多个视频流进行全景拼接,获得全景视频;
三维场景模型构建模块:利用三维建模软件构建三维场景模型;
三维重建融合模块:将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频;
交互控制模块:用户通过交互方式实现对三维全景视频的控制。
优选的,视频流拍摄模块包括多个摄像机并搭载在无人机平台上,无人机平台包括安装球座、配重块、导向环、转动环、连接杆、无人机本体、信号传输器和遥控器,安装球座为内部中空的球形结构,配重块设置在安装球座内侧底部,多个摄像机在安装球座的球面上均匀分布,导向环水平设置在安装球座外周面上,转动环转动设置在导向环上,连接杆两端分别与转动环和无人机本体连接,信号传输器设置在无人机本体上,信号传输器与无人机本体和摄像机分别通讯连接,遥控器与信号传输器通讯连接。
优选的,无人机本体飞行时以水平环绕安装球座的方式进行飞行。
与现有技术相比,本发明具有如下有益的技术效果:
本发明先将真实的视频流画面进行全景拼接获得全景视频,再与搭建的虚拟三维场景模型进行融合重建,重建得到的三维全景视频相对于单一的全景视频和单一的三维场景模型而言的真实性更高,结合度更好。制成的三维全景视频能便于用户进行全新形式且更真实的虚拟体验,表现出了更好的展示效果。
附图说明
图1为本发明实施例视频全景拼接与三维融合方法的流程示意图;
图2为本发明实施例视频全景拼接与三维融合装置的***结构框图;
图3为无人机平台搭载视频流拍摄模块的结构示意图;
图4为无人机平台的信号传输原理结构框图;
图5为视频流拍摄模块直线升降时无人机本体的飞行路径图,其中,实线表示视频流拍摄模块的移动路径,虚线表示无人机本体的飞行路径;
图6为视频流拍摄模块水平移动时无人机本体的飞行路径图,其中,实线表示视频流拍摄模块的移动路径,虚线表示无人机本体的飞行路径;
图7为视频流拍摄模块沿倾斜方向移动时无人机本体的飞行路径图,其中,实线表示视频流拍摄模块的移动路径,虚线表示无人机本体的飞行路径。
附图标记:1、安装球座;2、导向环;3、转动环;4、连接杆;5、无人机本体;6、信号传输器。
具体实施方式
实施例一
如图1所示,本实施例提出的视频全景拼接与三维融合方法,包括如下步骤:
S1、使用多个摄像机拍摄不同角度的视频,得到多个视频流,多个摄像机同时处于静止状态或同时处于移动状态来拍摄视频流;
S2、对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像,图像处理过程使用高斯滤波公式:
其中,G(x,y)表示高斯函数,σ表示标准差,σ值与图像清晰度成反比,σ值越高,图像清晰度越低,σ值越低,图像清晰度越高,可根据实际情况选择合适的σ值;x和y分别表示像素在水平和竖直方向上的距离;
S3、将处理后的多个视频流进行全景拼接,获得全景视频,全景拼接使用透视变换来将拼接前的图像坐标变换为拼接后的图像坐标,使用的透视变换公式:
其中,表示转换后的坐标点,/>表示原始图像中的坐标点,f表示摄像机焦距,θ表示摄像机旋转角度,当摄像机未旋转时,θ值为0,tx和ty表示摄像机平移距离;
S4、利用三维建模软件构建三维场景模型,可采用3DS Max和Maya等三维建模软件来进行三维场景模型的搭建;
S5、将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频,三维重建融合时,将三维场景模型匹配到全景视频的对应位置,三维重建融合中使用的三角测量公式:
其中,d表示物体到摄像机的距离,b表示物体在图像上的长度,xb和xa分别表示物体在图像上的两个端点的横坐标值;
S6、用户通过交互方式实现对三维全景视频的控制,从而提升用户体验,实现真实性更强的三维全景视频的观看。
本实施例先将真实的视频流画面进行全景拼接获得全景视频,再与搭建的虚拟三维场景模型进行融合重建,重建得到的三维全景视频相对于单一的全景视频和单一的三维场景模型而言的真实性更高,结合度更好。制成的三维全景视频能便于用户进行全新形式且更真实的虚拟体验,表现出了更好的展示效果。
实施例二
如图1-图7所示,本实施例提出的视频全景拼接与三维融合装置,用于实施上述实施例一中的视频全景拼接与三维融合方法,该视频全景拼接与三维融合装置包括视频流拍摄模块、视频流处理模块、全景视频拼接模块、三维场景模型构建模块、三维重建融合模块和交互控制模块。
视频流拍摄模块使用多个摄像机拍摄不同角度的视频,得到多个视频流,多个视频流包含边缘覆盖区域,多个视频流的画面能完全覆盖到三维全向空间,不存在拍摄盲区。
视频流处理模块用于对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像。
全景视频拼接模块用于将处理后的多个视频流进行全景拼接,获得全景视频,拼接时,裁剪掉相邻视频流之间存在重合的部分,只保留未重合的视频流画面。
三维场景模型构建模块用于利用三维建模软件构建三维场景模型,三维场景模型与拍摄的视频流画面是对应的,采用的三维建模软件可包括3DS Max和Maya等。
三维重建融合模块用于将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频,三维全景视频是对全景视频和三维场景模型进行的对应融合,使得三维全景视频的真实性更强。
交互控制模块使得用户能通过交互方式实现对三维全景视频的控制,使得用户对三维全景视频的交互体验性更佳,能进行身临其境的体验。
如图2-图4所示,视频流拍摄模块包括多个摄像机并搭载在无人机平台上,无人机平台包括安装球座1、配重块、导向环2、转动环3、连接杆4、无人机本体5、信号传输器6和遥控器,安装球座1为内部中空的球形结构,配重块设置在安装球座1内侧底部,多个摄像机在安装球座1的球面上均匀分布,导向环2水平设置在安装球座1外周面上,转动环3转动设置在导向环2上,连接杆4两端分别与转动环3和无人机本体5连接,信号传输器6设置在无人机本体5上,信号传输器6与无人机本体5和摄像机分别通讯连接,遥控器与信号传输器6通讯连接,能通过信号传输器6向无人机本体5和摄像机发送信号,控制无人机本体5的飞行以及摄像机的拍摄,摄像机拍摄的视频流能通过信号传输器6回传到遥控器进行存储,用户再通过读取遥控器来收集摄像机拍摄的视频流画面。
无人机本体5飞行时以水平环绕安装球座1的方式进行飞行,因为安装球座1内侧设置有配重块,在无人机本体5绕安装球座1公转时,无人机本体5带动连接杆4和转动环3绕安装球座1转动,导向环2对转动环3进行导向,使转动过程更顺畅,安装球座1上的多个摄像机能维持拍摄方位不变,保证拍摄画面的连续性和稳定性。
如图5所示,当视频流拍摄模块竖直升降时,安装球座1和多个摄像机竖直升降,无人机本体5在升降时叠加绕安装球座1公转的复合飞行运动,能使多个摄像机均能拍摄到持续的视频流。
如图6所示,当视频流拍摄模块水平移动时,安装球座1和多个摄像机水平移动,无人机本体5在水平移动时叠加绕安装球座1公转的复合飞行运动,能使多个摄像机均能拍摄到持续的视频流。
如图7所示,当视频流拍摄模块沿倾斜方向移动时,安装球座1和多个摄像机也沿倾斜方向移动,无人机本体5在沿倾斜方向移动时叠加绕安装球座1公转的复合飞行运动,能使多个摄像机均能拍摄到持续的视频流。
同理,对于视频流拍摄模块的任意形式的移动,安装球座1和多个摄像机进行同步形式的移动,无人机本体5在进行同步形式的移动时能叠加绕安装球座1公转的复合飞行运动,从而能使多个不同方位的摄像机拍摄到持续的视频流,最终能保证所制作成的全景视频的完整性和连续性。当视频流拍摄模块的多个摄像机在固定位置处于静止状态来拍摄视频时,无人机本体5仅进行环绕安装球座1的运动。
在无人机本体5处于某些摄像机前侧时,无人机本体5会遮挡摄像机造成视野盲区,摄像机无法完整拍摄此方向上的视频流。当无人机本体5转开时,该摄像机可进行正常拍摄,获得未被遮挡时拍摄的视频流,利用上述视频流来模拟制作出之前未完整拍摄的视频流画面,从而能在整体上实现多个摄像机在整个拍摄流程中的视频流连续性和完整性。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于此,在所属技术领域的技术人员所具备的知识范围内,在不脱离本发明宗旨的前提下还可以作出各种变化。

Claims (9)

1.视频全景拼接与三维融合方法,其特征在于,包括如下步骤:
S1、使用多个摄像机拍摄不同角度的视频,得到多个视频流;
S2、对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像;
S3、将处理后的多个视频流进行全景拼接,获得全景视频;
S4、利用三维建模软件构建三维场景模型;
S5、将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频。
2.根据权利要求1所述的视频全景拼接与三维融合方法,其特征在于,还包括S6、用户通过交互方式实现对三维全景视频的控制。
3.根据权利要求1所述的视频全景拼接与三维融合方法,其特征在于,步骤S2中,图像处理过程使用高斯滤波公式:
其中,G(x,y)表示高斯函数,σ表示标准差,x和y分别表示像素在水平和竖直方向上的距离。
4.根据权利要求3所述的视频全景拼接与三维融合方法,其特征在于,步骤S3中,全景拼接使用透视变换来将拼接前的图像坐标变换为拼接后的图像坐标,使用的透视变换公式:
其中,表示转换后的坐标点,/>表示原始图像中的坐标点,f表示摄像机焦距,θ表示摄像机旋转角度,tx和ty表示摄像机平移距离。
5.根据权利要求4所述的视频全景拼接与三维融合方法,其特征在于,三维重建融合中使用的三角测量公式:
其中,d表示物体到摄像机的距离,b表示物体在图像上的长度,xb和xa分别表示物体在图像上的两个端点的横坐标值。
6.根据权利要求1所述的视频全景拼接与三维融合方法,其特征在于,步骤S1中,多个摄像机同时处于静止状态或同时处于移动状态来拍摄视频流。
7.视频全景拼接与三维融合装置,用于实施根据权利要求6所述的视频全景拼接与三维融合方法,其特征在于,该视频全景拼接与三维融合装置包括:
视频流拍摄模块:使用多个摄像机拍摄不同角度的视频,得到多个视频流;
视频流处理模块:对多个视频流分别进行去噪和图像增强的图像处理过程,获得更清晰的图像;
全景视频拼接模块:将处理后的多个视频流进行全景拼接,获得全景视频;
三维场景模型构建模块:利用三维建模软件构建三维场景模型;
三维重建融合模块:将拼接后的全景视频与三维场景模型进行三维重建融合,获得三维重建融合后的三维全景视频;
交互控制模块:用户通过交互方式实现对三维全景视频的控制。
8.根据权利要求7所述的视频全景拼接与三维融合装置,其特征在于,视频流拍摄模块包括多个摄像机并搭载在无人机平台上,无人机平台包括安装球座(1)、配重块、导向环(2)、转动环(3)、连接杆(4)、无人机本体(5)、信号传输器(6)和遥控器,安装球座(1)为内部中空的球形结构,配重块设置在安装球座(1)内侧底部,多个摄像机在安装球座(1)的球面上均匀分布,导向环(2)水平设置在安装球座(1)外周面上,转动环(3)转动设置在导向环(2)上,连接杆(4)两端分别与转动环(3)和无人机本体(5)连接,信号传输器(6)设置在无人机本体(5)上,信号传输器(6)与无人机本体(5)和摄像机分别通讯连接,遥控器与信号传输器(6)通讯连接。
9.根据权利要求8所述的视频全景拼接与三维融合装置,其特征在于,无人机本体(5)飞行时以水平环绕安装球座(1)的方式进行飞行。
CN202310699313.XA 2023-06-13 2023-06-13 视频全景拼接与三维融合方法及装置 Pending CN116760963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310699313.XA CN116760963A (zh) 2023-06-13 2023-06-13 视频全景拼接与三维融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310699313.XA CN116760963A (zh) 2023-06-13 2023-06-13 视频全景拼接与三维融合方法及装置

Publications (1)

Publication Number Publication Date
CN116760963A true CN116760963A (zh) 2023-09-15

Family

ID=87954718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310699313.XA Pending CN116760963A (zh) 2023-06-13 2023-06-13 视频全景拼接与三维融合方法及装置

Country Status (1)

Country Link
CN (1) CN116760963A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技(深圳)有限公司 一种配合体感操作实现虚拟飞行的***
CN111583116A (zh) * 2020-05-06 2020-08-25 上海瀚正信息科技股份有限公司 基于多摄像机交叉摄影的视频全景拼接融合方法及***
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112383746A (zh) * 2020-10-29 2021-02-19 北京软通智慧城市科技有限公司 一种三维场景中的视频监控方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技(深圳)有限公司 一种配合体感操作实现虚拟飞行的***
CN111583116A (zh) * 2020-05-06 2020-08-25 上海瀚正信息科技股份有限公司 基于多摄像机交叉摄影的视频全景拼接融合方法及***
CN112017222A (zh) * 2020-09-08 2020-12-01 北京正安维视科技股份有限公司 视频全景拼接与三维融合方法及装置
CN112383746A (zh) * 2020-10-29 2021-02-19 北京软通智慧城市科技有限公司 一种三维场景中的视频监控方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN101689292B (zh) Banana多媒体数字信号编解码器
CN110730296B (zh) 图像处理装置、图像处理方法及计算机可读介质
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的***及方法
WO2018133589A1 (zh) 航拍方法、装置和无人机
JP2017103751A (ja) 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン
WO2019041276A1 (zh) 一种图像处理方法、无人机及***
US11233944B2 (en) Method for achieving bullet time capturing effect and panoramic camera
WO2014162324A1 (en) Spherical omnidirectional video-shooting system
WO2018035764A1 (zh) 广角照片拍摄方法、装置、云台、无人飞行器及机器人
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
EP2612491A1 (en) Rotary image generator
JP2008005450A (ja) 3次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法
WO2019023914A1 (zh) 一种图像处理方法、无人机、地面控制台及其图像处理***
WO2022047701A1 (zh) 图像处理方法和装置
CN107038714A (zh) 多型视觉传感协同目标跟踪方法
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
TWI696147B (zh) 全景圖形成方法及系統
CN108564654B (zh) 三维大场景的画面进入方式
KR20160102845A (ko) 비행 가능한 전방위 촬영시스템
CN113163107B (zh) 全景画面定时采集触发***及方法
CN213126145U (zh) 一种ar-虚拟互动***
CN115935011A (zh) 一种基于bim模型的镜现平台数据处理方法
CN116760963A (zh) 视频全景拼接与三维融合方法及装置
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination