CN107707814A - 一种用于无线光通信的智能终端自动曝光控制方法及结构 - Google Patents
一种用于无线光通信的智能终端自动曝光控制方法及结构 Download PDFInfo
- Publication number
- CN107707814A CN107707814A CN201710821839.5A CN201710821839A CN107707814A CN 107707814 A CN107707814 A CN 107707814A CN 201710821839 A CN201710821839 A CN 201710821839A CN 107707814 A CN107707814 A CN 107707814A
- Authority
- CN
- China
- Prior art keywords
- intelligent terminal
- image
- camera
- wireless
- light communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Communication System (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种用于无线光通信的智能终端自动曝光控制方法及结构，步骤如下：根据各个图像对象与图像传感器之间的距离的方向，摄像头控制从图像传感器到图像对象的距离，进行自动对焦；根据光线水平调整曝光时间，从而控制摄像头入射光量，进行自动曝光；捕获LED光源的图像，收集图像中的所有像素数据，调整整个画面的亮度图像增益，识别LED光源对象并准确获取其传输的无线光通信信号数据。该发明实现自动对焦和自动曝光，并根据周围环境的光线水平调整曝光时间，调节整个图像画面的亮度增益，从而能够从像素信息中准确的恢复数字数据，获取准确的无线光通信信号数据。
Description
技术领域
本发明涉及无线光通信技术领域和智能终端结构，具体涉及一种用于无线光通信的智能终端自动曝光控制方法及结构。
背景技术
近年来，被誉为“绿色照明”的半导体器件LED迅速发展，相比于传统的白炽灯灯照明光源，LED具有低能耗、寿命长、绿色环保等特点。同时，LED还具有调制性能好、响应灵敏度高、无电磁干扰等优势，可将信号以人眼无法识别的高频进行传输，且LED发出的光频段不需要许可授权，可以实现低成本高宽带且传输速率高的无线通讯，因而催生了一门能够实现照明与通信一体化的技术——可见光通信技术。
随着手机智能化的发展以及智能终端功能的不断更新，人们对于智能终端的需求越来越趋向于多元化，智能终端摄像机最初并不是设计为通信工具，如果能将可见光通信技术与智能终端功能结合使用，将智能终端相机作为OCC(Optical CameraCommunication)通信设备，用于可见光通信中进行光通信信号的传输，那么智能终端在日常生活中的普及将会带来很大的便利。
在OCC***中，目标对象在相机中失焦时，或者曝光长于运动时间时，接收到的图像像素会变得模糊，使得接收到的图像不能从发送的信号中被解码，接收到的图像中的模糊量是解码过程中的重要因素，且由于OCC***存在的目的是进行数据通信，图像的色彩质量对于解码过程不是一个重要问题。针对于OCC***，图像像素的模糊问题可以通过自动对焦和自动曝光来解决。
对于OCC***，在室内情况下，用于数据传输的LED照明点将非常亮，并且可能导致LED部分在图像中饱和。图像的饱和部分全部显示为白色，难以区分黑白级别进行数据解码，即无法识别出LED光源发送的无线光数据。
因此，极为有必要开发一种用于无线光通信的智能终端自动曝光控制方法及结构。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种用于无线光通信的智能终端自动曝光控制方法及结构，可控制摄像头自动对焦和自动曝光，从而改变图像像素的光增益，实现无线光通信信号数据的传输。
根据公开的实施例，本发明的第一方面公开了一种用于无线光通信的智能终端自动曝光控制方法，所述的方法包括下列步骤：
S1、根据各个图像对象与图像传感器之间的距离的方向，摄像头准确地控制从图像传感器到图像对象的距离，进行自动对焦；
S2、根据周围环境的光线水平调整曝光时间，从而控制智能终端摄像头入射光量，进行自动曝光；
S3、捕获LED光源的图像，收集图像中的所有像素数据，调整整个画面的亮度图像增益，识别LED光源对象并准确获取其传输的无线光通信信号数据。
进一步地，所述的步骤S1具体包括下列步骤：
S101、根据图像深度确定物体与图像传感器的不同距离；
S102、将自动对焦区域确定于图像的中心；
S103、根据不同对象的图像深度，调整并准确控制从图像传感器到图像对焦的距离。
进一步地，所述的步骤S2具体包括下列步骤：
S201、通过光敏传感器模块获取周围环境的光线水平信息；
S202、通过光敏传感器模块的反馈，当周围环境的光线较强时，减少摄像头曝光时间；当周围环境的光线较暗时，增加摄像头曝光时间，从而控制智能终端摄像头入射光量。
进一步地，所述的步骤S3具体包括下列步骤：
S301、捕捉LED光源对象，获取LED光源的图像信息，并收集图像中的所有像素数据；
S302、根据图像中像素信息，通过曝光控制算法调整整个画面的亮度图像增益，控制图像的亮度平均值，使得摄像头可以区分出LED光源中无线光数据的黑白级别；
S303、获取LED光源发送的无线光数据，将其进行软件解码从何获得准确的无线光数据信息。
根据公开的实施例，本发明的第二方面公开了一种用于无线光通信的智能终端自动曝光控制结构，所述的结构包括：智能终端外壳主体，智能终端摄像头以及智能终端主体内的硬件电路，
所述的智能终端外壳主体包括触摸显示屏、主页按键以及其侧面按键，分别与所述的智能终端主体内的硬件电路电气连接，其中，按键和触摸显示屏用于控制智能终端相机软件功能从而控制智能终端摄像头进行图像的接收；
所述的智能终端摄像头包括依次连接的摄像模块、控制模块、调节模块以及传输接口，所述的智能终端摄像头通过其传输接口与所述的智能终端主体内的硬件电路实现电气连接；
所述的智能终端主体内的硬件电路包括储存模块和无线光数据解码模块。
进一步地，所述的摄像模块设有依次连接的可调控光圈、镜头和传感器组，所述的传感器组包括图像传感器和光敏传感器，所述的控制模块，用于获取图像传感器感知的周围环境光线强度信息，控制摄像头曝光时间，从而控制吸收光量；所述的调节模块，用于调整整个图像画面像素的平均增益，运用曝光控制算法改变画面的光强增益，从而能够区分出LED光源发送的无线光数据信号，并传输到所述传输接口。
进一步地，所述的传输接口为移动工业处理器接口MIPI。
进一步地，所述的储存模块用于储存所获取的无线光通信信号图像；所述的无线光数据解码模块，包含中央处理器CPU及电子运算处理器，用于运算处理获得相应的无线光通信信号数据。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明提出了一种利用智能终端摄像头自动对焦与图像传感器像素增益调整方法的自动控制曝光技术，调整智能终端摄像头捕获LED光源对象整体画面的平均图像像素增益，从而识别并解码光源LED发出的无线光通信信号数据。
(2)本发明结合使用了无线光通信技术的无线光数据传输方法，通过对光源LED对象的图像捕获，调整画面的像素增益，识别解码从而获取LED发出的无线光通信信号，实现智能终端在无线光通信领域的运用，本发明可以应用于不同的环境和场合，增加了智能终端功能的实用性和创新性。
(3)本发明提出了一种利用智能终端摄像头自动对焦与图像传感器像素增益调整方法的自动控制曝光技术，调整智能终端摄像头捕获LED光源对象整体画面的平均图像像素增益，从而识别并解码光源LED发出的无线光通信信号数据。
(4)本发明结合使用了无线光通信技术的无线光数据传输方法，通过对光源LED对象的图像捕获，调整画面的像素增益，识别解码从而获取LED发出的无线光通信信号，实现智能终端在无线光通信领域的运用，本发明可以应用于不同的环境和场合，增加了智能终端功能的实用性和创新性。
附图说明
图1是本发明中公开的用于无线光通信的智能终端自动曝光控制结构示意图；
图2是本发明中实现智能终端自动对焦示意图；
图3是本发明中智能终端接受图像曝光过度示意图；
图4是本发明中实现智能终端曝光控制示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
一种用于无线光通信的智能终端自动曝光控制方法，通过自动准确地控制从智能终端摄像头图像传感器到图像对象的距离，进行自动对焦；通过自动控制智能终端摄像头吸收的光量，进行自动曝光，根据周围环境的光线水平调整曝光时间，调节整个图像画面的亮度增益，从而能够从像素信息中准确的回复数字数据，获取准确的无线光通信信号数据。该方法实现更大化的使用手机功能，满足用户对多元化智能终端功能的需求，提高智能终端的使用价值。
其中，所述的智能终端包括手机、笔记本电脑、平板电脑和掌上上网设备、多媒体设备、流媒体设备、移动互联网设备(MID，mobile internet device)、可穿戴设备或其他类型的终端设备。
该方法具体包括以下步骤：
步骤S1、根据各个图像对象与图像传感器之间的距离的方向，摄像头准确地控制从图像传感器到图像对象的距离，进行自动对焦。
该步骤具体包括：
步骤S101、根据图像深度确定物体与图像传感器的不同距离。
步骤S102、将自动对焦区域确定于图像的中心。
步骤S103、根据不同对象的图像深度，调整并准确控制从图像传感器到图像对焦的距离。
步骤S2、根据周围环境的光线水平调整曝光时间，从而控制智能终端摄像头入射光量，进行自动曝光。
该步骤具体包括：
步骤S201、通过光敏传感器模块获取周围环境的光线水平信息。
步骤S202、通过光敏传感器模块的反馈，当周围环境的光线较强时，减少摄像头曝光时间；当周围环境的光线较暗时，增加摄像头曝光时间，从而控制智能终端摄像头入射光量。
步骤S3、捕获LED光源的图像，收集图像中的所有像素数据，调整整个画面的亮度图像增益，识别LED光源对象并准确获取其传输的无线光通信信号数据。
该步骤具体包括：
步骤S301、捕捉LED光源对象，获取LED光源的图像信息，并收集图像中的所有像素数据。
步骤S302、根据图像中像素信息，通过曝光控制算法调整整个画面的亮度图像增益，控制图像的亮度平均值，使得摄像头可以区分出LED光源中无线光数据的黑白级别。
步骤S303、获取LED光源发送的无线光数据，将其进行软件解码从何获得准确的无线光数据信息。
实施例二
如图1所示，一种用于无线光通信的智能终端自动曝光控制结构，包括：智能终端外壳主体，智能终端摄像头以及智能终端主体内的硬件电路，智能终端外壳主体包括触摸显示屏、主页按键以及其侧面按键，分别与硬件电路电气连接；所述的按键和触摸显示屏用于控制智能终端相机软件功能从而控制智能终端摄像头进行图像的接收；所述的智能终端摄像头包括依次连接的摄像模块、控制模块、调节模块以及传输接口，所述的智能终端摄像头通过其传输接口与所述智能终端主体内的硬件电路实现电气连接；所述的智能终端主体内的硬件电路包括储存模块和无线光数据解码模块。
其中，智能终端摄像头用于接收光源LED发送的无线光通信信号。
该结构通过光源LED将数据进行无线传输，通过智能终端摄像头对LED对象进行捕捉，并进行自动对焦与自动曝光，调整整个图像像素的像素增益，从而识别并解码LED光源传输的无线光通信信号数据。
光源LED传输无线光通信信号，智能终端摄像头的摄像模块根据对象与图像传感器直接的距离，即图像深度，进行调整自动对焦，光敏传感器获取周边环境的光线强弱信息，通过控制模块控制镜头曝光时间从而控制吸收光量，调节模块通过曝光控制算法调整整个图像画面像素的平均增益，从而能够区分出LED光源发送的无线光数据信号，再通过所述侧面按键或触摸屏控制手机捕捉接受图像数据，将所述图像数据通过所述传输接口传输到所述储存模块，再将可见光数据传输到无线光数据解码模块进行解码获得准确的无线光通信数据。
如图2所示，对象与摄像头传感器组中图像传感器之间的距离，即图像深度，智能终端摄像头的摄像模块根据不同对象的图像深度，调整并准确控制从图像传感器到图像对焦的距离，将自动对焦区域确定于图像的中心，进行调整自动对焦。
如图3所示，传感器组中光敏传感器获取周围环境的光线水平信息，由于周围环境的光线水平较强，获取的图像出现饱和现象，LED光源呈现白色，周围环境为黑色或深灰色，此时无法识别出LED光源发送的无线光通信信号数据，此时通过光敏传感器反馈，摄像头控制模块控制摄像头曝光时间从而控制吸收光量，进行自动曝光控制。
如图4所示，图像传感器通过调节模块，运用曝光控制算法调整整个图像画面像素的亮度图像增益，控制图像的亮度平均值，使得摄像头可以区分出LED光源中无线光数据的黑白级别，从而能够区分出LED光源发送的无线光数据信号。
触摸显示屏以及智能终端侧面按键控制智能终端摄像头进行图像的接收捕获，将终端图像中所有的像素数据通过传输接口MIPI传输到所述的储存模块，储存所获取的无线光通信信号图像。
获取LED光源发送的无线光数据，将其传输到无线光数据解码模块解码从何获得准确的无线光数据信息。
综上所述，上述实施例公开的智能终端自动曝光控制结构可自动准确地控制从智能终端摄像头图像传感器到图像对象的距离，进行自动对焦；自动控制智能终端摄像头吸收的光量，进行自动曝光，根据周围环境的光线水平调整曝光时间，调节整个图像画面的亮度增益，从而能够从像素信息中准确的恢复数字数据，获取准确的无线光通信信号数据。同时更大化的使用智能终端功能，满足用户对多元化智能终端功能的需求，提高智能终端的使用价值。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种用于无线光通信的智能终端自动曝光控制方法，其特征在于，所述的方法包括下列步骤：
S1、根据各个图像对象与图像传感器之间的距离的方向，摄像头准确地控制从图像传感器到图像对象的距离，进行自动对焦；
S2、根据周围环境的光线水平调整曝光时间，从而控制智能终端摄像头入射光量，进行自动曝光；
S3、捕获LED光源的图像，收集图像中的所有像素数据，调整整个画面的亮度图像增益，识别LED光源对象并准确获取其传输的无线光通信信号数据。
2.根据权利要求1所述的一种用于无线光通信的智能终端自动曝光控制方法，其特征在于，所述的步骤S1具体包括下列步骤：
S101、根据图像深度确定物体与图像传感器的不同距离；
S102、将自动对焦区域确定于图像的中心；
S103、根据不同对象的图像深度，调整并准确控制从图像传感器到图像对焦的距离。
3.根据权利要求1所述的一种用于无线光通信的智能终端自动曝光控制方法，其特征在于，所述的步骤S2具体包括下列步骤：
S201、通过光敏传感器模块获取周围环境的光线水平信息；
S202、通过光敏传感器模块的反馈，当周围环境的光线较强时，减少摄像头曝光时间；当周围环境的光线较暗时，增加摄像头曝光时间，从而控制智能终端摄像头入射光量。
4.根据权利要求1所述的一种用于无线光通信的智能终端自动曝光控制方法，其特征在于，所述的步骤S3具体包括下列步骤：
S301、捕捉LED光源对象，获取LED光源的图像信息，并收集图像中的所有像素数据；
S302、根据图像中像素信息，通过曝光控制算法调整整个画面的亮度图像增益，控制图像的亮度平均值，使得摄像头可以区分出LED光源中无线光数据的黑白级别；
S303、获取LED光源发送的无线光数据，将其进行软件解码从何获得准确的无线光数据信息。
5.一种用于无线光通信的智能终端自动曝光控制结构，其特征在于，所述的结构包括：智能终端外壳主体，智能终端摄像头以及智能终端主体内的硬件电路，
所述的智能终端外壳主体包括触摸显示屏、主页按键以及其侧面按键，分别与所述的智能终端主体内的硬件电路电气连接，其中，按键和触摸显示屏用于控制智能终端相机软件功能从而控制智能终端摄像头进行图像的接收；
所述的智能终端摄像头包括依次连接的摄像模块、控制模块、调节模块以及传输接口，所述的智能终端摄像头通过其传输接口与所述的智能终端主体内的硬件电路实现电气连接；
所述的智能终端主体内的硬件电路包括储存模块和无线光数据解码模块。
6.根据权利要求5所述的一种用于无线光通信的智能终端自动曝光控制结构，其特征在于，所述的摄像模块设有依次连接的可调控光圈、镜头和传感器组，所述的传感器组包括图像传感器和光敏传感器，所述的控制模块，用于获取图像传感器感知的周围环境光线强度信息，控制摄像头曝光时间，从而控制吸收光量；所述的调节模块，用于调整整个图像画面像素的平均增益，运用曝光控制算法改变画面的光强增益，从而能够区分出LED光源发送的无线光数据信号，并传输到所述传输接口。
7.根据权利要求5所述的一种用于无线光通信的智能终端自动曝光控制结构，其特征在于，所述的传输接口为移动工业处理器接口MIPI。
8.根据权利要求5所述的一种用于无线光通信的智能终端自动曝光控制结构，其特征在于，所述的储存模块用于储存所获取的无线光通信信号图像；所述的无线光数据解码模块，包含中央处理器CPU及电子运算处理器，用于运算处理获得相应的无线光通信信号数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710821839.5A CN107707814A (zh) | 2017-09-13 | 2017-09-13 | 一种用于无线光通信的智能终端自动曝光控制方法及结构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710821839.5A CN107707814A (zh) | 2017-09-13 | 2017-09-13 | 一种用于无线光通信的智能终端自动曝光控制方法及结构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107707814A true CN107707814A (zh) | 2018-02-16 |
Family
ID=61172721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710821839.5A Pending CN107707814A (zh) | 2017-09-13 | 2017-09-13 | 一种用于无线光通信的智能终端自动曝光控制方法及结构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107707814A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113518184A (zh) * | 2021-09-10 | 2021-10-19 | 大连理工江苏研究院有限公司 | 一种图像信号传输和处理方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1159006A (zh) * | 1994-12-30 | 1997-09-10 | 索尼公司 | 摄像曝光控制***及其方法 |
| WO2013016439A1 (en) * | 2011-07-26 | 2013-01-31 | ByteLight, Inc. | Self identifying modulater light source |
| CN105611132A (zh) * | 2015-12-28 | 2016-05-25 | 广东欧珀移动通信有限公司 | 曝光控制方法及装置 |
| CN107104730A (zh) * | 2017-03-07 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 用于可见光成像定位的条纹识别和信息检测算法 |
| CN207218885U (zh) * | 2017-09-13 | 2018-04-10 | 华南理工大学 | 一种用于无线光通信的智能终端自动曝光控制结构 |
-
2017
- 2017-09-13 CN CN201710821839.5A patent/CN107707814A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1159006A (zh) * | 1994-12-30 | 1997-09-10 | 索尼公司 | 摄像曝光控制***及其方法 |
| WO2013016439A1 (en) * | 2011-07-26 | 2013-01-31 | ByteLight, Inc. | Self identifying modulater light source |
| CN105611132A (zh) * | 2015-12-28 | 2016-05-25 | 广东欧珀移动通信有限公司 | 曝光控制方法及装置 |
| CN107104730A (zh) * | 2017-03-07 | 2017-08-29 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 用于可见光成像定位的条纹识别和信息检测算法 |
| CN207218885U (zh) * | 2017-09-13 | 2018-04-10 | 华南理工大学 | 一种用于无线光通信的智能终端自动曝光控制结构 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113518184A (zh) * | 2021-09-10 | 2021-10-19 | 大连理工江苏研究院有限公司 | 一种图像信号传输和处理方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11532076B2 (en) | Image processing method, electronic device and storage medium | |
| CN101334578B (zh) | 图像拍摄装置以及图像拍摄方法 | |
| KR20200019728A (ko) | 촬영 이동 단말 | |
| US20140071326A1 (en) | Method for displaying camera preview screen in a portable terminal | |
| CN110072052A (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
| CN106210532B (zh) | 一种拍照处理方法及终端设备 | |
| CN110830730B (zh) | 电子装置中用于生成移动图像数据的设备和方法 | |
| JP5193404B2 (ja) | 情報機器 | |
| CN116055897B (zh) | 拍照方法及其相关设备 | |
| CN116347224B (zh) | 拍摄帧率控制方法、电子设备、芯片***及可读存储介质 | |
| CN105137601A (zh) | 一种智能眼镜 | |
| CN111601040A (zh) | 摄像头控制方法、装置及电子设备 | |
| CN207218885U (zh) | 一种用于无线光通信的智能终端自动曝光控制结构 | |
| CN104917938B (zh) | 用于移动通信设备的深度摄像装置 | |
| CN109845241A (zh) | 摄像装置、摄像方法及程序 | |
| CN112822371B (zh) | 图像处理芯片、应用处理芯片、数据统计***及方法 | |
| CN107707814A (zh) | 一种用于无线光通信的智能终端自动曝光控制方法及结构 | |
| JP2007324705A (ja) | 可視光受信装置および可視光通信光源の位置検出方法 | |
| CN107395987A (zh) | 一种用于可见光通信的智能手机帧速率控制方法与*** | |
| CN103369230B (zh) | 一种进行拍摄的方法和移动终端 | |
| CN207218884U (zh) | 一种用于可见光通信的智能手机帧速率控制*** | |
| CN105959590A (zh) | 一种抗光干扰的拍摄方法、装置及智能终端 | |
| JP2023059952A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体 | |
| CN116055855B (zh) | 图像处理方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |