CN114519887A - 一种基于深度学习的中小学课堂学生转脸检测方法 - Google Patents

一种基于深度学习的中小学课堂学生转脸检测方法 Download PDF

Info

Publication number
CN114519887A
CN114519887A CN202210159940.XA CN202210159940A CN114519887A CN 114519887 A CN114519887 A CN 114519887A CN 202210159940 A CN202210159940 A CN 202210159940A CN 114519887 A CN114519887 A CN 114519887A
Authority
CN
China
Prior art keywords
straight line
bounding box
student
image
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210159940.XA
Other languages
English (en)
Inventor
赵志伟
盛谦
蒋斌
张锐
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing L Zone Intelligent Technology Co ltd
Original Assignee
Nanjing L Zone Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing L Zone Intelligent Technology Co ltd filed Critical Nanjing L Zone Intelligent Technology Co ltd
Priority to CN202210159940.XA priority Critical patent/CN114519887A/zh
Publication of CN114519887A publication Critical patent/CN114519887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的转脸检测方法,包括以下步骤:步骤1:训练深度学习目标检测模型,并检测出包围盒;步骤2:创建背景图;步骤3:计算并绘制包围盒的中心点;步骤4:对背景图直线检测;步骤5:过滤提取直线,判断直线不能相交且斜率的范围;步骤6:计算剩下包围盒的中心点;步骤7:中心点拟合直线;步骤8:将包围盒划分到直线上;步骤9:包围盒划分为行,对直线划分为列;步骤10:获取学生头部姿态;步骤11:计算学生头部的偏航角和包围盒对应的直线之间的夹角,判断学生是否转脸;步骤12:将直线、包围盒、行列、夹角绘制在图像上。本发明实现自动定位学生行列信息以及是否转脸,数字化体现课堂学习听讲情况。

Description

一种基于深度学习的中小学课堂学生转脸检测方法
技术领域
本发明属于人工智能深度学习领域,涉及一种基于深度学习的中小学课堂学生转脸检测方法。
背景技术
针对中小学课堂上学生上课的行为进行分析对于改进学生的学习习惯,提升教学质量具有重要意义。目前中小学课堂的一些数据大都是人为统计,例如课堂出勤率、学生认真听讲情况、老师是否专心讲课等,根据这些数据可以改善教学质量,改善学生的学习情况。但是依靠人力不仅耗时费力,还有更大的错误可能性,如果能实现自动化,智能化分析课堂教学情况,将是非常有益的。
随着机器学习的发展,尤其是深度学习的发展,一些传统计算机视觉解决不了的问题得到的解决,一些传统视觉效果不够的方面也得到了很大提高。
发明内容
为了解决上述问题,本发明利用机器学习,深度学习和计算机视觉方法,提出了适用于教育场景中小学课堂中学生转脸的自动智能检测方法,给定输入的中小学课堂图像或视频,可以自动检测上课过程中存在转脸动作的学生。
本发明公开一种基于深度学习的中小学课堂学生转脸检测方法,包括以下步骤:
步骤1:训练出检测学生的深度学习目标检测模型,并检测出图像中学生的包围盒;
步骤2:创建一个背景为黑色,尺寸大小和图像相同的背景图;
步骤3:计算学生的包围盒的中心点,并将中心点以白色绘制在背景图上;
步骤4:对步骤3获得的背景图进行直线检测;
步骤5:过滤提取远离摄像头的三条直线,判断原则学生区域方位内直线不能相交且斜率在一定范围;
如果以教室为四列为例,则在五列中提取四条直线。
步骤6:去除三条直线穿过的步骤1中的包围盒,计算剩下包围盒的中心点;
步骤7:对于步骤6得到的中心点进行线性回归拟出一条直线;
步骤8:将步骤1中的每个包围盒划分到每条直线上;
步骤9:对每条直线对应的包围盒依据包围盒的中心点的x轴坐标大小划分为行,对每条直线划分为列;
步骤10:将步骤1中检测到的每个学生的包围盒对应的截图放入头部姿态估计网络中获取每个学生的头部姿态;
步骤11:计算每个学生的头部姿态的偏航角和每个学生的包围对应的直线之间的夹角,根据夹角判断学生是否转脸;
步骤12:将直线、包围盒、行号,列号、夹角绘制在图像上。
进一步地,步骤1包括如下步骤:
步骤1-1:录制足量教室视频,并离散的进行截图;
步骤1-2:利用步骤1-1的图像标注学生目标的模型学习训练集;
步骤1-3:构造yolo v5目标检测网络,yolo v5的主干网络采用CSP和Focus,脖颈网络采用PAN和FPN,检测头部分采用yolo的方法,主干用于通过连续地卷积和下采样提取图像的基本特征,脖颈部分针对图像中目标大小不一的问题,构造出多个尺度特征映射用于检测,同时融合了低层的较强细节,定位信息和高层的强语义信息,更有利于多种尺寸目标的检测,检测头是网络生成所有包围盒部分,并执行非极大值抑制算法,去除单个目标的冗余包围盒,得到最终的检测结果;
步骤1-4:利用预训练权重初始化yolo v5的主干网络,其他部分按需初始化;
步骤1-5:利用步骤1-2的数据集,对步骤1-4的目标检测模型进行训练,得到可以检测课桌目标的泛化模型;
步骤1-6:利用步骤1-5中的模型检测出图像中的学生,得到包围盒。
进一步地,步骤2包括以下步骤:
新建和原图尺寸相同的黑色背景图。
进一步地,步骤3包括以下步骤:
在背景图上绘制白色的包围盒中心点。
进一步地,步骤4包括以下步骤:
步骤4-2:利用霍夫变换直线检测算法检测背景图中的直线。
进一步地,步骤5包括以下步骤:
从检测到的直线中提取斜率在设定范围内的直线。
进一步地,步骤6方法如下:
利用步骤5得到的直线,对步骤1-6得到的包围盒进行过滤,去除被直线穿过同时中心点到直线的距离小于一定阈值的的包围盒。
进一步地,步骤7方法如下:
步骤7-1:利用步骤6得到的剩余包围盒,求出中心点;
步骤7-2: 利用线性回归对中心点拟合出直线。
进一步地,步骤8方法包括:
对于求出的直线,将步骤1-6得到的包围盒划分到其中一条直线上。
进一步地,步骤9方法包括以下步骤:
根据直线的关系确定列数,根据每个直线对应的包围盒的中心点的x坐标值确定行数。
进一步地,步骤10方法包括:
头部姿态估计网络估计每个学生的头部姿态。
进一步地,步骤11方法包括:
计算每个学生的头部姿态和所在直线的夹角。
进一步地,步骤12方法包括:
将包围盒、直线、行号,列号、夹角绘制到图像上,得到最终的结果图像。
本发明的有益效果:
1)利用深度学习和计算机视觉算法实现计算机自动定位学生的位置并确定行列信息以及是否转脸,数字化体现课堂学习听讲情况,例如统计每个学生的转脸动作,一堂课的认真听讲情况。
2)实现一定程度自动化,智能化地定位出学生位置以及计算行列信息,并且算法速度很快,可应用在视频上,实时检测出定位出学生位置以及计算行列信息,算法速度快。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为转脸检测方法流程图;
图2为步骤1的示意图;
图3为步骤2的示意图;
图4为步骤3的示意图;
图5为步骤4的示意图;
图6为步骤7的示意图;
图7为步骤9的示意图;
图8为步骤11的示意图;
图9为步骤12的示意图;
图10为深度学习目标检测yolo v5的网络整体结构图;
图11为深度学习目标检测yolo v5的子模块结构图;
图12为学生定位、夹角检测的效果图。
附图标记:P、图像;B、背景图;box、包围盒;sdt、学生;pt、白色中心点;J0,J1,J2、检测直线;N1、拟合直线;β、偏航角;α、夹角。
具体实施方式
下面将结合附图和实施例对本发明作详细说明。
如图1显示本实施例的转脸检测方法的流程图。本发明公开一种基于深度学习的中小学课堂学生sdt转脸检测算法,包括以下步骤:
步骤1:训练出检测学生sdt的深度学习目标检测模型,并检测出图像P中学生sdt的包围盒box;如图2中表示图像P中学生sdt的包围盒box;
步骤2:如图3所示,创建一个背景为黑色,尺寸大小和图像P相同的背景图B;
步骤3:计算学生sdt的包围盒box的中心点,并将中心点以白色绘制在背景图B上,如图4所示,具有白色中心点pt的包围盒box的背景图B;
步骤4:如图5所示,对步骤3获得的背景图B进行直线检测;
步骤5:过滤提取远离摄像头的三条直线,判断原则学生sdt区域方位内直线不能相交且斜率在一定范围;
本实施例中图像P中具有四列课桌,每列课桌离摄像头距离不同。
步骤6:如图5所示,去除三条直线穿过的步骤1中的包围盒box,计算剩下包围盒box的中心点;
步骤7:如图6所示,对于步骤6得到的中心点进行线性回归拟合出一条直线N1;
步骤8:将步骤1中的每个包围盒box划分到每条直线上;
步骤9:如图7所示,对每条直线对应的包围盒box依据包围盒box的中心点的x轴坐标大小划分为行,对每条直线划分为列;
图像P中长度方向为y轴,宽度方向为x轴。
步骤10:将步骤1中检测到的每个学生sdt的包围盒box对应的截图放入头部姿态估计网络中获取每个学生sdt的头部姿态;
步骤11:如图8所示,计算每个学生sdt的头部姿态的偏航角β和每个学生sdt的包围盒box对应的直线之间的夹角α,根据夹角α判断学生sdt是否转脸;
当夹角α大于设定角度时,判定为学生sdt转脸,当夹角α小于设定角度时,不判定为转脸,其中设定角度根据实际经验设定,设定角度为20-50度之间。
步骤12:如图9所示,将直线、包围盒box、行号,列号、夹角α绘制在图像P上。
步骤1包括如下步骤:
步骤1-1:录制足量教室视频,并离散的进行截图;
步骤1-2:利用步骤1-1的图像P标注学生sdt目标的目标检测模型学习训练集;
步骤1-3:构造yolo v5目标检测网络,如图10-11所示,yolo v5的主干网络采用CSP和Focus,脖颈网络采用PAN和FPN,检测头部分采用yolo的方法,主干用于通过连续地卷积和下采样提取图像P的基本特征,脖颈网络针对图像P中目标大小不一的问题,构造出多个尺度特征映射用于检测,同时融合了低层的较强细节,定位信息和高层的强语义信息,更有利于多种尺寸目标的检测,检测头部分是网络生成所有包围盒box部分,并执行非极大值抑制算法,去除单个目标的冗余包围盒box,得到最终的检测结果;
步骤1-4:利用预训练权重初始化yolo v5的主干网络,其他部分按需初始化;
步骤1-5:利用步骤1-2的数据集,对步骤1-4的目标检测模型进行训练,得到可以检测课桌目标的泛化模型;
步骤1-6:利用步骤1-5中的模型检测出图像P中的学生sdt,得到包围盒box。
步骤2包括以下步骤:新建和原图尺寸大小相同的黑色背景图B。
步骤3包括以下步骤:在背景图B上绘制白色的包围盒box中心点。
步骤4包括以下步骤:步骤4-2:利用霍夫变换直线检测算法检测背景图B中的直线J0,J1,J2。
步骤5包括以下步骤:从检测到的直线中提取斜率在设定范围内的直线。
步骤6方法如下:利用步骤5得到的直线,对步骤1-6得到的包围盒box进行过滤,去除被直线穿过同时中心点到直线的距离小于设定阈值的包围盒box。
步骤7方法如下:步骤7-1:利用步骤6得到的剩下包围盒box,求出包围盒box的中心点;
步骤7-2: 利用线性回归对中心点拟合出一条直线N1。
步骤8方法包括:对于求出的直线,将步骤1-6得到的包围盒box划分到其中一条直线上。
步骤9方法包括以下步骤:根据直线的关系确定列数,根据直线在图像P中从右到左的顺序关系,确定直线属于第0列或者第1列,或者第2列,或者第3列,从而用于定位学生sdt位于图像P中的列的位置。
根据每个直线对应的包围盒box的中心点的x坐标大小确定行数,每条直线上具有多个包围盒box,根据包围盒box在直线上的x坐标排序,确定包围盒box在直线上的顺序,从而确定学生sdt位于图像P中直线上的行的位置。
步骤10方法包括:利用头部姿态估计网络估计每个学生sdt的头部姿态,其中头部姿态包括俯仰角,偏航角β,旋转角。
步骤11方法包括:计算每个学生sdt的头部姿态的偏航角β和每个学生sdt的包围盒box对应的直线之间的夹角α。
步骤12方法包括:如图12,将包围盒box、直线、行号,列号、夹角α绘制到图像P上,得到最终的结果图像P,通过深度学习算法能够在图像P上直接显示每个学生sdt的转脸情况,快速定位每个学生sdt在图像P中的位置。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于深度学习的中小学课堂学生转脸检测方法,其特征在于,包括以下步骤:
步骤1:训练出检测学生的深度学习目标检测模型,并检测出图像中学生的包围盒;
步骤2:创建一个背景为黑色,尺寸大小和图像相同的背景图;
步骤3:计算学生的包围盒的中心点,并将中心点以白色绘制在背景图上;
步骤4:对步骤3获得的背景图进行直线检测;
步骤5:过滤提取远离摄像头的三条直线,判断原则学生区域方位内直线不能相交且斜率在一定范围;
步骤6:去除三条直线穿过的步骤1中的包围盒,计算剩下包围盒的中心点;
步骤7:对于步骤6得到的中心点进行线性回归拟合出一条直线;
步骤8:将步骤1中的每个包围盒划分到每条直线上;
步骤9:对每条直线对应的包围盒依据包围盒的中心点的x轴坐标大小划分为行,对每条直线划分为列;
步骤10:将步骤1中检测到的每个学生的包围盒对应的截图放入头部姿态估计网络中获取每个学生的头部姿态;
步骤11:计算每个学生的头部姿态的偏航角和每个学生的包围对应的直线之间的夹角,根据夹角判断学生是否转脸;
步骤12:将直线、包围盒、行列、夹角绘制在图像上。
2.根据权利要求1所述的方法,其特征在于,步骤1包括如下步骤:
步骤1-1:录制足量教室视频,并离散的进行截图;
步骤1-2:利用步骤1-1的图像标注学生目标的目标检测模型学习训练集;
步骤1-3:构造yolo v5目标检测网络,yolo v5的主干网络采用CSP和Focus,脖颈网络采用PAN和FPN,检测头部分采用yolo的方法,主干网络用于通过连续地卷积和下采样提取图像的基本特征,脖颈网络构造出多个尺度特征映射用于检测,同时融合了低层的较强细节,定位信息和高层的强语义信息,更有利于多种尺寸目标的检测,检测头部分是网络生成所有包围盒部分,并执行非极大值抑制算法,去除单个目标的冗余包围盒,得到最终的检测结果;
步骤1-4:利用预训练权重初始化yolo v5的主干网络,其他部分按需初始化;
步骤1-5:利用步骤1-2的数据集,对步骤1-4的目标检测模型进行训练,得到可以检测课桌目标的泛化模型;
步骤1-6:利用步骤1-5中的目标检测模型检测出图像中的学生,得到包围盒。
3.根据权利2所述的方法,其特征在于,步骤4包括以下步骤:
步骤4-1:利用霍夫变换直线检测算法检测背景图中的直线。
4.根据权利3所述方法,其特征在于,步骤5包括以下步骤:
从检测到的直线中提取斜率在设定范围内的直线。
5.根据权利4所述方法,其特征在于,步骤6方法如下:
利用步骤5得到的直线,对步骤1-6得到的包围盒进行过滤,去除被直线穿过同时中心点到直线的距离小于设定阈值的包围盒。
6.根据权利5所述方法,其特征在于,步骤7方法包括以下步骤:
步骤7-1:利用步骤6得到的剩下包围盒,求出中心点;
步骤7-2: 利用线性回归对中心点拟合出直线。
7.根据权利6所述方法,其特征在于,步骤8方法如下:
对于求出的直线,将步骤1-6得到的包围盒划分到其中一条直线上。
8.根据权利7所述方法,其特征在于,步骤9方法如下:
根据直线的关系确定列,根据每个直线对应的包围盒的中心点的x坐标值确定行。
9.根据权利8所述方法,其特征在于,步骤10方法包括:
头部姿态估计网络估计每个学生的头部姿态。
10.根据权利9所述方法,其特征在于,步骤11方法包括:
计算每个学生的头部姿态的偏航角和每个学生的包围盒对应的直线之间的夹角。
CN202210159940.XA 2022-02-22 2022-02-22 一种基于深度学习的中小学课堂学生转脸检测方法 Pending CN114519887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210159940.XA CN114519887A (zh) 2022-02-22 2022-02-22 一种基于深度学习的中小学课堂学生转脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210159940.XA CN114519887A (zh) 2022-02-22 2022-02-22 一种基于深度学习的中小学课堂学生转脸检测方法

Publications (1)

Publication Number Publication Date
CN114519887A true CN114519887A (zh) 2022-05-20

Family

ID=81598625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210159940.XA Pending CN114519887A (zh) 2022-02-22 2022-02-22 一种基于深度学习的中小学课堂学生转脸检测方法

Country Status (1)

Country Link
CN (1) CN114519887A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170911A (zh) * 2022-09-06 2022-10-11 浙江大学湖州研究院 一种基于图像识别的人体关键部位定位***及方法

Similar Documents

Publication Publication Date Title
CN108090857B (zh) 一种多模态的学生课堂行为分析***和方法
CN110956138B (zh) 一种基于家教设备的辅助学习方法及家教设备
CN110619326B (zh) 一种基于扫描的英语试卷作文检测识别***及方法
CN109918523B (zh) 一种基于yolo9000算法的电路板元器件检测方法
CN105427696A (zh) 一种对目标题目所作答案进行判别的方法
CN114549993B (zh) 实验中线段图像的评分方法、***、设备及可读存储介质
CN106982357A (zh) 一种基于分布云的智能拍摄***
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN113159014A (zh) 基于手写题号的客观题批阅方法、装置、设备及存储介质
CN114519887A (zh) 一种基于深度学习的中小学课堂学生转脸检测方法
CN113762274B (zh) 一种答题卡目标区域检测方法、***、存储介质及设备
US20170358273A1 (en) Systems and methods for resolution adjustment of streamed video imaging
CN116403218B (zh) 基于远程音视频互动的线上线下混合式教学管理***
CN115471773B (zh) 一种面向智慧教室的学生跟踪方法及***
CN113283334A (zh) 一种课堂专注度分析方法、装置和存储介质
CN112434585A (zh) 一种车道线的虚实识别方法、***、电子设备及存储介质
CN113591761B (zh) 一种视频镜头语言识别方法
CN116704508A (zh) 信息处理方法及装置
CN112686128B (zh) 基于机器学习的教室课桌检测方法
CN113315995B (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN115953836A (zh) 线下课堂学生课堂行为智能识别和认知状态关联方法
CN108509960A (zh) 一种文本朝向检测方法及装置
CN113469001A (zh) 一种基于深度学习的学生课堂行为检测方法
CN111914683A (zh) 一种基于仿生图像增强算法和fpga硬件加速的手写成绩录入***
CN114140282B (zh) 一种基于深度学习的普教课堂答题快速评审方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination