CN112052724A - 基于深度卷积神经网络的手指指尖定位方法及装置 - Google Patents

基于深度卷积神经网络的手指指尖定位方法及装置 Download PDF

Info

Publication number
CN112052724A
CN112052724A CN202010719518.6A CN202010719518A CN112052724A CN 112052724 A CN112052724 A CN 112052724A CN 202010719518 A CN202010719518 A CN 202010719518A CN 112052724 A CN112052724 A CN 112052724A
Authority
CN
China
Prior art keywords
hand
neural network
original image
convolutional neural
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010719518.6A
Other languages
English (en)
Inventor
杨宏宇
朱松
曹家豪
武庆三
潘鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wantong Technology Co ltd
Original Assignee
Shenzhen Wantong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wantong Technology Co ltd filed Critical Shenzhen Wantong Technology Co ltd
Priority to CN202010719518.6A priority Critical patent/CN112052724A/zh
Publication of CN112052724A publication Critical patent/CN112052724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度卷积神经网络的手指指尖定位方法及装置,包括:获取原始图像;对所述原始图像进行缩放、灰度化和归一化处理;利用深度卷积神经网络算法定位所述处理后图像中手的位置;若定位到手的位置,继续检测手势检测,否则,结束检测;若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。满足很多应用场景对实时性的需求,算法速度更快、算法逻辑更简洁。

Description

基于深度卷积神经网络的手指指尖定位方法及装置
技术领域
本发明涉及人机交互技术领域,具体涉及一种基于深度卷积神经网络的手指指尖定位方法及装置。
背景技术
随着深度学习席卷全球各行各业,早期数据的匮乏、算法模型的不成熟和市场接受度低等问题被逐渐克服,AI+教育的新型教育模式得到大众的广泛认可。而智能桌面和人机交互应用场景的出现,已经成为各大公司优先抢占的桥头堡。
教育电子产品,一方面满足了孩子们读听学的结合,另一方面减少了家长亲自辅导的时间,更重要的是这也符合儿童学习发展的一般规律。根据儿童认知发展理论,为多模态交互(人机交互)提供基础的手指点读(指尖识别)算法,通过掌握阅读学习节奏、提供测评考试、融汇贯通扩展知识点等创新技能,锻炼孩子的逻辑思维和解决问题的能力。所以,提供可靠稳定的手指指尖识别算法对孩子的成长至关重要。然而,大多数传统检测算法需要使用Sliding Window(滑窗),这导致算法运算时间过长,无法满足很多应用场景对实时性的需求;而且往往需要人工设计特征,当图像背景复杂时,泛化能力差;并存在对尺度敏感的缺点,当待检测目标尺度变化大时,recall(召回率)低,且对小物体检测效果较差。
发明内容
本申请提供一种基于深度卷积神经网络的手指指尖定位方法及装置,可满足很多应用场景对实时性的需求,算法速度更快、算法逻辑更简洁。
根据第一方面,一种实施例中提供一种基于深度卷积神经网络的手指指尖定位方法,包括:
获取原始图像;
对所述原始图像进行缩放、灰度化和归一化处理;
利用深度卷积神经网络算法定位所述处理后图像中手的位置;
若定位到手的位置,继续检测手势检测,否则,结束检测;
若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
在一些实施例,所述深度卷积神经网络算法采用全卷积的Deep CNN。
在一些实施例,所述深度卷积神经网络为HandNet,所述HandNet的网络结构为:
Figure BDA0002599457690000021
其中,bottleneck为分离卷积;c为每层最终输出的特征图的个数;n为内部分离卷积的重复次数;t为bottleneck内部分离卷积相对于之前一层特征图增加的倍数;s为卷积核的步长;k对应于不同锚点和输入大小有所不同;
所有卷积核都使用3x3大小。
在一些实施例,HandNet的输出为手的定位框和手势的分类,包括:定位框内是点击手势或定位框内是非点击手势
在一些实施例,浅层的特征图对应的感受野较小,适合检测小物体;深层的特征图对应的特征图较大,适合检测大物体。
在一些实施例,所述定位框加入更小的卷积核,使其对较小的指尖的检测效果更好。
根据第二方面,一种实施例中提供一种基于深度卷积神经网络的手指指尖定位装置,包括:
获取模块,用于获取原始图像;
图像处理模块,用于对所述原始图像进行缩放、灰度化和归一化处理;
神经网络模块,用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;
第一判断模块,用于若定位到手的位置,继续检测手势检测,否则,结束检测;
第二判断模块,用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
根据第三方面,一种实施例中提供一种电子产品,包括:
摄像头,用于获取原始图像;
处理器,用于对所述原始图像进行缩放、灰度化和归一化处理;用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;用于若定位到手的位置,继续检测手势检测,否则,结束检测;用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
根据第四方面,一种实施例中提供一种电子产品,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如第一方面所述的方法。
根据第五方面,一种实施例中提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现如第一方面所述的方法。
依据上述实施例,区别于传统手动设计复杂特征的计算机视觉算法,由于深度卷积神经网络(Deep CNN)能从训练数据中自动学习目标物体的语义,高维和深层特征,从而大幅度提高手指指尖识别和定位的准确率;相较于传统检测算法,本发明所提出的算法泛化能力更强,在各种不同光照环境、成像***和复杂背景的情况下,均有良好、稳定的性能;由于不同于传统检测算法那样需要使用Sliding Window(滑窗),本发明所提出的算法速度更快,算法逻辑更简洁,满足很多应用场景对实时性的需求。
附图说明
图1为一种基于深度卷积神经网络的手指指尖定位方法的流程图;
图2为一种具体实施例的深度卷积神经网络的手指指尖定位方法的流程图;
图3(a)为点击手势示例图;
图3(b)为非点击手势示例图;
图3(c)为图3(a)的检测结果图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
一些名词及概念的定义:
HandNet:本申请的一种深度卷积神经网络名称。
点击手势,如图3(a)所示用指尖电击。
非点击手势,如图3(b)所示,除点击手势外的皆为非点击手势。
手的定位框,如图3(c)中矩形框所示。
精准回归指尖坐标,如图3(c)中指尖A点所示。
请参考图1-3,本申请提供一种基于深度卷积神经网络的手指指尖定位方法,包括:
获取步骤:获取原始图像;
图像处理步骤:对所述原始图像进行缩放、灰度化和归一化处理;
定位步骤:利用深度卷积神经网络算法定位所述处理后图像中手的位置;
第一判断步骤:若定位到手的位置,继续检测手势检测,否则,结束检测;
第二判断步骤:若检测到点击手势,在手的定位框内精准回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
其中,定位步骤采用的深度卷积神经网络算法采用全卷积的Deep CNN。该DeepCNN由四个Residual Convolutional Block(RCB)构成,而每个RCB又由两个集联的Conv->Batchnorm->Relu组成。网络的输出为指尖的(x,y)坐标和分类,即图中是否包含手指。
在一些实例例,深度卷积神经网络可为HandNet。
在具体实施例,所述HandNet的网络结构为:
Figure BDA0002599457690000041
其中,其中bottleneck为Depthwise Separable Convolution(分离卷积),能有效减少计算量;c为每层最终输出的feature map(特征图)的个数;n为bottleneck内部分离卷积的重复次数;t为bottleneck内部分离卷积相对于之前一层feature map增加的倍数;s为kernel(卷积核)的步长;k对应于不同anchorbox(锚点)和输入大小有所不同。
在一具体实施例,所有卷积核都使用3x3大小。
具体地,HandNet的输出为手的定位框(x,y,w,h)和手势的分类,即定位框内是点击手势还是非点击手势。浅层的feature map对应的receptive field(感受野)较小,适合检测小物体;深层的feature map对应的receptive field较大,适合检测大物体。
在一些实施例,针对指尖定位框,加入更小的卷积核,使其对较小的指尖的检测效果更好。
在一些实施例,针对正负样本不均衡问题,本申请中深度卷积神经网络的LossFunction(损失函数)采用Focal Loss,它能降低负样本的权重,提高正样本的权重。
相应地,本申请提供一种基于深度卷积神经网络的手指指尖定位装置,包括:
获取模块,用于获取原始图像;
图像处理模块,用于对所述原始图像进行缩放、灰度化和归一化处理;
神经网络模块,用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;
第一判断模块,用于若定位到手的位置,继续检测手势检测,否则,结束检测;
第二判断模块,用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
相应地,本申请还提供一种一种电子产品,包括:
摄像头,用于获取原始图像;
处理器,用于对所述原始图像进行缩放、灰度化和归一化处理;用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;用于若定位到手的位置,继续检测手势检测,否则,结束检测;用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
相应地,本申请还提供一种电子产品,其特征在于包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-6中任一项所述的方法。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的***进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。本发明基于检测的方法(HandNet部分)还替换为基于segmentation(分割)的方法,从而得到手的位置,进而得到指尖的位置。

Claims (10)

1.一种基于深度卷积神经网络的手指指尖定位方法,其特征在于包括:
获取原始图像;
对所述原始图像进行缩放、灰度化和归一化处理;
利用深度卷积神经网络算法定位所述处理后图像中手的位置;
若定位到手的位置,继续检测手势检测,否则,结束检测;
若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
2.如权利要求1所述的方法,其特征在于,所述深度卷积神经网络算法采用全卷积的Deep CNN。
3.如权利要求2所述的方法,其特征在于,所述深度卷积神经网络为HandNet,所述HandNet的网络结构为:
Figure FDA0002599457680000011
其中,bottleneck为分离卷积;c为每层最终输出的特征图的个数;n为内部分离卷积的重复次数;t为bottleneck内部分离卷积相对于之前一层特征图增加的倍数;s为卷积核的步长;k对应于不同锚点和输入大小有所不同;
所有卷积核都使用3x3大小。
4.如权利要求3所述的方法,其特征在于,HandNet的输出为手的定位框和手势的分类,包括:定位框内是点击手势或定位框内是非点击手势。
5.如权利要求3所述的方法,其特征在于,浅层的特征图对应的感受野较小,适合检测小物体;深层的特征图对应的特征图较大,适合检测大物体。
6.如权利要求3所述的方法,其特征在于,所述定位框加入更小的卷积核,使其对较小的指尖的检测效果更好。
7.一种基于深度卷积神经网络的手指指尖定位装置,其特征在于包括:
获取模块,用于获取原始图像;
图像处理模块,用于对所述原始图像进行缩放、灰度化和归一化处理;
神经网络模块,用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;
第一判断模块,用于若定位到手的位置,继续检测手势检测,否则,结束检测;
第二判断模块,用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
8.一种电子产品,其特征在于包括:
摄像头,用于获取原始图像;
处理器,用于对所述原始图像进行缩放、灰度化和归一化处理;用于利用深度卷积神经网络算法定位所述处理后图像中手的位置;用于若定位到手的位置,继续检测手势检测,否则,结束检测;用于若检测到点击手势,在手的定位框内回归指尖坐标,并将作为映射回原始图像,否则,结束检测。
9.一种电子产品,其特征在于包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的方法。
CN202010719518.6A 2020-07-23 2020-07-23 基于深度卷积神经网络的手指指尖定位方法及装置 Pending CN112052724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719518.6A CN112052724A (zh) 2020-07-23 2020-07-23 基于深度卷积神经网络的手指指尖定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719518.6A CN112052724A (zh) 2020-07-23 2020-07-23 基于深度卷积神经网络的手指指尖定位方法及装置

Publications (1)

Publication Number Publication Date
CN112052724A true CN112052724A (zh) 2020-12-08

Family

ID=73602032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719518.6A Pending CN112052724A (zh) 2020-07-23 2020-07-23 基于深度卷积神经网络的手指指尖定位方法及装置

Country Status (1)

Country Link
CN (1) CN112052724A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749646A (zh) * 2020-12-30 2021-05-04 北京航空航天大学 一种基于手势识别的交互式点读***
CN112800904A (zh) * 2021-01-19 2021-05-14 深圳市玩瞳科技有限公司 一种根据手指指向识别图片中字符串的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN105718878A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于级联卷积神经网络的第一视角空中手写和空中交互方法
CN108509839A (zh) * 2018-02-02 2018-09-07 东华大学 一种基于区域卷积神经网络高效的手势检测识别方法
KR20180130869A (ko) * 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN109657537A (zh) * 2018-11-05 2019-04-19 北京达佳互联信息技术有限公司 基于目标检测的图像识别方法、***和电子设备
CN110889387A (zh) * 2019-12-02 2020-03-17 浙江工业大学 一种基于多轨迹匹配的实时动态手势识别方法
CN111144238A (zh) * 2019-12-11 2020-05-12 重庆邮电大学 基于Faster R-CNN的物品检测方法及***
CN111242109A (zh) * 2020-04-26 2020-06-05 北京金山数字娱乐科技有限公司 一种手动取词的方法及装置
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN105718878A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于级联卷积神经网络的第一视角空中手写和空中交互方法
KR20180130869A (ko) * 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN108509839A (zh) * 2018-02-02 2018-09-07 东华大学 一种基于区域卷积神经网络高效的手势检测识别方法
CN109657537A (zh) * 2018-11-05 2019-04-19 北京达佳互联信息技术有限公司 基于目标检测的图像识别方法、***和电子设备
CN110889387A (zh) * 2019-12-02 2020-03-17 浙江工业大学 一种基于多轨迹匹配的实时动态手势识别方法
CN111144238A (zh) * 2019-12-11 2020-05-12 重庆邮电大学 基于Faster R-CNN的物品检测方法及***
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法
CN111242109A (zh) * 2020-04-26 2020-06-05 北京金山数字娱乐科技有限公司 一种手动取词的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭庆 等: "基于Faster RCNN的手势识别", 桂林电子科技大学学报, vol. 39, no. 6, 31 December 2019 (2019-12-31), pages 490 - 493 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749646A (zh) * 2020-12-30 2021-05-04 北京航空航天大学 一种基于手势识别的交互式点读***
CN112800904A (zh) * 2021-01-19 2021-05-14 深圳市玩瞳科技有限公司 一种根据手指指向识别图片中字符串的方法及装置

Similar Documents

Publication Publication Date Title
CN107688821B (zh) 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN111448581A (zh) 使用深层神经网络进行图像处理的***和方法
Wang et al. FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection
CN105144239A (zh) 图像处理装置、程序及图像处理方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN102385592B (zh) 图像概念的检测方法和装置
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、***、设备及介质
CN112257808B (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111291713B (zh) 一种基于骨架的手势识别方法及***
CN112052724A (zh) 基于深度卷积神经网络的手指指尖定位方法及装置
CN112990318A (zh) 持续学习方法、装置、终端及存储介质
CN111598149B (zh) 一种基于注意力机制的回环检测方法
CN113837257A (zh) 一种目标检测方法及装置
CN110059569B (zh) 活体检测方法和装置、模型评估方法和装置
CN111898704A (zh) 对内容样本进行聚类的方法和装置
WO2020199498A1 (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN110889290B (zh) 文本编码方法和设备、文本编码有效性检验方法和设备
CN116309465B (zh) 一种基于改进的YOLOv5的自然环境下舌像检测定位方法
Liu et al. LIRIS-Imagine at ImageCLEF 2011 Photo Annotation Task.
CN114627312B (zh) 零样本图像分类方法、***、设备及存储介质
CN113610080B (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination