CN108196680B - 一种基于人体特征提取与检索的机器人视觉跟随方法 - Google Patents
一种基于人体特征提取与检索的机器人视觉跟随方法 Download PDFInfo
- Publication number
- CN108196680B CN108196680B CN201810074898.5A CN201810074898A CN108196680B CN 108196680 B CN108196680 B CN 108196680B CN 201810074898 A CN201810074898 A CN 201810074898A CN 108196680 B CN108196680 B CN 108196680B
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- robot
- extracting
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人体特征提取与检索的机器人视觉跟随方法,所述机器人包括有用于提取人体hog特征和lab颜色特征的识别单元,所述方法包括有如下步骤:步骤S1,将所述机器人设置为跟随模式;步骤S2,所述机器人进行目标识别;步骤S3,提取目标的hog特征和lab颜色特征;步骤S4,判断目标跟踪是否稳定;步骤S5,重新识别目标;步骤S6,输出目标位置,重新跟踪目标。本发明可有效提高行人跟踪的准确性和可靠性。
Description
技术领域
本发明涉及用于人机交互和视频监控领域的图像处理和计算机视觉处理技术,尤其涉及一种基于人体特征提取与检索的机器人视觉跟随方法。
背景技术
现有技术中,行人跟踪在计算机视觉领域中是一个基础性分支,其应用非常广泛,如智能相机、自动驾驶、视频监控等等。在过去几十年里,行人跟踪的研究有了很大的进展,但是由于应用环境的限制,如光照的影响,行人在运动过程中发生的遮挡和形变这些因素,使得行人跟踪算法性能较低,强鲁棒性的算法难以实现。
实际应用中,机场、火车站、体育场、候车室和展览馆等大型公共场合的行人跟踪,是智能视频监控***不可缺少的内容。目前已有的行人跟踪方法主要存在如下的问题:行人与行人或者行人与环境的遮挡问题,运动行人发生的形变问题,随着时间的变化光照的变化问题等。行人在运动过程中由于受到上述因素的影响,对其跟踪的过程也变得越来越难,最终便会丢失目标。
现有的机器人自动跟随方案,基本可分为三大模块:人体定位模块、障碍物识别模快和动态路径规划模块。其中障碍物识别模块和动态路径规划方案较为成熟,而人体定位模块还有较大的缺陷。目前的人体定位模块中,有两种实现方法:一种基于视觉定位,缺电在于视觉的视角有限,一般不是360度,且受视线影响,会被遮蔽。另一种基于传感器定位,缺点在于无法判断障碍物,还需要辅助其它技术。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种基于人体特征提取与检索的机器人视觉跟随方法,藉由该方法来提高行人跟踪的准确性和可靠性。
为解决上述技术问题,本发明采用如下技术方案。
一种基于人体特征提取与检索的机器人视觉跟随方法,所述机器人包括有用于提取人体hog特征和lab颜色特征的识别单元,所述方法包括有如下步骤:步骤S1,将所述机器人设置为跟随模式;步骤S2,所述机器人进行目标识别;步骤S3,提取目标的hog特征和lab颜色特征;步骤S4,判断目标跟踪是否稳定;步骤S5,重新识别目标;步骤S6,输出目标位置,重新跟踪目标。
优选地,所述机器人包括有人机交互单元,所述步骤S1中,通过操作人机交互单元将机器人设置为跟随模式。
优选地,所述步骤S1中,设置跟随模式的过程包括:步骤S11,操作人员对机器人进行操作;步骤S12,进入操作界面;步骤S13,键入“跟随”指令,进入跟随模式。
优选地,所述步骤S2中,目标识别过程包括:步骤S21,使用深度特征模型检测人脸;步骤S22,判断人脸的大小以及角度是否合适,若不合适,则返回至步骤S21继续执行人脸检测,若合适,则执行步骤S23;步骤S23,利用深度特征模型,开始提取该人脸的特征向量;步骤S24,将提取的特征与注册用户的特征进行匹配,计算两者的特征向量余弦相似度,若相似度大于预设阈值,则认定为匹配成功;步骤S25,人脸识别成功后,利用深度特征模型检测行人,若行人区域包含人脸区域,则目标锁定成功,保存含有目标的图片。
优选地,所述步骤S23中,提取人脸的418维的特征向量。
优选地,所述步骤S3中,提取目标的hog特征和lab颜色特征过程包括:步骤S31,将目标区域划分成若干子区域,再将所述子区域的特征并联起来,得到目标的hog特征块;步骤S32,将目标区域分成4*4的子区域,每个区域提取3通道的lab颜色直方图;步骤S33,串联hog特征块以及lab颜色特征直方图;步骤S34,对提取的特征进行降维,再作归一化处理。
优选地,所述步骤S31中,每个子区域提取梯度32维特征。
优选地,所述步骤S34中,利用PCA算法降维。
优选地,所述步骤S4中,判断目标跟踪是否稳定的过程包括:步骤S41,确定行人目标概率分布最大的位置和概率分布的最大值;步骤S42,若目标位置与上一帧目标位置的IOU值小于设定阈值,或者概率分布的最大值减小到设定阈值,则认定目标跟踪不稳定。
优选地,所述步骤S5中,目标重新识别的过程包括:步骤S51,通过样本训练以及卷积神经网络,训练行人再识别的深度模型,提取初始确认目标的特征向量;步骤S52,当目标跟踪不稳定时,先使用深度模型进行行人检测,输出当前帧的所有行人;步骤S53,利用行人再识别的深度模型,提取全部行人的特征向量;步骤S54,将当前帧提取的特征向量与初始特征向量对比,计算余弦相似度,提取出相似度最大的行人,若相似度大于设定阈值,则认定为该目标被重新找到。
本发明公开的基于人体特征提取与检索的机器人视觉跟随方法,其结合了基于滤波的跟踪算法以及深度卷积神经网络技术,既保证了长时间跟踪的稳定性,又能保证算法的实时性。相比现有技术而言,本发明主体算法采用跟踪算法,利用傅立叶变换进行快速的训练和检测,其训练样本通过目标区域的循环移位得到,利用前一帧训练的岭回归器计算当前帧样本的响应,响应最大值作为当前帧目标的位置,快速傅立叶变换和循环移位的操作是的算法的计算速度得到了很大的提升,满足了算法的实时性。同时,本发明使用了深度卷积神经网络做为辅助算法,只有在跟踪不稳定的时候才使用,既可以保证良好跟踪效果,又可以避免开卷积神经网络的计算量大,影响实时性等问题。基于上述特性,使得本发明大大提高了行人跟踪的准确性和可靠性,适合在于人机交互和视频监控领域推广应用,并具有较好的市场前景。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作更加详细的描述。
本发明公开了一种基于人体特征提取与检索的机器人视觉跟随方法,请参照图1,所述机器人包括有用于提取人体hog特征和lab颜色特征的识别单元,所述方法包括有如下步骤:
步骤S1,将所述机器人设置为跟随模式;
步骤S2,所述机器人进行目标识别;
步骤S3,提取目标的hog特征和lab颜色特征;
步骤S4,判断目标跟踪是否稳定;
步骤S5,重新识别目标;
步骤S6,输出目标位置,重新跟踪目标。
上述方法中,结合了基于滤波的跟踪算法以及深度卷积神经网络技术,既保证了长时间跟踪的稳定性,又能保证算法的实时性。相比现有技术而言,本发明主体算法采用跟踪算法,利用傅立叶变换进行快速的训练和检测,其训练样本通过目标区域的循环移位得到,利用前一帧训练的岭回归器计算当前帧样本的响应,响应最大值作为当前帧目标的位置,快速傅立叶变换和循环移位的操作是的算法的计算速度得到了很大的提升,满足了算法的实时性。同时,本发明使用了深度卷积神经网络做为辅助算法,只有在跟踪不稳定的时候才使用,既可以保证良好跟踪效果,又可以避免开卷积神经网络的计算量大,影响实时性等问题。基于上述特性,使得本发明大大提高了行人跟踪的准确性和可靠性,适合在于人机交互和视频监控领域推广应用,并具有较好的市场前景。
本实施例中,所述机器人包括有人机交互单元,所述步骤S1中,通过操作人机交互单元将机器人设置为跟随模式。
作为一种优选方式,所述步骤S1中,设置跟随模式的过程包括:
步骤S11,操作人员对机器人进行操作;
步骤S12,进入操作界面;
步骤S13,键入“跟随”指令,进入跟随模式。
关于目标识别,所述步骤S2中,目标识别过程包括:
步骤S21,使用深度特征模型检测人脸;
步骤S22,判断人脸的大小以及角度是否合适,若不合适,则返回至步骤S21继续执行人脸检测,若合适,则执行步骤S23;
步骤S23,利用深度特征模型,开始提取该人脸的特征向量;进一步地,提取人脸的418维的特征向量。
步骤S24,将提取的特征与注册用户的特征进行匹配,计算两者的特征向量余弦相似度,若相似度大于预设阈值,则认定为匹配成功;
步骤S25,人脸识别成功后,利用深度特征模型检测行人,若行人区域包含人脸区域,则目标锁定成功,保存含有目标的图片。
作为一种优选方式,所述步骤S3中,提取目标的hog特征和lab颜色特征过程包括:
步骤S31,将目标区域划分成若干子区域,再将所述子区域的特征并联起来,得到目标的hog特征块;其中,每个子区域提取梯度32维特征;
步骤S32,将目标区域分成4*4的子区域,每个区域提取3通道的lab颜色直方图;
步骤S33,串联hog特征块以及lab颜色特征直方图;
步骤S34,对提取的特征进行降维,再作归一化处理。进一步地,利用PCA算法降维。该步骤中,由于提取的特征维数较大,所以使用PCA降维,再作归一化。
为了判断目标跟踪是否稳定,所述步骤S4中,判断目标跟踪是否稳定的过程包括:
步骤S41,确定行人目标概率分布最大的位置和概率分布的最大值;
步骤S42,若目标位置与上一帧目标位置的IOU值小于设定阈值,或者概率分布的最大值减小到设定阈值,则认定目标跟踪不稳定。这种情况下,则认定为目标跟踪不稳定,受遮挡、形变等影响严重。
作为一种优选方式,所述步骤S5中,目标重新识别的过程包括:
步骤S51,通过样本训练以及卷积神经网络,训练行人再识别的深度模型,提取初始确认目标的特征向量;
步骤S52,当目标跟踪不稳定时,先使用深度模型进行行人检测,输出当前帧的所有行人;
步骤S53,利用行人再识别的深度模型,提取全部行人的特征向量;
步骤S54,将当前帧提取的特征向量与初始特征向量对比,计算余弦相似度,提取出相似度最大的行人,若相似度大于设定阈值,则认定为该目标被重新找到。
本发明公开的基于人体特征提取与检索的机器人视觉跟随方法,在跟踪不稳定的时候,利用深度卷积神经网络做行人再识,重新检测出目标,再继续跟踪。同时,在跟踪的过程中,检测目标是通过相关滤波,求得波峰。在波峰小于阈值的时候,跟踪不稳定。再利用目标主成份颜色对比,可判断目标有较大变化。此外,当目标变化较大的时候,跟踪不稳定,此时使用传统的检测方法,很大的概率会出错,而使用卷积神经网络提取的特征,鲁棒性则强很多,能快速找出目标。本发明通过对视觉定位跟踪方法的改进,实现了当行人受光线、遮挡以及形变影响的时候,有效提高行人跟踪的准确性和跟踪性能,进而满足应用需求。
以上所述只是本发明较佳的实施例,并不用于限制本发明,凡在本发明的技术范围内所做的修改、等同替换或者改进等,均应包含在本发明所保护的范围内。
Claims (3)
1.一种基于人体特征提取与检索的机器人视觉跟随方法,其特征在于,所述机器人包括有用于提取人体hog特征和lab颜色特征的识别单元,所述方法包括有如下步骤:
步骤S1,将所述机器人设置为跟随模式;
步骤S2,所述机器人进行目标识别;
步骤S3,提取目标的hog特征和lab颜色特征;
步骤S4,判断目标跟踪是否稳定;
步骤S5,重新识别目标;
步骤S6,输出目标位置,重新跟踪目标;
所述机器人包括有人机交互单元,所述步骤S1中,通过操作人机交互单元将机器人设置为跟随模式;
所述步骤S1中,设置跟随模式的过程包括:
步骤S11,操作人员对机器人进行操作;
步骤S12,进入操作界面;
步骤S13,键入“跟随”指令,进入跟随模式;
所述步骤S2中,目标识别过程包括:
步骤S21,使用深度特征模型检测人脸;
步骤S22,判断人脸的大小以及角度是否合适,若不合适,则返回至步骤S21继续执行人脸检测,若合适,则执行步骤S23;
步骤S23,利用深度特征模型,开始提取该人脸的特征向量;
步骤S24,将提取的特征与注册用户的特征进行匹配,计算两者的特征向量余弦相似度,若相似度大于预设阈值,则认定为匹配成功;
步骤S25,人脸识别成功后,利用深度特征模型检测行人,若行人区域包含人脸区域,则目标锁定成功,保存含有目标的图片;
所述步骤S23中,提取人脸的418维的特征向量;
所述步骤S3中,提取目标的hog特征和lab颜色特征过程包括:
步骤S31,将目标区域划分成若干子区域,再将所述子区域的特征并联起来,得到目标的hog特征块;
步骤S32,将目标区域分成4*4的子区域,每个区域提取3通道的lab颜色直方图;
步骤S33,串联hog特征块以及lab颜色特征直方图;
步骤S34,对提取的特征进行降维,再作归一化处理;
所述步骤S4中,判断目标跟踪是否稳定的过程包括:
步骤S41,确定行人目标概率分布最大的位置和概率分布的最大值;
步骤S42,若目标位置与上一帧目标位置的IOU值小于设定阈值,或者概率分布的最大值减小到设定阈值,则认定目标跟踪不稳定;
所述步骤S5中,目标重新识别的过程包括:
步骤S51,通过样本训练以及卷积神经网络,训练行人再识别的深度模型,提取初始确认目标的特征向量;
步骤S52,当目标跟踪不稳定时,先使用深度模型进行行人检测,输出当前帧的所有行人;
步骤S53,利用行人再识别的深度模型,提取全部行人的特征向量;
步骤S54,将当前帧提取的特征向量与初始特征向量对比,计算余弦相似度,提取出相似度最大的行人,若相似度大于设定阈值,则认定为该目标被重新找到。
2.如权利要求1所述的基于人体特征提取与检索的机器人视觉跟随方法,其特征在于,所述步骤S31中,每个子区域提取梯度32维特征。
3.如权利要求1所述的基于人体特征提取与检索的机器人视觉跟随方法,其特征在于,所述步骤S34中,利用PCA算法降维。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810074898.5A CN108196680B (zh) | 2018-01-25 | 2018-01-25 | 一种基于人体特征提取与检索的机器人视觉跟随方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810074898.5A CN108196680B (zh) | 2018-01-25 | 2018-01-25 | 一种基于人体特征提取与检索的机器人视觉跟随方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108196680A CN108196680A (zh) | 2018-06-22 |
CN108196680B true CN108196680B (zh) | 2021-10-08 |
Family
ID=62590728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810074898.5A Active CN108196680B (zh) | 2018-01-25 | 2018-01-25 | 一种基于人体特征提取与检索的机器人视觉跟随方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108196680B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109190475B (zh) * | 2018-08-01 | 2021-09-14 | 中国计量大学 | 一种人脸识别网络与行人再识别网络协同训练方法 |
CN109308469B (zh) * | 2018-09-21 | 2019-12-10 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
CN109978912A (zh) * | 2019-02-27 | 2019-07-05 | 北方民族大学 | 一种基于Bessel矩的物体跟踪方法及*** |
CN111182221A (zh) * | 2020-01-09 | 2020-05-19 | 新华智云科技有限公司 | 一种自动跟随的音视频采集***和方法 |
CN111880575B (zh) * | 2020-08-10 | 2023-03-24 | 重庆依塔大数据研究院有限公司 | 基于颜色追踪的控制方法、装置、存储介质及机器人 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831618A (zh) * | 2012-07-20 | 2012-12-19 | 西安电子科技大学 | 基于霍夫森林的视频目标跟踪方法 |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
CN106339702A (zh) * | 2016-11-03 | 2017-01-18 | 北京星宇联合投资管理有限公司 | 一种基于多特征融合的人脸识别方法 |
CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪***及实现方法 |
CN106934380A (zh) * | 2017-03-19 | 2017-07-07 | 北京工业大学 | 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 |
CN107506703A (zh) * | 2017-08-09 | 2017-12-22 | 中国科学院大学 | 一种基于无监督局部度量学习和重排序的行人再识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017054941A1 (en) * | 2015-09-30 | 2017-04-06 | Fotonation Limited | A method and system for tracking an object |
-
2018
- 2018-01-25 CN CN201810074898.5A patent/CN108196680B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831618A (zh) * | 2012-07-20 | 2012-12-19 | 西安电子科技大学 | 基于霍夫森林的视频目标跟踪方法 |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
CN106339702A (zh) * | 2016-11-03 | 2017-01-18 | 北京星宇联合投资管理有限公司 | 一种基于多特征融合的人脸识别方法 |
CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪***及实现方法 |
CN106934380A (zh) * | 2017-03-19 | 2017-07-07 | 北京工业大学 | 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法 |
CN107506703A (zh) * | 2017-08-09 | 2017-12-22 | 中国科学院大学 | 一种基于无监督局部度量学习和重排序的行人再识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108196680A (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108196680B (zh) | 一种基于人体特征提取与检索的机器人视觉跟随方法 | |
CN107330920B (zh) | 一种基于深度学习的监控视频多目标追踪方法 | |
CN109741369B (zh) | 一种用于机器人跟踪目标行人的方法及*** | |
US9275472B2 (en) | Real-time player detection from a single calibrated camera | |
KR101653278B1 (ko) | 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템 | |
CN104794439A (zh) | 基于多相机的准正面人脸图像实时优选方法及*** | |
Lee et al. | Place recognition using straight lines for vision-based SLAM | |
CN108776974B (zh) | 一种适用于公共交通场景的实时目标跟踪方法 | |
CN110287907B (zh) | 一种对象检测方法和装置 | |
CN103839038A (zh) | 一种人数统计的方法及装置 | |
Bottazzi et al. | Adaptive regions of interest based on HSV histograms for lane marks detection | |
Bansal et al. | A real-time pedestrian detection system based on structure and appearance classification | |
KR20150002038A (ko) | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 | |
CN105913034B (zh) | 车辆识别方法、装置及车辆 | |
CN104168444A (zh) | 一种跟踪球机的目标跟踪方法及跟踪球机 | |
CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
He et al. | Fast online multi-pedestrian tracking via integrating motion model and deep appearance model | |
CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
CN110634154B (zh) | 一种面向速度大范围变化目标跟踪的模板匹配方法 | |
CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
KR101342018B1 (ko) | 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치 | |
Zhang et al. | What makes for good multiple object trackers? | |
CN112084985A (zh) | 一种基于cssd的电力检修行人多目标跟踪算法 | |
Zhao et al. | Eye Tracking Based on the Template Matching and the Pyramidal Lucas-Kanade Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |