CN108268858A - 一种高鲁棒的实时视线检测方法 - Google Patents
一种高鲁棒的实时视线检测方法 Download PDFInfo
- Publication number
- CN108268858A CN108268858A CN201810118195.8A CN201810118195A CN108268858A CN 108268858 A CN108268858 A CN 108268858A CN 201810118195 A CN201810118195 A CN 201810118195A CN 108268858 A CN108268858 A CN 108268858A
- Authority
- CN
- China
- Prior art keywords
- eye
- real
- sight line
- time method
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种高鲁棒的实时视线检测方法,可用于对人眼视线进行摄像头的实时追踪和动态检测。首先,利用根据人眼结构的先验知识初始化得到的双圆活动模型检测精确的虹膜中心位置;然后,再利用稳定的人脸特征点检测方法检测再计算得到精确的参考点位置,和虹膜中心位置组合得到“眼向量”。接下来,“眼向量”和头部姿态通过二阶映射得到视线所指位置的坐标。最后,利用权重系数对左眼和右眼计算得到的位置坐标加权求和,提高检测的准确度。本发明精确检测了虹膜中心和参考点的位置,且计算量不是很大,可以达到实时视线检测的效果,使得该***具有成本低、准确性高的特点,并且有很高的实用价值。
Description
技术领域
本发明涉及模式识别、图像处理和人机交互领域,特别是涉及一种高鲁棒的实时视线检测方法。
背景技术
视线检测是一种人机交互技术,它可以帮助计算机实现和人类用户之间方便且高效的交互。人机交互一直以来都是计算机领域关注的焦点,好的人机交互技术将极大地提升电子产品的用户体验,提高产品优势。并且,随着人机交互技术的发展,生活将变得更加智能和自动化,工作将变得更加高效和便捷。目前,它被广泛地应用于虚拟现实、增强现实以及网上购物和广告等方面。一种精确、实时的视线检测技术将大大降低这些应用的门槛,为实现更好的人机交互体验提供了保障。
目前,视线检测技术主要分为两种:基于传感器的方法和基于计算机视觉的方法。其中,基于传感器的方法会与人体产生物理接触,比如在眼部贴上电极检测眼球转动时产生的电信号。相比于基于传感器的方法,基于计算机视觉的方法不需要直接接触人体,对使用者更加友好且便捷。
对于基于计算机视觉的方法,当前普遍使用红外设备来辅助进行图像的采样,这样得到的图像经过处理可以获得较高精度的检测结果。然而,这类方法需要昂贵的红外设备,并且其检测效果会受到环境光照的影响。并且,该方法对于佩戴眼镜的人检测效果也不理想,因为镜片会产生反射影响检测。除红外设备辅助的方法外,还有的使用复杂的成像设备来采样图像,例如使用多角度摄像机、高清摄像机、深度摄像机等。然而,这类方法需要配备特定的成像设备,在现实生活中也难以广泛应用。
综上可知,若要将视线检测广泛应用到生活中,必须满足以下的条件:(1)检测时无需直接接触人体;(2)检测可以使用任意图像采集设备,包括低成本的手机前置摄像头;(3)高精度的实时视线检测算法。
因此,本发明提出了一种仅采用单个低成本摄像头的、基于回归的、精确的实时视线检测***的解决方案,并且可以投入日常生活的实际应用。
发明内容
本发明的目的在于克服现有技术的不足,提出一种可以适用于低分辨率图像中视线检测的,并且具有高精度的方法。
为了实现上述目的,本发明采用以下技术方案:
一种高鲁棒的实时视线检测方法包括以下步骤:
1)由人脸特征点检测算法检测出图像中的人脸的68个特征点;
2)检测出人脸特征点后,利用双圆活动模型求得虹膜中心位置;
3)检测出人脸特征点后,利用取平均位置的方式获得参考点位置,并和虹膜中心位置结合计算得到“眼向量”;
4)求得头部姿态的估计;
5)利用回归算法求得与“眼向量”和头部姿态相关的映射函数,用该映射函数求得左右眼的视线位置;
6)将左右眼的视线位置进行加权求和,得到最终的视线位置。
优选的,所述的利用双圆活动模型求得虹膜中心位置的步骤之前还包括预处理步骤,所述的预处理步骤具体为:
1)利用68个特征点中在眼睛附近的12个特征点提取出眼睛区域;
2)对眼睛区域图像进行腐蚀处理,滤除噪声。
优选的,所述的双圆活动模型的外圆和内圆的半径大小为眼睛区域的宽度乘以一个设定的比例系数得到,使得虹膜的边缘能够位于内圆外圆之间,且内圆直径为眼睛区域宽度的0.25倍,外圆直径为内圆直径的1.44倍。
优选的,所述的利用双圆活动模型求得虹膜中心位置的过程中,在从左到右移动粗略估计好虹膜位置后,在该位置的上下左右-5~+5像素范围内进行移动,选择差值最大的位置作为最终的虹膜中心位置。
优选的,所述的利用取平均位置的方式获得参考点位置,具体为:从68个特征点中选取面部轮廓的36个特征点,将这些特征点的横纵坐标值求平均,即得到一个稳定的参考点。
优选的,所述的求得头部姿态的估计的方法为:从68个特征点中选取左右眼角点、左右嘴角点、鼻尖和下巴,得到6个特征点的位置,再由OpenCV库提供的迭代算法得到头部姿态。
优选的,所述步骤5)中的映射函数表示为一个n阶多项式函数,其形式如下:
其中,gh和gv分别表示视线位置的横坐标和纵坐标;eh和ev分别表示“眼向量”的横坐标和纵坐标;hp,hy和hr分别表示头部姿态的俯仰角,偏航角和翻滚角;而ak和bk则代表函数式中k阶项的系数,也即映射函数的固定参数。
优选的,所述步骤6)具体为:
求得的左右眼的视线坐标,通过加权求和得到最终的坐标,具体形式如下:
gfh=w*glh+(1-w)*grh,w∈[0,1]
gfv=w*glv+(1-w)*grv,w∈[0,1]
其中,w是权重系数;glh和grh分别是左眼和右眼的视线横坐标;glv和grv分别是左眼和右眼的视线纵坐标,gfh和gfv分别表示最终视线位置的横坐标和纵坐标。
本发明的高鲁棒的实时视线检测方法的优点是:
1.该方法的计算成本低,根据实际使用的表现,可以在主频3GHz的CPU处理器上达到每秒50帧左右的检测速度并且无需其他专用设备,因此该方法的硬件要求不高且具有实时性。
2.该方法的鲁棒性高,根据实际使用的表现,对于低分辨率图像也能准确检测到视线位置,除此之外受光照的影响也比较小,故对于很多不同场景都具有普适性。
3.该方法利用双圆活动模型进行虹膜中心检测的过程中,先对双圆活动模型根据实际中人眼和虹膜的大小比例进行了初始化,大大减少了模型移动的范围,从而减少了迭代计算的次数。
4.该方法利用双圆活动模型进行虹膜中心检测的过程中,分为粗略检测阶段和精确定位阶段进行,在粗略检测到虹膜中心位置后又让双圆活动模型在粗略位置周围-5~+5像素范围内精确计算最终位置,大大提高了虹膜中心位置检测的精度,从而提高了整体视线检测的效果。
5.该方法计算最终视线位置的过程中,同时利用了基于虹膜中心和参考点位置得到的“眼向量”以及基于迭代算法得到的头部姿态,综合两者的检测结果进行映射来计算视线位置,大大提高了该方法的准确性和鲁棒性。
6.该方法计算最终视线位置的过程中,利用加权求和的方法综合了左眼和右眼的检测结果,大大提高了该方法的准确性和鲁棒性。
附图说明
图1是本视线检测***的算法总体流程图。
图2是人脸68个特征点位置的示意图;
图3是人脸68个特征点标号的示意图;
具体实施方式
下面结合技术方案和附图对本发明进一步说明。
如图1所示,本发明的一种高鲁棒的实时视线检测方法包括以下步骤:
1)由人脸特征点检测算法检测出图像中的人脸的68个特征点,如图2所示;
2)检测出人脸特征点后,利用双圆活动模型求得虹膜中心位置;
3)检测出人脸特征点后,利用取平均位置的方式获得参考点位置,并和虹膜中心位置结合计算得到“眼向量”;
4)求得头部姿态的估计;
5)利用回归算法求得与“眼向量”和头部姿态相关的映射函数,用该映射函数求得左右眼的视线位置;所述步骤5)中的映射函数表示为一个n阶多项式函数,其形式如下:
其中,gh和gv分别表示视线位置的横坐标和纵坐标;eh和ev分别表示“眼向量”的横坐标和纵坐标;hp,hy和hr分别表示头部姿态的俯仰角,偏航角和翻滚角;而ak和bk则代表函数式中k阶项的系数,也即映射函数的固定参数。
6)将左右眼的视线位置进行加权求和,得到最终的视线位置,具体为:
求得的左右眼的视线坐标,通过加权求和得到最终的坐标,具体形式如下:
gfh=w*glh+(1-w)*grh,w∈[0,1]
gfv=w*glv+(1-w)*grv,w∈[0,1]
其中,w是权重系数;glh和grh分别是左眼和右眼的视线横坐标;glv和grv分别是左眼和右眼的视线纵坐标,gfh和gfv分别表示最终视线位置的横坐标和纵坐标。
在本实施例中,所述的利用双圆活动模型求得虹膜中心位置的步骤之前还包括预处理步骤,所述的预处理步骤具体为:
1)利用68个特征点中在眼睛附近的12个特征点(图3中的37~48号点)提取出眼睛区域;
2)对眼睛区域图像进行腐蚀处理,滤除噪声。
在本发明的一个优选实施例中,所述的双圆活动模型的外圆和内圆的半径大小为眼睛区域的宽度乘以一个设定的比例系数得到,使得虹膜的边缘能够位于内圆外圆之间,且内圆直径为眼睛区域宽度的0.25倍,外圆直径为内圆直径的1.44倍。
在本发明的一个优选实施例中,所述的利用双圆活动模型求得虹膜中心位置的过程中,在从左到右移动粗略估计好虹膜位置后,在该位置的上下左右-5~+5像素范围内进行移动,选择差值最大的位置作为最终的虹膜中心位置。
在本发明的一个优选实施例中,所述的利用取平均位置的方式获得参考点位置,具体为:从68个特征点中选取面部轮廓的36个特征点(图3中的1~36号点),将这些特征点的横纵坐标值求平均,即得到一个稳定的参考点。
在本发明的一个优选实施例中,所述的求得头部姿态的估计的方法为:从68个特征点中选取左右眼角点、左右嘴角点、鼻尖和下巴,得到6个特征点的位置,再由OpenCV库提供的迭代算法得到头部姿态。
Claims (8)
1.一种高鲁棒的实时视线检测方法,其特征在于包括以下步骤:
1)由人脸特征点检测算法检测出图像中的人脸的68个特征点;
2)检测出人脸特征点后,利用双圆活动模型求得虹膜中心位置;
3)检测出人脸特征点后,利用取平均位置的方式获得参考点位置,并和虹膜中心位置结合计算得到“眼向量”;
4)求得头部姿态的估计;
5)利用回归算法求得与“眼向量”和头部姿态相关的映射函数,用该映射函数求得左右眼的视线位置;
6)将左右眼的视线位置进行加权求和,得到最终的视线位置。
2.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述的利用双圆活动模型求得虹膜中心位置的步骤之前还包括预处理步骤,所述的预处理步骤具体为:
1)利用68个特征点中在眼睛附近的12个特征点提取出眼睛区域;
2)对眼睛区域图像进行腐蚀处理,滤除噪声。
3.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述的双圆活动模型的外圆和内圆的半径大小为眼睛区域的宽度乘以一个设定的比例系数得到,使得虹膜的边缘能够位于内圆外圆之间,且内圆直径为眼睛区域宽度的0.25倍,外圆直径为内圆直径的1.44倍。
4.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述的利用双圆活动模型求得虹膜中心位置的过程中,在从左到右移动粗略估计好虹膜位置后,在该位置的上下左右-5~+5像素范围内进行移动,选择差值最大的位置作为最终的虹膜中心位置。
5.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述的利用取平均位置的方式获得参考点位置,具体为:从68个特征点中选取面部轮廓的36个特征点,将这些特征点的横纵坐标值求平均,即得到一个稳定的参考点。
6.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述的求得头部姿态的估计的方法为:从68个特征点中选取左右眼角点、左右嘴角点、鼻尖和下巴,得到6个特征点的位置,再由OpenCV库提供的迭代算法得到头部姿态。
7.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述步骤5)中的映射函数表示为一个n阶多项式函数,其形式如下:
其中,gh和gv分别表示视线位置的横坐标和纵坐标;eh和ev分别表示“眼向量”的横坐标和纵坐标;hp,hy和hr分别表示头部姿态的俯仰角,偏航角和翻滚角;而ak和bk则代表函数式中k阶项的系数,也即映射函数的固定参数。
8.如权利要求1所述的高鲁棒的实时视线检测方法,其特征在于所述步骤6)具体为:
求得的左右眼的视线坐标,通过加权求和得到最终的坐标,具体形式如下:
gfh=w*glh+(1-w)*grh,w∈[0,1]
gfv=w*glv+(1-w)*grv,w∈[0,1]
其中,w是权重系数;glh和grh分别是左眼和右眼的视线横坐标;glv和grv分别是左眼和右眼的视线纵坐标,gfh和gfv分别表示最终视线位置的横坐标和纵坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810118195.8A CN108268858B (zh) | 2018-02-06 | 2018-02-06 | 一种高鲁棒的实时视线检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810118195.8A CN108268858B (zh) | 2018-02-06 | 2018-02-06 | 一种高鲁棒的实时视线检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108268858A true CN108268858A (zh) | 2018-07-10 |
CN108268858B CN108268858B (zh) | 2020-10-16 |
Family
ID=62773617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810118195.8A Expired - Fee Related CN108268858B (zh) | 2018-02-06 | 2018-02-06 | 一种高鲁棒的实时视线检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108268858B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046546A (zh) * | 2019-03-05 | 2019-07-23 | 成都旷视金智科技有限公司 | 一种自适应视线追踪方法、装置、***及存储介质 |
CN110275608A (zh) * | 2019-05-07 | 2019-09-24 | 清华大学 | 人眼视线追踪方法 |
CN110321820A (zh) * | 2019-06-24 | 2019-10-11 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
CN110909611A (zh) * | 2019-10-29 | 2020-03-24 | 深圳云天励飞技术有限公司 | 一种关注区域检测方法、装置、可读存储介质及终端设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
CN105303170A (zh) * | 2015-10-16 | 2016-02-03 | 浙江工业大学 | 一种基于人眼特征的视线估计方法 |
WO2018000020A1 (en) * | 2016-06-29 | 2018-01-04 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
-
2018
- 2018-02-06 CN CN201810118195.8A patent/CN108268858B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
CN102930278A (zh) * | 2012-10-16 | 2013-02-13 | 天津大学 | 一种人眼视线估计方法及其装置 |
CN105303170A (zh) * | 2015-10-16 | 2016-02-03 | 浙江工业大学 | 一种基于人眼特征的视线估计方法 |
WO2018000020A1 (en) * | 2016-06-29 | 2018-01-04 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
Non-Patent Citations (2)
Title |
---|
MAHBOUBEH SHAMSI.ET AL: ""Fast Algorithm for Iris Localization Using"", <2009 INTERNATIONAL CONFERENCE OF SOFT COMPUTING AND PATTERN RECOGNITION> * |
龚秀锋等: ""基于标记点检测的视线跟踪注视点估计"", 《计算机工程》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046546A (zh) * | 2019-03-05 | 2019-07-23 | 成都旷视金智科技有限公司 | 一种自适应视线追踪方法、装置、***及存储介质 |
CN110046546B (zh) * | 2019-03-05 | 2021-06-15 | 成都旷视金智科技有限公司 | 一种自适应视线追踪方法、装置、***及存储介质 |
CN110275608A (zh) * | 2019-05-07 | 2019-09-24 | 清华大学 | 人眼视线追踪方法 |
CN110321820A (zh) * | 2019-06-24 | 2019-10-11 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
CN110321820B (zh) * | 2019-06-24 | 2022-03-04 | 东南大学 | 一种基于非接触式设备的视线落点检测方法 |
CN110909611A (zh) * | 2019-10-29 | 2020-03-24 | 深圳云天励飞技术有限公司 | 一种关注区域检测方法、装置、可读存储介质及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108268858B (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271914B (zh) | 检测视线落点的方法、装置、存储介质和终端设备 | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和*** | |
CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及*** | |
CN108268858A (zh) | 一种高鲁棒的实时视线检测方法 | |
US10782095B2 (en) | Automatic target point tracing method for electro-optical sighting system | |
Vadakkepat et al. | Multimodal approach to human-face detection and tracking | |
CN107545302B (zh) | 一种人眼左右眼图像联合的视线方向计算方法 | |
US9411417B2 (en) | Eye gaze tracking system and method | |
CN106056092A (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
CN101593022B (zh) | 一种基于指端跟踪的快速人机交互方法 | |
Jain et al. | Real-time upper-body human pose estimation using a depth camera | |
CN103870796B (zh) | 一种人眼视线估计的方法与装置 | |
CN104809424B (zh) | 一种基于虹膜特征实现视线追踪的方法 | |
CN107831900B (zh) | 一种眼控鼠标的人机交互方法及*** | |
CN104049760B (zh) | 一种人机交互命令的获取方法及*** | |
CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及*** | |
CN111486798B (zh) | 图像测距方法、图像测距***及终端设备 | |
CN109359514A (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
CN111144207A (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
CN109711239B (zh) | 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法 | |
CN109255329A (zh) | 确定头部姿态的方法、装置、存储介质和终端设备 | |
CN111339982A (zh) | 一种基于特征的多级瞳孔中心定位技术实现方法 | |
CN116051631A (zh) | 光斑标注方法及*** | |
CN106599873A (zh) | 基于三维姿态信息的人物身份识别方法 | |
CN113160260B (zh) | 一种头眼双通道智能人机交互***及运行方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201016 Termination date: 20210206 |