CN108021911A - 一种驾驶员疲劳驾驶监测方法 - Google Patents

一种驾驶员疲劳驾驶监测方法 Download PDF

Info

Publication number
CN108021911A
CN108021911A CN201810008776.6A CN201810008776A CN108021911A CN 108021911 A CN108021911 A CN 108021911A CN 201810008776 A CN201810008776 A CN 201810008776A CN 108021911 A CN108021911 A CN 108021911A
Authority
CN
China
Prior art keywords
msub
mrow
mtd
roi
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810008776.6A
Other languages
English (en)
Other versions
CN108021911B (zh
Inventor
赵安岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Vocational College of Public Transportation
Original Assignee
Chongqing Vocational College of Public Transportation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Vocational College of Public Transportation filed Critical Chongqing Vocational College of Public Transportation
Priority to CN201810008776.6A priority Critical patent/CN108021911B/zh
Publication of CN108021911A publication Critical patent/CN108021911A/zh
Application granted granted Critical
Publication of CN108021911B publication Critical patent/CN108021911B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明提供了一种驾驶员疲劳驾驶监测方法;主要包括人脸检测方法、ROI(region of interest)截取方法、图像增强方法、特征提取方法、模型训练及部署方法。解决了当前驾驶员安全驾驶监测***中对驾驶疲劳驾驶针对化监测的空白;同时本发明为全自动疲劳监测方法,可以实现近实时检测,精度较高,有效对驾驶员疲劳驾驶进行监测和提醒,以减少事故的发生。

Description

一种驾驶员疲劳驾驶监测方法
技术领域
本发明涉及一种安全监测方法,具体涉及一种驾驶员疲劳驾驶监测方法。
背景技术
现代社会,机动车已经成为日常生活必不可少交通出行工具,机动车给人们生活带来方便的同时,不安全的机动车驾驶也会造成重大的交通事故,其中疲劳驾驶的危害尤为突出。基于此,能够监测出驾驶员疲劳驾驶以及进行必要的提醒成为避免此类交通事故行之有效的方法,当前防范驾驶员疲劳驾驶的方法有如火车或者动车驾驶员的定时踩踏板、客运车上的超速语言提示等,对于疲劳驾驶监测还没有针对性的方法和设备。为解决上述问题,本发明提供了一种驾驶员疲劳驾驶监测方法。
发明内容
本发明的目的在于提供一种驾驶员疲劳驾驶监测方法,实现对于驾驶员驾驶过程中的疲劳驾驶进行监测,便于后续的提示等动作。
为实现上述目的,本发明提供了一种驾驶员疲劳驾驶监测方法,主要包括人脸检测方法、ROI(region of interest)截取方法、图像增强方法、特征提取方法、模型训练及部署方法;
所述人脸检测方法为对视频流数据每帧图像使用预训练人脸模型进行人脸检测、获取人脸关键点信息;
所述关键点信息包含左眼左角p1,左眼右角p2,右眼左角p3,右眼右角p4的坐标;
所述ROI截取方法即通过使用人脸检测方法获得的眼睛关键点坐标截取ROI;具体采用如下公式:
w=λx·(p4.x-p1.x)
h=λy·w
即获得ROI矩阵:
roi.w=λx·(p4.x-p1.x)
roi.h=λy·w
式中,center为眼睛中心点坐标,λx、λy为权重因子,满足λx≥1,1≥λy≥0.75;
所述图像增强方法为归一化的截取ROI与模板算子进行运算,使得图像的边缘信息增强;所述的模板算子为:
所述特征提取方法为将连续固定时间段内所有帧提取的单帧特征向量采用顺序拼接方法获取特征向量;所述单帧特征向量为对图像增强后的ROI区域采用LBP(LocalBinary Patterns)运算得到;
所述模型训练及部署方法准备完成的训练数据进行SVM模型训练获得监测模型;对驾驶员驾驶过程中实时提取特征向量使用监测模型进行疲劳驾驶监测;
所述准备完成的训练数据指带有疲劳驾驶或非疲劳驾驶标签的特征向量;所述特征向量为标签对应的如上述特征提取方法所述的固定时间段的视频获得;
所述实时获取特征向量指间隔固定时间t进行距当前时间如上述特征提取方法所述固定时间段的视频数据提取特征向量。
更进一步的,上述人脸检测方法中所述的预训练人脸模型选用中科院山世光老师的seetaface人脸模型。
更进一步的,上述ROI截取方法中的所述权重因子λx=1.2,λy=0.75。
更进一步的,上述特征提取方法和模型训练及部署方法中所述固定时间段取10s时间。
更进一步的,上述模型训练及部署方法中所述固定时间t取值为1s。
与现有的驾驶员安全监测***相比,本发明提供了一种驾驶员疲劳驾驶监测方法具有如下有益效果:
本发明提供了一种驾驶员疲劳驾驶监测方法,解决了当前驾驶员安全驾驶监测***中对驾驶疲劳驾驶针对化监测的空白;同时本发明为全自动疲劳监测方法,可以实现近实时检测,精度较高,对驾驶员疲劳驾驶检出率达到95%以上,能有效对驾驶员疲劳驾驶进行监测和提醒,以减少事故的发生。
附图说明
图1、人脸检测关键点信息示意图。
图2、训练和监测特征向量生成流程图。
具体实施方式
在驾驶员疲劳驾驶监测方法中,在训练和预测阶段,最重要均为特征向量的提取。
在训练阶段,将准备好的训练视频截取为10s长度的视频段作为训练数据,按目的分类为疲劳驾驶样本和非疲劳驾驶样本两类;分别标注标签为0和1;
对每个样本,按照30帧每秒的帧率解析为图片,共300帧图像;每帧图像按照如图1所示的特征生成流程图提取特征;
对每帧图像,先进行人脸检测获取包括左眼左角、左眼右角、右眼右角及右眼左角在内的关键点信息;
依据获取的人脸关键点信息,截取用于训练的ROI区域,采用截取公式为:
roi.w=1.2·(p4.x-p1.x)
roi.h=0.75·w=0.75·1.2·(p4.x-p1.x)
对截取的ROI图像,进行归一化处理,统一分辨率到480x360;再使用模板与图像进行卷积运算,以达到图像增强目的;所用模板为:
图像增强后的图片采用LBP算法,得到行向量,作为每帧图像的特征向量将10s内的图片特征向量全部拼接得到样本特征向量:
样本特征向量与标签组成训练样本:将所有的训练样本进行SVM模型训练;得到分类模型(W,b)。
在部署阶段,数据来源为实时摄像头,摄像头帧率设定为30FPS,实时获取摄像头图像,对每帧图像,采用如训练阶段所述的方法提取特征向量采用移位存储器方法存储特征向量,具体为FIFO(first in first out)。当前帧监测不到人脸时,清空移位存储器,当移位存储器大于300帧图像特征向量,每隔1s将当前移位存储器中全部300帧图像特征向量拼接为样本特征向量:
并采用分类模型(W,b)进行运算:
小于门限值时,判定为疲劳驾驶,进行报警警示。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种驾驶员疲劳驾驶监测方法,其特征在于:所述的驾驶员疲劳驾驶监测方法包括人流检测方法、ROI(region of interest)截取方法、图像增强方法、特征提取方法、模型训练及部署方法;具体步骤如下:
步骤S1001:采用人流检测方法获取每帧图像人脸信息和关键点信息;
所述人脸检测方法为对视频流数据每帧图像使用预训练人脸模型进行人脸检测、获取人脸关键点信息;
所述关键点信息包含左眼左角p1,左眼右角p2,右眼左角p3,右眼右角p4的坐标;
步骤S1002:采用ROI截取方法获取ROI;
所述ROI截取方法即通过使用人脸检测方法获得的眼睛关键点坐标截取ROI;具体采用如下公式:
<mrow> <mi>r</mi> <mi>o</mi> <mi>i</mi> <mo>.</mo> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> <mn>4</mn> </mfrac> <mo>-</mo> <mfrac> <mrow> <msub> <mi>&amp;lambda;</mi> <mi>x</mi> </msub> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mn>2</mn> </mfrac> </mrow>
<mrow> <mi>r</mi> <mi>o</mi> <mi>i</mi> <mo>.</mo> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>.</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>2</mn> </msub> <mo>.</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>3</mn> </msub> <mo>.</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>.</mo> <mi>y</mi> <mo>)</mo> </mrow> <mn>4</mn> </mfrac> <mo>-</mo> <mfrac> <mrow> <msub> <mi>&amp;lambda;</mi> <mi>y</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>&amp;lambda;</mi> <mi>x</mi> </msub> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mn>4</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>p</mi> <mn>1</mn> </msub> <mo>.</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mn>2</mn> </mfrac> </mrow>
roi.w=λx·(p4.x-p1.x)
roi.h=λy·λx·(p4.x-p1.x)
式中λx、λy为权重因子,满足λx≥1,1≥λy≥0.75;
步骤S1003:采用图像增强方法对ROI区域进行运算获得增强图像;
所述图像增强方法为截取ROI与模板算子进行卷积运算,使得图像的边缘信息增强;所述的模板算子为:
<mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mo>-</mo> <mn>0.5</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mn>0.5</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mn>0.5</mn> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mn>0.25</mn> </mrow> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0.75</mn> </mtd> </mtr> </mtable> </mfenced>
步骤S1004:依据特征提取方法,对增强图像提取单帧特性向量;
所述特征提取方法为对增强图像采用LBP(Local Binary Patterns)运算得到单帧特征向量;
步骤S2000:视频段内所有单帧特征向量进行合并;
所述视频段为一个样本,其视频帧率和视频段时长为固定值;
所述所有单帧特征向量为视频段内固定帧率下所有图像帧按照步骤S1001到步骤S1004提取的单帧特征向量;
所述合并为将所有单帧特征向量进行顺序拼接,获取行特征向量Y;
步骤S3000:采用模型训练方法,对训练样本进行训练获得监测模型;
所述训练样本为训练集中视频段按照步骤S1001到步骤S2000提取特征向量Yi与对应的疲劳驾驶或非疲劳驾驶标签bi组成{Yi,bi};
所述模型训练方法为采用SVM模型训练;
步骤S3001:部署阶段,使用训练得到模型对驾驶员驾驶进行监测;
所述监测过程为采用固定视频帧率实时获取驾驶员驾驶过程中图片帧;按照步骤S1001到步骤S1004提取单帧特征向量;并以先进先出移位存储原理,按照步骤S2000合并固定视频时长的特征向量,以监测周期对特征向量进行模型实时判决输出;
所述固定视频帧率和固定视频时长同步骤S2000中视频帧率和视频时长。
2.如权利要求1所述的一种驾驶员疲劳驾驶监测方法,其特征在于:所述步骤S1001中人脸检测方法中的预训练人脸模型为SeeTaFace人脸模型。
3.如权利要求2所述的一种驾驶员疲劳驾驶监测方法,其特征在于:所述步骤S1002中ROI截取方法中的所述权重因子λx=1.2,λy=0.75。
4.如权利要求3所述的一种驾驶员疲劳驾驶监测方法,其特征在于:所述步骤S2000中固定帧率为30帧每秒,固定视频时长为10s左右。
5.如权利要求4所述的一种驾驶员疲劳驾驶监测方法,其特征在于:所述步骤S3001中监测周期约为1s。
CN201810008776.6A 2018-01-04 2018-01-04 一种驾驶员疲劳驾驶监测方法 Expired - Fee Related CN108021911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810008776.6A CN108021911B (zh) 2018-01-04 2018-01-04 一种驾驶员疲劳驾驶监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810008776.6A CN108021911B (zh) 2018-01-04 2018-01-04 一种驾驶员疲劳驾驶监测方法

Publications (2)

Publication Number Publication Date
CN108021911A true CN108021911A (zh) 2018-05-11
CN108021911B CN108021911B (zh) 2018-09-11

Family

ID=62071214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810008776.6A Expired - Fee Related CN108021911B (zh) 2018-01-04 2018-01-04 一种驾驶员疲劳驾驶监测方法

Country Status (1)

Country Link
CN (1) CN108021911B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272766A (zh) * 2018-11-28 2019-01-25 武汉市天蝎科技有限公司 一种基于智能眼镜酒驾安全预警***及方法
CN111707375A (zh) * 2020-06-10 2020-09-25 青岛联合创智科技有限公司 一种具备智能测温考勤和异常行为检测的电子班牌
CN113051958A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、***、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013013A (zh) * 2010-12-23 2011-04-13 华南理工大学广州汽车学院 疲劳驾驶监测方法
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
US20140003658A1 (en) * 2012-06-28 2014-01-02 Oliver Hein Method and apparatus for coding of eye and eye movement data
CN105095879A (zh) * 2015-08-19 2015-11-25 华南理工大学 基于特征融合的眼睛状态识别方法
CN106236046A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测***
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN106682603A (zh) * 2016-12-19 2017-05-17 陕西科技大学 一种基于多源信息融合的实时驾驶员疲劳预警***
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警***
CN106778677A (zh) * 2016-12-30 2017-05-31 东北农业大学 基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
CN106898118A (zh) * 2017-04-26 2017-06-27 华迅金安(北京)科技有限公司 防止疲劳驾驶的智能***及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013013A (zh) * 2010-12-23 2011-04-13 华南理工大学广州汽车学院 疲劳驾驶监测方法
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
US20140003658A1 (en) * 2012-06-28 2014-01-02 Oliver Hein Method and apparatus for coding of eye and eye movement data
CN106327801A (zh) * 2015-07-07 2017-01-11 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN105095879A (zh) * 2015-08-19 2015-11-25 华南理工大学 基于特征融合的眼睛状态识别方法
CN106236046A (zh) * 2016-09-05 2016-12-21 合肥飞鸟信息技术有限公司 驾驶员疲劳监测***
CN106682603A (zh) * 2016-12-19 2017-05-17 陕西科技大学 一种基于多源信息融合的实时驾驶员疲劳预警***
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警***
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN106778677A (zh) * 2016-12-30 2017-05-31 东北农业大学 基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
CN106898118A (zh) * 2017-04-26 2017-06-27 华迅金安(北京)科技有限公司 防止疲劳驾驶的智能***及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272766A (zh) * 2018-11-28 2019-01-25 武汉市天蝎科技有限公司 一种基于智能眼镜酒驾安全预警***及方法
CN113051958A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、***、设备及介质
CN111707375A (zh) * 2020-06-10 2020-09-25 青岛联合创智科技有限公司 一种具备智能测温考勤和异常行为检测的电子班牌
CN111707375B (zh) * 2020-06-10 2021-07-09 青岛联合创智科技有限公司 一种具备智能测温考勤和异常行为检测的电子班牌

Also Published As

Publication number Publication date
CN108021911B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108021911B (zh) 一种驾驶员疲劳驾驶监测方法
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测***
CN105512638B (zh) 一种基于融合特征的人脸检测与对齐方法
CN109934199A (zh) 一种基于计算机视觉的驾驶员疲劳检测方法及***
Chen et al. Driver fatigue detection based on facial key points and LSTM
CN104123549B (zh) 一种用于疲劳驾驶实时监测的眼睛定位方法
CN107194346A (zh) 一种汽车疲劳驾驶预测方法
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、***和计算机设备
CN107403142A (zh) 一种微表情的检测方法
CN104504856A (zh) 基于Kinect及人脸识别的疲劳驾驶检测方法
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及***
CN104331151A (zh) 基于光流法的手势运动方向识别方法
Yuen et al. An occluded stacked hourglass approach to facial landmark localization and occlusion estimation
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN106056631A (zh) 基于运动区域的行人检测方法
US20230017578A1 (en) Image processing and model training methods, electronic device, and storage medium
CN111540171B (zh) 疲劳驾驶预警***、相应的预警方法及构建方法
CN109101925A (zh) 活体检测方法
CN103778430B (zh) 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法
CN107609464A (zh) 一种实时高精度人脸快速检测方法
CN106022242A (zh) 智能交通***中的驾驶员接打电话识别方法
Li et al. Distracted driving detection by combining ViT and CNN
CN109859527A (zh) 一种非机动车转弯预警方法及装置
KR101408344B1 (ko) 얼굴 검출 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180911

Termination date: 20220104