CN113573237B - 一种基于人脸认证与位置感知的人员状态监测方法、***及终端 - Google Patents
一种基于人脸认证与位置感知的人员状态监测方法、***及终端 Download PDFInfo
- Publication number
- CN113573237B CN113573237B CN202110417216.8A CN202110417216A CN113573237B CN 113573237 B CN113573237 B CN 113573237B CN 202110417216 A CN202110417216 A CN 202110417216A CN 113573237 B CN113573237 B CN 113573237B
- Authority
- CN
- China
- Prior art keywords
- wireless signal
- isolation
- terminal
- base station
- refers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000002955 isolation Methods 0.000 claims abstract description 99
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 21
- 101100289995 Caenorhabditis elegans mac-1 gene Proteins 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 4
- 230000002265 prevention Effects 0.000 abstract description 7
- 206010048669 Terminal state Diseases 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000006698 induction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供了一种基于人脸认证与位置感知的人员状态监测方法、***及终端,该方法包括:在终端状态监测APP中完成注册、登录及实名认证;并完成人脸图像的录入及电子围栏的设置;在状态监测APP进入隔离状态时,开始对移动设备的位置进行实时的感知并不定时地向隔离人员发出人脸认证请求;并且,状态监测APP随进入隔离状态起的同时由零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,归零地重新统计隔离时间;其中,状态监测APP还同步地显示有所述隔离时间的最大值。本方案可以有效降低疫情防控实施成本,减少疫情防控人员实地监测的工作次数,降低工作强度,定位精度、鲁棒性高,且定位成本低。
Description
技术领域
本发明涉及人员监测和感知领域,具体涉及通过生物特征识别和位置感知实现的人员状态监测方法、***及终端产品。
背景技术
新冠肺炎主要的传播途径是经呼吸道飞沫和接触传播,密切接触者曾与确诊病例有过接触,存在被感染风险,当处于疾病潜伏期时,即使没有任何症状,但仍然存在一定的传染性。因此,对潜在的患者实行严格的集中隔离医学观察,一旦出现问题,专业医护人员就能及时发现。这对接触者个人,对社会而言,能够最大可能避免潜在的疫情扩散,也是对公众的健康安全负责最直接的体现。
对于居家隔离或集中医学隔离观察的人员,必须要做到单独居住、禁止外出。所以,对回国或者疑似人员进行定点隔离时,需要实时监控其位置,若有擅自离开,则需要及时发现,并进行报警。因此,及时采取科学技术手段对集中隔离人员进行位置感知和状态监测对于整个疫情的防控和患者的隔离治疗都有及其重要的意义。
目前,对相关人员进行定点隔离的科学技术手段不多,主要包含以下方法:门磁感应***,门磁主体分为两部分,一部分安装在居民门上,一部分安在门框上面,两部分之间由红外线链接。当门被打开时,门磁感应***立即发射特定的无线电波,远距离向主机报警。门磁感应***需要上门安装,实施比较困难,并且门磁感应***是外置状态,很容易被人为破坏而失去监控作用。另外市面上还有一种智能防拆手环,可以对隔离人员位置进行监测,要求隔离人员24小时佩戴,尽管具有穿戴检测传感器,在手表解下时会发送警示信号给后台,但手环成本较高,而且需要频繁取下来充电或者更换电池,带来实用性障碍。
鉴于上述,一种更便捷和有效的隔离人员监测方法是被需求和渴望的。
发明内容
有鉴于此,本发明提供了一种基于人脸认证与位置感知的人员状态监测方法、***及终端,以更好地配合相关人员完成真实有效的隔离及防疫工作。具体而言,本发明提供了以下技术方案:
一方面,本发明提供了一种基于人脸认证与位置感知的人员状态监测方法,该方法包括:
S1、完成终端中的状态监测APP中的注册、登录及认证;
S2、在所述状态监测APP中完成监测人员的人脸图像录入及电子围栏的设置;
S3、在所述状态监测APP中进入隔离状态时,开始对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP随进入隔离状态起的同时,由定时器从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,归零地重新统计隔离时间;其中,所述状态监测APP还同步地显示有所述隔离时间的最大值。
优选的,所述S2中,通过电子围栏确定位置感知是否异常,所述电子围栏设置方式为:在待隔离点启动原点设置,将待隔离点设置为起始原点;设置活动半径;通过实时定位的定位点与起始原点的距离确定位置偏移量,基于位置偏移量和活动半径的比较,判定监测人员是否超出电子围栏。
优选的,当定时器计时结束,则进行人脸认证,所述人脸认证包括:采集监测人员人脸图像,并进行活体检测;当活体检测通过后,将S2中人脸图像录入时采集的人脸图像与采集的监测人员人脸图像进行特征匹配;若匹配成功,则通过认证,否则返回人脸认证异常信息,并记录认证异常信息。
优选的,所述S3中的位置感知方式为:当终端包含多类型的无线信号接收模块时,分别基于多类型的无线信号计算当前位置与起始原点之间的距离,将各计算结果融合,实现终端的位置感知。
优选的,所述起始原点的设置方式为:在待隔离点启动原点设置后,启动终端的一个或多个无线信号接收模块的扫描功能,记录当前位置点P0的无线场特征值FE0:
FE0={(mac1,rssi1);(mac2,rssi2),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
在P0处采集多次无线场特征值,取多次的无线场特征值的信号强度平均值作为P0点的信号强度值。
优选的,所述位置偏移量的计算方式为:每经过预设时间间隔T,终端采集当前所在位置P1环境中的无线场特征值FE1:
FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
基于FE0与FE1计算P0与P1之间的位置偏移量。
优选的,若活体检测未通过或人脸图像特征匹配失败,则计时器归零地重新统计隔离时间。
优选的,所述位置偏移量的计算通过以下方式实现:
当所述FE0和FE1的中存在相同的MAC地址时,则按照公式Dist=Dsim-min+pdif-new*(Dsim-max-Dsim-min)计算所述FE0与所述FE1的距离Dist,该距离即两点P0、P1之间的位置偏移量;
所述Dsim-min是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最小值;所述Dsim-max是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最大值;所述pdif-new是指所述FE0及FE1中,具有不同MAC地址所占的比例换算得到的权重因子。
优选的,当FE0和FE1中不存在相同的MAC地址时,则比较所述FE0与其他与其匹配的无线信号基站信息的基站LAC以及基站CID是否一致;当所述无线信号基站信息一致时,所述FE0与FE1的距离Dist小于或者等于基站覆盖范围的直径;当所述无线信号基站信息不一致时,则大于基站覆盖范围的直径。
优选的,所述无线信号基站为移动基站和/或蓝牙基站等。
优选的,所述pdif-new按照公式计算得到;
其中,所述pdif是指所述FE0和FE1中不同MAC地址在两条记录中所占的比例;所述pdif-min是指将0-100%的范围分为若干个区间,所述pdif所在的区间范围内的最小值;所述pdif-max是指所述pdif所在的区间范围内的最大值。
优选的,所述pdif按照公式计算得到;
其中,所述MacNum是指所述FE0及FE1中相同MAC地址的个数;M与N分别为所述FE0及FE1中MAC地址的个数。
优选的,所述Dsim-min以及Dsim-max通过计算Dsim得到;所述Dsim是指所述FE0及FE1的终端信息中,相同MAC地址所占的比例psim对应的距离范围,所述Dsim-min以及Dsim-max代表的这个区间的最小值与最大值。
优选的,psim计算方式为:按照公式计算所述FE0和FE1中相同MAC地址所占的比例psim,其中min(N,M)是指取所述N与M中的较小值。
此外,本发明还提供了一种基于人脸认证与位置感知的人员状态监测***,该***包括:
终端,包含一个或多个无线信号接收单元、状态监测APP单元、定时器单元;
所述状态监测APP单元用于完成状态监测APP中的注册、登录及认证;以及完成监测人员的人脸图像录入及电子围栏的设置;
所述状态监测APP单元进入隔离状态时,对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP单元随进入隔离状态起的同时,由所述定时器单元从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,所述定时器单元归零地重新统计隔离时间;其中,所述终端还同步地显示有所述隔离时间的最大值;
服务器模块,所述服务器模块与所述终端通过无线连接,所述服务器模块包含数据库单元,所述数据库单元用于存储监测人员基础信息及监测人员状态信息。
优选的,所述终端通过电子围栏确定位置感知是否异常,所述电子围栏设置方式为:在待隔离点启动原点设置,将待隔离点设置为起始原点;设置活动半径;通过实时定位的定位点与起始原点的距离确定位置偏移量,基于位置偏移量和活动半径的比较,判定监测人员是否超出电子围栏。
优选的,当所述终端包含多个无线信号接收单元以接收多个类型的无线信号时,分别基于多个类型的无线信号计算当前位置与起始原点之间的距离,将各计算结果融合,实现终端的位置感知。
优选的,所述起始原点的设置方式为:在待隔离点启动原点设置后,启动终端的一个或多个无线信号接收单元的扫描功能,记录当前位置点P0的无线场特征值FE0:
FE0={(mac1,rssi1);(mac2,rssi2),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
在P0处采集多次无线场特征值,取多次的无线场特征值的信号强度平均值作为P0点的信号强度值。
优选的,所述位置偏移量的计算方式为:每经过预设时间间隔T,终端通过一个或多个无线信号接收单元采集当前所在位置P1环境中的无线场特征值FE1:
FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
基于FE0与FE1计算P0与P1之间的位置偏移量。
此外,本发明还提供了一种基于人脸认证与位置感知的人员状态监测终端,该终端包括:
一个或多个无线信号接收单元、状态监测APP单元、定时器单元;
所述状态监测APP单元用于完成状态监测APP中的注册、登录及认证;以及完成监测人员的人脸图像录入及电子围栏的设置;
所述状态监测APP单元进入隔离状态时,对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP单元随进入隔离状态起的同时,由所述定时器单元从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,所述定时器单元归零地重新统计隔离时间;其中,所述终端还同步地显示有所述隔离时间的最大值。
与现有技术相比,本发明技术方案具有以下优点:本方案中APP可以实现隔离人员状态监测,通过1)普遍使用的智能手机;2)直接利用环境中大量存在的wifi和蓝牙信号就达到目的,可以有效降低疫情防控实施成本。
因为定期进行人脸识别,与原始照片比对与验证,从而避免了隔离人员在人脸认证时使用照片冒充的情况,不仅可以减少疫情防控人员与隔离人员接触的次数,还可以减少疫情防控人员实地监测的工作次数,降低工作强度。
本发明方案中将WiFi定位技术和蓝牙定位技术融合起来,尽可能精准地估计了被隔离者的位移量,达到优势互补,提高定位精度、鲁棒性,降低定位成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例的***总体运行流程图;
图2为本发明实施例的人脸识别认证流程图;
图3为本发明实施例的人脸比对流程示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。应当明确,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本领域技术人员应当知晓,下述具体实施例或具体实施方式,是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式,而该些设置方式之间均是可以相互结合或者相互关联使用的,除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时,下述的具体实施例或实施方式仅作为最优化的设置方式,而不作为限定本发明的保护范围的理解。
本发明的技术方案首先需要对隔离人员进行图像采集和虚拟电子围栏活动空间范围设置,之后进行定时人脸认证时间设置,这样做可以对隔离人员定时进行人脸认证,以便防止隔离人员在隔离中途时间擅自外出。同时,***也对隔离人员的位置进行实时感知,并结合人脸认证结果进行分析,判断隔离人员状态监测是否正常,如果状态监测正常且隔离人员的隔离时间结束就停止对隔离人员进行状态监测,否则进行继续监测。在状态监测过程中,一旦***发现人脸认证结果、位置感知结果异常超出了电子围栏设定的范围,就会触发***警报,并将报警信息反馈给后台,以便相关工作人员可以针对突发情况采取及时有效的措施。
结合图1,本发明的技术方案可以通过一具体实施的方法实现,总体运行流程包含如下步骤:
步骤101,用户打开隔离人员状态检测APP,填写注册信息,如账号、密码、昵称等信息,账号可以是例如身份证号码等,以保证账号的唯一性,隔离人员状态检测APP会将这些信息提交到服务器端,验证用户是否已经注册,如未注册,隔离人员状态检测APP将注册信息记录到数据库,同时返回注册信息用于登录。
步骤102,采集人脸图像。采集方法如下:工作人员在隔离人员被隔离前拍一张隔离人员的人脸照片,该人脸照片用刚注册的人员状态监测APP拍摄,要求可以清晰分辨出人脸特征,将照片存入与隔离人员注册账号对应的服务端数据库;
步骤103,电子围栏设置,目的是能够及时掌握隔离人员的位置动态信息,确定其有效的位置范围。
其中,该步骤103电子围栏设置的具体方法为:
根据被隔离人员具体所在的隔离场所,对集中隔离人员的有效活动范围进行电子围栏设置。虚拟电子围栏,是人眼看不见但却实际存在的一个虚拟电子区域,在对隔离人员位置状态进行实时感知监测的同时,一旦发现集中隔离人员超出电子围栏范围,或者感知到隔离人员发生了较大位置变化,则及时向后台报警反馈。
与传统的破土预埋蓝牙线圈式电子围栏不同,本发明的虚拟电子围栏采用相对距离描述的围栏区域。具体步骤:在隔离人员的待隔离点启动APP的原点设置功能,将该点设置为起始原点P0。根据隔离环境现场状态设置一个活动半径,比如R=20米,以后将实时的定位点P1与P0进行距离计算,一旦该距离大于预设的活动半径,则触发报警,上报异常信息。
下面的步骤1041与步骤1042作为步骤1061人脸验证异常和步骤105实时位置感知的共同前置判断条件:
步骤1041,定时器设置,在隔离人员状态检测APP启动后,该APP***内设的定时器同时启动。该内设的定时器可以设置在该APP***内,也可以设置在该终端装置中。
若步骤1041定时器时间结束,则执行步骤1042,进行人脸认证。
在隔离过程中,与隔离人员本人进行人脸对比的方法为:
***提示隔离人员用手机摄像头对准本人人脸,采集实时本人人脸图片,与库存图片进行人脸认证对比,是同一个人则通过。为了避免隔离人员使用照片来冒充,需先进行活体验证,活体验证通过人脸识别认证流程完成。
其中,结合图2,该人脸识别认证方法包含:
步骤201,注册图像,通过步骤102,工作人员在隔离人员被隔离前拍一张隔离人员的人脸照片并将图像信息记录到该隔离人员相关的数据库,完成图像注册。
然后执行步骤202,进行人脸图像特征提取,将隔离人员的一张人脸图像转化成一串固定长度的数值,这个数值串就被称为“人脸特征”,它具有表征这个隔离人员人脸特点的能力。现有的人脸特征提取方法有基于模板匹配、基于主成分分析、基于多层神经网络的特征提取等等,但近年来基于深度学习的方法是使用最广泛的人脸特征提取算法,这些算法可以在保证基本算法效果的前提下,将模型大小和运算速度优化到移动端可用的状态,该些方法均可以适用于本发明的人脸特征提取中。
然后执行步骤203,隔离人员状态检测服务端将隔离人员人脸特征信息记录到该隔离人员相关的数据库。
在步骤1041中的定时器时间结束时,则执行步骤204,进行待测图像采集。本发明要求隔离人员在进行人脸认证比对前,使用手机摄像头对准本人进行待测图像采集。
执行步骤205,进行活体检测,目的是为了避免被隔离者在人脸认证时使用照片冒充,保证辨别人脸认证***采集的人脸图像是真实的人脸而不是伪造的人脸。目前使用比较常见的活体检测方法主要是基于运动信息的活体检测,该方法通过分析活体人脸特有的生理运动或者通过各种形式的人机交互来达到区分真伪人脸的目的。例如对眨眼、张嘴、头部的转动等进行分析。
不同于照片,真实的人脸是一个存在非刚性形变以及外观变化的物体,真实的人脸在旋转运动时,脸部中间的区域在二维图像上产生的运动相对于脸部周围区域更加显著。而对于使用照片伪造的人脸而言,脸部不同区域的运动不存在和三维人脸一样的运动模式。基于此,利用光流的方法检测人脸动态变化或者针对嘴部等特定部位的运动进行活体检测十分有效。
若步骤205的判断结果若为是,则执行步骤206,进行人脸图像特征提取,将隔离人员的一张人脸图像转化成一串固定长度的“人脸特征”数值,它具有表征这个隔离人员人脸特点的能力。
执行步骤207,人脸匹配对比。其中,本发明包含的人脸匹配对比步骤包含:
1)人脸检测
隔离人员状态检测APP首先会对采集的图像进行人脸检测,对其进行搜索以确定其中是否含有人脸,如果有则返回脸的位置、大小和姿态。
早期的人脸检测方法是利用几何特征与模板匹配,然后进行人脸检测,但这类方法在环境变化强烈的时候检测效果不理想,例如在弱光条件下检测到的人脸不全。而从通用的目标检测算法中继承过来的人脸检测算法,例如faster-RCNN模型检测效果不错,也可以适应环境变化和人脸不全等问题,但是时间消耗很高。鉴于此,DeepFace、FaceNet模型等算法,则可以同时兼具时间和性能两个优势,可以作为本方案中的优选的实施方式。
2)人脸比对
将提取的人脸特征与步骤202预存的人脸特征进行对比,通过人脸比对获得两个人脸特征的相似度,将该相似度与预先设定的阈值进行比较,以便确认这两个人脸是否属于同一个人。当相似度大于阈值,为同一人,小于阈值则不认为是同一个人。相对人脸特征提取过程,单次的人脸比对耗时极短,时间几乎可以忽略不计。
结合图3,本发明所涉及的人脸对比方法,优选的,可以通过以下方式来实现:
步骤301,图像采集,通过步骤102采集人脸图像。
步骤302,人脸检测,通过步骤207中人脸匹配对比的第1)步执行。
步骤303,人脸对齐,对齐采集的人脸图像与手机摄像头拍摄的人脸图像中的局部特征点。
步骤304,人脸预处理,根据双眼的位置确定刚性基准点的位置。根据双眼的位置和人脸模型中的鼻子、嘴巴等刚性基准形状模型对齐刚性基准点,获得这些基准点的初始位置后,根据双眼的位置信息对人脸进行预处理,将采集的人脸图像与手机摄像头拍摄的人脸图像转换成相同标准尺寸的图像。
步骤305,人脸特征提取,通过执行步骤206,进行人脸图像特征提取,将通过步骤102采集的人脸图像与手机摄像头拍摄的人脸图像分别转化成一串固定长度表征隔离人员人脸特点的“人脸特征”数值。
步骤306,进行特征相似度比对,得出的相似度值超过设定的阈值时,即匹配成功,判断为同一个人。
下面,继续步骤与207的人脸匹配对比。若步骤207的判断结果若为是,则执行步骤208,返回给隔离人员状态检测APP及服务端通过认证的消息,同时返回执行步骤105。
若步骤207的判断结果若为否,则执行步骤209,返回给隔离人员状态检测APP及服务端未通过认证的消息,同时返回执行步骤1061,隔离人员状态检测APP后台记录人脸认证异常信息。
若步骤205的判断结果若为否,则执行步骤209,返回给隔离人员状态检测APP及服务端未通过认证的消息,同时返回执行步骤1061,隔离人员状态检测APP后台记录人脸认证异常信息。
此后继续执行步骤105,对隔离人员的位置进行实时感知,防止隔离人员擅自离开隔离场所。隔离人员状态检测APP进行室内外位置实时感知,掌握隔离人员的实时动态位置。
其中,在一个具体的实施方式中,本发明中实时位置感知功能可以通过WiFi定位和/或蓝牙定位技术等来实现,但是不限于以上两种无线定位方法。下面以WiFi定位、蓝牙定位为例,说明本发明所提供的定位技术,优选的,该定位方法具体可以包含:
1)WiFi定位技术和蓝牙定位技术的融合
利用智能手机等用户终端自身集成的WiFi、蓝牙无线模块,对用户手机发出的无线信号进行采集分析,根据所探测到的WiFi和蓝牙传感器模块MAC地址的唯一性,利用对WiFi定位技术和蓝牙定位技术融合的算法将隔离人员的实时位置偏移量估算出来。
目前比较主流的室内定位技术主要有WiFi定位技术、蓝牙定位技术、红外定位技术、图像定位技术。
WiFi无线热点具有广泛的覆盖,成本低,易于部署,精度较高,只要在集中隔离点利用便携式接收端采集WiFi接入点发射的信号强度,然后再采用相关算法对其进行分析就可获得用户最终的位置偏移估计。另外,由于室内环境的复杂多变,单一的定位技术本身往往具有局限性和特定的应用场景,在定位过程中信号接收端采集到的信号强度值难免受到外界因素的干扰,从而呈现着在一定范围内上下波动的趋势。目前,环境中的蓝牙设备和蓝牙信号也越来越多,为了尽可能的减小外界干扰对最终定位结果的影响,增加***的稳定性和定位精度,本发明将WiFi定位技术和蓝牙定位技术两者融合起来,尽可能的突破这种技术上的缺陷。
本发明对环境中的WiFi和蓝牙信号进行灵活应用,二者有其一即可,如果二者都存在,则对二者的结果取平均值,当然,也可以通过例如加权平均等方法对多个无线信号定位结果进行融合。
2)电子围栏判断
在对隔离人员位置状态进行实时感知监测的同时,一旦发现集中隔离人员超出电子围栏范围,或者感知到隔离人员发生了较大位置变化,则及时向后台报警反馈。其中,优选的,本发明电子围栏的判断方法内容包含:
(1)隔离原点的确定。当被隔离人员到达隔离点后,启动隔离软件APP的原点确定功能。***启动WiFi和/或蓝牙扫描功能,将当前位置点P0的无线场特征值进行FE0记录,即FE0={(mac1,rssi1);(mac2,rssi2),......},其中mac是指环境中存在的WiFi AP或者蓝牙AP的硬件MAC地址,rssi是指其相应的信号强度值。为了避免扫描信号时的测量误差,***采集多次,如N次,将N次采集到的信号强度平均值作为原点P0的强度值。
(2)位置偏移量数据的计算。在***启动后,***内设的定时器同时启动,没经过时间间隔T(如T=1分钟),***假设该设备所在位置为P1,同时采集环境中的无线场特征值FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}。然后计算P0与P1之间的距离D1。
D1的计算方法,采用相对定位算法,基于两次测量的无线信号特征FE0与FE1。在一个具体的实施方式中,该方法优选的可以采用以下方式:
为与上述的计算相区分且便于说明,本实施例中,两次测量信号之间的距离使用Dist表示,即此实施例中的Dist即与上述的距离D1为同一含义。同时,在该实施例中,以一种无线信号为例进行说明,当然,也可以同时计算多个类型的无线信号,这些多个类型的无线信号都可以采用本实施例中的距离计算方法获得一距离值,然后再通过融合方式进行融合计算,获得最终的位置偏移量数据,融合的方式可以采用本领域中常规的算法,例如通过加权平均或者机器学习等方式实现,此处不再赘述。
当所述FE0和FE1中存在相同的MAC地址,则按照公式Dist=Dsim-min+pdif-new*(Dsim-max-Dsim-min)计算所述FE0与所述FE1的距离Dist,该距离即两点P0、P1之间的位置偏移量;
所述Dsim-min是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最小值;所述Dsim-max是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最大值;所述pdif-new是指所述FE0及FE1中,具有不同MAC地址所占的比例换算得到的权重因子;
当FE0和FE1中不存在相同的MAC地址时,则比较所述FE0与其他与其匹配的终端的无线信号基站(例如可以是移动基站或者布设的蓝牙基站等)信息的基站LAC以及基站CID是否一致;当所述无线信号基站信息一致时,所述FE0与FE1的距离Dist小于或者等于基站覆盖范围的直径;当所述无线信号基站信息不一致时,则大于基站覆盖范围的直径。
需要说明的是,所述pdif-new按照公式计算得到;
其中,所述pdif是指所述FE0和FE1中不同MAC地址在两条记录中所占的比例;所述pdif-min是指将0-100%的范围分为若干个区间,所述pdif所在的区间范围内的最小值;所述pdif-max是指所述pdif所在的区间范围内的最大值。
在一个具体的实施方式中,例如可以将0-100%的范围分为4个区间:(0,20%)、(20%,40%)、(40%,80%)、(80%,1),当pdif落入其中某一个区间时,所述pdif-min与所述pdif-max是代表的这个区间的最小值与最大值。
所述pdif按照公式计算得到;
其中,所述MacNum是指所述FE0及FE1中相同MAC地址的个数;M与N分别为所述FE0及FE1中MAC地址的个数。
在一个具体的实施方式中,所述Dsim-min以及Dsim-max通过计算Dsim得到;所述Dsim是指所述FE0及FE1中,相同MAC地址所占的比例psim对应的距离范围,所述Dsim-min以及Dsim-max代表的这个区间的最小值与最大值;
psim计算方式为:按照公式计算所述FE0和FE1中相同MAC地址所占的比例psim,其中min(N,M)是指取所述N与M中的较小值。以一个具体的实施方式为例,可以以如下方式进行计算:当psim≥80%时,Dsim取10-30m;当40%≤psim<80%时,Dsim取30-50m;当20%≤psim<40%时,Dsim取50-70m;当0<psim<20%时,Dsim取70-100m。需要指出的是,此处仅为说明具体的计算方式而举例,不应当将这一具体举例作为本发明的保护范围的限定来理解,在此基础上本领域技术人员所做的调整均应视为落入本发明的保护范围之内。
需要指出的是,本发明中的距离计算方法的基础上,还同时对蓝牙的特征也进行了相同的距离计算,采用融合方法对蓝牙和WiFi的计算结果进行了融合,最终得出更为可靠的位移距离。
若步骤105的判断结果若为正常,即判断隔离人员没有超出电子围栏范围,或者未感知到隔离人员发生了较大位置变化,则执行步骤108,将状态监测记录到隔离人员状态检测APP后端数据库。
然后执行步骤109,判断隔离人员隔离期是否结束。
若步骤109的判断结果若为是,隔离人员隔离期结束,则执行步骤110,状态监测结束,将状态监测记录到隔离人员状态检测APP后端数据库。
若步骤109的判断结果若为否,则执行步骤1041,再按照图1依次进行步骤1041后的各个步骤,直至步骤109的判断结果若为是则结束。
若步骤105的判断结果为异常,即在电子围栏的判断方法内容(2)位置偏移量数据的计算中,获得位移距离D1后,进行报警判断。若D1大于电子围栏预设的阈值D0(如20米),则判断隔离人员超出电子围栏范围,则执行步骤1062,立即向后台报警位置感知异常信息。
然后执行步骤107,后台报警上报,立即通过短信等方式通知工作人员,并在状态监测记录到隔离人员状态检测APP后端数据库中记录触发报警的时间。在工作人员处理完警情后,再按照图1依次进行步骤1041后的各个步骤,直至步骤109的判断结果为是时结束。
在一个具体的实施例中,本发明的方案在某居民楼进行了实施,在进入某房间后:
1)开始APP安装;
2)人员注册登记;
3)人脸图片采集;
4)电子围栏原点确定;活动范围半径R取20米,超出则报警到后台;
5)开始对隔离人员的位置监测。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于人脸认证与位置感知的人员状态监测方法,其特征在于,所述方法包括:
S1、完成终端中的状态监测APP中的注册、登录及认证;
S2、在所述状态监测APP中完成监测人员的人脸图像录入及电子围栏的设置;
S3、在所述状态监测APP中进入隔离状态时,开始对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP随进入隔离状态起的同时,由定时器从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,归零地重新统计隔离时间;其中,所述状态监测APP还同步地显示有所述隔离时间的最大值;
所述S2中,通过电子围栏确定位置感知是否异常,所述电子围栏设置方式为:在待隔离点启动原点设置,将待隔离点设置为起始原点;设置活动半径;通过实时定位的定位点与起始原点的距离确定位置偏移量,基于位置偏移量和活动半径的比较,判定监测人员是否超出电子围栏;
所述起始原点的设置方式为:在待隔离点启动原点设置后,启动终端的一个或多个无线信号接收模块的扫描功能,记录当前位置点P0的无线场特征值FE0:
FE0={(mac1,rssi1);(mac2,rssi2),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
在P0处采集多次无线场特征值,取多次的无线场特征值的信号强度平均值作为P0点的信号强度值;
所述位置偏移量的计算方式为:每经过预设时间间隔T,终端采集当前所在位置P1环境中的无线场特征值FE1:
FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
基于FE0与FE1计算P0与P1之间的位置偏移量;
当所述FE0和FE1的中存在相同的MAC地址时,则按照公式Dist=Dsim-min+pdif-new*(Dsim-max-Dsim-min)计算所述FE0与所述FE1的位置偏移量Dist;
所述Dsim-min是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最小值;所述Dsim-max是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最大值;所述pdif-new是指所述FE0及FE1中,具有不同MAC地址所占的比例换算得到的权重因子;
当FE0和FE1中不存在相同的MAC地址时,则比较所述FE0与其他与其匹配的无线信号基站信息的基站LAC以及基站CID是否一致;当所述无线信号基站信息一致时,所述FE0与FE1的位置偏移量Dist小于或者等于基站覆盖范围的直径;当所述无线信号基站信息不一致时,则大于基站覆盖范围的直径。
2.根据权利要求1所述的方法,其特征在于,当定时器计时结束,则进行人脸认证,所述人脸认证包括:采集监测人员人脸图像,并进行活体检测;当活体检测通过后,将S2中人脸图像录入时采集的人脸图像与采集的监测人员人脸图像进行特征匹配;若匹配成功,则通过认证,否则返回人脸认证异常信息,并记录认证异常信息。
3.根据权利要求1所述的方法,其特征在于,所述S3中的位置感知方式为:当终端包含多类型的无线信号接收模块时,分别基于多类型的无线信号计算当前位置与起始原点之间的距离,将各计算结果融合,实现终端的位置感知。
4.根据权利要求2所述的方法,其特征在于,若活体检测未通过或人脸图像特征匹配失败,则计时器归零地重新统计隔离时间。
5.一种基于人脸认证与位置感知的人员状态监测***,其特征在于,所述***包括:
终端,包含一个或多个无线信号接收单元、状态监测APP单元、定时器单元;
所述状态监测APP单元用于完成状态监测APP中的注册、登录及认证;以及完成监测人员的人脸图像录入及电子围栏的设置;
所述状态监测APP单元进入隔离状态时,对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP单元随进入隔离状态起的同时,由所述定时器单元从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,所述定时器单元归零地重新统计隔离时间;其中,所述终端还同步地显示有所述隔离时间的最大值;
服务器模块,所述服务器模块与所述终端通过无线连接,所述服务器模块包含数据库单元,所述数据库单元用于存储监测人员基础信息及监测人员状态信息;
所述终端通过电子围栏确定位置感知是否异常,所述电子围栏设置方式为:在待隔离点启动原点设置,将待隔离点设置为起始原点;设置活动半径;通过实时定位的定位点与起始原点的距离确定位置偏移量,基于位置偏移量和活动半径的比较,判定监测人员是否超出电子围栏;
所述起始原点的设置方式为:在待隔离点启动原点设置后,启动终端的一个或多个无线信号接收单元的扫描功能,记录当前位置点P0的无线场特征值FE0:
FE0={(mac1,rssi1);(mac2,rssi2),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
在P0处采集多次无线场特征值,取多次的无线场特征值的信号强度平均值作为P0点的信号强度值;
所述位置偏移量的计算方式为:每经过预设时间间隔T,终端通过一个或多个无线信号接收单元采集当前所在位置P1环境中的无线场特征值FE1:
FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
基于FE0与FE1计算P0与P1之间的位置偏移量;
当所述FE0和FE1的中存在相同的MAC地址时,则按照公式Dist=Dsim-min+pdif-new*(Dsim-max-Dsim-min)计算所述FE0与所述FE1的位置偏移量Dist;
所述Dsim-min是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最小值;所述Dsim-max是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最大值;所述pdif-new是指所述FE0及FE1中,具有不同MAC地址所占的比例换算得到的权重因子;
当FE0和FE1中不存在相同的MAC地址时,则比较所述FE0与其他与其匹配的无线信号基站信息的基站LAC以及基站CID是否一致;当所述无线信号基站信息一致时,所述FE0与FE1的位置偏移量Dist小于或者等于基站覆盖范围的直径;当所述无线信号基站信息不一致时,则大于基站覆盖范围的直径。
6.根据权利要求5所述的***,其特征在于,当所述终端包含多个无线信号接收单元以接收多个类型的无线信号时,分别基于多个类型的无线信号计算当前位置与起始原点之间的距离,将各计算结果融合,实现终端的位置感知。
7.一种基于人脸认证与位置感知的人员状态监测终端,其特征在于,所述终端包括:
一个或多个无线信号接收单元、状态监测APP单元、定时器单元;
所述状态监测APP单元用于完成状态监测APP中的注册、登录及认证;以及完成监测人员的人脸图像录入及电子围栏的设置;
所述状态监测APP单元进入隔离状态时,对所述终端的位置进行实时的感知并不定时地向监测人员发出人脸认证请求;并且,所述状态监测APP单元随进入隔离状态起的同时,由所述定时器单元从零开始地统计隔离时间,当监测到人脸认证或位置感知有至少一项出现异常时,所述定时器单元归零地重新统计隔离时间;其中,所述终端还同步地显示有所述隔离时间的最大值;
所述终端通过电子围栏确定位置感知是否异常,所述电子围栏设置方式为:在待隔离点启动原点设置,将待隔离点设置为起始原点;设置活动半径;通过实时定位的定位点与起始原点的距离确定位置偏移量,基于位置偏移量和活动半径的比较,判定监测人员是否超出电子围栏;
所述起始原点的设置方式为:在待隔离点启动原点设置后,启动终端的一个或多个无线信号接收单元的扫描功能,记录当前位置点P0的无线场特征值FE0:
FE0={(mac1,rssi1);(mac2,rssi2),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
在P0处采集多次无线场特征值,取多次的无线场特征值的信号强度平均值作为P0点的信号强度值;
所述位置偏移量的计算方式为:每经过预设时间间隔T,终端通过一个或多个无线信号接收单元采集当前所在位置P1环境中的无线场特征值FE1:
FE1={(mac1’,rssi1’);(mac2’,rssi2’),......}
其中mac是指环境中存在的无线信号发射装置的硬件MAC地址,rssi是指其相应的信号强度值;
基于FE0与FE1计算P0与P1之间的位置偏移量;
当所述FE0和FE1的中存在相同的MAC地址时,则按照公式Dist=Dsim-min+pdif-new*(Dsim-max-Dsim-min)计算所述FE0与所述FE1的位置偏移量Dist;
所述Dsim-min是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最小值;所述Dsim-max是指所述FE0及FE1中,具有相同MAC地址所占的比例对应的距离范围中的距离最大值;所述pdif-new是指所述FE0及FE1中,具有不同MAC地址所占的比例换算得到的权重因子;
当FE0和FE1中不存在相同的MAC地址时,则比较所述FE0与其他与其匹配的无线信号基站信息的基站LAC以及基站CID是否一致;当所述无线信号基站信息一致时,所述FE0与FE1的位置偏移量Dist小于或者等于基站覆盖范围的直径;当所述无线信号基站信息不一致时,则大于基站覆盖范围的直径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417216.8A CN113573237B (zh) | 2021-04-19 | 2021-04-19 | 一种基于人脸认证与位置感知的人员状态监测方法、***及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110417216.8A CN113573237B (zh) | 2021-04-19 | 2021-04-19 | 一种基于人脸认证与位置感知的人员状态监测方法、***及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113573237A CN113573237A (zh) | 2021-10-29 |
CN113573237B true CN113573237B (zh) | 2024-05-24 |
Family
ID=78161266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110417216.8A Active CN113573237B (zh) | 2021-04-19 | 2021-04-19 | 一种基于人脸认证与位置感知的人员状态监测方法、***及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113573237B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103957505A (zh) * | 2014-04-22 | 2014-07-30 | 北京航空航天大学 | 一种基于ap的行为轨迹检测分析与服务提供***及方法 |
CN104837118A (zh) * | 2015-04-29 | 2015-08-12 | 辽宁工业大学 | 一种基于WiFi和BLUETOOTH的室内融合定位***及方法 |
CN105225515A (zh) * | 2015-10-26 | 2016-01-06 | 深圳市麦谷科技有限公司 | 一种基于电子围栏的监控方法及*** |
CN106576224A (zh) * | 2014-08-20 | 2017-04-19 | 微软技术许可有限责任公司 | 地理围栏防护通知预订 |
CN111105878A (zh) * | 2020-02-14 | 2020-05-05 | 上海金晋智能科技有限公司 | 用手机和网络高效阻止疫情传播的智能*** |
CN111220276A (zh) * | 2020-02-04 | 2020-06-02 | 湖南大学 | 一种人体发热症状监控方法及*** |
-
2021
- 2021-04-19 CN CN202110417216.8A patent/CN113573237B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103957505A (zh) * | 2014-04-22 | 2014-07-30 | 北京航空航天大学 | 一种基于ap的行为轨迹检测分析与服务提供***及方法 |
CN106576224A (zh) * | 2014-08-20 | 2017-04-19 | 微软技术许可有限责任公司 | 地理围栏防护通知预订 |
CN104837118A (zh) * | 2015-04-29 | 2015-08-12 | 辽宁工业大学 | 一种基于WiFi和BLUETOOTH的室内融合定位***及方法 |
CN105225515A (zh) * | 2015-10-26 | 2016-01-06 | 深圳市麦谷科技有限公司 | 一种基于电子围栏的监控方法及*** |
CN111220276A (zh) * | 2020-02-04 | 2020-06-02 | 湖南大学 | 一种人体发热症状监控方法及*** |
CN111105878A (zh) * | 2020-02-14 | 2020-05-05 | 上海金晋智能科技有限公司 | 用手机和网络高效阻止疫情传播的智能*** |
Also Published As
Publication number | Publication date |
---|---|
CN113573237A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11978256B2 (en) | Face concealment detection | |
CN103839346B (zh) | 一种智能门窗防入侵装置以及***、智能门禁*** | |
WO2016019590A1 (zh) | 一种智能门锁***及智能门锁、智能报警门 | |
US11380150B2 (en) | User detection | |
CN109389719A (zh) | 一种小区单元门门禁***及开门方法 | |
CN110197732B (zh) | 一种基于多传感器的远程健康监控***、方法与设备 | |
CN104742140B (zh) | 状态判定***、状态判定方法及移动机器人 | |
JP2009015412A (ja) | 入場監視システム | |
CN106599802A (zh) | 一种基于云技术的智能楼道监控*** | |
CN114140275A (zh) | 一种具有健康关怀的智慧社区云平台*** | |
CN112991585A (zh) | 一种出入人员管理方法及计算机可读存储介质 | |
CN113313899A (zh) | 一种基于大数据的安防监控分析处理方法 | |
CN114469024A (zh) | 一种基于智能手环的建筑工人安全预警方法和*** | |
CN115171260A (zh) | 一种基于人脸识别的智能门禁*** | |
CN114898443A (zh) | 一种人脸数据获取方法及装置 | |
CN113573237B (zh) | 一种基于人脸认证与位置感知的人员状态监测方法、***及终端 | |
CN110246292A (zh) | 家庭视频监控方法、装置及存储介质 | |
US11200793B2 (en) | Notifications for camera tampering | |
CN117612107A (zh) | 一种场所内异常人员检测方法 | |
CN101833697A (zh) | 一种基于虹膜认证的监控*** | |
US20210225465A1 (en) | Tracking individual user health using intrusion detection sensors | |
CN112070943B (zh) | 基于有源rfid技术和人脸识别技术的门禁管理*** | |
CN107633634A (zh) | 一种红外识别智能家居报警*** | |
CN111369754A (zh) | 一种智能防盗报警方法及报警*** | |
CN205302322U (zh) | 幼儿园接送管理*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |