CN116823591A - 一种基于卷积神经元的人形检测去隐私化方法及装置 - Google Patents
一种基于卷积神经元的人形检测去隐私化方法及装置 Download PDFInfo
- Publication number
- CN116823591A CN116823591A CN202310492302.4A CN202310492302A CN116823591A CN 116823591 A CN116823591 A CN 116823591A CN 202310492302 A CN202310492302 A CN 202310492302A CN 116823591 A CN116823591 A CN 116823591A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- preset
- privacy
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 210000002569 neuron Anatomy 0.000 title claims abstract description 44
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 21
- 230000014509 gene expression Effects 0.000 claims description 21
- 230000008921 facial expression Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010017577 Gait disturbance Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Social Psychology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于卷积神经元的人形检测去隐私化方法及装置，涉及图像去隐私化技术领域。所述方法包括：获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；根据各个骨骼点信息分别为每个图像生成虚拟人像；采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。本申请的基于卷积神经元的人形检测去隐私化方法在识别到人形之后，通过人形的骨骼点信息为人形建立虚拟人像，该虚拟人像可以复刻人形在图像中的姿势，采用这种方式，当获取该图像的人观看该图像时，不仅能够获取到人形的姿势情况，还不会泄露人形的具体隐私情况。
Description
技术领域
本申请涉及图像去隐私化技术领域，具体涉及一种基于卷积神经元的人形检测去隐私化方法及基于卷积神经元的人形检测去隐私化装置。
背景技术
在现代社会，大多数年轻人在白天需要工作，导致家里可能只留有年龄超过65岁以上的老人，据数据统计来看，跌倒是我国65岁以上老年人受伤害死亡的首位原因，老人之所以容易摔倒，一般有两种原因，第一种是由于自身疾病导致，例如，由于心脏病所引发的突然昏迷，或者脑梗等原因导致的突然昏迷，另一种是由于行走时没有注意导致的被家里的物件绊倒导致的物理损伤。
然而，现有的摔倒检测方法通常不考虑摔倒的人的隐私情况，举例来说，如果摔倒的人位于自己家中，尤其是浴室或者卧室等位置，其可能没有穿衣服或者只穿了少量的衣服，此时如果进行摔倒报警，并且在报警时将视频信息发送给接收到报警的人，则会使得用户的隐私遭到泄露。
发明内容
本发明的目的在于提供一种基于卷积神经元的人形检测去隐私化方法来至少解决上述的一个技术问题。
本发明的一个方面，提供一种基于卷积神经元的人形检测去隐私化方法，所述基于卷积神经元的人形检测去隐私化方法包括：
获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
根据各个骨骼点信息分别为每个图像生成虚拟人像；
采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
可选地，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
根据各个连续帧的各个骨骼点信息识别所述人形的动作信息，所述动作信息包括摔倒动作。
可选地，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取人形的脸部图像；
识别所述脸部图像的表情信息；
获取预设虚拟表情库，所述预设虚拟表情库包括至少一个预设虚拟面部表情；
获取与所述表情信息相同的预设虚拟面部表情；
将所述预设虚拟面部表情渲染至所述虚拟人像的头部，从而使虚拟人像所传达的表情信息与所述人形的表情信息相同。
可选地，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
生成视频连接发送请求；
获取预设联系人数据库，所述预设联系人数据库包括至少一个预设联系人；
将视频连接发送请求发送给预设联系终端中的一个或多个；
当接收到所述视频连接发送请求的所述预设联系终端中的一个或多个建立连接后，将各帧的去隐私化图像发送给建立连接的一个或多个预设联系终端。
可选地，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取请求人发送的原画请求信息；
获取请求人的脸部图像信息；
获取预设关系知识图谱，所述预设关系知识图谱包括预设人形脸部图像、与预设人形脸部图像具有映射关系的预设相关人员脸部图像以及每个预设相关人员脸部图像与与其具有映射关系的预设相关人员脸部图像的图像公开程度信息；
判断是否有一个预设人形脸部图像与所获取的人形的脸部图像相似度超过阈值，若是，则
获取与相似度超过阈值的预设人形脸部图像具有映射关系的预设相关人员脸部图像，获取的各个预设相关人员脸部图像称为待对比图像；
将获取的请求人的脸部图像信息分别与各个待对比图像进行相似度计算，判断是否有一个相似度超过阈值，若是，
获取该待对比图像所对应的图像公开程度信息；
根据所述图像公开程度信息公开所述第一摄像装置所传递的待识别图像中的人形的全部信息或部分信息。
可选地，所述图像公开程度信息包括脸部信息、身体信息以及全身信息。
可选地，当所述图像公开程度信息为身体信息或全身信息时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取经过训练的裸露图像分类器；
剪切所述待识别图像中的人形部分的图像；
将所述待识别图像中的人形部分的图像输入所述裸露图像分类器，从而获取分类标签，所述分类标签包括裸露分类标签；
当所述分类标签为所述裸露分类标签时，获取待识别图像中的人形部分的图像的裸露位置；
对所述裸露位置生成马赛克；
将具有马赛克的人形的图像部分替换所述待识别图像中的人形部分，从而形成遮挡待公开图像；
公开所述遮挡待公开图像。
可选地，所述根据各个连续帧的各个骨骼点信息识别所述虚拟人像的动作信息，所述动作信息包括摔倒动作包括：
将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息。
可选地，所述将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息包括：
获取骨骼基础信息以及运动向量信息；
提取所述骨骼基础信息以及运动向量信息的特征信息；
将所述特征信息输入至所述行为分类器中，从而获取动作信息。
本申请还提供了一种基于卷积神经元的人形检测去隐私化装置，所述基于卷积神经元的人形检测去隐私化装置包括：
待识别图像获取模块，所述待识别图像获取模块用于获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
骨骼点信息获取模块，所述骨骼点信息获取模块用于通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
虚拟人像生成模块，所述虚拟人像生成模块用于根据各个骨骼点信息分别为每个图像生成虚拟人像；
去隐私化图像生成模块，所述去隐私化图像生成模块用于采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
有益效果
本申请的基于卷积神经元的人形检测去隐私化方法在识别到人形之后，通过人形的骨骼点信息为人形建立虚拟人像，该虚拟人像可以复刻人形在图像中的姿势，采用这种方式，当获取该图像的人观看该图像时，不仅能够获取到人形的姿势情况，还不会泄露人形的具体隐私情况。
附图说明
图1是本申请一实施例的基于神经网络的人形检测识别的摔倒检测方法的流程示意图。
图2是用于实现图1所示的基于卷积神经元的人形检测去隐私化方法的电子设备示意图。
图3是本申请一实施例中的骨骼点信息所呈现的人形的位姿情况示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1是本申请一实施例的基于神经网络的人形检测识别的摔倒检测方法的流程示意图。
如图1所示的基于卷积神经元的人形检测去隐私化方法包括：
步骤1：获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
步骤2：通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
步骤3：根据各个骨骼点信息分别为每个图像生成虚拟人像；
步骤4：采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
本申请的基于卷积神经元的人形检测去隐私化方法在识别到人形之后，通过人形的骨骼点信息为人形建立虚拟人像，该虚拟人像可以复刻人形在图像中的姿势，采用这种方式，当获取该图像的人观看该图像时，不仅能够获取到人形的姿势情况，还不会泄露人形的具体隐私情况。
在本实施例中，房间可以是卧室、厕所、客厅等位置。
在本实施例中，根据各个骨骼点信息分别为每个图像生成虚拟人像可以采用如下方法：
将获取到的骨骼坐标在数据映射到用户自定义的虚拟人像骨骼模型之上；
对虚拟人像骨骼模型进行渲染，并输出渲染后的虚拟人像骨骼模型。
在本实施例中，骨骼点信息可以根据虚拟人像的精度来自行选择，在一个实施例中，骨骼点信息包括到人体脖子、鼻子、左眼、右眼、左耳、右耳、右肩、左肩、右跨、左跨、右手关节、左手关节、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这18个关节点。
在其他实施例中，还可以是人骨骼中心点、脊柱中心点、双肩中心点、头中心点、左肩中心点、左肘中心点、左腕中心点、左手中心点、右肩中心点、右肘中心点、右腕中心点、右手中心点、左臀中心点、左膝中心点、左脚踝中心点、左脚中心点、右臀中心点、右膝中心点、右脚踝中心点、右脚中心点等20个点。
在本实施例中，第一摄像装置的数量可以是多个，例如，可以是分部在房间内的各个角落上的摄像装置，从而能够拍摄房间内的不同的角度。
在本实施例中，可以利用传统技术或者新增技术，从目标视频中获取每一帧图像中每个对象的骨骼点信息，该骨骼点信息用于构成对应的对象的位置与姿态。其中，本实施例对骨骼点信息的具体内容不做限定。若任意两个骨骼点之间存在连接线，则表示这两个骨骼点具备连接关系。若任意两个骨骼点之间不存在连接线，则表示这两个骨骼点不具备连接关系。
在本实施例中，可以通过openpose算法，通过VGG-19网络模型提取图像的全部特征，将全部特征分别进入到骨骼点位置可信度网络和关节点间连接关系的部分亲和域分析网络中。
在骨骼点位置可信度网络中，通过计算局部可信度图确定每个骨骼点的多个关键点位置，再通过非极大值抑制方法，取每个骨骼点的多个关键点位置的平均值以获得每个骨骼点的位置信息。
参见图3，当获取到各个骨骼点的位置信息之后，即可复刻人形的位姿情况。
在本实施例中，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
根据各个连续帧的各个骨骼点信息识别所述人形的动作信息，所述动作信息包括摔倒动作。
具体而言，本申请通过经过训练的GC-LSTM模型来进行动作识别。
在本实施例中，动作信息还可以包括走路信息。
在本实施例中，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取人形的脸部图像；
识别所述脸部图像的表情信息；
获取预设虚拟表情库，所述预设虚拟表情库包括至少一个预设虚拟面部表情；
获取与所述表情信息相同的预设虚拟面部表情；
将所述预设虚拟面部表情渲染至所述虚拟人像的头部，从而使虚拟人像所传达的表情信息与所述人形的表情信息相同。
在本实施例中，可以通过情绪估计卷积神经网络对脸部图像进行情绪识别，从而获取到脸部表情信息，脸部表情信息包括痛苦表情以及正常表情。
在本实施例中，会预设虚拟人物痛苦脸部表情以及虚拟人物正常脸部表情，当检测出人形的脸部表情为痛苦表情时，将预设虚拟人物痛苦脸部表情渲染到虚拟人像上即可。
采用这种方式，可以让获取该图像的人观看该图像时在不获取摔倒的人的隐私的情况下，了解摔倒人的脸部表情情况，从而可以根据脸部表情情况判断情况是否紧急。
在本实施例中，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
生成视频连接发送请求；
获取预设联系人数据库，所述预设联系人数据库包括至少一个预设联系人；
将视频连接发送请求发送给预设联系终端中的一个或多个；
当接收到所述视频连接发送请求的所述预设联系终端中的一个或多个建立连接后，将各帧的去隐私化图像发送给建立连接的一个或多个预设联系终端。
在本实施例中，本申请的方法用于房间内的监控，在大多数情况下，不会有人会一直打开第一摄像装置的远程监控功能一直进行监控，此时，当出现摔倒情况时，需要及时进行报警，即需要及时与应当联系的人进行联系，其中一种办法即直接将视频发送给要联系的人，通过这种方式，可以在出现摔倒等情况时，第一时间联系到预设联系人。
在本实施例中，预设联系人包括人形的近亲属、朋友以及社区警察人员等。
在本实施例中，本申请进一步包括：
获取预设人形数据库，所述预设人形数据库包括至少一个预设人脸图像以及每个预设人脸图像所对应的预设联系人数据库；
获取待识别图像中的人形的人脸图像；
判断人脸图像是否与一个预设人脸图像的相似度超过预设阈值，若是，则
获取预设人脸图像所对应的预设联系人数据库。
在本实施例中，每个预设人脸图像都设置有一个预设联系人数据库，每个预设人脸图像中的预设联系人均为该预设联系人数据库中的预设联系人。
举例来说，一个家庭有两个老人，其中一个老人为A，另一个老人为B，则会单独为A设置一个预设联系人数据库，也会单独为B设置一个预设联系人数据库，当通过人脸识别出是A时，则调用A的预设联系人数据库。
在本实施例中，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取请求人发送的原画请求信息；
获取请求人的脸部图像信息；
获取预设关系知识图谱，所述预设关系知识图谱包括预设人形脸部图像、与预设人形脸部图像具有映射关系的预设相关人员脸部图像以及每个预设相关人员脸部图像与与其具有映射关系的预设相关人员脸部图像的图像公开程度信息；
判断是否有一个预设人形脸部图像与所获取的人形的脸部图像相似度超过阈值，若是，则
获取与相似度超过阈值的预设人形脸部图像具有映射关系的预设相关人员脸部图像，获取的各个预设相关人员脸部图像称为待对比图像；
将获取的请求人的脸部图像信息分别与各个待对比图像进行相似度计算，判断是否有一个相似度超过阈值，若是，
获取该待对比图像所对应的图像公开程度信息；
根据所述图像公开程度信息公开所述第一摄像装置所传递的待识别图像中的人形的全部信息或部分信息。
在大多数情况下，观看去隐私化图像的人希望第一时间了解到实际的人形的情况，此时，光看去隐私化图像无法了解到实际的人形的情况。
在这种情况下，首先需要考虑看原图像的人的关系，举例来说，假设摔倒的人穿着较少，此时，是不适宜让观看去隐私化图像的人观看的，但是，如果这个观看的人是其亲人（例如，丈夫、妻子、父母等），那么，事实上是可以让其观看的，而如果是朋友或者稍微远一点的亲戚（例如，兄弟姐妹等），此时，是可以让其观看部分原画（例如，可以观看面部情况），因此，通过本申请的上述方法，可以根据预设关系知识图谱，为不同关系的人提供不同的原画。
在本实施例中，一个预设关系知识图谱包括预设人形脸部图像、与预设人形脸部图像具有映射关系的预设相关人员脸部图像以及每个预设相关人员脸部图像与与其具有映射关系的预设相关人员脸部图像的图像公开程度信息。
举例来说，在一个预设关系知识图谱中，包括上述的A的人脸图像、与A具有映射关系的预设相关人员脸部图像（例如C的脸部图像、D的脸部图像以及E的脸部图像），其中，C与A之间为夫妻关系、D与A为朋友关系，E与A无关系，例如，E可能是社区某警察。
此时，当识别到发送原画请求信息的请求人为C时，可以直接将连续帧的待识别图像发送给该请求人（具体而言，发送给请求人所持终端，例如，手机、电脑等）。
而如果是D，则将虚拟人像以及待识别图像中的人脸部分发送，此时，可以将人脸部分旋绕至虚拟人像的对应的头的部分，也可以单纯只发送人脸部分的截图。
而如果是E，则可以拒绝请求。
在本实施例中，图像公开程度信息包括脸部信息、身体信息以及全身信息。
当图像公开程度信息为脸部信息时，采用上述的D的方式，当图像公开程度为C时，可以选择发送身体信息或全身信息。
在本实施例中，当所述图像公开程度信息为身体信息或全身信息时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取经过训练的裸露图像分类器；
剪切所述待识别图像中的人形部分的图像；
将所述待识别图像中的人形部分的图像输入所述裸露图像分类器，从而获取分类标签，所述分类标签包括裸露分类标签；
当所述分类标签为所述裸露分类标签时，获取待识别图像中的人形部分的图像的裸露位置；
对所述裸露位置生成马赛克；
将具有马赛克的人形的图像部分替换所述待识别图像中的人形部分，从而形成遮挡待公开图像；
公开所述遮挡待公开图像。
在一些情况下，即使是夫妻或者其他亲属关系，即使应当发送全身信息，也可能会出现接收者身旁会有其他人的情况，而此时，如果摔倒的人确实处于裸露状态（例如，由于刚刚洗完澡导致只穿了浴衣，而摔倒导致浴衣滑落等情况出现），此时，需要通过马赛克的方式进行遮挡。
因此，本申请采用上述方法，可以在确实出现裸露情况下，通过马赛克的方式进行裸露部位的遮挡，从而防止直接暴露隐私。
在本实施例中，裸露图像分类器可以使用CNN(Convolutional Neural Networks，卷积神经网络)、AlexNet(埃里克斯网络)、ZFNet (ZF网络)、VGGNet(Visual GeometryGroupNetworks，视觉几何组网络)、GoogLeNet(谷歌 网络)、ResNet(ResidualNeuralNetwork，残留神经网络)、Unet(分割网络)以及SRCNN (Super-Resolution ConvolutionalNeural Networks，超分辨率卷积神经网络)等上述任意一种，还可以使用上述不同神经网络模型的结合。
在本实施例中，所述根据各个连续帧的各个骨骼点信息识别所述虚拟人像的动作信息，所述动作信息包括摔倒动作包括：
将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息。
在本实施例中，所述将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息包括：
获取骨骼基础信息以及运动向量信息；
提取所述骨骼基础信息以及运动向量信息的特征信息；
将所述特征信息输入至所述行为分类器中，从而获取动作信息。
在本实施例中，所述分类器包括时空特征提取网络、全局平均池化层以及全连接层。
本申请还提供了一种基于卷积神经元的人形检测去隐私化装置，所述基于卷积神经元的人形检测去隐私化装置包括待识别图像获取模块、骨骼点信息获取模块、虚拟人像生成模块以及去隐私化图像生成模块，其中，
待识别图像获取模块用于获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
骨骼点信息获取模块用于通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
虚拟人像生成模块用于根据各个骨骼点信息分别为每个图像生成虚拟人像；
去隐私化图像生成模块用于采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，此处不再赘述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于卷积神经元的人形检测去隐私化方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于卷积神经元的人形检测去隐私化方法。
图2是能够实现根据本申请一个实施例提供的基于卷积神经元的人形检测去隐私化方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的基于卷积神经元的人形检测去隐私化方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的基于卷积神经元的人形检测去隐私化方法。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数据多功能光盘（DVD）或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital,SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种基于卷积神经元的人形检测去隐私化方法，其特征在于，所述基于卷积神经元的人形检测去隐私化方法包括：
获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
根据各个骨骼点信息分别为每个图像生成虚拟人像；
采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
2.如权利要求1所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
根据各个连续帧的各个骨骼点信息识别所述人形的动作信息，所述动作信息包括摔倒动作。
3.如权利要求2所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取人形的脸部图像；
识别所述脸部图像的表情信息；
获取预设虚拟表情库，所述预设虚拟表情库包括至少一个预设虚拟面部表情；
获取与所述表情信息相同的预设虚拟面部表情；
将所述预设虚拟面部表情渲染至所述虚拟人像的头部，从而使虚拟人像所传达的表情信息与所述人形的表情信息相同。
4.如权利要求3所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
生成视频连接发送请求；
获取预设联系人数据库，所述预设联系人数据库包括至少一个预设联系人；
将视频连接发送请求发送给预设联系终端中的一个或多个；
当接收到所述视频连接发送请求的所述预设联系终端中的一个或多个建立连接后，将各帧的去隐私化图像发送给建立连接的一个或多个预设联系终端。
5.如权利要求4所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，当识别所述动作信息为摔倒动作时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取请求人发送的原画请求信息；
获取请求人的脸部图像信息；
获取预设关系知识图谱，所述预设关系知识图谱包括预设人形脸部图像、与预设人形脸部图像具有映射关系的预设相关人员脸部图像以及每个预设相关人员脸部图像与与其具有映射关系的预设相关人员脸部图像的图像公开程度信息；
判断是否有一个预设人形脸部图像与所获取的人形的脸部图像相似度超过阈值，若是，则
获取与相似度超过阈值的预设人形脸部图像具有映射关系的预设相关人员脸部图像，获取的各个预设相关人员脸部图像称为待对比图像；
将获取的请求人的脸部图像信息分别与各个待对比图像进行相似度计算，判断是否有一个相似度超过阈值，若是，
获取该待对比图像所对应的图像公开程度信息；
根据所述图像公开程度信息公开所述第一摄像装置所传递的待识别图像中的人形的全部信息或部分信息。
6.如权利要求5所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，所述图像公开程度信息包括脸部信息、身体信息以及全身信息。
7.如权利要求6所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，当所述图像公开程度信息为身体信息或全身信息时，所述基于卷积神经元的人形检测去隐私化方法进一步包括：
获取经过训练的裸露图像分类器；
剪切所述待识别图像中的人形部分的图像；
将所述待识别图像中的人形部分的图像输入所述裸露图像分类器，从而获取分类标签，所述分类标签包括裸露分类标签；
当所述分类标签为所述裸露分类标签时，获取待识别图像中的人形部分的图像的裸露位置；
对所述裸露位置生成马赛克；
将具有马赛克的人形的图像部分替换所述待识别图像中的人形部分，从而形成遮挡待公开图像；
公开所述遮挡待公开图像。
8.如权利要求7所述的基于卷积神经元的人形检测去隐私化方法，其特征在于，所述根据各个连续帧的各个骨骼点信息识别所述虚拟人像的动作信息，所述动作信息包括摔倒动作包括：
将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息。
9.如权利要求8所述的基于神经网络的人形检测识别的摔倒检测方法，其特征在于，所述将每一帧图像中人形的骨骼点信息输入到经过训练的行为分类器中进行行为识别，确定所述人形的行为信息包括：
获取骨骼基础信息以及运动向量信息；
提取所述骨骼基础信息以及运动向量信息的特征信息；
将所述特征信息输入至所述行为分类器中，从而获取动作信息。
10.一种基于卷积神经元的人形检测去隐私化装置，其特征在于，所述基于卷积神经元的人形检测去隐私化装置包括：
待识别图像获取模块，所述待识别图像获取模块用于获取房间内的第一摄像装置所传递的多个连续帧的待识别图像；
骨骼点信息获取模块，所述骨骼点信息获取模块用于通过卷积神经网络分别获取每个待识别图像中的人形的各个骨骼点信息；
虚拟人像生成模块，所述虚拟人像生成模块用于根据各个骨骼点信息分别为每个图像生成虚拟人像；
去隐私化图像生成模块，所述去隐私化图像生成模块用于采用生成的虚拟人像替换该虚拟人像所对应的图像中的人形，从而生成去隐私化图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492302.4A CN116823591B (zh) | 2023-05-05 | 2023-05-05 | 一种基于卷积神经元的人形检测去隐私化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310492302.4A CN116823591B (zh) | 2023-05-05 | 2023-05-05 | 一种基于卷积神经元的人形检测去隐私化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823591A true CN116823591A (zh) | 2023-09-29 |
| CN116823591B CN116823591B (zh) | 2024-02-02 |
Family
ID=88124858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310492302.4A Active CN116823591B (zh) | 2023-05-05 | 2023-05-05 | 一种基于卷积神经元的人形检测去隐私化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823591B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740476A (zh) * | 2018-12-25 | 2019-05-10 | 北京琳云信息科技有限责任公司 | 即时通讯方法、装置和服务器 |
| CN111383421A (zh) * | 2018-12-30 | 2020-07-07 | 奥瞳***科技有限公司 | 隐私保护跌倒检测方法和*** |
| CN113869160A (zh) * | 2021-09-17 | 2021-12-31 | 特斯联科技集团有限公司 | 一种人脸识别、无感心率识别、跑步姿态、表情识别综合方法和*** |
| CN114022673A (zh) * | 2021-10-08 | 2022-02-08 | 中移（杭州）信息技术有限公司 | 跌倒检测方法、装置及计算机可读存储介质 |
| US11282367B1 (en) * | 2020-08-16 | 2022-03-22 | Vuetech Health Innovations LLC | System and methods for safety, security, and well-being of individuals |
| CN114463776A (zh) * | 2020-10-22 | 2022-05-10 | 北京鸿享技术服务有限公司 | 跌倒识别方法、装置、设备及存储介质 |
| WO2022143128A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为技术有限公司 | 基于虚拟形象的视频通话方法、装置和终端 |
| CN114913548A (zh) * | 2022-05-18 | 2022-08-16 | 宽泛科技(盐城)有限公司 | 基于骨骼点信息的人体敏感信息隐藏方法 |
-
2023
- 2023-05-05 CN CN202310492302.4A patent/CN116823591B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740476A (zh) * | 2018-12-25 | 2019-05-10 | 北京琳云信息科技有限责任公司 | 即时通讯方法、装置和服务器 |
| CN111383421A (zh) * | 2018-12-30 | 2020-07-07 | 奥瞳***科技有限公司 | 隐私保护跌倒检测方法和*** |
| US11282367B1 (en) * | 2020-08-16 | 2022-03-22 | Vuetech Health Innovations LLC | System and methods for safety, security, and well-being of individuals |
| CN114463776A (zh) * | 2020-10-22 | 2022-05-10 | 北京鸿享技术服务有限公司 | 跌倒识别方法、装置、设备及存储介质 |
| WO2022143128A1 (zh) * | 2020-12-29 | 2022-07-07 | 华为技术有限公司 | 基于虚拟形象的视频通话方法、装置和终端 |
| CN113869160A (zh) * | 2021-09-17 | 2021-12-31 | 特斯联科技集团有限公司 | 一种人脸识别、无感心率识别、跑步姿态、表情识别综合方法和*** |
| CN114022673A (zh) * | 2021-10-08 | 2022-02-08 | 中移（杭州）信息技术有限公司 | 跌倒检测方法、装置及计算机可读存储介质 |
| CN114913548A (zh) * | 2022-05-18 | 2022-08-16 | 宽泛科技(盐城)有限公司 | 基于骨骼点信息的人体敏感信息隐藏方法 |
Non-Patent Citations (2)
| Title |
|---|
| OU, ZX等: "Lightweight Deep Learning Model for Radar-Based Fall Detection With Metric Learning", 《IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC》, vol. 10, no. 9, pages 8111 - 8122 * |
| 谢文锐: "基于卷积神经网络的跌倒检测算法研究", 《CNKI中国优秀硕士毕业论文全文库（社会科学Ⅰ辑）》, no. 02, pages 108 - 670 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823591B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020057111A (ja) | 表情判定システム、プログラム及び表情判定方法 | |
| CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN110781770B (zh) | 基于人脸识别的活体检测方法、装置及设备 | |
| CN112418195B (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
| CN111062426A (zh) | 一种建立训练集的方法、装置、电子设备以及介质 | |
| CN112949417A (zh) | 一种摔倒行为识别方法、设备及*** | |
| CN112511859B (zh) | 一种视频处理方法、装置和存储介质 | |
| CN110826610A (zh) | 一种用于智能检测人员着装是否规范的方法与*** | |
| CN114092678A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20240046701A1 (en) | Image-based pose estimation and action detection method and apparatus | |
| CN111488779B (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
| CN116823591B (zh) | 一种基于卷积神经元的人形检测去隐私化方法及装置 | |
| CN117593792A (zh) | 一种基于视频帧的异常姿态检测方法和装置 | |
| JP6922768B2 (ja) | 情報処理装置 | |
| US10956604B2 (en) | Electronic device and operation method thereof | |
| CN114341949A (zh) | 处理具有敏感信息的媒体数据 | |
| CN109389089B (zh) | 基于人工智能算法的多人行为识别方法及装置 | |
| CN113920023A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN113673318A (zh) | 一种动作检测方法、装置、计算机设备和存储介质 | |
| Wang et al. | Visual bubble: Protecting privacy in wearable cameras | |
| WO2023185241A1 (zh) | 数据处理方法、装置、设备以及介质 | |
| KR102551230B1 (ko) | 딥러닝 객체 정보를 이용하여 감시카메라 영상을 실시간 오토 마스킹 및 해제하는 마스킹 처리 시스템 및 방법 | |
| CN113255408B (zh) | 行为识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |