CN111428581B - 人脸遮挡检测方法及*** - Google Patents
人脸遮挡检测方法及*** Download PDFInfo
- Publication number
- CN111428581B CN111428581B CN202010146004.6A CN202010146004A CN111428581B CN 111428581 B CN111428581 B CN 111428581B CN 202010146004 A CN202010146004 A CN 202010146004A CN 111428581 B CN111428581 B CN 111428581B
- Authority
- CN
- China
- Prior art keywords
- shielding
- face
- image
- region
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 12
- 210000000697 sensory organ Anatomy 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 21
- 210000000056 organ Anatomy 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 30
- 230000006870 function Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 208000006440 Open Bite Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000013074 reference sample Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种人脸遮挡检测方法，包括：获取待检测图像；从所述待检测图像获取人脸区域图像；通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果；当所述第一遮挡结果表示所述人脸区域图像被遮挡时，通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果；根据所述第一遮挡结果和所述分类结果生成最终遮挡结果。本发明实施例还提供人脸遮挡检测***。本发明实施例提高了人脸遮挡检测的识别精度，并且识别出遮挡物的分类类型，便于人脸遮挡检测的智能化应用。
Description
技术领域
本发明实施例涉及大数据技术领域，尤其涉及一种人脸遮挡检测方法及***。
背景技术
人脸识别作为模式识别领域的热点研究问题受到了广泛的关注，人脸识别技术在众多领域的身份验证中有着广阔的应用前景。在实际人脸图像处理过程中，人脸图像的遮挡会经常出现，如头发、口罩、围巾、帽子、墨镜等，而遮挡对人脸注册和人脸识别有很大的影响。
现有的人脸遮挡检测方法通常是对人脸图像进行识别，以识别出人脸的各区域是否被遮挡，识别精度较低，不利于人脸遮挡检测方法智能化的应用。
发明内容
有鉴于此，本发明实施例提供了一种人脸遮挡检测方法、***、计算机设备及计算机可读存储介质，用于解决人脸遮挡检测方法识别精度较低、智能化程度低的问题。
本发明实施例是通过下述技术方案来解决上述技术问题：
一种人脸遮挡检测方法，包括：
获取待检测图像；
从所述待检测图像获取人脸区域图像；
通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果；
当所述第一遮挡结果表示所述人脸区域图像被遮挡时，通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果；
根据所述第一遮挡结果和所述分类结果生成最终遮挡结果。
进一步地，所述从所述待检测图像获取人脸区域图像包括：
获取所述待检测图像中多个面部特征点的坐标位置；
根据获取到的多个面部特征点的坐标位置从待检测图像中提取人脸区域图像，所述人脸区域图像包括多个五官区域。
进一步地，所述待检测图像包括背景区域；所述通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果包括：
通过人脸遮挡检测分支模型对所述人脸区域图像执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图；
将多个第一卷积特征图组合放大，根据预设规则调整各个五官区域与背景区域的像素值，以得到预测人脸图像，所述预测人脸图像包括遮挡区域；
计算所述遮挡区域和所述遮挡区域所在的五官区域的遮挡比例；
将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果。
进一步地，所述将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果包括：
当所述遮挡比例大于所述遮挡阈值时，所述第一遮挡结果表示所述五官区域被遮挡；
当所述遮挡比例小于所述遮挡阈值时，所述第一遮挡结果表示所述五官区域未遮挡。
进一步地，所述多个卷积特征图包括多个第二卷积特征图，所述通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果包括：
通过人脸遮挡分类分支模型从多个第二卷积特征图提取遮挡物特征；
将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果。
进一步地，所述将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果包括：
当遮挡物特征与预设的任一遮挡标签匹配一致时，则分类结果表示该遮挡物特征对应为与其匹配一致的遮挡标签；
当遮挡物特征与预设的任一遮挡标签匹配不一致时，对所述遮挡物特征标记，以得到新遮挡物标签，则分类结果表示该遮挡物特征对应为新遮挡物标签。
进一步地，所述方法还包括：根据所述最终遮挡结果生成反馈指令，所述反馈指令用于指示用户的脸部包含的遮挡区域以及位于遮挡区域的遮挡物。
为了实现上述目的，本发明实施例还提供一种人脸遮挡检测***，包括：
采集模块，用于获取待检测图像；
提取模块，用于从所述待检测图像获取人脸区域图像；
识别模块，用于通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果；
分类模块，用于当所述第一遮挡结果表示所述人脸区域图像被遮挡时，通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果；
生成结果模块，用于根据所述第一遮挡结果和所述分类结果生成最终遮挡结果。
为了实现上述目的，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述人脸遮挡检测方法的步骤。
为了实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的人脸遮挡检测方法的步骤。
本发明实施例提供的人脸遮挡检测方法、***、计算机设备及计算机可读存储介质，通过识别人脸区域图像得到人脸遮挡区域的第一遮挡结果，以及通过预设的遮挡标签对人脸区域图像进行分类，以得到人脸上遮挡物的分类类型的分类结果，并结合第一遮挡结果和遮挡物的分类类型得到最终遮挡结果，提高了人脸遮挡检测的识别精度，并且识别出遮挡物的分类类型，便于人脸遮挡检测的智能化应用。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明实施例一之人脸遮挡检测方法的步骤流程图；
图2为本发明实施例一之人脸遮挡检测方法的获取人脸区域图像的流程示意图；
图3为本发明实施例一之人脸遮挡检测方法的生成第一遮挡结果的流程示意图；
图4为本发明实施例一之人脸遮挡检测方法的生成分类结果的流程示意图；
图5为本发明实施例一之人脸遮挡检测方法的人脸遮挡检测分支模型训练的流程示意图；
图6为本发明实施例一之人脸遮挡检测方法的人脸遮挡分类分支模型训练的流程示意图；
图7为本发明实施例二之人脸遮挡检测***的程序模块示意图；
图8为本发明实施例三之计算机设备的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
请参阅图1，示出了本发明实施例之人脸遮挡检测方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备为执行主体进行示例性描述，具体如下：
步骤S100，获取待检测图像。
示例性的，通过摄像采集单元实时获取待检测图像，所述待检测图像包括人脸区域图像和背景区域。
步骤S200，从所述待检测图像获取人脸区域图像。
在示例性的实施例中，请参阅图2，所述步骤S200还可以进一步包括：
步骤S201，获取所述待检测图像中多个面部特征点的坐标位置。
具体的，多个面部特征点为68个面部特征点。
步骤S202，根据获取到的多个面部特征点的坐标位置从待检测图像中提取人脸区域图像，所述人脸区域图像包括多个五官区域。
具体的，多个五官区域包括眉毛区域、眼睛区域、鼻子区域、嘴巴区域、脸颊区域、额头区域、牙齿区域等。
举例而言，本发明实施例通过landmark算法(面部特征点提取算法)进行68个面部特征点的标定，即landmark算法调用预测器获取68个面部特征点的坐标位置，根据每个面部特征点的坐标位置在每个面部特征点处画一个圈，并按照标定的先后顺序标明68个面部特征点标定的序号。根据多个面部特征点的坐标位置确定五官的形状，以在待检测图像中获取多个五官区域。
其中，每个五官区域利用矩形框进行区域划分标记。
步骤S300，通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果。
具体的，本发明实施例可以通过人脸遮挡模型的人脸遮挡检测分支模型识别所述人脸区域图像，以生成第一遮挡结果。
所述人脸遮挡检测分支模型包括多个第一卷积层、第二卷积层、第一全连接层等。
在示例性的实施例中，请参阅图3，所述步骤S300还可以进一步包括：
步骤S301，通过人脸遮挡检测分支模型对所述人脸区域图像执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图和第二卷积特征图。
具体的，将携带有人脸区域图像的待检测图像输入至人脸遮挡检测分支模型中，通过多个第一卷积层、第二卷积层进行卷积，并通过第一全连接层输出多个第一卷积特征图。
举例而言，将携带有人脸区域图像的待检测图像输入至人脸遮挡检测分支模型中，通过多个第一卷积层进行卷积，输出多个第二卷积特征图；再将多个第二卷积特征图输入至第二卷积层以及第一全连接层进行进一步卷积，以输出多个第一卷积特征图。其中，第二卷积特征图包含遮挡物特征，且第二卷积特征图高和宽以及第一卷积特征图高和宽均与所述待检测图像的高和宽一致。
具体的，所述遮挡物特征包括遮挡物的形状、位置、像素等数据。
其中，第一卷积特征图内包含的卷积特征为通过特征融合拼接的方式形成更厚的卷积特征。
步骤S302，将多个第一卷积特征图组合放大，根据预设规则调整各个五官区域与背景区域的像素值，以得到预测人脸图像，所述预测人脸图像包括遮挡区域。
具体的，将多个第一卷积特征图组合后，扩充边缘和根据预设规则调整各个五官区域与背景区域的像素值，得到预测人脸图像。其中，预设规则为将所述预测人脸图像中的未遮挡部分的像素值设置为0，所述预测人脸图像中的遮挡部分和背景部分的像素值设置为1，即所述预测人脸图像中的未遮挡部分表现为白色，所述预测人脸图像中的背景部分以及遮挡部分均表现为黑色。
步骤S303，计算所述遮挡区域和所述遮挡区域所在的五官区域的遮挡比例。
具体的，遮挡区域表示为每个矩形框中的黑色区域，黑色区域为经像素处理后得到的预测人脸图像中各个矩形框中的黑色部分。
具体的，计算每个遮挡区域与该遮挡区域所在的矩形框的五官区域的遮挡比例，即计算每个矩形框中黑色区域与整个矩形框的比值，以得到相应的遮挡区域的遮挡比例。
步骤S304，将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果。
在示例性的实施例中，当所述遮挡比例大于所述遮挡阈值时，所述第一遮挡结果表示所述五官区域被遮挡；当所述遮挡比例小于所述遮挡阈值时，所述第一遮挡结果表示所述五官区域未遮挡。
其中，各个五官区域对应的所述预设遮挡阈值可以设置为相同的预设遮挡阈值，也可以设置为不同的预设遮挡阈值。具体的，各个五官区域对应的预设遮挡阈值的设置，可以根据不同的场景要求动态调整各个五官区域对应的预设遮挡阈值。例如，当场景要求高，要求遮挡的比例小时，可以设置更小的预设遮挡阈值；当场景要求低，可以设置更高的预设遮挡阈值。
进一步的，遮挡阈值可以根据不同场景要求进行人工设置，例如遮挡阈值设置为95％、90％、85％等。
步骤S400，当所述第一遮挡结果表示所述人脸区域图像被遮挡时，通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果。
具体的，本发明实施例可以通过人脸遮挡模型的人脸遮挡分类分支模型中预设的遮挡标签对人脸区域图像分类，以生成分类结果。
其中，预设的遮挡标签包括预设的帽子、刘海、墨镜、眼睛、胡子、口罩、围巾等遮挡标签。
在示例性的实施例中，人脸遮挡分类分支模型包括若干隐藏层，所述隐藏层为若干第三卷积层、第二全连接层以及分类层，每个层与层之间相互连接。
在示例性的实施例中，请参阅图4，所述步骤S400还可以进一步包括：
步骤S401，通过人脸遮挡分类分支模型从多个第二卷积特征图提取遮挡物特征。
具体的，从最后的第一卷积层中获取多个携带有遮挡物特征的第二卷积特征图，并从多个第二卷积特征图中提取遮挡物特征。
步骤S402，将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果。
在示例性的实施例中，当遮挡物特征与预设的任一遮挡标签匹配一致时，则分类结果表示该遮挡物特征对应为与其匹配一致的遮挡标签；当遮挡物特征与预设的任一遮挡标签匹配不一致时，对所述遮挡物特征标记，以得到新遮挡物标签，则分类结果表示该遮挡物特征对应为新遮挡标签。
进一步的，将新遮挡物标签保存在预设数据库中。在后续的模型维护过程中，当检测到新遮挡标签时，识别新遮挡标签对应的新遮挡物，以生成新的遮挡物标签并保存在预设数据库中；并根据生成的新的遮挡物标签对人脸遮挡分类分支模型进行优化。举例而言，从多个第二卷积特征图中提取遮挡物特征，将遮挡物特征和预设的遮挡标签进行匹配，当遮挡物特征与帽子匹配一致时，则生成的分类结果表示该遮挡物特征对应为帽子。
步骤S500，根据所述第一遮挡结果和所述分类结果生成最终遮挡结果。
具体的，最终遮挡结果包括用于判断人脸区域是否被遮挡的第一遮挡结果以及判断遮挡物分类类型的分类结果。
本发明实施例中，通过动态调整各个五官区域的预设遮挡阈值以及同时区分出遮挡物特征的分类类型，即同时区分出各个五官区域被什么东西遮挡，对于一些需要排除胡子等会被误判为遮挡的因素同时又要判断遮挡的人脸遮挡检测场景，能够提高人脸遮挡检测的准确度。
在示例性的实施例中，所述人脸遮挡检测方法还包括：根据所述最终遮挡结果生成反馈指令，所述反馈指令用于指示用户的脸部包含的遮挡区域以及位于遮挡区域的遮挡物。
举例而言，当最终遮挡结果表示为用户眼部被遮挡，且遮挡物为墨镜时，计算机设备根据所述最终遮挡结果生成反馈指令，该反馈指令用于指示用户眼部被墨镜遮挡无法进行人脸识别，以使用户根据反馈指令作出响应，即使用户根据所述反馈指令摘掉墨镜，以便于人脸识别的有效进行。
在步骤S100之前，本发明实施例还包括人脸遮挡模型的人脸遮挡检测分支模型的训练过程，请参阅图5，具体如下：
步骤S600，对多个样本人脸图像预处理，以得到对比样本人脸图像。
具体的，从预设数据库中获取多个样本人脸图像，所述多个样本人脸图像包括多个遮挡人脸样本图像和未遮挡人脸样本图像。对每个样本人脸图像进行遮挡特征、未遮挡特征以及背景的定位识别标注，以标注出遮挡特征、未遮挡特征以及背景特征的位置，并分别设置遮挡特征、未遮挡特征以及背景特征的像素值，以输出对比样本人脸图像。
将确定遮挡特征的部分的像素值设置为1，将确定未遮挡特征以及背景的部分的像素值设置为0，此时，输出对比样本人脸图像。即对比样本人脸图像中的未被遮挡特征的部分呈像为白色，遮挡特征的部分及背景的部分呈像为黑色。在对样本人脸图像预处理时，所述样本人脸图像还包括无法确定是否为遮挡的区域，将该区域的像素值设置为225。无法确定是否为遮挡的区域由预设的模糊区域进行定位采集，在计算后续交并比的过程中，为了保持正确率，可以将定位采集到的无法确定是否为遮挡的区域排除在外。
其中，对比人脸图像呈像为黑白对比人脸图像。
步骤S601，将多个样本人脸图像输入至深度神经网络模型的若干第一卷积层、第二卷积层以及第一全连接层中执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图和多个第二卷积特征图。
步骤S602，将多个第一卷积特征图组合放大，以输出预测样本人脸图像。
其中，所述预测样本人脸图像呈像为黑白预测样本人脸图像。
步骤S603，将所述预测样本人脸图像与所述对比样本人脸图像进行匹配，计算交并比，所述交并比为预测样本人脸图像与所述对比样本人脸图像的交集与并集的比值。
具体的，所述交并比指的是预测样本人脸图像与所述对比样本人脸图像各个相对应的遮挡区域、未遮挡区域背景区域的交集和并集的比值。
步骤S604，当交并比小于预设的对比阈值时，通过第一损失函数对深度神经网络模型迭代，以调整交并比，从而得到优化后的人脸遮挡检测分支模型。
具体的，当所述交并比小于预设的对比阈值，且交并比越小时，说明所述预测样本人脸图像与所述对比样本人脸图像越不像，则表示模型仍需进一步训练优化。
在示例性的实施例中，所述第一损失函数为U-net损失函数。U-net损失函数可以为带边界权值的损失函数，目的是为了给样本人脸图像中贴近边界点的像素更高的权值。
进一步的，本发明实施例还包括人脸遮挡模型的人脸遮挡分类分支模型的训练过程，请参阅图6，具体如下：
步骤S610，将多个第二卷积特征图输入至深度神经网络模型的若干隐藏层，以提取样本遮挡物特征。
具体的，将获取到的多个包含遮挡物特征的第二卷积特征图输入至深度神经网络模型的若干隐藏层中的第三卷积层进行进一步卷积操作，以提取样本遮挡物特征。
步骤S611，将所述样本遮挡物特征输入分类层中识别分类，以生成第一分类结论。
步骤S612，将所述第一分类结论与所述样本人脸图像的样本分类结论进行比对，以计算第二损失值。
步骤S613，通过所述第二损失值与第二损失函数对深度神经网络模型迭代，降低损失值并更新人脸遮挡分类分支模型的模型参数，以得到优化后的人脸遮挡分类分支模型。
具体的，所述第二损失函数可以为交叉熵损失函数。
优化后的人脸遮挡检测分支模型与人脸遮挡分类分支模型组合为优化后的人脸检测模型。
在示例性的实施例中，还可以定时根据人脸遮挡分类分支模型输出的分类结果对所述人脸遮挡分类分支模型的预设遮挡物标签进行更新。
在示例性的实施例中，还可以为人脸遮挡检测分支模型与人脸遮挡分类分支模型匹配相应的权重，且人脸遮挡检测分支模型的第一遮挡结果为影响人脸检测模型的最终遮挡结果的重要参数。
本发明实施例通过识别人脸区域图像得到人脸遮挡区域的第一遮挡结果，以及通过预设的遮挡标签对人脸区域图像进行分类，以得到人脸上遮挡物的分类类型的分类结果，并结合第一遮挡结果和遮挡物的分类类型得到最终遮挡结果，提高了人脸遮挡检测的识别精度，并且识别出遮挡物的分类类型，便于人脸遮挡检测的智能化应用。
实施例二
请继续参阅图7，示出了本发明人脸遮挡检测***的程序模块示意图。在本实施例中，人脸遮挡检测***20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述人脸遮挡检测方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述人脸遮挡检测***20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
采集模块700，用于获取待检测图像。
提取模块710，用于从所述待检测图像获取人脸区域图像。
进一步地，所述提取模块710还用于：获取所述待检测图像中多个面部特征点的坐标位置；根据获取到的多个面部特征点的坐标位置从待检测图像中提取人脸区域图像，所述人脸区域图像包括多个五官区域。
在示例性的实施例中，多个面部特征点为68个面部特征点；多个五官区域包括眉毛区域、眼睛区域、鼻子区域、嘴巴区域、脸颊区域、额头区域、牙齿区域等。
识别模块720，用于识别所述人脸区域图像，以生成第一遮挡结果。
进一步地，所述识别模块720还用于：对所述人脸区域图像执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图；将多个第一卷积特征图组合放大，以得到预测人脸图像，所述预测人脸图像包括遮挡区域；计算所述遮挡区域和所述遮挡区域所在的五官区域的遮挡比例；将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果。
在示例性的实施例中，将多个第一卷积特征图组合后，扩充边缘和背景像素，得到预测人脸图像，所述预测人脸图像中的未遮挡部分的像素值设置为0，所述预测人脸图像中的遮挡部分和背景部分的像素值设置为1，即所述预测人脸图像中的未遮挡部分表现为白色，所述预测人脸图像中的背景部分以及遮挡部分均表现为黑色。
在示例性的实施例中，各个五官区域对应的所述预设遮挡阈值可以设置为相同的预设遮挡阈值，也可以设置为不同的预设遮挡阈值。具体的，各个五官区域对应的预设遮挡阈值的设置，可以根据不同的场景要求动态调整各个五官区域对应的预设遮挡阈值。例如，当场景要求高，要求遮挡的比例小时，可以设置更小的预设遮挡阈值；当场景要求低，可以设置更高的预设遮挡阈值。
分类模块730，用于根据预设的遮挡标签对人脸区域图像分类，以生成分类结果。
进一步地，所述分类模块730还用于：从多个第二卷积特征图提取遮挡物特征；将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果。
在示例性的实施例中，
生成结果模块740，用于根据所述第一遮挡结果和所述分类结果生成最终遮挡结果。
实施例三
参阅图8，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图8所示，所述计算机设备2至少包括，但不限于，可通过***总线相互通信连接存储器21、处理器22、网络接口23、以及人脸遮挡检测***20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作***和各类应用软件，例如实施例二的人脸遮挡检测***20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行人脸遮挡检测***20，以实现本发明实施例的人脸遮挡检测方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图8仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述人脸遮挡检测***20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图7示出了所述实现人脸遮挡检测***20实施例二的程序模块示意图，该实施例中，所述基于人脸遮挡检测***20可以被划分为采集模块700、提取模块710、识别模块720、分类模块730以及生成结果模块740。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述人脸遮挡检测***20在所述计算机设备2中的执行过程。所述程序模块700-740的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储人脸遮挡检测***20，被处理器执行时实现本发明实施例的人脸遮挡检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种人脸遮挡检测方法，其特征在于，包括：
获取待检测图像；
从所述待检测图像获取人脸区域图像；
通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果；
当所述第一遮挡结果表示所述人脸区域图像被遮挡时，通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果；
根据所述第一遮挡结果和所述分类结果生成最终遮挡结果；
其中，所述从所述待检测图像获取人脸区域图像包括：
获取所述待检测图像中多个面部特征点的坐标位置；
根据获取到的多个面部特征点的坐标位置从待检测图像中提取人脸区域图像，所述人脸区域图像包括多个五官区域；
所述待检测图像包括背景区域；
其中，所述通过人脸遮挡检测分支模型对所述人脸区域图像识别，并进行像素处理后，以生成第一遮挡结果包括：
通过人脸遮挡检测分支模型对所述人脸区域图像执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图；
将多个第一卷积特征图组合放大，根据预设规则调整各个五官区域与背景区域的像素值，以得到预测人脸图像，所述预测人脸图像包括遮挡区域；
计算所述遮挡区域和所述遮挡区域所在的五官区域的遮挡比例；
将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果；
其中，各个五官区域对应的预设遮挡阈值的设置，根据不同的场景要求动态调整各个五官区域对应的预设遮挡阈值。
2.根据权利要求1所述的人脸遮挡检测方法，其特征在于，所述将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果包括：
当所述遮挡比例大于所述预设遮挡阈值时，所述第一遮挡结果表示所述五官区域被遮挡；
当所述遮挡比例小于所述预设遮挡阈值时，所述第一遮挡结果表示所述五官区域未遮挡。
3.根据权利要求2所述的人脸遮挡检测方法，其特征在于，所述多个卷积特征图包括多个第二卷积特征图，所述通过人脸遮挡分类分支模型及预设的遮挡标签对人脸区域图像分类，以生成分类结果包括：
通过人脸遮挡分类分支模型从多个第二卷积特征图提取遮挡物特征；
将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果。
4.根据权利要求3所述的人脸遮挡检测方法，其特征在于，所述将所述遮挡物特征和预设的遮挡标签进行匹配，以生成分类结果包括：
当遮挡物特征与预设的任一遮挡标签匹配一致时，则分类结果表示该遮挡物特征对应为与其匹配一致的遮挡标签；
当遮挡物特征与预设的任一遮挡标签匹配不一致时，对所述遮挡物特征标记，以得到新遮挡物标签，则分类结果表示该遮挡物特征对应为新遮挡物标签。
5.根据权利要求4所述的人脸遮挡检测方法，其特征在于，所述方法还包括：根据所述最终遮挡结果生成反馈指令，所述反馈指令用于指示用户的脸部包含的遮挡区域以及位于遮挡区域的遮挡物。
6.一种人脸遮挡检测***，其特征在于，包括：
采集模块，用于获取待检测图像；
提取模块，用于从所述待检测图像获取人脸区域图像；
识别模块，用于识别所述人脸区域图像，以生成第一遮挡结果；
分类模块，用于根据预设的遮挡标签对人脸区域图像分类，以生成分类结果；
生成结果模块，用于根据所述第一遮挡结果和所述分类结果生成最终遮挡结果；
其中，所述提取模块还用于：
获取所述待检测图像中多个面部特征点的坐标位置；
根据获取到的多个面部特征点的坐标位置从待检测图像中提取人脸区域图像，所述人脸区域图像包括多个五官区域；
所述待检测图像包括背景区域；
其中，所述识别模块还用于：
通过人脸遮挡检测分支模型对所述人脸区域图像执行卷积，以输出多个卷积特征图，所述多个卷积特征图包括多个第一卷积特征图；
将多个第一卷积特征图组合放大，根据预设规则调整各个五官区域与背景区域的像素值，以得到预测人脸图像，所述预测人脸图像包括遮挡区域；
计算所述遮挡区域和所述遮挡区域所在的五官区域的遮挡比例；
将所述遮挡比例与所述五官区域对应的预设遮挡阈值进行比对，以生成第一遮挡结果；
其中，各个五官区域对应的预设遮挡阈值的设置，根据不同的场景要求动态调整各个五官区域对应的预设遮挡阈值。
7.一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的人脸遮挡检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至5中任一项所述的人脸遮挡检测方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010146004.6A CN111428581B (zh) | 2020-03-05 | 2020-03-05 | 人脸遮挡检测方法及*** |
| PCT/CN2020/118112 WO2021174819A1 (zh) | 2020-03-05 | 2020-09-27 | 人脸遮挡检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010146004.6A CN111428581B (zh) | 2020-03-05 | 2020-03-05 | 人脸遮挡检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428581A CN111428581A (zh) | 2020-07-17 |
| CN111428581B true CN111428581B (zh) | 2023-11-21 |
Family
ID=71547399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010146004.6A Active CN111428581B (zh) | 2020-03-05 | 2020-03-05 | 人脸遮挡检测方法及*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111428581B (zh) |
| WO (1) | WO2021174819A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428581B (zh) * | 2020-03-05 | 2023-11-21 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法及*** |
| CN112016464B (zh) * | 2020-08-28 | 2024-04-12 | 中移（杭州）信息技术有限公司 | 检测人脸遮挡的方法、装置、电子设备及存储介质 |
| CN112183504B (zh) * | 2020-11-27 | 2021-04-13 | 北京圣点云信息技术有限公司 | 一种基于非接触式手掌静脉图像的视频注册方法及装置 |
| CN112396125B (zh) * | 2020-12-01 | 2022-11-18 | 中国第一汽车股份有限公司 | 一种定位测试场景的分类方法、装置、设备及存储介质 |
| CN112597867B (zh) * | 2020-12-17 | 2024-04-26 | 佛山科学技术学院 | 戴口罩人脸识别方法、***、计算机设备及存储介质 |
| CN112633144A (zh) * | 2020-12-21 | 2021-04-09 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、***、设备及存储介质 |
| CN112651322B (zh) * | 2020-12-22 | 2024-05-24 | 北京眼神智能科技有限公司 | 脸颊遮挡检测方法、装置及电子设备 |
| CN112926424B (zh) * | 2021-02-10 | 2024-05-31 | 北京爱笔科技有限公司 | 脸部遮挡的识别方法、装置、可读介质以及设备 |
| CN115131843B (zh) * | 2021-03-24 | 2024-05-07 | 北京君正集成电路股份有限公司 | 一种基于图像分割的检测脸部遮挡的方法 |
| CN113111817B (zh) * | 2021-04-21 | 2023-06-27 | 中山大学 | 语义分割的人脸完整度度量方法、***、设备及存储介质 |
| CN113222973B (zh) * | 2021-05-31 | 2024-03-08 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN113705466B (zh) * | 2021-08-30 | 2024-02-09 | 浙江中正智能科技有限公司 | 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 |
| CN113762136A (zh) * | 2021-09-02 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
| CN113963424B (zh) * | 2021-12-21 | 2022-03-08 | 西南石油大学 | 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法 |
| CN114332720A (zh) * | 2021-12-31 | 2022-04-12 | 上海商汤临港智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备及存储介质 |
| CN114565506B (zh) * | 2022-01-17 | 2023-04-18 | 北京新氧科技有限公司 | 图像颜色迁移方法、装置、设备及存储介质 |
| CN114093012B (zh) * | 2022-01-18 | 2022-06-10 | 荣耀终端有限公司 | 人脸遮挡的检测方法和检测装置 |
| CN115249281B (zh) * | 2022-01-29 | 2023-11-24 | 北京百度网讯科技有限公司 | 图像遮挡和模型训练方法、装置、设备以及存储介质 |
| CN115236072B (zh) * | 2022-06-14 | 2023-08-01 | 杰能科世智能安全科技(杭州)有限公司 | 一种升降柱状态检测方法及其装置 |
| CN114792295B (zh) * | 2022-06-23 | 2022-11-04 | 深圳憨厚科技有限公司 | 基于智能相框的被遮挡物修正方法、装置、设备及介质 |
| CN115909468B (zh) * | 2023-01-09 | 2023-06-06 | 广州佰锐网络科技有限公司 | 人脸五官遮挡检测方法、存储介质及*** |
| CN116612279B (zh) * | 2023-04-28 | 2024-02-02 | 广东科技学院 | 目标检测的方法、装置、网络设备及存储介质 |
| CN117275075B (zh) * | 2023-11-01 | 2024-02-13 | 浙江同花顺智能科技有限公司 | 一种人脸遮挡检测方法、***、装置和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015165365A1 (zh) * | 2014-04-29 | 2015-11-05 | 华为技术有限公司 | 一种人脸识别方法及*** |
| CN107145867A (zh) * | 2017-05-09 | 2017-09-08 | 电子科技大学 | 基于多任务深度学习的人脸及人脸遮挡物检测方法 |
| CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、装置及存储介质 |
| CN109002801A (zh) * | 2018-07-20 | 2018-12-14 | 燕山大学 | 一种基于视频监控的人脸遮挡检测方法及*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8331674B2 (en) * | 2007-04-06 | 2012-12-11 | International Business Machines Corporation | Rule-based combination of a hierarchy of classifiers for occlusion detection |
| CN105095856B (zh) * | 2015-06-26 | 2019-03-22 | 上海交通大学 | 基于掩模的有遮挡人脸识别方法 |
| CN110826519B (zh) * | 2019-11-14 | 2023-08-18 | 深圳华付技术股份有限公司 | 人脸遮挡检测方法、装置、计算机设备及存储介质 |
| CN111428581B (zh) * | 2020-03-05 | 2023-11-21 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法及*** |
-
2020
- 2020-03-05 CN CN202010146004.6A patent/CN111428581B/zh active Active
- 2020-09-27 WO PCT/CN2020/118112 patent/WO2021174819A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015165365A1 (zh) * | 2014-04-29 | 2015-11-05 | 华为技术有限公司 | 一种人脸识别方法及*** |
| CN107145867A (zh) * | 2017-05-09 | 2017-09-08 | 电子科技大学 | 基于多任务深度学习的人脸及人脸遮挡物检测方法 |
| CN107633204A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法、装置及存储介质 |
| CN109002801A (zh) * | 2018-07-20 | 2018-12-14 | 燕山大学 | 一种基于视频监控的人脸遮挡检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021174819A1 (zh) | 2021-09-10 |
| CN111428581A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428581B (zh) | 人脸遮挡检测方法及*** | |
| CN110197146B (zh) | 基于深度学习的人脸图像分析方法、电子装置及存储介质 | |
| CN112115866A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN111191567A (zh) | 身份数据处理方法、装置、计算机设备和存储介质 | |
| CN112800805A (zh) | 视频剪辑方法、***、计算机设备及计算机存储介质 | |
| CN110348331B (zh) | 人脸识别方法及电子设备 | |
| CN111507324B (zh) | 卡片边框识别方法、装置、设备和计算机存储介质 | |
| CN111191532A (zh) | 基于施工区域的人脸识别方法、装置、计算机设备 | |
| CN108021863B (zh) | 电子装置、基于图像的年龄分类方法及存储介质 | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN111899270A (zh) | 卡片边框检测方法、装置、设备及可读存储介质 | |
| US20230135400A1 (en) | Method and system for facial recognition | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN113378764A (zh) | 基于聚类算法的视频人脸采集方法、装置、设备及介质 | |
| CN111310710A (zh) | 人脸检测方法与*** | |
| CN109558773B (zh) | 信息识别方法、装置及电子设备 | |
| CN117456590B (zh) | 一种针对智能城市应用的视觉转换的人脸识别方法及装置 | |
| CN111931617B (zh) | 基于图像处理的人眼图像识别方法、装置及自助终端 | |
| CN113468925B (zh) | 一种遮挡人脸识别方法、智能终端及存储介质 | |
| CN112347988A (zh) | 口罩识别模型的训练方法、装置、计算机设备和可读存储介质 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及*** | |
| CN113095119A (zh) | 一种修正人脸裁剪框的人脸识别*** | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 | |
| CN114333038B (zh) | 对象识别模型的训练方法和对象识别方法、装置、设备 | |
| CN113642428B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |