CN111625157B - 指尖关键点检测方法、装置、设备和可读存储介质 - Google Patents
指尖关键点检测方法、装置、设备和可读存储介质 Download PDFInfo
- Publication number
- CN111625157B CN111625157B CN202010431810.8A CN202010431810A CN111625157B CN 111625157 B CN111625157 B CN 111625157B CN 202010431810 A CN202010431810 A CN 202010431810A CN 111625157 B CN111625157 B CN 111625157B
- Authority
- CN
- China
- Prior art keywords
- fingertip
- hand
- detection
- category
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 230000004044 response Effects 0.000 claims abstract description 21
- 210000003811 finger Anatomy 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 29
- 238000013145 classification model Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 210000004932 little finger Anatomy 0.000 claims description 8
- 210000003813 thumb Anatomy 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000009191 jumping Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种指尖关键点检测方法、装置、设备和可读存储介质，涉及计算机视觉技术领域。具体实现方案为：获取待检测图像中的人手区域；对所述人手区域进行手势检测，得到所述人手区域的手势类别；响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息。本实施例能够提高指尖关键点的检测精度。
Description
技术领域
本申请涉及计算机技术，尤其涉及计算机视觉技术领域。
背景技术
指尖关键点检测任务是通过分析给定的输入图片检测出手指指尖的位置，其是当下教育场景中指尖点读功能的必备功能。
指尖关键点相比其他关键点的检测任务存在着遮挡严重，变化范围大，手部不完整等诸多因素，导致指尖关键点的检测精度较低，难以投入到实际应用中。
发明内容
本申请实施例提供了一种指尖关键点检测方法、装置、设备和可读存储介质。
第一方面，本申请实施例提供了一种指尖关键点检测方法，包括：
获取待检测图像中的人手区域；
对所述人手区域进行手势检测，得到所述人手区域的手势类别；
响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息。
第二方面，本申请实施例提供了一种指尖关键点检测装置，包括：
获取模块，用于获取待检测图像中的人手区域；
手势检测模块，用于对所述人手区域进行手势检测，得到所述人手区域的手势类别；
输出模块，用于响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息。
第三方面，本申请实施例还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种指尖关键点检测方法。
第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种指尖关键点检测方法。
根据本申请的技术能够提高指尖关键点的检测精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1a是本申请实施例中的第一种指尖关键点检测方法的流程图；
图1b是本申请实施例中的食指指尖触发类别的手势示意图；
图1c是本申请实施例中的人手关键点的示意图；
图2是本申请实施例中的第二种指尖关键点检测方法的流程图
图3a是本申请实施例中的第三种指尖关键点检测方法的流程图；
图3b是本申请实施例中的目标手指的指向示意图；
图4是本申请实施例提供的第四种指尖关键点检测方法的流程图；
图5是本申请实施例中的指尖关键点检测装置的结构图；
图6是用来实现本申请实施例的指尖关键点检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本申请的实施例，图1a是本申请实施例中的第一种指尖关键点检测方法的流程图，本申请实施例适用于从图像中检测出指尖关键点的情况。该方法通过指尖关键点检测装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图1a所示的指尖关键点检测方法，包括：
S110、获取待检测图像中的人手区域。
在用户用手指指向电子屏幕进行点读时，对电子屏幕进行拍摄，得到待检测图像。待检测图像上显示有人手，待检测图像上的人手可能存在部分遮挡或者不完整的情况。
具体的，通过物体检测算法对待检测图像进行人手检测，得到人手区域。物体检测算法包括但不限于R-CNN(Region CNN，区域卷积神经网络)。
S120、对人手区域进行手势检测，得到人手区域的手势类别。
本实施例首先对人手区域进行手势检测，检测人手区域内的手势类别。
本实施例中，指尖触发类别为采用一个手指的指尖触发电子屏幕时的手势类别。指尖触发类别包括大拇指指尖触发类别、食指指尖触发类别、中指指尖触发类别、无名指指尖触发类别和小指指尖触发类别。图1b是本申请实施例中的食指指尖触发类别的手势示意图。
S130、响应于手势类别为指尖触发类别，输出对人手区域进行人手关键点检测得到的、与指尖触发类别对应的指尖关键点的位置信息。
如果手势类别为指尖触发类别，说明用户确实采用与指尖触发类别对应的手指的指尖进行触发，做出了指尖触发手势，则人手区域中存在指尖关键点的可能性较大，此时的指尖关键点的检测结果精度更好。
在一可选实施方式中，响应于手势类别为指尖触发类别，对人手区域进行人手关键点检测，得到与指尖触发类别对应的指尖关键点的位置信息。图1c是本申请实施例中的人手关键点的示意图。不同指尖触发类别对应不同的指尖关键点，例如，大拇指指尖触发类别对应大拇指指尖4，食指指尖触发类别对应食指指尖关键点8，中指指尖触发类别对应中指指尖关键点12，无名指指尖触发类别对应无名指指尖关键点16，小指指尖触发类别对应小指指尖关键点20。
具体的，通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。人手关键点检测模型例如为Multi-context和Learning Feature等模型。模型至少输出指尖触发类别对应的指尖关键点的位置信息。结合图1b和图1c，如果手势为食指指尖触发类别，则人手关键点检测模型至少输出指尖关键点8的位置信息。基于此，需要从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息。
在另一可选实施方式中，在响应于手势类别为指尖触发类别之前，对人手区域进行人手关键点检测得到人手关键点的位置信息。基于此，响应于手势类别为指尖触发类别，从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息。
值得说明的是，在上述两种可选实施方式中，人手关键点的位置信息可能仅包括一个关键点的位置信息，则直接将该关键点的位置信息作为指尖关键点的位置信息。
本实施例中，首先对人手区域进行手势检测，当手势类别为指尖触发类别时，说明用户确实采用与指尖触发类别对应的手指的指尖进行触发，做出了指尖触发手势，则人手区域中存在与指尖触发手势对应的指尖关键点的可能性较大，此条件下，指尖关键点的检测结果精度更高；而且，指尖关键点与指尖触发类别具有对应关系，进一步提高指尖关键点的检测精度。
根据本申请的实施例，图2是本申请实施例中的第二种指尖关键点检测方法的流程图，本申请实施例在上述各实施例的技术方案的基础上进行优化。
可选的，将操作“对人手区域进行手势检测，得到人手区域的手势类别”细化为以下操作中的任一种“通过手势分类模型对人手区域进行手势检测，得到人手区域为背景类别；通过手势分类模型对人手区域进行手势检测，得到人手区域为非指尖触发类别；通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；并且通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息；响应于指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求，确定人手区域属于指尖触发类别”。
可选的，将操作“响应于手势类别为指尖触发类别，输出对人手区域进行人手关键点检测得到的、与指尖触发类别对应的指尖关键点的位置信息”细化为“响应于手势类别为指尖触发类别，获取通过人手关键点检测模型对人手区域进行人手关键点检测得到的人手关键点的位置信息；根据关键点之间的位置关系，从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息”。
如图2所示的指尖关键点检测方法包括：
S210、获取待检测图像中的人手区域。继续执行S221、S222、S223或S224。
S221、通过手势分类模型对人手区域进行手势检测，得到人手区域为背景类别，跳转到S230。
S222、通过手势分类模型对人手区域进行手势检测，得到人手区域为非指尖触发类别，跳转到S230。
S223、通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别。继续执行S250。
S224、通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；并且通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。继续执行S240。
S230、结束操作。
S240、响应于指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求，确定人手区域属于指尖触发类别。继续执行S250。
S250、响应于手势类别为指尖触发类别，获取通过人手关键点检测模型对人手区域进行人手关键点检测得到的人手关键点的位置信息。
S260、根据人手关键点之间的位置关系，从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息。
具体的，手势分类模型可以为keras，用于对人手区域进行手势检测，得到人手区域的手势类别。示例性的，手势分类模型输出的手势类别包括：指尖触发类别、非指尖触发类别和背景类别。其中，非指尖触发类别包括：各种交通手势类别、裁判手势类别和各种未知手势类别。在一些情况下，手势分类模型检测得到的人手区域可能并未包括人手，只有背景，则手势类别还会包括背景类别。
在S221和S222处，如果人手区域属于背景类别或非指尖触发类别，则结束操作。
在S223处，如果手势分类模型检测到人手区域属于指尖触发类别，可以直接认定手势分类模型的检测结果正确，并继续执行S250。
在S224处，如果手势分类模型检测到人手区域属于指尖触发类别，认为手势分类模型的检测结果的正确性待定，需要通过人手关键点检测模型的检测结果进行辅助判断，从而提高手势判断的准确性。具体的，通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。
可选的，人手关键点包括指尖关键点和与指尖关键点位于同一目标手指上的至少一个关键点。为了方便描述和区分，将指尖关键点所在的手指称为目标手指。结合图1b和图1c所示，人手关键点包括位于食指上的指尖关键点8和关键点7、关键点6和关键点5。如果检测到同一目标手指上的多个关键点，说明目标手指处于张开状态，符合指尖触发手势，能够有效地辅助判断手势是否为指尖触发类别。
可选的，人手关键点还包括形成指尖触发类别的手势所需的、除目标手指之外的其它手指上的至少一个关键点。除了目标手指外，形成指尖触发类别还需要其他手指的配合。如图1b所示，形成食指指尖触发类别需要食指(目标手指)和大拇指配合，因此，人手关键点除了包括位于食指上的指尖关键点8、关键点7、关键点6和关键点5之外，还包括大拇指上的关键点4和关键点3。可见，通过其他手指上的关键点能够进一步提高手势判断的准确性。
本实施例中，通过检测人手区域为背景类别有效地过滤将背景误检为人手的区域；在实际应用中，往往只有特定手势需要检测其指尖位置，用户做出无意识手势时的手部指尖位置需要过滤掉，因此通过检测人手区域为非指尖触发类别，对无意识手势进行过滤。
在S240处，检测精度可以用置信度来表示。置信度越高，检测精度越高；置信度越低，检测精度越低。如果检测到多个人手关键点的位置信息，则计算多个人手关键点的位置信息的平均置信度，作为人手关键点的位置信息的检测精度。
可选的，在S240之前包括两种可选实施方式：1)根据指尖触发类别的置信度和人手关键点的位置信息的置信度，计算综合检测精度；响应于综合检测精度大于设定阈值，确定指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求；2)响应于指尖触发类别的置信度和人手关键点的位置信息的置信度均大于设定阈值，确定指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求。
具体的，在第一种可选实施方式中，将指尖触发类别的置信度和人手关键点的位置信息的置信度进行数学运算，如相加或相乘，得到综合检测精度；如果综合检测精度大于设定阈值，如0.8，则判定二者的检测精度满足设定要求。在第二种可选实施方式中，将指尖触发类别的置信度和人手关键点的位置信息的置信度分别与设定阈值相比，如0.8，如果均大于0.8，则判定二者的检测精度满足设定要求。
本实施例提供的两种可选实施方式能够准确计算指尖触发类别的检测精度和人手关键点的位置信息的检测精度，进而提高手势判断的准确性。
在S250处，如果未进行人手关键点检测，则通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。如果已进行人手关键点检测，如已执行了S224，则直接获取检测到的人手关键点的位置信息即可。
在S260处，指尖关键点一般位于手指的末端，则获取处于边缘位置的人手关键点作为指尖关键点，从而在人手关键点有多个的情况，通过位置关系准确筛选出指尖关键点。
根据本申请的实施例，图3a是本申请实施例中的第三种指尖关键点检测方法的流程图，本申请实施例在上述各实施例的技术方案的基础上进行优化。
可选的，在操作“响应于手势类别为指尖触发类别，输出对人手区域进行人手关键点检测得到的、与指尖触发类别对应的指尖关键点的位置信息”之后，追加“根据人手关键点的位置信息，确定目标手指的指向；根据目标手指的指向和指尖关键点的位置信息，确定指尖关键点所指的位置”。
如图3a所示的指尖关键点检测方法，包括：
S310、获取待检测图像中的人手区域。继续执行S320、S321、S322或S323。
S320、通过手势分类模型对人手区域进行手势检测，得到人手区域为背景类别，跳转到S370。
S321、通过手势分类模型对人手区域进行手势检测，得到人手区域为非指尖触发类别，跳转到S370。
S322、通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别，跳转到S330。
S323、通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；并且通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。继续执行S324。
S324、响应于指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求，确定人手区域属于指尖触发类别，继续执行S331。
S330、响应于手势类别为指尖触发类别，通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息，并获取人手关键点的位置信息。继续执行S340。
如果手势分类模型检测到人手区域属于指尖触发类别，可以直接认定手势分类模型的检测结果正确；则通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息。
S331、响应于手势类别为指尖触发类别，获取通过人手关键点检测模型对人手区域进行人手关键点检测得到的人手关键点的位置信息。继续执行S340。
如果通过手势分类模型和人手关键点检测模型共同确定手势类别，则已经通过人手关键点检测模型检测到人手关键点的位置信息，本操作直接获取即可。
S340、根据人手关键点之间的位置关系，从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息。
S350、根据人手关键点的位置信息，确定目标手指的指向。
在电子屏幕上进行指尖点读的应用场景中，需要确定指尖关键点所指的位置，以便识别电子屏幕上所指的内容。而指尖关键点可能指向周围任一方向，根据用户的点读习惯，指尖关键点的指向应与手指的指向一致。基于此，首先确定指尖关键点所在的目标手指的指向。
图3b是本申请实施例中的目标手指的指向示意图。如图3b所示，目标手指为食指，人手关键点包括位于目标手指上的指尖关键点8、关键点7、关键点6和关键点5。人手关键点分布在目标手指上的不同位置，指示了目标手指的弯曲程度，反映出目标手指的指向。基于此，根据人手关键点的位置信息，对人手关键点进行拟合，得到线条；根据线条在指尖关键点一侧的延伸方向，确定目标手指的指向。
其中，拟合可采用直线拟合法或者曲线拟合法，得到直线或者曲线。如图3b所示，对指尖关键点8、关键点7、关键点6和关键点5采用直线拟合法进行拟合，具体的，根据指尖关键点8、关键点7、关键点6和关键点5中任两个关键点的坐标，求解得到直线方程y＝ax+b。
线条包括指尖关键点一侧和另一侧，如图3b所示，根据直线方程的斜率，确定直线在指尖关键点8一侧的延伸方向(延伸方向用箭头表示)；可选的，根据曲线方程在指尖关键点处的切线斜率，确定延伸方向。接着，将延伸方向确定为目标手指的指向。
本实施例采用关键点拟合的方法，得到目标手指的指向，构思巧妙，计算简单。
S360、根据目标手指的指向和指尖关键点的位置信息，确定指尖关键点所指的位置。
具体的，从指尖关键点开始，沿着目标手指的指向延伸设定长度，到达指尖关键点所指的位置。其中，设定长度可以为0.2毫米或0.5毫米。如图3b所示，食指的指向如图所示，指尖关键点所指的位置是“空”。
S370、结束操作。
本实施例中，通过目标手指上的指尖关键点和其它至少一个关键点，得到目标手指的指向，提供了一种全新的指向确定方法。而且，通过目标手指的指向能够准确得到指尖关键点所指的位置，有利于提高指尖点读的准确性。
根据本申请实施例，图4是本申请实施例提供的第四种指尖关键点检测方法的流程图，本申请实施例在上述各实施例的技术方案的基础上对指尖触发类别的确定过程进行优化。
如图4所示的指尖关键点检测方法，包括：
S410、向用户提供多个指尖触发类别的选项，指尖触发类别包括大拇指指尖触发类别、食指指尖触发类别、中指指尖触发类别、无名指指尖触发类别和小指指尖触发类别。
具体的，在电子屏幕上显示前述5个指尖触发类别的选项，以供用户按照自己的点读习惯进行选择。
用户可以通过触发其中一个指尖触发类别的选项从而选择该选项，如食指指尖触发类别的选项。
S420、获取用户选择的指尖触发类别的选项，并根据指尖触发类别的选项确定指尖触发类别。
如果用户选择食指指尖触发类别的选项，则确定指尖触发类别为食指指尖触发类别；如果用户选择小指指尖触发类别的选项，则确定指尖触发类别为小指指尖触发类别。其它指尖触发类别以此类推，不再赘述。
S430、获取待检测图像中的人手区域。
S440、对人手区域进行手势检测，得到人手区域的手势类别。
S450、响应于手势类别为指尖触发类别，输出对人手区域进行人手关键点检测得到的、与指尖触发类别对应的指尖关键点的位置信息。
本申请实施例中，通过向用户提供多个指尖触发类别的选项，从而用户可以按照自己的点读习惯选择合适的指尖触发手势，提高智能化程度和用户的使用体验感。
根据本申请的实施例，图5是本申请实施例中的指尖关键点检测装置的结构图，本申请实施例适用于从图像中检测出指尖关键点的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图5所示的一种指尖关键点检测装置500，包括：获取模块501、手势检测模块502、输出模块503；其中，
获取模块501，用于获取待检测图像中的人手区域；
手势检测模块502，用于对人手区域进行手势检测，得到人手区域的手势类别；
输出模块503，用于响应于手势类别为指尖触发类别，输出对人手区域进行人手关键点检测得到的、与指尖触发类别对应的指尖关键点的位置信息。
本申请实施例中，首先对人手区域进行手势检测，当手势类别为指尖触发类别时，说明用户确实采用与指尖触发类别对应的手指的指尖进行触发，做出了指尖触发手势，则人手区域中存在与指尖触发手势对应的指尖关键点的可能性较大，此条件下，指尖关键点的检测结果精度更好；而且，指尖关键点与指尖触发类别具有对应关系，进一步提高指尖关键点的检测精度。
进一步的，手势检测模块具体用于执行以下操作中的任一种：
通过手势分类模型对人手区域进行手势检测，得到人手区域为背景类别；
通过手势分类模型对人手区域进行手势检测，得到人手区域为非指尖触发类别；
通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；
通过手势分类模型对人手区域进行手势检测，得到人手区域属于指尖触发类别；并且通过人手关键点检测模型对人手区域进行人手关键点检测，得到人手关键点的位置信息；响应于指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求，确定人手区域属于指尖触发类别；其中，人手关键点包括指尖关键点。
进一步的，输出模块503具体用于：响应于手势类别为指尖触发类别，获取通过人手关键点检测模型对人手区域进行人手关键点检测得到的人手关键点的位置信息；根据人手关键点之间的位置关系，从人手关键点的位置信息中筛选与指尖触发类别对应的指尖关键点的位置信息。
进一步的，该装置还包括精度计算模块和第一设定要求确定模块，精度计算模块用于根据指尖触发类别的置信度和人手关键点的位置信息的置信度，计算综合检测精度；第一设定要求确定模块用于响应于综合检测精度大于设定阈值，确定指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求。
进一步的，该装置还包括第二设定要求确定模块，用于响应于指尖触发类别的置信度和人手关键点的位置信息的置信度均大于设定阈值，确定指尖触发类别的检测精度和人手关键点的位置信息的检测精度满足设定要求。
进一步的，人手关键点还包括与指尖关键点位于同一目标手指上的至少一个关键点。
进一步的，人手关键点还包括形成指尖触发类别的手势所需的、除目标手指之外的其它手指上的至少一个关键点。
进一步的，该装置还包括指向确定模块，用于根据人手关键点的位置信息，确定目标手指的指向；还包括位置确定模块，用于根据目标手指的指向和指尖关键点的位置信息，确定指尖关键点所指的位置。
进一步的，指向确定模块具体用于：根据人手关键点的位置信息，对人手关键点进行拟合，得到线条；根据线条在指尖关键点一侧的延伸方向，确定目标手指的指向。
进一步的，该装置还包括指尖触发类别确定模块，用于向用户提供多个指尖触发类别的选项，指尖触发类别包括大拇指指尖触发类别、食指指尖触发类别、中指指尖触发类别、无名指指尖触发类别和小指指尖触发类别；获取用户选择的指尖触发类别的选项，并根据指尖触发类别的选项确定指尖触发类别。
上述指尖关键点检测装置可执行本申请任意实施例所提供的指尖关键点检测方法，具备执行指尖关键点检测方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是实现本申请实施例的指尖关键点检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的指尖关键点检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的指尖关键点检测方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的指尖关键点检测的方法对应的程序指令/模块(例如，附图5所示的包括获取模块501、手势检测模块502、输出模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的指尖关键点检测的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储实现指尖关键点检测方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至执行指尖关键点检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行指尖关键点检测方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与执行指尖关键点检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (9)
1.一种指尖关键点检测方法，其特征在于，包括：
获取待检测图像中的人手区域；
对所述人手区域进行手势检测，得到所述人手区域的手势类别；
响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息，其中，所述人手关键点包括：指尖关键点，以及与所述指尖关键点位于同一目标手指上的至少一个关键点；
根据所述人手关键点的位置信息，对所述人手关键点进行拟合，得到线条，根据所述线条在所述指尖关键点一侧的延伸方向，确定所述目标手指的指向；
根据所述目标手指的指向、设定长度和所述指尖关键点的位置信息，确定所述指尖关键点所指的位置；
对所述人手区域进行手势检测，得到所述人手区域的手势类别，包括：
通过手势分类模型对所述人手区域进行手势检测，得到所述人手区域属于指尖触发类别；并且通过人手关键点检测模型对所述人手区域进行人手关键点检测，得到人手关键点的位置信息；响应于所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求，确定所述人手区域属于指尖触发类别。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息，包括：
响应于所述手势类别为指尖触发类别，获取通过人手关键点检测模型对所述人手区域进行人手关键点检测得到的人手关键点的位置信息；
根据所述人手关键点之间的位置关系，从所述人手关键点的位置信息中筛选与所述指尖触发类别对应的指尖关键点的位置信息。
3.根据权利要求1所述的方法，其特征在于，在所述响应于所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求，确定所述人手区域属于指尖触发类别之前，还包括：
根据所述指尖触发类别的置信度和所述人手关键点的位置信息的置信度，计算综合检测精度；
响应于所述综合检测精度大于设定阈值，确定所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求。
4.根据权利要求1所述的方法，其特征在于，在所述响应于所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求，确定所述人手区域属于指尖触发类别之前，还包括：
响应于所述指尖触发类别的置信度和所述人手关键点的位置信息的置信度均大于设定阈值，确定所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求。
5.根据权利要求1所述的方法，其特征在于，所述人手关键点还包括形成所述指尖触发类别的手势所需的、除所述目标手指之外的其它手指上的至少一个关键点。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述对所述人手区域进行手势检测，得到所述人手区域的手势类别之前，还包括：
向用户提供多个指尖触发类别的选项，所述指尖触发类别包括大拇指指尖触发类别、食指指尖触发类别、中指指尖触发类别、无名指指尖触发类别和小指指尖触发类别；
获取用户选择的指尖触发类别的选项，并根据所述指尖触发类别的选项确定指尖触发类别。
7.一种指尖关键点检测装置，其特征在于，包括：
获取模块，用于获取待检测图像中的人手区域；
手势检测模块，用于对所述人手区域进行手势检测，得到所述人手区域的手势类别；
输出模块，用于响应于所述手势类别为指尖触发类别，输出对所述人手区域进行人手关键点检测得到的、与所述指尖触发类别对应的指尖关键点的位置信息，其中，所述人手关键点包括：指尖关键点，以及与所述指尖关键点位于同一目标手指上的至少一个关键点；
指向确定模块，用于根据所述人手关键点的位置信息，对所述人手关键点进行拟合，得到线条，根据所述线条在所述指尖关键点一侧的延伸方向，确定所述目标手指的指向；
位置确定模块，用于根据所述目标手指的指向、设定长度和所述指尖关键点的位置信息，确定所述指尖关键点所指的位置；
手势检测模块，具体用于：通过手势分类模型对所述人手区域进行手势检测，得到所述人手区域属于指尖触发类别；并且通过人手关键点检测模型对所述人手区域进行人手关键点检测，得到人手关键点的位置信息；响应于所述指尖触发类别的检测精度和所述人手关键点的位置信息的检测精度满足设定要求，确定所述人手区域属于指尖触发类别。
8. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的一种指尖关键点检测方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的一种指尖关键点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010431810.8A CN111625157B (zh) | 2020-05-20 | 2020-05-20 | 指尖关键点检测方法、装置、设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010431810.8A CN111625157B (zh) | 2020-05-20 | 2020-05-20 | 指尖关键点检测方法、装置、设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625157A CN111625157A (zh) | 2020-09-04 |
| CN111625157B true CN111625157B (zh) | 2021-09-17 |
Family
ID=72259960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010431810.8A Active CN111625157B (zh) | 2020-05-20 | 2020-05-20 | 指尖关键点检测方法、装置、设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625157B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112651298A (zh) * | 2020-11-27 | 2021-04-13 | 深圳点猫科技有限公司 | 基于手指关节定位的点读方法、装置、***及介质 |
| CN112558810B (zh) * | 2020-12-11 | 2023-10-03 | 北京百度网讯科技有限公司 | 检测指尖位置的方法、装置、设备和存储介质 |
| CN113065458B (zh) * | 2021-03-29 | 2024-05-28 | 芯算一体(深圳)科技有限公司 | 基于手势识别的投票方法与***、电子设备 |
| CN113792651B (zh) * | 2021-09-13 | 2024-04-05 | 广州广电运通金融电子股份有限公司 | 一种融合手势识别和指尖定位的手势交互方法、设备及介质 |
| CN114170620A (zh) * | 2021-11-05 | 2022-03-11 | 深圳市鸿合创新信息技术有限责任公司 | 手掌位置确定方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809794A (zh) * | 2012-11-13 | 2014-05-21 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
| CN108475145A (zh) * | 2016-01-13 | 2018-08-31 | 精工爱普生株式会社 | 图像识别装置、图像识别方法以及图像识别单元 |
| CN109446994A (zh) * | 2018-10-30 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 手势关键点检测方法、装置、电子设备及存储介质 |
| CN109657537A (zh) * | 2018-11-05 | 2019-04-19 | 北京达佳互联信息技术有限公司 | 基于目标检测的图像识别方法、***和电子设备 |
| CN110516582A (zh) * | 2019-08-22 | 2019-11-29 | 阿依瓦（北京）技术有限公司 | 一种图书点读方法和*** |
| CN110597450A (zh) * | 2019-09-16 | 2019-12-20 | 广东小天才科技有限公司 | 防误触识别方法、装置、点读设备及其点读识别方法 |
| WO2020095876A1 (ja) * | 2018-11-05 | 2020-05-14 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置、数値カウント方法 |
-
2020
- 2020-05-20 CN CN202010431810.8A patent/CN111625157B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809794A (zh) * | 2012-11-13 | 2014-05-21 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
| CN108475145A (zh) * | 2016-01-13 | 2018-08-31 | 精工爱普生株式会社 | 图像识别装置、图像识别方法以及图像识别单元 |
| CN109446994A (zh) * | 2018-10-30 | 2019-03-08 | 北京达佳互联信息技术有限公司 | 手势关键点检测方法、装置、电子设备及存储介质 |
| CN109657537A (zh) * | 2018-11-05 | 2019-04-19 | 北京达佳互联信息技术有限公司 | 基于目标检测的图像识别方法、***和电子设备 |
| WO2020095876A1 (ja) * | 2018-11-05 | 2020-05-14 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置、数値カウント方法 |
| CN110516582A (zh) * | 2019-08-22 | 2019-11-29 | 阿依瓦（北京）技术有限公司 | 一种图书点读方法和*** |
| CN110597450A (zh) * | 2019-09-16 | 2019-12-20 | 广东小天才科技有限公司 | 防误触识别方法、装置、点读设备及其点读识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625157A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625157B (zh) | 指尖关键点检测方法、装置、设备和可读存储介质 | |
| EP3926526A2 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| KR102460737B1 (ko) | 공중 필기 인식을 위한 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체 | |
| RU2711029C2 (ru) | Классификация касаний | |
| US20130229375A1 (en) | Contact Grouping and Gesture Recognition for Surface Computing | |
| CN110659600B (zh) | 物体检测方法、装置及设备 | |
| US9218060B2 (en) | Virtual mouse driving apparatus and virtual mouse simulation method | |
| CN111738072A (zh) | 目标检测模型的训练方法、装置及电子设备 | |
| US20150193040A1 (en) | Hover Angle | |
| CN111708477B (zh) | 按键识别方法、装置、设备以及存储介质 | |
| EP4307096A1 (en) | Key function execution method, apparatus and device, and storage medium | |
| Vivek Veeriah et al. | Robust hand gesture recognition algorithm for simple mouse control | |
| CN112036315A (zh) | 字符识别方法、装置、电子设备及存储介质 | |
| CN110532415B (zh) | 图像搜索处理方法、装置、设备及存储介质 | |
| CN116483246A (zh) | 一种输入控制方法、装置、电子设备及存储介质 | |
| CN106598422B (zh) | 混合操控方法及操控***和电子设备 | |
| CN106569716B (zh) | 单手操控方法及操控*** | |
| Nguyen et al. | Hand segmentation and fingertip tracking from depth camera images using deep convolutional neural network and multi-task segnet | |
| CN110727383A (zh) | 基于小程序的触控交互方法、装置、电子设备与存储介质 | |
| US8749488B2 (en) | Apparatus and method for providing contactless graphic user interface | |
| CN111638787B (zh) | 用于展示信息的方法和装置 | |
| US20220050528A1 (en) | Electronic device for simulating a mouse | |
| Fujiwara et al. | Interactions with a line-follower: An interactive tabletop system with a markerless gesture interface for robot control | |
| CN111507944B (zh) | 皮肤光滑度的确定方法、装置和电子设备 | |
| Ghodichor et al. | Virtual mouse using hand gesture and color detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |