CN109740457A - 一种人脸识别算法评测方法 - Google Patents
一种人脸识别算法评测方法 Download PDFInfo
- Publication number
- CN109740457A CN109740457A CN201811566144.8A CN201811566144A CN109740457A CN 109740457 A CN109740457 A CN 109740457A CN 201811566144 A CN201811566144 A CN 201811566144A CN 109740457 A CN109740457 A CN 109740457A
- Authority
- CN
- China
- Prior art keywords
- face
- mark
- module
- data
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸识别算法评测方法。它对接所测试的算法***,对人脸数据进行标注修正确认,并给出测试报告,具体操作步骤如下:(1)被测人脸算法***输出各测试素材的人脸信息;(2)通过输入模块对接被测人脸算法***,读取算法识别出的各测试素材的人脸信息;(3)通过推荐模块对算法检测出的所有人脸的名称进行推荐标注;(4)通过修正模块对被测人脸算法***输出数据的修正操作;(5)通过数据统计模块统计被测人脸算法***精准度相关数据。本发明的有益效果是:测试过程中测试素材可以灵活添加不受限,减少了算法测试的环节和人力投入,极大提升算法测试的效率。
Description
技术领域
本发明涉及应用人脸识别能力相关技术领域,尤其是指一种人脸识别算法评测方法。
背景技术
不同的人脸识别算法,在人脸的识别提取上具有不同的能力水平。为了评估算法的能力水平,需要使用大量已标注过人脸信息的素材来测试算法,通过比对算法识别提取出的人脸信息跟事先标注的人脸信息,评估出算法的能力水平。
针对每个测试素材需要标注的人脸信息包括视频里有哪些人脸,每个人脸出现在哪些镜头里等。因为视频文件的海量以及视频内容的丰富性,人脸标注工作是一个耗时耗力但又不可少的环节。目前除了人工标注视频人脸信息,已有一些半自动化的方法,如:基于海量人脸数据库进行人脸提取和自动聚类推荐,再人工排错确认形成一份准确的标识文件。半自动化标注的方法减少了人工一张张标注人脸的低效,但不管是人工标注还是半自动化标注,都需要在算法测试前完成测试视频的人脸标注工作;如果测试过程中需要添加新的测试素材,得先停止测试工作花时间标注完视频的人脸信息再继续测试。
发明内容
本发明是为了克服现有技术中存在上述的不足,提供了一种提升算法测试效率的人脸识别算法评测方法。
为了实现上述目的,本发明采用以下技术方案:
一种人脸识别算法评测方法,对接所测试的算法***,对人脸数据进行标注修正确认,并给出测试报告,具体操作步骤如下:
(1)被测人脸算法***输出各测试素材的人脸信息;
(2)通过输入模块对接被测人脸算法***,读取算法识别出的各测试素材的人脸信息;
(3)通过推荐模块对算法检测出的所有人脸的名称进行推荐标注;
(4)通过修正模块对被测人脸算法***输出数据的修正操作;
(5)通过数据统计模块统计被测人脸算法***精准度相关数据。
对于算法来说,因为算法自身能力的局限,从测试素材里检测出的人脸可能不是真人脸,有些人脸可能未被检测出来;对于检测出的人脸,算法本身并不能识别出每张脸具体是谁,只有结合海量的人脸库数据,通过相似度比对,才能识别出每张脸具体是谁,并且识别结果也可能是错的。因此算法提取的人脸信息都需要进行确认,不管是通过人工确认还是通过人脸标识文件进行比对确认。对于传统的人脸标注***,人工标注一张张脸耗时耗力;半自动化标注先聚类后人工排错需要有专门的聚类和排错操作。上面两种方法,都需要在测试之前针对每个测试素材专门标注生成一份人工标注文件;在测试过程中需要增加新测试素材的话,需要等这些测试文件标注完后测试才能继续,人力和效率上都存在很大的浪费。本发明不需要在测试前先完成测试素材的人脸标注工作,只要在算法测试过程中,基于算法的人脸识别结果,结合***的自动推荐功能,增加一小部分人力进行人脸信息的标注和修正,在测试后即可给出算法能力的各类指标值,又可自动生成一份针对视频素材的人脸标识文件,因此测试过程中测试素材可以灵活添加不受限,减少了算法测试的环节和人力投入,极大提升算法测试的效率。
作为优选,在步骤(2)中,在输入模块里,如果给每个测试素材配置了对应的人脸标识文件,直接执行步骤(5),数据统计模块即可汇总统计出该素材的算法测试报告;如果不给每个测试素材配置了对应的人脸标识文件,则执行步骤(3)。
作为优选,在步骤(3)中,从被测人脸算法***获取的人脸信息,如果不带有人名标识,则在推荐模块进行一张张脸名称的标注和确认;如果人脸已带有人名标识,则在推荐模块进行确认操作;标注和确认的过程中推荐模块会进行人脸名称的动态推荐,以减少标注的工作量。
作为优选,推荐模块进行标注和确认的具体流程如下:
(a)试人员标注确认完一张没有名称的人脸的名称;
(b)***自动比对所有未标注或未确认的人脸和该刚标注确认完的人脸的相似度,如果相似度大于指定阈值,则自动将这些未标注或未确认的相似度大于指定阈值的人脸名称标注为刚标注确认完的人脸名称;对于之前已确认完的人脸信息,则不再进行动态推荐修改;
(c)测试人员对已有人名推荐但未确认的人脸进行确认:如果已有名称是错误的,则进行修改确认;如果已有名称是对的,只需要确认即可;
(d)如果已有名称是错误的,在测试人员进行修改确认后,***执行步骤(b);
(e)重复上述步骤完成所有人脸的标注确认。
作为优选,在步骤(4)中,当测试人员在修正模块里对人脸信息进行修正时,***会记录每项操作并分析其性质:(i)标识为非人脸的操作,记录为错误识别;(ii)添加操作记录为漏识;(iii)删除操作记录为多识别;(iv)修改操作记录为错误识别;修正完成后,即可得到被测人脸算法***针对该测试素材的漏识、错识、多识数据;同时得到一份准确的人脸标识文件。
作为优选,得到的人脸标识文件后续在输入模块里进行输入,当测试人员再对对应视频素材进行测试时,不需要再在修正模块里进行人脸删除、添加、修改操作,此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档。
作为优选,在步骤(5)中,数据统计模块针对一个具体的测试素材,主要计算逻辑如下:
1)读取修正模块对该素材的修正数据,即漏识、错识、多识数据;
2)读取该素材的人脸标识文件;
3)比对算法的识别结果和标注文件的不同数据,计算出精准度数值;
4)比对***里保存的旧版本的精准度数据,输出新旧版本的精准度数据和比较结果。
作为优选,在步骤2)中,人脸标识文件为在输入模块里输入人脸标识文件,或者是修正模块里生成的人脸标注文件。
本发明的有益效果是:测试过程中测试素材可以灵活添加不受限,减少了算法测试的环节和人力投入,极大提升算法测试的效率。
附图说明
图1是本发明的方法流程图;
图2是推荐模块中标注和确认的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中,一种人脸识别算法评测方法,对接所测试的算法***,对人脸数据进行标注修正确认,并给出测试报告,具体操作步骤如下:
(1)被测人脸算法***输出各测试素材的人脸信息;
(2)通过输入模块对接被测人脸算法***,读取算法识别出的各测试素材的人脸信息;在输入模块里,如果给每个测试素材配置了对应的人脸标识文件,直接执行步骤(5),数据统计模块即可汇总统计出该素材的算法测试报告;如果不给每个测试素材配置了对应的人脸标识文件,则执行步骤(3);
因为本方法的主要发明内容就是不需要提前提供视频的人脸标识文件,所以输入模块里并不需要针对每个测试素材配置人脸标识文件。
(3)通过推荐模块对算法检测出的所有人脸的名称进行推荐标注;从被测人脸算法***获取的人脸信息,如果不带有人名标识,则在推荐模块进行一张张脸名称的标注和确认;如果人脸已带有人名标识,则在推荐模块进行确认操作;标注和确认的过程中推荐模块会进行人脸名称的动态推荐,以减少标注的工作量;
其中,如图2所示,推荐模块进行标注和确认的具体流程如下:
(a)试人员标注确认完一张没有名称的人脸的名称;
(b)***自动比对所有未标注或未确认的人脸和该刚标注确认完的人脸的相似度,如果相似度大于指定阈值,则自动将这些未标注或未确认的相似度大于指定阈值的人脸名称标注为刚标注确认完的人脸名称;对于之前已确认完的人脸信息,则不再进行动态推荐修改;
(c)测试人员对已有人名推荐但未确认的人脸进行确认:如果已有名称是错误的,则进行修改确认;如果已有名称是对的,只需要确认即可;
(d)如果已有名称是错误的,在测试人员进行修改确认后,***执行步骤(b);
(e)重复上述步骤完成所有人脸的标注确认。
(4)通过修正模块对被测人脸算法***输出数据的修正操作;通过推荐模块,人脸都有了名称,但人脸有可能是少的,可能不是真人脸,出现的时间片段可能是不对的等,修正模块即实现了对被测***输出的人脸信息进行修正的功能。(i)对于错识为人脸的非人脸,标记为非人脸;(ii)对于漏识的人脸,进行添加;(iii)对于重复识别的人脸,进行删除;(iv)对于不准确的时间片段信息,进行修改。相对于已有的纯人脸标注***和测试***,修正模块是结合了测试和标注的关键点,因为修正模块是对被测人脸算法***输出数据的修正操作,如果被测***的精准度越高,则输出数据的准确性越高,需要的人工修正的工作量就越少。当被测***的精准度很差时,只要进行粗略的人脸校对即可了解***精准度的大体水平,没必要事先标注好人脸信息进行测试,因此只有当***精准度达到一定水平后,才有必要预先标注人脸信息进行精准测试。
当测试人员在修正模块里对人脸信息进行修正时,***会记录每项操作并分析其性质:(i)标识为非人脸的操作,记录为错误识别;(ii)添加操作记录为漏识;(iii)删除操作记录为多识别;(iv)修改操作记录为错误识别;修正完成后,即可得到被测人脸算法***针对该测试素材的漏识、错识、多识数据;同时得到一份准确的人脸标识文件;得到的人脸标识文件后续在输入模块里进行输入,当测试人员再对对应视频素材进行测试时,不需要再在修正模块里进行人脸删除、添加、修改操作,此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档;
(5)通过数据统计模块统计被测人脸算法***精准度相关数据;
其中,数据统计模块针对一个具体的测试素材,主要计算逻辑如下:
1)读取修正模块对该素材的修正数据,即漏识、错识、多识数据;
2)读取该素材的人脸标识文件;人脸标识文件为在输入模块里输入人脸标识文件,或者是修正模块里生成的人脸标注文件;
3)比对算法的识别结果和标注文件的不同数据,计算出精准度数值;
4)比对***里保存的旧版本的精准度数据,输出新旧版本的精准度数据和比较结果。
对于算法来说,因为算法自身能力的局限,从测试素材里检测出的人脸可能不是真人脸,有些人脸可能未被检测出来;对于检测出的人脸,算法本身并不能识别出每张脸具体是谁,只有结合海量的人脸库数据,通过相似度比对,才能识别出每张脸具体是谁,并且识别结果也可能是错的。因此算法提取的人脸信息都需要进行确认,不管是通过人工确认还是通过人脸标识文件进行比对确认。
对于传统的人脸标注***,人工标注一张张脸耗时耗力;半自动化标注先聚类后人工排错需要有专门的聚类和排错操作。上面两种方法,都需要在测试之前针对每个测试素材专门标注生成一份人工标注文件;在测试过程中需要增加新测试素材的话,需要等这些测试文件标注完后测试才能继续,人力和效率上都存在很大的浪费。
相对于传统流程,本发明可以减少环节,减少人力,提高测试的效率:
1.在标识确认人脸信息的过程中,***可以动态推荐生成人脸的人名信息,人工简单标注确认即可。
2.在测试的过程中,基于被测***的输出,通过一小部分人工修正工作,即可在完成测试的同时生成一份测试素材的人工标注文件。
3.基于不同的算法精准度测试需求,推荐模块和修正模块可以增加更多维度的推荐和修正,能力扩展灵活。
本发明不需要在测试前先完成测试素材的人脸标注工作,只要在算法测试过程中,基于算法的人脸识别结果,结合***的自动推荐功能,增加一小部分人力进行人脸信息的标注和修正,在测试后即可给出算法能力的各类指标值,又可自动生成一份针对视频素材的人脸标识文件,因此测试过程中测试素材可以灵活添加不受限,减少了算法测试的环节和人力投入,极大提升算法测试的效率。
Claims (8)
1.一种人脸识别算法评测方法,其特征是,对接所测试的算法***,对人脸数据进行标注修正确认,并给出测试报告,具体操作步骤如下:
(1)被测人脸算法***输出各测试素材的人脸信息;
(2)通过输入模块对接被测人脸算法***,读取算法识别出的各测试素材的人脸信息;
(3)通过推荐模块对算法检测出的所有人脸的名称进行推荐标注;
(4)通过修正模块对被测人脸算法***输出数据的修正操作;
(5)通过数据统计模块统计被测人脸算法***精准度相关数据。
2.根据权利要求1所述的一种人脸识别算法评测方法,其特征是,在步骤(2)中,在输入模块里,如果给每个测试素材配置了对应的人脸标识文件,直接执行步骤(5),数据统计模块即可汇总统计出该素材的算法测试报告;如果不给每个测试素材配置了对应的人脸标识文件,则执行步骤(3)。
3.根据权利要求1所述的一种人脸识别算法评测方法,其特征是,在步骤(3)中,从被测人脸算法***获取的人脸信息,如果不带有人名标识,则在推荐模块进行一张张脸名称的标注和确认;如果人脸已带有人名标识,则在推荐模块进行确认操作;标注和确认的过程中推荐模块会进行人脸名称的动态推荐,以减少标注的工作量。
4.根据权利要求3所述的一种人脸识别算法评测方法,其特征是,推荐模块进行标注和确认的具体流程如下:
(a)试人员标注确认完一张没有名称的人脸的名称;
(b)***自动比对所有未标注或未确认的人脸和该刚标注确认完的人脸的相似度,如果相似度大于指定阈值,则自动将这些未标注或未确认的相似度大于指定阈值的人脸名称标注为刚标注确认完的人脸名称;对于之前已确认完的人脸信息,则不再进行动态推荐修改;
(c)测试人员对已有人名推荐但未确认的人脸进行确认:如果已有名称是错误的,则进行修改确认;如果已有名称是对的,只需要确认即可;
(d)如果已有名称是错误的,在测试人员进行修改确认后,***执行步骤(b);
(e)重复上述步骤完成所有人脸的标注确认。
5.根据权利要求1所述的一种人脸识别算法评测方法,其特征是,在步骤(4)中,当测试人员在修正模块里对人脸信息进行修正时,***会记录每项操作并分析其性质:(i)标识为非人脸的操作,记录为错误识别;(ii)添加操作记录为漏识;(iii)删除操作记录为多识别;(iv)修改操作记录为错误识别;修正完成后,即可得到被测人脸算法***针对该测试素材的漏识、错识、多识数据;同时得到一份准确的人脸标识文件。
6.根据权利要求5所述的一种人脸识别算法评测方法,其特征是,得到的人脸标识文件后续在输入模块里进行输入,当测试人员再对对应视频素材进行测试时,不需要再在修正模块里进行人脸删除、添加、修改操作,此人脸标识文件同时也是数据统计模块统计精准度的基准数据文档。
7.根据权利要求1所述的一种人脸识别算法评测方法,其特征是,在步骤(5)中,数据统计模块针对一个具体的测试素材,主要计算逻辑如下:
1)读取修正模块对该素材的修正数据,即漏识、错识、多识数据;
2)读取该素材的人脸标识文件;
3)比对算法的识别结果和标注文件的不同数据,计算出精准度数值;
4)比对***里保存的旧版本的精准度数据,输出新旧版本的精准度数据和比较结果。
8.根据权利要求7所述的一种人脸识别算法评测方法,其特征是,在步骤2)中,人脸标识文件为在输入模块里输入人脸标识文件,或者是修正模块里生成的人脸标注文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811566144.8A CN109740457B (zh) | 2018-12-20 | 2018-12-20 | 一种人脸识别算法评测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811566144.8A CN109740457B (zh) | 2018-12-20 | 2018-12-20 | 一种人脸识别算法评测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740457A true CN109740457A (zh) | 2019-05-10 |
CN109740457B CN109740457B (zh) | 2021-07-13 |
Family
ID=66360826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811566144.8A Active CN109740457B (zh) | 2018-12-20 | 2018-12-20 | 一种人脸识别算法评测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740457B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110276331A (zh) * | 2019-06-28 | 2019-09-24 | 四川长虹电器股份有限公司 | 人像识别结果的检查修正方法 |
CN110287356A (zh) * | 2019-05-16 | 2019-09-27 | 罗普特科技集团股份有限公司 | 一种用于人脸识别算法引擎的评测、调用方法和*** |
CN110991314A (zh) * | 2019-11-28 | 2020-04-10 | 北京以萨技术股份有限公司 | 一种基于人脸聚类精准度的测试方法及*** |
CN111625470A (zh) * | 2020-06-12 | 2020-09-04 | 杭州当虹科技股份有限公司 | 一种基于算法的静态比对测试方法 |
CN111639298A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种生物特征识别算法的跑批检验方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测***的评测方法及评测*** |
CN101615196A (zh) * | 2009-07-28 | 2009-12-30 | 公安部第一研究所 | 千万级一对多人脸识别产品的测试***与测试方法 |
CN102880634A (zh) * | 2012-07-30 | 2013-01-16 | 成都西可科技有限公司 | 基于云的智能人脸识别检索方法 |
US20150199561A1 (en) * | 2014-01-16 | 2015-07-16 | Electronics And Telecommunications Research Institute | System and method for evaluating face recognition performance of service robot using ultra high definition facial video database |
CN107977647A (zh) * | 2017-12-20 | 2018-05-01 | 上海依图网络科技有限公司 | 一种适合公安实战的人脸识别算法评测方法 |
CN108875474A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 评估人脸识别算法的方法、装置及计算机存储介质 |
-
2018
- 2018-12-20 CN CN201811566144.8A patent/CN109740457B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1808465A (zh) * | 2005-01-21 | 2006-07-26 | 中国科学院计算技术研究所 | 一种人脸检测***的评测方法及评测*** |
CN101615196A (zh) * | 2009-07-28 | 2009-12-30 | 公安部第一研究所 | 千万级一对多人脸识别产品的测试***与测试方法 |
CN102880634A (zh) * | 2012-07-30 | 2013-01-16 | 成都西可科技有限公司 | 基于云的智能人脸识别检索方法 |
US20150199561A1 (en) * | 2014-01-16 | 2015-07-16 | Electronics And Telecommunications Research Institute | System and method for evaluating face recognition performance of service robot using ultra high definition facial video database |
CN108875474A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 评估人脸识别算法的方法、装置及计算机存储介质 |
CN107977647A (zh) * | 2017-12-20 | 2018-05-01 | 上海依图网络科技有限公司 | 一种适合公安实战的人脸识别算法评测方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287356A (zh) * | 2019-05-16 | 2019-09-27 | 罗普特科技集团股份有限公司 | 一种用于人脸识别算法引擎的评测、调用方法和*** |
WO2020228129A1 (zh) * | 2019-05-16 | 2020-11-19 | 罗普特科技集团股份有限公司 | 一种用于人脸识别算法引擎的评测、调用方法和*** |
CN110276331A (zh) * | 2019-06-28 | 2019-09-24 | 四川长虹电器股份有限公司 | 人像识别结果的检查修正方法 |
CN110991314A (zh) * | 2019-11-28 | 2020-04-10 | 北京以萨技术股份有限公司 | 一种基于人脸聚类精准度的测试方法及*** |
CN110991314B (zh) * | 2019-11-28 | 2023-11-10 | 以萨技术股份有限公司 | 一种基于人脸聚类精准度的测试方法及*** |
CN111639298A (zh) * | 2020-05-15 | 2020-09-08 | 圣点世纪科技股份有限公司 | 一种生物特征识别算法的跑批检验方法 |
CN111639298B (zh) * | 2020-05-15 | 2023-06-20 | 圣点世纪科技股份有限公司 | 一种生物特征识别算法的跑批检验方法 |
CN111625470A (zh) * | 2020-06-12 | 2020-09-04 | 杭州当虹科技股份有限公司 | 一种基于算法的静态比对测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109740457B (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740457A (zh) | 一种人脸识别算法评测方法 | |
CN105975604B (zh) | 一种分布迭代式数据处理程序异常检测与诊断方法 | |
CN109584882B (zh) | 一种针对特定场景的语音转文字的优化方法及*** | |
CN102682760B (zh) | 重叠语音检测方法和*** | |
CN103761331B (zh) | 一种用于图纸数据的处理***及其处理方法 | |
CN110347988B (zh) | 一种工程监理的模板建立方法及*** | |
SE0702459L (sv) | Diagnostisk och i prognostisk metod samt tillhörande system | |
CN105373472B (zh) | 一种基于数据库的统计准确性的测试方法及测试*** | |
CN104268134A (zh) | 一种主客观分类器构建方法和*** | |
CN105022984A (zh) | 指纹采集方法、指纹比对方法、指纹识别装置和*** | |
CN105468468A (zh) | 面向问答***的数据纠错方法及装置 | |
CN107004141A (zh) | 对大样本组的高效标注 | |
CN102521080A (zh) | 电力用户用电信息采集***的计算机数据修复方法 | |
CN111127068A (zh) | 一种工程量清单自动组价方法和装置 | |
CN115630621A (zh) | 一种基于pdf财务数据报表的数据采集、处理的方法及*** | |
CN115374091A (zh) | 一种分布式新能源出力数据质量提升方法和*** | |
CN113841156B (zh) | 基于图像识别的控制方法与装置 | |
CN102043720A (zh) | 利用sql语句自动生成测试数据的方法和装置 | |
CN105373473B (zh) | 基于原始信令解码的cdr准确性测试方法及测试*** | |
CN117216264A (zh) | 一种基于bert算法的机床设备故障分析方法和*** | |
CN115127856B (zh) | 一种混凝土试块抗压试验机器人取样识别的方法及装置 | |
CN106250390A (zh) | 一种分步自动生成sql语言的方法及装置 | |
CN114741474B (zh) | 应用于项目申报***中的数据处理方法 | |
CN111753541B (zh) | 一种对于合同文本数据进行自然语言处理nlp的方法及*** | |
CN111400644B (zh) | 一种用于实验室分析样品的计算处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |