CN101615196A - 千万级一对多人脸识别产品的测试***与测试方法 - Google Patents
千万级一对多人脸识别产品的测试***与测试方法 Download PDFInfo
- Publication number
- CN101615196A CN101615196A CN200910089906A CN200910089906A CN101615196A CN 101615196 A CN101615196 A CN 101615196A CN 200910089906 A CN200910089906 A CN 200910089906A CN 200910089906 A CN200910089906 A CN 200910089906A CN 101615196 A CN101615196 A CN 101615196A
- Authority
- CN
- China
- Prior art keywords
- comparison
- test
- face recognition
- feature templates
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013500 data storage Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 9
- 238000010998 test method Methods 0.000 claims description 7
- 230000008520 organization Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 239000004744 fabric Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000002386 leaching Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明千万级一对多人脸识别产品的测试***,其中特征模板提取单元、图像数据存储单元和模板数据存储单元分别相互连接,比对请求单元与比对单元相连,比对单元与模板数据存储单元和结果数据存储单元分别相互连接。各单元分别为一台计算机或由通过网络连接的多个计算机组成。比对单元设置一对多特征比对模板。本发明还提供了千万级一对多人脸识别产品的测试方法,其优点是:该测试***各单元均是模块化的结构,既独立又可以任意组合、多机多进程并行测试,可扩展性强。采用相同的测试接口协议和比对结果存储协议,一次测试可以获得各阶段(各模块)的测试结果,也可以获取汇总的测试结果,测试千万级一对多人脸识别产品的性能快速、准确、全面。
Description
技术领域
本发明涉及计算机生物特征识别领域,尤其是涉及一种千万级一对多人脸识别产品的测试***与测试方法。
背景技术
随着生物特征技术的发展,人脸识别技术已经从原型***逐渐走向了商用,国内外都出现了专业的商业人脸识别***与产品。人脸识别技术主要包括一对一验证和一对多识别,一对多人脸识别是一个人脸样本与需查询的多(或N)个人脸样本进行比对,根据用户要求返回比对相似度由大到小排序靠前的一个或多个样本。人脸识别技术应用主要包括一对一验证应用和一对多识别应用。
千万级一对多人脸识别产品属于一对多识别应用的一种,其中千万级是指查询名单N为千万的数量级,属于超大数据量的人脸识别***。为保证快速的识别效率,千万级人脸识别产品在软件硬件配置、样本分布、网络环境、比对技术等方面都有区别于一般一对多人脸识别的识别技术和数据管理,因此千万级人脸识别产品是集人脸识别技术、数据库管理、分布式运算、计算机网络等多方面的综合产品。我国由于人口基数大,在公共安全行业需要千万级一对多人脸识别产品。
国内一对多人脸识别产品的测试查询样本通常是十万、百万级,测试样本基本上在单台计算机或服务器上完成,而千万级一对多人脸识别产品一方面由于其识别比对技术复杂,另一方面产品涉及网络、数据库、负载处理等多领域技术,因此在国内外还没有千万级规模的人脸识别产品的测试。
因此,千万级一对多人脸识别产品的测试***和测试方法对快速、准确、全面地反映千万级一对多人脸识别产品的各项性能具有重要意义。
发明内容
本发明的目的在于提供一种千万级一对多人脸识别产品测试***和测试方法,从性能优劣、硬件资源消耗、负载压力及***应用性对不同人脸识别产品进行统一客观的评测,该***在快速完成千万级人脸识别产品的各项测试内容的同时,还可以获得从一百万到一千万的各阶段的各项测试指标。该测试***具有可扩展性,测试样本数可以从几十万、几百万到几千万。
本发明提供的千万级一对多人脸识别产品的测试***,包括计算机结构和数据库结构,所述计算机结构和数据库结构设置:
一个图像数据存储单元及与其相连的图像数据库:用于存储测试人脸识别产品的所有图像样本;
一个模板数据存储单元及与其相连的模板数据库:用于存储被测人脸识别产品生成的特征模板;
一个结果数据存储单元及与其相连的结果数据库:用于存储被测人脸识别产品比对的结果数据;
一个特征模板提取单元:用于提取所述图像数据库中测试图像样本的特征模板,特征模板提取完成后,把特征模板通过所述模板数据存储单元存储到所述模板数据库中;
一个比对请求单元:用于发送查询指令;
一个比对单元:用于将所述模板数据库中的特征模板数据加载到本地内存中,同时接受所述比对请求单元发送的查询指令,在本地进行比对,在比对完成后把比对结果数据通过所述结果数据存储单元存储到所述结果数据库中;
所述特征模板提取单元与所述图像数据存储单元和模板数据存储单元分别相互连接,所述比对请求单元与所述比对单元相连,所述比对单元与所述模板数据存储单元和结果数据存储单元分别相互连接;
其中,所述比对单元设置一对多特征比对模板,所述一对多特征比对模板用于获取至少包括查询时间、内存加载时间、正确报警率、查全率和漏报率的测试指标。
本发明千万级一对多人脸识别测试***,其中所述图像数据存储单元、模板数据存储单元、结果数据存储单元、特征模板提取单元、比对单元、比对请求单元分别为一台计算机或由通过网络连接的多个计算机组成。
本发明千万级一对多人脸识别测试***,其中每个所述特征模板提取单元设置用于同时运行多个建模进程的若干个计算机,每个建模进程分别提取所述图像数据库中被测图像样本的特征模板,并存储到所述模板数据存储单元。
本发明千万级一对多人脸识别测试***,其中所述比对单元存储到所述结果存储单元中的比对结果数据采用统一的比对结果存储协议,包括所有计算机的比对结果数据和汇总后的比对结果数据。
本发明千万级一对多人脸识别测试***的优点是:由于特征模板提取单元和比对单元均由多个计算机组成,在测试过程进行特征模板提取时,采取多机多进程并行运算的模式,而且每个计算机同时运行多个建模进程。在进行特征比对时,采取多机并行比对的方式,比对单元中所有计算机同时进行比对,这大大加快了比对速度。同时,本发明特征模板提取单元和比对单元均是模块化的结构,彼此相互独立,二者可以分开独立运行。在对多个人脸识别产品进行测试过程中,可以在一个被测人脸识别产品在进行特征模板比对时,另外一个被测人脸识别产品进行特征模板提取,又节省了测试时间。由于各个单元都采用独立的模块,因而***灵活、可扩展性强,通过适当减少或增加各个单元计算机数量,可以完成十万级、百万级、千万级的一对多人脸识别产品测试。由于在采用了相同的比对结果存储协议,同时各个比对单元的比对都是独立运行的,因而通过一次测试既可以获得各阶段的测试结果,同时还可以获取汇总的测试结果。
附图说明
下面结合附图对本发明进行进一步的描述。
图1是本发明千万级一对多人脸识别产品的测试***的方框图;
图2是本发明千万级一对多人脸识别产品的测试方法流程图。
具体实施方式
本发明中,人脸识别产品测试的基本术语如下:
1)登录
特征模板提取单元对图像样本进行特征提取的过程。
2)拒登
登录过程中,特征模板提取单元不能正常提取特征。
3)拒登率
拒登次数占登录总数的比例,用百分比表示。
4)登录时间
单次登录所花费的时间,用毫秒表示(ms)。
5)比对
两个人脸特征进行比较的过程。
6)匹配相似度
特征比对的输出结果,代表参与比对的两个特征文件的相似程度。其值用0.00~1.00的单精度浮点数表示,该数字愈大表示比对相似程度愈大,该数字愈小表示比对相似程度愈小。
7)比对时间
单次比对所花费的时间,用毫秒表示(ms)。
8)特征模板大小
单个人脸图像特征模板所占用的存储空间,用字节表示(Byte)。
9)模板加载时间
人脸识别产品从特征模板库中把特征模板加载到本地比对单元计算机内存所花费的时间,用分钟表示。
10)查询时间
输入一个查询样本,在目标集中完成一次查询,并输出比对结果所花费的时间,用毫秒表示(ms)。
11)查中、查全
对于任一个查询样本Pi,目标库中包含同一身份的mi幅照片,查询后返回的前N个查询结果(相似分最大的前N个样本)中包含目标库中同一身份的ni(0≤ni≤mi)幅照片,如果ni≥1则称为查中,如果ni=mi则称为查全。
参照图1,本发明千万级一对多人脸识别产品的测试***中对测试图像样本、特征模板、比对结果数据都采用数据库来存储和管理。本发明千万级一对多人脸识别产品的测试***设置有:
图像数据存储单元1及与其相连的图像数据库10:用于存储测试人脸识别产品所有的图像样本;
模板数据存储单元2及与其相连的模板数据库20:用于存储被测人脸识别产品生成的特征模板;
结果数据存储单元3及与其相连的结果数据库30:用于存储被测人脸识别产品比对的结果数据;
特征模板提取单元4:用于提取图像数据库10中被测图像样本的特征模板,特征模板提取完成后,把特征模板通过模板数据存储单元2存储到模板数据库20中;
比对请求单元6:用于发送比对指令,将比对任务发送到比对单元5;
一个比对单元5:用于将模板数据库20中的特征模板数据加载到本地内存中,同时接受比对请求单元6发送的比对指令,在本地进行比对,在比对完成后把比对结果数据通过结果数据存储单元3存储到结果数据库30中;
特征模板提取单元4与所述图像数据存储单元1和模板数据存储单元2分别相互连接,比对请求单元6与比对单元5相连,比对单元5与模板数据存储单元2和结果数据存储单元3分别相互连接。其中:
每个特征模板提取单元4设置用于同时运行多个建模进程的若干个计算机,每个建模进程分别提取图像数据库10中被测图像样本的特征模板,并存储到模板数据存储单元2中。
比对单元5设置一对多特征比对模板,在一对多特征比对模板的比对过程中,通过记录比对模板加载时间、查询起始时间、查询结束时间,获取包括查询速度、内存加载时间等相关测试指标。比对单元5存储到所述结果存储单元3中的比对结果数据采用统一的比对结果存储协议,包括所有计算机的比对结果数据和汇总后的比对结果数据,在对比对结果进行分析后,获取正确报警率、查全率、漏报率等相关测试指标。
在本发明千万级一对多人脸识别产品的测试***中,图像数据存储单元1、模板数据存储单元2、结果数据存储单元3、特征模板提取单元4、比对单元5、比对请求单元6分别为一台计算机或由通过网络连接的多个计算机组成。
参照图2,本发明千万级一对多人脸识别产品的测试方法包括以下步骤:
●建库步骤40
挑选测试样本,组建测试样本库,并把测试样本库存放到图像数据库中。
●被测产品提交步骤50;
被测产品按照测试协议提交到测试***,测试协议主要包括测试接口协议和比对结果存储协议。
●特征模板提取步骤60;
被测产品对测试样本库中目标库图像进行特征模板提取,并把特征模板存储到模板数据库中;
●特征模板加载步骤70;
被测产品从模板数据库中把特征模板平均加载到比对单元计算机的本地内存;
●比对步骤80;
用待测人脸识别产品对测试样本库进行比对识别,得到比对结果,并把比对结果存储到结果数据库中。
●结果统计步骤90;
对比对步骤生成的比对结果进行统计,计算测试指标,绘制性能曲线。
本发明中特征模板提取单元4中所有计算机都通过FRCreateTemplate接口协议从图像数据存储单元1相连的图像数据库10中获取被测图像样本,并生成特征模板,比对请求单元6通过FRGetCode接口协议获取被测人脸识别算法或产品的代码,通过FRLoadGallery接口协议驱动比对单元5从模板数据单元2中加载特征模板数据,并通过FR1ToNMatching接口协议发送比对请求,驱动比对单元5进行比对。
如图2所示结合图1,下面以对两个一对多人脸识别产品的测试实施例来说明本发明千万级一对多人脸识别产品的测试过程。
在步骤40中,首先建立测试样本库,并把测试样本输入到图1中图像数据存储单元1相连的图像数据库10中。建立测试样本库,首先把测试样本库分为目标库、查询库A和查询库B三部分,然后把查询库A中被测人员的图像在去相关性后均匀分布在目标库中。其中目标库是已知身份人员图像库。查询库A和查询库B是两个不同的测试子集,它们提供给人脸识别产品进行识别测试的图像子库。查询库A中被测人员必须在目标库中至少有一幅图像,即查询库A人员是目标库中人员的一部分。查询库B中被测人员必须保证不在目标库内,即查询库B人员和目标库中所有人员互不包含。
在步骤50中,被测的人脸识别产品按照测试协议提交到测试***,并在测试***上进行参数配置。测试协议主要包括测试接口协议和结果数据存储协议。测试接口协议如下表所示:
名称 | 说明 | 返回值 |
FRGetCode | 人脸识别产品标识,测试前预先分配给厂家的编号 | 识别算法标识 |
FRCreateTemplate | 从图像样本文件中提取特征,形成特征模板文件,并把生成的特征模板文件存储到模板数据库中 | 返回样本质量评估分,负数表示抽取特征失败 |
FR1ToNMatching | 输入的一个图像样本文件和加载到比对单元本地内存的多个特征模板文件进行一对多比对,并把比对结果按照比对结果存储协议输出到结果数据库中 | 成功返回1,失败返回错误码 |
FRLoadGallery | 服务程序,把目标库特征模板加载到比对单元本地内存中 | 模板数和模板加载需要的时间 |
在步骤60中,被测人脸识别产品开始进行特征模板提取过程。针对千万级这样大规模的测试,***采用多机多进程并行的方式进行特征模板提取以加快建模速度。如图1所示,特征模板提取单元4的每个计算机同时运行多个建模进程,每个建模进程从图像数据存储单元1相连的图像数据库10中获取所有目标库图像数据,并调用被测产品的模板特征提取接口(FRCreateTemplat),把图像数据传递给被测产品,被测产品在特征提取完成后,把特征模板数据文件存储到模数据存储单元3相连的模板数据库30中。如果特征模板提取单元有M个计算机,每个计算机同时运行N个建模进程,每个建模进程每秒平均进行抽取特征模板数目为P个,那么整个建模服务器平均每秒建模数目为N×M×P个。在建模过程中,不同的人脸识别产品由于对***硬件资源有不同的消耗,再加上数据库流量、网络速度的制约,不同的人脸识别产品每秒建模总数目N×M×P会有一个峰值,该值越大,建模速度越快。
在特征模板提取过程中,记录登录总时间、登录的图像总数、测试样本库的图像总数目、总登录次数、特征模板所占用的存储空间,为计算据的入库率、登录时间、模板大小等指标作准备。
在步骤70中,被测人脸识别产品进行特征模板加载,加载过程如下:
在图1中,比对请求单元6调用服务接口(FRLoadGallery),使被测产品首先驱动比对单元5,从模板数据库20中把将要进行一对多比对的目标库特征模板平均加载到比对单元5中每个比对计算机本地的内存中。特征模板加载到比对单元计算机本地内存的过程中,要求被测产品把特征模板均匀分配到各个比对计算机本地内存中。
加载完成后,被测人脸识别产品正式接受比对请求单元6提交的一对多请求。在特征模板加载过程中记录特征模板加载时间来计算***模板加载指标。
在步骤80中,被测人脸识别产品进行比对查询,比对过程如下:
在图1中,比对请求单元6首先从图像数据库10中把需要比对的查询库A和查询库B中的图像数据下载下来,然后调用一对多比对接口(FR1To1Matching),把该图像数据传递给被测产品,被测产品在接收到图像数据后,首先进行特征提取,然后调用比对单元5把待比对的该图像的特征模板和比对单元5中5各个比对计算机本地内存中加载的特征模板进行一对多比对,并在一对多比对结束后,把比对单元5中各个比对计算机中各自的比对结果和汇总后的比对结果写入结果数据存储单元3,并存储到结果数据库30中。
假设特征模板数据有M个,比对单元有N个比对计算机,则每个比对计算机加载模板数目为M/N个,比对步骤完成后,生产的比对结果有N+1个,其中各个比对计算机独立的比对结果有N个,最终的比对结果有一个。在进行结果分析时,如果只统计各个独立的比对结果,可以得到在M/N规模图像数据的测试结果;如果统计任意两个比对计算机的比对结果,可以得到2M/N规模图像数据的测试结果;同样如果统计任意P(P<N)个比对计算机的比对结果,可以得到PM/N规模图像数据的测试结果;如果统计所有N个比对计算机的比对结果,可以得到M规模图像数据的测试结果。因而,通过这种阶段性测试的方法,一次测试可以得到任意子规模图像数据的测试结果。
为了便于对比对结果数据进行管理,要求所有被测人脸识别产品生成的比对结果按照比对结果存储协议规定的数据结构存储,详见下表所示:
描述 | 值 | 数据类型 | 字节数 |
文件标识 | FRT_FLAG | char | 8 |
厂商编号 | 0000~9999 | char | 4 |
相似值总数 | M(相似度总数为M) | unsigned long | 8 |
Top1_T_ID | 记录号(相似度排名第一的图像的ID记录号) | long | 8 |
相似分 | (相似度排名第一的相似度分数) | float | sizeof(float) |
… | … | ||
TopM_T_ID | 记录号(相似度排名第M的图像的ID记录号) | long | 8 |
相似分 | (相似度排名第M的相似度分数) | float | sizeof(float) |
文件标识 | FRT_FLAG | char | 8 |
其中,相似度取值范围为一个0~1.00的浮点数,输出文件大小是:24+M*(sizeof(float)+8)个字节。
在一对多比对过程中记录查询总时间、查询总次数为计算查询速度、入库率等指标做准备。
在步骤90中,对在上述步骤60,70,80过程中记录的相关数据和对比对后的比对结果进行分析,统计比对单元中各个比对计算机的比对结果,并计算相应的测试指标、绘制相应性能曲线;统计比对单元中任意两个比对计算机的汇总结果,并计算相应的测试指标、绘制相应性能曲线;依此类推,统计比对单元中任意三个、…、和所有比对计算机的汇总结果,并计算相应的测试指标、绘制相应性能曲线。
相关测试指标公式如下所示:
1)登录时间=登录总时间/总的登录次数(登录时间精确到0.1ms)
2)查询时间=查询总时间/总的查询次数
3)入库率=登录成功的图像总数目/总的图像数目×100%
4)模板内存大小
单个特征模板占用的内存数目,单位字节。
5)首选识别率
首选识别率=同一个人的两幅不同图像匹配相似度值排在第一位的次数/总的查询次数×100%
6)N选识别率
N选识别率=同一个人的两幅不同图像匹配相似度值排在前N位的次数/总的查询次数×100%
7)查全率
查全率=查中次数/总的查询次数×100%。
8)正确报警率
正确报警率=***正确报警的次数/总报警次数×100%
9)漏报率
漏报率=查询集A中没有报警的人数/查询集A中的人数×100%
以下是本实施例对两个一对多人脸识别产品的测试结果:
指标 | 产品1 | 产品2 |
入库率 | 98.97% | 99.99% |
建模时间 | 0.45264秒/幅 | 0.55584秒/幅 |
模板大小 | 5912字节 | 5844字节 |
模板加载时间 | 2小时19分钟 | 1小时34分钟 |
查询速度 | 1585.7毫秒 | 329.3秒 |
识别率:
项目 | 首选识别率 | 5选识别率 | 10选识别率 | 20选识别率 | 50选识别率 | 100选识别率 |
产品1 | 66.73% | 72.54% | 74.68% | 76.77% | 79.48% | 81.47% |
产品2 | 92.81% | 94.53% | 94.97% | 95.39% | 95.87% | 96.16% |
查全率:
项目 | 5选查全率 | 10选查全率 | 20选查全率 | 50选查全率 | 100选查全率 |
产品1 | 72.54% | 74.68% | 76.77% | 79.48% | 81.47% |
产品2 | 96.60% | 97.65% | 0.9805% | 0.9887% | 0.9943% |
正确报警率:
项目 | 错误报警率在1%时正确报警率 | 错误报警率在1%时正确报警率 | 错误报警率在1%时正确报警率 | 错误报警率在1%时正确报警率 | 错误报警率在1%时正确报警率 |
产品1 | 30.390% | 41.692% | 48.102% | 52.755% | 56.323% |
产品2 | 87.558% | 88.727% | 89.317% | 89.804% | 90.184% |
本发明中特征模板提取单元和比对单元均由多个计算机组成,测试过程中进行特征模板提取时,采取多机多进程并行运算的模式,而且每个计算机同时运行多个建模进程;在进行特征比对时,采取多机并行比对的方式,比对单元中所有计算机同时进行比对,这大大加快了比对速度。同时,本发明特征模板提取单元和比对单元均是模块化的结构,彼此相互独立,二者可以分开独立运行。在对多个人脸识别产品进行测试过程中,可以在一个被测人脸识别产品在进行特征模板比对时,另外一个被测人脸识别产品进行特征模板提取,又节省了测试时间。
本发明中的测试方法中由于查询库A中对应人员的图像样本均匀分布在目标库中,在特征模板加载到本地内存时,比对单元各个比对计算机平均加载目标库对应的所有特征模板,比对单元各个计算机生成本地比对结果和汇总后的比对结果。在进行比对结果统计时,可用统计比对单元中各个比对计算机的比对结果、统计任意两个比对计算机的汇总结果、任意三个、…、和所有比对计算机的汇总结果,并计算相应的测试指标、绘制相应性能曲线。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的构思和范围进行限定,在不脱离本发明设计方案前提下,本领域中普通工程技术人员对本发明的技术方案做出的各种变型和改进,均应落入本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。
Claims (9)
1.一种千万级一对多人脸识别产品的测试***,包括计算机结构和数据库结构,其特征在于,所述计算机结构和数据库结构设置:
一个图像数据存储单元(1)及与其相连的图像数据库(10):用于存储测试人脸识别产品的所有图像样本;
一个模板数据存储单元(2)及与其相连的模板数据库(20):用于存储被测人脸识别产品生成的特征模板;
一个结果数据存储单元(3)及与其相连的结果数据库(30):用于存储被测人脸识别产品比对的结果数据;
一个特征模板提取单元(4):用于提取所述图像数据库(10)中被测图像样本的特征模板,特征模板提取完成后,把特征模板通过所述模板数据存储单元(2)存储到所述模板数据库(20)中;
一个比对请求单元(6):用于发送比对指令;
一个比对单元(5):用于将所述模板数据库(20)中的特征模板数据装载到本地内存中,同时接受所述比对请求单元(6)发送的比对指令,在本地进行比对,在比对完成后把比对结果数据通过所述结果数据存储单元(3)存储到所述结果数据库(30)中;
所述特征模板提取单元(4)与所述图像数据存储单元(1)和模板数据存储单元(2)分别相互连接,所述比对请求单元(6)与所述比对单元(5)相连,所述比对单元(5)与所述模板数据存储单元(2)和结果数据存储单元(3)分别相互连接;
其中,所述比对单元(5)设置一对多特征比对模板,所述一对多特征比对模板用于获取至少包括查询速度、内存加载时间、正确报警率、查全率和漏报率的测试指标。
2.根据权利要求1所述的千万级一对多人脸识别产品的测试结构,其特征在于,图像数据存储单元(1)、模板数据存储单元(2)、结果数据存储单元(3)、特征模板提取单元(4)、比对单元(5)、比对请求单元(6)分别为一台计算机或由通过网络连接的多个计算机组成。
3.根据权利要求1或2所述的千万级一对多人脸识别产品的测试***,其特征在于,其中每个所述特征模板提取单元(4)设置用于同时运行多个建模进程的若干个计算机,每个建模进程分别提取所述图像数据库(10)中被测图像样本的特征模板,并存储到所述模板数据存储单元(2)。
4.根据权利要求3所述的千万级一对多人脸识别产品的测试***,其特征在于,其中所述比对单元(5)存储到所述结果存储单元(3)中的比对结果数据按照比对结果协议规定采用统一数据结构存储包括所有计算机的比对结果数据和汇总后的比对结果数据。
5.一种千万级一对多人脸识别产品的测试方法,包括:
建库步骤,挑选测试样本,组件测试样本库,并把测试样本库存放到图像数据库中;
被测产品提交步骤,被测产品按照测试协议提交到测试***,测试协议主要包括测试接口协议和比对结果存储协议;
特征模板提取步骤,被测产品对测试样本库中目标库图像进行特征模板提取,并把特征模板存储到模板数据库中;
特征模板加载步骤,被测产品从模板数据库中把特征模板平均加载到比对单元计算机的本地内存;
比对步骤,用待测人脸识别产品对测试样本库进行比对,得到比对结果,并把比对结果存储到结果数据库中;
结果统计步骤,对比对步骤生成的比对结果进行统计,计算测试指标,绘制性能曲线。
6.根据权力要求5所述的千万级一对多人脸识别产品测试方法,其特征在于:在所述建库步骤中,所述测试样本库设置目标库、查询库A和查询库B,查询库A中被测人员至少有一幅图像在目标库中,查询库B中被测人员不在目标库内,查询库A中被测人员的图像在去相关性后均匀分布在目标库中。
7.根据权力要求6所述的千万级一对多人脸识别产品测试方法,其特征在于:在所述特征模板加载步骤中,被测产品的特征模板均匀分配到各个比对计算机本地内存中。
8.根据权力要求7所述的千万级一对多人脸识别产品测试方法,其特征在于:在所述比对步骤中,比对单元中每个比对计算机把各自的比对结果和总汇后的比对结果按照测比对结果存储协议规定的数据结构存储到结果数据存储单元中的结果数据库中。
9.根据权力要求8所述的千万级一对多人脸识别产品测试方法,其特征在于:在所述结果统计步骤中统计比对单元中各个比对计算机的比对结果,并计算相应的测试指标、绘制相应性能曲线;统计比对单元中任意两个比对计算机的汇总结果,并计算相应的测试指标、绘制相应性能曲线;依次类推,统计所有比对计算机的汇总结果,并计算相应的测试指标、绘制相应性能曲线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910089906A CN101615196A (zh) | 2009-07-28 | 2009-07-28 | 千万级一对多人脸识别产品的测试***与测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910089906A CN101615196A (zh) | 2009-07-28 | 2009-07-28 | 千万级一对多人脸识别产品的测试***与测试方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101615196A true CN101615196A (zh) | 2009-12-30 |
Family
ID=41494838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910089906A Pending CN101615196A (zh) | 2009-07-28 | 2009-07-28 | 千万级一对多人脸识别产品的测试***与测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101615196A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591863A (zh) * | 2011-01-06 | 2012-07-18 | 上海银晨智能识别科技有限公司 | 比对***中的数据处理方法及装置 |
CN103810663A (zh) * | 2013-11-18 | 2014-05-21 | 北京航天金盾科技有限公司 | 一种基于人像识别的人口数据清理方法 |
CN104097611A (zh) * | 2014-07-30 | 2014-10-15 | 中山艺展装饰工程有限公司 | 基于人脸识别技术多重身份验证的汽车防盗*** |
CN104298753A (zh) * | 2014-10-17 | 2015-01-21 | 重庆市云日信息技术有限公司 | 基于人脸图像处理的人才测评方法 |
CN104866839A (zh) * | 2015-06-03 | 2015-08-26 | 北京释码大华科技有限公司 | 一种用于测试虹膜识别设备性能的测试装置和方法 |
CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
CN107977647A (zh) * | 2017-12-20 | 2018-05-01 | 上海依图网络科技有限公司 | 一种适合公安实战的人脸识别算法评测方法 |
CN108235769A (zh) * | 2018-01-15 | 2018-06-29 | 福建联迪商用设备有限公司 | 一种人脸识别设备的性能测试方法及测试装置 |
CN108874657A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 对人脸识别主机进行测试的方法、装置及计算机存储介质 |
CN109446081A (zh) * | 2018-10-22 | 2019-03-08 | 江苏满运软件科技有限公司 | 用于html5网页的测试方法、***、设备以及介质 |
CN109492523A (zh) * | 2018-09-17 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 人脸识别***性能测试方法、装置、设备和存储介质 |
CN109558833A (zh) * | 2018-11-28 | 2019-04-02 | 厦门市巨龙信息科技有限公司 | 一种人脸识别算法评测方法以及装置 |
CN109740457A (zh) * | 2018-12-20 | 2019-05-10 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
CN109783692A (zh) * | 2019-01-08 | 2019-05-21 | 深圳英飞拓科技股份有限公司 | 一种快数据和慢数据结合的目标特征码比对方法和装置 |
CN113255599A (zh) * | 2021-06-29 | 2021-08-13 | 成都考拉悠然科技有限公司 | 一种自定义人流量测试人脸布控率***及其方法 |
WO2022001096A1 (zh) * | 2020-06-30 | 2022-01-06 | 公安部第三研究所 | 一种面向人脸识别设备检测的人脸测试数据库管理***及方法 |
CN115601799A (zh) * | 2022-09-09 | 2023-01-13 | 广州市盛通建设工程质量检测有限公司(Cn) | 一种基于人脸识别的评测方法、***、设备及存储介质 |
-
2009
- 2009-07-28 CN CN200910089906A patent/CN101615196A/zh active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591863A (zh) * | 2011-01-06 | 2012-07-18 | 上海银晨智能识别科技有限公司 | 比对***中的数据处理方法及装置 |
CN103810663A (zh) * | 2013-11-18 | 2014-05-21 | 北京航天金盾科技有限公司 | 一种基于人像识别的人口数据清理方法 |
CN103810663B (zh) * | 2013-11-18 | 2017-09-26 | 北京航天金盾科技有限公司 | 一种基于人像识别的人口数据清理方法 |
CN104097611A (zh) * | 2014-07-30 | 2014-10-15 | 中山艺展装饰工程有限公司 | 基于人脸识别技术多重身份验证的汽车防盗*** |
CN104298753A (zh) * | 2014-10-17 | 2015-01-21 | 重庆市云日信息技术有限公司 | 基于人脸图像处理的人才测评方法 |
CN104298753B (zh) * | 2014-10-17 | 2017-07-28 | 重庆市云日信息技术有限公司 | 基于人脸图像处理的人才测评方法 |
CN104866839A (zh) * | 2015-06-03 | 2015-08-26 | 北京释码大华科技有限公司 | 一种用于测试虹膜识别设备性能的测试装置和方法 |
CN106778684A (zh) * | 2017-01-12 | 2017-05-31 | 易视腾科技股份有限公司 | 深度神经网络训练方法及人脸识别方法 |
CN108874657A (zh) * | 2017-07-18 | 2018-11-23 | 北京旷视科技有限公司 | 对人脸识别主机进行测试的方法、装置及计算机存储介质 |
CN107977647A (zh) * | 2017-12-20 | 2018-05-01 | 上海依图网络科技有限公司 | 一种适合公安实战的人脸识别算法评测方法 |
CN107977647B (zh) * | 2017-12-20 | 2020-09-04 | 上海依图网络科技有限公司 | 一种适合公安实战的人脸识别算法评测方法 |
CN108235769B (zh) * | 2018-01-15 | 2020-01-21 | 福建联迪商用设备有限公司 | 一种人脸识别设备的性能测试方法及测试装置 |
CN108235769A (zh) * | 2018-01-15 | 2018-06-29 | 福建联迪商用设备有限公司 | 一种人脸识别设备的性能测试方法及测试装置 |
CN109492523A (zh) * | 2018-09-17 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 人脸识别***性能测试方法、装置、设备和存储介质 |
CN109446081A (zh) * | 2018-10-22 | 2019-03-08 | 江苏满运软件科技有限公司 | 用于html5网页的测试方法、***、设备以及介质 |
CN109558833A (zh) * | 2018-11-28 | 2019-04-02 | 厦门市巨龙信息科技有限公司 | 一种人脸识别算法评测方法以及装置 |
CN109740457B (zh) * | 2018-12-20 | 2021-07-13 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
CN109740457A (zh) * | 2018-12-20 | 2019-05-10 | 杭州当虹科技股份有限公司 | 一种人脸识别算法评测方法 |
CN109783692A (zh) * | 2019-01-08 | 2019-05-21 | 深圳英飞拓科技股份有限公司 | 一种快数据和慢数据结合的目标特征码比对方法和装置 |
CN109783692B (zh) * | 2019-01-08 | 2021-12-31 | 深圳英飞拓科技股份有限公司 | 一种快数据和慢数据结合的目标特征码比对方法和装置 |
WO2022001096A1 (zh) * | 2020-06-30 | 2022-01-06 | 公安部第三研究所 | 一种面向人脸识别设备检测的人脸测试数据库管理***及方法 |
CN113255599A (zh) * | 2021-06-29 | 2021-08-13 | 成都考拉悠然科技有限公司 | 一种自定义人流量测试人脸布控率***及其方法 |
CN115601799A (zh) * | 2022-09-09 | 2023-01-13 | 广州市盛通建设工程质量检测有限公司(Cn) | 一种基于人脸识别的评测方法、***、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101615196A (zh) | 千万级一对多人脸识别产品的测试***与测试方法 | |
CN110471949B (zh) | 数据血缘分析方法、装置、***、服务器及存储介质 | |
CN112100219B (zh) | 基于数据库查询处理的报表生成方法、装置、设备和介质 | |
Jiang et al. | Dimboost: Boosting gradient boosting decision tree to higher dimensions | |
CN104572122A (zh) | 一种软件应用数据的生成装置及方法 | |
CN112882699B (zh) | 基于流程配置引擎的业务处理方法、装置、设备及介质 | |
CN101908015A (zh) | 一种基于构件生成测试案例的装置及方法 | |
CN114119058B (zh) | 用户画像模型的构建方法、设备及存储介质 | |
KR101035038B1 (ko) | 분류기의 동적 결합에 의한 대용량 분류기 자동 생성 시스템 및 방법 | |
CN109740129B (zh) | 基于区块链的报表生成方法、装置、设备及可读存储介质 | |
CN115760258A (zh) | 投标文件智能生成方法、***、计算机装置和存储介质 | |
CN112667612A (zh) | 一种数据质量检核方法、装置、电子设备及存储介质 | |
CN113672692B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN114741368A (zh) | 基于人工智能的日志数据统计方法及相关设备 | |
CN112860850B (zh) | 人机交互方法、装置、设备及存储介质 | |
CN112527813A (zh) | 业务***的数据处理方法及装置、电子设备、存储介质 | |
CA3144122A1 (en) | Data verifying method, device and system | |
CN111723129B (zh) | 报表生成方法、报表生成装置和电子设备 | |
CN114691768A (zh) | 一种数据处理方法、核算***及相关设备 | |
CN113849520A (zh) | 异常sql的智能识别方法、装置、电子设备及存储介质 | |
CN111859985A (zh) | Ai客服模型测试方法、装置、电子设备及存储介质 | |
CN111753331B (zh) | 数据漂白方法和装置 | |
CN114219652A (zh) | 一种风险加权资产计量方法、装置、设备及可读储存介质 | |
CN118331732A (zh) | 任务的执行方法及装置、电子设备及存储介质 | |
CN113919696A (zh) | 基于住建大数据的项目全生命周期预警方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20091230 |