CN112446362B - 人脸图片档案处理方法及设备 - Google Patents
人脸图片档案处理方法及设备 Download PDFInfo
- Publication number
- CN112446362B CN112446362B CN202011488873.3A CN202011488873A CN112446362B CN 112446362 B CN112446362 B CN 112446362B CN 202011488873 A CN202011488873 A CN 202011488873A CN 112446362 B CN112446362 B CN 112446362B
- Authority
- CN
- China
- Prior art keywords
- personnel
- characteristic information
- picture
- clustering
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种人脸图片档案处理方案，该方案可以将待归档的人脸图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述人脸图片进行初步归档，将归档成功的人脸图片与对应的人员档案关联，然后从归档失败的人脸图片中确定优质图片和一般图片，并在满足不同的处理条件时，分别对人脸图片进行不同程度的处理，由此优化了人员档案的建立过程，即使处于连续大规模人像抓拍这类复杂场景下，也可以通过在不同处理条件下采用不同程度的处理，在确保方案性能没有明显下降的前提下，降低了整个处理过程的复杂度。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种人脸图片档案处理方法及设备。
背景技术
当前针对人流量较大的场景下，人们会部署很需要摄像头用来协助管理，但是这种协助往往需要大量人力来进行监控与排查，随着人工智能技术的发展，视觉***也向智能化发展，如果计算机能够自动将获得的人脸图像归类建立成人员档案，我们就可以利用相关经验和技术，对大规模人群进行快速的综合治理。
当前常见的建立人员档案的方法，主要着眼于人脸图片的特征信息，将人脸图片中的人像特征向量直接进行一次或多次聚类算法得到类簇，将每个类簇建立为一个人员档案。然而聚类算法的复杂度通常随场景复杂度，成指数级增长，使功能实现的成本难以承担，而拆分场景，又会使功能的精度下降。
发明内容
本申请实施例提供了一种人脸图片档案处理方法及设备，以解决聚类算法在复杂场景下处理复杂度较高的问题。
为实现上述目的，本申请提供了一种人脸图片档案处理方法，该方法包括：
将待归档的人脸图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述人脸图片进行初步归档，将归档成功的人脸图片与对应的人员档案关联；
从归档失败的人脸图片中确定优质图片和一般图片；
当满足第一处理条件时，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案；
当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联；
当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
进一步地，该方法还包括：
当满足第二处理条件时，对人员档案的特征信息进行中心校正，更新所述人员档案的特征信息。
进一步地，对人员档案的特征信息进行中心校正，更新所述人员档案的特征信息，包括：
获取人员档案关联的所有人脸图片的特征信息；
对所述人员档案关联的所有人脸图片的特征信息进行归一化计算，获得所述人员档案的特征信息。
进一步地，当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联之后，还包括：
根据特征信息对归档失败的一般图片进行聚类，并根据聚类获得的类簇生成人员档案。
进一步地，从归档失败的人脸图片中确定优质图片和一般图片，包括：
确定归档失败的人脸图片的属性信息，其中，所述属性信息至少包括清晰度、人员姿态和/或人员遮挡情况；
将属性信息符合预设条件的人脸图片确定为优质图片，其余归档失败的人脸图片确定为一般图片。
进一步地，当满足第一处理条件时，对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案，包括：
将所述优质图片的特征信息缓存于缓冲池中；
当检测到缓冲池满时，确定满足第一处理条件，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案。
进一步地，当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联，包括：
当检测到达到预设时间间隔时，确定满足第二处理条件，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联，其中，所述预设时间间隔根据业务允许的最大时长确定。
进一步地，当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息，包括：
当检测到当前处于业务空闲时段时，确定满足第三处理条件，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
进一步地，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息，包括：
根据特征信息对人员档案进行聚类，聚类获得的每个类簇中至少包括一个人员档案；
对于每个类簇，保留其中权重最大的人员档案；
将每个类簇中所有人员档案的特征信息的平均值确定为保留的人员档案的特征信息，并将每个类簇中所有人员档案的权重之和确定为保留的人员档案的权重。
基于本申请的另一方面，还提供了一种人脸图片档案处理设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行所述人脸图片档案处理方法。
此外，本申请还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述人脸图片档案处理方法。
相较于现有技术，本申请实施例提供的人脸图片档案处理方案中，首先可以将待归档的人脸图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述人脸图片进行初步归档，将归档成功的人脸图片与对应的人员档案关联，并且从归档失败的人脸图片中确定优质图片和一般图片，然后在满足不同的处理条件时，分别进行不同程度的处理。其中，当满足第一处理条件时，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案；当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联；当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。由此，优化了人员档案的建立过程，即使处于连续大规模人像抓拍这类复杂场景下，也可以通过在不同处理条件下采用不同程度的处理，在确保方案性能没有明显下降的前提下，降低了整个处理过程的复杂度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种人脸图片档案处理方法的处理流程图；
图2为本申请实施例中优质图片的聚类结果示意图；
图3为本申请实施例中人员档案分布情况示意图；
图4为本申请实施例中人员档案收敛后的情况示意图；
图5为采用本申请实施例提供的方案来建立人员档案时的处理过程示意图；
图6为本申请实施例所采用的一种中心校正方案的处理流程图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机程序指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例提供了一种人脸图片档案处理方法，该方法可以在满足不同的处理条件时，分别对人脸图片进行不同程度的处理，由此优化了人员档案的建立过程，即使处于连续大规模人像抓拍这类复杂场景下，也可以通过在不同处理条件下采用不同程度的处理，在确保方案性能没有明显下降的前提下，降低了整个处理过程的复杂度。
在实际场景中，该方法的执行主体可以是用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序。所述用户设备包括但不限于计算机、手机、平板电脑等各类终端设备；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图1示出了本申请实施例提供的一种人脸图片档案处理方法，该方法至少包括以下处理步骤：
步骤S101，将待归档的人脸图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述人脸图片进行初步归档，将归档成功的人脸图片与对应的人员档案关联。
其中，待归档的人脸图片是根据应用场景中的各类方式所获取到的需要进行归档的人脸图片。例如，在连续大规模人像抓拍场景中，所述待归档的人脸图片即为摄像头抓拍到的各个人脸图片。对于这些待归档的人脸图片可以先识别出其中的脸部图像部分，然后提取脸部图像部分的特征，作为该人脸图片的特征信息。其中，具体的特征信息可以是眼睛、鼻子、嘴巴等各个关键点的位置关系、或者是脸部图像部分中各个区域的灰度信息等所形成的特征向量。
所述人员档案对应于某一个人员，例如人员A的所有人脸图片都可以关联至其对应的人员档案，每个人员档案可以分配一个档案标识以便于记录。例如，对于人员A其对应的人员档案的档案标识可以是Doc-A。人员档案的特征信息可以基于属于该人员档案的人脸图片的特征信综合确定，例如可以采用加权计算的方式，基于该人员档案的多张人脸图片计算获得该人员档案的特征信息。
在实际场景中，用于进行对比的已有的人员档案可以来自于人员库中，人员库可以包括基础库和虚拟库。其中，基础库是使用预置的人脸图片所构建的人员档案的集合，可以来自于其它第三方的一些基础图片数据。而虚拟库是本方案所处理的人脸图片所构建而成档案的集合。
对于某一张人脸图片P1，若其特征信息与已有的某一个人员档案Doc-A的特征信息对比后，两者的相似度高于阈值，则可以确定对比结果为两者匹配，表示该人脸图片是属于已经建立过档案的某一个人员A。由此，可以确定该人脸图片P1成功归档，将其与对应的人脸档案Doc-A关联，具体的方式可以是为该人脸图片P1记录对应的档案标识Doc-A，然后存入数据库或磁盘，持久化保存。
逐一遍历所有待归档的人脸图片，即可完成初步归档，其中成功归档的人脸图片都可以入库保存，而归档失败的人脸图片，则继续后续的处理。
步骤S102，从归档失败的人脸图片中确定优质图片和一般图片。由于后续需要对优质图片和一般图片需要利用其特征信息进行聚类和对比，因此优质图片和一般图片的划分可以基于提取准确特征信息的难度来确定，容易提取到准确的特征信息的图片，则可以确定为优质图片，而难以提取到准确的特征信息的图片，则可以确定为一般图片。
在本申请的一些实施例中，可以采用结构化的算法解析确定归档失败的人脸图片的属性信息，这些属性信息可以包括清晰度、人员姿态和/或人员遮挡情况，然后将属性信息符合预设条件的人脸图片确定为优质图片，其余归档失败的人脸图片确定为一般图片。其中，清晰度越高、人员姿态越正对镜头、脸部遮挡越少的人脸图片，越容易提取到准确的特征信息，因此被确定为优质图片的可能性也越高。实际场景中，根据需要选择其中一种或多种具体的属性信息作为判断的依据，而当采用多种属性信息时，可以为每种属性信息设定不同的权重，结合实际的属性信息以及对应的权重，综合计算出每个归档失败的人脸图片的评分，将评分高于阈值的人脸图片确定为优质图片，其余的则作为一般图片。
步骤S103，当满足第一处理条件时，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案。
其中，第一处理条件可以设定为一个较为容易触发的条件，以实现对优质图片的准实时处理。例如，在本申请的一些实施例中，可以将所述优质图片的特征信息缓存于缓冲池中，根据缓冲池的当前剩余空间来判断是否满足第一处理条件。由此，当检测到缓冲池满时确定满足第一处理条件，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案。
例如，对于优质图片P2-P10通过聚类形成了3个类簇C1、C2和C3，如图2所示，由此可以生成三个新的人员档案Doc-B、Doc-C、Doc-D，分别对应于人员B、C和D。由此可知，在本实施例的方案中，优质图片P2-P4被判断为是属于人员B的人脸图片，优质图片P5-P8被判断为是属于人员C的人脸图片，而优质图片P9、P10则被判断为是属于人员D的人脸图片。所述人员档案在生成之后，其对应的人脸图片同样可以存入数据库或磁盘中，进行持久化的保存。
步骤S104，当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联。
所述第二处理条件可以设定为一个相对较难触发的条件，例如可以使其触发周期大于第一触发条件，以实现中等时间间隔的后处理功能。在本申请的一些实施例中，可预先根据业务允许的最大时长确定一个预设时间间隔，其中业务允许的最大时长可以根据本方案的实际应用场景中所涉及的处理业务确定，例如，若连续大规模人像抓拍场景中，对抓拍到的人脸图片的入库时间进行了限制，规定了抓拍到的人脸图片必须要在某一时长内保存至数据库，由此可以根据该时长确定一个业务允许的最大时长，然后进一步设定本方案中所使用的预设时间间隔。例如，业务允许的最大时长是1小时，则可以将预设时间间隔设定为30分钟、40分钟或者50分钟等。
由此，在本方案开始处理后每次达到该预设时间间隔时，都可以判断为满足第二处理条件。此时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联。
其中，二次归档时的具体处理方式与初次归档时类似，区别在于点在于在进行二次归档时是基于一般图片的特征信息与已有的人员档案的特征信息进行对比，而非所有待归档的人脸图片，并且此时已有的人员档案也已经与初次归档时发生了变化。类似地，对于在二次归档中成功归档的一般图片，可以与将其与对应的人脸档案关联，然后存入数据库或磁盘，持久化保存。
在实际场景中，进行二次归档时所使用的一般图片的特征信息可以预先存入特定的数据库或者磁盘中的特定存储位置，以便于在满足第二处理条件时可以快速调取并使用。例如，可以在满足第一处理条件时，同时将一般图片的特征信息存入数据库或者磁盘中，而在满足第二处理条件时，从数据库或磁盘中调取一般图片的特征信息进行对比来完成二次归档。
步骤S105，当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
所述第三处理条件可以设定为一个具有较长周期触发的条件，使其触发周期长于第一触发条件和第二触发条件。在本申请的一些实施例中，检测当前的业务状态，当检测到当前处于业务空闲时段时，确定满足第三处理条件，从而根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
其中，业务空闲时段是指没有业务或者仅有少量的业务正在处理的时间段，实际场景中，可以通过检测处理设备的负载确定，当负载小于预设值时，确定当前处于业务空闲时段，反之若负载大于等于预设值时，则确定不处于业务空闲时段。或者，可以根据实际场景中业务周期性特征设定特定的时间段为业务空闲时间段，例如对于地铁站入口处的人脸抓拍场景而言，地铁站关闭后将不会有人员被抓拍到，则可以将地铁站关闭的时间段设定为业务空闲时间段。
由于在实际场景中，因不同拍摄角度、遮挡情况、清晰度等属性信息的不同，可能会导致同一人员的不同人脸照片会提取出差别较大的特征信息，由此导致同一人员建立了多份人员档案。此时，可以通过在业务空闲时段对人员档案进行聚类处理，从而收敛人员档案，使得冗余的人员档案能够被剔除，提高建档的准确性。
本申请的一些实施例中，在收敛人员档案时，可以先根据特征信息对人员档案进行聚类，聚类获得的每个类簇中至少包括一个人员档案。例如对于图3所示的7个人员档案，对其进行聚类后，可以获得4个类簇，其中人员档案Doc-A、Doc-B和Doc-C为一个类簇，Doc-D为一个类簇，Doc-E为一个类簇，Doc-F和Doc-G为一个类簇。
对于每一个类簇，保留其中权重最大的人员档案，以上述4个列簇为例，由于在Doc-A、Doc-B和Doc-C中，人员档案Doc-A的权重最大，则该类簇可以保留该人员档案Doc-A，而在包括Doc-F和Doc-G的类簇中则可以保留权重较高的人员档案Doc-G，此外，在另外两个类簇中由于只有一个人员档案直接保留即可。
然后，将每个类簇中所有人员档案的特征信息的平均值确定为保留的人员档案的特征信息，并将每个类簇中所有人员档案的权重之和确定为保留的人员档案的权重。由此，该保留的人员档案即为更新后的人员档案，例如对图3所示的人员档案进行处理后，即可获得如图4所示的处理结果，人员档案Doc-B、Doc-C和Doc-F不再保留，其相关的特征信息和权重被合并至人员档案Doc-A和Doc-G中，以用于下一次的处理。
其中，人员档案的权重可以根据实际场景的处理需求来设定，例如新生成的人员档案的权重，可以根据其生成时所包含人脸图片的数量和/或质量确定权重。在新生成一个人员档案时，若其中包含的人脸图片数量越多、质量(优质图片的占比等)越高，可以为其设定越高的权重，例如在步骤S103中根据特征信息对所述优质图片进行聚类所生成人员档案，可以将其初始权重设定为1。反之，则为其设定越低的权重，例如若是根据特征信息对一般图片进行聚类所生成人员档案，则可以将其初始权重设定为0。对于已存在的人员档案，则可以根据后续归档至该人员档案的人脸图片的数量和质量，再对权重进行调整。
本方案在进行人脸图片档案处理的过程中，随着时间的推移，会不断有新拍摄到的人脸图片作为待归档的人脸图片输入。因此，人员档案中也会不断有新的人脸图片被归入，从而导致人员档案中的人脸图片发生变化。因此，可以定期对人员档案的特征信息进行中心校正，更新所述人员档案的特征信息，使得人员档案的特征信息更加准确，同时也可以使得同一人员多对应的不同人员档案的特征信息更加接近，提升聚类效果。
由此，本申请实施例还提供了另一种人脸图片档案处理方法，该方法在满足第二处理条件时，还可以对人员档案的特征信息进行中心校正，更新所述人员档案的特征信息。
其中，进行中心校正的具体方式可以先获取人员档案关联的人脸图片的特征信息，然后对所述人员档案关联的所有人脸图片的特征信息进行归一化计算，获得所述人员档案的特征信息。例如，下表1示出了某一个人员档案多次执行中心校正时的相关信息：
表1
在第n-1次执行中心校正后，该人员档案的特征信息为Tn-1，权重为Nn-1。在下一个预设时间间隔期间内，归档至该人员档案的人脸图片的数量为i，这些新归档的人脸图片的特征信息分别为c1/c2/c3/…/ci，由此第n次执行中心校正后，可以分别计算出此时的人员档案的特征信息Tn和权重为Nn:
Tn＝归一化((c1+c2+c3+…+ci+Tn-1×Nn-1×x)/(i+Nn-1×x))
Nn＝i+Nn-1×x
继续在下一个预设时间间隔期间内，归档至该人员档案的人脸图片的数量为j，这些新归档的人脸图片的特征信息分别为d1/d2/d3/…/cj，由此第n+1次执行中心校正后，可以分别计算出此时的人员档案的特征信息Tn+1和权重为Nn+1:
Tn+1＝归一化((d1+d2+d3+…+dj+Tn×Nn×x)/(j+Nn×x))
Nn+1＝j+Nn×x
其中，x为权重常量，根据执行中心校正前人员档案中已有的人脸图片的情况确定。在本申请的另一些实施中，执行中心校正时，也可以仅考虑人员档案中的优质图片，即基于人员档案中优质图片的特征信息进行中心校正，更新所述人员档案的特征信息。
此外，在本申请的另一些实施例中，当满足第二处理条件，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联之后，还可以根据特征信息对归档失败的一般图片进行聚类，并根据聚类获得的类簇生成人员档案。
本次聚类与前述步骤S103中对优质图片进行聚类的方式类似，区别在于聚类时输入的图片不同，并且图片数据来源的时间跨度更大。由于在实际场景中，本次聚类使用的是二次归档后仍未成功归档的一般图片，其图片质量相较于优质图片更低，基于类似方式聚类获得的人员档案对于最终建档结果的影响也相对更小，因此可以根据实际业务的需要选择是否对二次归档失败的一般图片进行聚类。若选择进行聚类，形成的人员档案的初始权重可以设定为0。
图5示出了采用本申请实施例提供的方案来建立人员档案时的处理过程，该处理过程包括了四个阶段的处理，具体如下：
1、实时处理：
1.1对抓拍到的人脸图片进行实时归档，归档过程即为前述人脸图片与人员库中已有的人员档案进行特征对比的过程。对于归档成功的人脸图片，记录对应的人员档案标识，将结果上报，并入库保存。对于归档失败的人脸图片，则在准实时处理阶段进行处理。
2、准实时处理：
2.1根据缓冲池中的数据量确定是否执行准实时处理。对于归档失败的人脸图片，可以将其分为优质图片和一般图片。对于优质图片，会将其的特征信息存于缓冲池中，缓冲池大小根据业务量和处理设备的算力设定，当缓冲池满后，触发准实时处理，对缓冲池中数据执行聚类算法，根据聚类结果，生成新的人员档案，上报并入库保存。此处生成的人员档案的权重可以设定为1。
2.2对于一般图片，在准实时处理阶段会将其存入后处理库。
3、中等时长处理：
3.1在业务允许的最大时长内执行中等时长处理。对于本方案生成的人员档案，按图6所示的方式执行库中心校正，从计算各个人员档案内优质图片加权的平均特征中心，作为新的特征信息。此外，特征中心需执行归一化计算，使新的特征向量长度为1。图6所示的中心校正方案一下步骤：
步骤S601，读取抓拍库，获取上次中心校正时间点以来的所有优质图片。
步骤S602，遍历虚拟库，获取每个人员档案的特征信息和记录数，记录数为该人员档案中的包含的人脸图片的数量。
步骤S603，将每个人员档案中新增优质图片的特征信息和历史优质图片的特征信息进行运算后，返回新的特征信息和记录数。
步骤S604，更新虚拟库中对应的人员档案的特征值和记录数。
3.2对准实时处理阶段存入后处理库的一般图片，执行二次归档，完成此类数据的归档。具体流程为：从后处理库中依次提取无档案标识的一般图片的特征信息，与人员库中的人员档案进行特征信息对比，根据对比结果进行归档。归档成功的一般图片记录对应档案标识，将结果上报，并入库保存。
3.3对仍未归档成功的一般图片，执行离线聚类，生成人员档案，上报并入库保存。此处生成的人员档案的权重可以设定为0。
4、业务闲时处理：
4.1在整个***业务空闲时段，安排执行虚拟库收敛。对于因不同拍摄条件导致的一人存在多份人员档案的情况，在经过多次中心校正后，相同人员的不同人员档案的特征信息会变得更加接近，因此定期执行虚拟库收敛，可以有效减少虚拟库中冗余的人员档案。执行虚拟库收敛时，首先将虚拟库中所有人员档案的特征信息进行聚类运算，形成多个类簇，仅保留类簇中权重最大的人员档案，并将类簇中所有人员档案合并计算出的平均特征作为保留的人员档案的新特征信息，将所有人员档案的权重之和作为保留的人员档案的权重。
由此，在连续大规模人像抓拍场景下，可以提高单张抓拍图片的处理速度，建立的人像档案特征代表性更强，整个***的精度指标随时间增长的同时，没有带来明显的性能下降。
此外，本申请实施例还提供了人脸图片档案处理设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的人脸图片档案处理方法。
特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被处理单元执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个计算机程序指令，所述计算机程序指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。此外，用于标识步骤的数字也并不限定任何步骤之间的先后执行顺序。
Claims (9)
1.一种人脸图片档案处理方法，其中，该方法包括：
将待归档的人脸图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述人脸图片进行初步归档，将归档成功的人脸图片与对应的人员档案关联；
从归档失败的人脸图片中确定优质图片和一般图片；
当满足第一处理条件时，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案；
当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联，获取人员档案关联的所有人脸图片的特征信息，对所述人员档案关联的所有人脸图片的特征信息进行归一化计算，获得所述人员档案的特征信息；
当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
2.根据权利要求1所述的方法，其中，当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联之后，还包括：
根据特征信息对归档失败的一般图片进行聚类，并根据聚类获得的类簇生成人员档案。
3.根据权利要求1所述的方法，其中，从归档失败的人脸图片中确定优质图片和一般图片，包括：
确定归档失败的人脸图片的属性信息，其中，所述属性信息至少包括清晰度、人员姿态和/或人员遮挡情况；
将属性信息符合预设条件的人脸图片确定为优质图片，其余归档失败的人脸图片确定为一般图片。
4.根据权利要求1所述的方法，其中，当满足第一处理条件时，对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案，包括：
将所述优质图片的特征信息缓存于缓冲池中；
当检测到缓冲池满时，确定满足第一处理条件，根据特征信息对所述优质图片进行聚类，并根据聚类获得的类簇生成人员档案。
5.根据权利要求1所述的方法，其中，当满足第二处理条件时，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联，包括：
当检测到达到预设时间间隔时，确定满足第二处理条件，将所述一般图片的特征信息与已有的人员档案的特征信息进行对比，根据对比结果对所述一般图片进行二次归档，将归档成功的一般图片与对应的人员档案关联，其中，所述预设时间间隔根据业务允许的最大时长确定。
6.根据权利要求1所述的方法，其中，当满足第三处理条件时，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息，包括：
当检测到当前处于业务空闲时段时，确定满足第三处理条件，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息。
7.根据权利要求1所述的方法，其中，根据特征信息对人员档案进行聚类，根据聚类获得的类簇更新人员档案以及所述人员档案的特征信息，包括：
根据特征信息对人员档案进行聚类，聚类获得的每个类簇中至少包括一个人员档案；
对于每个类簇，保留其中权重最大的人员档案；
将每个类簇中所有人员档案的特征信息的平均值确定为保留的人员档案的特征信息，并将每个类簇中所有人员档案的权重之和确定为保留的人员档案的权重。
8.一种人脸图片档案处理设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至7中任一项所述的方法。
9.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488873.3A CN112446362B (zh) | 2020-12-16 | 2020-12-16 | 人脸图片档案处理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011488873.3A CN112446362B (zh) | 2020-12-16 | 2020-12-16 | 人脸图片档案处理方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112446362A CN112446362A (zh) | 2021-03-05 |
| CN112446362B true CN112446362B (zh) | 2022-07-22 |
Family
ID=74739133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011488873.3A Active CN112446362B (zh) | 2020-12-16 | 2020-12-16 | 人脸图片档案处理方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112446362B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114492678A (zh) * | 2022-04-13 | 2022-05-13 | 深圳前海中电慧安科技有限公司 | 一种人像聚类建档方法、装置、设备及存储介质 |
| CN117058434A (zh) * | 2023-07-03 | 2023-11-14 | 北京瑞莱智慧科技有限公司 | 基于多算法引擎的人员聚档方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875522B (zh) * | 2017-12-21 | 2022-06-10 | 北京旷视科技有限公司 | 人脸聚类方法、装置和***及存储介质 |
| CN108875778A (zh) * | 2018-05-04 | 2018-11-23 | 北京旷视科技有限公司 | 人脸聚类方法、装置、***和存储介质 |
| CN110750670B (zh) * | 2019-09-05 | 2022-04-19 | 北京旷视科技有限公司 | 陌生人监控方法、装置、***和存储介质 |
| CN110968719B (zh) * | 2019-11-25 | 2023-04-18 | 浙江大华技术股份有限公司 | 一种人脸聚类方法及装置 |
| CN111046235B (zh) * | 2019-11-28 | 2022-06-14 | 福建亿榕信息技术有限公司 | 基于人脸识别的声像档案搜索方法、***、设备及介质 |
| CN111144366A (zh) * | 2019-12-31 | 2020-05-12 | 中国电子科技集团公司信息科学研究院 | 一种基于联合人脸质量评估的陌生人脸聚类方法 |
| CN111242040B (zh) * | 2020-01-15 | 2022-08-02 | 佳都科技集团股份有限公司 | 一种动态人脸聚类方法、装置、设备和存储介质 |
| CN111488943A (zh) * | 2020-04-16 | 2020-08-04 | 上海芯翌智能科技有限公司 | 人脸识别的方法及设备 |
| CN111522980A (zh) * | 2020-04-26 | 2020-08-11 | 深圳惟远智能技术有限公司 | 一种海量数据下基于档案的快速搜索方法 |
| CN112270290B (zh) * | 2020-11-10 | 2022-08-02 | 佳都科技集团股份有限公司 | 人脸图像动态聚类方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-16 CN CN202011488873.3A patent/CN112446362B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 基于二分Ｋ均值聚类算法的数字档案优化;陈鹏等;《气象科技》;20191231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112446362A (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112446362B (zh) | 人脸图片档案处理方法及设备 | |
| WO2020056903A1 (zh) | 用于生成信息的方法和装置 | |
| CN110765134A (zh) | 档案建立方法、设备及存储介质 | |
| CN101860731A (zh) | 视频信息处理方法、***及服务器 | |
| US20070025593A1 (en) | Automated searching for probable matches in a video surveillance system | |
| US20230300428A1 (en) | Method and apparatus for recognizing video clip, device, and storage medium | |
| US8610788B2 (en) | Content storage management in cameras | |
| EP3707612B1 (en) | Duplicative data detection | |
| CN112954450A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| WO2023273628A1 (zh) | 一种视频循环识别方法、装置、计算机设备及存储介质 | |
| US20210343042A1 (en) | Audio acquisition device positioning method and apparatus, and speaker recognition method and system | |
| KR102187741B1 (ko) | 메타데이터 크라우드 소싱 시스템 및 방법 | |
| CN109784217A (zh) | 一种监控方法及装置 | |
| CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
| US11916908B2 (en) | Method and system for performing an authentication and authorization operation on video data using a data processing unit | |
| JP2021535508A (ja) | 顔認識において偽陽性を低減するための方法および装置 | |
| US11514949B2 (en) | Method and system for long term stitching of video data using a data processing unit | |
| CN110941978A (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
| Heng et al. | How to assess the quality of compressed surveillance videos using face recognition | |
| WO2020052062A1 (zh) | 检测方法和装置 | |
| CN115346145A (zh) | 重复视频的识别方法、设备、储存介质及计算机程序产品 | |
| CN109800329A (zh) | 一种监控方法及装置 | |
| CN114078277A (zh) | 一人一档的人脸聚类方法、装置、计算机设备及存储介质 | |
| CN109800322A (zh) | 一种监控方法及装置 | |
| CN113810765B (zh) | 视频处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 200331 room e176, 1f, 406 Gulang Road, Putuo District, Shanghai Patentee after: Shanghai Xinyi Intelligent Technology Co.,Ltd. Address before: 200080 7th floor, No.137 Haining Road, Hongkou District, Shanghai Patentee before: Shanghai Xinyi Intelligent Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |