CN113723375B - 一种基于特征抽取的双帧人脸跟踪方法和*** - Google Patents
一种基于特征抽取的双帧人脸跟踪方法和*** Download PDFInfo
- Publication number
- CN113723375B CN113723375B CN202111286213.1A CN202111286213A CN113723375B CN 113723375 B CN113723375 B CN 113723375B CN 202111286213 A CN202111286213 A CN 202111286213A CN 113723375 B CN113723375 B CN 113723375B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- frame
- target image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 title claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000007634 remodeling Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 230000004044 response Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于特征抽取的双帧人脸跟踪方法和***,其中,该方法包括:通过人脸检测模块获取首帧图像中的人脸位置坐标;根据人脸位置坐标在首帧图像中截取第一目标图像,并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征;获取首帧图像的高度信息和宽度信息,根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标;根据后帧人脸区域坐标,在后帧图像上截取第二目标图像;将第一面部特征和第二目标图像输入双帧人脸跟踪模型,通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。通过本申请解决了相关技术中因人脸跟踪算法运算量大导致门禁设备的响应速度慢,减少了人脸跟踪过程中的运算量,提升了响应速度。
Description
技术领域
本申请涉及人脸识别跟踪领域,特别是涉及一种基于特征抽取的双帧人脸跟踪方法和***。
背景技术
随着AI产品相关算法的日渐成熟,基于人脸检测技术的门禁设备也得到了广泛的应用。其中,由于人脸检测算法模型的运算量较大且调用频率很高,而常规的嵌入式门禁设备普遍不具有很强的运算能力,若长时间高频次调用人脸检测算法模型,门禁设备会出现响应速度慢、功耗大的问题。
在相关技术中,传统的人脸跟踪检测方法包括meanshift算法、卡尔曼滤波、粒子滤波、光流法、csk(Exploiting the Circulant Structure of Tracking-by-detectionwith Kernel,核监测循环跟踪)、kcf(Kernelized Correlation Filter,核相关滤波)、dcf(Dual Correlation Filter,对偶相关滤波),基于深度学习的跟踪算法包括siamrpn、deepsort、dff等。上述方法都存在运算量大,实时性能差,跟踪效果差等问题,因此,难以达成在嵌入式设备端上快速高效寻到人脸位置的任务。
目前针对相关技术中人脸识别方法运算量大,在设备端响应速度慢的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于特征抽取的双帧人脸跟踪方法、***、计算机设备和计算机可读存储介质,以至少解决相关技术中人脸识别方法运算量大,在设备端响应速度慢的问题。
第一方面,本申请实施例提供了一种基于特征抽取的双帧人脸跟踪方法,应用在嵌入式门禁设备上,所述方法包括:
获取首帧图像,通过人脸检测模块获取所述首帧图像中的人脸位置坐标;
根据所述人脸位置坐标在所述首帧图像中截取第一目标图像,并通过人脸特征抽取模型对所述第一目标图像进行特征抽取得到第一面部特征;
获取所述首帧图像的高度信息和宽度信息,根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标;
获取后帧图像,根据所述后帧人脸区域坐标,在所述后帧图像上截取第二目标图像;
将所述第一面部特征和第二目标图像输入双帧人脸跟踪模型,通过所述双帧人脸跟踪模型获取所述第二目标图像的人脸位置坐标。
在其中一些实施例中,所述通过所述双帧人脸跟踪模型获取所述第二目标图像的人脸位置坐标包括:
所述第一面部特征经过全连接层和重塑层处理得到第二面部特征;
对所述第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征;
通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;
通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
在其中一些实施例中,所述经过卷积运算得到人脸得分特征图之后,所述方法还包括:
对所述人脸位置特征图进行解码,得到初始人脸位置坐标;
对所述人脸得分特征图进行解码,得到人脸特征得分;
基于所述人脸特征得分和所述初始人脸位置坐标,确定所述第二目标图像的人脸位置坐标。
在其中一些实施例中,所述根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标包括:
基于所述高度信息、所述宽度信息和所述人脸位置坐标,通过如下公式预测所述后帧人脸区域坐标:
在其中一些实施例中,所述方法还包括:
所述根据所述人脸位置坐标在所述首帧图像中截取第一目标图像之后,对所述第一目标图像进行归一化处理,得到所述人脸特征抽取模型的输入数据;
所述根据所述后帧人脸区域坐标在所述后帧图像上截取第二目标图像之后,对所述第二目标图像进行归一化处理,得到所述双帧人脸跟踪模型的输入数据。
在其中一些实施例中,所述对所述第一目标图像进行归一化处理,或所述对所述第二目标图像进行归一化处理包括:
将所述第一目标图像或所述第二目标图像转换为预设尺寸;
对于所述第一目标图像或第二目标图像在R、G、B三个通道上的像素值,进行如下公式所示运算处理:
第二方面,本申请实施例提供了一种基于特征抽取的双帧人脸跟踪***,应用在嵌入式门禁设备上,所述***包括:人脸检测模块、特征抽取模块和双帧人脸跟踪模块;
所述人脸检测模块用于获取首帧图像,以及获取所述首帧图像中的人脸位置坐标;
所述特征抽取模块用于根据所述人脸位置坐标在所述首帧图像中截取第一目标图像,以及对所述第一目标图像进行特征抽取得到第一面部特征;
所述双帧人脸跟踪模块用于获取所述首帧图像的高度信息和宽度信息,根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标,
以及获取后帧图像,根据所述后帧人脸区域坐标,在所述后帧图像上截取第二目标图像,以及,
基于所述第一面部特征和第二目标图像,获取所述第二目标图像的人脸位置坐标。
在其中一些实施例中,所述双帧人脸跟踪模块基于所述第一面部特征和第二目标图像,获取所述第二目标图像的人脸位置坐标包括:
所述第一面部特征经过全连接层和重塑层处理得到第二面部特征;
对所述第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征,其中,所述第一图像特征与所述第二面部特征的通道数和维度相同;
通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;
通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的所述的基于特征抽取的双帧人脸跟踪方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的所述的基于特征抽取的双帧人脸跟踪方法。
相比于相关技术,本申请实施例提供的基于特征抽取的双帧人脸跟踪方法,根据人脸位置坐标在首帧图像中截取第一目标图像,并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征。进一步的,根据手帧图像的高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标。再根据后帧人脸区域坐标在后帧图像上截取第二目标图像。最后将第一面部特征和第二目标图像输入双帧人脸跟踪模型,通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。解决了相关技术中因人脸跟踪算法运算量大导致门禁设备的响应速度慢,减少了人脸跟踪过程中的运算量,提升了响应速度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的应用环境示意图;
图2是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的流程图;
图3是根据本申请实施例的通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标的示意图;
图4是根据本申请实施例的基于特征抽取的双帧人脸跟踪***的结构框图;
图5是根据本申请实施例的基于特征抽取的双帧人脸跟踪***的工作流程示意图;
图6是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请提供的一种基于特征抽取的双帧人脸跟踪方法,可以应用在如图1所示的应用环境中,图1是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的应用环境示意图,如图1所示,终端10上部署有双帧人脸跟踪算法,其基于对传统跟踪算法改进得到。由于其数据运算量较小,当终端10应用该改进算法之后,能够明显提升硬件响应速度,且降低功耗。进一步的,终端10通过摄像头等装置采集人员的面部图像,通过网络从服务器11下载对应的数据并进行人脸识别及跟踪。最后,在跟踪识别结束之后,可对外部设备发出动作指令。例如,在门禁业务场景下,终端10可以是嵌入式门禁设备,当跟踪识别成功之后,其可以指示门禁装置打开闸门等。需要说明的是,本申请实施例中的终端10可以是嵌入式门禁设备,服务器11可以是单独的服务器或者多个服务器组成的集群。
图2是根据本申请实施例的一种基于特征抽取的双帧人脸跟踪方法的流程图,如图2所示,该流程包括如下步骤:
S201,获取首帧图像,通过人脸检测模块获取首帧图像中的人脸位置坐标;
其中,该首帧图像指在人脸跟踪流程中,在时序层面获取的在前图像,对应的,后帧图像指在时序层面位于首帧图像之后,且与首帧图像相邻的下一帧图像。
进一步的,其中的人脸检测模块可以是常见的人脸检测模型,如PCN模型,YoloV3模型和RetinaNet等。当然,该人脸检测模型并不限于上述类型。
S202,根据人脸位置坐标在首帧图像中截取第一目标图像,并通过人脸特征抽取模型对第一目标图像进行特征抽取得到第一面部特征;
其中,人脸位置坐标包括:左上角顶点坐标(x1,y1)和右下角顶点坐标(x2,y2),可以理解,在得到该坐标参数后,即可在首帧图像中截取与坐标位置对应的第一目标图像。
另外,上述人脸特征抽取模型可以是常见的任一轻量化模型,本申请中对选择何种人脸特征抽取模型不作具体限定。同时,通过人脸特征抽取模型进行特征抽取的过程对本申请的核心发明点并无影响,故此处也不再过多赘述。
S203,获取首帧图像的高度信息和宽度信息,根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标;
需要说明的是,由于在人脸跟踪过程中,人脸随时运动,且连续的前后两帧图像的时间跨度不会很大,所以后帧图像中人脸的的区域范围应该位于前帧图像中人脸区域的较大外扩范围内。故在本步骤中,依据图片尺寸信息和前帧图像中的人脸位置坐标,可以合理的预测后帧人脸区域范围(坐标)。
S204,获取后帧图像,根据后帧人脸区域坐标,在后帧图像上截取第二目标图像;
上述步骤S203中已得到后帧图像中的人脸位置坐标,即可以根据该人脸位置坐标,在后帧图像向截取以获得该第二目标图像。需要说明的是,第二目标图像的尺寸大小由图像的尺寸,人脸区域大小综合决定。
通过本步骤,可以以较快速度的在后帧图像中确定人脸区域的大致范围,避免了在图像中采取逐个遍历的方式确定人脸区域导致的数据冗余,能够有效的减少模型搜索范围,
S205,将第一面部特征和第二目标图像输入双帧人脸跟踪模型,通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标。
其中,第一面部特征是前帧图像中的面部特征,第二目标图像是后帧图像中的大致人脸区域。进一步的,基于上述数据,采用自研的双帧人脸跟踪模型,在模型内部将前帧特征与后帧局部图像融合,再经过池化,卷积等步骤得到第二目标图像(也即后帧图像)的人脸位置坐标,
在嵌入式门禁设备中,对于人脸目标,循环执行上述步骤S201至S205即可实现人脸的跟踪识别。
通过上述步骤S201至S205,相比较于相关技术中需要遍历图像中的所有区域进行人脸跟踪的方法,本申请实施例中结合前帧图像的人脸特征和后帧图像中的人脸区域进行人脸跟踪,相比较与相关技术中的人脸跟踪方法,本申请实施例准确的缩小了后帧图像中的搜索范围,减少了算法运算量,从而提升了嵌入式门禁设备的响应速度,减少了功耗。另外,由于本申请采用深度模型,在应用到某些采用深度模型芯片的门禁设备,其响应速度将会进一步的提升。
在其中一些实施例中,根据人脸位置坐标在首帧图像中截取第一目标图像之后,还需对第一目标图像进行归一化处理,得到人脸特征抽取模型的输入数据;
其中,该归一化处理具体包括如下步骤:首先将第一目标图像转换为112*112*3的预设尺寸,其次将第一目标图像在R、G、B三个通道上的像素值,经过如下公式1所示的运算处理:
需要说明的是,上述预设尺寸和归一化常数的取值由人脸跟踪模型决定,本申请中的上述预设尺寸当然并不限定与112*112*3。不同人脸跟踪模型的输入尺寸可能不同,也可能相同。
需要说明的是,上述归一化的作用即将原图像中的像素分布区间变为更小的范围,如[-1,1],从而更适用于神经网络进行学习。
在其中一些实施例中,根据后帧人脸区域坐标在后帧图像上截取第二目标图像之后,同样需要对第二目标图像进行归一化处理,以得到双帧人脸跟踪模型的输入数据。该过程与上述对第一目标图像进行归一化处理的过程相同,只是其最终得到的图像尺寸大小有所差异,可选的,第二图像的尺寸为224*224*3。
在其中一些实施例中,图3是根据本申请实施例的通过双帧人脸跟踪模型获取第二目标图像的人脸位置坐标的示意图,如图3所示,该过程包括:
在图3顶部位置,第一面部特征(即图3面部特征1)经过全连接层(FC模块)、重塑层(Reshape模块)和卷积模块处理分别得到维度(64,56,56)和维度(16,28,28)的第二面部特征;
在图3底部位置,第二目标图像(即图3图像区域2)经过卷积模块处理分别得到维度为(64、56、56)的第一图像特征和维度为(32,28,28)的第二图像特征;
通过Element-WiseAdd模块将维度(64,56,56)的第二面部特征和维度(64,56,56)的第一图像特征在通道层进行融合,再基于通道层融合的结果,通过卷积运算得到维度(4k,14,14)人脸位置特征图;
通过concat模块将维度(16,28,28)第二面部特征和维度(32,28,28)第二图像特征进行多层融合,再基于层融合的结果,通过卷积运算得到维度(2k,14,14)人脸得分特征图。
对人脸位置特征图进行解码,得到初始人脸位置坐标,具体包括:对于位置特征图中的每个位置,通过如下公式2进行解码,以获取初始人脸位置坐标:
其中,variance[0],variance[1],variance[2],variance[3]是常数,分别是预设先验框的宽、高、中心坐标x和中心坐标y。分别
是人脸得分特征图预测的输出值,分别为最终预测的人脸中心点坐标x、
中心点坐标y、人脸框宽度w和人脸框高度h。
对人脸得分特征图进行解码,得到人脸特征得分,具体包括:对于每一对人脸得分特征图的输出值,通过如下公式2进行运算Softmax计算,以获取人脸特征得分:
基于人脸特征得分和初始人脸位置坐标,确定第二目标图像的人脸位置坐标。
需要说明的是,上述通道层融合(add)应用于维度相同的特征,其采用特征图的相加,融合的结果通道数保持不变;多层融合(concat)针对于维度不同的特征,其融合的结果是通道数的增加。
通过该双帧人脸跟踪模型,可以精准的结合前帧人脸特征和次帧人脸位置区域进行人脸位置的跟踪,能够在较小范围内进行运算,从而降低了人脸跟踪算法的数据运算量,提升了门禁设备的响应速度。
在其中一些实施例中,根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标包括:
基于高度信息、宽度信息和人脸位置坐标,通过如下公式预测后帧人脸区域坐标:
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于特征抽取的双帧人脸跟踪***,该***用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的基于特征抽取的双帧人脸跟踪***的结构框图,如图4所示,该***包括:人脸检测模块40、特征抽取模块41和双帧人脸跟踪模块42;
人脸检测模块40用于获取首帧图像,以及获取首帧图像中的人脸位置坐标;
特征抽取模块41用于根据人脸位置坐标在首帧图像中截取第一目标图像,以及对第一目标图像进行特征抽取得到第一面部特征;
双帧人脸跟踪模块42用于获取首帧图像的高度信息和宽度信息,根据高度信息、宽度信息和人脸位置坐标预测后帧人脸区域坐标,以及获取后帧图像,根据后帧人脸区域坐标,在后帧图像上截取第二目标图像,以及,基于第一面部特征和第二目标图像,获取第二目标图像的人脸位置坐标。
在其中一些实施例中,双帧人脸跟踪模块42获取第二目标图像的人脸位置坐标包括:第一面部特征经过全连接层和重塑层处理得到第二面部特征;对第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征,其中,第一图像特征与第二面部特征的通道数和维度相同;通过Element-WiseAdd模块将第二面部特征与第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;通过concat模块将第二面部特征和第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
在其中一些实施例中,图5是根据本申请实施例的基于特征抽取的双帧人脸跟踪***的时序示意图,如图5所示,
前帧图像经人脸检测模块40获取人脸位置坐标,根据该人脸位置坐标可以确定第一目标图像(face_frame1),该第一目标图像进一步经归一化处理以及特征抽取模块41之后得到数据维度为[1,256]的第一面部特征
对于后帧图像,基于人脸位置坐标确定的后帧人脸区域坐标,并在其中截取第二目标图像(face_frame2),经过归一化处理之后得到维度224*224*3的第二目标图像(face_frame2);
将第一人脸特征和第二目标图像输入双帧人脸跟踪模型进行处理,最终得到后帧图像的人脸位置坐标。
另外,结合上述实施例中的基于特征抽取的双帧人脸跟踪方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于特征抽取的双帧人脸跟踪方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征抽取的双帧人脸跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图6是根据本申请实施例的电子设备的内部结构示意图,如图6所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作***和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种基于基于特征抽取的双帧人脸跟踪方法,数据库用于存储数据。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于特征抽取的双帧人脸跟踪方法,其特征在于,应用在嵌入式门禁设备上,所述方法包括:
获取首帧图像,通过人脸检测模块获取所述首帧图像中的人脸位置坐标,其中,所述人脸位置坐标包括左上角顶点和右下角顶点;
根据所述人脸位置坐标在所述首帧图像中截取第一目标图像,并通过人脸特征抽取模型对所述第一目标图像进行特征抽取得到第一面部特征;
获取所述首帧图像的高度信息和宽度信息,根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标,其中,通过如下公式预测所述后帧人脸区域坐标:
获取后帧图像,根据所述后帧人脸区域坐标,在所述后帧图像上截取第二目标图像;
将所述第一面部特征和第二目标图像输入双帧人脸跟踪模型,通过所述双帧人脸跟踪模型获取所述第二目标图像的人脸位置坐标,包括:
所述第一面部特征经过全连接层和重塑层处理得到第二面部特征;
对所述第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征;
通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;
通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
2.根据权利要求1所述的方法,其特征在于,所述经过卷积运算得到人脸得分特征图之后,所述方法还包括:
对所述人脸位置特征图进行解码,得到初始人脸位置坐标;
对所述人脸得分特征图进行解码,得到人脸特征得分;
基于所述人脸特征得分和所述初始人脸位置坐标,确定所述第二目标图像的人脸位置坐标。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述根据所述人脸位置坐标在所述首帧图像中截取第一目标图像之后,对所述第一目标图像进行归一化处理,得到所述人脸特征抽取模型的输入数据;
所述根据所述后帧人脸区域坐标在所述后帧图像上截取第二目标图像之后,对所述第二目标图像进行归一化处理,得到所述双帧人脸跟踪模型的输入数据。
5.一种基于特征抽取的双帧人脸跟踪***,其特征在于,应用在嵌入式门禁设备上,所述***包括:人脸检测模块、特征抽取模块和双帧人脸跟踪模块;
所述人脸检测模块用于获取首帧图像,以及获取所述首帧图像中的人脸位置坐标,其中,所述人脸位置坐标包括左上角顶点和右下角顶点;
所述特征抽取模块用于根据所述人脸位置坐标在所述首帧图像中截取第一目标图像,以及对所述第一目标图像进行特征抽取得到第一面部特征;
所述双帧人脸跟踪模块用于获取所述首帧图像的高度信息和宽度信息,根据所述高度信息、所述宽度信息和所述人脸位置坐标预测后帧人脸区域坐标,其中,通过如下公式预测所述后帧人脸区域坐标:
其中,是所述后帧人脸区域坐标,,,,是所述首帧图像的人脸位置坐
标,和分别是所述宽度信息和所述高度信息,和分别是所
述人脸位置坐标在轴和轴上的差值,以及获取后帧图像,根据所述后帧人脸区域坐标,
在所述后帧图像上截取第二目标图像,以及,
基于所述第一面部特征和第二目标图像,获取所述第二目标图像的人脸位置坐标,包括:
所述第一面部特征经过全连接层和重塑层处理得到第二面部特征;
对所述第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征;
通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;
通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
6.根据权利要求5所述的***,其特征在于,所述双帧人脸跟踪模块基于所述第一面部特征和第二目标图像,获取所述第二目标图像的人脸位置坐标包括:
所述第一面部特征经过全连接层和重塑层处理得到第二面部特征;
对所述第二目标图像进行卷积处理,分别得到第一图像特征和第二图像特征,其中,所述第一图像特征与所述第二面部特征的通道数和维度相同;
通过Element-WiseAdd模块将所述第二面部特征与所述第一图像特征在通道层融合,并经过卷积运算得到人脸位置特征图;
通过concat模块将所述第二面部特征和所述第二图像特征进行多层融合,并经过卷积运算得到人脸得分特征图。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于特征抽取的双帧人脸跟踪方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至4中任一项所述的双帧人脸跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111286213.1A CN113723375B (zh) | 2021-11-02 | 2021-11-02 | 一种基于特征抽取的双帧人脸跟踪方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111286213.1A CN113723375B (zh) | 2021-11-02 | 2021-11-02 | 一种基于特征抽取的双帧人脸跟踪方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723375A CN113723375A (zh) | 2021-11-30 |
CN113723375B true CN113723375B (zh) | 2022-03-04 |
Family
ID=78686431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111286213.1A Active CN113723375B (zh) | 2021-11-02 | 2021-11-02 | 一种基于特征抽取的双帧人脸跟踪方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723375B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114613058B (zh) * | 2022-03-25 | 2024-06-11 | 中国农业银行股份有限公司 | 一种具有考勤功能的门禁***、考勤方法和相关装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
CN109558815A (zh) * | 2018-11-16 | 2019-04-02 | 恒安嘉新(北京)科技股份公司 | 一种实时多人脸的检测及跟踪方法 |
CN110349177B (zh) * | 2019-07-03 | 2021-08-03 | 广州多益网络股份有限公司 | 一种连续帧视频流的人脸关键点跟踪方法和*** |
CN110796093A (zh) * | 2019-10-30 | 2020-02-14 | 上海眼控科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN112149557B (zh) * | 2020-09-22 | 2022-08-09 | 福州大学 | 一种基于人脸识别的人物身份跟踪方法及*** |
-
2021
- 2021-11-02 CN CN202111286213.1A patent/CN113723375B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113723375A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021017261A1 (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
US10885660B2 (en) | Object detection method, device, system and storage medium | |
CN108875723B (zh) | 对象检测方法、装置和***及存储介质 | |
US20190362058A1 (en) | Face unlocking method and device, electronic device, and computer storage medium | |
US11244157B2 (en) | Image detection method, apparatus, device and storage medium | |
CN111368758B (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
WO2019033715A1 (zh) | 人脸图像数据采集方法、装置、终端设备及存储介质 | |
WO2018153294A1 (zh) | 人脸跟踪方法、存储介质及终端设备 | |
US20200257902A1 (en) | Extraction of spatial-temporal feature representation | |
CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
CN110287836B (zh) | 图像分类方法、装置、计算机设备和存储介质 | |
CN110163057B (zh) | 目标检测方法、装置、设备和计算机可读介质 | |
WO2021151317A1 (zh) | 活体检测方法、装置、电子设备及存储介质 | |
CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
WO2019033567A1 (zh) | 眼球动作捕捉方法、装置及存储介质 | |
WO2022206680A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN112101386A (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN111832561B (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
CN114519877A (zh) | 人脸识别方法、人脸识别装置、计算机设备及存储介质 | |
CN113723375B (zh) | 一种基于特征抽取的双帧人脸跟踪方法和*** | |
CN113034514A (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
CN109447022A (zh) | 一种镜头类型识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |