CN110765913A - 基于多评价指标的人体目标优选方法、装置及存储介质 - Google Patents
基于多评价指标的人体目标优选方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110765913A CN110765913A CN201910979821.7A CN201910979821A CN110765913A CN 110765913 A CN110765913 A CN 110765913A CN 201910979821 A CN201910979821 A CN 201910979821A CN 110765913 A CN110765913 A CN 110765913A
- Authority
- CN
- China
- Prior art keywords
- target
- analyzed
- score
- threshold
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多评价指标的人体目标优选方法、装置及存储介质。该基于多评价指标的人体目标优选方法包括:获取待分析目标的运动轨迹,利用待分析目标在该运动轨迹中的视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算该待分析目标的评分,通过该评分确定运动轨迹中待分析目标的质量最高的图像。通过上述方式,本发明能够从多个维度对人体目标进行优选,根据多个维度的综合评分,进而获得质量最高的图像,可用于人体属性分析和以图搜图。
Description
技术领域
本申请涉及视频分析领域,特别是涉及一种基于多评价指标的人体目标优选方法、装置及存储介质。
背景技术
近年来,随着视频监控***的大量普及,视频分析技术在公共安全保障中发挥越来越关键的作用,其中目标优选是视频分析技术的一个重要组成部分。人体目标优选指的是在监控视频中,对一个人体目标从出现到消失的每一帧中该目标的图像进行评分,从而获取到该目标整个生命周期中质量最高的一张优选图像。优选图像对于后续目标属性(如性别,年龄,服饰,携带品等)识别和行人以图搜图至关重要,高质量的优选图像,可有效提高目标属性识别的准确率以及以图搜图的成功率。
目前的相关的目标分析技术方案主要是应用于人脸优选抓拍,人脸质量评估方面,主要采用深度学习的技术进行人脸质量打分,配合人脸抓拍进行低质量人脸过滤和最优人脸选择,从而更好地服务于人脸识别***,实现更低***硬件资源占用的同时达到更高的人脸识别率。这些技术方案主要缺陷在于仅能应用于人脸的优选而无法应用于人体的优选,人体的变化相较于人脸变化更大,使用现有应用于人脸的优选策略进行人体优选,存在困难。
因此,如何对一个人体目标从出现到消失的每一帧中该目标的图像进行筛选,从而获取到该目标整个生命周期中质量最高的一张优选图像是人们日益关心的问题。
发明内容
本申请提供一种基于多评价指标的人体目标优选方法、装置及存储介质,能够提供从多个维度对对整个视频生命周期中的人体目标进行优选,达到挑选出人体目标质量最高的图像,可用于人体属性分析和以图搜图的目的。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种基于多评价指标的人体目标优选方法,包括:
获取待分析目标的运动轨迹,运动轨迹包括多个包含分析目标的视频帧;
获取每个视频帧的待分析目标的评分,每个视频帧的待分析目标的评分是利用待分析目标在视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的;
基于评分确定运动轨迹中待分析目标的质量最高的图像。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种基于多评价指标的人体目标优选装置,包括:
运动轨迹模块,用于获取待分析目标的运动轨迹,所述运动轨迹包括多个包含所述分析目标的视频帧;
评分模块,用于获取每个所述视频帧的所述待分析目标的评分,所述每个所述视频帧的待分析目标的评分是利用所述待分析目标在所述视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的;
最优图像模块,用于基于所述评分确定所述运动轨迹中所述待分析目标的质量最高的图像。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种基于多评价指标的人体目标优选装置,包括:
处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现上述基于多评价指标的人体目标优选方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以获取待分析目标质量最高的图像。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储介质,存储有处理器可运行的程序指令,所述程序指令用于执行上述的基于多评价指标的人体目标优选方法。
本申请的有益效果是:本发明提供了一种基于多评价指标的人体目标优选方法、装置及存储介质。该基于多评价指标的人体目标优选方法通过获取待分析目标的运动轨迹,利用待分析目标在该运动轨迹中的视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算该待分析目标的评分,根据该评分确定运动轨迹中待分析目标的质量最高的图像。通过上述方式,本发明能够从多个维度对人体目标进行优选,根据多个维度的综合评分,进而获得质量最高的图像,可用于人体属性分析和以图搜图。
附图说明
图1是本发明第一实施例的基于多评价指标的人体目标优选方法流程示意图;
图2是本发明实施例的视频帧中的尺寸评分标注示意图;
图3是本发明实施例的视频帧中的尺寸评分第一示意图;
图4是本发明实施例的视频帧中的尺寸评分第二示意图;
图5是本发明实施例的视频帧中的贴边评分标注示意图;
图6是本发明实施例的视频帧中的未贴边评分示意图;
图7是本发明实施例的视频帧中的贴边评分示意图;
图8是本发明实施例的视频帧中的遮挡评分示意图;
图9是本发明实施例的视频帧中的未遮挡评分示意图;
图10是本发明第二实施例的基于多评价指标的人体目标优选方法流程示意图;
图11是本发明第三实施例的基于多评价指标的人体目标优选方法流程示意图;
图12是本发明实施例的基于多评价指标的人体目标优选装置第一结构示意图;
图13是本发明实施例的基于多评价指标的人体目标优选装置第二结构示意图;
图14是本发明实施例的存储介质结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
实施例一
本发明的基于多种评价指标的人体目标优选方法中包括:
请参阅图1,图1展示了本发明第一实施例的基于多评价指标的人体目标优选方法流程示意图。
在步骤S110中,获取待分析目标的运动轨迹,运动轨迹包括多个包含分析目标的视频帧。
具体的,运动轨迹形成是通过人体目标检测和跟踪算法对视频帧中的人体目标进行检测,用人体目标框框出待分析的人体目标(以下简称待分析目标或目标)作为目标的图像,此外,可以用人脸框在目标的图像中框出目标的人脸部分,并对每个视频帧中相同人体目标进行跟踪,赋予关联id。因此,待分析目标的运动轨迹包含了多个包含该目标的视频帧。
在步骤S120中,获取每个视频帧的待分析目标的评分,每个视频帧的待分析目标的评分是利用待分析目标在视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的。
具体的,每个视频帧的待分析目标的评分可以是利用待分析目标在视频帧中的尺寸评分、贴边评分、遮挡评分和正脸评分中的至少一个计算得到的。
下面举例说明尺寸评分、贴边评分、遮挡评分和正脸评分与目标的图像质量正相关的情况下各评分的一种计算方式。在其他实施例中,各评分可以与目标的图像质量负相关。
具体的,一个目标的目标框越大则目标框中包含的像素越多,包含的信息也就越多,尺寸评分也相应进行增大。上述尺寸评分为尺寸评分标准化系数乘待分析目标在视频帧中的面积除视频帧的面积。
请参阅图2-4,图2-4展示了尺寸评分的示意图。如图2,图2是本发明实施例的视频帧中的尺寸评分标注示意图;获取待分析人体目标的目标框obj_rect,其宽高分别为rect_w及rect_h,视频帧的宽高分别为img_w及img_h。待分析目标的尺寸评分为:
size_score=SIZE_SCALE×(rect_w×rect_h)/(img_w×img_h)。
其中的SIZE_SCALE为尺寸评分的标准化系数,用于统一四项评分的评分基准。
举例说明,基于同一视频图像以及相同的SIZE_SCALE,请对比图3和图4,图3是本发明实施例的视频帧中的尺寸评分第一示意图,图4是本发明实施例的视频帧中的尺寸评分第二示意图。
图3的目标在远处,人体目标框比较小的时候,尺寸评分较小,图3的尺寸评分为0.583。图4的目标在近处,人体目标框比较大的时候,尺寸评分较大,图4的尺寸评分为1.297。
具体的,当待分析目标的目标框与所在视频帧边界的距离过小时,说明目标有一部分可能已经在画面外面,则应当对此类目标的贴边评分进行降分。若待分析目标的最小贴边距离小于预设阈值时,贴边评分为贴边评分标准化参数乘最小贴边距离除预设阈值;否则,贴边评分为1,待分析目标的最小贴边距离为待分析目标距离视频帧的各个边缘的距离中最小的一个。
请参阅图5-图7,图5-图7展示了贴边评分的示意图。如图5,图5是本发明实施例的视频帧中的贴边评分标注示意图,获取待分析人体目标的目标框obj_rect,其距离所在视频帧上下左右边界的距离分别为dis_ly、dis_ry、dis_lx和dis_rx,取dis_ly、dis_ry、dis_lx和dis_rx中的最小值为最小边界距离min_dis,预设一个预设阈值来判定该待分析目标是否贴边,将该阈值设定为最大贴边距离max_dis_edge,当min_dis小于max_dis_edge时,则判定该待分析人体目标已经贴边,需对其贴边评分进行降分。
目标的贴边评分为:
举例说明,基于同一视频图像以及相同的STICK_SCALE,请对比图6和图7,图6是本发明实施例的视频帧中的未贴边评分示意图,图7是本发明实施例的视频帧中的贴边评分示意图。图6的目标未贴边,贴边评分为1。图7的目标贴边,贴边评分为0.005。
具体的,当待分析人体目标被其他目标遮挡时,则目标框中待分析人体目标不完整,应该对此类待分析人体目标的遮挡评分进行降分。若待分析人体目标被遮挡,则遮挡评分为遮挡评分系数乘待分析人体目标被遮挡面积除待分析人体目标在视频帧中的面积;否则,遮挡评分为1。
举例说明,请参阅图8和图9,图8和图9展示了遮挡评分的示意图。图8是本发明实施例的视频帧中的遮挡评分示意图,图9是本发明实施例的视频帧中的未遮挡评分示意图。
获取目标当前帧的目标框obj_rect,计算所在视频帧中所有目标框recti(i=1…n)(n为当前帧所有目标数)与待分析目标框obj_rect的遮挡区域面积cover_areai,并计算其并集cover_area。
则目标的遮挡评分为:
cover_score=cover_area/(rect_w×rect_h)
请对比图8和图9,图8中对于后面的目标,两个目标重叠的部分即为cover_area,因存在遮挡,其遮挡评分为0.516;图9中对于后面的目标,因不存在遮挡,其遮挡评分为1.0。
具体的,人脸是人体中包含最多信息的部分,对于没有人脸或人脸偏转角,俯仰角过大的人脸所在的人体的正脸评分进行降低。当待分析人体目标未检测到人脸时,正脸评分为0;当待分析人体目标的人脸高宽比小于第一阈值或大于第二阈值时,正脸评分为0;当人脸高宽比大于第三阈值且小于第四阈值时,正脸评分为1.0;当人脸高宽比大于或等于第一阈值且小于或等于第三阈值时,正脸评分为人脸高宽比减第一阈值的差再除以第三阈值减第一阈值的差;当人脸宽高比大于或等于第三阈值且小于或等于第二阈值时,正脸评分为第四阈值减人脸宽高比的差再除以第二阈值减第四阈值的差,第一阈值、第三阈值、第四阈值和第二阈值依次增大。
举例说明,参阅图2-图9,图2-图9中的人体目标均包括人脸框。获取待分析人体目标的人体目标框obj_rect及其人脸框face_rect,人脸框的宽高分别为face_w和face_h,人脸高宽比face_hw_ratio=face_h/face_w,当face_hw_ratio>1.5表示人脸的偏转角过大,判定为侧脸;当face_hw_ratio<1.0表示人脸的俯仰角过大,判定为仰面或俯面。
当然也可能出现人脸被遮挡,没有人脸框的情况,即未检测到人脸,判定为无人脸,此时正脸评分为0。其中,当第一阈值为0.5,第二阈值为2.0;第三阈值为1.0;第四阈值为1.5时得到人体正脸评分为:
可以直接将尺寸评分、贴边评分、遮挡评分和正脸评分中的一个作为待分析目标的评分。或者可以从多个维度对目标进行评分并对各维度的分数进行综合,将综合评分作为目标的评分。综合评分可以是上述四个评分中至少两个的加权平均值,若所有的权重之和为1,也可以被称为是上述四个评分中至少两个的加权和。
若采用上述4个维度综合评价目标,综合评分obj_score如下所示:
obj_score=ratio1×size_score+ratio2×stick_score+ratio3
×cover_score+ratio4×face_score
其中,ratio1、ratio2、ratio3、ratio4分别对应尺寸评分、贴边评分、遮挡评分和正脸评分的权重,可以根据具体场景进行设定。
步骤S130:基于评分确定运动轨迹中待分析目标的质量最高的图像。
本发明实施例一的人体目标优选方式,通过利用待分析目标在视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算该目标在视频帧中的各项评分,分别得到尺寸评分、贴边评分、遮挡评分和正脸评分。综合该四项评分获得人体目标的质量最高的图像。通过上述方式,本发明能够从多个维度对人体目标进行优选,根据多个维度的综合评分,进而获得质量最高的图像,可用于人体属性分析和以图搜图。
实施例二
本实施例二是在实施例一的基础上,实时进行人体目标优选。即实现一边进行录像,一边逐帧进行人体目标优选。
请参阅图10,图10是本发明第二实施例的基于多评价指标的人体目标优选方法流程示意图。
基于步骤S110获取待分析目标的运动轨迹的基础上步骤S210用目标检测跟踪算法对待分析目标的运动轨迹进行实时更新。在录像的过程中目标检测跟踪算法逐帧去跟踪待分析目标,进而更新运动轨迹,历史帧中哪些视频帧属于目标的运动轨迹以及目标在其中的评分是已知的。其他具体的内容请参照实施例一,这里不再赘述。
基于步骤S120获取每个视频帧的待分析目标的评分的基础上步骤S220直接计算待分析目标在当前帧的评分。
其中,计算尺寸评分、贴边评分、遮挡评分和正脸评分时,是实时进行的,录像过程中,一边录像,一边逐帧进行评分。逐帧获得人体图像总评分,评分内容请参阅实施例一,这里不再赘述。
基于步骤S130基于评分确定运动轨迹中待分析目标的质量最高的图像的基础上步骤S230包括:
在步骤S231中,判断待分析目标在当前帧的评分是否大于待分析目标的历史最高评分;
在步骤S232中,若是,则将待分析目标的历史最高评分更新为更新待分析目标在当前帧的最高评分,并将待分析目标的质量最高的图像更新为待分析目标在当前帧中的图像。否则就不做更新。
具体的,在实时进行四项评分的过程中,实时综合四项评分,逐帧计算出的人体图像总评分obj_score对最优人体目标图像进行更新:如果当前帧是该人体目标出现的第1帧,则设置最优人体目标图像为该帧中人体目标图像,且将该目标历史最高评分obj_score_max设置为obj_score;如果当前帧不是该人体目标出现的第1帧,且当前帧人体图像总评分obj_score>obj_score_max时,则更新最优人体目标图像为该帧中人体目标图像并设置obj_score_max=obj_score,否则,不进行更新。
本发明第二实施例的基于多评价指标的人体目标优选方法,通过逐帧进行人体目标的尺寸评分、贴边评分、遮挡评分和正脸评分,实时根据更新评分,进而实时更新质量最高的图像。通过上述方式,本发明能够录像和人体目标优选同时进行,进而达到实时根据多评价指标评分选出人体目标质量最高图像的目的。
实施例三
本实施例三是在实施例一的基础上,非实时进行人体目标优选。即对一段时间内采集得到录像进行人体目标优选。
请参阅图11,图11展示了本发明第三实施例的基于多评价指标的人体目标优选方法流程示意图。
基于步骤S110获取待分析目标的运动轨迹的基础在步骤S310中,用目标检测和跟踪算法对多个视频帧进行分析以获取待分析目标的运动轨迹。
其中,将目标检测和跟踪算法应用于录像中的所有视频帧,可以一次获取该录像中出现待分析目标的所有视频帧(即待分析目标在录像中的运动轨迹),其他具体过程参见实施例一。
基于步骤S120获取每个视频帧的待分析目标的评分的基础在步骤S320中,分别计算待分析目标在每个视频帧的评分。
其中,这里只需要对步骤S320中获取得到的待分析目标的运动轨迹中的视频帧去评分,分别计算每个视频帧中的尺寸评分、贴边评分、遮挡评分和正脸评分,综合运动轨迹的每个视频帧中的四项评分,计算出运动轨迹的每个视频帧人体图像总评分obj_score,具体评分过程见实施例一。
基于步骤S130基于评分确定运动轨迹中待分析目标的质量最高的图像在步骤S330中,选择评分中最高的一个对应的待分析目标的图像作为待分析目标的质量最高的图像。
其中,选出步骤S320运动轨迹的所有视频帧中最高的人体图像总评分obj_score对应的视频帧,作为待分析目标的质量最高的图像。
本发明第三实施例的人体目标优选方法,通过将目标检测和跟踪算法应用到录制完成的所有视频帧中获取待分析目标的运动轨迹,对该运动轨迹的视频帧进行四项评分和获取人体图像总评分obj_score,选出运动轨迹中的最高人体图像总评分obj_score对应的视频帧作为质量最高的图像。通过上述方式,本发明能够对完成录像的视频帧图像进行多评价指标评分人体目标优选,进而达到非实时选出人体目标质量最高图像的目的。
请参阅图12,图12展示了本发明实施例的基于多评价指标的人体目标优选装置第一结构示意图。该装置40包括:
运动轨迹模块41,用于获取待分析目标的运动轨迹,运动轨迹包括多个包含分析目标的视频帧。
可选地,运动轨迹模块41可以采用目标检测和跟踪算法对待分析目标的运动轨迹进行实时更新,具体是在录像的过程中目标检测跟踪算法逐帧去跟踪待分析目标,进而更新运动轨迹。运动轨迹模块41也可以将目标检测和跟踪算法应用于已经完成录像的所有视频帧,一次获取该录像中出现待分析目标的所有视频帧(运动轨迹)。
评分模块42,用于获取每个视频帧的待分析目标的评分,每个视频帧的待分析目标的评分是利用待分析目标在视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的。
可选地,评分模块42计算尺寸评分、贴边评分、遮挡评分和正脸评分时,是实时进行的,录像过程中,一边录像(一边形成运动轨迹),一边逐帧进行评分,逐帧实时计算人体图像总评分。评分模块42计算尺寸评分、贴边评分、遮挡评分和正脸评分时,是非实时进行的,获取得到的待分析目标的整个完整运动轨迹中的视频帧去评分,分别计算每个视频帧中的尺寸评分、贴边评分、遮挡评分和正脸评分,综合运动轨迹的每个视频帧中的四项评分,计算出完整运动轨迹的每个视频帧人体图像总评分obj_score。
最优图像模块43,用于基于评分确定运动轨迹中待分析目标的质量最高的图像。
可选地,最优图像模块43,在实时进行四项评分的过程中,实时综合四项评分,实时更新最高人体图像总评分obj_score,直到最后一帧选择最新更新的人体图像总评分obj_score对应的图像为待分析目标的质量最高的图像。最优图像模块43,在实时进行四项评分的过程中,选出完整运动轨迹的所有视频帧中最高的人体图像总评分obj_score对应的视频帧,作为待分析目标的质量最高的图像。
请参阅图13,图13展示了本发明基于多评价指标的人体目标优选装置的第二结构示意图。如图13所示,该装置50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述基于多评价指标的人体目标优选方法的程序指令。
处理器51用于执行存储器52存储的程序指令以获取待分析目标质量最高的图像。
其中,处理器51还可以称为CPU(Central Processing Unit,中央处理单元)。处理器51可能是一种集成电路芯片,具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图14,图14为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件61,其中,该程序文件61可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种基于多评价指标的人体目标优选方法,其特征在于,所述人体目标优选方法包括以下步骤:
获取待分析目标的运动轨迹,所述运动轨迹包括多个包含所述分析目标的视频帧;
获取每个所述视频帧的所述待分析目标的评分,所述每个所述视频帧的待分析目标的评分是利用所述待分析目标在所述视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的;
基于所述评分确定所述运动轨迹中所述待分析目标的质量最高的图像。
2.根据权利要求1所述的基于多评价指标的人体目标优选方法,其特征在于,
所述获取待分析目标的运动轨迹步骤包括:
用目标检测跟踪算法对所述待分析目标的运动轨迹进行实时更新;
所述获取每个所述视频帧的所述待分析目标的评分步骤包括:
计算所述待分析目标在当前帧的评分;
所述基于所述评分确定所述运动轨迹中所述待分析目标的质量最高的图像步骤包括:
判断所述待分析目标在当前帧的评分是否大于所述待分析目标的历史最高评分;
若是,则将所述待分析目标的历史最高评分更新为所述待分析目标在当前帧的最高评分,并将所述待分析目标的质量最高的图像更新为所述待分析目标在当前帧中的图像。
3.根据权利要求1所述的基于多评价指标的人体目标优选方法,其特征在于,
所述获取待分析目标的运动轨迹步骤包括:
用目标检测和跟踪算法对多个视频帧进行分析以获取所述待分析目标的运动轨迹;
所述获取每个所述视频帧的所述待分析目标的评分步骤包括:
分别计算所述待分析目标在每个所述视频帧的评分;
所述基于所述评分确定所述运动轨迹中所述待分析目标的质量最高的图像步骤包括:
选择所述评分中最高的一个对应的所述待分析目标的图像作为所述待分析目标的质量最高的图像。
4.根据权利要求1-3任一所述的基于多评价指标的人体目标优选方法,其特征在于,所述每个所述视频帧的待分析目标的评分是利用所述待分析目标在所述视频帧中的尺寸评分、贴边评分、遮挡评分和正脸评分中的至少一个计算得到的。
5.根据权利要求4所述的基于多评价指标的人体目标优选方法,其特征在于,所述尺寸评分为尺寸评分标准化系数乘所述待分析目标在所述视频帧中的面积除所述视频帧的面积。
6.根据权利要求4所述的基于多评价指标的人体目标优选方法,其特征在于,若所述待分析目标的最小贴边距离小于预设阈值时,所述贴边评分为贴边评分标准化参数乘所述最小贴边距离除所述预设阈值;否则,所述贴边评分为1,所述待分析目标的最小贴边距离为所述待分析目标距离所述视频帧的各个边缘的距离中最小的一个。
7.根据权利要求4所述的基于多评价指标的人体目标优选方法,其特征在于,若所述待分析人体目标被遮挡,则所述遮挡评分为遮挡评分系数乘所述待分析人体目标被遮挡面积除所述待分析人体目标在所述视频帧中的面积;否则,所述遮挡评分为1。
8.根据权利要求4所述的基于多评价指标的人体目标优选方法,其特征在于,当所述待分析人体目标未检测到人脸时,所述正脸评分为0;当所述待分析人体目标的人脸高宽比小于第一阈值或大于第二阈值时,所述正脸评分为0;当所述人脸高宽比大于第三阈值且小于第四阈值时,所述正脸评分为1.0;当所述人脸高宽比大于或等于所述第一阈值且小于或等于所述第三阈值时,所述正脸评分为所述人脸高宽比减所述第一阈值的差再除以所述第三阈值减所述第一阈值的差;当所述人脸宽高比大于或等于所述第三阈值且小于或等于所述第二阈值时,所述正脸评分为所述第四阈值减所述人脸宽高比的差再除以所述第二阈值减所述第四阈值的差,所述第一阈值、所述第三阈值、所述第四阈值和所述第二阈值依次增大。
9.根据权利要求8所述的基于多评价指标的人体目标优选方法,其特征在于,所述第一阈值为0.5,所述第二阈值为2.0;所述第三阈值为1.0;所述第四阈值为1.5。
10.一种基于多评价指标的人体目标优选装置,其特征在于,所述装置包括:
运动轨迹模块,用于获取待分析目标的运动轨迹,所述运动轨迹包括多个包含所述分析目标的视频帧;
评分模块,用于获取每个所述视频帧的所述待分析目标的评分,所述每个所述视频帧的待分析目标的评分是利用所述待分析目标在所述视频帧中的尺寸、位置、遮挡、人脸信息中的至少一种计算得到的;
最优图像模块,用于基于所述评分确定所述运动轨迹中所述待分析目标的质量最高的图像。
11.一种基于多评价指标的人体目标优选装置,其特征在于,所述装置包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现权利要求1-9任一项所述的基于多评价指标的人体目标优选方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以获取待分析目标质量最高的图像。
12.一种存储介质,其特征在于,存储有处理器可运行的程序指令,所述程序指令用于执行权利要求1至9任一项所述的基于多评价指标的人体目标优选方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910979821.7A CN110765913A (zh) | 2019-10-15 | 2019-10-15 | 基于多评价指标的人体目标优选方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910979821.7A CN110765913A (zh) | 2019-10-15 | 2019-10-15 | 基于多评价指标的人体目标优选方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110765913A true CN110765913A (zh) | 2020-02-07 |
Family
ID=69331301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910979821.7A Pending CN110765913A (zh) | 2019-10-15 | 2019-10-15 | 基于多评价指标的人体目标优选方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765913A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539283A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 人脸跟踪方法及人脸跟踪设备 |
CN112001883A (zh) * | 2020-07-14 | 2020-11-27 | 浙江大华技术股份有限公司 | 一种车辆目标图像的优选方法、装置和计算机设备 |
CN112418098A (zh) * | 2020-11-24 | 2021-02-26 | 深圳云天励飞技术股份有限公司 | 视频结构化模型的训练方法及相关设备 |
CN113408496A (zh) * | 2021-07-30 | 2021-09-17 | 浙江大华技术股份有限公司 | 图像确定方法和装置、存储介质及电子设备 |
CN113554693A (zh) * | 2021-09-18 | 2021-10-26 | 深圳市安软慧视科技有限公司 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、***及相关设备 |
CN113723209A (zh) * | 2021-08-05 | 2021-11-30 | 浙江大华技术股份有限公司 | 目标识别方法、装置、电子设备和计算机可读存储介质 |
WO2022262763A1 (zh) * | 2021-06-18 | 2022-12-22 | 影石创新科技股份有限公司 | 图像构图质量评估方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799877A (zh) * | 2012-09-11 | 2012-11-28 | 上海中原电子技术工程有限公司 | 人脸图像筛选方法及*** |
CN103942525A (zh) * | 2013-12-27 | 2014-07-23 | 高新兴科技集团股份有限公司 | 一种基于视频序列的实时人脸优选方法 |
CN105046245A (zh) * | 2015-08-28 | 2015-11-11 | 深圳英飞拓科技股份有限公司 | 视频人脸检测评价方法 |
CN106446851A (zh) * | 2016-09-30 | 2017-02-22 | 厦门大图智能科技有限公司 | 一种基于可见光的人脸优选方法及*** |
US9971933B1 (en) * | 2017-01-09 | 2018-05-15 | Ulsee Inc. | Facial image screening method and face recognition system thereof |
CN109711390A (zh) * | 2019-01-17 | 2019-05-03 | 深圳英飞拓科技股份有限公司 | 人脸抠图图片的优选方法及装置 |
-
2019
- 2019-10-15 CN CN201910979821.7A patent/CN110765913A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799877A (zh) * | 2012-09-11 | 2012-11-28 | 上海中原电子技术工程有限公司 | 人脸图像筛选方法及*** |
CN103942525A (zh) * | 2013-12-27 | 2014-07-23 | 高新兴科技集团股份有限公司 | 一种基于视频序列的实时人脸优选方法 |
CN105046245A (zh) * | 2015-08-28 | 2015-11-11 | 深圳英飞拓科技股份有限公司 | 视频人脸检测评价方法 |
CN106446851A (zh) * | 2016-09-30 | 2017-02-22 | 厦门大图智能科技有限公司 | 一种基于可见光的人脸优选方法及*** |
US9971933B1 (en) * | 2017-01-09 | 2018-05-15 | Ulsee Inc. | Facial image screening method and face recognition system thereof |
CN109711390A (zh) * | 2019-01-17 | 2019-05-03 | 深圳英飞拓科技股份有限公司 | 人脸抠图图片的优选方法及装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539283A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 人脸跟踪方法及人脸跟踪设备 |
CN111539283B (zh) * | 2020-04-15 | 2023-08-11 | 上海摩象网络科技有限公司 | 人脸跟踪方法及人脸跟踪设备 |
CN112001883A (zh) * | 2020-07-14 | 2020-11-27 | 浙江大华技术股份有限公司 | 一种车辆目标图像的优选方法、装置和计算机设备 |
CN112418098A (zh) * | 2020-11-24 | 2021-02-26 | 深圳云天励飞技术股份有限公司 | 视频结构化模型的训练方法及相关设备 |
WO2022262763A1 (zh) * | 2021-06-18 | 2022-12-22 | 影石创新科技股份有限公司 | 图像构图质量评估方法及装置 |
CN113408496A (zh) * | 2021-07-30 | 2021-09-17 | 浙江大华技术股份有限公司 | 图像确定方法和装置、存储介质及电子设备 |
CN113723209A (zh) * | 2021-08-05 | 2021-11-30 | 浙江大华技术股份有限公司 | 目标识别方法、装置、电子设备和计算机可读存储介质 |
CN113554693A (zh) * | 2021-09-18 | 2021-10-26 | 深圳市安软慧视科技有限公司 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
CN113554693B (zh) * | 2021-09-18 | 2021-12-31 | 深圳市安软慧视科技有限公司 | 一种边缘部署图像的关联和评判方法、设备及存储介质 |
CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、***及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765913A (zh) | 基于多评价指标的人体目标优选方法、装置及存储介质 | |
CN109446942B (zh) | 目标跟踪方法、装置和*** | |
US20210020171A1 (en) | Digital Video Fingerprinting Using Motion Segmentation | |
US20230077355A1 (en) | Tracker assisted image capture | |
CN110858394B (zh) | 一种图像质量评估方法、装置、电子设备及计算机可读存储介质 | |
US10417773B2 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
US8588306B2 (en) | Temporal motion vector filtering | |
US9607015B2 (en) | Systems, methods, and apparatus for encoding object formations | |
JP6969611B2 (ja) | 情報処理システム、制御方法、及びプログラム | |
US20180210556A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US20180075593A1 (en) | Automatic scene calibration method for video analytics | |
CN109871760B (zh) | 一种人脸定位方法、装置、终端设备及存储介质 | |
EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
US20120321134A1 (en) | Face tracking method and device | |
CN110689560B (zh) | 食材管理方法和设备 | |
US10896495B2 (en) | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product | |
CN112584234A (zh) | 视频图像的补帧方法及相关装置 | |
CN110782433A (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
KR102434397B1 (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
JP2010049297A (ja) | 画像監視装置 | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
CN112001883A (zh) | 一种车辆目标图像的优选方法、装置和计算机设备 | |
US11882363B2 (en) | Control apparatus and learning apparatus and control method | |
JP7096175B2 (ja) | オブジェクト抽出方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |