CN109359544B - 一种人像检索方法及装置 - Google Patents

Abstract

本发明提供了一种人像检索方法及装置，方法包括：获得待检测的视频；对视频进行运动检测，得到行人的步态特征序列；获得步态序列网络模型，将步态特征序列输入至步态序列网络模型，得到针对行人的识别结果和识别概率；判断识别概率是否大于预设阈值；若大于，判定所得的识别结果正确，将识别结果作为检索结果；若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频。应用本发明实施例，提高了人像检索的效率和准确度。

Description

一种人像检索方法及装置

技术领域

本发明涉及数据检索领域，尤其涉及一种人像检索方法及装置。

背景技术

随着互联网技术的发展，各种视频数据呈爆发式增长，为了快速的从海量视频数据中检索出某个人物的相关信息，各种人像检索方法应用而生。

目前，人像检索方法主要是采用人工识别方法或人脸识别技术，对视频中的人像进行检索，得到检索结果。但是这些方法存在效率较低或者准确率不高的问题，仍难以满足用户实际需求。例如，待检索的视频的大小可能有几百T(Trillionbyte，太字节)，通过人工方式识别可能要一两个月，工作量巨大且耗时较长；而人脸识别技术虽然处理速度较快，但是由于该技术容易受场景干扰且对人脸的大小要求严格，而视频中的场景通常变化较大，且同一人物在视频中的人脸大小可能发生变化，故在视频中应用该技术来检索人像的准确率不高。

因此有必要设计一种新的人像检索方法，以克服上述问题。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种人像检索方法及装置，以实现提高人像检索的效率和准确度。

本发明是这样实现的：

第一方面，本发明提供一种人像检索方法，所述方法包括：

获得待检测的视频；对所述视频进行运动检测，得到行人的步态特征序列；

获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

判断所述识别概率是否大于预设阈值；

若大于，判定所得的识别结果正确，将所述识别结果作为检索结果；

若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频的步骤。

可选的，对所述行人运动视频进行运动检测，得到行人的步态特征序列，包括：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的各图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

可选的，所述步态序列网络模型为目标神经网络模型，获得步态序列网络模型，包括：

用训练样本集训练预设的初始神经网络模型，得到所述目标神经网络模型。

可选的，所述识别结果包括身份识别结果和运动识别结果，所述预设阈值包括预设第一阈值和预设第二阈值，所述识别概率包括身份识别概率和运动识别概率；判断所述识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，包括：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

可选的，若识别概率不大于预设阈值，判定所得的识别结果不正确，返回执行采集行人的视频的步骤，包括：

当所述身份识别概率不大于预设第一阈值或运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行采集行人的视频的步骤。

可选的，所述初始神经网络模型为LSTM时间递归神经网络模型。

可选的，当检索结果有多个时，所述方法还包括：

按照各检索结果的识别概率的大小，对各检索结果进行升序/降序排列。

第二方面，本发明提供一种人像检索装置，所述装置包括：

第一获得模块，用于获得待检测的视频；对所述视频进行运动检测，得到行人的步态特征序列；

第二获得模块，用于获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

判断模块，用于判断所述识别概率是否大于预设阈值；若大于，判定所得的识别结果正确，将所述识别结果作为检索结果；若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频。

可选的，所述第一获得模块对所述行人运动视频进行运动检测，得到行人的步态特征序列，包括：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的各图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

可选的，所述步态序列网络模型为目标神经网络模型，所述第二获得模块获得步态序列网络模型，具体为：

用训练样本集训练预设的初始神经网络模型，得到所述目标神经网络模型。

可选的，所述识别结果包括身份识别结果和运动识别结果，所述预设阈值包括预设第一阈值和预设第二阈值，所述识别概率包括身份识别概率和运动识别概率；所述判断模块判断所述识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，具体为：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

可选的，所述判断模块在识别概率不大于预设阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频，具体为：

当所述身份识别概率不大于预设第一阈值或运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频。

可选的，所述初始神经网络模型为LSTM时间递归神经网络模型。

可选的，所述装置还包括：

排序模块，用于当检索结果有多个时，按照各检索结果的识别概率的大小，对各检索结果进行升序/降序排列。

本发明具有以下有益效果：应用本发明实施例，首先获得待检测的视频；对视频进行运动检测，得到行人的步态特征序列；进而，获得步态序列网络模型，将步态特征序列输入至步态序列网络模型，得到针对行人的识别结果和识别概率；判断识别概率是否大于预设阈值；若大于，判定所得的识别结果正确，将识别结果作为检索结果；若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频。

可见，应用本发明实施例，将步态特征序列输入至步态序列网络模型，得到针对行人的识别结果和识别概率，相比于现有的人工识别方式而言，提高了检索效率，且当识别概率大于预设阈值时，将识别结果作为检索结果；当识别概率不大于预设阈值时，则返回执行获得待检测的视频的步骤，以对行人重新进行检索，故，提高了检索结果的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的人像检索方法的一种流程示意图；

图2为本发明实施例提供的人像检索装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，本发明所提供的人像检索方法可以应用于电子设备，其中，在具体应用中，该电子设备可以为计算机、个人电脑、平板、手机等等，这都是合理的。

参见图1，本发明实施例提供一种人像检索方法，方法包括如下步骤：

S101、获得待检测的视频；对所述视频进行处理，得到行人的步态特征序列；

待检测的视频可以是视频采集设备实时采集的视频，也可以是预先存储于本发明执行主体(例如电子设备)的视频，还可以是第三方设备提供的视频。视频采集设备可以为摄像机、录像机等，本发明对视频采集设备的具体型号不做限定，例如可以为单目摄像机，也可以为双目摄像机。视频采集设备可以固定安装在摸个位置；也可以安装于某个移动物体上，例如无人机、汽车上。

视频采集设备可以采集数据得到视频，并可以将视频发送给电子设备，从而电子设备可以获得视频采集设备采集的视频，并可以对视频进行处理，得到行人的步态特征序列。

具体的，对视频进行处理得到行人的步态特征序列的方式可以为：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

视频是由连续的图像帧组成，可以认为是连续的图像帧序列，利用运动检测算法，可以从视频中检测出包含行人的各图像帧，并可以提取行人的步态特征。具体的运动检测算法可以为背景图像差分法、帧间差分法和光流法等中的一种或组合。

步态特征用于反映行人运动时的特征，可以包括步长、步幅、步频等特征。可以从包含行人的图像帧中提取步态特征，将所提取的步态特征合并，可以得到步态特征序列。步态特征序列具有唯一性，可以唯一的区别行人及其运动状态。行人的运动状态包括徘徊、慢走、正常行走、跑步、跌倒等。

另外，为了消除视频中的噪声，提高识别准确度，在对视频进行运动检测，得到行人的步态特征序列之前，方法还可以包括：

对视频进行滤波处理。

相应的，步骤S101中的对视频进行运动检测，得到行人的步态特征序列，可以为：

对滤波处理后的视频进行运动检测，得到行人的步态特征序列。

由于视频采集设备采集的视频可能存在噪声干扰，因此，在对视频进行运动检测之前，对视频进行滤波处理，可以减少视频中不必要的噪声干扰，提高视频的清晰度。

本发明实施例对滤波处理的实现方式不做限定，例如，可以采用中值滤波、线性滤波、卡尔曼滤波等滤波算法中的一种或组合，对视频进行滤波处理。

可见，应用本发明实施例，对视频进行滤波处理后，可以去除视频中的噪声，对滤波处理后的视频进行运动检测，有助于提高步态特征序列的准确度。

又一种实现方式中，为了提高特征提取的速度，在从视频中检测出包含行人的各图像帧之后，方法还可以包括：

对包含行人的各图像帧进行图像骨骼化处理，得到骨骼化图像序列；

相应的，从包含行人的图像帧中提取行人的步态特征，具体为：

从骨骼化图像序列中提取行人的步态特征。

图像骨骼化处理可以实现对图像帧的细化，即从原来的图中去掉一些不重要的点，从而可以得到图像中物体的骨架。去掉的点不影响物体的整体形状，骨架，可以理解为物体的中轴，例如一个长方形的骨架是它的长方向上的中轴线；正方形的骨架是它的中心点；圆的骨架是它的圆心，直线的骨架是它自身，孤立点的骨架也是自身。得到了图像的骨架，就相当于突出物体的主要结构和形状信息，根据这些信息可以实现行人步态特征的提取。

应用本发明实施例，由于去除了多余信息，故提高了特征提取速度。

S102、获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

步态序列网络模型可以为神经网络模型、SVM(Support Vector Machine，支持向量机)模型、遗传网络模型等机器学习模型中的一种或组合。步态序列网络模型是预先用训练样本集训练至收敛的机器学习模型，从而，在获得步态特征序列后，可以输出识别结果和识别概率。识别概率用于评价识别出正确结果的概率。

具体的，步态序列网络模型可以为目标神经网络模型，获得步态序列网络模型，包括：

用训练样本集训练预设的初始神经网络模型，得到目标神经网络模型。

训练样本集可以是用于训练初始神经网络模型的样本集合，每个样本均包括步态特征序列和其对应的识别结果，训练样本集中的步态特征序列来源于视频采集设备之前采集的视频，或者是，电子设备预先存储的视频，或者是其他第三方设备提供的视频，训练样本集中的识别结果可以是专家事先标记的，也可以是其他机器学习模型事先学习出来的。

初始神经网络模型中的各参数均为初始的默认参数，经过训练后，可以得到由训练成熟后的模型参数构成的目标神经网络模型，模型参数决定了目标神经网络模型的识别准确度。初始神经网络模型为LSTM(Long Short-Term Memory，时间递归神经网络模型)，LSTM是一种改进之后的循环神经网络，可以记住长期信息，以解决长期依赖的问题，对于处理信息量较大的数据，具有较好的学习效果。

当然，在其他实现方式中，初始神经网络模型还可以为卷积神经网络模型、循环神经网络模型等。

S103、判断识别概率是否大于预设阈值；若大于，则执行S104；若不大于，则执行S105；

S104、判定所得的识别结果正确，将所述识别结果作为检索结果；

S105、判定所得的识别结果不正确，返回执行获得待检测的视频的步骤。

识别结果可以包括身份识别结果和运动识别结果，相应的，预设阈值可以包括预设第一阈值和预设第二阈值，识别概率包括身份识别概率和运动识别概率；判断识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，可以为：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

预设第一阈值和预设第二阈值可以根据需求预先设定，二者可以相同，也可以不同，例如，可以分别为0.75和0.65，也就是，当身份识别概率大于0.75且运动识别概率大于0.65时，判定所得的识别结果正确，将身份识别结果和运动识别结果作为检索结果。

当然，在其他实现方式中，也可以当身份识别概率大于预设第一阈值或运动识别概率大于预设第二阈值时，判定身份识别成功或运动识别正确，将身份识别结果或运动识别结果作为检索结果。

例如，预设第一阈值和预设第二阈值分别为0.75和0.65，当身份识别概率大于0.75时，判定身份识别成功，将身份识别结果作为检索结果；当运动识别概率大于0.65时，判定运动识别正确，将运动识别结果作为检索结果。

或者，在另一种实现方式中，人像识别的目的仅在于识别行人的身份，则识别结果可以仅包括身份识别结果，当身份识别概率大于预设阈值时，判定所得的识别结果正确，将身份识别结果作为检索结果。

又或者，在又一种实现方式中，人像识别的目的仅在于识别行人的运动，无需关注行人的身份，则识别结果可以仅包括运动识别结果，当运动识别概率大于预设阈值时，判定所得的识别结果正确，将身份识别结果作为检索结果。

预设阈值可以事先设定，可以为0.6、0.65、0.7、0.75等等。

身份识别结果可以用于唯一标识行人的身份，本发明身份识别结果的具体内容不做限定，例如，可以为行人的名字、身份证号、住址等信息的组合，也可以仅包括身份证号和姓名。运动识别结果可以包括徘徊、慢走、正常行走、跑步、跌倒等中的一种。

另外，若识别概率不大于预设阈值，判定所得的识别结果不正确，返回执行采集行人的视频的步骤，可以为：

当身份识别概率不大于预设第一阈值或运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频的步骤。

或者，在其他实现方式中，也可以在当身份识别概率不大于预设第一阈值且运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频的步骤。

例如，可以分别为0.75和0.65，也就是，当身份识别概率不大于0.75且运动识别概率不大于0.65时，判定所得的识别结果不正确。

可见，应用本发明实施例，将步态特征序列输入至步态序列网络模型，得到针对行人的识别结果和识别概率，相比于现有的人工识别方式而言，提高了检索效率，且当识别概率大于预设阈值时，将识别结果作为检索结果；当识别概率不大于预设阈值时，则返回执行获得待检测的视频，以对行人重新进行检索，故，提高了检索结果的准确率。

另外，为了提高用户体验，在判定所得的识别结果不正确后，还可以给出提示信息，该提示信息用于提示用户所得的识别结果不正确，或者，该提示信息还用于提示用户是否接受该识别结果，若用户选择接受，则电子设备可以将识别结果作为检索结果；若用户选择不接受，则电子设备可以返回执行获得待检测的视频的步骤。

应用本发明实施例，用户可以自主选择是否接受识别结果，从而根据用户的选择来获得检索结果，提高了用户体验。

当检索结果有多个时，方法还包括：

按照各检索结果的识别概率的大小，对各检索结果进行升序/降序排列。

当视频中包括多个行人时，针对每一行人，均可以得到一个识别结果和识别概率，可以将识别概率大于预设阈值的各识别结果作为检索结果，从而检索结果有多个，检索结果的识别概率即为：作为该检索结果的识别结果的识别概率。

或者，当视频中仅包括一个行人时，该行人可能在不同情况下处于不同的运动状态，从而识别结果也可能多个，可以将识别概率大于预设阈值的各识别结果作为检索结果，从而检索结果有多个。

应用本发明实施例，可以将各检索结果升序/降序排列，从而便于后续的查看和分析。

与上述的方法实施例相对应，本发明实施例还提供一种人像检索装置。

参见图2，图2为本发明实施例所提供的一种人像检索装置的结构示意图，装置包括：

第一获得模块201，用于获得待检测的视频；对所述视频进行运动检测，得到行人的步态特征序列；

第二获得模块202，用于获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

判断模块203，用于判断所述识别概率是否大于预设阈值；若大于，判定所得的识别结果正确，将所述识别结果作为检索结果；若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频。

可见，应用本发明实施例，将步态特征序列输入至步态序列网络模型，得到针对行人的识别结果和识别概率，相比于现有的人工识别方式而言，提高了检索效率，且当识别概率大于预设阈值时，将识别结果作为检索结果；当识别概率不大于预设阈值时，则返回执行获得待检测的视频，以对行人重新进行检索，故，提高了检索结果的准确率。

可选的，所述第一获得模块对所述行人运动视频进行运动检测，得到行人的步态特征序列，包括：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的各图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

可选的，所述步态序列网络模型为目标神经网络模型，所述第二获得模块获得步态序列网络模型，具体为：

用训练样本集训练预设的初始神经网络模型，得到所述目标神经网络模型。

可选的，所述识别结果包括身份识别结果和运动识别结果，所述预设阈值包括预设第一阈值和预设第二阈值，所述识别概率包括身份识别概率和运动识别概率；所述判断模块判断所述识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，具体为：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

可选的，所述判断模块在识别概率不大于预设阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频，具体为：

当所述身份识别概率不大于预设第一阈值或运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行获得待检测的视频。

可选的，所述初始神经网络模型为LSTM时间递归神经网络模型。

可选的，所述装置还包括：

排序模块，用于当检索结果有多个时，按照各检索结果的识别概率的大小，对各检索结果进行升序/降序排列。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人像检索方法，其特征在于，所述方法包括：

获得待检测的视频；对所述视频进行运动检测，得到行人的步态特征序列；

获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

判断所述识别概率是否大于预设阈值；

若大于，判定所得的识别结果正确，将所述识别结果作为检索结果；

若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频的步骤；

所述识别结果包括身份识别结果和运动识别结果，所述预设阈值包括预设第一阈值和预设第二阈值，所述识别概率包括身份识别概率和运动识别概率；判断所述识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，包括：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

2.根据权利要求1所述的方法，其特征在于，对所述行人运动视频进行运动检测，得到行人的步态特征序列，包括：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的各图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

3.根据权利要求1所述的方法，其特征在于，所述步态序列网络模型为目标神经网络模型，获得步态序列网络模型，包括：

用训练样本集训练预设的初始神经网络模型，得到所述目标神经网络模型。

4.根据权利要求1所述的方法，其特征在于，若识别概率不大于预设阈值，判定所得的识别结果不正确，返回执行采集行人的视频的步骤，包括：

当所述身份识别概率不大于预设第一阈值或运动识别概率不大于预设第二阈值时，判定所得的识别结果不正确，返回执行采集行人的视频的步骤。

5.根据权利要求3所述的方法，其特征在于，所述初始神经网络模型为LSTM时间递归神经网络模型。

6.根据权利要求1所述的方法，其特征在于，当检索结果有多个时，所述方法还包括：

按照各检索结果的识别概率的大小，对各检索结果进行升序/降序排列。

7.一种人像检索装置，其特征在于，所述装置包括：

第一获得模块，用于获得待检测的视频；对所述视频进行运动检测，得到行人的步态特征序列；

第二获得模块，用于获得步态序列网络模型，将所述步态特征序列输入至所述步态序列网络模型，得到针对所述行人的识别结果和识别概率；

判断模块，用于判断所述识别概率是否大于预设阈值；若大于，判定所得的识别结果正确，将所述识别结果作为检索结果；若不大于，判定所得的识别结果不正确，返回执行获得待检测的视频；

所述识别结果包括身份识别结果和运动识别结果，所述预设阈值包括预设第一阈值和预设第二阈值，所述识别概率包括身份识别概率和运动识别概率；判断所述识别概率是否大于预设阈值，若大于，判定所得的识别结果正确，将所述识别结果作为检索结果，包括：

当所述身份识别概率大于预设第一阈值且运动识别概率大于预设第二阈值时，判定所得的识别结果正确，将所述身份识别结果和所述运动识别结果作为检索结果。

8.根据权利要求7所述的装置，其特征在于，所述第一获得模块对所述行人运动视频进行运动检测，得到行人的步态特征序列，具体为：

利用预设的运动检测算法，从视频中检测出包含行人的各图像帧，并从包含行人的各图像帧中提取行人的步态特征；将所提取的各步态特征合并，得到行人的步态特征序列。

9.根据权利要求7所述的装置，其特征在于，所述步态序列网络模型为目标神经网络模型，所述第二获得模块获得步态序列网络模型，具体为：

用训练样本集训练预设的初始神经网络模型，得到所述目标神经网络模型。

Images