CN107944403A - 一种图像中的行人属性检测方法及装置 - Google Patents

一种图像中的行人属性检测方法及装置 Download PDF

Info

Publication number
CN107944403A
CN107944403A CN201711230016.1A CN201711230016A CN107944403A CN 107944403 A CN107944403 A CN 107944403A CN 201711230016 A CN201711230016 A CN 201711230016A CN 107944403 A CN107944403 A CN 107944403A
Authority
CN
China
Prior art keywords
pedestrian
subregion
image
area
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711230016.1A
Other languages
English (en)
Other versions
CN107944403B (zh
Inventor
刘浩
王翔
王彬
陈雪梅
孙英贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense TransTech Co Ltd
Qingdao Hisense Network Technology Co Ltd
Original Assignee
Qingdao Hisense Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Network Technology Co Ltd filed Critical Qingdao Hisense Network Technology Co Ltd
Priority to CN201711230016.1A priority Critical patent/CN107944403B/zh
Publication of CN107944403A publication Critical patent/CN107944403A/zh
Application granted granted Critical
Publication of CN107944403B publication Critical patent/CN107944403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像中的行人检测方法及装置，所述方法包括：对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域对应的所述待检测图像输入到卷积神经网络中，输出每个区域中包括的身体子区域或附属物的属性特征。

Description

一种图像中的行人属性检测方法及装置
技术领域
本申请涉及机器学习技术领域，特别涉及一种图像中的行人属性检测方法及装置。
背景技术
随着视频监控技术的发展，智能视频监控应用在越来越多的场景中，例如交通、商场、医院、小区、公园等等，智能视频监控的应用为各种场景中，通过图像进行行人属性检测奠定了基础。
行人属性的识别，是通过输入含有待检测行人的视频，然后从视频中识别出行人各项属性的一种技术。该技术涉及了计算机视觉、图像处理、模式识别、机器学习等诸多学科。
传统的行人属性识别***中只能根据视频中某一帧的行人整体图像，使用传统的机器学习方法进行行人属性的识别。当行人的定位不精确时对识别的结果影响很大，并且传统机器学习方法所能达到的效果也有限。城市级安防视频量庞大，行人属性结构化识别模型的数量会随着属性数目的增长而越来越多，导致计算量庞大。
因此，目前如何解决行人属性的精确识别，提高识别效率，成为了目前亟待解决的问题。
发明内容
本申请实施例提供一种图像中的行人属性检测方法及装置，用以提高行人属性检测的效率。
本申请实施例提供一种图像中的行人属性检测方法，其特征在于，所述方法包括：
对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；
对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；
将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；
在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；
将所述N个子区域输入到卷积神经网络中，输出每个子区域中包括的身体子区域或附属物子区域的属性特征。
一种可能的实现方式，获得包括所述行人的第一行人区域，包括：
获取所述待检测图像的梯度方向直方图；
根据所述待检测图像的梯度方向直方图中的梯度密度分布，确定所述待检测图像的特征向量；
将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
一种可能的实现方式，所述确定所述行人的边缘，包括：
根据色彩连通区域算法确定所述第一行人区域中行人的边缘。
一种可能的实现方式，所述在所述第二行人区域中划分出N个子区域，包括：
获取所述第二行人区域的梯度方向直方图；
根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；
针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
一种可能的实现方式，所述头部的属性特征至少包括以下一项或多项：年龄，性别，头部配件，脸部配件；所述上半身的属性特征至少包括：衣物的特征；所述下半身的属性特征至少包括：衣物，鞋子；所述手持物的属性特征至少包括：包，推车，行李箱，宠物的手持物是否携带或其颜色、类型。
本申请实施例提供一种图像中的行人属性检测装置，所述装置包括：
获取单元，用于对待检测图像中行人进行检测；
处理单元，用于获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域输入到卷积神经网络中，输出每个子区域中包括的身体子区域或附属物子区域的属性特征。
一种可能的实现方式，所述处理单元具体用于：
获取所述待检测图像的梯度方向直方图；根据所述待检测图像的梯度方向直方图中的梯度密度分布，确定所述待检测图像的特征向量；将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
一种可能的实现方式，所述处理单元具体用于：根据色彩连通区域算法确定所述第一行人区域中行人的边缘。
一种可能的实现方式，所述处理单元具体用于：
获取所述第二行人区域的梯度方向直方图；根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
一种可能的实现方式，所述头部的属性特征至少包括以下一项或多项：年龄，性别，头部配件，脸部配件；所述上半身的属性特征至少包括：衣物的特征；所述下半身的属性特征至少包括：衣物，鞋子；所述手持物的属性特征至少包括：包，推车，行李箱，宠物的手持物是否携带或其颜色、类型。
本申请实施例提供了一种计算机程序产品，包括计算机可读指令，当计算机读取并执行所述计算机可读指令，使得计算机执行如上述任意一项所述的方法。
本申请实施例提供一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的软件程序，以实现上述任一项中各种可能的设计中的方法。
本申请实施例提供了一种图像中的行人属性检测方法及装置，该方法中对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域对应的所述待检测图像输入到卷积神经网络中，输出每个区域中包括的身体子区域或附属物的属性特征。由于本申请实施例确定的第二行人区域为精确定位后的行人区域，使得对划分的N个子区域更加的精确，采用卷积神经网络一次性识别N个子区域对应的行人属性特征，提高了检测的精度及检测的效率。
附图说明
图1为本申请实施例提供的一种图像中的行人属性检测方法的流程示意图；
图2为本申请实施例提供的一种图像中的行人属性检测的示意图；
图3为本申请实施例提供的一种图像中的行人属性检测的示意图；
图4为本申请实施例提供的一种图像中的行人属性检测的示意图；
图5为本申请实施例提供的一种图像中的行人属性检测的示意图；
图6为本申请实施例提供一种卷积神经网络的结构示意图；
图7为本申请实施例提供的一种图像中的行人属性检测装置结构示意图。
具体实施方式
现有技术中，对图像中的行人检测方法主要为使用方向梯度直方图(Histogramof Oriented Gradient,HOG)算法对行人目标进行检测，得到的结果检测准确率低、行人包围框过大，导致根据确定的行人区域确定的行人属性精度低的问题。为了有效提高行人属性检测的效率，提高行人属性检测的实时性，便于行人属性检测整体优化，本申请实施例提供了一种图像中的行人属性检测方法及装置。
本申请实施例应用于电子设备，具体的该电子设备可以是台式机、笔记本、其他具有处理能力的智能设备等。另外，本申请实施例中的图像中的行人属性检测可以是检测交通场景的图像中的行人属性，也可以检测视频监控的其他场景中的行人属性，例如公园、公寓、超市等等。在视频侦查、行人特征查找、嫌疑人搜索等多种业务上有广泛的应用。
图1为本申请实施例提供的一种图像中的行人属性检测方法的流程示意图，包括以下步骤：
步骤101：对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；
步骤102：对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；
步骤103：将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；
步骤104：在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；
步骤105：将所述N个子区域对应的所述待检测图像输入到卷积神经网络中，输出每个区域中包括的身体子区域或附属物的属性特征。
在步骤101中，可以通过方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取算法，确定包括所述行人的第一行人区域。具体过程如下：
步骤一、获取所述待检测图像的梯度方向直方图；
在所述待检测图像中，行人的形状特征可以根据梯度或边缘的方向密度分布确定。具体实现方法：
将图像分成适应检测行人的滤波器，采集滤波器中各像素点的梯度或边缘的方向直方图；每个滤波器的梯度方向分成不同的方向，使用滤波器中的梯度方向和幅度对各个方向进行加权投影，确定滤波器在所述待检测图像上产生的特征向量。
步骤二、将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
一种可能的实现方式，所述样本图像可以包括正样本，即划分出行人区域的样本图像，划分方式可以为人工划分方式；以及负样本，其中，负样本图像中不包括行人的样本图像。通过包括正样本图像和负样本图像中行人区域的特征进行训练，以获得行人区域的特征向量。在检测过程中，根据所述待检测图像的特征向量与训练好的行人区域的特征向量进行比较，若确定所述待检测图像的特征向量与所述行人区域的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
具体的比较方法，可以通过支持向量机的方法进行比较，与现有技术中的方法相同，在此不再赘述。
如图2所示，为本申请实施例确定的第一行人区域201。通过HOG特征确定的第一行人区域201为一个较大的范围，仅通过HOG特征确定的第一行人区域201进行行人属性的识别，识别精度较低，因此，为提高行人的识别精度，本申请实施例的图像中的行人属性检测方法还包括确定所述行人的边缘。
在步骤102中，所述行人的边缘的提取可以通过色彩连通区域算法确定。具体可以包括以下步骤：
步骤一、将所述待检测图像的采样格式转换为YCbCr格式。
YCbCr是一种色彩空间，通常用于影片中的影像连续处理，或数字摄影***中。Y为亮度值(luminance)，Cb和Cr为蓝色和红色的色度分量。通过采样格式的转换，可以将所述待检测图像的大小压缩，以降低图像处理的模型的大小，提高图像处理的速度。
步骤二、获得所述待检测图像的二值图像，并对所述二值图像进膨胀与腐蚀处理。
其中，二值图像(Binary Image)是指将图像上的每一个像素只有两种可能的取值或灰度等级状态，可以用黑白、B&W、单色图像表示二值图像。二值图像中所有的像素只能从0和1这两个值中取，这两个可取的值分别对应于关闭和打开，关闭表征该像素处于背景，而打开表征该像素处于前景。通过二值图像只保留图像的边缘特征，忽略了图像的细节，使得图像占用空间少，并且可以更容易识别出图像的结构特征。例如，识别图像为风景还是行人等结构特征。
在具体实施过程中，可以通过对二值图像的腐蚀和膨胀处理，实现对图像的边缘进行平滑处理。先腐蚀后膨胀的过程称为开运算，它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。先膨胀后腐蚀的过程称为闭运算，它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。具体的，一个小型二值图(结构元素)在所述二值图像上逐点移动并进行比较，根据比较的结果作出相应膨胀和腐蚀处理。通过形态学滤波及连通性检测方法去除前景噪声及区域内空洞，可以有效的去除待检测图像的噪声干扰，提升行人检测准确率。
步骤三、确定所述行人与周围环境的显著边界，并将所述边界作为所述行人的边缘。
具体实施过程中，可以通过二值图像的连通区域标记方法，从仅由“1”像素(前景点)和“0”像素(背景点)组成的一幅二值图像中，将相互邻接的“1”值像素组合成区域，并用边界信息来描述每个连通区域。
如图3所示，为本申请实施例确定的行人的边缘301的示意图。需要说明的是，步骤101和步骤102的执行过程可以为先进行步骤101，确定第一行人区域201后，将第一行人区域201内的待检测图像进行步骤102，以获得行人边缘301；也可以为步骤101和步骤102同时进行，通过步骤101确定第一行人区域201和通过步骤102中确定所述待检测图像中的所有的边缘之后后，通过确定的第一行人区域201，确定出所述待检测图像的所有边缘中的行人的边缘301。
通过色彩连通区域确定的边缘301为所述行人的最小边缘，甚至可能出现将行人的身体部位或行人的附属物确定为行人的边缘301外的情况，因此，仍存在一定的误差。为提高识别精度，通过HOG特征确定的第一行人区域201结合所述行人边缘301，确定如图4所示的第二行人区域401。
一种可能的实现方式，在步骤103中，第二行人区域401的确定方法可以通过以下方法实现：
步骤一、根据行人的边缘301确定在上、下、左、右四个方向上的极值点a,b,c,d。
一种可能的实现方式，所述上、下、左、右四个方向为第一行人区域201的4个边框的垂线且向外的方向；在每个方向上，将行人的边缘301在该方向上的最大值的边缘点，确定为该方向上的极值点。
步骤二、根据所述四个极值点，确定与第一行人区域201相似的第三行人区域302。
步骤三、根据第一行人区域201与第三行人区域302确定第二行人区域401；
一种可能的实现方式，如图4所示，第二行人区域401为小于第一行人区域201的区域，且大于第三行人区域302的区域。
一种可能的实现方式，第二行人区域401位于为第一行人区域201与第三行人区域302的中间位置，且第二行人区域401的大小为第一行人区域201的大小与第三行人区域302的大小的平均值。
通过步骤103确定的第二行人区域401，将行人的检测区域减小到合适的位置，提高了后续行人属性的检测的精度和效率。
通过对第二行人区域401的图像，进行行人的子区域的检测，通过减少子区域的像素点，降低了划分子区域的滤波器的大小，可以极大的提高识别的速度，进而提高图像识别的效率。
在具体实施过程中，所述N个区域中包括的身体子区域或附属物可以至少包括以下一项或多项：头部，上半身，下半身，手持物等；子区域的选择可以根据实际应用场景确定，在此不做限定。
在步骤104中，在第二行人区域401中划分出N个子区域，可以包括以下步骤：
步骤一、获取第二行人区域401的梯度方向直方图；
为提高识别N个子区域的精度，一种可能的实现方式，可通过2类滤波器确定第二行人区域401的梯度方向直方图，具体步骤如下：
步骤一：根据根滤波器对第二行人区域401进行卷积，获得所述根滤波器的响应图；
其中，所述根滤波器(root filter)为全局的滤波器，每个根滤波器为根据基于向量机分类模型对梯度方向加权叠加，梯度方向越亮的方向可以解释为行人具有此方向梯度的可能性越大。根滤波器获得的响应图大致呈现了一个行人的整体的特征。
步骤二：通过高斯金字塔上采样将第二行人区域401的图像放大2倍；根据N个子区域滤波器(part filter)分别对放大2倍的所述第二行人区域对应的待检测图像进行卷积，获得所述N个子区域滤波器的响应图；
通过放大2倍的图像进行子区域的检测，提高了检测所述N个子区域的精度。所述N个子区域滤波器为根据训练的样本图像确定的所述N个子区域的滤波器。通过第二行人区域401作为训练N个子区域滤波器中选取的样品图像的大小，确定的N个子区域滤波器的像素点较少，有效的提高了所述N个子区域的识别精度和识别效率。
步骤三：对所述N个子区域滤波器的响应图做高斯金字塔降采样，并将降采样后的响应图和所述根滤波器的响应图进行加权平均，确定第二行人区域401的梯度的方向和幅值，即第二行人区域401的梯度密度分布；
通过对所述N个子区域滤波器的响应图做精细高斯金字塔的降采样处理，以保证所述N个子区域滤波器的的响应图和根滤波器的响应图就具有相同的分辨率。将其进行加权平均，得到最终的响应图，进而确定第二行人区域401的梯度方向直方图。
步骤二、根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；
步骤三、针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
例如，如图5所示，为本申请实施例通过步骤104确定的第二行人区域402的4个子区域，分别为头部子区域501，上半身子区域502，下半身子区域503，附属物子区域504。
针对头部子区域501，头部的属性特征可以至少包括以下一项或多项：年龄，性别，头部配件，脸部配件等特征；所述头部配件可以为帽子，所述脸部配件可以为眼镜等。
针对上半身子区域502，上半身的属性特征可以至少包括以下一项或多项：上衣颜色，上衣类型等特征；
针对下半身子区域503，下半身的属性特征可以至少包括以下一项或多项：衣物、鞋子的颜色，衣物、鞋子类型等特征；
针对附属物子区域504，所述附属物的属性特征可以至少包括以下一项或多项：包，推车，行李箱，宠物等附属物是否携带或其颜色、类型等特征。
在具体实施过程中，可以根据需要确定检测的所述N个子区域的N个行人属性特征；
例如，如图5所示的4个子区域501-504，可以确定对应的检测的4个行人属性特征分别为：子区域501检测的行人属性特征为性别，子区域502检测的行人属性特征为上衣颜色，子区域503检测的行人属性特征为下衣颜色，子区域504检测的行人属性特征为是否携带包。
在步骤105中，针对确定的N个行人属性特征，将所述N个子区域对应的所述待检测图像输入到卷积神经网络中。
本申请实施例中采用大量的样本图像对卷积神经网络进行训练，通过大量的样本图像构成样本图像集。可采用矩形框在每个样本图像中确定N个子区域。样本图像中每个子区域对应一个子卷积神经网络，每个子卷积神经网络模型用于识别该子区域对应的需要识别的行人属性特征。例如，如图6所示的卷积神经网络的结构示意图，所述卷积神经网络包括4个子卷积神经网络601-604，分别对应第二行人区域402的4个子区域501-504，即头部子区域501，上半身子区域502，下半身子区域503，附属物子区域504。
在本申请实施例中，所述卷积神经网络进行训练过程可以采用样本图像集中的所有样本图像对卷积神经网络进行训练。为了提高训练的效率，在本申请实施例中根据样本图像中针对每个子区域的行人属性特征分别对卷积神经网络进行训练。
在未确定任何一个行人属性特征对应的子卷积神经网络模型的权重系数时，可以随机选取所述N个子区域的N个行人属性特征中的一个子区域的一个行人属性特征，对对应的子卷积神经网络进行训练，具体训练过程包括：
在所述样本图像集中选取子样本图像，所述子样本图像为该子区域对应的样本图像；采用选取的所述子样本图像，对该子卷积神经网络进行训练；不断更新该子卷积神经网络的权重系数，直到预测的行人属性特征的信息与标注的行人属性特征信息之间的误差收敛为止。
在确定至少一个子区域的一个行人属性特征之后，将确定的行人属性特征的部分权重系数作为下一个待训练的行人属性特征的权重系数的初始值，输入到待训练的行人属性特征对应的子卷积神经网络中进行训练。其中，可以将确定的行人属性特征的80％的权重系数作为下一个待训练的行人属性特征的权重系数的初始值。具体训练过程与上述确定的行人属性特征的子卷积神经网络的训练过程相同，在此不再赘述。
通过上述训练方法，得到的所述N个子区域的所述N个行人属性特征对应的权重系数部分相同。极大的减少了卷积神经网络模型的计算量，提高了图像的识别效率。
在步骤105中，在对待检测的图像进行检测时，直接将该图像输入到预先训练完成的卷积神经网络中。本申请实施例提供的卷积神经网络如图7所示，该卷积神经网络包括：多个卷积层和降采样层及最后一个全连接卷积层，全连接卷积层可以在卷积层得到的特征图中进行子区域对应的行人属性特征的识别，降采样层针对识别的每个子区域，进行降采样，全连接卷积层针对降采样的结果确定该子区域对应的特征向量。
例如，如图6所示的子卷积神经网络601为检测性别特征的卷积神经网络模型，子卷积神经网络602为检测上衣颜色特征的卷积神经网络模型，子卷积神经网络603为检测下衣颜色特征的卷积神经网络模型，子卷积神经网络604为检测是否携带包的特征的卷积神经网络模型。4个子卷积神经网络601-604的权重系数部分相同，因此，所述4个子卷积神经网络模型的权重系数可以设置为所述4个子卷积神经网络模型的所有权重系数的集合。在子卷积神经网络模型的中间的卷积层的计算过程中，对所述4个子卷积神经网络并行计算，以提高检测效率。
仅在4个子卷积神经网络模型的最后一层全连接卷积层中，通过4个子卷积神经网络模型对应的4个行人属性特征的特征向量进行分类识别，以输出对应的属性特征值。
根据该子卷积神经网络的全连接卷积层的行人属性特征图，预测该子区域是否存在对应的行人属性特征的概率。在本申请实施例中，当预测该子区域存在行人属性时，其对应的概率为1，否则，其对应的概率为0，当然，在预测该子区域存在对应的行人属性特征时，其对应的概率也可以是大于0的其他值。
在具体实施过程中，在最后一层卷积层得到的卷积特征图中通过全连接卷积层进行行人属性特征的判断。通过全连接卷积层，基于确定的卷积特征图，确定该子区域存在的对应的行人属性特征的概率，例如可以是通过卷积特征图确定每个子区域存在行人属性特征的概率分别为0或1，其中0表示该子区域不存在对应的行人属性特征，1表示该子区域存在对应的行人属性特征，当然也可以采用其他方式记录每个子区域是否存在对应的行人属性特征的概率，例如，设定一个概率阈值，大于概率阈值的说明存在对应的行人属性特征，小于概率阈值的说明不存在对应的行人属性特征。
以头部子区域501为例，将头部子区域501的待检测图像输入至子卷积神经网络601后，通过卷积层、降采样层后，在最后一层全连接卷积层获得头部子区域501的特征图，通过全连接卷积层确定头部子区域501的性别特征为女性的概率为0.8，男性的概率为0.2，则输出为所述待检测图像的性别为女性。其他子区域502-504与头部子区域501同时输入至卷积神经网络模型中进行检测，进而同时获得4个子区域对应的4个行人属性特征。
在本申请实施例中，所述卷积神经网络可以为***-net模型，包括22层卷积层，5层降采样层，最后一层为全连接层。卷积神经网络具有强大的特征学习能力，能够克服由人工划分特征所带来的描述不够准确的问题，另外，在本申请实施例中采用所述N个子卷积神经网络权重系数相同的网络，采用较少的权重系数，可以在保证准确率的基础上，极大的降低计算量，并同时获得N个行人属性特征。
如图7所示，本申请实施例提供一种图像中的行人属性检测装置，所述装置包括：
获取单元701，用于对待检测图像中行人进行检测；
处理单元702，用于获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域输入到卷积神经网络中，输出每个子区域中包括的身体子区域或附属物子区域的属性特征。
一种可能的实现方式，处理单元702具体用于：
获取所述待检测图像的梯度方向直方图；根据所述待检测图像的梯度方向直方图中的梯度密度分布，确定所述待检测图像的特征向量；将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
一种可能的实现方式，处理单元702具体用于：根据色彩连通区域算法确定所述第一行人区域中行人的边缘。
一种可能的实现方式，处理单元702具体用于：
获取所述第二行人区域的梯度方向直方图；根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
一种可能的实现方式，所述头部的属性特征至少包括以下一项或多项：年龄，性别，头部配件，脸部配件；所述上半身的属性特征至少包括：衣物的特征；所述下半身的属性特征至少包括：衣物，鞋子；所述手持物的属性特征至少包括：包，推车，行李箱，宠物的手持物是否携带或其颜色、类型。
本申请实施例提供了一种图像中的行人属性检测方法及装置，该方法中。本申请实施例提供了一种图像中的行人属性检测方法及装置，该方法中对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域对应的所述待检测图像输入到卷积神经网络中，输出每个区域中包括的身体子区域或附属物的属性特征。由于本申请实施例确定的第二行人区域为精确定位后的行人区域，使得对划分的N个子区域更加的精确，采用卷积神经网络一次性识别N个子区域对应的行人属性特征，提高了检测的精度及检测的效率。
本申请实施例提供了一种计算机程序产品，包括计算机可读指令，当计算机读取并执行所述计算机可读指令，使得计算机执行如上述任意一项所述的方法。
本申请实施例提供一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的软件程序，以实现上述任一项中各种可能的设计中的方法。
对于***/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像中的行人属性检测方法，其特征在于，所述方法包括：
对待检测图像中行人进行检测，获得包括所述行人的第一行人区域；
对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；
将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；
在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；
将所述N个子区域输入到卷积神经网络中，输出每个子区域中包括的身体子区域或附属物子区域的属性特征。
2.根据权利要求1所述的方法，其特征在于，获得包括所述行人的第一行人区域，包括：
获取所述待检测图像的梯度方向直方图；
根据所述待检测图像的梯度方向直方图中的梯度密度分布，确定所述待检测图像的特征向量；
将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
3.根据权利要求1所述的方法，其特征在于，所述确定所述行人的边缘，包括：
根据色彩连通区域算法确定所述第一行人区域中行人的边缘。
4.根据权利要求1所述的方法，其特征在于，所述在所述第二行人区域中划分出N个子区域，包括：
获取所述第二行人区域的梯度方向直方图；
根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；
针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述头部的属性特征至少包括以下一项或多项：年龄，性别，头部配件，脸部配件；所述上半身的属性特征至少包括：衣物的特征；所述下半身的属性特征至少包括：衣物，鞋子；所述手持物的属性特征至少包括：包，推车，行李箱，宠物的手持物是否携带或其颜色、类型。
6.一种图像中的行人属性检测装置，其特征在于，所述装置包括：
获取单元，用于对待检测图像中行人进行检测；
处理单元，用于获得包括所述行人的第一行人区域；对所述第一行人区域中所述行人的边缘进行提取，获取所述行人的边缘；将包括所述行人的边缘、且小于所述第一行人区域的区域确定为第二行人区域；在所述第二行人区域中划分出N个子区域，每个子区域包括所述行人的一个身体子区域或包括所述行人的附属物；将所述N个子区域输入到卷积神经网络中，输出每个子区域中包括的身体子区域或附属物子区域的属性特征。
7.根据权利要求6所述的装置，其特征在于，所述处理单元具体用于：
获取所述待检测图像的梯度方向直方图；根据所述待检测图像的梯度方向直方图中的梯度密度分布，确定所述待检测图像的特征向量；将所述待检测图像的特征向量与预设的包括行人的样本图像的特征向量进行比较，若确定所述待检测图像的特征向量与所述样本图像的特征向量的差值在预设范围内，则确定所述待检测图像中存在行人，并标定所述行人所在的第一行人区域。
8.根据权利要求6所述的装置，其特征在于，所述处理单元具体用于：根据色彩连通区域算法确定所述第一行人区域中行人的边缘。
9.根据权利要求6所述的装置，其特征在于，所述处理单元具体用于：
获取所述第二行人区域的梯度方向直方图；根据所述第二行人区域的梯度方向直方图中的梯度密度分布，确定所述第二行人区域的特征向量；针对所述N个子区域中的任意一个子区域，若确定所述第二行人区域中存在一个子区域的特征向量与预设的样本图像中标定的子区域的特征向量的差值在预设范围内，则确定所述第二行人区域中该子区域的图像特征与所述样本图像中标定的子区域中的图像特征相同，并从所述第二行人区域中划分出该子区域的位置。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述头部的属性特征至少包括以下一项或多项：年龄，性别，头部配件，脸部配件；所述上半身的属性特征至少包括：衣物的特征；所述下半身的属性特征至少包括：衣物，鞋子；所述手持物的属性特征至少包括：包，推车，行李箱，宠物的手持物是否携带或其颜色、类型。
CN201711230016.1A 2017-11-29 2017-11-29 一种图像中的行人属性检测方法及装置 Active CN107944403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711230016.1A CN107944403B (zh) 2017-11-29 2017-11-29 一种图像中的行人属性检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230016.1A CN107944403B (zh) 2017-11-29 2017-11-29 一种图像中的行人属性检测方法及装置

Publications (2)

Publication Number Publication Date
CN107944403A true CN107944403A (zh) 2018-04-20
CN107944403B CN107944403B (zh) 2021-03-19

Family

ID=61946818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711230016.1A Active CN107944403B (zh) 2017-11-29 2017-11-29 一种图像中的行人属性检测方法及装置

Country Status (1)

Country Link
CN (1) CN107944403B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN109784293A (zh) * 2019-01-24 2019-05-21 苏州科达科技股份有限公司 多类目标对象检测方法、装置、电子设备、存储介质
CN109815842A (zh) * 2018-12-29 2019-05-28 上海依图网络科技有限公司 一种确定待识别对象的属性信息的方法及装置
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN111753579A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 指定代步工具的检测方法及装置
US11488410B2 (en) 2019-04-11 2022-11-01 Fujitsu Limited Pedestrian article detection apparatus and method and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN106951872A (zh) * 2017-03-24 2017-07-14 江苏大学 一种基于无监督深度模型与层次属性的行人再识别方法
CN107346414A (zh) * 2017-05-24 2017-11-14 北京航空航天大学 行人属性识别方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845373A (zh) * 2017-01-04 2017-06-13 天津大学 面向监控视频的行人属性预测方法
CN106951872A (zh) * 2017-03-24 2017-07-14 江苏大学 一种基于无监督深度模型与层次属性的行人再识别方法
CN107346414A (zh) * 2017-05-24 2017-11-14 北京航空航天大学 行人属性识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANQING ZHU ET AL: "Multi-label convolutional neural network based pedestrian attribute classification", 《IMAGE AND VISION COMPUTING》 *
陈金辉: "静态图像行人检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109829356B (zh) * 2018-12-05 2021-04-06 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109815842A (zh) * 2018-12-29 2019-05-28 上海依图网络科技有限公司 一种确定待识别对象的属性信息的方法及装置
CN109740537A (zh) * 2019-01-03 2019-05-10 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN109740537B (zh) * 2019-01-03 2020-09-15 广州广电银通金融电子科技有限公司 人群视频图像中行人图像属性的精确标注方法及***
CN109784293A (zh) * 2019-01-24 2019-05-21 苏州科达科技股份有限公司 多类目标对象检测方法、装置、电子设备、存储介质
CN111753579A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 指定代步工具的检测方法及装置
US11488410B2 (en) 2019-04-11 2022-11-01 Fujitsu Limited Pedestrian article detection apparatus and method and electronic device

Also Published As

Publication number Publication date
CN107944403B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN109154978A (zh) 用于检测植物疾病的***和方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及***
EP3819859A1 (en) Sky filter method for panoramic images and portable terminal
Qu et al. A pedestrian detection method based on yolov3 model and image enhanced by retinex
Morris A pyramid CNN for dense-leaves segmentation
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN108446707B (zh) 基于关键点筛选及dpm确认的遥感图像飞机检测方法
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN109685045A (zh) 一种运动目标视频跟踪方法及***
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN111091101B (zh) 基于一步法的高精度行人检测方法、***、装置
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN107818303A (zh) 无人机油气管线影像自动对比分析方法、***及软件存储器
CN108108669A (zh) 一种基于显著子区域的面部特征解析方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN107292346A (zh) 一种基于局部子空间学习的mr图像海马体分割算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant