CN106960195A - 一种基于深度学习的人群计数方法及装置 - Google Patents

一种基于深度学习的人群计数方法及装置 Download PDF

Info

Publication number
CN106960195A
CN106960195A CN201710188160.7A CN201710188160A CN106960195A CN 106960195 A CN106960195 A CN 106960195A CN 201710188160 A CN201710188160 A CN 201710188160A CN 106960195 A CN106960195 A CN 106960195A
Authority
CN
China
Prior art keywords
people
region
candidate frame
detected
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710188160.7A
Other languages
English (en)
Other versions
CN106960195B (zh
Inventor
符祖峰
向函
赵勇
谢锋
陈胜红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Heju Information Technology Co., Ltd
Original Assignee
SHENZHEN FIGIGANTIC ELECTRONIC Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN FIGIGANTIC ELECTRONIC Co Ltd filed Critical SHENZHEN FIGIGANTIC ELECTRONIC Co Ltd
Priority to CN201710188160.7A priority Critical patent/CN106960195B/zh
Publication of CN106960195A publication Critical patent/CN106960195A/zh
Application granted granted Critical
Publication of CN106960195B publication Critical patent/CN106960195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度学习的人群计数方法及装置。该方法包括：将待检测人群图片划分为多个图片块；基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；基于预先训练得到的Fast‑RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。本发明实施例提出了一种高分辨率下的人群计数方法，提高了人群计数的准确率和鲁棒性。

Description

一种基于深度学习的人群计数方法及装置
技术领域
本发明实施例涉及计算机视觉和机器学习技术领域，尤其涉及一种基于深度学习的人群计数方法及装置。
背景技术
基于视频的人群计数有很广泛的应用价值。无论是广告机的广告投放效果分析还是安防监控中人数预警，或者是旅游景区人流量分析，基于视频的人群计数技术都是值得推广的方法。传统的基于人脸识别的人群计数方法多依靠人工来提取特征，依赖于专业领域知识，能够取得一定的效果。但是在对姿态各异的、不同侧面的人像进行计数时，特征提取就变得比较困难，从而造成这些方法就无法做出较为准确的判断。
目前基于神经网络的深度学习方法已经成为研究的热点，人们提出了各种各样的网络模型用于解决特定的问题。在目标识别与检测方面，虽然Faster-RCNN、YOLO、SSD和R-FCN等网络模型均有不错的表现，但这些网络模型因为网络结构的原因造成对目标较小的物体存在检测识别率不高的状况。同时对于高分辨率的人群图像和视频，因为图片尺寸较大，为了提高检测效率，以上方法均会对图像进行一定程度的缩小，造成图像细节的进一步丢失。
发明内容
本发明实施例提供一种基于深度学习的人群计数方法及装置，可以提高人群计数的准确性。
一方面，本发明实施例提供了一种基于深度学习的人群计数方法，包括：
将待检测人群图片划分为多个图片块；
基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；
依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；
基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
另一方面，本发明实施例还提供了一种基于深度学习的人群计数装置，包括：
图片划分模块，用于将待检测人群图片划分为多个图片块；
人头候选框区域模块，用于基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；
待检测区域模块，用于依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；
人群数量模块，用于基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
本发明实施例提供的技术方案，将待检测人群图片划分为多个图片块，并通过RPN候选框生成模型在多个层之间并发确定多个图片块中人头候选框区域和人头候选框区域的置信度，依据置信度对人头候选框区域进行筛选得到待检测区域，随后基于Fast-RCNN修正模型对待检测区域进行分类预测，并依据分类预测结果确定待检测人群图片中包含的人群数量。该方案提出了一种高分辨率下的人群计数方法，提高了人群计数的准确率和鲁棒性。
附图说明
图1为本发明实施例一中提供的一种基于深度学习的人群计数方法的流程图；
图2为本发明实施例一中使用的Faster-RCNN网络结构图；
图3为本发明实施例二中提供的一种基于深度学习的人群计数方法的流程图；
图4为本发明实施例三中提供的一种基于深度学习的人群计数装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中提供的一种基于深度学习的人群计数方法的流程图。本实施例的方法可以由基于深度学习的人群计数装置来执行，该装置可通过硬件和/或软件的方式实现。参考图1，本实施例提供的基于深度学习的人群计数方法具体可以包括如下：
步骤11、将待检测人群图片划分为多个图片块。
其中，待检测人群图片可以是高分辨率密集人群图片。高分辨率密集人群图片指的是图片尺寸大于预设的分辨率阈值，且图片中包含的人群数量超过预设的人群数量阈值，分辨率阈值可以是1280x1024，人群数量阈值可以是50，100等。
为了提高待检测人群图片的检测效率，对待检测人群图片进行划分。具体的，可以按照一定的切分策略对高分辨率图片进行切分。切分策略可以是采用等分切分法将图片切分成相同大小的图片块，且记录每个图片块的位置和尺寸信息。切分的图片块数以4-8块为宜。为了提高检测准确率允许图片块的边缘相互重叠。另外，在对待检测人群图片进行切分之前，可以采用背景检测算法，削去周边的背景。
目前在采用神经网络对高分辨率图片进行检测的过程中，为了保证目标检测的效率，通常神经网络模型先将高分辨率图片下采样到合适尺寸后再送入神经网络进行计算。由于密集人群图片中人体目标的尺寸较小，下采样后人体目标的相关信息进一步丢失，故现有的人群计数方法严重影响了检测效果。考虑到并行计算一般只能在神经网络每一层的前向或后向计算时采用，本实施例对待检测人群图片进行切分可以更大程度的借助于并行技术来提高检测速度，而且还可以保留更多的较小尺寸目标的相关信息，提高检测效果。
另外，在将待检测人群图片划分为多个图片块后，还可以对切分得到的各图片块进行筛选，以去除纯背景图片块。对视频进行人群计数时，因为摄像机的拍摄角度原因会造成画面中存在部分区域为固定背景，图片切分后就会存在某个图片块中没有目标对象，只有背景信息。采用基于时间差异或背景减除等方法来判断图片块是否为纯背景图片块，如果是就丢弃，否则在后续操作中作为RPN候选框生成模型的输入。
步骤12、基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度。
图2为本发明实施例一中使用的Faster-RCNN网络结构图。参考图2，Faster-RCNN网络包括候选区域生成网络(Region Proposal Network，简称RPN网络)和基于卷积神经网络的目标区域快速生成网络(简称Fast-RCNN网络)。Conv1-Conv5是指提取图片特征的5层卷积网络，Proposal layer用于对候选区域的筛选，Softmax输出目标边框的置信度，bboxregressor输出目标边框坐标的回归计算结果。
其中，RPN网络结构可以包括：conv1(卷积层，96个7x7的卷积核)+Relu层(激活函数为标准Relu函数)+LRN层(归一化层)，pooling层；conv2(卷积层，256个5x5的卷积核)+Relu层+LRN层，pooling层；conv3(卷积层，384个3x3的卷积核)+Relu层；conv4(卷积层，384个3x3的卷积核)+Relu层；conv5(卷积层，256个3x3的卷积核)+Relu层，RPN_conv层(卷积层，256个3x3的卷积核)+Relu层，RPN_cls_score层(卷积层，18个1x1的卷积核)，RPN_bbox_pred层(卷积层，36个1x1的卷积核)。
为了加快运算速度，对原始Fast-RCNN网络进行了修改，将两个全连接层换成了1个卷积层，得到的Fast-RCNN修正结构为：Roi-pooling层(下采样尺寸7x7)；conv1_last(卷积层，1000个1x1的卷积核)+Relu层；cls_score层(全连接层，num_output为2)+Softmax层(激活函数为Softmax函数)，bbox_pred层(全连接层，num_output为8)。
并且，RPN候选框生成模型和Fast-RCNN修正模型可以同时训练得到。在模型训练阶段，基于Brainwash数据集，采用常见的神经网络训练方法，用基于IMAGENET训练得到的ZFnet的卷积参数对RPN网络结构和Fast-RCNN修正结构中特征提取部分的参数进行初始化，其余部分的参数用正态分布(均值为0，标准差为0.01)随机生成初始数据。模型训练过程具体可以包括：将Brainwash数据集中的图片所带的标注修改为描述人头的边框(box)坐标，使用多任务损失函数综合考虑分类误差和边框回归误差，设置初始学习率为0.001(每20000次会下降学习率)，使用随机下降梯度来调整权重，进行迭代训练，迭代70000次结束训练。其中，标注是指在一张图片中人头的左上角点和右下角点的坐标。
具体的，将步骤11中得到的多个图片块作为RPN候选框生成模型的输入，经RPN候选框生成模型处理得到各图片块中人头候选框区域，以及各人头候选框区域的置信度。
步骤13、依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域。
具体的，由于步骤12中得到的人头候选框区域存在相互包含、交叉或重叠的情况，需要对人头候选框区域进行整理，消除被重叠的置信度低的人头候选框区域。
示例性的，步骤13可以包括：
A、针对每一图片块，执行如下操作：依据置信度从大到小对属于该图片块的人头候选框区域进行排序，并滤除置信度低于第一置信度阈值的人头候选框区域；将置信度值最高的人头候选框区域确定为该图片块的第一候选框区域，并计算该图片块中其他人头候选框区域与所述第一候选框区域之间的交叠比；若交叠比大于交叠比阈值，则滤除对应的其他人头候选框区域。
其中，第一置信度阈值可以从0.2-0.25中选取，交叠比阈值可以是0.7。交叠比计算公式如下：
其中Iou(A,B)指人头候选框区域A和人头候选框区域B的交叠比，area(·)是一种计算区域面积的运算。A∩B表示人头候选框区域A和人头候选框区域B的相交区域。
B、从所有图片块剩余的人头候选框区域中选择置信度排序在前的预设数值个人头候选框区域作为所述待检测区域。
其中，预设数值可以是300。
在筛选时也可以将所有图片块对应的人头候选框区域放在一起进行筛选，具体处理过程如下：按照置信度对所有人头候选框区域进行由大到小排序，并标注各人头候选框区域所属的图片块序号；滤除置信度小于第一置信度阈值的人头候选框区域；针对每一图片块，将属于该图片块且置信度最高的人头候选框区域记为目标候选框区域Ci，其中i取1,2,…,n，n为图片块的数量；针对剩余的每一其他人头候选框区域，分别计算该其他人头候选框区域与各目标候选框区域Ci之间的交叠比，若交叠比大于交叠比阈值，则滤除该其他人头候选框区域。随后，选择置信度排序在前的300个人头候选框区域作为待检测区域。需要说明的是，在交叠比计算过程中，若两个人头候选框区域所属的图片块不同，则可以直接将交叠比置为零。
步骤14、基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
具体的，将待检测区域作为Fast-RCNN修正模型的输入，经Fast-RCNN修正模型处理得到待检测区域的分类预测结果，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
本实施例提供的技术方案，将待检测人群图片划分为多个图片块，并通过RPN候选框生成模型在多个层之间并发确定多个图片块中人头候选框区域和人头候选框区域的置信度，依据置信度对人头候选框区域进行筛选得到待检测区域，随后基于Fast-RCNN修正模型对待检测区域进行分类预测，并依据分类预测结果确定待检测人群图片中包含的人群数量。该方案具有两大优势：一是对高分辨率图片分割后再并行检测，解决了高分辨率图片在送入Faster-RCNN网络时需要缩小尺寸而造成较小目标对象信息的丢失，同时并行计算不会对检测时间带来明显影响；二是训练的神经网络模型参数规模不大，容易在在嵌入式设备上实现。
示例性的，步骤12可以包括：将所述多个图片块作为RPN候选框生成模型的输入，依据所述RPN候选框生成模型提供的人头候选框的长宽比值和人头候选框的像素面积值，确定所述多个图片块中人头候选框区域，并确定所述人头候选框区域的置信度。
其中，为了能够更好的完成对较小目标的检测，且考虑到待识别目标的形状，Faster-RCNN网络模型中将RPN中锚点的个数修改为25，对应锚点的长宽比修改为0.667，0.75，1.0，1.33和1.5，大小尺度修改为2x16x16像素，4x16x16像素，6x16x16像素，8x16x16像素和16x16x16像素。也就是说，RPN候选框生成模型提供的人头候选框的长宽比值包括0.667，0.75，1.0，1.33和1.5，提供的人头候选框的像素面积值包括2x16x16，4x16x16，6x16x16，8x16x16和16x16x16。
为了降低计算复杂度，还对网络模型中的具有较多权重的卷积层进行了轻量化处理，减少了参数个数和计算复杂度。示例性的，RPN候选框生成模型的训练可以包括：针对RPN模型中的每一参数，若该参数的取值与至少一个候选取值之间的差值小于预设数值，则将候选取值作为该参数的取值。具体的，若有一个候选取值，则候选取值是零；若有两个候选取值，则候选取值是-1和1。
实施例二
图3为本发明实施例二中提供的一种基于深度学习的人群计数方法的流程图。参考图3，本实施例提供的基于深度学习的人群计数方法具体可以包括如下：
步骤21、将待检测人群图片划分为多个图片块。
步骤22、基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度。
步骤23、依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域。
步骤24、将所述待检测区域作为所述Fast-RCNN修正模型的输入，得到所述待检测区域的新置信度。
步骤25、将新置信度大于第二置信度阈值的待检测区域确定为人头区域。
其中，第二置信度阈值可以是0.7。
步骤26、若两个人头区域之间的交叠比大于交叠比阈值，则从两个人头区域中滤除新置信度相对较低的人头区域，直到剩余的任意两个人头区域之间的交叠比均小于或等于所述交叠比阈值。
具体的，可以按照新置信度对所有人头区域进行由大到小排序，分别计算人头区域Di和人头区域Dj之间的交叠比，若两个人头区域的交叠比大于交叠比阈值，则滤除新置信度值较低的人头区域，使剩余的每一人头区域与除该人头区域以外的其他所有人头区域之间的交叠比均小于或等于交叠比阈值。其中i取1,2,…,「(m/2)，j取i+1,…,m,「为向上取整符号，m为人头区域的总数量。
步骤27、将剩余的人头区域的数量，作为所述待检测人群图片中包含的人群数量。
需要说明的是，Fast-RCNN修正模型还可以对人头区域进行边框回归处理，如在待检测人群图片中绘制出人头区域框。
本实施例提供的技术方案，基于Fast-RCNN修正模型对待检测区域进行分类预测得到待检测区域的新置信度，随后通过阈值筛选确定人头区域，采用非极大值抑制消除重叠的人头区域，并将剩余的人头区域的数量，作为所述待检测人群图片中包含的人群数量。该方案进一步提高了人群计数的效率和准确率。
实施例三
本实施例提供了一种基于深度学习的人群计数装置。图4为本发明实施例三中提供的一种基于深度学习的人群计数装置的结构图，如图4所示，该基于深度学习的人群计数装置可以包括：
图片划分模块31，用于将待检测人群图片划分为多个图片块；
人头候选框区域模块32，用于基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；
待检测区域模块33，用于依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；
人群数量模块34，用于基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
示例性的，所述人头候选框区域模块32具体可以用于：
将所述多个图片块作为RPN候选框生成模型的输入，依据所述RPN候选框生成模型提供的人头候选框的长宽比值和人头候选框的像素面积值，确定所述多个图片块中人头候选框区域，并确定所述人头候选框区域的置信度。
示例性的，上述装置包括RPN候选框生成模型训练模块，所述RPN候选框生成模型训练模块用于在进行RPN候选框生成模型训练过程中，针对RPN模型中的每一参数，若该参数的取值与至少一个候选取值之间的差值小于预设数值，则将候选取值作为该参数的取值。
示例性的，待检测区域模块33具体可以用于：
针对每一图片块，执行如下操作：依据置信度从大到小对属于该图片块的人头候选框区域进行排序，并滤除置信度低于第一置信度阈值的人头候选框区域；将置信度值最高的人头候选框区域确定为该图片块的第一候选框区域，并计算该图片块中其他人头候选框区域与所述第一候选框区域之间的交叠比；若交叠比大于交叠比阈值，则滤除对应的其他人头候选框区域；
从所有图片块剩余的人头候选框区域中选择置信度排序在前的预设数值个人头候选框区域作为所述待检测区域。
示例性的，所述人群数量模块34具体可以用于：
将所述待检测区域作为所述Fast-RCNN修正模型的输入，得到所述待检测区域的新置信度；
将新置信度大于第二置信度阈值的待检测区域确定为人头区域；
若两个人头区域之间的交叠比大于交叠比阈值，则从两个人头区域中滤除新置信度相对较低的人头区域，直到剩余的任意两个人头区域之间的交叠比均小于或等于所述交叠比阈值；
将剩余的人头区域的数量，作为所述待检测人群图片中包含的人群数量。
示例性的，所述Fast-RCNN修正模型的网络结构包括：Roi-pooling层；conv1_last卷积层+Relu层；cls_score层；Softmax层；bbox_pred层，其中conv1_last卷积层有1000个1*1的卷积核。
本实施例提供的基于深度学习的人群计数装置，与本发明任意实施例所提供的基于深度学习的人群计数方法属于同一发明构思，可执行本发明任意实施例所提供的基于深度学习的人群计数方法，具备执行基于深度学习的人群计数方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的基于深度学习的人群计数方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于深度学习的人群计数方法，其特征在于，包括：
将待检测人群图片划分为多个图片块；
基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；
依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；
基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
2.根据权利要求1所述的方法，其特征在于，基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度，包括：
将所述多个图片块作为RPN候选框生成模型的输入，依据所述RPN候选框生成模型提供的人头候选框的长宽比值和人头候选框的像素面积值，确定所述多个图片块中人头候选框区域，并确定所述人头候选框区域的置信度。
3.根据权利要求1所述的方法，其特征在于，RPN候选框生成模型的训练包括：
针对RPN模型中的每一参数，若该参数的取值与至少一个候选取值之间的差值小于预设数值，则将候选取值作为该参数的取值。
4.根据权利要求1所述的方法，其特征在于，依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域，包括：
针对每一图片块，执行如下操作：依据置信度从大到小对属于该图片块的人头候选框区域进行排序，并滤除置信度低于第一置信度阈值的人头候选框区域；将置信度值最高的人头候选框区域确定为该图片块的第一候选框区域，并计算该图片块中其他人头候选框区域与所述第一候选框区域之间的交叠比；若交叠比大于交叠比阈值，则滤除对应的其他人头候选框区域；
从所有图片块剩余的人头候选框区域中选择置信度排序在前的预设数值个人头候选框区域作为所述待检测区域。
5.根据权利要求1所述的方法，其特征在于，基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量，包括：
将所述待检测区域作为所述Fast-RCNN修正模型的输入，得到所述待检测区域的新置信度；
将新置信度大于第二置信度阈值的待检测区域确定为人头区域；
若两个人头区域之间的交叠比大于交叠比阈值，则从两个人头区域中滤除新置信度相对较低的人头区域，直到剩余的任意两个人头区域之间的交叠比均小于或等于所述交叠比阈值；
将剩余的人头区域的数量，作为所述待检测人群图片中包含的人群数量。
6.根据权利要求1所述的方法，其特征在于，所述Fast-RCNN修正模型的网络结构包括：Roi-pooling层；conv1_last卷积层+Relu层；cls_score层；Softmax层；bbox_pred层，其中conv1_last卷积层有1000个1*1的卷积核。
7.一种基于深度学习的人群计数装置，其特征在于，包括：
图片划分模块，用于将待检测人群图片划分为多个图片块；
人头候选框区域模块，用于基于预先训练得到的RPN候选框生成模型，确定所述多个图片块中人头候选框区域和所述人头候选框区域的置信度；
待检测区域模块，用于依据所述置信度对确定的人头候选框区域进行筛选，得到待检测区域；
人群数量模块，用于基于预先训练得到的Fast-RCNN修正模型，对所述待检测区域进行分类预测，并依据分类预测的结果确定所述待检测人群图片中包含的人群数量。
8.根据权利要求7所述的装置，其特征在于，所述人头候选框区域模块具体用于：
将所述多个图片块作为RPN候选框生成模型的输入，依据所述RPN候选框生成模型提供的人头候选框的长宽比值和人头候选框的像素面积值，确定所述多个图片块中人头候选框区域，并确定所述人头候选框区域的置信度。
9.根据权利要求7所述的装置，其特征在于，所述人群数量模块具体用于：
将所述待检测区域作为所述Fast-RCNN修正模型的输入，得到所述待检测区域的新置信度；
将新置信度大于第二置信度阈值的待检测区域确定为人头区域；
若两个人头区域之间的交叠比大于交叠比阈值，则从两个人头区域中滤除新置信度相对较低的人头区域，直到剩余的任意两个人头区域之间的交叠比均小于或等于所述交叠比阈值；
将剩余的人头区域的数量，作为所述待检测人群图片中包含的人群数量。
10.根据权利要求7所述的装置，其特征在于，所述Fast-RCNN修正模型的网络结构包括：Roi-pooling层；conv1_last卷积层+Relu层；cls_score层；Softmax层；bbox_pred层，其中conv1_last卷积层有1000个1*1的卷积核。
CN201710188160.7A 2017-03-27 2017-03-27 一种基于深度学习的人群计数方法及装置 Active CN106960195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188160.7A CN106960195B (zh) 2017-03-27 2017-03-27 一种基于深度学习的人群计数方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188160.7A CN106960195B (zh) 2017-03-27 2017-03-27 一种基于深度学习的人群计数方法及装置

Publications (2)

Publication Number Publication Date
CN106960195A true CN106960195A (zh) 2017-07-18
CN106960195B CN106960195B (zh) 2020-04-03

Family

ID=59471631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188160.7A Active CN106960195B (zh) 2017-03-27 2017-03-27 一种基于深度学习的人群计数方法及装置

Country Status (1)

Country Link
CN (1) CN106960195B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563387A (zh) * 2017-09-14 2018-01-09 成都掌中全景信息技术有限公司 一种基于循环神经网络的图像目标检测选框方法
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107818343A (zh) * 2017-10-30 2018-03-20 中国科学院计算技术研究所 计数方法及装置
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法
CN108052900A (zh) * 2017-12-12 2018-05-18 成都睿码科技有限责任公司 一种通过监控视频自动判断着装规范的方法
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108387945A (zh) * 2018-02-02 2018-08-10 珠海格力电器股份有限公司 一种传感器检测区域确定方法、装置、存储介质及设备
CN108549865A (zh) * 2018-04-12 2018-09-18 江南大学 一种基于深度学习的公共场所人流量调节辅助方法及***
CN108647612A (zh) * 2018-04-28 2018-10-12 成都睿码科技有限责任公司 广告牌观看人流量分析***
CN108875535A (zh) * 2018-02-06 2018-11-23 北京旷视科技有限公司 图像检测方法、装置和***及存储介质
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和***及存储介质
CN108875504A (zh) * 2017-11-10 2018-11-23 北京旷视科技有限公司 基于神经网络的图像检测方法和图像检测装置
CN109063559A (zh) * 2018-06-28 2018-12-21 东南大学 一种基于改良区域回归的行人检测方法
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109241871A (zh) * 2018-08-16 2019-01-18 北京此时此地信息科技有限公司 一种基于视频数据的公共区域人流跟踪方法
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109743493A (zh) * 2018-08-27 2019-05-10 幻想动力(上海)文化传播有限公司 自动摄影构图方法、装置、自动摄影设备、电子装置及计算机可读存储介质
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、***及电子设备
CN109919239A (zh) * 2019-03-15 2019-06-21 尹显东 一种基于深度学习的农作物病虫害智能检测方法
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及***
CN110263852A (zh) * 2019-06-20 2019-09-20 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110443366A (zh) * 2019-07-30 2019-11-12 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
CN110992361A (zh) * 2019-12-25 2020-04-10 创新奇智(成都)科技有限公司 基于代价平衡的发动机紧固件检测***及检测方法
CN111242066A (zh) * 2020-01-17 2020-06-05 中国人民解放军国防科技大学 大尺寸图像目标检测方法、装置及计算机可读存储介质
WO2020114116A1 (zh) * 2018-12-06 2020-06-11 深圳光启空间技术有限公司 一种基于密集人群的行人检测方法、存储介质及处理器
US10832416B2 (en) 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation
CN111914765A (zh) * 2020-08-05 2020-11-10 杭州像素元科技有限公司 一种服务区环境舒适度检测方法、设备及可读存储介质
CN113163133A (zh) * 2018-10-15 2021-07-23 华为技术有限公司 一种图像处理方法、装置与设备
CN113298811A (zh) * 2021-07-26 2021-08-24 深圳市信润富联数字科技有限公司 智能教室人数的自动计数方法、装置、设备及存储介质
CN113610818A (zh) * 2021-08-11 2021-11-05 杭州小影创新科技股份有限公司 一种基于位置可控的人头分割方法
CN113822111A (zh) * 2021-01-19 2021-12-21 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
CN114782412A (zh) * 2022-05-26 2022-07-22 马上消费金融股份有限公司 图像检测方法、目标检测模型的训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2908268A2 (en) * 2014-02-17 2015-08-19 Huawei Technologies Co., Ltd. Face detector training method, face detection method, and apparatus
CN105303193A (zh) * 2015-09-21 2016-02-03 重庆邮电大学 一种基于单帧图像处理的人数统计***
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2908268A2 (en) * 2014-02-17 2015-08-19 Huawei Technologies Co., Ltd. Face detector training method, face detection method, and apparatus
CN105303193A (zh) * 2015-09-21 2016-02-03 重庆邮电大学 一种基于单帧图像处理的人数统计***
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
时曾林 等: "基于序的空间金字塔池化网络的人群计数方法", 《自动化学报》 *

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107563381B (zh) * 2017-09-12 2020-10-23 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107563387A (zh) * 2017-09-14 2018-01-09 成都掌中全景信息技术有限公司 一种基于循环神经网络的图像目标检测选框方法
CN108876791B (zh) * 2017-10-23 2021-04-09 北京旷视科技有限公司 图像处理方法、装置和***及存储介质
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和***及存储介质
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法
CN107818343A (zh) * 2017-10-30 2018-03-20 中国科学院计算技术研究所 计数方法及装置
CN107818343B (zh) * 2017-10-30 2021-01-08 中国科学院计算技术研究所 计数方法及装置
CN108875504A (zh) * 2017-11-10 2018-11-23 北京旷视科技有限公司 基于神经网络的图像检测方法和图像检测装置
CN109902537B (zh) * 2017-12-08 2021-04-02 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、***及电子设备
CN109902537A (zh) * 2017-12-08 2019-06-18 杭州海康威视数字技术股份有限公司 一种人数统计方法、装置、***及电子设备
CN108052900A (zh) * 2017-12-12 2018-05-18 成都睿码科技有限责任公司 一种通过监控视频自动判断着装规范的方法
CN108197579A (zh) * 2018-01-09 2018-06-22 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108197579B (zh) * 2018-01-09 2022-05-20 杭州智诺科技股份有限公司 防护舱中人数的检测方法
CN108387945A (zh) * 2018-02-02 2018-08-10 珠海格力电器股份有限公司 一种传感器检测区域确定方法、装置、存储介质及设备
CN108387945B (zh) * 2018-02-02 2020-01-24 珠海格力电器股份有限公司 一种传感器检测区域确定方法、装置、存储介质及设备
CN108875535B (zh) * 2018-02-06 2023-01-10 北京旷视科技有限公司 图像检测方法、装置和***及存储介质
CN108875535A (zh) * 2018-02-06 2018-11-23 北京旷视科技有限公司 图像检测方法、装置和***及存储介质
CN108549865A (zh) * 2018-04-12 2018-09-18 江南大学 一种基于深度学习的公共场所人流量调节辅助方法及***
CN108647612A (zh) * 2018-04-28 2018-10-12 成都睿码科技有限责任公司 广告牌观看人流量分析***
CN109063559B (zh) * 2018-06-28 2021-05-11 东南大学 一种基于改良区域回归的行人检测方法
CN109063559A (zh) * 2018-06-28 2018-12-21 东南大学 一种基于改良区域回归的行人检测方法
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109166130B (zh) * 2018-08-06 2021-06-22 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109241871A (zh) * 2018-08-16 2019-01-18 北京此时此地信息科技有限公司 一种基于视频数据的公共区域人流跟踪方法
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
CN109743493A (zh) * 2018-08-27 2019-05-10 幻想动力(上海)文化传播有限公司 自动摄影构图方法、装置、自动摄影设备、电子装置及计算机可读存储介质
US10832416B2 (en) 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation
CN113163133A (zh) * 2018-10-15 2021-07-23 华为技术有限公司 一种图像处理方法、装置与设备
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109800778A (zh) * 2018-12-03 2019-05-24 浙江工业大学 一种基于难分样本挖掘的Faster RCNN目标检测方法
WO2020114116A1 (zh) * 2018-12-06 2020-06-11 深圳光启空间技术有限公司 一种基于密集人群的行人检测方法、存储介质及处理器
CN111291587A (zh) * 2018-12-06 2020-06-16 深圳光启空间技术有限公司 一种基于密集人群的行人检测方法、存储介质及处理器
CN109948501A (zh) * 2019-03-13 2019-06-28 东华大学 一种监控视频中人员和安全帽的检测方法
CN109919239A (zh) * 2019-03-15 2019-06-21 尹显东 一种基于深度学习的农作物病虫害智能检测方法
CN110032954B (zh) * 2019-03-27 2021-05-14 中建三局第一建设工程有限责任公司 一种钢筋智能识别与计数方法及***
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及***
CN110263852B (zh) * 2019-06-20 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110263852A (zh) * 2019-06-20 2019-09-20 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110443366A (zh) * 2019-07-30 2019-11-12 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
CN110992361A (zh) * 2019-12-25 2020-04-10 创新奇智(成都)科技有限公司 基于代价平衡的发动机紧固件检测***及检测方法
CN111242066B (zh) * 2020-01-17 2023-09-05 中国人民解放军国防科技大学 大尺寸图像目标检测方法、装置及计算机可读存储介质
CN111242066A (zh) * 2020-01-17 2020-06-05 中国人民解放军国防科技大学 大尺寸图像目标检测方法、装置及计算机可读存储介质
CN111914765B (zh) * 2020-08-05 2022-07-12 杭州像素元科技有限公司 一种服务区环境舒适度检测方法、设备及可读存储介质
CN111914765A (zh) * 2020-08-05 2020-11-10 杭州像素元科技有限公司 一种服务区环境舒适度检测方法、设备及可读存储介质
CN113822111A (zh) * 2021-01-19 2021-12-21 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
CN113822111B (zh) * 2021-01-19 2024-05-24 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
CN113298811B (zh) * 2021-07-26 2021-11-09 深圳市信润富联数字科技有限公司 智能教室人数的自动计数方法、装置、设备及存储介质
CN113298811A (zh) * 2021-07-26 2021-08-24 深圳市信润富联数字科技有限公司 智能教室人数的自动计数方法、装置、设备及存储介质
CN113610818A (zh) * 2021-08-11 2021-11-05 杭州小影创新科技股份有限公司 一种基于位置可控的人头分割方法
CN114782412A (zh) * 2022-05-26 2022-07-22 马上消费金融股份有限公司 图像检测方法、目标检测模型的训练方法及装置

Also Published As

Publication number Publication date
CN106960195B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN106960195A (zh) 一种基于深度学习的人群计数方法及装置
CN107871124B (zh) 一种基于深度神经网络的遥感图像目标检测方法
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
CN110335277A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
KR102328731B1 (ko) 다중 카메라 혹은 서라운드 뷰 모니터링에 이용되기 위해, 타겟 객체 통합 네트워크 및 타겟 영역 예측 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 적응 가능한 cnn 기반 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN108520219A (zh) 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
WO2022134996A1 (en) Lane line detection method based on deep learning, and apparatus
EP3566177A1 (en) A method and apparatus for detecting objects of interest in images
CN108846826A (zh) 物体检测方法、装置、图像处理设备及存储介质
CN109858552B (zh) 一种用于细粒度分类的目标检测方法及设备
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及***
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
US20230137337A1 (en) Enhanced machine learning model for joint detection and multi person pose estimation
CN109671055B (zh) 肺结节检测方法及装置
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN111191531A (zh) 一种快速行人检测方法及***
Wang et al. Deep learning model for target detection in remote sensing images fusing multilevel features
CN117765373A (zh) 一种自适应裂缝尺寸的轻量化道路裂缝检测方法及***
CN113762049B (zh) 内容识别方法、装置、存储介质和终端设备
CN114529883A (zh) 检测交通灯的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200217

Address after: 518000 511, Oriental Technology Building, No. 16, Keyuan Road, Science Park community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Heju Information Technology Co., Ltd

Address before: 518000 Guangdong Province, Shenzhen New District of Longhua City, Dalang street, Li Rong Road No. 1 (Chang Yi Industrial Factory Building 1 floor 4-5)

Applicant before: HON HAI PRECISION INDUSTRY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant