CN109389043A - 一种无人机航拍图片的人群密度估计方法 - Google Patents
一种无人机航拍图片的人群密度估计方法 Download PDFInfo
- Publication number
- CN109389043A CN109389043A CN201811051016.XA CN201811051016A CN109389043A CN 109389043 A CN109389043 A CN 109389043A CN 201811051016 A CN201811051016 A CN 201811051016A CN 109389043 A CN109389043 A CN 109389043A
- Authority
- CN
- China
- Prior art keywords
- network
- convolution kernel
- crowd density
- unmanned plane
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机航拍图片的人群密度估计方法。包括卷积神经网络模块,为具有跨层连接结构的卷积神经网络,用于对航拍图像中的微小行人目标进行感知,并回归人群密度图,从而得到能够回归人群密度图的原始网络;剪枝模块,用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝,同时压缩网络参数并减少卷积运算,得到便于部署的轻量化网络;估算模块,用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。本发明可以部署在无人机上准确高效地对地进行人群密度估计。
Description
技术领域
本发明涉及一种计算机视觉与智能监控技术,具体来说是一种基于卷积神经网络与网络剪枝的无人机航拍图像人群密度估计***。
背景技术
人群密度过高已成为现代城市面临的重大安全威胁。通过技术手段对人群密度进行管控,对高密度人群进行预警,已成为智能安防领域的研究热点。
目前已有方案对监控摄像头拍摄的视频帧进行人群密度估计,借助深度学习中的卷积神经网络模型,取得了较高的准确度。但只利用摄像头进行人群密度估计存在以下几点问题:首先,摄像头位置固定,难免存在监控死角;其次,摄像头为倾斜视角,高密度人群中行人中遮挡严重,密度估计误差往往较大,最后对于临时的大规模集会等情境下,监控摄像头难以临时部署。
近年来无人机在计算机视觉和智能监控领域的很多应用中,例如:目标跟踪、车流量统计和轨迹分析等,都取得了较好的效果。在人群管控领域,相比于固定的监控摄像头,无人机具有灵活机动、便于部署、垂直拍摄,不易发生遮挡等优势。因此,无人机航拍图片的人群密度估计具有广阔应用空间。
但与监控摄像头相比,无人机平台具有图片中行人目标极小以及无人机上存储空间、运算能力、续航电量十分有限的特点。
针对感知航拍图片中的小目标问题,需要在卷积网络结构的设计上进行改进。针对运算能力、存储空间有限的问题,需要通过对模型进行剪枝,减去冗余的卷积核,同时减小网络参数量和卷积操作数目。
发明内容
1、发明目的。
针对现有技术的不足,本发明基于卷积神经网络和网络剪枝的无人机航拍图像的人群计数方法,从而提供一种能够部署于无人机平台的人群密度估计***。
2、本发明所采用的技术方案。
本发明公开了一种无人机航拍图片的人群密度估计方法,包括:
卷积神经网络模块,为具有跨层连接结构的卷积神经网络,用于对航拍图像中的微小行人目标进行感知,并回归人群密度图,从而得到能够回归人群密度图的原始网络;
剪枝模块,用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝,同时压缩网络参数并减少卷积运算,得到便于部署的轻量化网络;
估算模块,用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。
更进一步具体实施方式中,卷积神经网络模块中密度图回归网络由三个子网络构成,每个子网络包含三列具有不同大小、数量卷积核的卷积网络。
为加强对小目标的感知效果,所述的卷积网络还具有跨层连接结构,底层特征图倾向感知图片细节信息,高层特征图倾向感知高层语义信息,将底层特征图与高层特征图进行融合,使底层细节特征得以保留和加强。
更进一步具体实施方式中,所述的剪枝模块中,对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝,其对每一个卷积层剪枝具体为:
判断荣誉模块,通过AP聚类算法判断冗余卷积核;
删除冗余模块,删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
训练收敛模块,将删去卷积核后的整体网络训练至收敛。
更进一步具体实施方式中,还包括预处理模块,对无人机航拍数据集(UAV_17)进行预处理;
(1)划分训练集与测试集;
(2)数据增强:通过左右对称与上下对称的方式进行数据扩张;
(3)根据标注的位置信息生成密度图估计网络的监督信号,标注信息为图片中所有人人头的坐标位置(x,y),监督信号为根据人头坐标位置生成的人群密度图,
其中(xi,yi)为坐标位置,σ为高斯函数的参数,在航拍图像中高斯核扩散参数取σ=2,D为计算得到的真实密度图;
(4)由于在网络中存在两个下采样层,网络预测的密度图长度、宽度都是原图像的四分之一;
在计算作为监督信号的密度图矩阵时,首先,根据步骤(3)计算出原图像的密度图D(T);其次,对密度图D(T)进行下采样,得到Ddown;最后,由于密度图上所有点数数值之和与图片中人头数目相等,因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(Ddown),得到D,即:
其中sum(A)表示对矩阵A中所有元素求和。
更进一步具体实施方式中,所述的卷积神经网络模块:通过具有跨层连接的网络结构对航拍图像人群密度图进行回归:
(1)网络结构通过跨层连接,使浅层的包含大量细节特征的特征图保留到高层,与高层语义特征进行融合,融合采用拼接特征图的方式,用Kp表示第p个子网络对应的非线性映射,用Rq代表第q个子网络的输出特征图,F为最后一层密度图回归卷积层对应的非线性映射,O为输出的人群密度图,则有:
(2)采用欧式损失作为密度图回归的损失函数,其定义如下:
其中,W为整个网络的参数,Xi为输入图片,D为计算出的作为网络回归目标的人头密度图,n是训练数据个数,F(Xi;W)代表网络对输入图片人头密度的估计结果,是整个网络的误差损失;
(3)采用梯度下降算法和误差反传算法来优化训练网络,得到原始稠密网络。
AP聚类算法与其他聚类算法相比,具有不需人工指定而是通过对数据的分析自动学习cluster数目的特点,避免了人工统一制定剪枝比率可能造成的过度删减或是删减不足的问题。利用基于AP聚类的剪枝算法对原始稠密网络进行压缩,得到轻量化的网络;
针对原始稠密网络的每一个卷积层:
(1)判断冗余的卷积核;
1.1对卷积核进行AP聚类,使卷积核聚类为卷积核组{G1,…,Gp};
1.2对每组卷积核Gm中的卷积核,选取AP算法的聚类中心作为保留的卷积核,其他卷积作为冗余卷积核;
(2)删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
(3)将删去卷积核后的整体网络训练至收敛;
按照从后到前的顺序(conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3->conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3),对每一个卷积层进行网络剪枝,得到轻量化后的人群密度估计网。
更进一步具体实施方式中,估算模块,对压缩后的深度网络的FPGA硬件化设计:
(1)建立FPGA的优化计算模型,即建立计算模型将计算性能与分块系数建立联系,并通过优化得到最佳的计算引擎;
(2)使用数据重用技术减少外部存储器的访问,建立了计算-访存比和分块系数的联系;
(3)计算模型对FPGA的设计空间进行定义,在FPGA平台上找到最优解决方案。
3、本发明所产生的技术效果。
(1)本发明针对无人机航拍图片,提出了一种具有跨层连接的卷积神经网络结构,感知航拍图像中小目标效果更好。
(2)本发明针对无人机平台计算能力、存储空间有限的问题,提出一种基于AP聚类的网络剪枝方法,对原始的稠密网络进行剪枝,得到轻量化的网络。
(3)本发明针对无人机航程远,数据回传的代价大,回传信号不稳等问题,提出通过FPGA编程的方式将轻量化的深度网络部署在无人机平台上,便于在无人机端***实时进行密度估计,只返回密度估计的结果,使整个***保持分布式结构。
附图说明
图1基于跨层连接的航拍图像人群密度估计卷积网络。
图2网络剪枝原理示意图。
图3基于AP聚类的网络剪枝流程图。
图4整体框架训练阶段流程示意图。
图5整体框架实际部署阶段流程示意图。
图6无人机平台监控视频帧进行人群密度图估计效果图。
图7进行剪枝的卷积层数目与估计准确率性和模型大小的关系图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
实施例
步骤一、对无人机航拍数据集(UAV_17)进行预处理
(1)划分训练集与测试集:按照7:3的比例划分训练集与测试集;
(2)数据增强:通过左右对称与上下对称的方式进行数据扩张;
(3)根据标注的位置信息生成密度图估计网络的监督信号,标注信息为图片中所有人人头的坐标位置(x,y),监督信号为根据人头坐标位置生成的人群密度图,
其中(xi,yi)为坐标位置,σ为高斯函数的参数,在航拍图像中高斯核扩散参数取σ=2,D为计算得到的真实密度图;
(4)由于在网络中存在两个下采样层,因此,网络预测的密度图长度、宽度都是原图像的四分之一。因此,在计算作为监督信号的密度图矩阵时,首先,根据公式(3)计算出原图像的密度图D(T);其次,对密度图D(T)进行下采样,得到Ddown;最后,由于密度图上所有点数数值之和与图片中人头数目相等,因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(Ddown),得到D,即:
其中sum(A)表示对矩阵A中所有元素求和。
步骤二:通过具有跨层连接的网络结构对航拍图像人群密度图进行回归
(1)网络结构的设计如图1,通过跨层连接,使浅层的包含大量细节特征的特征图保留到高层,与高层语义特征进行融合。融合采用拼接特征图的方式,用Kp表示第p个子网络对应的非线性映射,用Rq代表第q个子网络的输出特征图,F为最后一层密度图回归卷积层对应的非线性映射,O为输出的人群密度图,则有:
(2)采用欧式损失作为密度图回归的损失函数,其定义如下:
其中,W为整个网络的参数,Xi为输入图片,D为通过公式(2)计算出的作为网络回归目标的人头密度图,n是训练数据个数,F(Xi;W)代表网络对输入图片人头密度的估计结果,是整个网络的误差损失;
(3)采用梯度下降算法和误差反传算法来优化训练网络,得到原始稠密网络。
步骤三:利用基于AP聚类的剪枝算法对原始稠密网络进行压缩,得到轻量化的网络。网络剪枝原理详见图2,剪枝过程详见图3。
AP聚类算法与其他聚类算法相比,具有不需人工指定而是通过对数据的分析自动学习cluster数目的特点,避免了人工统一制定剪枝比率可能造成的过度删减或是删减不足的问题。
针对原始稠密网络的每一个卷积层:
(1)判断冗余的卷积核;
1.1对卷积核进行AP聚类,使卷积核聚类为卷积核组{G1,…Gp};
1.2对每组卷积核Gm中的卷积核,选取AP算法的聚类中心作为保留的卷积核,其他卷积作为冗余卷积核;AP聚类算法基于数据点之间的的具体方法为:
Step1利用卷积核样本之间的欧式距离计算刻画样本之间的相似度的矩阵S,S有性质:
s(i,j)>s(i,k)当且仅当fi与fj之间的相似度大于其与fk之间的相似度;Step2将吸引信息矩阵和归属信息矩阵R和A初始化为0,
吸引信息矩阵R:r(i,j)描述了数据对象k适合作为数据对象i的聚类中心的程度,表示的是从i到k的消息;
归属信息矩阵A;a(i,j)描述了数据对象i选择数据对象k作为其据聚类中心的适合程度,表示从k到i的消息;
Step3交替进行两个信息传递的步骤,以更新吸引信息矩阵和归属信息矩阵,分别按照以下方法更新矩阵R和A
其中,s为相似度的矩阵,rt at分别为t时刻的吸引信息矩阵和归属信息矩阵的值,i、i′、k为矩阵中的索引,;
Step4对以上步骤进行迭代,如果这些决策经过若干次迭代之后保持不变或者算法执行超过设定的迭代次数,又或者一个小区域内的关于样本点的决策经过数次迭代后保持不变,则算法结束。
(2)删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
(3)将删去卷积核后的整体网络训练至收敛。
按照从后到前的顺序(conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3->conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3),对每一个卷积层进行网络剪枝,得到轻量化后的人群密度估计网。
步骤四:对压缩后的深度网络的FPGA硬件化设计
(1)建立FPGA的优化计算模型,即建立计算模型将计算性能与分块系数建立联系,并通过优化得到最佳的计算引擎。
(2)使用数据重用技术减少外部存储器的访问,建立了计算-访存比和分块系数的联系。
(3)计算模型对FPGA的设计空间进行定义了,从而在FPGA平台上找到最优解决方案。
下面根据***的工作模式来阐述此***的工作流程。
一、训练模式
训练模式的整体流程见图4。
(1)训练数据准备:
1.1通过每个人头的位置坐标通过叠加高斯核函数的形式进行扩散,得到真实的人群密度图,并对其进行下采样,
1.2进行数据增强
(2)原始稠密的人群密度估计网络模块:用监控视频帧作为人群密度估计网络的输入,真实人群密度图作为监督信号训练整体人群密度估计网络,采用具有跨层连接的网络结构,并用梯度下降算法训练网络至收敛;
(3)网络剪枝模块:对网络的每一个卷积层按照从后往前的顺序:利用AP聚类算法对卷积核聚类,将聚类中心对应的卷积核保留,删去其余卷积核,进行微调至网络收敛。最终得到轻量化的人群密度估计网络。
二、部署模式
部署模式的整体流程详见图5。
(1)对经过剪枝的轻量化的人群密度估计网络进行FPGA编程部署于无人机平台;
(2)输入为无人机摄像头拍摄的视频帧,输出为人群密度图像。
综上所述,本发明通过具有跨层连接的人群密度图回归模块、基于AP聚类的网络剪枝模块、FPGA编程模块构建了部署于无人机平台的人群密度估计***,能够准确有效估计无人机航拍图像中的人群密度。
验证试验
UAV_17数据集包括1235张标注图片,共包含224710个行人目标,平均每张图片包含182个人。图片分辨率为1024*576。采用3:7的比例划分测试集与训练集。视频采集自南京中山陵,其中,每张图片行人目标的标注为行人头部正中位置的坐标。
为验证卷积神经网络模块(具有跨层连接的卷积密度图回归网络)的有效性,在UAV_17数据集上分别采用具有跨层连接的网络和普通不具备跨层连接的网络进行人群密度估计,并比较效果。采用平均绝对误差(Mae)、平均相对误差(Mre)、均方根误差(Mse)作为模型的评价指标。
其中,n为测试集中图片数目,ki为第i张图片上的人数,为模型预测出的第i张图片人数。
表1各策略在UAV_17数据集上准确性指标对比表
通过观察表1可以发现,跨层连接的网络结构分别使Mae,Mse和Mre指标有了明显降低。究其原因在于,在卷积神经网络中,一方面随着网络层数的增加,特征逐渐抽象,不断作非线性变换,趋向于高层语义特征;另一方面,由于pooling层的作用,使特征在具有一定平移不变性的同时,损失了细节与底层特征,因此不利于对细小目标的感知,而跨层连接则可以将底层细节信息较好保留,并与高层语义信息融合,提高了感知效果。但由于跨层连接造成了特征图的拼接,因此会造成参数量的增加。
对无人机平台监控视频帧进行人群密度图估计效果如图6所示。
通过观察上图可以明显发现密度图回归网络有效感知了人群。
为验证剪枝模块的模型压缩效果,按照从后向前的剪枝顺序对具有两个跨层连接的Skip Multi-scale CNN进行网络剪枝,即:conv4_1->conv4_2->conv4_3->conv3_1->conv3_2->conv3_3->conv2_1->conv2_2->conv2_3->conv1_1->conv1_2->conv1_3,一共12层卷积层,其中进行剪枝的卷积层数目与估计准确率性和模型大小的关系如图7,其中估计准确性η由Mre指标根据如下公式计算得到。
η=100-Mre
图7表明对所有层进行剪枝仍然可以使模型的估计准确性达到90%以上,此时网络模型大小为0.5M,将模型压缩了3.6倍。
若需要使估计准确率达到94%以上,则可以将剪枝的卷积层数目设为6层,如表2所示,此时网络压缩了约1.6倍,准确率则只降低了0.35%。因此网络剪枝方法可以有效地在保证模型准确性的情况下压缩网络。
表2网络剪枝效果对比
实现本发明目的的技术解决方案为:首先设计一种具有跨层连接结构的卷积神经网络,对航拍图像中的微小行人目标进行感知,从而得到能够回归人群密度图的原始网络;其次通过基于AP聚类算法的网络剪枝方法对原始网络进行剪枝,同时压缩网络参数并减少卷积运算,得到便于部署的轻量化网络;最后通过FPGA编程在无人机上实现轻量化网络的人群密度估计算法。包括以下模块:
卷积神经网络模块:利用具有跨层连接的卷积神经网络对航拍图片中的极小行人目标进行感知,并回归人群密度图,从而得到航拍图片人群密度回归的原始网络;
剪枝模块:利用AP聚类算法自动卷积网络中每个卷积层中的各个卷积核进行无监督聚类,保留聚类中心对应的卷积核,删去其他冗余卷积核,逐层对原始网络进行剪枝得到轻量化网络
FPGA模块:基于人群密度估计的轻量化卷积网络的FPGA硬件化设计。
进一步,卷积神经网络模块中密度图回归网络由三个子网络构成,每个子网络包含三列具有不同大小、数量卷积核的卷积网络。为加强对小目标的感知效果,网络还具有跨层连接结构,底层特征图倾向感知图片细节信息,高层特征图倾向感知高层语义信息,将底层特征图与高层特征图进行融合,使底层细节特征得以保留和加强。
剪枝模块中,对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝,其对每一个卷积层剪枝的步骤如下:
Step1通过AP聚类算法判断冗余卷积核;
Step2删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
Step3将删去卷积核后的整体网络训练至收敛。
在FPGA模块中,将深度神经网络进行FPGA编程,使其能够部署于无人机硬件平台上。
现有的对卷积神经网络的轻量化方法,可以大致分为稀疏、量化、编码、剪枝几种。其中稀疏方法主要适用于具有全连接层的网络,量化和编码主要针对降低网络模型大小,减少网络参数,而并不能减少卷积操作的数量,因此应用于基于无人机平台的人群密度估计问题难以降低对无人机平台计算能力的需求。只有剪枝方法通过删除冗余的卷积核,能够针对全卷积网络(只含有卷积层的神经网络)在压缩模型大小的同时减少卷积操作数量,不但降低了对平台计算、存储能力的需求,且提高了实时性,更加符合基于无人机平台人群密度估计问题的需求。
现有的大多基于卷积神经网络的剪枝方法,都需要人工对卷积核的重要程度进行定义,例如采用卷积核中参数绝对值的大小或是对应特征图的信息熵,同时需要人工设定剪枝比率,从而确定重要程度阈值。而本发明所提基于AP聚类的卷积神经网络剪枝算法,从卷积核数量的人工设定时存在冗余因此需要剪枝剪去冗余的卷积核这一剪枝问题的根源出发,通过AP聚类算法自适应的对卷积核进行聚类,利用了AP聚类算法不需要人工设定聚类数目并能自动找到其中样本作为聚类中心的优势。不需人工定义判断卷积核优劣的方式,也不需要人工定义剪枝比率,而是认为聚类中心对应的卷积核能够有效代表处于此类的卷积核,因此对其进行保留,其他非聚类中心的卷积核则作为冗余卷积核删去,更加合理。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (8)
1.一种无人机航拍图片的人群密度估计方法,其特征在于包括:
卷积神经网络模块,为具有跨层连接结构的卷积神经网络,用于对航拍图像中的微小行人目标进行感知,并回归人群密度图,从而得到能够回归人群密度图的原始网络;
剪枝模块,用于基于AP聚类算法的网络剪枝方法对原始网络进行剪枝,同时压缩网络参数并减少卷积运算,得到便于部署的轻量化网络;
估算模块,用于FPGA编程在无人机上实现轻量化网络的人群密度估计算法。
2.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于:卷积神经网络模块中密度图回归网络由三个子网络构成,每个子网络包含三列具有不同大小、数量卷积核的卷积网络。
3.根据权利要求2所述的无人机航拍图片人群密度估计***,其特征在于:所述的卷积网络还具有跨层连接结构,底层特征图倾向感知图片细节信息,高层特征图倾向感知高层语义信息,将底层特征图与高层特征图进行融合,使底层细节特征得以保留和加强。
4.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于:所述的剪枝模块中,对基于卷积核的AP聚类算法结果对原始网络各层的卷积核进行剪枝,其对每一个卷积层剪枝具体为:
判断荣誉模块,通过AP聚类算法判断冗余卷积核;
删除冗余模块,删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
训练收敛模块,将删去卷积核后的整体网络训练至收敛。
5.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于:还包括预处理模块,对无人机航拍数据集进行预处理;
(1)划分训练集与测试集;
(2)数据增强:通过左右对称与上下对称的方式进行数据扩张;
(3)根据标注的位置信息生成密度图估计网络的监督信号,标注信息为图片中所有人人头的坐标位置(x,y),监督信号为根据人头坐标位置生成的人群密度图,
其中(xi,yi)为坐标位置,σ为高斯函数的参数,在航拍图像中高斯核扩散参数取σ=2,D为计算得到的真实密度图;
(4)由于在网络中存在两个下采样层,网络预测的密度图长度、宽度都是原图像的四分之一;
在计算作为监督信号的密度图矩阵时,首先,根据步骤(3)计算出原图像的密度图D(T);其次,对密度图D(T)进行下采样,得到Ddown;最后,由于密度图上所有点数数值之和与图片中人头数目相等,因此对下采样后的矩阵每一点处的数值乘以系数sum(D(T))/sum(Ddown),得到D,即:
其中sum(A)表示对矩阵A中所有元素求和。
6.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于所述的卷积神经网络模块,通过具有跨层连接的网络结构对航拍图像人群密度图进行回归:
(1)网络结构通过跨层连接,使浅层的包含大量细节特征的特征图保留到高层,与高层语义特征进行融合,融合采用拼接特征图的方式,用Kp表示第p个子网络对应的非线性映射,用Rq代表第q个子网络的输出特征图,F为最后一层密度图回归卷积层对应的非线性映射,O为输出的人群密度图,则有:
(2)采用欧式损失作为密度图回归的损失函数,其定义如下:
其中,W为整个网络的参数,Xi为输入图片,D为计算出的作为网络回归目标的人头密度图,n是训练数据个数,F(Xi;W)代表网络对输入图片人头密度的估计结果,是整个网络的误差损失;
(3)采用梯度下降算法和误差反传算法来优化训练网络,得到原始稠密网络。
7.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于所述的剪枝模块:利用基于AP聚类的剪枝算法对原始稠密网络进行压缩,得到轻量化的网络;
针对原始稠密网络的每一个卷积层:
(1)判断冗余的卷积核;
1.1对卷积核进行AP聚类,使卷积核聚类为卷积核组{G1,...,Gp};
1.2对每组卷积核Gm中的卷积核,选取AP算法的聚类中心作为保留的卷积核,其他卷积作为冗余卷积核;
(2)删去冗余卷积核及其对应参数,保留聚类中心对应的卷积核;
(3)将删去卷积核后的整体网络训练至收敛;
按照从后到前的顺序,对每一个卷积层进行网络剪枝,得到轻量化后的人群密度估计网。
8.根据权利要求1所述的无人机航拍图片人群密度估计***,其特征在于估算模块,对压缩后的深度网络的FPGA硬件化设计:
(1)建立FPGA的优化计算模型,即建立计算模型将计算性能与分块系数建立联系,并通过优化得到最佳的计算引擎;
(2)使用数据重用技术减少外部存储器的访问,建立了计算-访存比和分块系数的联系;
(3)计算模型对FPGA的设计空间进行定义,在FPGA平台上找到最优解决方案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811051016.XA CN109389043B (zh) | 2018-09-10 | 2018-09-10 | 一种无人机航拍图片的人群密度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811051016.XA CN109389043B (zh) | 2018-09-10 | 2018-09-10 | 一种无人机航拍图片的人群密度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109389043A true CN109389043A (zh) | 2019-02-26 |
CN109389043B CN109389043B (zh) | 2021-11-23 |
Family
ID=65417603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811051016.XA Active CN109389043B (zh) | 2018-09-10 | 2018-09-10 | 一种无人机航拍图片的人群密度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109389043B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135465A (zh) * | 2019-04-22 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 模型参数表示空间大小估计方法及装置、推荐方法 |
CN110232436A (zh) * | 2019-05-08 | 2019-09-13 | 华为技术有限公司 | 卷积神经网络的修剪方法、装置及存储介质 |
CN110680310A (zh) * | 2019-10-21 | 2020-01-14 | 北京航空航天大学 | 基于一维密集连接卷积网络的心电信号房颤检测方法 |
CN111062477A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯云计算(北京)有限责任公司 | 一种数据处理方法、装置及存储介质 |
CN111291814A (zh) * | 2020-02-15 | 2020-06-16 | 河北工业大学 | 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法 |
CN111652351A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种神经网络模型的部署方法、设备及介质 |
CN111832577A (zh) * | 2020-07-19 | 2020-10-27 | 武汉悟空游人工智能应用软件有限公司 | 一种基于稠密连接的感数预测方法 |
CN111860189A (zh) * | 2020-06-24 | 2020-10-30 | 北京环境特性研究所 | 一种目标跟踪方法和装置 |
CN111898578A (zh) * | 2020-08-10 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 人群密度的获取方法、装置、电子设备及计算机程序 |
CN112052833A (zh) * | 2020-09-27 | 2020-12-08 | 苏州科达科技股份有限公司 | 对象密度监控***、方法、视频解析服务器及存储介质 |
CN113657421A (zh) * | 2021-06-17 | 2021-11-16 | 中国科学院自动化研究所 | 卷积神经网络压缩方法和装置、图像分类方法和装置 |
CN113887536A (zh) * | 2021-12-06 | 2022-01-04 | 松立控股集团股份有限公司 | 一种基于高层语义引导的多阶段高效人群密度估计方法 |
CN117114148A (zh) * | 2023-08-18 | 2023-11-24 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798331A (zh) * | 2017-09-05 | 2018-03-13 | 赵彦明 | 离变焦图像序列特征提取方法和装置 |
CN108510063A (zh) * | 2018-04-08 | 2018-09-07 | 清华大学 | 一种应用于卷积神经网络的加速方法和加速器 |
-
2018
- 2018-09-10 CN CN201811051016.XA patent/CN109389043B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798331A (zh) * | 2017-09-05 | 2018-03-13 | 赵彦明 | 离变焦图像序列特征提取方法和装置 |
CN108510063A (zh) * | 2018-04-08 | 2018-09-07 | 清华大学 | 一种应用于卷积神经网络的加速方法和加速器 |
Non-Patent Citations (2)
Title |
---|
唐斯琪等: "一种多列特征图融合的深度人群计数算法", 《郑州大学学报(理学版)》 * |
陈伟杰: "卷积神经网络的加速及压缩", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135465B (zh) * | 2019-04-22 | 2022-12-09 | 腾讯科技(深圳)有限公司 | 模型参数表示空间大小估计方法及装置、推荐方法 |
CN110135465A (zh) * | 2019-04-22 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 模型参数表示空间大小估计方法及装置、推荐方法 |
CN110232436A (zh) * | 2019-05-08 | 2019-09-13 | 华为技术有限公司 | 卷积神经网络的修剪方法、装置及存储介质 |
CN110680310A (zh) * | 2019-10-21 | 2020-01-14 | 北京航空航天大学 | 基于一维密集连接卷积网络的心电信号房颤检测方法 |
CN111062477A (zh) * | 2019-12-17 | 2020-04-24 | 腾讯云计算(北京)有限责任公司 | 一种数据处理方法、装置及存储介质 |
CN111062477B (zh) * | 2019-12-17 | 2023-12-08 | 腾讯云计算(北京)有限责任公司 | 一种数据处理方法、装置及存储介质 |
CN111291814A (zh) * | 2020-02-15 | 2020-06-16 | 河北工业大学 | 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法 |
CN111291814B (zh) * | 2020-02-15 | 2023-06-02 | 河北工业大学 | 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法 |
CN111652351A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种神经网络模型的部署方法、设备及介质 |
CN111860189A (zh) * | 2020-06-24 | 2020-10-30 | 北京环境特性研究所 | 一种目标跟踪方法和装置 |
CN111860189B (zh) * | 2020-06-24 | 2024-01-19 | 北京环境特性研究所 | 一种目标跟踪方法和装置 |
CN111832577A (zh) * | 2020-07-19 | 2020-10-27 | 武汉悟空游人工智能应用软件有限公司 | 一种基于稠密连接的感数预测方法 |
CN111898578B (zh) * | 2020-08-10 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 人群密度的获取方法、装置、电子设备 |
CN111898578A (zh) * | 2020-08-10 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 人群密度的获取方法、装置、电子设备及计算机程序 |
CN112052833A (zh) * | 2020-09-27 | 2020-12-08 | 苏州科达科技股份有限公司 | 对象密度监控***、方法、视频解析服务器及存储介质 |
CN113657421A (zh) * | 2021-06-17 | 2021-11-16 | 中国科学院自动化研究所 | 卷积神经网络压缩方法和装置、图像分类方法和装置 |
CN113657421B (zh) * | 2021-06-17 | 2024-05-28 | 中国科学院自动化研究所 | 卷积神经网络压缩方法和装置、图像分类方法和装置 |
CN113887536B (zh) * | 2021-12-06 | 2022-03-04 | 松立控股集团股份有限公司 | 一种基于高层语义引导的多阶段高效人群密度估计方法 |
CN113887536A (zh) * | 2021-12-06 | 2022-01-04 | 松立控股集团股份有限公司 | 一种基于高层语义引导的多阶段高效人群密度估计方法 |
CN117114148A (zh) * | 2023-08-18 | 2023-11-24 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
CN117114148B (zh) * | 2023-08-18 | 2024-04-09 | 湖南工商大学 | 一种轻量级联邦学习训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109389043B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389043A (zh) | 一种无人机航拍图片的人群密度估计方法 | |
KR102362744B1 (ko) | 딥 뉴럴 네트워크(deep neural network) 기반의 다중 패치 조합(multiple patch combination)을 이용하여 얼굴을 인식하고, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법 | |
Lu et al. | Spatio-temporal graph few-shot learning with cross-city knowledge transfer | |
CN110991362A (zh) | 一种基于注意力机制的行人检测模型 | |
CN112163601B (zh) | 图像分类方法、***、计算机设备及存储介质 | |
US11495055B1 (en) | Pedestrian trajectory prediction method and system based on multi-interaction spatiotemporal graph network | |
CN112131929B (zh) | 一种基于区块链的跨摄像机行人跟踪***及方法 | |
CN111460196A (zh) | 一种基于深度学习的云层变化趋势预测方法 | |
CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN109102475A (zh) | 一种图像去雨方法及装置 | |
CN113837097A (zh) | 一种面向视觉目标识别的无人机边缘计算验证***和方法 | |
CN117501245A (zh) | 神经网络模型训练方法和装置、数据处理方法和装置 | |
CN114359578A (zh) | 病虫害识别智能终端应用方法及*** | |
CN114067225A (zh) | 一种无人机小目标检测方法、***及可存储介质 | |
Zhang et al. | Ship HRRP target recognition based on CNN and ELM | |
CN117456449A (zh) | 一种基于特定信息的高效跨模态人群计数方法 | |
CN109740455B (zh) | 一种人群疏散仿真方法和装置 | |
CN113902947B (zh) | 一种自然图像的对空目标红外图像生成式对抗网络构建方法 | |
CN111179338B (zh) | 一种用于移动供电接收端的轻量化目标定位方法 | |
Li et al. | Channel Pruned YOLOv5-based Deep Learning Approach for Rapid and Accurate Outdoor Obstacles Detection | |
Liu et al. | Research on object detection algorithm for small object of pests based on YOLOv3 | |
Gong et al. | Restoration algorithm of blurred UAV aerial image based on generative adversarial network | |
CN117875533B (zh) | 矿用安全逃生路径规划方法及*** | |
CN114445688B (zh) | 一种分布式多相机球形无人***目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |