CN106845430A - 基于加速区域卷积神经网络的行人检测与跟踪方法 - Google Patents

基于加速区域卷积神经网络的行人检测与跟踪方法 Download PDF

Info

Publication number
CN106845430A
CN106845430A CN201710066312.6A CN201710066312A CN106845430A CN 106845430 A CN106845430 A CN 106845430A CN 201710066312 A CN201710066312 A CN 201710066312A CN 106845430 A CN106845430 A CN 106845430A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
pedestrian
region
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710066312.6A
Other languages
English (en)
Inventor
叶国林
孙韶媛
高凯珺
姚光顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201710066312.6A priority Critical patent/CN106845430A/zh
Publication of CN106845430A publication Critical patent/CN106845430A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于加速区域卷积神经网络的行人识别与跟踪方法，首先通过载有红外摄像头的机器人在夜晚采集训练、测试数据集，对训练、测试数据集按要求预处理，然后对所有训练和测试图片进行真实目标位置标注并记录到样本文件中；再构建加速区域卷积神经网络，利用训练数据集训练加速区域卷积神经网络，对网络输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；利用测试数据集测试网络的准确度，得到符合要求的网络模型；将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。本发明能够有效地识别红外图像中的行人，对红外视频中的行人目标能够实时地进行跟踪。

Description

基于加速区域卷积神经网络的行人检测与跟踪方法
技术领域
本发明涉及一种基于加速区域卷积神经网络的夜间机器人行人检测与跟踪方法，该方法属于红外夜视图像处理领域，通过该方法可以实现机器人在夜间实时地检测和跟踪行人。
背景技术
随着机器人技术和红外成像技术的迅速发展，两者结合的应用领域也愈广泛。例如，夜间利用机器人进行行人检测与跟踪，达到侦探与监控的效果。作为机器人的更高实现，无人驾驶***在夜间行驶时，行人也是其检测的主要对象。但是红外图像本身是灰度图像，无色彩信息，纹理细节少，信噪比低的特点，所以红外图像中的行人检测与跟踪是很活跃的研究领域。
在行人跟踪研究上，Yasuno等人(M.Yasuno，S.Ryousuke，N.Yasuda，PedestrainDetection and Tacking in Far Infrared Images[C].In Proceedings of IEEEConference on Intelligent Transpotation Systems，2005：182-187.)，通过在跟踪区域内进行模版匹配来跟踪头部的位置。Dai等人(X.Dai，F.zheng，X.Liu.Layeredrepresentation for pedestrain detection and tracking in infrared imagery[J].IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005，3(1)：13-18.)认为人体在运动过程中四肢变形较大，影响了跟踪的性能。为了去除四肢的影响，因此只对头部与躯体进行跟踪。当前提出的红外行人跟踪算法，确切地说都是对人体某一或某几个部位进行跟踪，而不是对整个行人进行跟踪。
长期以来，行人检测最流行的方法是基于行人特征提取和机器学习的方法。王磊(王磊.红外图像中的行人检测算法研究[D].合肥工业大学，2015：26-44.)采用先提取正负样本的特征，这里的正负样本分别指的是包含行人的图片和不包含行人的图片，训练分类器，然后用滑动窗口法遍历一幅完整的图像，再利用训练好的分类器对窗口进行行人与非行人的分类判别，达到行人检测的目的。虽然这种方法能够得到较好的检测结果，但是由于这种方法对整幅图像进行行人检测时，利用的是多尺度的滑动窗口对整幅图像进行遍历，产生了大量的检测窗口，并且依次对所有的检测窗口进行特征提取，导致了计算量的剧增，速度极慢。
近几年，深度卷积神经网络迅速发展，在图像分类、自然语言处理以及目标检测等应用上均取得了巨大的成功。其优势在于提取图像的特征并进行分类，为了充分发挥其优势，Girshick等(IRSHICKR，DONAHUEJ，NAJMANETL，et al.Rich feature hierarchies foraccurate object detection and semantic segmentation[C].IEEE Conference onComputer Vision and Pattern Recognition，2014：580-587.)提出了区域卷积神经网络(R-CNN)框架将图像的目标检测问题转化为分类问题，取得了很好地检测效果。该方法的基本思想是先在图像中提取若干个候选目标矩形区域，再用深度卷积网络对每个候选区域提取目标特征，最后用支持向量机训练一个分类器，对候选目标区域进行分类。根据每个区域分类得分利用非极大值抑制算法优化出最终的目标边界。然而，其中的候选区域不是再用之前的多尺度滑动窗口获得，而是采用基于分层和多相似性测量的选择性搜索算法来生成约2000个多层次的候选框。
R-CNN提取特征的卷积网络和用于分类的分类器要分开训练，导致了训练过程要耗费大量的时间和存储空间；而且分类器的训练与特征提取网络不相关，这也是不合理的，影响了目标检测的准确率。因此Girshick(R.Girshick.Fast-RCNN.IEEE InternationalConference on Computer Vision，2015.)又提出了快速区域卷积神经网络Fast-RCNN模型，将特征提取和分类融合进一个分类框架，提高了训练模型的速度和目标检测的准确率。
虽然Fast-RCNN有了改进，但是由于使用选择性搜索算法单独生成候选区域却非常耗时，这是该算法无法达到实时的致命原因。
发明内容
本发明要解决的技术问题是如何在夜间利用机器人实现实时的行人检测与跟踪。
对于行人跟踪算法，即如果行人检测算法的识别率极高，那么检测出红外视频中每一帧的所有行人，给出整个行人的位置信息，而不是人体的一部分。此外，如果行人检测算法具有实时性，故而能够轻易地实现行人跟踪。所以，本发明的重点是如何实现高识别率、实时性的行人检测。只要实现了上述高效的行人检测，那么行人跟踪也水到渠成。
为了解决上述技术问题，本发明的技术方案是提供一种基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于，包括如下步骤：
步骤1：通过载有红外摄像头的机器人在夜晚采集两组红外图片，一组红外图片作为训练数据集，另一组红外图片作为测试数据集；对训练数据集和测试数据集的所有图片按规定进行命名，并制作训练数据集和测试数据集的图片名称列表；
步骤2：对训练数据集和测试数据集中的所有图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标信息记录到样本文件中；
步骤3：构建加速区域卷积神经网络，利用训练数据集的图片和样本文件训练加速区域卷积神经网络；加速区域卷积神经网络包括用于提取候选区域的区域建议网络和用于行人检测的卷积神经网络，通过区域建议网络选取出若干个候选区域，再将这些候选区域输入给卷积神经网络，卷积神经网络输出这些候选区域是行人的得分以及其边界框精修之后的坐标点；将卷积神经网络的输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；
步骤4：利用测试数据集的图片和样本文件测试步骤3训练出的加速区域卷积神经网络，若不满足误差要求，则返回步骤3重新训练，直至满足误差要求为止；得到符合精度要求的加速区域卷积神经网络模型；
步骤5：将步骤4建立的加速区域卷积神经网络模型用于在线实时的夜间机器人行人检测与跟踪，即将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。
优选地，所述加速区域卷积神经网络为一系列的卷积、激励、池化和全连接过程，采用ZF框架，该框架包括区域建议网络和目标识别网络，且区域建议网络和目标识别网络中的特征图提取部分采用参数共享机制。
本发明可用于机器人以及无人车在夜晚无光的情况下通过红外摄像头实行实时的行人检测以及跟踪。本发明将加速区域卷积神经网络应用于红外视频的实时行人检测与跟踪，无需提前采用其他方法生成候选区域，无需手工选取行人特征，通过端到端的训练，直接输入一张红外图片，输出图片中的行人位置。该发明保证了红外视频中行人检测和跟踪的正确性和实时性。
本发明提供的方法通过使用加速区域卷积神经网络，无需单独生成候选区域以及手工选取行人特征，将候选区域生成也通过卷积网络来实现，实现端到端的操作，该方法明显加快了行人识别的速度，提高了识别的正确性。
附图说明
图1为基于加速区域卷积神经网络的夜视图像行人识别流程图；
图2为加速区域卷积神经网络结构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
一种基于加速区域卷积神经网络的夜间机器人行人检测与跟踪方法，包括如下步骤：
步骤1：构建夜视图像训练和测试数据集。采用实验室载有红外摄像头的机器人自行采集实验图片，2000张红外图片作为训练数据集，200张红外图片作为测试数据集，每张图片大小为720*576。对训练数据集和测试数据集的所有图片按规定重新命名，并制作训练数据集和测试数据集的图片名称列表。
步骤2：用Python编写标注程序，人工对所有训练和测试图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标记录到.xml中。
步骤3：构建加速区域卷积神经网络，迭代训练。利用步骤1和步骤2中做好的训练集训练加速区域卷积神经网络，其中加速区域卷积神经网络包括共享参数的卷积层、区域建议网络和卷积网络。共享参数的卷积层用于特征图的提取，该特征图同时被送入到区域建议网络中和卷积网络中。区域建议网络用于学习计算出候选区域，这些候选区域也输入到卷积网络中。最后的卷积网络用于预测输出这些候选区域是行人的得分以及其边界框精修(回归)之后的坐标点。
图1为基于加速区域卷积神经网络的夜视图像行人识别流程图。首先需要对红外图像中的真实的行人位置进行标记并记录到文本中。然后构建加速区域卷积神经网络，将训练的红外图片和每张图片对应的真实行人位置文件放入构建的网络中进行学习。迭代学习一定次数后，得到网络的模型参数。接着输入测试图像，加速区域卷积神经网络会根据前面训练得到的模型参数对测试图像进行行人识别，最终得到测试夜视图像中所有行人的边界框。
图2为加速区域卷积神经网络结构图；加速区域卷积神经网络主要包含三个部分：共享参数的卷积层、区域建议网络和卷积网络。共享参数的卷积层用于特征图的提取，该特征图同时被送入到区域建议网络中和卷积网络中。区域建议网络用于学习计算出候选区域，这些候选区域也输入到卷积网络中。最后的卷积网络用于预测出可能是行人位置的区域，并用实际行人位置计算输出损失，用于更新网络参数。
本发明采用的加速区域卷积神经网络为一系列的卷积、激励、池化和全连接等过程，采用ZF框架，该框架包括区域建议网络RPN和目标识别网络Fast-RCNN，且RPN和Fast-RCNN网络中的特征图提取部分采用参数共享机制的卷积层。
本发明中用于特征图提取的卷积层具有5个。假设卷积层为f，参数为θ，则f的数学表达式为：
f(X；θ)＝WLHL-1
其中，Hl为l层隐层单元的输出，bl为l层的偏差值，Wl为l层的权值，且bl和Wl组成可训练的参数θ，pool()表示池化操作，即将小邻域内的特征点整合得到新特征，使得特征减少，参数减少，且池化单元具有平移不变性。池化的方法主要包括平均-池化和最大值-池化，本发明主要采用最大值-池化操作。relu()表示对特征图作一个非线性变换，使得想要的信息通过而过滤掉不想要的信息。L为不小于1的整数。最后一个卷积层有256个卷积核，所以特征图有256个，特征维度为256维，每个特征图大小约为40*60，将这些特征图输入给区域建议网络和目标识别的卷积网络。特征图提取的卷积层参数配置如表1所示。
表1特征提取卷积层参数配置
在区域建议网络中，用3*3的滑窗滑动特征图，当滑窗滑到每个位置时，预测输入图像3种尺度(128，256，512)和3种长宽比(1∶1，1∶2，2∶1)的候选区域，所以每一个滑动位置就有9个候选区域，一幅图像会生成约2000(40*60*9)个候选区域。在卷积层后面接两个分支的全连接层，一个是分类层(cls-layer)输出2个得分，用于判定候选区域是目标还是背景，另一个是边界回归层(reg-layer)输出4个得分，用于对候选区域的边界进行微调，所以在一个位置上的9个候选区域，全连接层最终输出(2+4)*9个结果。虽然由区域建议网络选取的候选区域约有2000个，但是该发明根据候选区域的得分高低筛选了前300个输入到目标识别卷积网络，这样能够加快速度。
输入候选框到目标识别的卷积网络中，识别网络采用的是Fast-RCNN网络，除去参数共享的提取特征的卷积层之外，后面依次接上两个卷积核数为4096的全连接层和激励层，输出为2的分类层，输出为4的边界回归层以及损失层。
在训练区域建议网络时，给每个候选区域分配一个二进制标签，正标签可以分配给两类候选区域：(1)与某个真实目标(GT)边界框有最高的IoU(交集并集之比)重叠的候选区域(也许不到0.7)，(2)与任意GT边界框有大于0.7的IoU交叠的候选区域。一个GT边界框可能分配正标签给多个候选区域。而负标签则分配给与所有GT边界框的IoU比率都低于0.3的候选区域。非正非负的候选区域对训练目标没有任何作用。
与Fast R-CNN一样，区域建议网络训练时也遵循多任务损失，最小化目标函数。一个图像的损失函数定义为：
其中，i为一个训练批量(mini-batch)中候选区域的索引，pi是第i个候选区域为目标的预测概率。如果候选区域为正，GT标签则为1，反之，为0。ti是一个向量，即ti＝(tx，ty，tw，th)，表示预测的边界框的4个参数化坐标，是与正候选区域对应的GT边界框的坐标向量，即分类损失Lcls是两个类别(目标和非目标)的对数损失，其中，i为一个训练批量(mini-batch)中候选区域的索引，pi是第i个候选区域为目标的预测概率。如果候选区域为正，GT标签则为1，反之，为0。λ为平衡权重，本发明中取为10，Ncls为mini-batch的大小，即256，Nreg为候选区域的数量，即大约2400。分类损失Lcls是两个类别(目标和非目标)的对数损失，即：对于回归损失Lreg，用来计算。R为具有鲁棒性的损失函数(smoothL1)，定义为：
pi*Lreg这一项意味着只有正候选区域才有回归损失，其他情况就没有
对于回归，本发明采用4个坐标：
tx＝(x-xa)/wa，ty＝(y-ya)/ha，tw＝log(w/wa)，th＝log(h/ha)，
其中(tx，ty，tw，th)表示预测边界框的4个参数化坐标向量，表示与正候选区域对应的GT边界框的4个参数化坐标向量，上述两个向量用于计算损失。x，y，w，h分别指预测边界框的中心坐标(x，y)、宽和高；xa，ya，wa，ha分别指候选区域边界框的中心坐标(xa，ya)、宽和高；x*，y*，w*，h*分别指GT边界框的中心坐标(x*，y*)、宽和高。可以理解为从候选区域边界框到附近的GT边界框的边界框回归。
上述为区域建议网络的损失函数，而目标识别的卷积网络仍然采用Fast-RCNN它自身的损失函数。在训练整个网络时，本发明采用交替训练的方式，即：
(1)根据上述的区域建议网络，该网络用ImageNet预训练的模型初始化，并端到端微调区域建议网络参数用于候选框提取，该阶段迭代80000次。
(2)利用第一步的生成的候选区域，由Fast R-CNN训练一个单独的检测网络，FastR-CNN检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层，该阶段迭代40000次。
(3)用检测网络Fast R-CNN再进行区域建议网络训练，但固定共享的卷积层，并且只微调区域建议网络独有的层，现在两个网络共享卷积层了，该阶段迭代80000次。
(4)保持共享的卷积层固定，微调Fast R-CNN的其它层。这样，两个网络共享相同的卷积层，构成一个统一的网络，该阶段迭代40000次。
经过上述迭代学习，即可得出网络参数。
根据上述训练好的模型参数，输入一张红外图片即可输出300张候选区域是目标的概率以及边界坐标，再利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框。
步骤4：利用测试数据集的图片和样本文件测试步骤3训练出的加速区域卷积神经网络，满足误差要求，得到符合精度要求的加速区域卷积神经网络模型；
步骤5：将步骤4建立的加速区域卷积神经网络模型用于在线实时的夜间机器人行人检测与跟踪，即将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。
试验表明，本发明中使用的加速区域卷积神经网络对夜视图像中行人识别有非常好的效果，识别率高，实时性好。

Claims (2)

1.一种基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于，包括如下步骤：
步骤1：通过载有红外摄像头的机器人在夜晚采集两组红外图片，一组红外图片作为训练数据集，另一组红外图片作为测试数据集；对训练数据集和测试数据集的所有图片按规定进行命名，并制作训练数据集和测试数据集的图片名称列表；
步骤2：对训练数据集和测试数据集中的所有图片进行真实目标位置标注，即将所有图片中的所有行人目标用框标出，将图片中行人的数目以及行人的边界框的左上右下4个坐标信息记录到样本文件中；
步骤3：构建加速区域卷积神经网络，利用训练数据集的图片和样本文件训练加速区域卷积神经网络；加速区域卷积神经网络包括用于提取候选区域的区域建议网络和用于行人检测的卷积神经网络，通过区域建议网络选取出若干个候选区域，再将这些候选区域输入给卷积神经网络，卷积神经网络输出这些候选区域是行人的得分以及其边界框精修之后的坐标点；将卷积神经网络的输出利用非极大值抑制算法求出最后的属于行人区域的概率以及区域的边界框；
步骤4：利用测试数据集的图片和样本文件测试步骤3训练出的加速区域卷积神经网络，若不满足误差要求，则返回步骤3重新训练，直至满足误差要求为止；得到符合精度要求的加速区域卷积神经网络模型；
步骤5：将步骤4建立的加速区域卷积神经网络模型用于在线实时的夜间机器人行人检测与跟踪，即将夜间机器人采集的图片输入加速区域卷积神经网络模型，模型在线实时输出属于行人区域的概率以及区域的边界框。
2.如权利要求1所述的基于加速区域卷积神经网络的行人检测与跟踪方法，其特征在于：所述加速区域卷积神经网络为一系列的卷积、激励、池化和全连接过程，采用ZF框架，该框架包括区域建议网络和目标识别网络，且区域建议网络和目标识别网络中的特征图提取部分采用参数共享机制。
CN201710066312.6A 2017-02-06 2017-02-06 基于加速区域卷积神经网络的行人检测与跟踪方法 Pending CN106845430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710066312.6A CN106845430A (zh) 2017-02-06 2017-02-06 基于加速区域卷积神经网络的行人检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710066312.6A CN106845430A (zh) 2017-02-06 2017-02-06 基于加速区域卷积神经网络的行人检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN106845430A true CN106845430A (zh) 2017-06-13

Family

ID=59122050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710066312.6A Pending CN106845430A (zh) 2017-02-06 2017-02-06 基于加速区域卷积神经网络的行人检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN106845430A (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103283A (zh) * 2017-03-24 2017-08-29 中国科学院计算技术研究所 一种sar图像舰船目标几何特征并行提取方法与装置
CN107220603A (zh) * 2017-05-18 2017-09-29 惠龙易通国际物流股份有限公司 基于深度学习的车辆检测方法及装置
CN107292306A (zh) * 2017-07-07 2017-10-24 北京小米移动软件有限公司 目标检测方法及装置
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107451607A (zh) * 2017-07-13 2017-12-08 山东中磁视讯股份有限公司 一种基于深度学习的典型人物的身份识别方法
CN107808138A (zh) * 2017-10-31 2018-03-16 电子科技大学 一种基于FasterR‑CNN的通信信号识别方法
CN107808139A (zh) * 2017-11-01 2018-03-16 电子科技大学 一种基于深度学习的实时监控威胁分析方法及***
CN107944369A (zh) * 2017-11-17 2018-04-20 大连大学 一种基于级联区域生成网络和增强随机森林的行人检测方法
CN108052946A (zh) * 2017-12-11 2018-05-18 国网上海市电力公司 一种基于卷积神经网络的高压机柜开关自动识别方法
CN108121986A (zh) * 2017-12-29 2018-06-05 深圳云天励飞技术有限公司 目标检测方法及装置、计算机装置和计算机可读存储介质
CN108133197A (zh) * 2018-01-05 2018-06-08 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN108182413A (zh) * 2017-12-29 2018-06-19 中国矿业大学(北京) 一种矿井移动目标检测与跟踪识别方法
CN108197575A (zh) * 2018-01-05 2018-06-22 中国电子科技集团公司电子科学研究院 一种基于目标检测和骨点检测的异常行为识别方法及装置
CN108257139A (zh) * 2018-02-26 2018-07-06 中国科学院大学 基于深度学习的rgb-d三维物体检测方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN108520273A (zh) * 2018-03-26 2018-09-11 天津大学 一种基于目标检测的稠密小商品快速检测识别方法
CN108564097A (zh) * 2017-12-05 2018-09-21 华南理工大学 一种基于深度卷积神经网络的多尺度目标检测方法
CN108830152A (zh) * 2018-05-07 2018-11-16 北京红云智胜科技有限公司 深度学习网络和人工特征相联合的行人检测方法及***
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108921056A (zh) * 2018-06-18 2018-11-30 上海大学 基于神经网络面向汽车辅助驾驶的行人检测方法
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN109242516A (zh) * 2018-09-06 2019-01-18 北京京东尚科信息技术有限公司 处理服务单的方法和装置
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及***
CN109636846A (zh) * 2018-12-06 2019-04-16 重庆邮电大学 基于循环注意力卷积神经网络的目标定位方法
CN109670573A (zh) * 2017-10-13 2019-04-23 斯特拉德视觉公司 利用损失增加调整cnn的参数的学习方法和学习装置以及使用它们的测试方法和测试装置
CN109670523A (zh) * 2017-10-13 2019-04-23 斯特拉德视觉公司 用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置
CN109711332A (zh) * 2018-12-26 2019-05-03 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN109932730A (zh) * 2019-02-22 2019-06-25 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN110084257A (zh) * 2018-01-26 2019-08-02 北京京东尚科信息技术有限公司 用于检测目标的方法和装置
CN110097050A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 行人检测方法、装置、计算机设备及存储介质
CN110135480A (zh) * 2019-04-30 2019-08-16 南开大学 一种基于无监督物体检测消除偏差的网络数据学习方法
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及***
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN110298238A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
GB2572472A (en) * 2018-02-01 2019-10-02 Ford Global Tech Llc Validating gesture recognition capabilities of automated systems
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110399868A (zh) * 2018-04-19 2019-11-01 北京大学深圳研究生院 一种滨海湿地鸟类检测方法
CN110414299A (zh) * 2018-04-28 2019-11-05 中山大学 一种基于计算机视觉的猴脸亲缘关系分析方法
CN110458864A (zh) * 2019-07-02 2019-11-15 南京邮电大学 基于整合语义知识和实例特征的目标跟踪方法与目标***
CN110472542A (zh) * 2019-08-05 2019-11-19 深圳北斗通信科技有限公司 一种基于深度学习的红外图像行人检测方法及检测***
CN110490058A (zh) * 2019-07-09 2019-11-22 北京迈格威科技有限公司 行人检测模型的训练方法、装置、***和计算机可读介质
CN110633641A (zh) * 2019-08-15 2019-12-31 河北工业大学 一种智能安防行人检测方法、***、装置及存储介质
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111340760A (zh) * 2020-02-17 2020-06-26 中国人民解放军国防科技大学 基于多任务两级卷积神经网络的膝关节定位方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、***、装置及存储介质
CN111626276A (zh) * 2020-07-30 2020-09-04 之江实验室 一种基于两级神经网络的工鞋穿戴检测方法及装置
GB2586996A (en) * 2019-09-11 2021-03-17 Canon Kk A method, apparatus and computer program for acquiring a training set of images
CN112861631A (zh) * 2020-12-31 2021-05-28 南京理工大学 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN112926500A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种结合头部和整体信息的行人检测方法
CN112949510A (zh) * 2021-03-08 2021-06-11 香港理工大学深圳研究院 基于Faster R-CNN热红外影像人物探测方法
CN113947586A (zh) * 2021-10-21 2022-01-18 江苏和瑞智能科技股份有限公司 从采集图像中准确锚定药品包装的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063719A (zh) * 2014-06-27 2014-09-24 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063719A (zh) * 2014-06-27 2014-09-24 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104166861A (zh) * 2014-08-11 2014-11-26 叶茂 一种行人检测方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN106096561A (zh) * 2016-06-16 2016-11-09 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法
CN106127164A (zh) * 2016-06-29 2016-11-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
CN107103283A (zh) * 2017-03-24 2017-08-29 中国科学院计算技术研究所 一种sar图像舰船目标几何特征并行提取方法与装置
CN107220603A (zh) * 2017-05-18 2017-09-29 惠龙易通国际物流股份有限公司 基于深度学习的车辆检测方法及装置
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107330920B (zh) * 2017-06-28 2020-01-03 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107292306A (zh) * 2017-07-07 2017-10-24 北京小米移动软件有限公司 目标检测方法及装置
CN107451607A (zh) * 2017-07-13 2017-12-08 山东中磁视讯股份有限公司 一种基于深度学习的典型人物的身份识别方法
WO2019037498A1 (zh) * 2017-08-25 2019-02-28 腾讯科技（深圳）有限公司 主动跟踪方法、装置及***
CN109670523B (zh) * 2017-10-13 2024-01-09 斯特拉德视觉公司 用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置
CN109670573A (zh) * 2017-10-13 2019-04-23 斯特拉德视觉公司 利用损失增加调整cnn的参数的学习方法和学习装置以及使用它们的测试方法和测试装置
CN109670523A (zh) * 2017-10-13 2019-04-23 斯特拉德视觉公司 用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置
CN107808138A (zh) * 2017-10-31 2018-03-16 电子科技大学 一种基于FasterR‑CNN的通信信号识别方法
CN107808138B (zh) * 2017-10-31 2021-03-30 电子科技大学 一种基于FasterR-CNN的通信信号识别方法
CN107808139B (zh) * 2017-11-01 2021-08-06 电子科技大学 一种基于深度学习的实时监控威胁分析方法及***
CN107808139A (zh) * 2017-11-01 2018-03-16 电子科技大学 一种基于深度学习的实时监控威胁分析方法及***
CN107944369A (zh) * 2017-11-17 2018-04-20 大连大学 一种基于级联区域生成网络和增强随机森林的行人检测方法
CN108564097A (zh) * 2017-12-05 2018-09-21 华南理工大学 一种基于深度卷积神经网络的多尺度目标检测方法
CN108564097B (zh) * 2017-12-05 2020-09-22 华南理工大学 一种基于深度卷积神经网络的多尺度目标检测方法
CN108052946A (zh) * 2017-12-11 2018-05-18 国网上海市电力公司 一种基于卷积神经网络的高压机柜开关自动识别方法
CN108182413A (zh) * 2017-12-29 2018-06-19 中国矿业大学(北京) 一种矿井移动目标检测与跟踪识别方法
CN108121986A (zh) * 2017-12-29 2018-06-05 深圳云天励飞技术有限公司 目标检测方法及装置、计算机装置和计算机可读存储介质
CN108197575A (zh) * 2018-01-05 2018-06-22 中国电子科技集团公司电子科学研究院 一种基于目标检测和骨点检测的异常行为识别方法及装置
CN108133197A (zh) * 2018-01-05 2018-06-08 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN110084257A (zh) * 2018-01-26 2019-08-02 北京京东尚科信息技术有限公司 用于检测目标的方法和装置
GB2572472A (en) * 2018-02-01 2019-10-02 Ford Global Tech Llc Validating gesture recognition capabilities of automated systems
US10726248B2 (en) 2018-02-01 2020-07-28 Ford Global Technologies, Llc Validating gesture recognition capabilities of automated systems
GB2572472B (en) * 2018-02-01 2021-02-17 Ford Global Tech Llc Validating gesture recognition capabilities of automated systems
CN108257139B (zh) * 2018-02-26 2020-09-08 中国科学院大学 基于深度学习的rgb-d三维物体检测方法
CN108257139A (zh) * 2018-02-26 2018-07-06 中国科学院大学 基于深度学习的rgb-d三维物体检测方法
WO2019175686A1 (en) 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN108520273A (zh) * 2018-03-26 2018-09-11 天津大学 一种基于目标检测的稠密小商品快速检测识别方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN110399868B (zh) * 2018-04-19 2022-09-09 北京大学深圳研究生院 一种滨海湿地鸟类检测方法
CN110399868A (zh) * 2018-04-19 2019-11-01 北京大学深圳研究生院 一种滨海湿地鸟类检测方法
CN110414299B (zh) * 2018-04-28 2024-02-06 中山大学 一种基于计算机视觉的猴脸亲缘关系分析方法
CN110414299A (zh) * 2018-04-28 2019-11-05 中山大学 一种基于计算机视觉的猴脸亲缘关系分析方法
CN108830152B (zh) * 2018-05-07 2020-12-29 北京红云智胜科技有限公司 深度学习网络和人工特征相联合的行人检测方法及***
CN108830152A (zh) * 2018-05-07 2018-11-16 北京红云智胜科技有限公司 深度学习网络和人工特征相联合的行人检测方法及***
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108830280B (zh) * 2018-05-14 2021-10-26 华南理工大学 一种基于区域提名的小目标检测方法
CN108921056A (zh) * 2018-06-18 2018-11-30 上海大学 基于神经网络面向汽车辅助驾驶的行人检测方法
CN109086678B (zh) * 2018-07-09 2022-02-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN109242516A (zh) * 2018-09-06 2019-01-18 北京京东尚科信息技术有限公司 处理服务单的方法和装置
CN109636846B (zh) * 2018-12-06 2022-10-11 重庆邮电大学 基于循环注意力卷积神经网络的目标定位方法
CN109636846A (zh) * 2018-12-06 2019-04-16 重庆邮电大学 基于循环注意力卷积神经网络的目标定位方法
CN111209810A (zh) * 2018-12-26 2020-05-29 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN111209810B (zh) * 2018-12-26 2023-05-26 浙江大学 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN109711332A (zh) * 2018-12-26 2019-05-03 浙江捷尚视觉科技股份有限公司 一种基于回归算法的人脸跟踪方法及应用
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
WO2020151167A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及可读存储介质
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、***、装置及存储介质
CN109932730A (zh) * 2019-02-22 2019-06-25 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN109932730B (zh) * 2019-02-22 2023-06-23 东华大学 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN110097050A (zh) * 2019-04-03 2019-08-06 平安科技（深圳）有限公司 行人检测方法、装置、计算机设备及存储介质
CN110097050B (zh) * 2019-04-03 2024-03-08 平安科技（深圳）有限公司 行人检测方法、装置、计算机设备及存储介质
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及***
CN110135480A (zh) * 2019-04-30 2019-08-16 南开大学 一种基于无监督物体检测消除偏差的网络数据学习方法
CN110298238A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
CN110298238B (zh) * 2019-05-20 2023-06-30 平安科技（深圳）有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110458864A (zh) * 2019-07-02 2019-11-15 南京邮电大学 基于整合语义知识和实例特征的目标跟踪方法与目标***
CN110490058A (zh) * 2019-07-09 2019-11-22 北京迈格威科技有限公司 行人检测模型的训练方法、装置、***和计算机可读介质
CN110472542A (zh) * 2019-08-05 2019-11-19 深圳北斗通信科技有限公司 一种基于深度学习的红外图像行人检测方法及检测***
CN110633641A (zh) * 2019-08-15 2019-12-31 河北工业大学 一种智能安防行人检测方法、***、装置及存储介质
GB2586996B (en) * 2019-09-11 2022-03-09 Canon Kk A method, apparatus and computer program for acquiring a training set of images
GB2586996A (en) * 2019-09-11 2021-03-17 Canon Kk A method, apparatus and computer program for acquiring a training set of images
CN111340760A (zh) * 2020-02-17 2020-06-26 中国人民解放军国防科技大学 基于多任务两级卷积神经网络的膝关节定位方法
CN111340760B (zh) * 2020-02-17 2022-11-08 中国人民解放军国防科技大学 基于多任务两级卷积神经网络的膝关节定位方法
CN111626276A (zh) * 2020-07-30 2020-09-04 之江实验室 一种基于两级神经网络的工鞋穿戴检测方法及装置
CN112861631A (zh) * 2020-12-31 2021-05-28 南京理工大学 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN112949510A (zh) * 2021-03-08 2021-06-11 香港理工大学深圳研究院 基于Faster R-CNN热红外影像人物探测方法
CN112926500B (zh) * 2021-03-22 2022-09-20 重庆邮电大学 一种结合头部和整体信息的行人检测方法
CN112926500A (zh) * 2021-03-22 2021-06-08 重庆邮电大学 一种结合头部和整体信息的行人检测方法
CN113947586A (zh) * 2021-10-21 2022-01-18 江苏和瑞智能科技股份有限公司 从采集图像中准确锚定药品包装的方法

Similar Documents

Publication Publication Date Title
CN106845430A (zh) 基于加速区域卷积神经网络的行人检测与跟踪方法
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
Zhang et al. C2FDA: Coarse-to-fine domain adaptation for traffic object detection
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN111507378A (zh) 训练图像处理模型的方法和装置
Joshi et al. Comparing random forest approaches to segmenting and classifying gestures
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
KR102462934B1 (ko) 디지털 트윈 기술을 위한 영상 분석 시스템
CN104200237A (zh) 一种基于核化相关滤波高速自动多目标跟踪方法
CN110097044A (zh) 基于深度学习的一阶段车牌检测识别方法
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN107169485A (zh) 一种数学公式识别方法和装置
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
Pei et al. Localized traffic sign detection with multi-scale deconvolution networks
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN112634329A (zh) 一种基于时空与或图的场景目标活动预测方法及装置
CN115690549A (zh) 一种基于并联交互架构模型实现多维度特征融合的目标检测方法
CN115376101A (zh) 一种面向自动驾驶环境感知的增量式学习方法和***
Zhao et al. Cbph-net: A small object detector for behavior recognition in classroom scenarios
Kaur et al. A systematic review of object detection from images using deep learning
Abdullah et al. Vehicle counting using deep learning models: a comparative study
CN112329830B (zh) 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及***
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613