CN111814647A - 一种二阶段的自行车小类关键点置信度图像cnn识别方法 - Google Patents

一种二阶段的自行车小类关键点置信度图像cnn识别方法 Download PDF

Info

Publication number
CN111814647A
CN111814647A CN202010624251.2A CN202010624251A CN111814647A CN 111814647 A CN111814647 A CN 111814647A CN 202010624251 A CN202010624251 A CN 202010624251A CN 111814647 A CN111814647 A CN 111814647A
Authority
CN
China
Prior art keywords
image
bicycle
network
subclass
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010624251.2A
Other languages
English (en)
Inventor
唐灿
曹晓莉
唐亮贵
江朝元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Technology and Business University
Original Assignee
Chongqing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Technology and Business University filed Critical Chongqing Technology and Business University
Priority to CN202010624251.2A priority Critical patent/CN111814647A/zh
Publication of CN111814647A publication Critical patent/CN111814647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种二阶段的自行车小类关键点置信度图像CNN识别方法，包括如下步骤：步骤A：输入待识别的图像；步骤B：对图像预处理；步骤C：使用Mask R‑CNN网络分割出其中的自行车图像A；步骤D：加载建立的自定义网络及其网络权重；步骤E：对步骤C分割出的自行车图像A使用步骤D中自定义的CNN网络及其网络权重进行特征提取，并自动分为小类；输出小类。本发明可以识别自行车，加强了识别的准确程度，还可以进一步精确的识别出自行车的小类，有助于解决自行车管理的需求，节约人力物力；可操作性强。

Description

一种二阶段的自行车小类关键点置信度图像CNN识别方法
技术领域
本发明涉及图像处理信息技术领域，特别是涉及一种二阶段的自行车小类关键点置信度图像CNN识别方法。
背景技术
近年来，车辆的乱停乱放已经成为严重的社会问题。在公园、小区、马路、消防通道上乱停乱放的自行车，特别是共享单车严重的影响了环境的美观，乃至人们的生活。如何第一时间的发现不应当停放的各种品牌的共享单车,并自动实现后续处理，如电话通知对应管理部门，成为管理上亟须解决的问题。
现有的小区、街道已经广泛的使用了摄像头进行了监控，但大多受限于观看的环节。而传统的计算机技术也无法实现对停放车辆进行分析和处理，为下一步的解决方案提供支持。
申请号201711485349.9，发明名称：一种共享单车目标识别方法、装置及相机，该专利申请没有公开自行车图像识别的具体CNN算法步骤，事实上，就CNN算法而言，经过全球科技工作者近十年的发展，每年的相关国际论文都在十万篇以上，需要不断的完善和提高，来改善其图像识别的准确度；就自行车图像识别这块来说，CNN算法的具体操作步骤对图像识别的准确度影响较大，因此，CNN算法的具体操作步骤成为了自行车图像识别准确度的关键因素，由于该申请文件没有给出任何CNN的具体算法步骤，所以在自行车图像的具体识别处理方面可操作性较低。
因此，现有技术的缺陷是，缺少一种二阶段的自行车小类关键点置信度图像CNN识别方法，用于识别自行车，还可以进一步精确的识别出自行车的小类。
发明内容
有鉴于现有技术的至少一个缺陷，本发明的目的是提供一种二阶段的自行车小类关键点置信度图像CNN识别方法，可以识别自行车，不但加强了识别的准确程度，还可以进一步精确的识别出自行车的小类，有助于解决自行车管理的需求，节约人力物力；可操作性强。
为了达到上述目的，本发明采用如下技术方案：一种二阶段的自行车小类关键点置信度图像CNN识别方法，其关键在于，包括如下步骤：
步骤A：输入待识别的图像；
步骤B：对图像预处理；
步骤C：使用Mask R-CNN网络分割出其中的自行车图像A；
步骤D：加载建立的自定义网络及其网络权重；
其中步骤D建立自定义网络获其网络权重包括如下步骤：
步骤D1：从训练库中取出一批包含自行车图像B的训练图片；
步骤D2：对训练图片进行增强处理；
步骤D3：使用Mask R-CNN网络分割出其中的自行车图像B；
步骤D4：对分割出的自行车图像B进行人工关键点的标注；生成包含人工关键点的高斯置信度图；
步骤D5：使用自定义的CNN网络进行特征提取，并计算与人工关键点的距离；
步骤D6：是否达到了要求的精度或迭代了设定的次数N；如果否，转步骤D1，如果是保存网络权重；
步骤E：对步骤C分割出的自行车图像A使用步骤D中自定义的CNN网络及其网络权重进行特征提取，并自动分为小类；
步骤F：输出小类。
采用上述的二阶段的自行车小类关键点置信度图像CNN识别方法，可以识别自行车，不但加强了识别的准确程度，还可以进一步精确的识别出自行车的小类，有助于解决自行车管理的需求，节约人力物力；可操作性强。
该方法第一步从待识别的图像中识别出自行车，然后再进一步识别出自行车的小类。
所述步骤D3：使用Mask R-CNN网络对增强处理后的训练图片进行分割；取得自行车图像B的分割区域集合Ma；按Ma集合，对输入训练图片进行置位处理，生成分割结果图像Pt。
通过上述方法获得的分割结果图像Pt方便进行二阶段小类识别处理。
所述步骤D4：对于分割结果图像Pt，人工标注其人工关键点；生成包含人工关键点的高斯置信度图。
此高斯置信度图用于训练区域并生成权重。
所述步骤D5中使用自定义的CNN网络进行特征提取包括：首先使用VGG网络作为主干网络提取特征；然后使用空洞卷积，进一步的加大感受野，得到置信度图Pp；
计算与人工关键点的距离包括：对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算人工关键点的指定特征的特征值；将所有的特征值组成特征向量，此特征向量即为自行车的特征向量矩阵；对于多个关键点组成的特征向量进行相似度度量，计算相似度阈值v；
步骤D6中，是否达到了要求的精度包括：
如果相似度阈值v小于指定阈值V0，则表示为同一小类；如果否，转步骤D1。
采用上述方法步骤从而进一步加大了提取特征的能力。通过网络后，我们将提取到置信度图，记为：Pp，并生成特征向量分类。
采用如下公式(1)生成包含人工关键点的高斯置信度图；
其生成置信度函数为：
Figure BDA0002564145260000041
其中
Figure BDA0002564145260000042
表示分割结果图像Pt上的p点相对于第k个人工关键点的置信度；xk表示k点的正确标注，δ表示峰值扩散系数。
通过上述的公式(1)生成包含人工关键点的高斯置信度图。
所述对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算：
Figure BDA0002564145260000043
此式中，Ek表示人工关键点k的指定特征的特征值。Cp表示点p在置信度图Pp中的指定特征值，
Figure BDA0002564145260000044
表示点p是人工关键点k的置信度，获得人工关键点k的特征值；
将所有的特征值组成特征向量：
X＝[E1,E2,…,En],此特征向量X即为此物体的特征向量矩阵；n表示人工关键点的个数；
对于n个人工关键点k组成的特征向量，采用如下二范数度量公式(3)进行相似度度量；
v＝||X-Xt||2 (3)
其中，Xt表示小类的特征向量，X表示待分类特征向量；使用二范数度量公式(3)来进行计算，如果v小于指定阈值V0，则表示可分为同一小类。
采用上述公式(2)能够计算人工关键点k的指定特征的特征值。
采用二范数度量公式(3)方便进行相似度度量。
所述步骤E中，对自定义CNN网络的输出向量进行softmax函数处理，归一为概率值，即可输出对应小类。
采用上述方法即可输出最大可能分类，这个分类的结果对应小类的自行车。
显著效果:本发明提供了一种二阶段的自行车小类关键点置信度图像CNN识别方法，可以识别自行车，不但加强了识别的准确程度，还可以进一步精确的识别出自行车的小类，有助于解决自行车管理的需求，节约人力物力；可操作性强。
附图说明
图1为本发明的方法流程图；
图2为使用自定义CNN网络获取网络权重的方法流程图；
图3为两阶段自行车小类识别方法的形象示例图；
图4为Mask集合示例图；
图5为自定义CNN网络的网络结构图；
图6为本发明的***结构图。
具体实施方式
一种二阶段的自行车小类关键点置信度图像CNN识别方法，包括如下步骤：
步骤A：输入待识别的图像；
步骤B：对图像预处理；
步骤C：使用Mask R-CNN网络分割出其中的自行车图像A；
步骤D：加载建立的自定义网络及其网络权重；
其中步骤D建立自定义网络获其网络权重包括如下步骤：
步骤D1：从训练库中取出一批包含自行车图像B的训练图片；
步骤D2：对训练图片进行增强处理；
步骤D3：使用Mask R-CNN网络分割出其中的自行车图像B；
步骤D4：对分割出的自行车图像B进行人工关键点的标注；生成包含人工关键点的高斯置信度图；
步骤D5：使用自定义的CNN网络进行特征提取，并计算与人工关键点的距离；
步骤D6：是否达到了要求的精度或迭代了设定的次数N；如果否，转步骤D1，如果是保存网络权重；
步骤E：对步骤C分割出的自行车图像A使用步骤D中自定义的CNN网络及其网络权重进行特征提取，并自动分为小类；
步骤F：输出小类。
所述步骤D3：使用Mask R-CNN网络对增强处理后的训练图片进行分割；取得自行车图像B的分割区域集合Ma；按Ma集合，对输入训练图片进行置位处理，生成分割结果图像Pt。
通过上述方法获得的分割结果图像Pt方便进行二阶段小类识别处理。
所述步骤D4：对于分割结果图像Pt，人工标注其人工关键点；生成包含人工关键点的高斯置信度图。
所述步骤D5中使用自定义的CNN网络进行特征提取包括：首先使用VGG网络作为主干网络提取特征；然后使用空洞卷积，进一步的加大感受野，得到置信度图Pp；
计算与人工关键点的距离包括：对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算人工关键点的指定特征的特征值；将所有的特征值组成特征向量，此特征向量即为自行车的特征向量矩阵；对于多个关键点组成的特征向量进行相似度度量，计算相似度阈值v；
步骤D6中，是否达到了要求的精度包括：
如果相似度阈值v小于指定阈值V0，则表示为同一小类；如果否，转步骤D1。
采用如下公式(1)生成包含人工关键点的高斯置信度图；
其生成置信度函数为：
Figure BDA0002564145260000071
其中
Figure BDA0002564145260000072
表示分割结果图像Pt上的p点相对于第k个人工关键点的置信度；xk表示k点的正确标注，δ表示峰值扩散系数。
所述对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算：
Figure BDA0002564145260000073
此式中，Ek表示人工关键点k的指定特征的特征值。Cp表示点p在置信度图Pp中的指定特征值，
Figure BDA0002564145260000074
表示点p是人工关键点k的置信度，获得人工关键点k的特征值；
将所有的特征值组成特征向量：
X＝[E1,E2,…,En],此特征向量X即为此物体的特征向量矩阵；n表示人工关键点的个数；k是1～n个人工关键点中的其中一点。
对于多个人工关键点k组成的特征向量，采用如下二范数度量公式(3)进行相似度度量；
v＝||X-Xt||2 (3)
其中，Xt表示小类的特征向量，X表示待分类特征向量；使用二范数度量公式(3)来进行计算，如果v小于指定阈值V0，则表示可分为同一小类。
所述步骤E中，对自定义CNN网络的输出向量进行softmax函数处理，归一为概率值，即可输出对应小类。
下面再结合附图和具体实施例对本发明作进一步详细说明。
如图1-图6所示，本专利技术实施主要目的在于提供一种解决方法。该方法使用摄像头图像进行两阶段的深度图像识别，训练出对应的识别网络，并加以识别。第一阶段识别出被关注物体的大类，如自行车，第二阶段再识出核心的关键点，并从关键点的特征中提取出小类关键特征，如：小黄车、小红车、小蓝车..，注意：其特征是由CNN自动提取的人类难以直观了解的特征信息，从而最终实现了小类的自动识别功能，为直接联系对应的管理部门打下基础。由于阶段二没有公开训练算法，因而，综合使用两个阶段，给出对应的训练算法。
本专利技术的目的是采用以下技术方案来实现。流程图如图1和图2所示；
本方法需要经过训练和识别两个过程，其步骤解释如下：
过程一：训练阶段：
步骤1：大类语义识别及分割：
步骤1.1：从训练库中取出一批图像，进行图像增强。首先进行0～10度的随机旋转，再进行按最宽边进行缩放,转为448×448像素。宽高不足的填以黑色像素0。
步骤1.2：输入视频图像，使用Mask-RCNN对图像进行第一阶段语义识别和分割。Mask-RCNN是基于faster rcnn架构提出的新的语义卷积网络，一举完成了对象分割。该方法在有效找出目标的同时完成了高质量的语义分割。我们选择了ResNet101作为主干网络进行分割，取得指定类别的分割区域集合Ma。Ma包括指定类别的Mask信息。示例如图4所示。
在图4中，有1的地方表示为有语义分割的物体的像素点，0则表示没有此物体。假定我们的输入图像是5×5矩阵,则Ma也是相应的5×5矩阵。由于此阶段的Mask-RCNN已经有了权重值，所以无需进一步处理。
步骤1.3：按Ma集合，对输入图像进行置位处理。即：如果为1表示是此物体，则保留对应的点信息，否则将此点设定为白色，即为空。生成的结果图像记为Pt。此Pt则为我们需要进行二阶段处理的分割图像。
步骤2：训练特征点置信度生成：
步骤2.1:对于指定类别，加载它们的特征点。特征点由训练图像给出，比如：自行车的识别中，给出6个特征点，分别记为：[前轮,龙头,车架,中轴,坐垫,后轴]。每个特征点生成对应的特征区(置信度区)，其生成此特征点的置信度函数为：
Figure BDA0002564145260000091
其中
Figure BDA0002564145260000092
表示图像上的p点相对于第k个特征点的置信度。xk表示k点的正确标注，标注就是把坐标点记为1，其它为0；置信度为1。δ表示峰值扩散系数。上式表示，特征点及周围的点的置信度服从二维高斯分布。此置信度图用于训练区域并生成权重。所有的特征点的训练数据由人为给出，这就是我们的真值，即GroundTruth。我们针对每个小类的自行车，使用了三百多张的人为标记图像进行训练。
步骤2.2:使用以下的FCNN全卷积神经网络来进行置信度图生成，其网络结构如图5所示。
此网络前面部分使用VGG网络作为主干网络，提取特征。后阶段我们定制了新的10层卷积，主要使用空洞卷积，进一步的加大感受野，并放弃池化层，从而进一步加大了提取特征的能力。上图5中的-2表示其卷积的步长为2。通过网络后，我们将提取到置信度图，记为：Pp。
步骤3：生成特征向量分类：
步骤3.1对于Pp图中的所有对应的关键点区域，按特征要求进行计算：
Figure BDA0002564145260000101
此式中，Ek表示关键点k的指定特征的特征值。Cp表示点p在图中的指定特征值，
Figure BDA0002564145260000102
表示点p是关键点k的置信度，对所有的点求积分，即得关键点k的特征值；由于特征点之间没有权值，所以可以进行同权组合，即：将所有的特征值组成特征向量：
X＝[E1,E2,…Ek…,En],此特征向量X即为此物体的特征向量矩阵。
步骤3.2对于多个关键点组成的特征向量，我们进行相似度度量，其度量公式为：
v＝||X-Xt||2
其中，Xt表示小类的特征向量，X表示待分类特征向量。我们使用了二范数公式来进行计算，如果v小于指定阈值V0，如:0.2，则表示可分为同一小类。图3展示了训练过程的形象示例图。
步骤3.3从数据集中不断取图像进行迭代，如果损失函数值小于0.01或迭代次数超过500×类别数后终止并保存权重。否则转步骤1.1。
类别数是指要识别多少个类。比如：小红车，小蓝车，两个类，就是500×2＝1000。
过程二：识别阶段：
步骤4：输入待识别图像，进行图像预处理。按最宽边进行等比缩放,转为448×448像素，宽高不足的填以黑色像素0。
步骤5同步骤1.2一致，使用Mask-RCNN对448×448像素的图像进行第一阶段语义识别和分割。分割出自行车的图像，空白地区填充白色像素。此时，目标检测问题已经转为了分类问题。
步骤6同步骤2.2一致，生成相应的自定义CNN网络，并加载由步骤3.3输出的权重值。
步骤7将步骤5生成的图像输入到步骤6的网络中，对输出向量进行softmax函数处理，归一为概率值，即可输出最大可能分类。这个分类的结果对应小类的自行车。
至此，本方法实现了从训练到识别小类自行车的全过程。
技术保护点
一种两阶段的深度学习自行车小类识别方法,其特征在于，包括：先使用深度学习算法进行第一阶段的大类识别，给出大类物体所在区域；再将区域中的图像分割出来，使用二阶段深度学习进行小类关键点识别训练，给出关键点所在的置信度图；从置信度图中取样得到图像的CNN特征，根据其CNN特征的距离进行分类，最终给出小类，经过这样训练的网络具有更高的小类识别能力；
技术保护范围摘要:
一种两阶段的自行车小类关键点置信图像CNN识别训练方法,其特征在于，包括：
特征一、第一阶段使用Mask-CNN深度学习算法进行自行车进行识别和区域分割，取得了大类物体及其对应的轮廓图和区域图；
特征二、在区域图的基础上进行第二次深度识别训练，使用我们自定义的步长为2的空洞卷积的深度神经网络算法进行的自行车关键点标识，取得基于特定关键点的置信度图；
特征三、取对应的置信度图中的对应特征进行特征抽取，抽取出对应的特征，由于CNN的性质，它已经自带颜色、形状、纹理等信息，不需要手动加以说明和区分；
特征四、通过特征点向量进行同权计算，取小类的最小二范数距离，可以确定自行车的小类；使用这样的方式进行训练的网络具有更好的小类识别能力。
Mask-RCNN,详见网址：https://arxiv.org/abs/1703.06870。
二范数，https://baike.***.com/item/％E4％BA％8C％E8％8C％83％E6％95％B0；
softmax逻辑回归，https://baike.***.com/item/softmax％20逻辑回归。
图6为本发明的***结构图，其中摄像头用于获待识别的图像传递给监控识别电脑，监控识别电脑采用所述的二阶段的自行车小类关键点置信度图像CNN识别方法先识别出大类自行车，再识别出小类自行车比如，小黄车或小红车等，通过因特网发给相应的共享单车管理电脑N。
最后，需要注意的是：以上列举的仅是本发明的具体实施例子，当然本领域的技术人员可以对本发明进行改动和变型，倘若这些修改和变型属于本发明权利要求及其等同技术的范围之内，均应认为是本发明的保护范围。

Claims (7)

1.一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于，包括如下步骤：
步骤A：输入待识别的图像；
步骤B：对图像预处理；
步骤C：使用Mask R-CNN网络分割出其中的自行车图像A；
步骤D：加载建立的自定义网络及其网络权重；
其中步骤D建立自定义网络获其网络权重包括如下步骤：
步骤D1：从训练库中取出一批包含自行车图像B的训练图片；
步骤D2：对训练图片进行增强处理；
步骤D3：使用Mask R-CNN网络分割出其中的自行车图像B；
步骤D4：对分割出的自行车图像B进行人工关键点的标注；生成包含人工关键点的高斯置信度图；
步骤D5：使用自定义的CNN网络进行特征提取，并计算与人工关键点的距离；
步骤D6：是否达到了要求的精度或迭代了设定的次数N；如果否，转步骤D1，如果是保存网络权重；
步骤E：对步骤C分割出的自行车图像A使用步骤D中自定义的CNN网络及其网络权重进行特征提取，并自动分为小类；
步骤F：输出小类。
2.根据权利要求1所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：所述步骤D3：使用Mask R-CNN网络对增强处理后的训练图片进行分割；取得自行车图像B的分割区域集合Ma；按Ma集合，对输入训练图片进行置位处理，生成分割结果图像Pt。
3.根据权利要求2所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：所述步骤D4：对于分割结果图像Pt，人工标注其人工关键点；生成包含人工关键点的高斯置信度图。
4.根据权利要求3所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：所述步骤D5中使用自定义的CNN网络进行特征提取包括：首先使用VGG网络作为主干网络提取特征；然后使用空洞卷积，进一步的加大感受野，得到置信度图Pp；
计算与人工关键点的距离包括：对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算人工关键点的指定特征的特征值；将所有的特征值组成特征向量，此特征向量即为自行车的特征向量矩阵；对于多个关键点组成的特征向量进行相似度度量，计算相似度阈值v；
步骤D6中，是否达到了要求的精度包括：
如果相似度阈值v小于指定阈值V0，则表示为同一小类；如果否，转步骤D1。
5.根据权利要求3所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：采用如下公式(1)生成包含人工关键点的高斯置信度图；其生成置信度函数为：
Figure FDA0002564145250000021
其中
Figure FDA0002564145250000031
表示分割结果图像Pt上的p点相对于第k个人工关键点的置信度；xk表示k点的正确标注，δ表示峰值扩散系数。
6.根据权利要求4所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：所述对于置信度图Pp中的所有对应的人工关键点区域，按特征要求进行计算人工关键点的指定特征的特征值包括：
Figure FDA0002564145250000032
此公式(2)中，Ek表示人工关键点k的指定特征的特征值；Cp表示点p在置信度图Pp中的指定特征值，
Figure FDA0002564145250000033
表示点p是人工关键点k的置信度，获得人工关键点k的特征值；
将所有的特征值组成特征向量：
X＝[E1,E2,…,En],此特征向量X即为此物体的特征向量矩阵；n表示人工关键点的个数；
对于n个人工关键点k组成的特征向量，采用如下二范数度量公式(3)进行相似度度量；
v＝||X-Xt||2 (3)
其中，Xt表示小类的特征向量，X表示待分类特征向量；使用二范数度量公式(3)来进行计算，如果v小于指定阈值V0，则表示可分为同一小类。
7.根据权利要求1所述的一种二阶段的自行车小类关键点置信度图像CNN识别方法，其特征在于：所述步骤E中，对自定义CNN网络的输出向量进行softmax函数处理，归一为概率值，即可输出对应小类。
CN202010624251.2A 2020-07-01 2020-07-01 一种二阶段的自行车小类关键点置信度图像cnn识别方法 Pending CN111814647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010624251.2A CN111814647A (zh) 2020-07-01 2020-07-01 一种二阶段的自行车小类关键点置信度图像cnn识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010624251.2A CN111814647A (zh) 2020-07-01 2020-07-01 一种二阶段的自行车小类关键点置信度图像cnn识别方法

Publications (1)

Publication Number Publication Date
CN111814647A true CN111814647A (zh) 2020-10-23

Family

ID=72855720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010624251.2A Pending CN111814647A (zh) 2020-07-01 2020-07-01 一种二阶段的自行车小类关键点置信度图像cnn识别方法

Country Status (1)

Country Link
CN (1) CN111814647A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033520A (zh) * 2021-05-25 2021-06-25 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及***
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133497A1 (en) * 2010-11-29 2012-05-31 Denso Corporation Object appearance frequency estimating apparatus
CN109993032A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车目标识别方法、装置及相机
CN110659534A (zh) * 2018-06-12 2020-01-07 杭州海康威视数字技术股份有限公司 一种共享单车检测方法和装置
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133497A1 (en) * 2010-11-29 2012-05-31 Denso Corporation Object appearance frequency estimating apparatus
CN109993032A (zh) * 2017-12-29 2019-07-09 杭州海康威视数字技术股份有限公司 一种共享单车目标识别方法、装置及相机
CN110659534A (zh) * 2018-06-12 2020-01-07 杭州海康威视数字技术股份有限公司 一种共享单车检测方法和装置
CN110837778A (zh) * 2019-10-12 2020-02-25 南京信息工程大学 一种基于骨架关节点序列的交警指挥手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHE CAO 等: ""Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420769A (zh) * 2020-11-12 2021-09-21 阿里巴巴集团控股有限公司 图像掩模的识别、抠取、模型训练方法、装置及电子设备
CN113033520A (zh) * 2021-05-25 2021-06-25 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及***
CN113033520B (zh) * 2021-05-25 2021-08-13 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及***

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN110188705B (zh) 一种适用于车载***的远距离交通标志检测识别方法
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
CN109165623B (zh) 基于深度学习的水稻病斑检测方法及***
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN104598885B (zh) 街景图像中的文字标牌检测与定位方法
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
CN111783576A (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN110889398B (zh) 一种基于相似度网络的多模态图像能见度检测方法
CN110348396B (zh) 一种基于深度学习的道路上方文字交通标志识别方法及装置
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN111046789A (zh) 一种行人重识别方法
Yao et al. Coupled multivehicle detection and classification with prior objectness measure
CN111814647A (zh) 一种二阶段的自行车小类关键点置信度图像cnn识别方法
CN109117723B (zh) 基于颜色模式分析与语义分割的盲道检测方法
CN115497122A (zh) 遮挡行人重识别方法、装置、设备和计算机可存储介质
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN116824399A (zh) 基于改进YOLOv5神经网络的路面裂缝识别方法
Crandall et al. Composite models of objects and scenes for category recognition
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN111178370B (zh) 车辆检索方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication