CN109492685A - 一种用于对称特征的目标物体视觉检测方法 - Google Patents

一种用于对称特征的目标物体视觉检测方法 Download PDF

Info

Publication number
CN109492685A
CN109492685A CN201811288693.3A CN201811288693A CN109492685A CN 109492685 A CN109492685 A CN 109492685A CN 201811288693 A CN201811288693 A CN 201811288693A CN 109492685 A CN109492685 A CN 109492685A
Authority
CN
China
Prior art keywords
candidate frame
group
image
detection
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811288693.3A
Other languages
English (en)
Other versions
CN109492685B (zh
Inventor
程健
郭雪亮
李杨
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
China Coal Research Institute CCRI
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201811288693.3A priority Critical patent/CN109492685B/zh
Publication of CN109492685A publication Critical patent/CN109492685A/zh
Application granted granted Critical
Publication of CN109492685B publication Critical patent/CN109492685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于对称特征的目标物体视觉检测方法，具体步骤为：对拍摄具有目标物体的图像进行处理获得多个基础特征，然后构成候选框，根据多个基础特征在图像中的位置沿X轴进行升序排列，然后对序列中的基础特征只匹配升序方向与其最近的两个特征，分别组成候选框，然后采用机器学习或者深度学习算法训练得出的图像分类模型对多个候选框进行分类，对于同样N个基础特征，本发明的算法复杂度最大为2N‑3，其算法复杂度始终是小于两两遍历算法复杂度(N‑1)2，因此本发明的方法复杂度较低，所需的检测时间较短，从而大大提高了目标物体的检测效率。

Description

一种用于对称特征的目标物体视觉检测方法
技术领域
本发明涉及一种目标物体视觉检测方法，具体是一种用于对称特征的目标物体视觉检测方法。
背景技术
目标检测是计算机视觉领域的三大任务之一，即将周围环境拍摄生成图像，然后对拍摄图像进行识别，得出拍摄图像中是否存在预设在计算机内的目标图案，将其提取出来，完成对环境中目标图案的检测识别过程。目前主流的目标检测算法主要是基于深度学习模型，其中一个大类就是two-stage检测算法，即将检测问题划分成两个阶段，首先在拍摄图像中产生多个候选区域，然后对每个候选区域分类，最后对每个候选区域进行识别得出目标检测结果，典型代表如R-CNN系列算法等。
对于two-stage检测算法，候选框的生成目前大体上都是通过传统的机器视觉算法，根据检测目标物一些容易检测到的较基础的特征，对图像进行预处理获得基础特征。但在检测具有对称基础特征的目标物体时，往往是对检测到的各个基础特征进行遍历后，两两组合生成候选框，然后再对候选框使用机器学习或者深度学习的方法对其分类。假设一幅拍摄图像有N个基础特征，则两两匹配算法的复杂度为(N-1)2。这样就会导致算法复杂度较高，时间代价太高，而且最终的目标检测结果也容易受到干扰，比如在图像中对于两个相隔较远或者特别近等情况下的基础特征是没有必要进行匹配生成候选框的。因此现有的这种方式算法复杂度高，所需的检测时间较长，因此目标检测的效率较低。
发明内容
针对上述现有技术存在的问题，本发明提供一种用于对称特征的目标物体视觉检测方法，具有复杂度较低，所需的检测时间较短，能提高目标物体的检测效率。
为了实现上述目的，本发明采用的技术方案是：一种用于对称特征的目标物体视觉检测方法，具体步骤为：
(1)采集多张目标物体的图像输入计算机，然后手动标记出采集图像中目标物体及多个干扰项，制作成数据集，其中确定目标物体为正类，其余为负类；计算机采用已知深度学习方法或已知机器学习方法确定图像分类模型，将数据集输入图像分类模型后进行训练，最终得出训练后的图像分类模型，并进行保存；
(2)对所需检测的环境拍摄图像，将拍摄图像采用已知机器视觉处理方法对图像进行预处理，得到拍摄图像中多个对称基础特征，并对每个基础特征采用XY轴坐标系进行标注，然后获得基础特征序列L0；
(3)对每个基础特征按照其在图像中的X轴坐标位置做升序排列，得到基础特征序列L1；
(4)在基础特征序列L1中，从低到高对每个基础特征，找出该基础特征沿X轴坐标升序方向两个最近的基础特征，并使该基础特征与两个最近的基础特征分别组成两个候选框，得到一组候选框，依次类推，得到各个基础特征的候选框组，其中最后一组候选框组内为一个候选框，其余每组内两个候选框，按照X轴坐标序列较低的为H0，另一个为H1；将各组候选框作为序列L2保存；
(5)采用预先设定的候选框阈值范围依次对序列L2中各组内候选框H0进行判断，
若检测当前组内的候选框H0不处于阈值范围内，则将该候选框H0剔除，对该组内的候选框H1重复上述判断过程，若不处于阈值范围内，则剔除该候选框H1，继续下一组候选框的检测；若处于阈值范围内，则采用图像分类模型对该候选框H1进行分类判断，完成分类后继续下一组候选框的检测；
若检测当前组内的候选框H0处于阈值范围内，则采用步骤(1)中得到的图像分类模型对该组候选框H0进行分类判断，
若分类结果为正类，则直接确定候选框H0为正类，剔除该组内候选框H1，然后进行下一组候选框的检测；
若分类结果为负类，则对该组内的候选框H1重复上述判断过程，若不处于阈值范围内，则剔除该候选框H1，继续下一组候选框的检测；若处于阈值范围内，则采用图像分类模型对该候选框H1进行分类判断，完成分类后继续下一组候选框的检测；
直到所有候选框组均完成检测及分类后，将分类结果为正类的候选框作为序列L3保存；
(6)序列L3中各个候选框即为拍摄图像中所有要检测的目标物体。
进一步，所述步骤(2)中对图像进行预处理，包括灰度处理，二值化处理，边缘处理，形状和颜色检测。
进一步，所述步骤(1)中已知深度学习方法为CNN深度学习方法；已知机器学习方法为SVM机器学习方法或KNN机器学习方法。
进一步，所述步骤(5)中预先设定的候选框阈值范围包括设定组成候选框的两个基础特征各自最小包围矩形的长边之比的阈值范围或设定候选框相邻长边与短边之间夹角的阈值范围。
与现有技术相比，本发明采用机器学习图像分类及two-stage检测相结合方式，对拍摄具有目标物体的图像进行处理获得多个基础特征，然后构成候选框，根据多个基础特征在图像中的位置沿X轴进行升序排列，然后对序列中的基础特征只匹配升序方向与其最近的两个特征，分别组成候选框，然后采用机器学习或者深度学习算法训练得出的图像分类模型对多个候选框进行分类，对于同样N个基础特征，本发明的算法复杂度最大为2N-3，其算法复杂度始终是小于两两遍历算法复杂度(N-1)2，因此本发明的方法复杂度较低，所需的检测时间较短，从而大大提高了目标物体的检测效率。
附图说明
图1是本发明实施例中具有对称基础特征的目标物体示意图；
图2是本发明其中一种拍摄图像的候选框生成示意图；
图3是本发明另一种拍摄图像的候选框生成示意图。
具体实施方式
下面将对本发明做进一步说明。
实施例：
如图所示，本发明:具体步骤为：
(1)采集多张目标物体的图像输入计算机，然后手动标记出采集图像中目标物体及多个干扰项，制作成数据集，其中确定目标物体(如图1所示)为正类，其余为负类；计算机采用已知深度学习方法或已知机器学习方法确定图像分类模型，将数据集输入图像分类模型后进行训练，最终得出训练后的图像分类模型，并进行保存；
(2)对所需检测的环境拍摄图像(如图2和图3所示)，将拍摄图像采用已知机器视觉处理方法对图像进行预处理包括灰度处理，二值化处理，边缘处理，形状和颜色检测，得到拍摄图像中四个对称基础特征，并对每个基础特征采用XY轴坐标系进行标注，沿X轴升序方向分别为T0、T1、T2、T3，然后获得基础特征序列L0；
(3)对每个基础特征按照其在图像中的X轴坐标位置做升序排列，得到基础特征序列L1；
(4)在基础特征序列L1中，从低到高对每个基础特征，找出该基础特征沿X轴坐标升序方向两个最近的基础特征，并使该基础特征与两个最近的基础特征分别组成两个候选框，得到一组候选框，依次类推，得到各个基础特征的候选框组(即基础特征T0与其最近的两个基础特征T1和T2分别组成候选框CDJI和候选框CDFE，组成一组候选框；基础特征T1与其最近的两个基础特征T2和T3分别组成候选框EFJI和候选框EFGH，组成一组候选框)，其中最后一组候选框组内为一个候选框(即基础特征T2在升序方向上只有最后一个基础特征T3，组成候选框IJGH)，其余每组内两个候选框，按照X轴坐标序列较低的为H0，另一个为H1(如候选框CDJI和候选框CDFE其各自的最大X轴坐标中候选框CDJI小于候选框CDFE，则确定候选框CDJI为组内的候选框H0，候选框CDFE为组内的候选框H1)；将各组候选框作为序列L2保存；
(5)采用预先设定组成候选框的两个基础特征各自最小包围矩形的长边之比的阈值范围为[0.5，1.5]，及设定候选框相邻长边与短边之间夹角的阈值范围为[80°，100°]依次对序列L2中各组内候选框H0进行判断：
如图2所示，对第一组中为H0的候选框进行检测(即候选框CDEF)，经检测候选框CDEF不处于候选框相邻长边与短边之间夹角的阈值范围内，则将该候选框剔除，然后对该组内的候选框H1(即候选框CDIJ)进行检测，其处于候选框相邻长边与短边之间夹角的阈值范围内，采用步骤(1)中得到的图像分类模型对候选框CDJI进行分类，分类结果为候选框CDJI为正类(即候选框中包含目标物体)，然后进行下一组候选框的检测；
第二组候选框H0进行检测(即候选框EFJI)重复上述过程，经检测候选框EFJI不处于候选框相邻长边与短边之间夹角的阈值范围内，则将该候选框剔除，然后对该组内的候选框H1(即候选框EFGH)进行检测，其处于候选框相邻长边与短边之间夹角的阈值范围内，采用步骤(1)中得到的图像分类模型对候选框EFGH进行分类，分类结果为候选框EFGH为正类，然后进行下一组候选框的检测；
对最后一个候选框JIGH进行检测，经检测候选框JIGH不处于候选框相邻长边与短边之间夹角的阈值范围内，则将该候选框剔除；最后将分类结果为正类的候选框(即候选框CDJI和候选框EFGH)作为序列L3保存；
如图3所示，对第一组中为H0的候选框进行检测(即候选框CDJI)，经检测候选框CDJI处于候选框相邻长边与短边之间夹角的阈值范围内，采用步骤(1)中得到的图像分类模型对候选框CDJI进行分类，分类结果为候选框CDJI为正类(即候选框中包含目标物体)，由于候选框CDJI在组内为候选框H0，因此该组内的候选框H1(即候选框CDFE)直接被剔除，然后进行下一组候选框的检测；
第二组候选框H0进行检测(即候选框EFJI)重复上述过程，得出候选框EFJI为负类，候选框EFGH在组内为候选框H0，由于其为负类，因此该组内的候选框H1(即候选框IJGH)重复上述检测及分类过程，得出候选框IJGH为正类；
然后对最后一个候选框EFGH进行检测及分类过程，得出候选框EFGH为正类；最后将分类结果为正类的候选框(即候选框CDIJ、候选框JIGH和候选框EFGH)作为序列L3保存；
(6)序列L3中各个候选框即为拍摄图像中所有要检测的目标物体。
进一步，所述步骤(1)中已知深度学习方法为CNN深度学习方法；已知机器学习方法为SVM机器学习方法或KNN机器学习方法。

Claims (4)

1.一种用于对称特征的目标物体视觉检测方法，其特征在于，具体步骤为：
(1)采集多张目标物体的图像输入计算机，然后手动标记出采集图像中目标物体及多个干扰项，制作成数据集，其中确定目标物体为正类，其余为负类；计算机采用已知深度学习方法或已知机器学习方法确定图像分类模型，将数据集输入图像分类模型后进行训练，最终得出训练后的图像分类模型，并进行保存；
(2)对所需检测的环境拍摄图像，将拍摄图像采用已知机器视觉处理方法对图像进行预处理，得到拍摄图像中多个对称基础特征，并对每个基础特征采用XY轴坐标系进行标注，然后获得基础特征序列L0；
(3)对每个基础特征按照其在图像中的X轴坐标位置做升序排列，得到基础特征序列L1；
(4)在基础特征序列L1中，从低到高对每个基础特征，找出该基础特征沿X轴坐标升序方向两个最近的基础特征，并使该基础特征与两个最近的基础特征分别组成两个候选框，得到一组候选框，依次类推，得到各个基础特征的候选框组，其中最后一组候选框组内为一个候选框，其余每组内两个候选框，按照X轴坐标序列较低的为H0，另一个为H1；将各组候选框作为序列L2保存；
(5)采用预先设定的候选框阈值范围依次对序列L2中各组内候选框H0进行判断，
若检测当前组内的候选框H0不处于阈值范围内，则将该候选框H0剔除，对该组内的候选框H1重复上述判断过程，若不处于阈值范围内，则剔除该候选框H1，继续下一组候选框的检测；若处于阈值范围内，则采用图像分类模型对该候选框H1进行分类判断，完成分类后继续下一组候选框的检测；
若检测当前组内的候选框H0处于阈值范围内，则采用步骤(1)中得到的图像分类模型对该组候选框H0进行分类判断，
若分类结果为正类，则直接确定候选框H0为正类，剔除该组内候选框H1，然后进行下一组候选框的检测；
若分类结果为负类，则对该组内的候选框H1重复上述判断过程，若不处于阈值范围内，则剔除该候选框H1，继续下一组候选框的检测；若处于阈值范围内，则采用图像分类模型对该候选框H1进行分类判断，完成分类后继续下一组候选框的检测；
直到所有候选框组均完成检测及分类后，将分类结果为正类的候选框作为序列L3保存；
(6)序列L3中各个候选框即为拍摄图像中所有要检测的目标物体。
2.根据权利要求1所述的一种用于对称特征的目标物体视觉检测方法，其特征在于，所述步骤(2)中对图像进行预处理，包括灰度处理，二值化处理，边缘处理，形状和颜色检测。
3.根据权利要求1所述的一种用于对称特征的目标物体视觉检测方法，其特征在于，所述步骤(1)中已知深度学习方法为CNN深度学习方法；已知机器学习方法为SVM机器学习方法或KNN机器学习方法。
4.根据权利要求1所述的一种用于对称特征的目标物体视觉检测方法，其特征在于，所述步骤(5)中预先设定的候选框阈值范围包括设定组成候选框的两个基础特征各自最小包围矩形的长边之比的阈值范围或设定候选框相邻长边与短边之间夹角的阈值范围。
CN201811288693.3A 2018-10-31 2018-10-31 一种用于对称特征的目标物体视觉检测方法 Active CN109492685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811288693.3A CN109492685B (zh) 2018-10-31 2018-10-31 一种用于对称特征的目标物体视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811288693.3A CN109492685B (zh) 2018-10-31 2018-10-31 一种用于对称特征的目标物体视觉检测方法

Publications (2)

Publication Number Publication Date
CN109492685A true CN109492685A (zh) 2019-03-19
CN109492685B CN109492685B (zh) 2022-05-24

Family

ID=65693452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811288693.3A Active CN109492685B (zh) 2018-10-31 2018-10-31 一种用于对称特征的目标物体视觉检测方法

Country Status (1)

Country Link
CN (1) CN109492685B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705579A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于深度学习的复杂多目标集成开关控制板状态校验方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及***
CN106127161A (zh) * 2016-06-29 2016-11-16 深圳市格视智能科技有限公司 基于级联多层检测器的快速目标检测方法
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及***
CN106127161A (zh) * 2016-06-29 2016-11-16 深圳市格视智能科技有限公司 基于级联多层检测器的快速目标检测方法
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
覃剑等: "采用在线高斯模型的行人检测候选框快速生成方法", 《光学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705579A (zh) * 2019-04-15 2020-01-17 中国石油大学(华东) 一种基于深度学习的复杂多目标集成开关控制板状态校验方法
CN110705579B (zh) * 2019-04-15 2023-05-23 中国石油大学(华东) 一种基于深度学习的复杂多目标集成开关控制板状态校验方法

Also Published As

Publication number Publication date
CN109492685B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN108898610B (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN106650721B (zh) 一种基于卷积神经网络的工业字符识别方法
CN102609686B (zh) 一种行人检测方法
CN103971102B (zh) 基于手指轮廓和决策树的静态手势识别方法
CN106325485B (zh) 一种手势检测识别方法及***
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN105608441B (zh) 一种车型识别方法及***
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及***
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN102646193A (zh) 一种环形排布字符图像分割方法
CN111402316B (zh) 一种基于去伪环节的图像中椭圆快速检测方法
Kim et al. Autonomous vehicle detection system using visible and infrared camera
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
CN106022223A (zh) 一种高维局部二值模式人脸识别方法及***
CN111401449A (zh) 一种基于机器视觉的图像匹配方法
CN113159045A (zh) 一种结合图像预处理与卷积神经网络的验证码识别方法
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
CN111191535A (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
CN110008899A (zh) 一种可见光遥感图像候选目标提取与分类方法
CN104598898A (zh) 一种基于多任务拓扑学习的航拍图像快速识别***及其快速识别方法
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN109492685A (zh) 一种用于对称特征的目标物体视觉检测方法
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220426

Address after: 100013 No. 5 Youth Road, Chaoyang District, Beijing, Hepingli

Applicant after: CHINA COAL Research Institute

Applicant after: China University of Mining and Technology

Address before: No. 1, Quanshan District, Xuzhou, Jiangsu, Jiangsu

Applicant before: CHINA University OF MINING AND TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant