CN107886539A - 一种工业场景下高精度齿轮视觉检测方法 - Google Patents
一种工业场景下高精度齿轮视觉检测方法 Download PDFInfo
- Publication number
- CN107886539A CN107886539A CN201710974598.8A CN201710974598A CN107886539A CN 107886539 A CN107886539 A CN 107886539A CN 201710974598 A CN201710974598 A CN 201710974598A CN 107886539 A CN107886539 A CN 107886539A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- target
- gear
- industrial scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000005192 partition Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 38
- 230000002708 enhancing effect Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000003455 independent Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及工业场景下高精度齿轮视觉检测方法，属机器学习技术的目标检测领域。本发明首先采集带有齿轮目标正样本图像和不带有齿轮目标的负样本图像，并对齿轮目标进行boundingbox标注，按照1:1的比例划分成训练集和测试集；再对其进行Par‑King图像增强处理后提取梯度方向直方图HOG特征，得到相应的特征正样本和特征负样本；对所提取的训练集特征样本训练两个不同的分类器，一个是普通的整体SVM分类器，另一个是频域上的局部SVR组合分类器；再将两个分类器对测试集特征样本进行联合匹配，得到目标最优的检测位置。本发明利用联合模型匹配方法能够有效地获取工业场景中齿轮目标的高精度位置信息。
Description
技术领域
本发明涉及工业场景下高精度齿轮视觉检测方法，特别涉及工业场景下基于联合模型匹配的齿轮视觉检测方法，属于机器学习技术的目标检测领域。
背景技术
工业生产中的工业机器人通过利用目标检测技术，自动地识别出待处理的零部件的所属类别和具***置，并对其做出如抓取、焊接、切割等相应的处理。这种通过自动检测目标的自动化生产方式相比于传统生产方式既提高了生产效率，又节约了劳动力。
目标检测技术是模式识别和数字图像处理领域中的一项重要的研究课题。这一研究课题在近十多年的进展非常迅速，每年都有不少优秀的目标检测算法被提出，并且检测效果和速度都在不断优化。Viola等人提出的基于AdaBoost算法框架,使用Haar-like小波特征分类,然后采用滑动窗口搜索策略实现准确有效地定位。它是第一种能实时处理并给出很好检测率的物体类别检测算法,主要应用于人脸检测。Dalal等人提出使用图像局部梯度方向直方图(HOG，Histogram of Gradient)作为特征,利用支持向量机(SVM，SupportVector Machine)作为分类器进行行人检测，HOG特征能够很好地反映目标物体的方向信息，自从该特征出现之后，目标检测技术获得了更快速的发展，各种改进的HOG特征也呼之欲出。
基于对检测精度和速度的要求，Henriques等人于2013年提出区域块循环分解算法(Block-Circulant Decomposition)，该算法在INRIA和ETH行人检测数据集上的检测效果相比于传统的检测算法有着明显的改善。本发明将此算法应用在工业场景齿轮目标检测上，并针对工业场景中光照变化明显、部分目标图像获取不清晰的数据特性和HOG特征对方向梯度敏感的特点，将原始图像变换到模糊域进行梯度增强处理后再提取HOG特征，使得该特征具有更好的可分性质；按照块循环分解算法的步骤，将提取到的特征样本经过傅里叶变换，在频域中对HOG特征中的每个相应位置的block训练一个独立的支持向量回归(SVR，Support Vector Regression)分类器，然后反变换成空间域的一个整体的组合型SVR分类器，由于该分类器是着眼于单个局部block的组合分类器，对整体差异的辨识力弱于局部差异辨识力，基于这一点的考虑，再利用提取到的特征训练一个整体的SVM分类器模型，与组合型SVR分类器模型对目标进行联合检测，检测方法借鉴Felzenszwalb等人提出的图像金字塔匹配方法进行最终的检测。本发明由国家自然科学基金项目(61461022和61761024)资助研究，主要在于探索整体与局部特征多尺度耦合机制以及多尺度感知误差测度鲁棒融合算法，解决耦合后验与真实分布不一致和多尺度误差测度优化结构不一致的难题，为动态场景下生产线高效、快速、准确的前景目标信息检测与分割提供理论依据。
发明内容
基于以上问题，本发明提供了一种工业场景下高精度齿轮视觉检测方法。根据检测精度的需要，利用Par-King图像增强算法改进目标和背景梯度方向直方图特征的可分性，自建数据集训练出SVM和频域SVR两个不同的分类器模型并利用可变性部件模型算法中图像金字塔匹配方法对测试集图像进行联合视觉检测。
本发明的技术方案是：一种工业场景下高精度齿轮视觉检测方法，所述方法的具体步骤如下：
Step1、采集工业场景中的带有齿轮目标正样本图像和不带有齿轮目标的负样本图像，并对齿轮目标进行boundingbox标注，按照1:1的比例划分成训练集和测试集；
Step2、利用Par-King图像增强算法对训练集和测试集图像进行增强处理；
Step3、对经过Step2处理后的图像提取梯度方向直方图HOG特征，得到相应的特征正样本和特征负样本；
Step4、对所提取的训练集特征样本训练两个不同的分类器，一个是普通的整体SVM分类器，另一个是频域上的局部SVR组合分类器；
Step5、利用图像金字塔匹配算法将两个分类器对测试集特征样本进行联合匹配，得到目标最优的检测位置。
所述步骤Step2中，图像增强方法如下：
Step2.1、将一幅灰度级为L的灰度图像X看做一个模糊点阵列，假设X为M×N维灰度图像，它的模糊点阵列为：
式中，xmn为图像X中坐标为(m,n)所对应的像素点的像素值，μmn为此像素点对应的模糊特征值。所有的模糊特征值所组成的平面为模糊特征平面。
Step2.2、将图像X由图像域变换至模糊域，变换函数(也称从属度函数)为：
m＝1,2,...,M；n＝1,2,...N.
式中，xmax为图像X中像素值的最大值，Fd为分母模糊化参数，Fe为指数模糊化参数，对于像素值范围为0到255的图像，通常选用Fd和Fe参数值分别为128和1。
Step2.3、对模糊域{μmn}进行增强处理，增强函数为：
Step2.4、图像增强结束后，再利用公式xmn＝G-1(μmn)进行反变换回空间域,G-1为函数G的反函数。
由于Par-King算法处理的是单通道灰度图像，训练集和测试集图像数据为RGB三通道图像，因此利用Par-King算法对一帧图像中的三个通道各自进行独立增强，再合并回三通道的RGB图像，得到最终的增强图像。
所述步骤Step3中，HOG特征提取方法如下：
原始的HOG特征把样本图像划分成若干个cellsize×cellsize像素的单(cell分别利用中心差来计算每个像素点(x,y)的梯度幅值M(x,y)和梯度方向Ω(x,y)，计算公式如下：
Ω(x,y)＝arctan(My/Mx) (5)
式中Mx和My分别为像素点(x,y)处的水平梯度和垂直梯度，计算公式如下：
Mx＝N(x+1,y)-N(x-1,y) (6)
My＝N(x,y+1)-N(x,y-1) (7)
式中,N(x,y)为像素点(x,y)的像素值。
因为本发明所有的图像数据格式为RGB彩色图像，所以选择每个像素点位置的三个颜色通道梯度幅值最大值作为输出。利用vlfeat函数库实现改进HOG特征的提取，把[0,2π)的梯度方向平均划分为2×k个区间(bin)(其中k＝1,2,3…)，对每个单元内所有梯度值利用2×k个区间(bin)进行直方图统计，得到一个2×k维的特征向量，每相邻四个单元为一个区域块(block)，一个区域块内四个特征向量进行双线性插值计算，得到该区域块的2×k维的特征向量输出；另外把[0,π]的梯度方向平均划分为k个区间(bin),统计无梯度幅值的直方图，同样的方式得到k维的特征向量输出；最终对每个区域块中四个单元求得L2范数的倒数作为每个单元的归一化因子，输出四个归一化因子作为该区域块的4维特征向量。最终得到的一个区域块的HOG特征向量维度为(4+3×k)维。
用以上区域块(block)特征向量计算法则对样本图像进行遍历，遍历步长为cellsize。从左上角先向下再向右遍历至右下角，并且每个区域块中，至少有一半在样本图像内。所以对于一张尺寸为w×h×3的RGB图像，横向区域块数量hogw和纵向区域块数量hogh分别为：
hogw＝(w+cellsize/2)/cellsize (8)
hogh＝(h+cellsize/2)/cellsize (9)
最终得到该样本图像的HOG特征矩阵维度为hogw×hogh×(4+3×k)维。
所述步骤Step4中，分类器训练方法如下：
Step4.1、对于训练SVM模型，提取的每个特征样本的尺寸为m1×n1×p，特征正样本a个，特征负样本b1个；将每个特征样本拉成一个1×(m1×n1×p)维特征向量，利用尺寸为
(a+b1)×(m1×n1×p)维的特征矩阵训练出SVM分类器，然后将分类器尺寸变回m1×n1×p，作为最终的SVM模型w1；
Step4.2、对于训练SVR模型，提取的每个特征样本的尺寸为m2×n2×p，特征正样本a个，特征负样本b2个；将提取到的特征进行傅里叶变换，在频域上对所有特征样本的每个block独立训练出一个超平面模型，然后按照原有的空间位置组合成一个整体超平面模型，再进行反傅里叶变换，得到最终的SVR模型w2。
所述步骤Step5中，联合匹配方法如下：
由于待检测目标的尺寸大小是可变的，目标的各个角度图像也是不一样的，所以通过重复的平滑和下采样得到一个标准的图像金字塔，也就是由一张图像生成一系列大小不一的图像；再利用学习到的模型w1和w2分别对金字塔的各层图像的特征进行点积运算，得到两个模型在不同尺度和不同位置上的得分输出，通过对每个根位置定义一个整体的得分，最终两个模型都会挑选出最优目标位置和得分，对比两个模型所检测出的两个目标位置得分，选择得分高的目标位置作为最终的位置输出。
本发明的有益效果是：
(1)本发明引入机器学习算法至工业场景下齿轮视觉识别，机器学习算法的识别效果相比于传统视觉算法检测精度有明显的提升；
(2)本发明引入Par-King图像增强算法对原始图像进行增强，改进了目标和背景梯度方向直方图特征的可分性；
(3)本发明训练两个分类器对测试图像进行联合检测，实现不同分类器的优势互补；
(4)本发明利用联合模型匹配方法能够有效地获取工业场景中齿轮目标的高精度位置信息。
附图说明
图1为本发明流程框图；
图2为本发明部分正样本图像示例；其中黑色方框为boundingbox标注；
图3为本发明为部分负样本图像示例；
图4为本发明部分原图像；
图5为本发明图4中图像对应的增强图像；
图6为本发明w1模型可视化，左边为正样本模型，右边为负样本模型；
图7为本发明w2模型可视化，左边为正样本模型，右边为负样本模型；
图8为本发明部分检测结果；
图9为本发明精度-召回率曲线；
图10为本发明图9的局部放大图。
具体实施方式
实施例1：如图1-10所示，一种工业场景下高精度齿轮视觉检测方法，所述方法的具体步骤如下：
Step1、本文采集数据所利用的设备有六自由度机械手和双目立体视觉***，相机，和若干齿轮零件。以工业场景中传送带及其周围为主要背景，对齿轮正样本和背景负样本进行图像采集，一共采集正样本320张图像，负样本688张图像，保存为JPG格式，正样本标注图像中目标所在boundingbox坐标位置，作为目标的groundtrues标签，制作成数据集，其中训练集正样本160张，训练集负样本344张，测试集正样本160张，测试集负样本344张。采集的部分数据如图2、3所示；
Step2、利用Par-King图像增强算法对训练集和测试集图像进行增强处理；
所述步骤Step2中，图像增强方法如下：
一副灰度级为L的灰度图像X看做一个模糊点阵列，利用从属度函数将灰度图像X变换至模糊域，再用增强函数使其进行增强处理后变换为图像域，得到增强图像；
由于Par-King算法处理的是单通道灰度图像，本文训练集和测试集图像数据为RGB三通道图像，因此利用Par-King算法对一帧图像中的三个通道各自进行独立增强，再合并回三通道的RGB图像，得到最终的增强图像。图4、5为部分原图像与其增强后的图像。定性对比可知增强后的图像相对于原图像的边缘轮廓更为清晰。
利用图像被增强前后的单位像素平均梯度幅值差来定量分析图像经过Par-King算法增强处理后的梯度幅值变化，假设尺寸为M×N×3的RGB图像I的在像素点(x,y)处的梯度幅值为I的增强图像为I’，则图像I每个通道的平均梯度幅值差L的计算公式如下：
当L>0时，说明经过增强处理后的图像相比于原图像的平均梯度幅值有所增加。通过上式求得图6-7中四幅示例图像对应其每个通道的L值如表1所示：
表1部分图像平均梯度幅值增强结果
| 图像 | 通道 | ||
| R | G | B | |
| 图像1 | 0.5975 | 0.1604 | 0.1529 |
| 图像2 | 1.1827 | 0.2905 | 0.3022 |
| 图像3 | 0.8658 | 0.2086 | 0.1924 |
| 图像4 | 1.8346 | 0.2275 | 0.2542 |
由表1可知，利用Par-King算法增强图像能有效地提高图像的梯度幅值，使得图像的梯度信息更加明显。
Step3、对经过Step2处理后的图像提取梯度方向直方图HOG特征，得到相应的特征正样本和特征负样本；
所述步骤Step3中，HOG特征提取方法如下：
选择每个像素点位置的三个颜色通道梯度幅值最大值作为输出；把[0,2π)的梯度方向平均划分为2×k个区间bin(其中k＝1,2,3…)，利用vlfeat函数库实现改进HOG特征的提取，最终得到的一个区域块的HOG特征向量维度为(4+3×k)维；
用以上区域块(block)特征向量计算法则对样本图像进行遍历，遍历步长为cellsize；对于一张尺寸为w×h×3的RGB图像，横向区域块数量hogw和纵向区域块数量hogh分别为：
hogw＝(w+cellsize/2)/cellsize (11)
hogh＝(h+cellsize/2)/cellsize (12)
最终得到该样本图像的HOG特征矩阵维度为hogw×hogh×(4+3×k)维。
具体的，将原始正样本中包含目标的一小部分区域的31维HOG特征作为特征正样本，由于不同block被提取特征之后相互的空间位置关系不变，所以对一个原始负样本提取HOG特征之后，按照特征正样本的尺寸标准，从左上到右下，分别向纵向和横向以一定的步长分割出若干个不同的HOG特征，作为若干个特征负样本，这样有效地扩充了负样本的数量，弥补了负样本数量可能不足的缺陷；
Step4、对所提取的训练集特征样本训练两个不同的分类器，一个是普通的整体SVM分类器，另一个是频域上的局部SVR组合分类器；
所述步骤Step4中，分类器训练方法如下：
Step4.1、对于训练SVM模型，提取的每个特征样本的尺寸为19×18×31，特征正样本316个，特征负样本3480个。将每个特征样本拉成一个1×10602维特征向量，利用尺寸为3796×10602维的特征矩阵训练出我们的SVM分类器，然后将分类器尺寸变回19×18×31，作为最终的SVM模型w1；
Step4.2、对于训练SVR模型，提取的每个特征样本的尺寸为21×20×31，特征正样本316个，特征负样本4676个。借鉴块循环分解算法的思想，将提取到的特征进行傅里叶变换，在频域上对所有特征样本的每个block独立训练出一个超平面模型，然后按照原有的空间位置组合成一个整体超平面模型，再进行反傅里叶变换，得到最终的SVR模型w2。利用vlfeat函数库对两个分类器模型分别进行可视化如附图6-7所示。
根据以上目标检测的流程，利用Par-King算法增强图像的梯度信息，再提取31维的HOG特征，利用训练集特征样本分别训练出整体的SVM模型w1和频域SVR分块组合模型w2，再进行以下步骤；
Step5、利用图像金字塔匹配算法将两个分类器对测试集特征样本进行联合匹配，得到目标最优的检测位置。
所述步骤Step5中，联合匹配方法如下：
由于待检测目标的尺寸大小是可变的，目标的各个角度图像也是不一样的，所以通过重复的平滑和下采样得到一个标准的图像金字塔，也就是由一张图像生成一系列大小不一的图像；再利用学习到的模型w1和w2分别对金字塔的各层图像的特征进行点积运算，得到两个模型在不同尺度和不同位置上的得分输出，通过对每个根位置定义一个整体的得分，最终两个模型都会挑选出最优目标位置和得分，对比两个模型所检测出的两个目标位置得分，选择得分高的目标位置作为最终的位置输出。
针对工业场景中机械零件视觉检测的应用，利用自制的齿轮单类目标检测数据集测试本文方法的效果。附图8显示的是w1和w2的部分检测定性结果示例，暗色方框为w1模型的检测结果，亮色方框为w2模型的检测结果，由图可知，两个模型独立的检测效果已经不错了，但是对比两个检测结果可以看出，w1模型时常将光照阴暗的部分纳入目标内，说明w2模型对光照影响的鲁棒性比w1模型强，但是在光照影响相对较小的地方，w2模型检测出更多多余的背景，此时w1模型比w2模型检测得更为精细。
联合这两个模型进行目标检测，选取二者的最优位置作为最终的检测输出，可以达到两个模型取长补短的目的。在配置为酷睿i7处理器、12G内存的笔记本电脑上进行试验，用精度和召回率指标来对比本文算法，原来的SVM，circulant算法，未加Par-King算法的circulant+SVM联合算法，和加了Par-King算法的SVM，circulant算法的检测效果，各运行时间与精度如表2所示，做出精度-召回率曲线图如附图9-10所示。
虽然经过改进后的本发明方法在计算速度上不占优势，但平均检测精度可达到96.8％，相对于circulant行人检测算法在本发明应用的93％平均检测精度有所提高。由表2的性能对比可知。
表2六种检测算法性能对比表
| 方法 | 分类器训练时间/s | 平均检测时间/s | 平均检测精度/％ |
| SVM | 3.745 | 0.608 | 91.9 |
| circulant | 19.019 | 0.392 | 93.0 |
| circulant+SVM | 22.764 | 0.991 | 95.1 |
| Par-King+SVM | 3.636 | 2.911 | 94.8 |
| Par-King+circulant | 16.481 | 2.718 | 93.8 |
| 本发明方法 | 20.117 | 5.614 | 96.8 |
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (5)
1.一种工业场景下高精度齿轮视觉检测方法，其特征在于：所述方法的具体步骤如下：
Step1、采集工业场景中的带有齿轮目标正样本图像和不带有齿轮目标的负样本图像，并对齿轮目标进行boundingbox标注，按照1:1的比例划分成训练集和测试集；
Step2、利用Par-King图像增强算法对训练集和测试集图像进行增强处理；
Step3、对经过Step2处理后的图像提取梯度方向直方图HOG特征，得到相应的特征正样本和特征负样本；
Step4、对所提取的训练集特征样本训练两个不同的分类器，一个是普通的整体SVM分类器，另一个是频域上的局部SVR组合分类器；
Step5、利用图像金字塔匹配算法将两个分类器对测试集特征样本进行联合匹配，得到目标最优的检测位置。
2.根据权利要求1所述的工业场景下高精度齿轮视觉检测方法，其特征在于：所述步骤Step2中，图像增强方法如下：
一副灰度级为L的灰度图像X看做一个模糊点阵列，利用从属度函数将灰度图像X变换至模糊域，再用增强函数使其进行增强处理后变换为图像域，得到增强图像；
由于Par-King算法处理的是单通道灰度图像，训练集和测试集图像数据为RGB三通道图像，因此利用Par-King算法对一帧图像中的三个通道各自进行独立增强，再合并回三通道的RGB图像，得到最终的增强图像。
3.根据权利要求1所述的工业场景下高精度齿轮视觉检测方法，其特征在于：
所述步骤Step3中，HOG特征提取方法如下：
选择每个像素点位置的三个颜色通道梯度幅值最大值作为输出；把[0,2π)的梯度方向平均划分为2×k个区间bin(其中k＝1,2,3…)，利用vlfeat函数库实现改进HOG特征的提取，最终得到的一个区域块的HOG特征向量维度为(4+3×k)维；
用以上区域块(block)特征向量计算法则对样本图像进行遍历，遍历步长为cellsize；对于一张尺寸为w×h×3的RGB图像，横向区域块数量hogw和纵向区域块数量hogh分别为：
hogw＝(w+cellsize/2)/cellsize (1)
hogh＝(h+cellsize/2)/cellsize (2)
最终得到该样本图像的HOG特征矩阵维度为hogw×hogh×(4+3×k)维。
4.根据权利要求1所述的工业场景下高精度齿轮视觉检测方法，其特征在于：所述步骤Step4中，分类器训练方法如下：
Step4.1、对于训练SVM模型，提取的每个特征样本的尺寸为m1×n1×p，特征正样本a个，特征负样本b1个；将每个特征样本拉成一个1×(m1×n1×p)维特征向量，利用尺寸为(a+b1)×(m1×n1×p)维的特征矩阵训练出SVM分类器，然后将分类器尺寸变回m1×n1×p，作为最终的SVM模型w1；
Step4.2、对于训练SVR模型，提取的每个特征样本的尺寸为m2×n2×p，特征正样本a个，特征负样本b2个；将提取到的特征进行傅里叶变换，在频域上对所有特征样本的每个block独立训练出一个超平面模型，然后按照原有的空间位置组合成一个整体超平面模型，再进行反傅里叶变换，得到最终的SVR模型w2。
5.根据权利要求4所述的工业场景下高精度齿轮视觉检测方法，其特征在于：所述步骤Step5中，联合匹配方法如下：
由于待检测目标的尺寸大小是可变的，目标的各个角度图像也是不一样的，所以通过重复的平滑和下采样得到一个标准的图像金字塔，也就是由一张图像生成一系列大小不一的图像；再利用学习到的模型w1和w2分别对金字塔的各层图像的特征进行点积运算，得到两个模型在不同尺度和不同位置上的得分输出，通过对每个根位置定义一个整体的得分，最终两个模型都会挑选出最优目标位置和得分，对比两个模型所检测出的两个目标位置得分，选择得分高的目标位置作为最终的位置输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710974598.8A CN107886539B (zh) | 2017-10-19 | 2017-10-19 | 一种工业场景下高精度齿轮视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710974598.8A CN107886539B (zh) | 2017-10-19 | 2017-10-19 | 一种工业场景下高精度齿轮视觉检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107886539A true CN107886539A (zh) | 2018-04-06 |
| CN107886539B CN107886539B (zh) | 2021-05-14 |
Family
ID=61781831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710974598.8A Active CN107886539B (zh) | 2017-10-19 | 2017-10-19 | 一种工业场景下高精度齿轮视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107886539B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875819A (zh) * | 2018-06-08 | 2018-11-23 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN109886932A (zh) * | 2019-01-25 | 2019-06-14 | 中国计量大学 | 基于svm的轮速传感器齿圈表面缺陷检测方法 |
| CN109948432A (zh) * | 2019-01-29 | 2019-06-28 | 江苏裕兰信息科技有限公司 | 一种行人检测方法 |
| CN111353526A (zh) * | 2020-02-19 | 2020-06-30 | 上海小萌科技有限公司 | 一种图像匹配方法、装置以及相关设备 |
| CN111651629A (zh) * | 2019-03-27 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种构建全样本数据的方法和*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054178A (zh) * | 2011-01-20 | 2011-05-11 | 北京联合大学 | 一种基于局部语义概念的国画图像识别方法 |
| CN103033362A (zh) * | 2012-12-31 | 2013-04-10 | 湖南大学 | 一种基于改进多变量预测模型的齿轮故障诊断方法 |
| US20140099029A1 (en) * | 2012-10-05 | 2014-04-10 | Carnegie Mellon University | Face Age-Estimation and Methods, Systems, and Software Therefor |
| CN104506162A (zh) * | 2014-12-15 | 2015-04-08 | 西北工业大学 | 基于ls-svr建模的高阶粒子滤波器的故障预示方法 |
| CN105160434A (zh) * | 2015-09-15 | 2015-12-16 | 武汉大学 | 采用svm选取预测模型的风电功率爬坡事件预测方法 |
| WO2016080913A1 (en) * | 2014-11-18 | 2016-05-26 | Agency For Science, Technology And Research | Method and device for traffic sign recognition |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN106444703A (zh) * | 2016-09-20 | 2017-02-22 | 西南石油大学 | 基于故障模式发生概率的动设备运行状态模糊评价及预测方法 |
| CN106503748A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 一种基于s‑sift特征和svm训练器的车型识别算法 |
| CN106769051A (zh) * | 2017-03-10 | 2017-05-31 | 哈尔滨理工大学 | 一种基于mcea‑kpca和组合svr的滚动轴承剩余使用寿命预测方法 |
-
2017
- 2017-10-19 CN CN201710974598.8A patent/CN107886539B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054178A (zh) * | 2011-01-20 | 2011-05-11 | 北京联合大学 | 一种基于局部语义概念的国画图像识别方法 |
| US20140099029A1 (en) * | 2012-10-05 | 2014-04-10 | Carnegie Mellon University | Face Age-Estimation and Methods, Systems, and Software Therefor |
| CN103033362A (zh) * | 2012-12-31 | 2013-04-10 | 湖南大学 | 一种基于改进多变量预测模型的齿轮故障诊断方法 |
| WO2016080913A1 (en) * | 2014-11-18 | 2016-05-26 | Agency For Science, Technology And Research | Method and device for traffic sign recognition |
| CN104506162A (zh) * | 2014-12-15 | 2015-04-08 | 西北工业大学 | 基于ls-svr建模的高阶粒子滤波器的故障预示方法 |
| CN105160434A (zh) * | 2015-09-15 | 2015-12-16 | 武汉大学 | 采用svm选取预测模型的风电功率爬坡事件预测方法 |
| CN105956632A (zh) * | 2016-05-20 | 2016-09-21 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN106444703A (zh) * | 2016-09-20 | 2017-02-22 | 西南石油大学 | 基于故障模式发生概率的动设备运行状态模糊评价及预测方法 |
| CN106503748A (zh) * | 2016-11-07 | 2017-03-15 | 湖南源信光电科技有限公司 | 一种基于s‑sift特征和svm训练器的车型识别算法 |
| CN106769051A (zh) * | 2017-03-10 | 2017-05-31 | 哈尔滨理工大学 | 一种基于mcea‑kpca和组合svr的滚动轴承剩余使用寿命预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| RYUEI NISHII ET.AL.: ""Unified modeling based on SVM and SVR for prediction of forest area ratio by human population density and relief energy"", 《IGARSS》 * |
| 刘显德，高泓: ""基于SVR的组合预测模型及其应用"", 《计算机工程与设计》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875819A (zh) * | 2018-06-08 | 2018-11-23 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN108875819B (zh) * | 2018-06-08 | 2020-10-27 | 浙江大学 | 一种基于长短期记忆网络的物体和部件联合检测方法 |
| CN109886932A (zh) * | 2019-01-25 | 2019-06-14 | 中国计量大学 | 基于svm的轮速传感器齿圈表面缺陷检测方法 |
| CN109948432A (zh) * | 2019-01-29 | 2019-06-28 | 江苏裕兰信息科技有限公司 | 一种行人检测方法 |
| CN111651629A (zh) * | 2019-03-27 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种构建全样本数据的方法和*** |
| CN111651629B (zh) * | 2019-03-27 | 2023-08-18 | 上海铼锶信息技术有限公司 | 一种构建全样本数据的方法和*** |
| CN111353526A (zh) * | 2020-02-19 | 2020-06-30 | 上海小萌科技有限公司 | 一种图像匹配方法、装置以及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107886539B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
| CN104866862B (zh) | 一种带钢表面面积型缺陷识别分类的方法 | |
| CN107886539A (zh) | 一种工业场景下高精度齿轮视觉检测方法 | |
| CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
| CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN110399884B (zh) | 一种特征融合自适应锚框模型车辆检测方法 | |
| CN104050471B (zh) | 一种自然场景文字检测方法及*** | |
| CN104156726B (zh) | 一种基于几何形状特征的工件识别方法及装置 | |
| CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
| CN107767387B (zh) | 基于可变感受野尺度全局调制的轮廓检测方法 | |
| CN105261017A (zh) | 基于路面约束的图像分割法提取行人感兴趣区域的方法 | |
| CN104680127A (zh) | 手势识别方法及*** | |
| CN102163281B (zh) | 基于AdaBoost框架和头部颜色的实时人体检测方法 | |
| Shahab et al. | How salient is scene text? | |
| CN107256547A (zh) | 一种基于显著性检测的表面裂纹识别方法 | |
| CN103093240A (zh) | 书法字识别方法 | |
| CN104680144A (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| CN108710909B (zh) | 一种可变形旋转不变装箱物体清点方法 | |
| CN109919145B (zh) | 一种基于3d点云深度学习的矿卡检测方法及*** | |
| CN103761743A (zh) | 一种基于图像融合分割的实木地板表面缺陷检测方法 | |
| CN107480585A (zh) | 基于dpm算法的目标检测方法 | |
| CN107886066A (zh) | 一种基于改进hog‑sslbp的行人检测方法 | |
| CN112488211A (zh) | 一种织物图像瑕疵分类方法 | |
| CN104200226B (zh) | 基于机器学习的粒子滤波目标跟踪方法 | |
| Guo et al. | Image classification based on SURF and KNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |