CN104268602A - 一种基于二进制特征匹配的遮挡工件识别方法及装置 - Google Patents

Abstract

本发明涉及一种基于二进制特征匹配的遮挡工件识别方法及装置，它在解决遮挡工件识别问题的同时，可以降低计算复杂度，减少存储空间，提高匹配精度，而且对环境光线、视角变化和部分遮挡都具有较好的鲁棒性，在不同干扰环境下都可以对遮挡工件进行识别，具有良好的识别效果。因此，本发明可以广泛用于图像识别领域。

Description

一种基于二进制特征匹配的遮挡工件识别方法及装置

技术领域

本发明涉及一种工件识别方法及装置，特别是关于一种基于二进制特征匹配的遮挡工件识别方法及装置。

背景技术

机器人在工业装备制造中应用广泛，在工业生产中发挥了巨大作用。机器人既可用于加工、装配、搬运、分拣等单调繁琐的重复性工作，又可用于焊接、喷涂、激光加工、压力铸造等对人体有害的工艺操作。使用机器人不仅能节约人力、降低工人劳动强度、提高生产效率、降低生产成本，而且生产的产品质量稳定。将机器视觉技术引入机器人控制中，使机器人能模拟人类视觉认知和判断的功能，通过获取现场图像，基于一定的图像处理和模式识别技术实现目标识别、分拣等，可极大提高机器人的智能化水平。

工件识别是机器视觉应用于工业领域的关键技术之一，目的是将一种类型的工件从其它类型的工件中区分出来。在机械加工、装配、分拣等自动化生产环节中，都需要先对工件进行识别，但遮挡问题是工件识别过程中具有挑战性的问题。在工业生产线或工作台上，工件的摆放位姿不固定，多个工件之间常存在遮挡，摄取的工件图像信息不完整，导致工件识别准确度显著下降，甚至无法识别，导致生产效率的降低。

现有的工件识别中的问题如下：

1)Liu W，Wang P，Qiao H.Part-based adaptive detection of workpiecesusing differential evolution.Signal Processing，2012，92(2):301-307.

中提出一种部分遮挡工件的检测方法，其基本思路是：利用基于形状划分的方法，将模板工件的完整轮廓划分成多个子轮廓，根据它们的辨别力赋予不同的权重，然后用差分演化方法实现遮挡工件的检测和定位。该方法检测结果的准确性依赖于轮廓分段的合理性，适用于轮廓变化比较多的工件，而对于轮廓变化比较少的工件，其检测精度较低，适用性较差。

2)Liu M Y，Tuzel O，Veeraraghavan A.Fast object localization andpose estimation in heavy clutter for robotic bin picking.TheInternational Journal of Robotics Research，2012，31(8):951-973.中提出一种适用于遮挡工件识别设备及方法，其基本思路是：利用多角度曝光摄像头拍摄图像，计算出工件边缘的深度信息，然后利用快速形状匹配算法，实现工件识别和姿态判定。以上两种方法设备复杂，成本较高；数据获取和处理过程复杂，计算量较大。

3)Wang X H，Fu W P，Zhu D X.Research on recognition of work-piecebased on improved SIFT algorithm.International Conference on ElectronicMeasurement&Instruments，Beijing，China，20091:417-421.中提出一种基于改进SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法的工件识别方法。其基本思路是：利用SIFT算法获取图像在平移、旋转、缩放和遮挡等情况下的稳定特征，应用棋盘距离和街区距离的线性组合取代欧氏距离，并采用动态减少计算距离过程中所涉及的特征数目来提高算法的效率，有效的解决了遮挡工件的识别问题。该方法利用SIFT算法提取特征点和生成特征描述子的过程复杂，计算量大；特征描述子用浮点数表示，内存占用量大，匹配速度低。

4)桂振文，刘越，王涌天.一种适用于移动终端的视觉搜索方法.中国专利：103530649A，2014-01-22.中申请人公开了一种适用于移动终端的视觉搜索方法。其基本思路是：利用移动终端采集当前场景的待识别工件图像，并获取采集图像时移动终端的重力方向和当前场景的GPS信息；采用二进制局部特征检测算法BRISK(Binary Robust Invariant Scalable Keypoints，二进制鲁棒伸缩不变性关键点)对待识别工件图像进行特征点检测，得到待识别工件图像的特征点；根据所述重力方向，用特征描述符FREAK(Fast Retina Keypoint，快速视网膜关键点)对所述特征点进行描述，获得待识别工件图像的二进制局部特征向量；将GPS信息和二进制局部特征向量打包成一描述符文件，从样本库中寻找与待识别工件图像最相近的样本图像，实现视觉搜索。该专利存在以下问题：(1)利用FREAK算法建立描述子时采用固定采样模式，只抽取有限的采样点个数，这种方法虽然计算量下降，但是由于受到抽样点个数和位置的影响，描述子的辨别力差，匹配精度低。(2)FREAK算法在获取最优采样点对位置时，只用采样点对的均值与0.5的距离表示采样点对的辨别力，然后简单地去除相关性大于某个阈值的采样点对，忽略了相关性对辨别力的影响，难以达到令人满意的匹配结果。

综上所述，现有的工件识别方法存在如下技术问题：(1)针对某些特定工件进行识别，普适性较差，应用领域受限；(2)借助多角度曝光摄像头等复杂设备实现工件识别，致使成本较高，数据获取和处理过程复杂，计算量较大；(3)利用SIFT算法实现遮挡工件识别，计算量和存储空间大；(4)FREAK算法获得的描述子辨别力低，匹配效果不理想。

发明内容

针对上述问题，本发明的目的是提供一种基于二进制特征匹配的遮挡工件识别方法及装置。

为实现上述目的，本发明采取以下技术方案：一种基于二进制特征匹配的遮挡工件识别方法，它包括以下步骤：1)采用摄像头拍摄工件模板图像和待识别工件图像；2)将工件模板图像进行预处理，并采用BRISK算法提取工件模板图像上的特征点，并将其转换成二进制特征描述子；3)采用步骤2)相同的方法提取待识别工件图像上的特征点，并将其转换成二进制特征描述子；4)采用近似最近邻方法寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点集合；5)采用RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而完成工件识别。

所述步骤2)中包括以下步骤：①将工件模板图像进行预处理，得到滤波后的平滑图像；②采用BRISK算法提取滤波后的平滑工件模板图像上的特征点，其包括以下步骤：Ⅰ、构建尺度空间金字塔；Ⅱ、在尺度空间金字塔的每一层，采用FAST算法获取滤波后的平滑图像的潜在特征点；Ⅲ、对每一潜在特征点在尺度空间中进行非极大值抑制，并剔除一些非极大值的特征点，得到初步的特征点；Ⅳ、对每个初步的特征点进行亚像素和尺度校正，得到精确的特征点位置和尺度；③通过比较FREAK方法获取最优采样点对的灰度值大小来构造描述子，将工件模板图像上的特征点转化为二进制特征描述子，其包括以下步骤：Ⅰ、采用FREAK方法获取最优采样点对的位置；Ⅱ、利用灰度质心法确定每个特征点的主方向；Ⅲ、将最优采样点对的位置和特征点的主方向构建二进制特征描述子。

所述步骤4)中包括以下步骤：设工件模板图像为P＝{p₁,p₂,…,p_m}，其特征描述子集合为VP＝{vp₁,vp₂,…,vp_m}；待识别工件图像中的特征点集合为Q＝{q₁,q₂,…,q_n}，其特征描述子集合为VQ＝{vq₁,vq₂,…,vq_n}，每个描述子用二进制特征向量表示，长度为512个比特；搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N≤128；如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下：①对于工件模板图像中的特征描述子vp_i，计算vp_i前N个比特和待识别工件图像中的特征描述子vq_j前N个比特的汉明距离HD_j： ${\mathrm{HD}}_j=\mathrm{Hamm}(v{p}_i,v{q}_j)=\underset{k=1}{\overset{128}{\mathrm{\Σ}}}(v{p}_i^k\⊕v{q}_j^k),j=\mathrm{1,2},...n;$ 其中，表示异或操作；②如果HD_j大于等于设定阈值T₁，取30～50，则判定vp_i和vq_j为不匹配的特征向量；③如果HD_j小于设定阈值T₁，则计算vp_i剩余512-N个比特与vq_j剩余512-N个比特的汉明距离，加上前N个比特的汉明距离，得到vp_i和vq_j整个512个比特的汉明距离HD'_j；④寻找最小汉明距离HD'_min和次最小汉明距离HD'_sec，当时，则判定vp_i和vq_min为匹配的特征向量，对应的特征点p_i和q_min为一对匹配的特征点；⑤重复步骤①～④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所有相匹配的初始匹配点集合。

所述步骤5)中包括以下步骤：设点集E为工件模板图像上得到的初始匹配点集合，F为待识别工件图像上得到的初始匹配点集合，工件模板图像与待识别工件图像之间的变换关系用投影变换矩阵 $H=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]$ 来描述；对图像中的一点p(x,y)，该点通过投影变换矩阵H变换到点p′(x′,y′)： $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 其中，投影变换模型H可通过四对匹配点求出；RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对的具体步骤如下：①在集合E和F中，随机选取4对匹配点对，计算这四对点对的投影变换矩阵；②在集合F余下特征点中，选取特征点(x₂,y₂)，用步骤①中计算得到的投影变换矩阵H对其进行变换，得到变换后的坐标值(x'₂,y'₂)，若E中对应特征点的坐标值(x₁,y₁)与(x'₂,y'₂)满足则认为匹配点对(x₁,y₁)和(x₂,y₂)符合模型H，称为内点，其中ε为内外点距离阈值，取3或4；③重复步骤②，遍历集合F余下所有特征点，统计符合投影变换矩阵的匹配点对数，即内点集的大小；④重复步骤①～③，找到内点对数量最多的一次变换，将该次变换得到的内点对集合作为新的点集E和F，进行新一轮的迭代；⑤当迭代得到的内点对数目与此次迭代前点集E和F中的点对数目一致时，迭代终止，最后这次迭代的E和F，就是剔除误匹配后的匹配点集合，得到正确匹配点对，进而完成工件识别。

一种基于二进制特征匹配的遮挡工件识别装置，其特征在于：它包括图像采集单元、工件模板图像特征提取单元、待识别工件图像特征提取单元、特征匹配单元和剔除误匹配单元；其中，所述图像采集单元摄取工件模板图像和待识别工件图像，并对应传送给所述工件模板图像特征提取单元和所述待识别工件图像特征提取单元；所述工件模板图像特征提取单元提取工件模板图像上的特征点，并将其转换成二进制特征描述子，并传送给所述特征匹配单元；所述待识别工件图像特征提取单元提取待识别工件图像上的特征点，将其转化为二进制特征描述子进行表示，并将其传送给所述特征匹配单元；所述特征匹配单元采用汉明距离作为匹配准则寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点，并将所有初始匹配点传送给所述剔除误匹配单元；所述剔除误匹配单元剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而完成工件识别。

所述工件模板图像特征提取单元和所述待识别工件图像特征提取单元都包括图像预处理模块、特征点检测模块和特征点描述模块；所述图像预处理模块将提取的图像进行灰度变换和中值滤波处理后传送给所述特征点检测模块，所述特征点检测模块采用BRISK算法检测图像中的特征点，并将图像上的特征点传送给所述特征点描述模块；所述特征点描述模块将特征点转化为二进制特征描述子，并传送给所述特征匹配单元。

所述图像采集单元采用单目摄像头。

本发明由于采取以上技术方案，其具有以下优点：1、本发明采用特征点匹配的方法，不依赖于工件轮廓，对于轮廓变化比较少的工件，也能正确匹配识别，适用性较高。2、本发明采用单目摄像头获取工件模板图像和待识别工件图像，该设备不但成本低，而且能够更加灵活方便的对待识别工件进行图像拍摄和处理，其得到数据的过程简单，且计算量较小。3、本发明采用二进制特征描述子来描述图像特征，只需要几个字节就表示高维的描述向量，大大节省了存储空间。4、本发明利用汉明距离进行匹配，只需要进行简单的异或操作，然后统计异或结果中“1”的个数，匹配速度效率高，且这些操作可以通过底层的运算实现，便于在硬件上实现。5、本发明采用BRISK算法作为特征点检测方法，特征点检测速度快，既能够克服图像发生光照、平移、旋转和尺度变换问题，同时对部分遮挡有较好的鲁棒性，有好的鲁棒性。6、本发明在特征点描述过程中，采用同时兼顾均值距离和相关性的点对辨别力模型，在FREAK固定采样模式训练得到的初始采样点对位置邻域内进行更精细的采样，提高了描述子的辨别力，减少了误匹配，进而提高了匹配准确性。7、本发明采用简单高效的灰度质心法替代耗时的梯度计算，降低了算法复杂度。8、本发明方法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，从而提高了匹配精度。因此，本发明可以广泛用于图像识别领域。

附图说明

图1是本发明方法的功能框图

图2是FAST特征点检测示意图

图3是FAST分数值

图4是BRISK特征点检测示意图

图5是FREAK采样模式

图6是细采样模式

图7是遮挡工件匹配识别结果图

图8是测试图像：(a)工件模板图像和(b)测试图像

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明一种基于二进制特征匹配的遮挡工件识别装置，它包括图像采集单元1、工件模板图像特征提取单元2、待识别工件图像特征提取单元3、特征匹配单元4和剔除误匹配单元5。

其中，图像采集单元1摄取工件模板图像和待识别工件图像，并对应传送给工件模板图像特征提取单元2和待识别工件图像特征提取单元3；工件模板图像特征提取单元2包括图像预处理模块21、特征点检测模块22和特征点描述模块23，图像预处理模块21将提取工件模板图像进行灰度变换和中值滤波处理后传送给特征点检测模块22，特征点检测模块22采用BRISK算法检测工件模板图像中的特征点，并将工件模板图像上的特征点传送给特征点描述模块23；特征点描述模块23将特征点转化为二进制特征描述子，并传送给特征匹配单元4；待识别工件图像特征提取单元3提取待识别工件图像上的特征点，将其转化为二进制特征描述子进行表示，并将其传送给特征匹配单元4；特征匹配单元4采用汉明距离作为匹配准则寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点，并将所有初始匹配点传送给剔除误匹配单元5；剔除误匹配单元5采用RANSAC(Random Sample Consensus随机抽样一致性)算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，从而提高匹配精度，完成工件识别。上述工件模板图像特征提取单元2与待识别工件图像特征提取单元3包含的模块相同，故不再详述。

上述图像采集单元1、待识别工件图像特征提取单元3、特征匹配单元4和剔除误匹配单元5为在线处理完成。工件模板图像特征提取单元2在离线处理阶段完成，由此降低计算量。

上述实施例中，图像采集单元1优选采用单目摄像头拍摄工件模板图像和待识别工件图像。

本发明一种基于二进制特征匹配的遮挡工件识别方法，它包括以下步骤：

1)采用摄像头拍摄工件模板图像和待识别工件图像；

2)提取工件模板图像上的特征点，并将其转换成二进制特征描述子；

①将工件模板图像进行预处理，以便去除因光照或成像***的缺陷，而造成拍摄的工件模板图像会受到噪声的影响，以便得到不受噪声影响的图像；其包括以下步骤：

采用灰度变换将工件模板图像的彩色图像转换为灰度图像，并采用中值滤波将工件模板图像的灰度图像进行去噪处理，得到滤波后的平滑图像。

Ⅰ、将工件模板图像的彩色图像转换为灰度图像；

将摄像头采集的工件模板图像Im(x,y)由RGB颜色空间转换为灰度空间，得到灰度图像Im_gray(x,y)，其转换公式：

g＝0.299R+0.587G+0.114B          (1)

其中，R、G、B对应表示工件模板图像中每个像素的红、绿、蓝颜色分量，g表示经过转换后的该像素灰度值。针对RGB颜色空间中工件模板图像Im(x,y)中的每一个像素通过公式(1)转换成对应的像素灰度值，则得到该图像在灰度空间中的灰度图像Im_gray(x,y)。

Ⅱ、采用中值滤波将灰度图像Im_gray(x,y)进行去噪处理，得到滤波后的平滑图像，即去除噪声后的工件模板图像。

采用窗口大小为3×3的中值滤波器对灰度图像Im_gray(x,y)进行滤波，即在灰度图像中任意一个像素(x,y)邻域内设定一个3×3的观察窗口，对观察窗口中的像素值进行排序，取中间像素值作为该像素的中值滤波结果，得到滤波后的平滑图像Im_smooth。

②采用BRISK算法提取滤波后的平滑工件模板图像上的特征点，其包括以下步骤：

Ⅰ、构建尺度空间金字塔；

建立的尺度空间金子塔包含n个层(octaves)和n个中间层(intra-octaves)，且采用c_i表示第i个octaves，d_i表示第i个intra-octaves，其中i＝1,2,...,n，c₀为滤波后的平滑图像Im_smooth，d₀由图像c₀的1.5倍下采样得到，c_i+1由上一层c_i的0.5倍下采样得到，d_i+1由上一层d_i的0.5倍下采样得到，d_i位于两个相邻层c_i和c_i+1之间。

c_i+1(x,y)＝c_i(2x,2y)          (2)

d_i+1(x,y)＝d_i(2x,2y)          (3)

令t表示尺度，则t(c_i)＝2ⁱ，t(d_i)＝2ⁱ×1.5。

Ⅱ、在尺度空间金字塔的每一层，采用FAST算法(Features FromAccelerated Segment Test，加速分割测试特征)获取滤波后的平滑图像Im_smooth的潜在特征点；

在尺度空间金字塔的每一层，用FAST9-16算法获取滤波后的平滑图像Im_smooth的潜在特征点，即以当前像素点p为圆心，构建半径为3的圆，如图2所示，定义圆圈上每个像素点x∈{1,…16}的角点响应函数为

其中，I_p-＞x表示圆圈上像素点的灰度值，I_p为圆心点灰度值，τ为特征点检测阈值，一般为10。若有至少9个像素点的角点响应函数CRF等于1，则认为p点是潜在的特征点。

Ⅲ、对每一潜在特征点在尺度空间中进行非极大值抑制，并剔除一些非极大值的特征点，得到初步的特征点，其具体步骤如下：

A、选取潜在特征点所在层八邻域(即除了特征点以外的八个点)和上下层3×3邻域内的26个像素点，计算潜在特征点和邻域内26个像素点的FAST分数值s，即

$s=\max \left(\underset{x\∈S_{\mathrm{bright}}}{\mathrm{\Σ}}\right|I_{p->x}-I_p|-\mathrm{\τ},\underset{x\∈S_{\mathrm{darkt}}}{\mathrm{\Σ}}|I_p-I_{p->x}|-\mathrm{\τ})---\left(5\right)$

其中，S_bright表示满足I_p-＞x≥I_p+τ的像素点集合，即S_bright＝{x|I_p-＞x≥I_p+τ}。S_dark表示满足I_p-＞x≤I_p-τ的像素点集合，即S_dark＝{x|I_p-＞x≤I_p-τ}。

B、将潜在特征点与其三维邻域内26个点的FAST分数值进行比较，如果它比这26个点的FAST分数值都大，保留下来，作为初步的特征点。

Ⅳ、对每个初步的特征点进行亚像素和尺度校正，以便得到精确的特征点位置和尺度，其具体过程如下：

A、对初步的特征点对应的三层(特征点所在层、上层和下层)分别进行FAST分数值校正，每层的校正过程相同，其具体步骤为：计算以得到的初步特征点为中心的3×3像素区域内9个像素点的FAST分数值，分别记为s_0,0、s_1,0、s_2,0、s_0,1、s_1,1、s_2,1、s_0,2、s_1,2和s_2,2，如图3所示。

根据式(6)计算系数k₁～k₆，则有

$\left\{\begin{array}{c}{k}_1=3\×(s_{0,0}+s_{\mathrm{0,1}}+s_{\mathrm{0,2}}+s_{\mathrm{2,0}}+s_{\mathrm{2,1}}+s_{\mathrm{2,2}}-2s_{\mathrm{1,0}}-2s_{\mathrm{1,1}}-2s_{\mathrm{1,2}})\\ k_2=3\×(s_{\mathrm{0,0}}+s_{\mathrm{1,0}}+s_{\mathrm{0,2}}+s_{\mathrm{2,0}}+s_{\mathrm{1,2}}+s_{\mathrm{2,2}}-2s_{\mathrm{0,1}}-2s_{\mathrm{1,1}}-2s_{\mathrm{2,1}})\\ k_3=-3\×(s_{\mathrm{0,0}}+s_{\mathrm{0,2}}-s_{\mathrm{2,0}}-s_{\mathrm{2,2}}+s_{\mathrm{0,1}}-s_{\mathrm{2,1}})\\ k_4=-3\×(s_{\mathrm{0,0}}-s_{\mathrm{0,2}}+s_{\mathrm{2,0}}-s_{\mathrm{2,2}}+s_{\mathrm{1,0}}-s_{\mathrm{1,2}})\\ k_5=4\×(s_{0,0}-s_{\mathrm{0,2}}-s_{\mathrm{2,0}}+s_{\mathrm{2,2}})\\ k_6=-2\×(s_{\mathrm{0,0}}+s_{\mathrm{0,2}}-2\×(s_{\mathrm{1,0}}+s_{\mathrm{0,1}}+s_{\mathrm{1,2}}+s_{\mathrm{2,1}})-5s_{\mathrm{1,1}}+s_{2.0}+s_{\mathrm{2,2}})\end{array}\right.---\left(6\right)$

根据式(7)计算判别式▽，则有

$\▿=k_5^2-4k_1{k}_2---\left(7\right)$

如果▽＝0，则x＝y＝0；否则， $x=\max (-1,\min (1,\frac{2k_2{k}_3-k_4{k}_5}{k_5^2-4k_1{k}_2})),$ 任意一点的像素(x,y)，x是横坐标，y是纵坐标。

利用式(8)计算校正后的FAST分数值

$\hat{s}=k_1{x}^2+k_2{y}^2+k_{3}x+k_{4}y+k_5\mathrm{xy}+k_6---\left(8\right)$

B、设由步骤A得到的特征点对应三层(特征点所在层、上层和下层)的FAST分数值分别为其对应的尺度分别为t₁、t₂、t₃，利用式(9)对进行一维抛物线拟合。

$\hat{s}=a{t}^2+\mathrm{bt}+c---\left(9\right)$

其中，a是二次项的系数，b是一次项的系数，c是常数，t是与FAST分数值对应的尺度。

将代入式(10)中得到方程组

$\left\{\begin{array}{c}{\hat{s}}_1=a{t}_1^2+b{t}_1+c\\ {\hat{s}}_2=a{t}_2^2+b{t}_2+c\\ {\hat{s}}_3=a{t}_3^2+b{t}_3+c\end{array}\right.---\left(10\right)$

求解方程组(10)，得到

$\left\{\begin{array}{c}a=\frac{(t_2-t_3)({\hat{s}}_1-{\hat{s}}_2)-(t_1-t_2)({\hat{s}}_2-{\hat{s}}_3)}{(t_1-t_2)(t_2-t_3)(t_1-t_3)}\\ b=\frac{(t_2^2-t_3^2)({\hat{s}}_1-{\hat{s}}_2)-(t_1^2-t_2^2)({\hat{s}}_2-{\hat{s}}_3)}{(t_1-t_2)(t_2-t_3)(t_3-t_1)}\\ c=\frac{t_2{t}_3(t_2-t_3){\hat{s}}_1+t_1{t}_3(t_3-t_1){\hat{s}}_2+t_1{t}_2(t_1-t_2){\hat{s}}_3}{(t_1-t_2)(t_2-t_3)(t_1-t_3)}\end{array}\right.---\left(11\right)$

求抛物线的极值点，令则最优尺度估计值为

$t=\frac{-b}{2a}---\left(12\right)$

C、如图4所示，在最优尺度估计值附近的极大值之间，对极值点坐标利用常规方法进行再插值，即完成特征点的亚像素定位和尺度精确估计。

③通过比较FREAK方法获取最优采样点对的灰度值大小来构造描述子，以便将工件模板图像上的特征点转化为二进制特征描述子，其具体步骤如下：

Ⅰ、采用FREAK方法获取最优采样点对的位置；

首先采用FREAK符合人眼视觉生理效应的“视网膜”固定采样模式进行粗训练，找到初始的采样点对集合，如图5所示，其中心点对应特征点的位置，圆圈的中心对应采样点的位置，圆的大小与该点到中心的距离成正比，即离中心点越远的采样点所对应的圆半径越大。由外到内的采样点个数分别为6、6、6、6、6、6、6、1，一共43个采样点，由此会有个采样点对的组合。

比较每个采样点对中两个采样点的灰度值，得到一个二值结果T(P_a)：

其中，P_a表示一个采样点对，和分别为采样点对P_a中两个采样点的空间坐标位置，和对应表示采样点和的灰度值。

将所有二值结果组成一个二进制矢量V，即为特征点的描述子。

$V=\underset{0\&le;a<903}{\mathrm{\&Sigma;}}{2}^{a}T\left(P_a\right)---\left(14\right)$

其中，a从0取到903，903是采样点对的数量。

建立一个二维矩阵矩阵的每一行是一个特征点的描述子，长度为903，M表示特征点个数。

计算二维矩阵D_M×903中每一列均值a与0.5的距离dist(a)以及该列与其它列的相关度Corr(a,b)，即

$\stackrel{\&OverBar;}{a}=\frac{1}{M}\underset{0\&le;i<M}{\mathrm{\&Sigma;}}D(i,a)---\left(15\right)$

$\mathrm{dist}\left(a\right)=\stackrel{\&OverBar;}{a}-0.5---\left(16\right)$

$\mathrm{Corr}(a,b)=\frac{\underset{0\&le;i<M}{\mathrm{\&Sigma;}}(D(i,a)-\stackrel{\&OverBar;}{a})(D(i,b)-\stackrel{\&OverBar;}{b})}{\sqrt{\underset{0\&le;i<M}{\mathrm{\&Sigma;}}{(D(i,a)-\stackrel{\&OverBar;}{a})}^2\underset{0\&le;i<M}{\mathrm{\&Sigma;}}{(D(i,b)-\stackrel{\&OverBar;}{b})}^2}}---\left(17\right)$

其中，0≤a＜903,0≤b＜903,a≠b。

计算每一列与其它列的最大相关度Max_Corr以及该列的辨别力D_a，即

Max_Corr＝argmax(|Corr(a,b)|)          (18)

$D_a=\frac{e^{-\left|\mathrm{dist}\left(a\right)\right|}}{\mathrm{Max}\_\mathrm{Corr}}---\left(19\right)$

根据辨别力D_a大小从高到低进行排序，优选取前512列作为理想采样点对，记录下采样点对位置，得到初始采样点对集合A＝{(p_i,p_j)|0≤j＜i＜43}，其中(p_i,p_j)为对初始采样点对集合A中的每个采样点对。

如图6所示，对初始采样点对集合A中的每个采样点对(p_i,p_j)，在以这两个点为中心的2r×2r(r为这两个点所在圆圈的半径)的两个小方块内，分别随机抽取服从高斯分布的两个点形成新的采样点对(p'_i,p'_j)。

按照式(19)计算新采样点对的辨别力，如果该采样点对的辨别力比原采样点对的辨别力高，则将新采样点对替换旧采样点对；否则，删除该采样点对。将上述过程根据实验选出迭代200次，直到找到最优的采样点对，记录最优采样点对的位置，得到最终采样点对集合B。

Ⅱ、利用灰度质心法确定每个特征点的主方向；

利用灰度质心法确定每个特征点的主方向。在特征点周围选取一个圆形区域S，区域内的点为f(x,y)，则它的质心坐标为

$(\stackrel{\&OverBar;}{x},\stackrel{\&OverBar;}{y})=(\frac{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{xf}(x,y)}{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}f(x,y)},\frac{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yf}(x,y)}{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}f(x,y)})---\left(20\right)$

特征点与质心的夹角即为特征点的主方向θ：

$\mathrm{\&theta;}=\arctan \left(\frac{\stackrel{\&OverBar;}{y}}{\stackrel{\&OverBar;}{x}}\right)=\arctan \left[\frac{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\mathrm{yf}(x,y)}{\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;x}}f(x,y)}\right]---\left(21\right)$

Ⅲ、将最优采样点对的位置和特征点的主方向构建二进制特征描述子；

按照每个特征点的主方向，对应将最优采样点对的位置集合B绕该特征点旋转θ，比较旋转后的采样点对的灰度值，得到一组二值特征组成的点对位置集合C，按式(15)生成二进制特征描述子。

3)采用步骤2)相同的方法提取待识别工件图像上的特征点，并将其转换成二进制特征描述子；

由于步骤2)和步骤3)的处理过程一致，故不再详述。

4)采用近似最近邻(Approximate Nearest Neighbors，ANN)方法寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点集合；

设工件模板图像为P＝{p₁,p₂,…,p_m}，其特征描述子集合为VP＝{vp₁,vp₂,…,vp_m}；待识别工件图像中的特征点集合为Q＝{q₁,q₂,…,q_n}，其特征描述子集合为VQ＝{vq₁,vq₂,…,vq_n}，每个描述子用二进制特征向量表示，长度为512个比特；

搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N≤128；如果匹配距离小于所设阈值，则进行后面特征的匹配，这样的搜索策略，可以快速剔除大部分不相关匹的特征点，其具体步骤如下：

①对于工件模板图像中的特征描述子vp_i，计算vp_i前N个比特和待识别工件图像中的特征描述子vq_j前N个比特的汉明距离HD_j：

${\mathrm{HD}}_j=\mathrm{Hamm}(v{p}_i,v{q}_j)=\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}(v{p}_i^k\&CirclePlus;v{q}_j^k),j=\mathrm{1,2},...n$

其中，表示异或操作，其定义为：如果两个数不相同，则异或结果为1，否则，异或结果为0；

②如果HD_j大于等于设定阈值T₁，取30～50，则判定vp_i和vq_j为不匹配的特征向量；

③如果HD_j小于设定阈值T₁，则计算vp_i剩余512-N个比特与vq_j剩余512-个比特的汉明距离，加上前N个比特的汉明距离，得到vp_i和vq_j整个512个比特的汉明距离HD'_j；

④寻找最小汉明距离HD'_min和次最小汉明距离HD'_sec，当时，则判定vp_i和vq_min为匹配的特征向量，对应的特征点p_i和q_min为一对匹配的特征点；

⑤重复步骤①～④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所有相匹配的初始匹配点集合。

上述实施例中，N优选为128。

5)采用RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，从而提高匹配精度，进而完成工件识别。

设点集E为工件模板图像上得到的初始匹配点集合，F为待识别工件图像上得到的初始匹配点集合，工件模板图像与待识别工件图像之间的变换关系用投影变换矩阵 $H=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]$ 来描述。对图像中的一点p(x,y)，该点通过投影变换矩阵H变换到点p′(x′,y′)，即

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(22\right)$

其中，投影变换模型H可通过四对匹配点求出。

RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对的具体步骤如下：

①在集合E和F中，随机选取4对匹配点对，计算这四对点对的投影变换矩阵；

②在集合F余下特征点中，选取特征点(x₂,y₂)，用步骤①中计算得到的投影变换矩阵H对其进行变换，得到变换后的坐标值(x'₂,y'₂)，若E中对应特征点的坐标值(x₁,y₁)与(x'₂,y'₂)满足则认为匹配点对(x₁,y₁)和(x₂,y₂)符合模型H，称为内点，其中ε为内外点距离阈值，一般取3或4；

③重复步骤②，遍历集合F余下所有特征点，统计符合投影变换矩阵的匹配点对数，即内点集的大小；

④重复步骤①～③，找到内点对数量最多的一次变换，将该次变换得到的内点对集合作为新的点集E和F，进行新一轮的迭代；

⑤当迭代得到的内点对数目与此次迭代前点集E和F中的点对数目一致时，迭代终止，最后这次迭代的E和F，就是剔除误匹配后的匹配点集合，得到正确匹配点对，进而完成工件识别。

为了验证本发明方法的有效性，进行了主观性能测试和客观性能测试。

实验环境为：操作***为Window 7旗舰版的PC机，配置为Intel(R)Core(TM)i3-3110M CPU2.40GHZ，内存为4GB，编译平台为VS2010，OpenCV2.4.8。

实验参数为：工件模板图像大小为300×300像素，待识别工件图像的大小为600×600像素，尺度空间金字塔层数n＝4，BRISK特征点检测阈值τ＝10，特征匹配单元4中的阈值T₁＝30，RANSAC剔除误匹配中内外点距离阈值ε＝3。

1)主观性能测试(视觉效果)

采用BRISK与FREAK直接相结合的方法(简称BRISK-FREAK方法)以及本发明方法，对有遮挡图像、旋转图像、缩放图像、亮度变化图像、噪声图像，以及多种干扰(包括部分遮挡、平移、旋转、缩放、亮度变化以及噪声干扰)同时存在的图像，进行了多次实验，部分实验效果图(如图7所示)。

如图7所示，尽管待识别工件图像中的工件与模板工件相比可能存在平移、旋转、缩放、亮度变化、部分遮挡和噪声的干扰，本发明方法仍能准确地匹配图像中的工件。在多种干扰(包括部分遮挡、平移、旋转、缩放、亮度变化以及噪声干扰)同时存在的情况下，BRISK-FREAK方法由于采样模式固定，采样点对的性能不一定最优，导致特征描述子的辨别力较低，出现错误匹配。而本发明方法通过选择更加合理的点对辨识模型，由粗到精训练最优点对位置，使得描述子具有很高的辨别力，降低了误匹配的可能性，使得匹配精度更高，鲁棒性更强。

2)客观性能测试

从正确匹配率和匹配时间两方面对本发明方法进行客观评价。

①正确匹配率

选取Mikolajczyk K，Schmid C.“A performance evaluation of localdescriptors.IEEE Transactions on Pattern Analysis and MachineIntelligence”，2005，27(10):1615-1630.提出的正确匹配率作为评价标准。

以图8(a)作为工件模板图像，图8(b)作为待识别工件图像，并对待识别工件图像进行旋转(90度)、缩放(放大1.5倍)、加入多种干扰(旋转90度、放大1.5倍、亮度增加30、加入方差为0.02的零均值高斯噪声)进行正确匹配率统计，结果如表1所示。由表1可知，本发明方法通过提高描述子的辨别力，正确匹配率明显比BRISK-FREAK算法的正确匹配率高。

表1 正确匹配率统计结果

	无变换	旋转90度	放大1.5倍	多种干扰
					BRISK-FREAK	0.90	0.83	0.82	0.79
本发明方法	0.95	0.90	0.86	0.83

②匹配时间

为了证明本文方法在计算速度上的优越性，选取部分实验结果作匹配时间对比，对比结果如表2所示。

表2 不同匹配算法运行时间的结果

匹配方法	运行时间(ms)
		SIFT	1449.14

BRISK-FREAK	265.85
		本发明方法	58.15

从表2可知，在总匹配时间上，本发明方法明显比SIFT方法匹配时间少，同时本发明采用简单高效的灰度质心法替代局部梯度来计算特征点主方向，并且通过提高描述子的辨别力，减少初始匹配的误匹配点数，进而减少输入RANSAC剔除误匹配单元5的点数，计算量明显比BRISK-FREAK算法低，因此能更好地实现匹配的实时处理。

上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (8)

1.一种基于二进制特征匹配的遮挡工件识别方法，它包括以下步骤：

1)采用摄像头拍摄工件模板图像和待识别工件图像；

2)将工件模板图像进行预处理，并采用BRISK算法提取工件模板图像上的特征点，并将其转换成二进制特征描述子；

3)采用步骤2)相同的方法提取待识别工件图像上的特征点，并将其转换成二进制特征描述子；

4)采用近似最近邻方法寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点集合；

5)采用RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而完成工件识别。

2.如权利要求1所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于：所述步骤2)中包括以下步骤：

①将工件模板图像进行预处理，得到滤波后的平滑图像；

②采用BRISK算法提取滤波后的平滑工件模板图像上的特征点，其包括以下步骤：

Ⅰ、构建尺度空间金字塔；

Ⅱ、在尺度空间金字塔的每一层，采用FAST算法获取滤波后的平滑图像的潜在特征点；

Ⅲ、对每一潜在特征点在尺度空间中进行非极大值抑制，并剔除一些非极大值的特征点，得到初步的特征点；

Ⅳ、对每个初步的特征点进行亚像素和尺度校正，得到精确的特征点位置和尺度；

③通过比较FREAK方法获取最优采样点对的灰度值大小来构造描述子，将工件模板图像上的特征点转化为二进制特征描述子，其包括以下步骤：

Ⅰ、采用FREAK方法获取最优采样点对的位置；

Ⅱ、利用灰度质心法确定每个特征点的主方向；

Ⅲ、将最优采样点对的位置和特征点的主方向构建二进制特征描述子。

3.如权利要求1所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于：所述步骤4)中包括以下步骤：

设工件模板图像为P＝{p₁,p₂,…,p_m}，其特征描述子集合为VP＝{vp₁,vp₂,…,vp_m}；待识别工件图像中的特征点集合为Q＝{q₁,q₂,…,q_n}，其特征描述子集合为VQ＝{vq₁,vq₂,…,vq_n}，每个描述子用二进制特征向量表示，长度为512个比特；

搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N≤128；如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下：

①对于工件模板图像中的特征描述子vp_i，计算vp_i前N个比特和待识别工件图像中的特征描述子vq_j前N个比特的汉明距离HD_j：

${\mathrm{HD}}_j=\mathrm{Hamm}({\mathrm{vp}}_i,{\mathrm{vq}}_j)=\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}({\mathrm{vp}}_i^k\&CirclePlus;{\mathrm{vq}}_j^k),j=\mathrm{1,2},...n$

其中，表示异或操作；

②如果HD_j大于等于设定阈值T₁，取30～50，则判定vp_i和vq_j为不匹配的特征向量；

③如果HD_j小于设定阈值T₁，则计算vp_i剩余512-N个比特与vq_j剩余512-N个比特的汉明距离，加上前N个比特的汉明距离，得到vp_i和vq_j整个512个比特的汉明距离HD'_j；

④寻找最小汉明距离HD'_min和次最小汉明距离HD′_sec，当时，则判定vp_i和vq_min为匹配的特征向量，对应的特征点p_i和q_min为一对匹配的特征点；

⑤重复步骤①～④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所有相匹配的初始匹配点集合。

4.如权利要求2所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于：所述步骤4)中包括以下步骤：

设工件模板图像为P＝{p₁,p₂,…,p_m}，其特征描述子集合为VP＝{vp₁,vp₂,…,vp_m}；待识别工件图像中的特征点集合为Q＝{q₁,q₂,…,q_n}，其特征描述子集合为VQ＝{vq₁,vq₂,…,vq_n}，每个描述子用二进制特征向量表示，长度为512个比特；

搜索表示模糊信息的512个比特中的前N个比特的描述特征，剩余512-N个比特，其中N≤128；如果匹配距离小于所设阈值，则进行后面特征的匹配，其具体步骤如下：

①对于工件模板图像中的特征描述子vp_i，计算vp_i前N个比特和待识别工件图像中的特征描述子vq_j前N个比特的汉明距离HD_j：

${\mathrm{HD}}_j=\mathrm{Hamm}({\mathrm{vp}}_i,{\mathrm{vq}}_j)=\underset{k=1}{\overset{128}{\mathrm{\&Sigma;}}}({\mathrm{vp}}_i^k\&CirclePlus;{\mathrm{vq}}_j^k),j=\mathrm{1,2},...n$

其中，表示异或操作；

②如果HD_j大于等于设定阈值T₁，取30～50，则判定vp_i和vq_j为不匹配的特征向量；

③如果HD_j小于设定阈值T₁，则计算vp_i剩余512-N个比特与vq_j剩余512-N个比特的汉明距离，加上前N个比特的汉明距离，得到vp_i和vq_j整个512个比特的汉明距离HD'_j；

④寻找最小汉明距离HD'_min和次最小汉明距离HD′_sec，当时，则判定vp_i和vq_min为匹配的特征向量，对应的特征点p_i和q_min为一对匹配的特征点；

⑤重复步骤①～④，遍历工件模板图像中的特征描述子集合VP中的所有元素，得到所有相匹配的初始匹配点集合。

5.如权利要求1或2或3或4所述的一种基于二进制特征匹配的遮挡工件识别方法，其特征在于：所述步骤5)中包括以下步骤：

设点集E为工件模板图像上得到的初始匹配点集合，F为待识别工件图像上得到的初始匹配点集合，工件模板图像与待识别工件图像之间的变换关系用投影变换矩阵 $H=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right]$ 来描述；对图像中的一点p(x,y)，该点通过投影变换矩阵H变换到点p′(x′,y′)：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中，投影变换模型H可通过四对匹配点求出；

RANSAC算法剔除得到所有相匹配的初始匹配点集合中的错误匹配点对的具体步骤如下：

①在集合E和F中，随机选取4对匹配点对，计算这四对点对的投影变换矩阵；

②在集合F余下特征点中，选取特征点(x₂,y₂)，用步骤①中计算得到的投影变换矩阵H对其进行变换，得到变换后的坐标值(x'₂,y'₂)，若E中对应特征点的坐标值(x₁,y₁)与(x'₂,y'₂)满足则认为匹配点对(x₁,y₁)和(x₂,y₂)符合模型H，称为内点，其中ε为内外点距离阈值，取3或4；

③重复步骤②，遍历集合F余下所有特征点，统计符合投影变换矩阵的匹配点对数，即内点集的大小；

④重复步骤①～③，找到内点对数量最多的一次变换，将该次变换得到的内点对集合作为新的点集E和F，进行新一轮的迭代；

⑤当迭代得到的内点对数目与此次迭代前点集E和F中的点对数目一致时，迭代终止，最后这次迭代的E和F，就是剔除误匹配后的匹配点集合，得到正确匹配点对，进而完成工件识别。

6.一种实现如权利要求1～5任一项所述的基于二进制特征匹配的遮挡工件识别方法的装置，其特征在于：它包括图像采集单元、工件模板图像特征提取单元、待识别工件图像特征提取单元、特征匹配单元和剔除误匹配单元；

其中，所述图像采集单元摄取工件模板图像和待识别工件图像，并对应传送给所述工件模板图像特征提取单元和所述待识别工件图像特征提取单元；所述工件模板图像特征提取单元提取工件模板图像上的特征点，并将其转换成二进制特征描述子，并传送给所述特征匹配单元；所述待识别工件图像特征提取单元提取待识别工件图像上的特征点，将其转化为二进制特征描述子进行表示，并将其传送给所述特征匹配单元；所述特征匹配单元采用汉明距离作为匹配准则寻找待识别工件图像与工件模板图像相匹配的特征点，得到所有相匹配的初始匹配点，并将所有初始匹配点传送给所述剔除误匹配单元；所述剔除误匹配单元剔除得到所有相匹配的初始匹配点集合中的错误匹配点对，得到正确匹配点对，进而完成工件识别。

7.如权利要求6所述的一种基于二进制特征匹配的遮挡工件识别装置，其特征在于：所述工件模板图像特征提取单元和所述待识别工件图像特征提取单元都包括图像预处理模块、特征点检测模块和特征点描述模块；所述图像预处理模块将提取的图像进行灰度变换和中值滤波处理后传送给所述特征点检测模块，所述特征点检测模块采用BRISK算法检测图像中的特征点，并将图像上的特征点传送给所述特征点描述模块；所述特征点描述模块将特征点转化为二进制特征描述子，并传送给所述特征匹配单元。

8.如权利要求6或7所述的一种基于二进制特征匹配的遮挡工件识别装置，其特征在于：所述图像采集单元采用单目摄像头。