CN110084233A - 一种生产线视频序列中快速捕获目标的方法及*** - Google Patents

Abstract

本发明公开了一种生产线视频序列中快速捕获目标的方法及***，具体为：首先，在图像中定位目标，得到目标定位状态和目标边界位置；然后，当目标部分进入视场时更新目标移动速度；最后，当视场中出现完整目标时，预测前一个完整目标在当前图像中的位置，根据预测位置和目标边界位置判断新目标的出现。为减少光照及背景对目标区域的干扰，可优选只对处于图像中心区域的目标进行捕获；为减少平均处理时间，根据不同的目标定位状态计算丢帧数，直接处理视频序列中的关键帧。本发明具有快速、准确捕获目标的特点，并能适应生产线运动速度和方向的变化，可以用于多种工业自动化视频检测设备中。

Description

一种生产线视频序列中快速捕获目标的方法及***

技术领域

本发明属于图像处理中的目标检测领域，更具体地，涉及一种生产线视频序列中快速捕获目标的方法及***。

背景技术

在工业制造领域，生产线上产品的质量检测是整个生产流程中的重要环节，由于人工检测存在效率低、质量不稳定、标准不统一、难以匹配机器的生产速度等问题，因此以工业相机和图像处理算法为主体的自动化检测成为制造业发展的趋势。质量检测的首要任务是目标检测，需要在图像序列中获到每一个不重复的目标，基于图像处理的快速目标检测技术是实现自动化检测的关键。

目标检测的目的是在视频序列中将感兴趣的目标和背景进行分离，得到目标区域信息。目标检测是目标分类、目标跟踪、行为理解等更高层次图像处理算法的基础，影响目标检测的主要因素有光照不均匀、复杂背景干扰、目标移动速度较快和多目标干扰。目标检测的传统方法有帧间差分法、背景减除法、光流法、特征匹配法等。

帧间差分法是将视频序列中连续的两帧或多帧图像相减得到差分图像，对差分图像进行二值分割，如果像素值大于阈值则属于目标区域，否则属于背景区域。帧间差分法实现简单、复杂度低，但缺点是容易受到光照变化的影响，不容易提取完整的目标区域，并且提取的效果受目标移动速度的影响。

背景减除法是建立背景帧模型，将当前帧和背景帧相减得到差分图像，对差分图像进行二值分割得到目标区域，并对背景帧模型进行更新。Stauffer和Grimson提出的混合高斯模型是目前常用的背景建模方法。背景减除法能提取比较完整的目标区域，适应背景的变化，但缺点是背景帧模型需要一定时间才能收敛，计算复杂度较高。

光流法是分析像素点光流在时间和空间上的相关性，得到像素点的运动状态，进而区分目标区域和背景区域。光流的计算有基于特征匹配、基于频域和基于梯度计算三种方法。光流法能适应相机存在运动的情况，并能同时完成目标检测和跟踪，但缺点是计算复杂度高，实时性差，光流的计算容易受到噪声干扰。

特征匹配法是在已知目标特征的条件下，提取图像中的特征并与目标特征进行匹配，得到目标区域。特征匹配法有特征点、轮廓特征和区域特征三种匹配方法。特征点匹配首先提取图像中的特征点和描述符，然后计算描述符之间的距离并得到匹配对，由匹配对计算变换矩阵并得到图像中的目标区域，常用的特征点算子有Harris、SIFT、SURF、ORB等；轮廓特征匹配依赖于轮廓提取的效果，在轮廓受干扰的时候匹配效果不佳；区域特征匹配利用颜色、形状、纹理等区域特征查找目标区域。特征匹配法能够适应目标遮挡、光照变化等多种情况，但缺点是只能检测同类型目标，而且需要根据实际情况进行优化才能满足实时性要求。

在生产线视频序列的目标检测任务中，不仅要在背景干扰和目标移动速度、方向变化等情况下保证目标检测的鲁棒性和实时性，而且要保证目标检测的准确性，即找到符合尺寸要求的、非重复的、完整出现的目标。因此，传统的目标检测方法难以完全满足生产线视频序列的目标检测任务。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种生产线视频序列中快速捕获目标的方法及***，能够适应生产线运动速度和方向的变化，保证目标的不漏检、不误检。

为实现上述目的，本发明提供了一种生产线视频序列中快速捕获目标的方法，包括以下步骤：

一种生产线视频序列中捕获目标的方法，包括以下步骤：

(1)输入第n帧原始生产线图像，在图像中进行目标定位，得到目标定位状态和目标前后边界位置；

(2)若目标定位状态表明只定位到目标后边界，则转入步骤(3)；若目标定位状态表明定位到完整目标，则转入步骤(4)；若目标定位状态表明未发现目标或只定位到目标后边界，则转入步骤(5)；

(3)若当前帧及历史连续K-1帧的目标定位状态均表明只定位到目标前边界，则通过求取这K帧图像中目标前边界位置的变化估计目标移动速度和方向；否则，记录当前帧的目标前边界位置和帧序号，转入步骤(5)，K大于1；

(4)若当前帧的前一帧的目标定位状态表已明定位到完整目标，则依据前一帧的目标边界位置和估计的目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标定位相匹配，则表明该当前目标已被捕获，放弃该目标；否则，将当前目标作为新目标，输出当前帧图像，转入步骤(5)；

(5)原始图像帧序号n加1，如果n大于N，则结束处理流程，否则转入步骤(1)，等待进入下一帧，N为生产线视频序列总帧数。

按照一种较佳实施方式，所述步骤(1)目标定位的具体实现方式为：

当前时刻采集的第n帧生产线图像IMGⁿ，其各像素的灰度值为其中下标i、j分别表示像素在图像中的横、纵坐标，img_row、img_col分别表示IMGⁿ的高度、宽度；

对当前生产线图像帧进行二值分割和轮廓提取，得到闭合轮廓的初始集合，根据几何特征和形心位置对闭合轮廓集合进行筛选；

当存在一个目标轮廓时，对目标轮廓进行轮廓填充和垂直投影，并对垂直投影结果进行二值分割和逐列扫描；

当在扫描中发现一个目标区域时，记录目标区域的前、后边界位置为obj_front、obj_back，根据目标区域的前、后边界位置确定目标定位状态obj_state。

按照一种较佳实施方式，所述步骤(1)目标定位的具体实现方式为：

步骤101：对当前生产线图像帧IMGⁿ进行二值分割和轮廓提取；

二值分割的具体公式如下：

其中，obj_th为当前帧分割阈值，取值范围为0≤obj_th≤255；obj_type为分割方向，值为0表示正向分割，值为1表示反向分割；&&表示左右两个条件同时成立；

轮廓提取的操作过程为：选取结构元素(ele_m,ele_n)对进行二值膨胀，执行的次数为ele_t，得到二值膨胀图像DILATEⁿ；对DILATEⁿ进行轮廓提取，得到闭合外轮廓的初始集合，其中闭合外轮廓的数量为cont_size；

步骤102：对闭合外轮廓进行筛选，以减小光照和背景环境的影响，具体操作是：计算闭合外轮廓的面积，得到轮廓面积的最大值cont_area_cmax，cmax为最大面积轮廓在集合中的序号，并计算轮廓形心位置，得到行坐标cont_ctr_cmax(x)、列坐标cont_ctr_cmax(y)，筛选公式如下：

(a)

(b)

(c)

其中area_rate_min、area_rate_max分别为轮廓面积与图像面积比值的上、下限，ctr_rate_min、ctr_rate_max分别为轮廓形心位置与图像高宽比值的上、下限；如果轮廓面积和轮廓形心位置满足公式条件，则得到一个目标轮廓，转入步骤103；否则转入步骤105；

步骤103：对目标轮廓进行轮廓填充和垂直投影，以灰度值255对目标轮廓及其内部区域进行填充，得到目标轮廓图像CONTⁿ；对CONTⁿ进行垂直投影，同一列的像素值进行累加，得到投影图像CONT_PRJⁿ；对CONT_PRJⁿ进行二值分割，以投影图像分割阈值obj_cont_th对CONT_PRJⁿ进行二值化分割，图像中大于obj_cont_th的像素值取值为255，否则取值为0，得到投影分割图像CONT_PRJ_BINⁿ；对CONT_PRJ_BINⁿ进行逐列扫描，计算CONT_PRJ_BINⁿ中像素值均为255的最长连续区域，得到区域的首、尾像素位置prj_first、prj_end；对最长连续区域进行补偿，补偿公式如下：

prj_first＝func_max(1,prj_first-prj_comp)

prj_end＝func_min(img_col,prj_end+prj_comp)

其中prj_comp为投影区域补偿值，func_max()函数表示取两个数的较大值，func_min()函数表示取两个数的较小值；

步骤104：对最长连续区域的首、末像素位置进行判断，得到目标水平方向长度obj_length＝prj_end-prj_first+1，如果obj_length＞prj_comp+1，则认为目标区域存在，并将目标区域的首、尾像素位置分别赋值给obj_front、obj_back，转入步骤106；否则转入步骤105；

步骤105：将obj_state取值为1，表示未发现目标，转入步骤112；

步骤106：对目标前边界位置进行筛选，筛选公式如下：

1≤obj_front≤edge_extend*img_col

其中edge_extend为图像边界水平方向扩展比例，可取0＜edge_extend＜1。如果obj_front满足筛选公式，则认为目标正位于图像的左边界上，并未完整出现，转入步骤107；否则转入步骤108；

步骤107：将obj_state取值为3，表示目标位于图像左边界上，只得到目标后边界位置，转入步骤112；

步骤108：对目标后边界位置进行筛选，筛选公式如下：

(1-edge_extend)*img_col≤obj_back≤img_col

如果obj_back满足筛选公式，则认为目标正位于图像的右边界上，并未完整出现，转入步骤109；否则转入步骤110，表示目标前后边界均有效；

步骤109：将obj_state取值为2，表示目标位于图像右边界上，只得到目标前边界位置，转入步骤112；

步骤110：对目标水平方向长度进行筛选，筛选公式如下：

len_perL,len_perH∈(0,1)&&len_perL＜len_perH

其中len_perL、len_perH分别为目标长度与目标轮廓图像宽度比值的上、下限；如果obj_length满足筛选公式，则认为出现完整目标，转入步骤111；否则转入步骤105；

步骤111：将obj_state取值为4，表示出现完整目标，得到目标前后边界位置；

步骤112：根据目标移动方向obj_move对目标状态和目标前后边界位置进行调整，如果obj_move为1，则不做处理；否则，做如下调整：

当obj_state为1时，不做处理；

当obj_state为2时，将obj_state重新取值为3，并交换obj_front和obj_back的值；

当obj_state为3时，将obj_state重新取值为2，并交换obj_front和obj_back的值；

当obj_state为4时，交换obj_front和obj_back的值。

按照一种较佳实施方式，将序号为当前帧n加上丢帧数throw的图像帧作为下一帧处理；丢帧数throw的计算公式如下：

throw＝func_max(throw,0)+1

其中，obj_state＝1表示未发现目标，obj_state＝2表示目标位于图像前边界上，obj_state＝3 or 4表示目标位于图像后边界上或完整目标，obj_state＝5表示即将进入中心区域的完整目标；

obj_front为目标区域的前边界位置，obj_back为目标区域的后边界位置，pixelv为目标移动速度，img_ctr为当前图像帧的列中心，obj_ctr为当前图像帧中目标的列中心，func_max()函数表示取两个数的较大值；

ctr_margin完整目标的丢帧数余量，ctr_margin为正整数；考虑到目标后边界预测值predict与throw的取值有关，对predict做如下更新：

predict＝func_max(predict,0)。

按照一种较佳实施方式，所述步骤(4)还判定目标是否在图像中心区域，若是，则提取目标，否则，根据目标当前位置和估计的目标移动速度预测目标是否在后续第M帧中会出现在图像中心区域，若是，则等待至后续第M帧提取目标作为有效目标，若否，将当前帧中的目标判定为有效目标。

按照一种较佳实施方式，所述步骤(4)判定目标是否在图像中心区域的具体实现方式为：

计算图像帧的列中心img_ctr和图像帧中目标的列中心obj_ctr：

判定是否满足如下捕获条件：

(i)

(ii)

(iii)

其中，ctr_frame为中心区域帧数，将obj_ctr和img_ctr之间的距离通过pixelv换算为需要的帧数，定义以img_ctr为中心ctr_frame帧范围内的区域为中心区域；

捕获条件中的公式(i)表示当前目标正处于中心区域，公式(ii)表示当前目标虽然未进入中心区域，但是在下一帧图像中将会离开中心区域，公式(iii)表示当前目标虽然已经离开了中心区域，但目标后边界预测值为0，即当前目标尚未被捕获；如果满足捕获条件(i)或(ii)或(iii)，则进入重复目标判断流程；否则放弃当前目标，并将obj_state的值取为5，表明完整目标即将进入中心区域。

按照一种较佳实施方式，还对步骤(1)中的生产线图像帧先进行降采样处理：

1≤k₁+1≤down_row,1≤k₂+1≤down_col,dsize＞0

其中IMGⁿ为生产线图像帧，其各像素点的灰度值为chan为IMGⁿ的通道数；DOWNⁿ为降采样图像，其各像素点的灰度值为k₁+1和k₂+1分别表示像素在图像中的横、纵坐标；img_row和img_col分别表示输入图像的高度、宽度，dsize为降采样系数，降采样图像的高度、宽度分别为和

一种生产线视频序列中捕获目标的***，包括以下模块：

第一模块，用于在当前时刻采集的生产线图像帧中定位目标；

第二模块，用于若目标定位状态表明只定位到目标后边界，进入第三模块；若目标定位状态表明定位到完整目标，则进入第四模块；若目标定位状态表明未发现目标或只定位到目标后边界，则进入第五模块；

第三模块，用于若当前帧及历史连续K-1帧的目标定位状态均表明只定位到目标前边界，则通过求取这K帧图像中目标前边界位置的变化估计目标移动速度和方向；否则，记录当前帧的目标前边界位置和帧序号，转入第五模块，K大于1；

第四模块，若当前帧的前一帧的目标定位状态表已明定位到完整目标，则依据前一帧的目标边界位置和估计的目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标定位相匹配，则表明该当前目标已被捕获，放弃该目标；否则，将当前目标作为新目标，输出当前帧图像，转入第五模块；

第五模块，用于等待进入下一帧，返回第一模块；

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

本发明利用目标定位状态获取有效信息，在目标进入视场时，利用历史多帧图像估计目标移动速度和方向，使本发明能够适应生产线运动速度和方向的变化，体现了较好的鲁棒性及实时响应的能力；在目标完整出现于视场时，利用前一个捕获的完整目标及目标移动速度预测前一个目标在当前图像中的位置，进而判断当前目标是否为新目标，解决了同一目标多次出现在视场时的捕获问题，实现了对生产线视频序列中多个目标的快速捕获。

按照一种较佳的实施方式，步骤(1)中采用了二值分割、轮廓提取、内部填充、垂直投影等方法，根据候选区域的几何特征和形心坐标排除背景干扰，得到目标前后边界位置。通过上述方法，在强干扰情况下，本发明也可以实现目标和背景的快速分离。

按照一种较佳的实施方式，步骤(1)具体实施过程中还对目标状态和目标前后边界位置的进行调整，能够使不同移动方向的目标采用相同的处理步骤，保证了算法的简洁性和适应性。

按照一种较佳的实施方式，采用了丢帧数，根据目标状态和目标前后边界位置计算丢帧数，由丢帧数得到下一次处理的图像帧序号，本发明能够生产线视频序列中的关键帧，减少在不满足捕获条件时的图像平均处理时间。

按照一种较佳的实施方式，采用了当前目标所处图像区域的判断，本发明只在图像中心区域进行完整目标的捕获，有效减少了光照不均、背景噪声及相机成像畸变对图像的影响，提升了目标捕获的准确性。

附图说明

图1为本发明中生产线视频序列获取平台的示意图；

图2为本发明生产线视频序列中快速捕获目标的方法的流程示意图；

图3为本发明目标定位的流程示意图；

图4a至图4f为黑色手机目标的处理示意图，手机型号为Model1。图4a为JAI相机采集到的原始图像；图4b为进行降采样后的图像，图像通道数为1，灰度值范围为0-255；图4c为进行轮廓提取后的图像，不同的轮廓以颜色进行区分，“+”号位置即为轮廓的形心位置；图4d为目标轮廓进行内填充后的图像；图4e为目标位置效果图，“黄线”的位置即为算法处理后得到的目标水平方向位置；图4f为同类型目标的原始图像，采用与图4a相同的参数进行处理，得到目标捕获结果图如图4g所示；

图5a至图5g为白色手机目标的处理示意图，手机型号为Model2。图像的含义分别与图4a至图4g的含义相同；

图6a至图6g为白色手机目标的处理示意图，手机型号为Model3。图像的含义分别与图4a至图4g的含义相同；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面的说明采用了从工业相机JAI所采集到的几组视频序列，采集帧频为15帧/秒，图像的尺寸为2448*2050，图像的通道数为3，每个通道的灰度值范围为0-255。目标在图像中的移动方向为从右到左，即从图像右边界进入视场，首先进入视场的目标边界为目标前边界。

参数初始化：设定生产线视频序列总帧数为N，N为自然数，将原始生产线图像帧序号n初始化为1；将目标定位状态obj_state、前一帧目标定位状态obj_state_last初始化为1，目标定位状态共有四种取值，1表示未发现目标、2表示目标位于图像右边界上、3表示目标位于图像左边界上、4表示完整目标、5表示即将进入中心区域的完整目标；将目标移动方向obj_move初始化为1，目标移动方向共有两种取值，1表示目标在图像中的移动方向为从右到左，2表示目标在图像中的移动方向为从左到右；将目标后边界预测值predict、目标移动速度pixelv初始化为0，predict的单位是像素，pixelv的单位是像素每帧；将目标边界位置数组upd_val_k、图像帧序号数组upd_fra_k中的元素全部清除，k为数组中元素的序号，将k初始化为0；

如图2所示，本发明生产线视频序列中捕获目标的方法，包括以下步骤：

(1)目标定位，输入第n帧原始生产线图像IMGⁿ，其各像素的灰度值为其中下标i、j分别表示像素在图像中的横、纵坐标，img_row、img_col分别表示IMGⁿ的高度、宽度，具体操作是，首先，对降采样图像进行二值分割和轮廓提取，得到闭合轮廓的初始集合，根据几何特征和形心位置对闭合轮廓集合进行筛选；其次，当存在一个目标轮廓时，对目标轮廓进行轮廓填充和垂直投影，并对垂直投影结果进行二值分割和逐列扫描；然后，当存在一个目标区域时，将目标区域的首、尾像素位置分别赋值给obj_front、obj_back，根据目标前后边界位置得到目标状态标识obj_state；

(2)若obj_state为1，则转入步骤(5)；若obj_state为2，只得到目标前边界位置，则转入步骤(3)；若obj_state为3，只得到目标后边界位置，则转入步骤(5)；若obj_state为4，得到目标前后边界位置，则转入步骤(4)；

(3)估计目标移动速度和方向，具体操作是，首先，当obj_state_last不等于2时，将upd_val_k、upd_fra_k中的元素全部清除，将k的值取为0；记录目标边界位置和当前帧序号，具体公式如下：

upd_val_k＝obj_front

upd_fra_k＝n

k＝k+1

然后，如果k！＝upd_num，则结束本步骤，其中upd_num为更新数据的数量阈值；如果k＝＝upd_num，计算目标移动速度pixelv，具体公式如下：

其中upd_dif_k为相邻更新数据的平均帧差，当upd_num＞5时，公式中k！＝max&&k！＝min表示去掉upd_dif_k中的最大值和最小值，计算所有剩余upd_dif_k的算数平均值；

最后，如果pixelv＞0，则目标在图像中的移动方向为从左向右，将目标移动方向obj_move取值为2；如果pixelv＜0，则目标在图像中的移动方向为从右到左，将obj_move取值为1，并取pixelv＝-pixelv；如果pixelv＝＝0，则认为更新数据出错，将upd_val_k、upd_fra_k中的元素全部清除，将k的值取为0；

(4)判断当前目标是否为已捕获过的重复目标，若前一次处理的图像帧中出现了完整目标，则根据前一次处理记录的目标后边界位置和目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标相匹配，则表示当前目标已经被捕获，放弃当前目标；否则，均认为当前目标为出现的新目标，输出当前帧图像IMGⁿ；

具体判断公式为predict＞0&&obj_front＜predict-pixelv，若符合公式条件，则当前目标为重复目标，否则当前目标为新目标；更新目标后边界预测值predict＝obj_back-pixelv；

(5)取obj_state_last＝obj_state；如果obj_state不为4，将predict的值取为0；原始图像帧序号n加1，如果n大于N，则结束处理流程，否则转入步骤(1)，等待进入下一帧。

按照一种较佳的实施方式，步骤(1)目标定位的具体实现方式为：

步骤101：对当前生产线图像帧IMGⁿ进行二值分割和轮廓提取；

二值分割的具体公式如下：

其中，obj_th为当前帧分割阈值，取值范围为0≤obj_th≤255；obj_type为分割方向，值为0表示正向分割，值为1表示反向分割；&&表示左右两个条件同时成立；

轮廓提取的操作过程为：选取结构元素(ele_m,ele_n)对进行二值膨胀，执行的次数为ele_t，得到二值膨胀图像DILATEⁿ；对DILATEⁿ进行轮廓提取，得到闭合外轮廓的初始集合，其中闭合外轮廓的数量为cont_size；

取obj_th＝55,obj_type＝1,ele_m＝1,ele_n＝4,ele_t＝1，对图4b进行处理，得到的闭合外轮廓集合如图4c所示，不同的轮廓以颜色进行区分；

取obj_th＝120,obj_type＝0,ele_m＝0,ele_n＝0,ele_t＝0，对图5b进行处理，得到的闭合外轮廓集合如图5c所示；

取obj_th＝62,obj_type＝1,ele_m＝0,ele_n＝0,ele_t＝0，对图6b进行处理，得到的闭合外轮廓集合如图6c所示；

步骤102：对闭合外轮廓进行筛选，以减小光照和背景环境的影响，具体操作是：计算闭合外轮廓的面积，得到轮廓面积的最大值cont_area_cmax，cmax为最大面积轮廓在集合中的序号，并计算轮廓形心位置，得到行坐标cont_ctr_cmax(x)、列坐标cont_ctr_cmax(y)，筛选公式如下：

(a)

(b)

(c)

其中area_rate_min、area_rate_max分别为轮廓面积与图像面积比值的上、下限，ctr_rate_min、ctr_rate_max分别为轮廓形心位置与图像高宽比值的上、下限；如果轮廓面积和轮廓形心位置满足公式条件，则得到一个目标轮廓，转入步骤103；否则转入步骤105；

取area_rate_min＝0.1,area_rate_max＝0.9,ctr_rate_min＝0.1,ctr_rate_max＝0.9，并已知down_row＝205,down_col＝245；

图4c中，得到cont_area_max＝13440,cont_ctr_max(x)＝98,cont_ctr_max(y)＝105，其中“+”号位置即为轮廓的形心位置，可见最大面积的轮廓及其形心位置全部满足公式条件；

图5c中，得到cont_area_max＝17739,cont_ctr_max(x)＝81,cont_ctr_max(y)＝105，可见最大面积的轮廓及其形心位置全部满足公式条件；

图6c中，得到cont_area_max＝15181,cont_ctr_max(x)＝89,cont_ctr_max(y)＝128，可见最大面积的轮廓及其形心位置全部满足公式条件；

步骤103：对目标轮廓进行轮廓填充和垂直投影，以灰度值255对目标轮廓及其内部区域进行填充，得到目标轮廓图像CONTⁿ；对CONTⁿ进行垂直投影，同一列的像素值进行累加，得到投影图像CONT_PRJⁿ，投影图像的高度为1；对CONT_PRJⁿ进行二值分割，以投影图像分割阈值obj_cont_th对CONT_PRJⁿ进行二值化分割，图像中大于obj_cont_th的像素值取值为255，否则取值为0，得到投影分割图像CONT_PRJ_BINⁿ；对CONT_PRJ_BINⁿ进行逐列扫描，计算CONT_PRJ_BINⁿ中像素值均为255的最长连续区域，得到区域的首、尾像素位置prj_first、prj_end；对最长连续区域进行补偿，补偿公式如下：

prj_first＝func_max(1,prj_first-prj_comp)

prj_end＝func_min(img_col,prj_end+prj_comp)

其中prj_comp为投影区域补偿值，func_max()函数表示取两个数的较大值，func_min()函数表示取两个数的较小值；

对图4c中的目标轮廓进行填充，得到目标轮廓图像如图4d所示，取obj_cont_th＝765,prj_comp＝5，得到prj_first＝10,prj_end＝196；

对图5c中的目标轮廓进行填充，得到目标轮廓图像如图5d所示，取obj_cont_th＝765,prj_comp＝15，得到prj_first＝1,prj_end＝215；

对图6c中的目标轮廓进行填充，得到目标轮廓图像如图6d所示，取obj_cont_th＝765,prj_comp＝5，得到prj_first＝36,prj_end＝225；

步骤104：对最长连续区域的首、末像素位置进行判断，得到目标水平方向长度obj_length＝prj_end-prj_first+1，如果obj_length＞prj_comp+1，则认为目标区域存在，并将目标区域的首、尾像素位置分别赋值给obj_front、obj_back，转入步骤106；否则转入步骤105；

图4d所示的目标轮廓图像，目标水平方向长度为obj_length＝187，符合目标区域存在条件，得到obj_front＝10,obj_back＝196；

图5d所示的目标轮廓图像，目标水平方向长度为obj_length＝215，符合目标区域存在条件，得到obj_front＝1,obj_back＝215；

图6d所示的目标轮廓图像，目标水平方向长度为obj_length＝190，符合目标区域存在条件，得到obj_front＝36,obj_back＝225；

步骤105：将obj_state取值为1，表示未发现目标，转入步骤112；

步骤106：对目标前边界位置进行筛选，筛选公式如下：

1≤obj_front≤edge_extend*img_col

其中edge_extend为图像边界水平方向扩展比例，可取0＜edge_extend＜1。如果obj_front满足筛选公式，则认为目标正位于图像的左边界上，并未完整出现，转入步骤107；否则转入步骤108；

图像边界水平扩展比例取为edge_extend＝0.02；

图4d所示的目标轮廓图像，obj_front＝9不满足筛选条件，认为目标不位于图像的左边界上；

图5d所示的目标轮廓图像，obj_front＝1满足筛选条件，认为目标正位于图像的左边界上；

图6d所示的目标轮廓图像，obj_front＝36不满足筛选条件，认为目标不位于图像的左边界上；

步骤107：将obj_state取值为3，表示目标位于图像左边界上，只得到目标后边界位置，转入步骤112；

步骤108：对目标后边界位置进行筛选，筛选公式如下：

(1-edge_extend)*img_col≤obj_back≤img_col

如果obj_back满足筛选公式，则认为目标正位于图像的右边界上，并未完整出现，转入步骤109；否则转入步骤110，表示目标前后边界均有效；

图4d所示的目标轮廓图像，obj_back＝195不满足筛选条件，认为目标不位于图像的右边界上；

图6d所示的目标轮廓图像，obj_back＝225不满足筛选条件，认为目标不位于图像的右边界上；

步骤109：将obj_state取值为2，表示目标位于图像右边界上，只得到目标前边界位置，转入步骤112；

步骤110：对目标水平方向长度进行筛选，筛选公式如下：

len_perL,len_perH∈(0,1)&&len_perL＜len_perH

其中len_perL、len_perH分别为目标长度与目标轮廓图像宽度比值的上、下限；如果obj_length满足筛选公式，则认为出现完整目标，转入步骤111；否则转入步骤105；

取len_perL＝0.55,len_perH＝0.95；

图4d所示的目标轮廓图像，目标长度与目标轮廓图像宽度的比值为0.763，符合筛选公式，认为出现完整目标，如图4e所示，图中“黄线”的位置即为算法处理后得到的目标水平方向位置；

图6d所示的目标轮廓图像，目标长度与目标轮廓图像宽度的比值为0.776，符合筛选公式，认为出现完整目标，如图6e所示；

步骤111：将obj_state取值为4，表示出现完整目标，得到目标前后边界位置；

步骤112：根据目标移动方向obj_move对目标状态和目标前后边界位置进行调整，如果obj_move为1，则不做处理；否则，做如下调整：

当obj_state为1时，不做处理；

当obj_state为2时，将obj_state重新取值为3，并交换obj_front和obj_back的值；

当obj_state为3时，将obj_state重新取值为2，并交换obj_front和obj_back的值；

当obj_state为4时，交换obj_front和obj_back的值。

按照一种较佳的实施方式，将序号为当前帧n加上丢帧数throw的图像帧作为下一帧处理；丢帧数throw的计算公式如下：

throw＝func_max(throw,0)+1

其中，obj_state＝1表示未发现目标，obj_state＝2表示目标位于图像前边界上，obj_state＝3 or 4表示目标位于图像后边界上或完整目标，obj_state＝5表示即将进入中心区域的完整目标；

obj_front为目标区域的前边界位置，obj_back为目标区域的后边界位置，pixelv为目标移动速度，img_ctr为当前图像帧的列中心，obj_ctr为当前图像帧中目标的列中心，func_max()函数表示取两个数的较大值；

ctr_margin完整目标的丢帧数余量，ctr_margin为正整数；丢帧数余量取为ctr_margin＝2；考虑到目标后边界预测值predict与throw的取值有关，对predict做如下更新：

predict＝predict-pixelv*throw

predict＝func_max(predict,0)；

按照一种较佳的实施方式，步骤(4)只对处于图像中心区域的目标进行捕获，具体捕获条件如下：

计算图像帧的列中心img_ctr和图像帧中目标的列中心obj_ctr：

判定是否满足如下捕获条件：

(i)

(ii)

(iii)

其中，ctr_frame为中心区域帧数，将obj_ctr和img_ctr之间的距离通过pixelv换算为需要的帧数，定义以img_ctr为中心ctr_frame帧范围内的区域为中心区域；中心区域帧数取为ctr_frame＝2。

捕获条件中的公式(i)表示当前目标正处于中心区域，公式(ii)表示当前目标虽然未进入中心区域，但是在下一帧图像中将会离开中心区域，公式(iii)表示当前目标虽然已经离开了中心区域，但目标后边界预测值为0，即当前目标尚未被捕获；如果满足捕获条件(i)或(ii)或(iii)，则进入重复目标判断流程；否则放弃当前目标，并将obj_state的值取为5，表明完整目标即将进入中心区域。

按照一种较佳的实施方式，对步骤(1)中的生产线图像帧先进行降采样处理：

1≤k₁+1≤down_row,1≤k₂+1≤down_col,dsize＞0

其中IMGⁿ为生产线图像帧，其各像素点的灰度值为chan为IMGⁿ的通道数；DOWNⁿ为降采样图像，其各像素点的灰度值为k₁+1和k₂+1分别表示像素在降采样图像中的横、纵坐标；img_row和img_col分别表示输入图像的高度、宽度，dsize为降采样系数，降采样图像的高度、宽度分别为和

具体的操作是，初始状态下k₁和k₂的值均为0，按照逐行扫描的顺序对k₁和k₂赋值，将输入图像(1+k₁*dsize,1+k₂*dsize)位置上的像素赋值给降采样图像(k₁+1,k₂+1)位置上的像素，如果输入图像有多个通道，则取多个通道像素值的算数平均进行赋值；img_row＝2050,img_col＝2448,chan＝3为原始生产线图像帧的参数，降采样系数取为dsize＝10，得到降采样图像的尺寸为down_row＝205,down_col＝245，通道数为1。

一种生产线视频序列中捕获目标的***，包括以下模块：

第一模块，用于在当前时刻采集的生产线图像帧中定位目标；

第二模块，用于若目标定位状态表明只定位到目标后边界，进入第三模块；若目标定位状态表明定位到完整目标，则进入第四模块；若目标定位状态表明未发现目标或只定位到目标后边界，则进入第五模块；

第三模块，用于若当前帧及历史连续K-1帧的目标定位状态均表明只定位到目标前边界，则通过求取这K帧图像中目标前边界位置的变化估计目标移动速度和方向；否则，记录当前帧的目标前边界位置和帧序号，转入第五模块，K大于1；

第四模块，若当前帧的前一帧的目标定位状态表已明定位到完整目标，则依据前一帧的目标边界位置和估计的目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标定位相匹配，则表明该当前目标已被捕获，放弃该目标；否则，将当前目标作为新目标，输出当前帧图像，转入第五模块；

第五模块，用于等待进入下一帧，返回第一模块；

为评估本发明的性能，采用不同型号的手机目标视频序列进行测试。

图4a为JAI相机采集的原始图像，手机目标型号为Model1，可见存在强干扰的背景噪声，以手机目标的黑色区域作为检测区域；图4a经降采样后得到图4b；图4b经二值分割和轮廓提取后得带图4c；图4c经几何轮廓、形心位置筛选和轮廓内填充后得到图4d；图4d经垂直投影分割、逐列扫描、目标区域判断后得到目标前后边界位置和目标状态标识；图4e为目标位置效果图，得到图4a的处理结果如下：

obj_front＝10,obj_back＝196,obj_state＝4

图4f为与图4a同型号的手机目标，但确未安装与图4a中目标相同的手机配件，采用图4a的参数对图4f进行处理，得到目标位置效果图如图4g所示，并得到结果obj_front＝46,obj_back＝233,obj_state＝4。

图5a至图5g的图像含义分别与图4a至图4g相同，手机目标型号为Model2，以手机目标的白色区域作为检测区域，考虑到手机目标存在黑色边界，取较大的投影区域补偿prj_comp＝15，得到图5a的处理结果如下：

obj_front＝1,obj_back＝215,obj_state＝1

采用图5a的参数对图5f进行处理，得到目标位置效果图如图5g所示，并得到结果obj_front＝10,obj_back＝231,obj_state＝4。

图6a至图6g的图像含义分别与图4a至图4g相同，手机目标型号为Model3，可见在原始图像中存在光照不均、背景环境干扰、多目标出现的情况，以手机目标的黑色区域作为检测区域，得到图6a的处理结果如下：

obj_front＝36,obj_back＝225,obj_state＝4

采用图6a的参数对图6f进行处理，得到目标位置效果图如图6g所示，并得到结果obj_front＝32,obj_back＝239,obj_state＝4。

由以上实验结果可以看出，本发明方法能够应对背景强干扰、光照不均、多目标出现的情况，不仅能处理不同类型的目标，而且能适应不同加工状态的同类型目标，具有较强的鲁棒性；此外，本发明中的大比例降采样、自适应丢帧、自适应移动速度、移动方向更新保证了目标检测的快速性，满足生产线实时性要求，自适应后边界预测值更新保证了完整目标的不重复检测，不再一一举例说明。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种生产线视频序列中捕获目标的方法，其特征在于，包括以下步骤：

(1)输入第n帧原始生产线图像，在图像中进行目标定位，得到目标定位状态和目标前后边界位置；

(2)若目标定位状态表明只定位到目标后边界，则转入步骤(3)；若目标定位状态表明定位到完整目标，则转入步骤(4)；若目标定位状态表明未发现目标或只定位到目标后边界，则转入步骤(5)；

(3)若当前帧及历史连续K-1帧的目标定位状态均表明只定位到目标前边界，则通过求取这K帧图像中目标前边界位置的变化估计目标移动速度和方向；否则，记录当前帧的目标前边界位置和帧序号，转入步骤(5)，K大于1；

(4)若当前帧的前一帧的目标定位状态表已明定位到完整目标，则依据前一帧的目标边界位置和估计的目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标定位相匹配，则表明该当前目标已被捕获，放弃该目标；否则，将当前目标作为新目标，输出当前帧图像，转入步骤(5)；

(5)原始图像帧序号n加1，如果n大于N，则结束处理流程，否则转入步骤(1)，等待进入下一帧，N为生产线视频序列总帧数。

2.根据权利要求1所述的一种生产线视频序列中捕获目标的方法，其特征在于，所述步骤(1)目标定位的具体实现方式为：

当前时刻采集的第n帧生产线图像IMGⁿ，其各像素的灰度值为其中下标i、j分别表示像素在图像中的横、纵坐标，img_row、img_col分别表示IMGⁿ的高度、宽度；

对当前生产线图像帧进行二值分割和轮廓提取，得到闭合轮廓的初始集合，根据几何特征和形心位置对闭合轮廓集合进行筛选；

当存在一个目标轮廓时，对目标轮廓进行轮廓填充和垂直投影，并对垂直投影结果进行二值分割和逐列扫描；

当在扫描中发现一个目标区域时，记录目标区域的前、后边界位置为obj_front、obj_back，根据目标区域的前、后边界位置确定目标定位状态obj_state。

3.根据权利要求2所述的一种生产线视频序列中捕获目标的方法，其特征在于，所述步骤(1)目标定位的具体实现方式为：

步骤101：对当前生产线图像帧IMGⁿ进行二值分割和轮廓提取；

二值分割的具体公式如下：

其中，obj_th为当前帧分割阈值，取值范围为0≤obj_th≤255；obj_type为分割方向，值为0表示正向分割，值为1表示反向分割；&&表示左右两个条件同时成立；

轮廓提取的操作过程为：选取结构元素(ele_m,ele_n)对进行二值膨胀，执行的次数为ele_t，得到二值膨胀图像DILATEⁿ；对DILATEⁿ进行轮廓提取，得到闭合外轮廓的初始集合，其中闭合外轮廓的数量为cont_size；

步骤102：对闭合外轮廓进行筛选，以减小光照和背景环境的影响，具体操作是：计算闭合外轮廓的面积，得到轮廓面积的最大值cont_area_cmax，cmax为最大面积轮廓在集合中的序号，并计算轮廓形心位置，得到行坐标cont_ctr_cmax(x)、列坐标cont_ctr_cmax(y)，筛选公式如下：

(a)

(b)

(c)

其中area_rate_min、area_rate_max分别为轮廓面积与图像面积比值的上、下限，ctr_rate_min、ctr_rate_max分别为轮廓形心位置与图像高宽比值的上、下限；如果轮廓面积和轮廓形心位置满足公式条件，则得到一个目标轮廓，转入步骤103；否则转入步骤105；

步骤103：对目标轮廓进行轮廓填充和垂直投影，以灰度值255对目标轮廓及其内部区域进行填充，得到目标轮廓图像CONTⁿ；对CONTⁿ进行垂直投影，同一列的像素值进行累加，得到投影图像CONT_PRJⁿ；对CONT_PRJⁿ进行二值分割，以投影图像分割阈值obj_cont_th对CONT_PRJⁿ进行二值化分割，图像中大于obj_cont_th的像素值取值为255，否则取值为0，得到投影分割图像CONT_PRJ_BINⁿ；对CONT_PRJ_BINⁿ进行逐列扫描，计算CONT_PRJ_BINⁿ中像素值均为255的最长连续区域，得到区域的首、尾像素位置prj_first、prj_end；对最长连续区域进行补偿，补偿公式如下：

prj_first＝func_max(1,prj_first-prj_comp)

prj_end＝func_min(img_col,prj_end+prj_comp)

其中prj_comp为投影区域补偿值，func_max()函数表示取两个数的较大值，func_min()函数表示取两个数的较小值；

步骤104：对最长连续区域的首、末像素位置进行判断，得到目标水平方向长度obj_length＝prj_end-prj_first+1，如果obj_length＞prj_comp+1，则认为目标区域存在，并将目标区域的首、尾像素位置分别赋值给obj_front、obj_back，转入步骤106；否则转入步骤105；

步骤105：将obj_state取值为1，表示未发现目标，转入步骤112；

步骤106：对目标前边界位置进行筛选，筛选公式如下：

1≤obj_front≤edge_extend*img_col

其中edge_extend为图像边界水平方向扩展比例，可取0＜edge_extend＜1。如果obj_front满足筛选公式，则认为目标正位于图像的左边界上，并未完整出现，转入步骤107；否则转入步骤108；

步骤107：将obj_state取值为3，表示目标位于图像左边界上，只得到目标后边界位置，转入步骤112；

步骤108：对目标后边界位置进行筛选，筛选公式如下：

(1-edge_extend)*img_col≤obj_back≤img_col

如果obj_back满足筛选公式，则认为目标正位于图像的右边界上，并未完整出现，转入步骤109；否则转入步骤110，表示目标前后边界均有效；

步骤109：将obj_state取值为2，表示目标位于图像右边界上，只得到目标前边界位置，转入步骤112；

步骤110：对目标水平方向长度进行筛选，筛选公式如下：

len_perL,len_perH∈(0,1)&&len_perL＜len_perH

其中len_perL、len_perH分别为目标长度与目标轮廓图像宽度比值的上、下限；如果obj_length满足筛选公式，则认为出现完整目标，转入步骤111；否则转入步骤105；

步骤111：将obj_state取值为4，表示出现完整目标，得到目标前后边界位置；

步骤112：根据目标移动方向obj_move对目标状态和目标前后边界位置进行调整，如果obj_move为1，则不做处理；否则，做如下调整：

当obj_state为1时，不做处理；

当obj_state为2时，将obj_state重新取值为3，并交换obj_front和obj_back的值；

当obj_state为3时，将obj_state重新取值为2，并交换obj_front和obj_back的值；

当obj_state为4时，交换obj_front和obj_back的值。

4.根据权利要求1所述的一种生产线视频序列中捕获目标的方法，其特征在于，将序号为当前帧n加上丢帧数throw的图像帧作为下一帧处理；丢帧数throw的计算公式如下：

throw＝func_max(throw,0)+1

其中，obj_state＝1表示未发现目标，obj_state＝2表示目标位于图像前边界上，obj_state＝3or 4表示目标位于图像后边界上或完整目标，obj_state＝5表示即将进入中心区域的完整目标；

obj_front为目标区域的前边界位置，obj_back为目标区域的后边界位置，pixelv为目标移动速度，img_ctr为当前图像帧的列中心，obj_ctr为当前图像帧中目标的列中心，func_max()函数表示取两个数的较大值；

ctr_margin完整目标的丢帧数余量，ctr_margin为正整数；考虑到目标后边界预测值predict与throw的取值有关，对predict做如下更新：

5.根据权利要求1所述的一种生产线视频序列中捕获目标的方法，其特征在于，所述步骤(4)还判定目标是否在图像中心区域，若是，则提取目标，否则，根据目标当前位置和估计的目标移动速度预测目标是否在后续第M帧中会出现在图像中心区域，若是，则等待至后续第M帧提取目标作为有效目标，若否，将当前帧中的目标判定为有效目标。

6.根据权利要求5所述的一种生产线视频序列中捕获目标的方法，其特征在于，所述步骤(4)判定目标是否在图像中心区域的具体实现方式为：

计算图像帧的列中心img_ctr和图像帧中目标的列中心obj_ctr：

判定是否满足如下捕获条件：

(i)

(ii)

(iii)

其中，ctr_frame为中心区域帧数，将obj_ctr和img_ctr之间的距离通过pixelv换算为需要的帧数，定义以img_ctr为中心ctr_frame帧范围内的区域为中心区域；

捕获条件中的公式(i)表示当前目标正处于中心区域，公式(ii)表示当前目标虽然未进入中心区域，但是在下一帧图像中将会离开中心区域，公式(iii)表示当前目标虽然已经离开了中心区域，但目标后边界预测值为0，即当前目标尚未被捕获；如果满足捕获条件(i)或(ii)或(iii)，则进入重复目标判断流程；否则放弃当前目标，并将obj_state的值取为5，表明完整目标即将进入中心区域。

7.根据权利要求1所述的一种生产线视频序列中捕获目标的方法，其特征在于，还对步骤(1)中的生产线图像帧先进行降采样处理：

1≤k₁+1≤down_row,1≤k₂+1≤down_col,dsize＞0

其中IMGⁿ为生产线图像帧，其各像素点的灰度值为chan为IMGⁿ的通道数；DOWNⁿ为降采样图像，其各像素点的灰度值为k₁+1和k₂+1分别表示像素在图像中的横、纵坐标；img_row和img_col分别表示输入图像的高度、宽度，dsize为降采样系数，降采样图像的高度、宽度分别为和

8.一种生产线视频序列中捕获目标的***，其特征在于，包括以下模块：

第一模块，用于在当前时刻采集的生产线图像帧中定位目标；

第二模块，用于若目标定位状态表明只定位到目标后边界，进入第三模块；若目标定位状态表明定位到完整目标，则进入第四模块；若目标定位状态表明未发现目标或只定位到目标后边界，则进入第五模块；

第三模块，用于若当前帧及历史连续K-1帧的目标定位状态均表明只定位到目标前边界，则通过求取这K帧图像中目标前边界位置的变化估计目标移动速度和方向；否则，记录当前帧的目标前边界位置和帧序号，转入第五模块，K大于1；

第四模块，若当前帧的前一帧的目标定位状态表已明定位到完整目标，则依据前一帧的目标边界位置和估计的目标移动速度预测前一个目标在当前帧图像中的位置，若预测位置与当前目标定位相匹配，则表明该当前目标已被捕获，放弃该目标；否则，将当前目标作为新目标，输出当前帧图像，转入第五模块；

第五模块，用于等待进入下一帧，返回第一模块。