CN111915649A - 一种遮挡条件下的带钢运动目标跟踪方法 - Google Patents
一种遮挡条件下的带钢运动目标跟踪方法 Download PDFInfo
- Publication number
- CN111915649A CN111915649A CN202010733819.4A CN202010733819A CN111915649A CN 111915649 A CN111915649 A CN 111915649A CN 202010733819 A CN202010733819 A CN 202010733819A CN 111915649 A CN111915649 A CN 111915649A
- Authority
- CN
- China
- Prior art keywords
- target
- strip steel
- tracking
- color
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 80
- 239000010959 steel Substances 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010008 shearing Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007730 finishing process Methods 0.000 description 1
- 238000005098 hot rolling Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器视觉领域，具体涉及一种遮挡条件下的带钢运动目标跟踪方法。通过获取辊道上带钢的运动视频，利用计算高效、鲁棒性好的Camshift运动目标跟踪算法，融合颜色、纹理和边缘特征，在发生水汽或设备遮挡带钢时，使用BP神经网络和Kalman滤波器预测带钢的位置，完成对带钢的检测与跟踪任务，有效克服了传统的Camshift算法通过单一特征进行跟踪导致跟踪精度较低的缺陷，也为带钢被遮挡的问题提供了一个解决方法，避免了跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
Description
技术领域
本发明涉及机器视觉领域，具体涉及一种遮挡条件下的带钢运动目标跟踪方法。
背景技术
钢铁工业是国民经济的重要基础产业，也是所有工业化国家的基础工业之一。热轧带钢是钢铁企业的主要产品，被广泛应用在机械、建筑、国防、航空航天等各个工业领域。带钢的热轧加工是钢铁加工中的一项重要环节，也是最容易出现质量问题的生产环节。带钢在辊道上运动，并被输送到轧机上往复轧制及轧后输送到精整工序。在带钢的生产过程中，需要操作工人进行实时的观察与监控，才能了解到带钢所处的位置与状态，并进行相应的操作，预防意外的发生。
目前，钢厂中多采用HMD(Hot Metal Detector，热金属检测器)对带钢进行检测，并判断其运动位置，然而HMD信号的准确性和稳定性与现场环境关系极为密切，在检测器视场内有水汽、烟尘时，会造成信号闪烁，仪器灵敏度降低，对轧件头部和尾部位置无法进行准确的定位，容易造成剪切错误、堆钢等问题。
随着工业自动化水平的提高、数字图像处理技术的不断发展和计算机等多媒体技术的日益完善，视觉跟踪技术应运而生并且被广泛应用，其经济价值和社会价值已经受到全球学术界、企业的广泛关注，很多学者都在试图涉足或者已经从事这方面的研究。
在已有论文和专利方面，现有技术中带钢运动目标跟踪方法有以下几种：黄开林的《热轧带钢跟踪控制》中对于轧线上带钢的跟踪都是由从轧线PLC(Programmable LogicController，可编程逻辑控制器)接收到轧机速度、轧机咬钢、飞剪剪切等信号，根据现场实际检测设备信号来实现的。东北大学贾春迎使用多智能体来优化依据检测仪表信号进行跟踪事件判断的带钢跟踪控制***。上述论文都是使用热金属检测器等检测仪表信号，结合PLC进行带钢跟踪。然而现场检测设备较复杂，信号不稳定，很多问题不能得到预防和及时解决。东北大学张宾在转炉出钢注流目标跟踪控制***设计部分中,使用视频图像处理技术，采用质心跟踪算法对目标进行跟踪。专利“一种新型CBOCP在线红外转炉出钢钢流自动检测与跟踪方法及***”采用CBOCP(Camshift Based on Contour Features，基于轮廓特征的Ca mshift算法)红外钢流图像跟踪方法进行钢流自动检测与跟踪。上述论文和专利将视觉跟踪技术应用于钢流的跟踪，对辊道上带钢的检测与跟踪没有提及。
在实际钢厂的生产作业中，在辊道上运动的带钢易受到操作工人、机器设备、水雾等的遮挡，这对运动目标的跟踪产生很大的影响，甚至会导致跟踪丢失。Camshift算法是一种无需参数的基于核密度的快速模式匹配算法，可以有效解决目标形变问题，其计算简单、实时性高，然而传统的Camshift算法只通过追踪目标的颜色约束这一单一特征来实现对运动目标的跟踪，从而导致追踪精度较低。
发明内容
针对上述技术问题，本发明提供一种遮挡条件下的带钢运动目标跟踪方法，具体为融合多特征的Camshift算法结合BP神经网络和Kalman滤波器预测算法的热轧带钢运动目标跟踪方法。该方法融合颜色、纹理和边缘特征，有效克服了传统的Camshift算法使用单一特征进行跟踪导致跟踪精度较低的缺陷。采用BP神经网络和Kalman滤波器进行运动目标状态的预测，为在实际生产中产生的带钢被遮挡的问题提供了一个解决方法，避免跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
本发明是通过以下技术方案实现的：
一种遮挡条件下的带钢运动目标跟踪方法，所述方法通过获取辊道上带钢的运动视频，利用Camshift运动目标跟踪算法，融合颜色、纹理和边缘特征；当带钢处于被遮挡条件时，使用BP神经网络和Kalman滤波器预测带钢的位置，完成对带钢的检测与跟踪任务，以避免跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
进一步地，所述方法包括如下步骤：
(1)采集带钢在辊道上运动的视频，进行图像预处理，使用帧差法通过轮廓检测确定带钢的最小外接矩形轮廓，确定带钢作为追踪起始目标；
(2)使用步骤(1)确定的所述最小外接矩形轮廓作为初始化搜索框，求取目标的颜色特征、纹理特征及边缘特征的二维直方图，并求取搜索窗口的颜色直方图；
(3)将得到的颜色特征、纹理特征及边缘特征的二维直方图，分别计算各自的反向投影图，并通过不同的权重进行融合，得到融合多特征信息的反向投影图；
(4)对目标进行遮挡条件的判定：采用目标的颜色特征直方图和搜索窗口的颜色直方图，计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离，若求得的巴氏距离小于阈值，则判定为发生遮挡；若大于阈值，则未发生遮挡；
(5)若判定目标发生遮挡，采用BP神经网络和Kalman滤波器的预测算法，预测目标的运动状态，将预测的结果用于下一帧Camshift算法迭代；
(6)输出带钢运动目标跟踪结果。
进一步地，步骤(2)中，求取颜色特征的二维直方图的方法为：将图像转换到HSV颜色空间，所述颜色特征的二维直方图是采用从HSV颜色空间中分离出的色度分量的直方图。
进一步地，步骤(2)中，采用LBP算子来描述纹理特征，定义在一个3×3的窗口内，以窗口中心像素点的灰度值为阈值，与相邻的8个像素点的灰度值进行比较，若周围像素点的灰度值大于中心像素点的灰度值，则将相应的周围像素点的位置标记为1，否则标记为0；将二值化的结果组成一个8位二进制数，将得到的8位二进制数值作为窗口中心像素点的LBP值，以所述LBP值来反映3×3的窗口区域的纹理信息，即：
其中，LBP(xc，yc)表示以像素点(xc，yc)为中心的3×3窗口区域的纹理信息；p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示3×3窗口内第p个像素点的灰度值；s(x)公式如下：
进一步地，步骤(2)中，所述边缘特征是采用Canny算子来描述，图像平滑滤波后，计算梯度强度和方向，然后进行非极大值抑制，用双阈值算法检测和连接边缘，得到图像的边缘特征。
进一步地，步骤(4)中，对目标进行遮挡条件的判定，具体为：通过计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离来判断目标是否被遮挡：
其中，p(p，p′)为图像相似度系数，范围为0到1之间，0表示极其不同，1表示极其相似，p，p′分别代表目标的颜色特征直方图和搜索窗口的颜色直方图，i为图像的特征取值，取值范围为1，2，...，N；p(i)、p′(i)为特征值为i的两张图像在直方图上同一位置的概率分布。
进一步地，步骤(5)具体为：若判定目标发生遮挡，用保存的前六个时刻目标的位置点坐标依次做差构建差值矩阵，输入样本差值矩阵三行四列，共四对差值，由五对点坐标产生，每行两对差值；输出样本差值矩阵三行两列，共三对差值，由四对点坐标产生，每行一对差值；由构建的差值矩阵使用BP神经网络按行训练，然后再用相邻三个时刻的位置差值进行预测，得出下一时刻目标的可能位置，用BP神经网络的预测值代替Kalman滤波器中的观测值；
构建的BP神经网络模型，共三层，神经元个数依次为4、9、2，激活函数为Sigmoid函数，最高迭代次数为1000次，用BP神经网络的预测值代替Kalman滤波器中的观测值，Kalman滤波器的状态方程为三阶，通过三阶Kalman滤波器的状态方程进行预测，得到最后的最优估计值，将结果用于下一帧Camshift算法迭代；
由于带钢在辊道上运动为变加速运动，所以采用变加速运动模型；令目标的状态向量为：
X(k)＝[x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))]
其中x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))分别为目标质心在时刻为k时x轴和y轴方向上的坐标、速度和加速度；因此，目标的状态转移矩阵
为：
Δt是相邻两帧图像的时间间隔；目标的观测状态向量Y(k)为：
Y(k)＝[x(k)，y(k)]
根据目标状态和目标的观测状态的关系可得观测矩阵H(k)：
令动态噪声协方差矩阵Q(k)为6×6维的单位矩阵，观测噪声协方差矩阵R(k)为2×2维的单位矩阵。
本发明的有益技术效果是：
本发明提供的一种遮挡条件下的带钢运动目标跟踪方法克服了现有技术中跟踪方法热金属检测器灵敏度降低，检测不准确，易发生故障等问题。通过融合多特征(颜色、纹理及边缘特征)来改进Camshift算法，解决了Camshift算法只是依据目标的颜色信息来进行跟踪，跟踪精度较低的问题。结合BP神经网络和Kalman滤波器的预测算法实现对遮挡条件下的运动目标状态的预测，避免跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
并且，本发明所述方法采用视觉跟踪技术，对辊道上的带钢进行检测与跟踪，可以更新检测技术，以较少的投资额和改进时间，解决久拖未决的检测信号可靠性问题；提高剪切优化控制***的可靠性，降低设备事故和故障率，能最大限度地满足轧钢生产的需要；易维护，减少维修人员在危险区作业时间，降低维修人员的劳动强度和危险性；对钢厂实现产品的全流程跟踪、设备运行及维护、产品质量控制、现场异常情况的预警等方面都具有深远的意义。
附图说明
图1为本发明实施例中遮挡条件下的热轧带钢运动目标跟踪方法流程图。
图2为本发明实施例中的Camshift算法原理图。
图3为本发明实施例中的BP神经网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明实施例提供一种遮挡条件下的带钢运动目标跟踪方法，如图1所示，为本发明实施例中遮挡条件下的热轧带钢运动目标跟踪方法流程图。所述方法通过获取辊道上带钢的运动视频，利用Camshift运动目标跟踪算法，融合颜色、纹理和边缘特征；当带钢处于被遮挡条件时，使用BP神经网络和Kalman滤波器预测带钢的位置，完成对带钢的检测与跟踪任务；避免跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
在本实施例中，所述方法具体包括如下步骤：
(1)在热轧带钢生产线上安装摄像机，通过摄像机采集带钢在辊道上运动的视频，进行图像去噪处理，并使用帧差法在视频相邻两帧间采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。通过轮廓检测确定带钢的最小外接矩形轮廓，确定带钢这个运动目标，并将其作为追踪起始目标；
(2)使用步骤(1)确定的所述最小外接矩形轮廓作为初始化搜索框，求取目标的颜色特征、纹理特征及边缘特征的二维直方图，并求取搜索窗口的颜色直方图。其中，所述颜色直方图为图像色度分量的直方图；所述纹理特征是通过计算LBP(Local BinaryPattern，局部二值模式)得到灰度图像，来表示目标的纹理信息，然后计算纹理图的直方图；所述边缘特征是视频图像通过计算Canny算子得到的边缘图像，来描述带钢的边缘信息，然后计算边缘图的直方图；具体地：
在本实施例中，求取颜色特征的二维直方图的方法为：将图像转换到HSV颜色空间，所述颜色特征的二维直方图是采用从HSV颜色空间中分离出的色度分量的直方图。
在本实施例中，采用LBP算子来描述纹理特征，定义在一个3×3的窗口内，以窗口中心像素点的灰度值为阈值，与相邻的8个像素点的灰度值比较，若周围像素点的灰度值大于中心像素点的灰度值，则将相应的周围像素点的位置标记为1，否则标记为0。将二值化的结果组成一个8位二进制数，将得到的8位二进制数值作为窗口中心像素点的LBP值，以所述LBP值来反映3×3的窗口区域的纹理信息，即：
其中，LBP(xc，yc)表示以像素点(xc，yc)为中心的3×3窗口区域的纹理信息；p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示3×3窗口内第p个像素点的灰度值；s(x)公式如下：
在本实施例中，所述边缘特征是采用Canny算子来描述，图像平滑滤波后，计算梯度强度和方向，然后进行非极大值抑制，用双阈值算法检测和连接边缘，得到图像的边缘特征。
(3)利用得到的颜色、纹理及边缘特征的二维直方图，分别计算出各自的反向投影图，并通过不同的权重对三种反向投影图进行融合，得到融合多特征信息的反向投影图。用颜色特征作为带钢跟踪的主要特征信息，分配权重最大，纹理和边缘特征分配权重较小。
(4)对目标进行遮挡条件的判定：采用目标的颜色特征直方图和搜索窗口的颜色直方图，计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离，若求得的巴氏距离小于阈值，则判定为发生遮挡；若大于阈值，则未发生遮挡；具体地，
对目标进行遮挡条件的判定，具体为：通过计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离来判断目标是否被遮挡：
其中，ρ(p，p′)为图像相似度系数，范围为0到1之间，0表示极其不同，1表示极其相似。p，p′分别代表目标的颜色特征直方图和搜索窗口的颜色直方图，i为图像的特征取值，取值范围为1，2，...，N。p(i)、p′(i)为特征值为i的两张图像在直方图上同一位置的概率分布。
(5)若判定目标发生遮挡，采用BP(Back Propagation，反向传播)神经网络和Kalman滤波器的预测算法，预测目标的运动状态，将预测的结果用于下一帧Camshift(Continuously adaptive mean shift，连续自适应均值漂移)算法迭代；
具体地，若判定目标发生遮挡，用保存的前六个时刻目标的位置点坐标依次做差构建差值矩阵，其中输入样本差值矩阵三行四列，共四对差值，由五对点坐标产生，其中每行两对差值；输出样本差值矩阵三行两列，共三对差值，由四对点坐标产生，其中每行一对差值。由构建的差值矩阵使用BP神经网络按行训练。然后再用相邻三个时刻的位置差值进行预测，得出下一时刻目标的可能位置，用BP神经网络的预测值代替Kalman滤波器中的观测值。
构建的BP神经网络模型，共三层，神经元个数依次为4、9、2，激活函数为Sigmoid函数，最高迭代次数为1000次。用神经网络的预测值代替Kalman滤波器中的观测值，Kalman滤波器的状态方程为三阶，通过三阶Kalman滤波器的状态方程进行预测，得到最后的最优估计值，将结果用于下一帧Camshift算法迭代。
由于带钢在辊道上运动为变加速运动，所以采用变加速运动模型；令目标的状态向量为：
X(k)＝[x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))]
其中x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))分别为目标质心在时刻为k时x轴和y轴方向上的坐标、速度和加速度；因此，目标的状态转移矩阵
为：
Δt是相邻两帧图像的时间间隔；目标的观测状态向量Y(k)为：
Y(k)＝[x(k)，y(k)]
根据目标状态和目标的观测状态的关系可得观测矩阵H(k)：
令动态噪声协方差矩阵Q(k)为6×6维的单位矩阵，观测噪声协方差矩阵R(k)为2×2维的单位矩阵。
在本实施例中，采用的基本运动目标跟踪算法为Camshift算法，求取目标的色度颜色直方图、LBP纹理特征直方图和Canny算子边缘特征直方图，并对计算出的多特征的反向投影图进行融合，再进行Camshift搜索迭代。图2为Camshift算法原理图。通常是将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色度分量做该区域的颜色直方图计算。这样即得到目标模板的颜色直方图。根据获得的颜色直方图将原始输入图像转化成颜色概率分布图像，该过程称为“反向投影”。利用Meanshift算法在反向投影图中迭代搜索，计算搜索框的质心位置。如此迭代，直到得到搜索框满足收敛条件为止。
图3为本发明所搭建的BP神经网络结构图，BP神经网络模型共三层，神经元个数依次为4、9、2；激活函数为Sigmoid函数。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，所述方法通过获取辊道上带钢的运动视频，利用Camshift运动目标跟踪算法，融合颜色、纹理和边缘特征；当带钢处于被遮挡条件时，使用BP神经网络和Kalman滤波器预测带钢的位置，完成对带钢的检测与跟踪任务，以避免跟踪目标丢失，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。
2.根据权利要求1所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，所述方法包括如下步骤：
(1)采集带钢在辊道上运动的视频，进行图像预处理，使用帧差法通过轮廓检测确定带钢的最小外接矩形轮廓，确定带钢作为追踪起始目标；
(2)使用步骤(1)确定的所述最小外接矩形轮廓作为初始化搜索框，求取目标的颜色特征、纹理特征及边缘特征的二维直方图，并求取搜索窗口的颜色直方图；
(3)将得到的颜色特征、纹理特征及边缘特征的二维直方图，分别计算各自的反向投影图，并通过不同的权重进行融合，得到融合多特征信息的反向投影图；
(4)对目标进行遮挡条件的判定：采用目标的颜色特征直方图和搜索窗口的颜色直方图，计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离，若求得的巴氏距离小于阈值，则判定为发生遮挡；若大于阈值，则未发生遮挡；
(5)若判定目标发生遮挡，采用BP神经网络和Kalman滤波器的预测算法，预测目标的运动状态，将预测的结果用于下一帧Camshift算法迭代；
(6)输出带钢运动目标跟踪结果。
3.根据权利要求2所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，步骤(2)中，求取颜色特征的二维直方图的方法为：将图像转换到HSV颜色空间，所述颜色特征的二维直方图是采用从HSV颜色空间中分离出的色度分量的直方图。
4.根据权利要求2所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，步骤(2)中，采用LBP算子来描述纹理特征，定义在一个3×3的窗口内，以窗口中心像素点的灰度值为阈值，与相邻的8个像素点的灰度值进行比较，若周围像素点的灰度值大于中心像素点的灰度值，则将相应的周围像素点的位置标记为1，否则标记为0；将二值化的结果组成一个8位二进制数，将得到的8位二进制数值作为窗口中心像素点的LBP值，以所述LBP值来反映3×3的窗口区域的纹理信息，即：
其中，LBP(xc，yc)表示以像素点(xc，yc)为中心的3×3窗口区域的纹理信息；p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示3×3窗口内第p个像素点的灰度值；s(x)公式如下：
5.根据权利要求2所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，步骤(2)中，所述边缘特征是采用Canny算子来描述，图像平滑滤波后，计算梯度强度和方向，然后进行非极大值抑制，用双阈值算法检测和连接边缘，得到图像的边缘特征。
6.根据权利要求2所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，步骤(4)中，对目标进行遮挡条件的判定，具体为：通过计算目标的颜色特征直方图和搜索窗口的颜色直方图的Bhattacharyya距离来判断目标是否被遮挡：
其中，ρ(p，p′)为图像相似度系数，范围为0到1之间，0表示极其不同，1表示极其相似，p，p′分别代表目标的颜色特征直方图和搜索窗口的颜色直方图，i为图像的特征取值，取值范围为1，2，...，N；p(i)、p′(i)为特征值为i的两张图像在直方图上同一位置的概率分布。
7.根据权利要求2所述的一种遮挡条件下的带钢运动目标跟踪方法，其特征在于，步骤(5)具体为：若判定目标发生遮挡，用保存的前六个时刻目标的位置点坐标依次做差构建差值矩阵，输入样本差值矩阵三行四列，共四对差值，由五对点坐标产生，每行两对差值；输出样本差值矩阵三行两列，共三对差值，由四对点坐标产生，每行一对差值；由构建的差值矩阵使用BP神经网络按行训练，然后再用相邻三个时刻的位置差值进行预测，得出下一时刻目标的可能位置，用BP神经网络的预测值代替Kalman滤波器中的观测值；
构建的BP神经网络模型，共三层，神经元个数依次为4、9、2，激活函数为Sigmoid函数，最高迭代次数为1000次，用BP神经网络的预测值代替Kalman滤波器中的观测值，Kalman滤波器的状态方程为三阶，通过三阶Kalman滤波器的状态方程进行预测，得到最后的最优估计值，将结果用于下一帧Camshift算法迭代；
由于带钢在辊道上运动为变加速运动，所以采用变加速运动模型；令目标的状态向量为：
X(k)＝[x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))]
其中x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))分别为目标质心在时刻为k时x轴和y轴方向上的坐标、速度和加速度；因此，目标的状态转移矩阵
为：
Δt是相邻两帧图像的时间间隔；目标的观测状态向量Y(k)为：
Y(k)＝[x(k)，y(k)]
根据目标状态和目标的观测状态的关系可得观测矩阵H(k)：
令动态噪声协方差矩阵Q(k)为6×6维的单位矩阵，观测噪声协方差矩阵R(k)为2×2维的单位矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733819.4A CN111915649A (zh) | 2020-07-27 | 2020-07-27 | 一种遮挡条件下的带钢运动目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733819.4A CN111915649A (zh) | 2020-07-27 | 2020-07-27 | 一种遮挡条件下的带钢运动目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915649A true CN111915649A (zh) | 2020-11-10 |
Family
ID=73281892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010733819.4A Pending CN111915649A (zh) | 2020-07-27 | 2020-07-27 | 一种遮挡条件下的带钢运动目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915649A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937231A (zh) * | 2022-07-21 | 2022-08-23 | 成都西物信安智能***有限公司 | 一种提高目标识别跟踪准确度的方法 |
| CN116523893A (zh) * | 2023-05-16 | 2023-08-01 | 华院计算技术(上海)股份有限公司 | 一种基于机器视觉的飞钢检测***及方法 |
| CN117392179A (zh) * | 2023-12-11 | 2024-01-12 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081801A (zh) * | 2011-01-26 | 2011-06-01 | 上海交通大学 | 多特征自适应融合船舶跟踪和航迹检测方法 |
| CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
| CN104200485A (zh) * | 2014-07-10 | 2014-12-10 | 浙江工业大学 | 一种面向视频监控的人体跟踪方法 |
| US20150009323A1 (en) * | 2013-07-03 | 2015-01-08 | Zmodo Technology Shenzhen Corp. Ltd | Multi-target tracking method for video surveillance |
| US20150178568A1 (en) * | 2013-12-23 | 2015-06-25 | Canon Kabushiki Kaisha | Method for improving tracking using dynamic background compensation with centroid compensation |
| CN110472607A (zh) * | 2019-08-21 | 2019-11-19 | 上海海事大学 | 一种船舶跟踪方法及*** |
-
2020
- 2020-07-27 CN CN202010733819.4A patent/CN111915649A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102081801A (zh) * | 2011-01-26 | 2011-06-01 | 上海交通大学 | 多特征自适应融合船舶跟踪和航迹检测方法 |
| CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
| US20150009323A1 (en) * | 2013-07-03 | 2015-01-08 | Zmodo Technology Shenzhen Corp. Ltd | Multi-target tracking method for video surveillance |
| US20150178568A1 (en) * | 2013-12-23 | 2015-06-25 | Canon Kabushiki Kaisha | Method for improving tracking using dynamic background compensation with centroid compensation |
| CN104200485A (zh) * | 2014-07-10 | 2014-12-10 | 浙江工业大学 | 一种面向视频监控的人体跟踪方法 |
| CN110472607A (zh) * | 2019-08-21 | 2019-11-19 | 上海海事大学 | 一种船舶跟踪方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| BIN ZHENG 等: "Object Tracking Algorithm Based on Combination of Dynamic Template Matching and Kalman Filter", 《2012 4TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS》, pages 136 - 139 * |
| 仇男豪 等: "改进的Camshift与Kalman滤波联合跟踪算法", 《电子设计工程》, vol. 28, no. 14, pages 11 - 15 * |
| 郭世凯 等: "基于改进的Camshift算法的室内小车跟踪", 《电子测量技术》, vol. 42, no. 12, pages 105 - 111 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937231A (zh) * | 2022-07-21 | 2022-08-23 | 成都西物信安智能***有限公司 | 一种提高目标识别跟踪准确度的方法 |
| CN116523893A (zh) * | 2023-05-16 | 2023-08-01 | 华院计算技术(上海)股份有限公司 | 一种基于机器视觉的飞钢检测***及方法 |
| CN116523893B (zh) * | 2023-05-16 | 2023-12-26 | 华院计算技术(上海)股份有限公司 | 一种基于机器视觉的飞钢检测***及方法 |
| CN117392179A (zh) * | 2023-12-11 | 2024-01-12 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
| CN117392179B (zh) * | 2023-12-11 | 2024-02-27 | 四川迪晟新达类脑智能技术有限公司 | 一种基于相关滤波器和边缘框的目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Efficient detection model of steel strip surface defects based on YOLO-V7 | |
| KR102129893B1 (ko) | 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템 | |
| CN111915649A (zh) | 一种遮挡条件下的带钢运动目标跟踪方法 | |
| KR20200007084A (ko) | 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템 | |
| CN106204484B (zh) | 一种基于光流和局部不变特征的交通目标跟踪方法 | |
| CN112785628B (zh) | 一种基于全景视角检测跟踪的轨迹预测方法及*** | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
| CN105069778B (zh) | 基于目标特征显著图构建的工业产品表面缺陷检测方法 | |
| CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
| Chen et al. | An intelligent sewer defect detection method based on convolutional neural network | |
| CN116486287A (zh) | 基于环境自适应机器人视觉***的目标检测方法及*** | |
| CN111986237A (zh) | 一种人数无关的实时多目标跟踪算法 | |
| CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
| Chen et al. | Intrusion detection of specific area based on video | |
| CN113536934B (zh) | 一种巡逻机器人执行追踪任务时的主动隐藏方法 | |
| Xu et al. | Moving target tracking based on adaptive background subtraction and improved camshift algorithm | |
| Liao et al. | Multi-scale ship tracking based on maritime monitoring platform | |
| CN115409768A (zh) | 一种基于特征输入增强的渗漏水病害深度学习检测方法 | |
| Han et al. | Damage detection of quayside crane structure based on improved faster R-CNN | |
| Xiaojun et al. | Tracking of moving target based on video motion nuclear algorithm | |
| Meng et al. | An extraction method of fish vector field for marine cage culture based on UAV vision | |
| CN116343125B (zh) | 一种基于计算机视觉的集装箱箱底锁头检测方法 | |
| CN118096815B (zh) | 一种基于机器视觉的道路非常态事件检测*** | |
| CN202720689U (zh) | 基于dsp的运动目标检测与跟踪*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |