CN113256687B - 一种在线视频多目标跟踪方法 - Google Patents

一种在线视频多目标跟踪方法 Download PDF

Info

Publication number
CN113256687B
CN113256687B CN202110725244.6A CN202110725244A CN113256687B CN 113256687 B CN113256687 B CN 113256687B CN 202110725244 A CN202110725244 A CN 202110725244A CN 113256687 B CN113256687 B CN 113256687B
Authority
CN
China
Prior art keywords
target
dictionary
particles
information
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110725244.6A
Other languages
English (en)
Other versions
CN113256687A (zh
Inventor
赖欣
童思琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202110725244.6A priority Critical patent/CN113256687B/zh
Publication of CN113256687A publication Critical patent/CN113256687A/zh
Application granted granted Critical
Publication of CN113256687B publication Critical patent/CN113256687B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种在线视频多目标跟踪方法，用于图像处理领域。其技术方案：由门限测量分类、后验概率估计、利用相关系数重采样、字典构建、多任务结构稀疏性、字典在线更新、ID轨道管理等组成；视频信息通过门限测量分类为生存目标和残差测量，通过字典在线更新后得到新生目标信息；在重采样环节利用相关系数重采样进行粒子样本更新，获得后验概率估计值；将概率估计后得到的出生目标和新生目标的信息进行ID轨道管理，综合判断后在视频中显示跟踪结果。本装置解决了在视频环境下的时空交错问题，大大降低了错误判断，提高了判断的时效性、精准性及稳定性。

Description

一种在线视频多目标跟踪方法
技术领域
本发明涉及图像处理领域，具体涉及一种在线视频多目标跟踪方法。
背景技术
随着新时代社会的发展，多目标跟踪在计算机视觉中逐渐备受关注。多目标跟踪(Multiple Object Tracking or Multiple Target Tracking, MOT or MTT)主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。MOT主要应用场景是安防监控和自动驾驶等，这些场景中我们往往需要对众多目标同时进行追踪。这是仅用目标检测算法或单目标跟踪算法都无法做到的，因此多目标跟踪算法更具有研究意义。多目标跟踪会产生新目标进入与旧目标消失的问题导致多目标跟踪需要更复杂的跟踪策略。由于多目标跟踪任务本身的复杂性和目标重叠、外观剧变等问题，使得多目标跟踪仍然是面临着重大挑战。
多目标跟踪在视频中的跟踪效果主要取决于解决其遮挡问题，通过包含预测和更新环节的滤波器来识别在同一画面中的不同目标，对其进行跟踪和标记。多目标跟踪的重要环节在于区分生存目标、出生目标和在更新环节中提高其后验密度的准确性。传统的多目标跟踪利用贝叶斯递推规则等计算后验概率，再利用粒子滤波来估计概率获得目标状态，这种方式运用在视频3D环境下的多目标跟踪不能准确地解决多目标的时空交错问题和生存与出生对象的判断问题。为解决这类问题，提出一种在线视频多目标跟踪方法。
发明内容
为解决多目标跟踪在视频环境下的判断识别问题，本发明旨在提供一种在线视频多目标跟踪方法，解决了在视频中的复杂环境下人体跟踪识别的遮挡问题。
为解决上述问题，本发明的具体方法为：
步骤1、设置目标状态集为
Figure 100002_DEST_PATH_IMAGE002
，和目标测量集为
Figure 100002_DEST_PATH_IMAGE004
，其中
Figure 100002_DEST_PATH_IMAGE006
表示第
Figure 26682DEST_PATH_IMAGE006
时刻，
Figure 100002_DEST_PATH_IMAGE008
和
Figure 100002_DEST_PATH_IMAGE010
分别代表目标数量和观测数量，
Figure 100002_DEST_PATH_IMAGE012
代表目标状态信息，
Figure 100002_DEST_PATH_IMAGE014
代表目标观测信息；将提取的探测区域的视频信息通过门限测量分类为生存目标和残差测量；
步骤2、字典训练阶段：从目标区域中构建两个组合特征集，分别为由颜色直方图的变换系数组成的特征向量形成一个颜色直方图特征集和由灰度梯度直方图的变换系数组成的特征向量形成一个灰度梯度直方图特征集；将两个特征集的组结构信息融合到字典训练中，构建一个含有相关融合信息的字典用于新生目标信息的提取；
步骤3、字典使用阶段：利用字典矩阵和稀疏矩阵来线性表示原始样本
Figure 100002_DEST_PATH_IMAGE016
，其中
Figure 100002_DEST_PATH_IMAGE018
代表第
Figure 100002_DEST_PATH_IMAGE020
个观测向量；再通过多任务组结构稀疏性方式来获得观测信号特征矩阵和组结构字典的相似性，从而得到误差矩阵；
步骤4、通过判断误差矩阵和阈值之间的关系决定是否进行字典在线更新；
步骤5、字典在线更新后重复步骤3、步骤4重新进行判断，满足误差后得到新生目标信息；
步骤6、利用步骤5得到的新生目标信息，结合生存目标信息一起进行后验概率估计；通过序列蒙特卡洛滤波来估计在非线性高斯情况下的后验概率；
步骤7、在重采样环节利用相关系数重采样进行粒子样本更新，获得后验概率估计值；
步骤8、将概率估计后得到的出生目标和新生目标的信息进行ID轨道管理，判断视频中是否出现新的ID；
步骤9、如果出现新的ID，则通过预测环节反馈到门限测量分类环节进行重新判断，综合判断后在视频中显示跟踪结果。
本发明的特点还在于：
步骤1具体包括：
采用自适应门控方式进行门限测量分类，用一个验证门限
Figure 100002_DEST_PATH_IMAGE022
判断生存目标和残差测量；其中
Figure 100002_DEST_PATH_IMAGE024
代表第
Figure 100002_DEST_PATH_IMAGE025
次测量的长度和宽度尺寸信息，
Figure 100002_DEST_PATH_IMAGE027
表示通过
Figure 100002_DEST_PATH_IMAGE029
获得第
Figure 100002_DEST_PATH_IMAGE031
个预测目标状态的宽度和高度，
Figure 100002_DEST_PATH_IMAGE033
表示转移矩阵，
Figure 100002_DEST_PATH_IMAGE035
是观测矩阵；利用
Figure 100002_DEST_PATH_IMAGE037
来更新门控阈值即
Figure 100002_DEST_PATH_IMAGE039
，其中自适应参数
Figure 100002_DEST_PATH_IMAGE041
为时间
Figure 100002_DEST_PATH_IMAGE043
处的观测集
Figure 100002_DEST_PATH_IMAGE045
与
Figure 100002_DEST_PATH_IMAGE047
处的观测集
Figure 100002_DEST_PATH_IMAGE049
之间的相似度。
步骤3具体包括：
字典学习时利用字典矩阵
Figure 100002_DEST_PATH_IMAGE051
和稀疏矩阵
Figure 100002_DEST_PATH_IMAGE053
来线性表示原始样本
Figure 100002_DEST_PATH_IMAGE055
，即
Figure 100002_DEST_PATH_IMAGE057
；通过多任务组结构稀疏性的方式来获得观测信号特征矩阵，从而得到原始样本
Figure 649336DEST_PATH_IMAGE055
，利用原始样本初始化字典得到初始字典
Figure 100002_DEST_PATH_IMAGE059
,稀疏编码后得到
Figure 100002_DEST_PATH_IMAGE061
；通过计算误差值
Figure 100002_DEST_PATH_IMAGE063
来进行误差判断，其中
Figure 100002_DEST_PATH_IMAGE065
为约束系数，
Figure 100002_DEST_PATH_IMAGE067
为稀疏矩阵
Figure 100002_DEST_PATH_IMAGE069
中的第
Figure 100002_DEST_PATH_IMAGE071
行向量。
步骤6具体包括：
利用概率假设密度对目标进行概率假设，获得其后验概率
Figure 100002_DEST_PATH_IMAGE073
；利用序列蒙特卡洛滤波，样本的采样采用重要性采样，用后验概率函数的期望值来估计后验概率，使得后验概率估计由带权值的粒子合集
Figure 100002_DEST_PATH_IMAGE075
表示，其中
Figure 100002_DEST_PATH_IMAGE077
代表采样的粒子数，
Figure 100002_DEST_PATH_IMAGE079
代表第
Figure 701081DEST_PATH_IMAGE006
时刻第
Figure 100002_DEST_PATH_IMAGE081
个粒子的的权重，
Figure DEST_PATH_IMAGE083
代表第
Figure 789254DEST_PATH_IMAGE006
时刻第
Figure 495042DEST_PATH_IMAGE081
个粒子的状态；
步骤7具体包括：
利用相关系数重采样的方式更新粒子样本，将原带权值的粒子合集转换新的带权值的粒子合集
Figure DEST_PATH_IMAGE085
，其中
Figure 100002_DEST_PATH_IMAGE086
代表采样的粒子数，
Figure 100002_DEST_PATH_IMAGE088
代表第
Figure 643258DEST_PATH_IMAGE006
时刻第
Figure 100002_DEST_PATH_IMAGE090
个粒子的的权重，
Figure DEST_PATH_IMAGE092
代表第
Figure 247546DEST_PATH_IMAGE006
时刻第
Figure 100002_DEST_PATH_IMAGE093
个粒子的状态；先从后验概率
Figure 326360DEST_PATH_IMAGE073
中抽取
Figure 100002_DEST_PATH_IMAGE095
个粒子组成状态样本合集
Figure 100002_DEST_PATH_IMAGE097
，
Figure DEST_PATH_IMAGE098
代表第
Figure 100002_DEST_PATH_IMAGE099
时刻第
Figure 714352DEST_PATH_IMAGE081
个粒子的状态；用
Figure 100002_DEST_PATH_IMAGE101
代表样本的观测集，其中
Figure 100002_DEST_PATH_IMAGE103
代表第
Figure DEST_PATH_IMAGE104
时刻第
Figure 361365DEST_PATH_IMAGE081
个粒子的状态观测值；设置样本阈值
Figure DEST_PATH_IMAGE106
，利用样本权重计算有效样本量
Figure DEST_PATH_IMAGE108
；在重采样过程中对于权值较小的粒子并不舍弃，引入一个含粒子似然函数和量测值之间相关性的核函数来调整第
Figure 374321DEST_PATH_IMAGE006
时刻第
Figure 100002_DEST_PATH_IMAGE109
个粒子的粒子权值
Figure 100002_DEST_PATH_IMAGE111
更新；用肯德尔秩次相关系数
Figure 100002_DEST_PATH_IMAGE113
来计算实际量测值
Figure 100002_DEST_PATH_IMAGE115
和估计量测值
Figure 100002_DEST_PATH_IMAGE117
之间的相关性，其中
Figure 100002_DEST_PATH_IMAGE119
代表观测序列的长度，
Figure 100002_DEST_PATH_IMAGE121
为
Figure 100002_DEST_PATH_IMAGE123
中实际量测值和估计值之间一致的数量，
Figure 100002_DEST_PATH_IMAGE125
为
Figure 100002_DEST_PATH_IMAGE127
中实际量测值和估计值之间不一致的数量；用一个带参数
Figure 100002_DEST_PATH_IMAGE129
的指示函数使肯德尔相关系数
Figure 100002_DEST_PATH_IMAGE131
的取值范围为正，即
Figure 100002_DEST_PATH_IMAGE133
，且
Figure DEST_PATH_IMAGE135
；利用矫正后的肯德尔秩次相关系数
Figure DEST_PATH_IMAGE137
来更新粒子权重后，再通过递归的方式计算当前粒子权重
Figure 100002_DEST_PATH_IMAGE139
，其中
Figure 100002_DEST_PATH_IMAGE141
表示第
Figure 100002_DEST_PATH_IMAGE143
时刻第
Figure 693044DEST_PATH_IMAGE109
个粒子的粒子权重，
Figure 100002_DEST_PATH_IMAGE145
表示第
Figure 100002_DEST_PATH_IMAGE147
时刻的观测状态概率；对粒子权重进行归一化计算后用于更新后验概率估计值。
本发明的有益效果是：(1)通过在线字典组结构大大降低了错误判断，提高了准确性和抗干扰能力；（2） 利用相关系数重采样方法，解决了在视频环境下的时空交错问题；（3）本发明方便易于控制，增强了对象判断能力，提高了判断的时效性、精准性及稳定性。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图1对本发明所述的方法做进一步说明。
一种在线视频多目标跟踪方法，其具体实施步骤如下：
（1）在对一个视频进行多目标状态估计之前，根据视频信息建立多目标状态集和多目标观测集，具体步骤如下：
（1-1）设置目标状态集
Figure 100002_DEST_PATH_IMAGE149
，其中
Figure 100002_DEST_PATH_IMAGE151
代表目标数量，
Figure DEST_PATH_IMAGE152
表示第
Figure 100002_DEST_PATH_IMAGE153
时刻，
Figure 100002_DEST_PATH_IMAGE155
代表目标状态信息，第
Figure 100002_DEST_PATH_IMAGE157
个目标的状态向量为
Figure 100002_DEST_PATH_IMAGE159
，其中
Figure 100002_DEST_PATH_IMAGE161
,每个目标状态向量包含的信息为2D图像的位置、速度和目标大小尺寸；
（1-2）设置目标测量集为
Figure 100002_DEST_PATH_IMAGE163
，
Figure DEST_PATH_IMAGE165
分别代表观测数量，
Figure 100002_DEST_PATH_IMAGE166
代表目标观测信息，第
Figure DEST_PATH_IMAGE168
个目标的观测向量为
Figure DEST_PATH_IMAGE170
，其中
Figure 100002_DEST_PATH_IMAGE172
,每个目标观测向量包含的信息为2D图像的位置和目标大小尺寸。
（2）提取生存目标和残差测量：
（2-1）门限分类：获取视频信息得到目标状态集
Figure 100002_DEST_PATH_IMAGE173
和目标测量集
Figure 100002_DEST_PATH_IMAGE174
后，使用融合时空和人的信息的自适应验证门限
Figure 100002_DEST_PATH_IMAGE175
进行门限测量分类，其中
Figure DEST_PATH_IMAGE176
代表第
Figure 549923DEST_PATH_IMAGE168
次测量的长度和宽度尺寸信息，
Figure 100002_DEST_PATH_IMAGE178
表示通过
Figure 100002_DEST_PATH_IMAGE180
获得第
Figure 554788DEST_PATH_IMAGE031
个预测目标状态的宽度和高度，
Figure DEST_PATH_IMAGE182
表示转移矩阵，
Figure 805772DEST_PATH_IMAGE035
是观测矩阵；
（2-2）门限更新：在视频环境下，人体目标的大小会随着摄像机的不同视角而改变，特别是当目标出现和消失在监控区域时；使用与以前测量相关联的自适应参数来更新门控阈值从而解决验证区域的不确定性，即
Figure DEST_PATH_IMAGE183
；其中自适应参数
Figure DEST_PATH_IMAGE184
为时间
Figure DEST_PATH_IMAGE186
处的观测集
Figure DEST_PATH_IMAGE188
与
Figure DEST_PATH_IMAGE190
处的观测集
Figure DEST_PATH_IMAGE192
之间的相似度；通过自适应门限测量分类步骤得到生存目标和残差测量，为之后的新生目标强度估计提供先验数据；
（3）字典学习阶段：
（3-1）字典训练：在视频中先提取出目标区域，从目标区域中的图像提取出颜色直方图和灰度梯度直方图来表征视频情况下的图像特征，用由颜色直方图的变换系数
Figure DEST_PATH_IMAGE194
组成的特征向量
Figure DEST_PATH_IMAGE196
形成的一个特征集
Figure DEST_PATH_IMAGE198
，其中
Figure DEST_PATH_IMAGE200
代表训练数据中特征向量的总数，同样地也可形成灰度梯度直方图的特征集
Figure DEST_PATH_IMAGE202
；从图像当前帧处得到的残差测量值中裁剪出观测目标，并提取图像特征构成观测向量
Figure DEST_PATH_IMAGE204
；将构建好的两个特征集组合之后的组结构信息融合到字典训练中，使得每个部分的特征信息进行融合；
（3-2）字典学习：利用字典矩阵
Figure DEST_PATH_IMAGE205
和稀疏矩阵
Figure 36508DEST_PATH_IMAGE053
来线性表示原始样本
Figure DEST_PATH_IMAGE206
，即
Figure DEST_PATH_IMAGE207
，其中
Figure 322127DEST_PATH_IMAGE018
代表第
Figure DEST_PATH_IMAGE208
个观测向量；其中字典矩阵为
Figure DEST_PATH_IMAGE209
，
Figure DEST_PATH_IMAGE211
表示原子数；稀疏矩阵为
Figure DEST_PATH_IMAGE213
，
Figure DEST_PATH_IMAGE215
代表样本个数，
Figure DEST_PATH_IMAGE217
代表样本属性；通过多任务组结构稀疏性的方式来获得观测信号特征矩阵从而得到原始样本
Figure 373260DEST_PATH_IMAGE055
，利用原始样本初始化字典得到初始字典
Figure DEST_PATH_IMAGE218
, 初始化稀疏矩阵为零矩阵
Figure DEST_PATH_IMAGE219
；
（3-3）字典判断：通过计算误差值
Figure DEST_PATH_IMAGE220
来进行误差判断，其中
Figure DEST_PATH_IMAGE221
为约束系数，
Figure DEST_PATH_IMAGE222
为稀疏矩阵
Figure DEST_PATH_IMAGE223
中的第
Figure 173857DEST_PATH_IMAGE071
行向量，在视频环境下可以将误差值计算优化为
Figure DEST_PATH_IMAGE225
，其中残差
Figure DEST_PATH_IMAGE227
，
Figure DEST_PATH_IMAGE229
为字典
Figure DEST_PATH_IMAGE231
的第
Figure DEST_PATH_IMAGE233
列向量，记
Figure DEST_PATH_IMAGE235
为稀疏矩阵
Figure DEST_PATH_IMAGE236
的第
Figure DEST_PATH_IMAGE237
行向量；
（3-4）字典在线更新：进行字典在线更新求出最优的
Figure 140108DEST_PATH_IMAGE229
，
Figure 201605DEST_PATH_IMAGE235
。根据视频情况设定相应的阈值要求，如果误差值不满足
Figure DEST_PATH_IMAGE239
的阈值要求，则进行字典在线更新；字典在线更新后重复步骤（3-3）、步骤（3-4）重新进行判断，满足误差后得到新生目标信息；
（4）粒子滤波阶段
（4-1）利用序列蒙特卡洛(sequential Monte Carlo)滤波来估计在非线性高斯情况下的新生目标和生存目标的后验概率
Figure DEST_PATH_IMAGE241
；序列蒙特卡洛滤波算法利用重要性采样从后验概率中采样
Figure DEST_PATH_IMAGE243
个样本，即从一个已知分布
Figure DEST_PATH_IMAGE245
中采样，得到期望值的近似估计值
Figure DEST_PATH_IMAGE247
，其中
Figure DEST_PATH_IMAGE249
表示观测状态概率，
Figure DEST_PATH_IMAGE251
为每个粒子的状态函数，进行重复推导和权值归一化得到由带权值的粒子表示的期望值
Figure DEST_PATH_IMAGE253
，其中
Figure DEST_PATH_IMAGE255
代表归一化后的权值；再通过粒子重采样环节得到更新后的期望值来代替后验概率；
（4-2）由（4-1）步骤所述的重采样环节的具体实施步骤为：利用相关系数重采样的方式更新粒子权重，将原带权值的粒子合集
Figure DEST_PATH_IMAGE256
转换新的带权值的粒子合集
Figure DEST_PATH_IMAGE258
，其中
Figure DEST_PATH_IMAGE259
代表采样的粒子数，
Figure 46808DEST_PATH_IMAGE079
代表第
Figure 521652DEST_PATH_IMAGE006
时刻第
Figure 549650DEST_PATH_IMAGE081
个粒子的的权重，
Figure DEST_PATH_IMAGE260
代表第
Figure 278703DEST_PATH_IMAGE006
时刻第
Figure 468376DEST_PATH_IMAGE081
个粒子的状态，
Figure DEST_PATH_IMAGE261
代表第
Figure 696095DEST_PATH_IMAGE006
时刻第
Figure DEST_PATH_IMAGE262
个粒子的的权重，
Figure 809676DEST_PATH_IMAGE092
代表第
Figure 111344DEST_PATH_IMAGE006
时刻第
Figure 471918DEST_PATH_IMAGE093
个粒子的状态；先从后验概率中抽取
Figure DEST_PATH_IMAGE263
个粒子组成状态样本合集
Figure DEST_PATH_IMAGE264
，用
Figure DEST_PATH_IMAGE265
代表样本的观测集，其中
Figure DEST_PATH_IMAGE266
代表第
Figure 999983DEST_PATH_IMAGE104
时刻第
Figure 166522DEST_PATH_IMAGE081
个粒子的状态观测值，设置样本阈值
Figure DEST_PATH_IMAGE267
，利用样本权重计算有效样本量
Figure DEST_PATH_IMAGE268
；在重采样过程中对于权值较小的粒子并不舍弃，引入一个含粒子似然函数和量测值之间相关性的核函数来调整第
Figure DEST_PATH_IMAGE269
时刻的粒子权值
Figure DEST_PATH_IMAGE270
更新；用肯德尔秩次相关系数
Figure DEST_PATH_IMAGE271
来计算实际量测值
Figure 935413DEST_PATH_IMAGE115
和估计量测值
Figure DEST_PATH_IMAGE272
之间的相关性，其中
Figure DEST_PATH_IMAGE273
代表观测序列的长度，
Figure DEST_PATH_IMAGE274
为
Figure DEST_PATH_IMAGE275
中实际量测值和估计值之间一致的数量，
Figure DEST_PATH_IMAGE276
为
Figure DEST_PATH_IMAGE277
中实际量测值和估计值之间不一致的数量；用一个带参数
Figure DEST_PATH_IMAGE278
的指示函数使肯德尔相关系数
Figure DEST_PATH_IMAGE279
的取值范围为正，即
Figure DEST_PATH_IMAGE280
，且
Figure 748780DEST_PATH_IMAGE135
；利用矫正后的肯德尔秩次相关系数
Figure 357616DEST_PATH_IMAGE137
来更新粒子权重后，再通过递归的方式计算当前粒子权重
Figure DEST_PATH_IMAGE281
，其中
Figure 78578DEST_PATH_IMAGE141
表示第
Figure DEST_PATH_IMAGE282
时刻的粒子权重，
Figure DEST_PATH_IMAGE283
表示第
Figure DEST_PATH_IMAGE284
时刻的观测状态概率；对粒子权重进行归一化计算后用于重新后验概率估计。
（5）将后验概率估计后得到的出生目标和新生目标的信息进行ID轨道管理后，判断视频中是否出现新的ID，ID轨道管理时利用ID管理聚类算法从所有粒子中提取当前状态；
（6）如果检测到新的ID进入场景，则通过预测环节反馈到门限测量分类环节进行重新判断，综合判断后在视频中显示跟踪结果。

Claims (4)

1.一种在线视频多目标跟踪方法，其特征在于，包括如下步骤：
步骤1、设置目标状态集为
Figure DEST_PATH_IMAGE002
，和目标测量集为
Figure DEST_PATH_IMAGE004
，其中
Figure DEST_PATH_IMAGE006
表示第
Figure 898480DEST_PATH_IMAGE006
时刻，
Figure DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE010
分别代表目标数量和观测数量，
Figure DEST_PATH_IMAGE012
代表目标状态信息，
Figure DEST_PATH_IMAGE014
代表目标观测信息；将提取的探测区域的视频信息通过门限测量分类为生存目标和残差测量；
步骤2、字典训练阶段：从目标区域中构建两个组合特征集，分别为由颜色直方图的变换系数组成的特征向量形成一个颜色直方图特征集和由灰度梯度直方图的变换系数组成的特征向量形成一个灰度梯度直方图特征集；将两个特征集的组结构信息融合到字典训练中，构建一个含有相关融合信息的字典用于新生目标信息的提取；
步骤3、字典使用阶段：利用字典矩阵和稀疏矩阵来线性表示原始样本
Figure DEST_PATH_IMAGE016
，其中
Figure DEST_PATH_IMAGE018
代表第
Figure DEST_PATH_IMAGE020
个观测向量；再通过多任务组结构稀疏性方式来获得观测信号特征矩阵和组结构字典的相似性，从而得到误差矩阵；
步骤4、通过判断误差矩阵和阈值之间的关系决定是否进行字典在线更新；具体方法为：利用字典矩阵
Figure DEST_PATH_IMAGE022
和稀疏矩阵
Figure DEST_PATH_IMAGE024
来线性表示原始样本
Figure DEST_PATH_IMAGE025
，即
Figure DEST_PATH_IMAGE027
，其中
Figure DEST_PATH_IMAGE028
代表第
Figure 21507DEST_PATH_IMAGE020
个观测向量；其中字典矩阵为
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE031
表示原子数；稀疏矩阵为
Figure DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE035
代表样本个数，
Figure DEST_PATH_IMAGE037
代表样本属性；通过计算误差值
Figure DEST_PATH_IMAGE039
来进行误差判断，其中
Figure DEST_PATH_IMAGE041
为约束系数，
Figure DEST_PATH_IMAGE043
为稀疏矩阵
Figure DEST_PATH_IMAGE045
中的第
Figure DEST_PATH_IMAGE047
行向量，在视频环境下可以将误差值计算优化为
Figure DEST_PATH_IMAGE049
，其中残差
Figure DEST_PATH_IMAGE051
，
Figure DEST_PATH_IMAGE053
为字典
Figure DEST_PATH_IMAGE055
的第
Figure DEST_PATH_IMAGE057
列向量，记
Figure DEST_PATH_IMAGE059
为稀疏矩阵
Figure DEST_PATH_IMAGE060
的第
Figure DEST_PATH_IMAGE061
行向量；进行字典在线更新求出最优的
Figure 142889DEST_PATH_IMAGE053
，
Figure 987086DEST_PATH_IMAGE059
， 根据视频情况设定相应的阈值要求，如果误差值不满足
Figure DEST_PATH_IMAGE063
的阈值要求，则进行字典在线更新；
步骤5、字典在线更新后重复步骤3、步骤4重新进行判断，满足误差后得到新生目标信息；
步骤6、利用步骤5得到的新生目标信息，结合生存目标信息一起进行后验概率估计；通过序列蒙特卡洛滤波来估计在非线性高斯情况下的后验概率；
步骤7、在重采样环节利用相关系数重采样进行粒子样本更新，获得后验概率估计值；具体方法为：利用相关系数重采样的方式更新粒子权重，将原带权值的粒子合集
Figure DEST_PATH_IMAGE065
转换新的带权值的粒子合集
Figure DEST_PATH_IMAGE067
，其中
Figure DEST_PATH_IMAGE069
代表采样的粒子数，
Figure DEST_PATH_IMAGE071
代表第
Figure 714215DEST_PATH_IMAGE006
时刻第
Figure DEST_PATH_IMAGE073
个粒子的权重，
Figure DEST_PATH_IMAGE075
代表第
Figure 507727DEST_PATH_IMAGE006
时刻第
Figure 609413DEST_PATH_IMAGE073
个粒子的状态，
Figure DEST_PATH_IMAGE077
代表第
Figure 816273DEST_PATH_IMAGE006
时刻第
Figure DEST_PATH_IMAGE079
个粒子的权重，
Figure DEST_PATH_IMAGE081
代表第
Figure 864869DEST_PATH_IMAGE006
时刻第
Figure DEST_PATH_IMAGE082
个粒子的状态；先从后验概率中抽取
Figure DEST_PATH_IMAGE084
个粒子组成状态样本合集
Figure DEST_PATH_IMAGE086
，用
Figure DEST_PATH_IMAGE088
代表样本的观测集，其中
Figure DEST_PATH_IMAGE090
代表第
Figure DEST_PATH_IMAGE091
时刻第
Figure 604898DEST_PATH_IMAGE073
个粒子的状态观测值，设置样本阈值
Figure DEST_PATH_IMAGE093
，利用样本权重计算有效样本量
Figure DEST_PATH_IMAGE095
；在重采样过程中对于权值较小的粒子并不舍弃，引入一个含粒子似然函数和量测值之间相关性的核函数来调整第
Figure DEST_PATH_IMAGE097
时刻的粒子权值
Figure DEST_PATH_IMAGE099
更新；用肯德尔秩次相关系数
Figure DEST_PATH_IMAGE101
来计算实际量测值
Figure DEST_PATH_IMAGE103
和估计量测值
Figure DEST_PATH_IMAGE105
之间的相关性，其中
Figure DEST_PATH_IMAGE107
代表观测序列的长度，
Figure DEST_PATH_IMAGE109
为
Figure DEST_PATH_IMAGE111
中实际量测值和估计值之间一致的数量，
Figure DEST_PATH_IMAGE113
为
Figure DEST_PATH_IMAGE115
中实际量测值和估计值之间不一致的数量；用一个带参数
Figure DEST_PATH_IMAGE117
的指示函数使肯德尔相关系数
Figure DEST_PATH_IMAGE119
的取值范围为正，即
Figure DEST_PATH_IMAGE121
，且
Figure DEST_PATH_IMAGE123
；利用矫正后的肯德尔秩次相关系数
Figure DEST_PATH_IMAGE125
来更新粒子权重后，再通过递归的方式计算当前粒子权重
Figure DEST_PATH_IMAGE127
，其中
Figure DEST_PATH_IMAGE129
表示第
Figure DEST_PATH_IMAGE131
时刻的粒子权重，
Figure DEST_PATH_IMAGE133
表示第
Figure DEST_PATH_IMAGE134
时刻的观测状态概率；对粒子权重进行归一化计算后用于重新后验概率估计；
步骤8、将概率估计后得到的出生目标和新生目标的信息进行ID轨道管理，判断视频中是否出现新的ID；
步骤9、如果出现新的ID，则通过预测环节反馈到门限测量分类环节进行重新判断，综合判断后在视频中显示跟踪结果。
2.根据权利要求1所述的一种在线视频多目标跟踪方法，其特征在于，步骤1具体包括：
采用自适应门控方式进行门限测量分类，用一个验证门限
Figure DEST_PATH_IMAGE136
判断生存目标和残差测量；其中
Figure DEST_PATH_IMAGE138
代表第
Figure DEST_PATH_IMAGE139
次测量的长度和宽度尺寸信息，
Figure DEST_PATH_IMAGE141
表示通过
Figure DEST_PATH_IMAGE143
获得第
Figure DEST_PATH_IMAGE145
个预测目标状态的宽度和高度，
Figure DEST_PATH_IMAGE147
表示转移矩阵，
Figure DEST_PATH_IMAGE149
是观测矩阵；利用
Figure DEST_PATH_IMAGE151
来更新门控阈值即
Figure DEST_PATH_IMAGE153
，其中自适应参数
Figure DEST_PATH_IMAGE155
为时间
Figure DEST_PATH_IMAGE157
处的观测集
Figure DEST_PATH_IMAGE159
与
Figure DEST_PATH_IMAGE161
处的观测集
Figure DEST_PATH_IMAGE163
之间的相似度。
3.根据权利要求1所述的一种在线视频多目标跟踪方法，其特征在于，步骤3具体包括：
字典学习时利用字典矩阵
Figure DEST_PATH_IMAGE164
和稀疏矩阵
Figure 859511DEST_PATH_IMAGE024
来线性表示原始样本
Figure DEST_PATH_IMAGE166
，即
Figure DEST_PATH_IMAGE167
；通过多任务组结构稀疏性的方式来获得观测信号特征矩阵，从而得到原始样本
Figure 373841DEST_PATH_IMAGE166
，利用原始样本初始化字典得到初始字典
Figure DEST_PATH_IMAGE169
,稀疏编码后得到
Figure DEST_PATH_IMAGE171
；通过计算误差值
Figure DEST_PATH_IMAGE172
来进行误差判断，其中
Figure DEST_PATH_IMAGE173
为约束系数，
Figure DEST_PATH_IMAGE174
为稀疏矩阵
Figure DEST_PATH_IMAGE175
中的第
Figure 740975DEST_PATH_IMAGE047
行向量。
4.根据权利要求1所述的一种在线视频多目标跟踪方法其特征在于，步骤6具体包括：
利用概率假设密度对目标进行概率假设，获得其后验概率
Figure DEST_PATH_IMAGE177
；利用序列蒙特卡洛滤波，样本的采样采用重要性采样，用后验概率函数的期望值来估计后验概率，使得后验概率估计由带权值的粒子合集
Figure DEST_PATH_IMAGE178
表示，其中
Figure DEST_PATH_IMAGE179
代表采样的粒子数，
Figure 945298DEST_PATH_IMAGE071
代表第
Figure 77202DEST_PATH_IMAGE006
时刻第
Figure 353594DEST_PATH_IMAGE073
个粒子的权重，
Figure DEST_PATH_IMAGE180
代表第
Figure 134206DEST_PATH_IMAGE006
时刻第
Figure 38708DEST_PATH_IMAGE073
个粒子的状态。
CN202110725244.6A 2021-06-29 2021-06-29 一种在线视频多目标跟踪方法 Expired - Fee Related CN113256687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725244.6A CN113256687B (zh) 2021-06-29 2021-06-29 一种在线视频多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725244.6A CN113256687B (zh) 2021-06-29 2021-06-29 一种在线视频多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113256687A CN113256687A (zh) 2021-08-13
CN113256687B true CN113256687B (zh) 2022-02-22

Family

ID=77190002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725244.6A Expired - Fee Related CN113256687B (zh) 2021-06-29 2021-06-29 一种在线视频多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113256687B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537694A (zh) * 2015-01-09 2015-04-22 温州大学 一种基于关键帧的在线学习的离线视频跟踪方法
CN104899567A (zh) * 2015-06-05 2015-09-09 重庆大学 基于稀疏表示的小弱运动目标跟踪方法
CN107680120A (zh) * 2017-09-05 2018-02-09 南京理工大学 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9903946B2 (en) * 2016-05-26 2018-02-27 RFNAV, Inc. Low cost apparatus and method for multi-modal sensor fusion with single look ghost-free 3D target association from geographically diverse sensors
CN105872859A (zh) * 2016-06-01 2016-08-17 深圳市唯特视科技有限公司 基于对象的运动目标轨迹提取的视频浓缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537694A (zh) * 2015-01-09 2015-04-22 温州大学 一种基于关键帧的在线学习的离线视频跟踪方法
CN104899567A (zh) * 2015-06-05 2015-09-09 重庆大学 基于稀疏表示的小弱运动目标跟踪方法
CN107680120A (zh) * 2017-09-05 2018-02-09 南京理工大学 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Enhanced Detection Reliability for Human Tracking Based Video Analytics;Zeyu Fu等;《2019 22th International Conference on Information Fusion (FUSION)》;20200227;1-7 *
Particle PHD Filter Based Multiple Human Tracking Using Online Group-Structured Dictionary Learning;ZEYU FU等;《IEEE Access》;20180316;第6卷;14764-14778 *
低照度大噪声条件下的运动目标检测方法;肖华欣;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20170315(第03期);I138-5526 *
基于稀疏表示的小弱运动目标跟踪算法研究;陈静;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615(第06期);I138-1381 *

Also Published As

Publication number Publication date
CN113256687A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
Patil et al. MSFgNet: A novel compact end-to-end deep network for moving object detection
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN113012203A (zh) 一种复杂背景下高精度多目标跟踪方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN109902564B (zh) 一种基于结构相似性稀疏自编码网络的异常事件检测方法
CN115995063A (zh) 作业车辆检测与跟踪方法和***
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Patil et al. Fggan: A cascaded unpaired learning for background estimation and foreground segmentation
Patil et al. MsEDNet: Multi-scale deep saliency learning for moving object detection
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
Qi et al. FTC-Net: Fusion of transformer and CNN features for infrared small target detection
CN110827265B (zh) 基于深度学习的图片异常检测方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN112986950A (zh) 基于深度学习的单脉冲激光雷达回波特征提取方法
CN108268632A (zh) 异常情报数据识别机器学习方法
CN112070051B (zh) 基于剪枝压缩的疲劳驾驶快速检测方法
Yari et al. Smart tracking of internal layers of ice in radar data via multi-scale learning
CN113139489A (zh) 基于背景提取和多尺度融合网络的人群计数方法及***
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN116051970A (zh) 一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、***及计算机可读介质
CN113256690A (zh) 一种基于视频监控的行人多目标跟踪方法
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及***
CN106503647A (zh) 基于低秩逼近结构化稀疏表示的异常事件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220222

CF01 Termination of patent right due to non-payment of annual fee