CN113888607A - 基于事件相机的目标检测与跟踪方法、***和存储介质 - Google Patents
基于事件相机的目标检测与跟踪方法、***和存储介质 Download PDFInfo
- Publication number
- CN113888607A CN113888607A CN202111024841.2A CN202111024841A CN113888607A CN 113888607 A CN113888607 A CN 113888607A CN 202111024841 A CN202111024841 A CN 202111024841A CN 113888607 A CN113888607 A CN 113888607A
- Authority
- CN
- China
- Prior art keywords
- target
- time
- event
- kalman filtering
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 46
- 238000009499 grossing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 19
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 230000002265 prevention Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000012528 membrane Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000023402 cell communication Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于事件相机的目标检测与跟踪方法、***和存储介质。该方法包括：读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；把时间窗内的DVS事件序列转为归一化平均时间面；在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；进行轨迹平滑；移动到下一时间窗重复上述步骤，直至DVS事件序列结束。本发明具有低延迟、避免噪声干扰、避免检测位置不准确、防止目标框抖动的特点。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及基于计算机视觉的目标检测与跟踪。
背景技术
目前的计算机视觉任务中虽然有很多解决检测与跟踪的方案，但是这些方案还不足以处理高速运动的物体，高速动态变化，和变化的光线条件。传统相机是在固定帧率下拍摄的，捕捉高速运动的物体时会形成运动模糊，而且在暗光或者光线变化时物体的特征会发生改变，不容易与背景区分开来。而且如果背景色彩较多，或目标与背景具有相近的色彩，则目标夹杂在其中不易被发现。
动态视觉传感器(DVS)，也称为基于事件的相机。动态视觉传感器使用基于事件驱动的方式来捕捉场景中的动态变化。与传统相机不同，传统相机以指定的帧率(如30fps)获取完整的图像。而事件相机，例如DVS，没有帧率的概念。每个像素异步且独立地响应场景中的亮度变化。事件相机的输出是“事件”或者“脉冲”序列，速率是可变的，每个事件表示光线亮度的变化，当光强与上一时刻的光强变化超过一定阈值时产生脉冲。
传统相机拍摄的视频中，在背景复杂的情况下，很难检测出正在运动的目标，而DVS相机模仿生物膜电位的脉冲事件，只有运动的目标才触发事件，因此具有能快速发现运动目标的优势。
现有技术CN112927261A公开了一种融合位置预测与相关滤波的目标跟踪方法。其中，该方法包括：在核相关滤波器进行检测的基础上，引入了卡尔曼滤波器对跟踪结果进行修正。跟踪开始时，在初始帧视频图像中根据由视频序列预先给定的标签中的目标位置和大小，计算核相关滤波器的初始系数。后续帧中，以上一帧的目标位置为中心，将目标范围扩大2.5倍作为目标搜索区域，计算核相关滤波器响应，以响应最大值所对应的位置作为初始目标结果，再将此结果作为观测值，使用卡尔曼滤波器对跟踪结果进行修正并更新核相关滤波器系数，重复此过程，直到跟踪结束。上述现有技术中的目标检测与跟踪，仍然基于传统RGB相机，需要提取目标的图像特征，因此无法利用DVS的异步、低延迟特性。
现有技术CN112949512A公开了一种动态手势识别方法、手势交互方法及交互***。其中，该方法包括：动态视觉传感器(DVS)，适于基于视场中对象和动态视觉传感器的相对运动而触发事件，并输出事件数据流给手部检测模块；手部检测模块，适于对事件数据流进行处理，以确定手部初始位置；手部跟踪模块，适于基于手部初始位置，利用卡尔曼滤波，在事件数据流中确定出一系列指示手部运动状态的状态向量。上述现有技术中的目标检测与跟踪，容易受到噪声的干扰；并且上述现有技术中的卡尔曼滤波的预测位置在目标停下或转向时容易发生偏移。
因此，现有技术中，传统RGB视频，需要提取目标的图像特征，而不是直接利用事件信息，因此无法利用DVS的异步，低延迟特性；静止的背景也参与计算，计算开销大，不适用于低功耗计算场景。基于DVS进行目标检测与跟踪的现有技术容易受到噪声对目标位置的干扰，存在着检测时目标框不准确的问题；上述现有技术在采用卡尔曼滤波时，在目标停下或转向时容易发生偏移：现有技术使用卡尔曼滤波预测的目标位置附近的模板更新检测器，而检测器检测到的目标位置进一步更新卡尔曼滤波的参数，在复杂场景中容易出现误差累加，最终导致目标丢失。现有技术在初始帧中需要给定目标位置，加入了人工成本，而很多场景没有相应的人力时时盯着视频以给出目标的初始位置。现有技术在后续帧中，需要在上一帧检测到的目标选框的2.5倍大小的窗口范围搜索，计算开销大，而且目标一旦偏离了搜索范围，则会发生目标丢失。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于事件相机的目标检测与跟踪方法、***和存储介质。具有低延迟、避免噪声干扰、避免检测位置不准确、防止目标框抖动的特点。
本发明提供了一种基于事件相机的目标检测与跟踪方法，其特征在于，包括：
步骤1，读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；
步骤2，把时间窗内的DVS事件序列转为归一化平均时间面；
步骤3，在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
步骤4，计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
步骤5，进行轨迹平滑；移动到下一时间窗，重复步骤2到步骤5，直至DVS事件序列结束。
本发明提供了一种基于事件相机的目标检测与跟踪***，其特征在于，包括：
预处理模块，用于读取DVS事件序列，进行背景降噪处理，设置时间窗，初始化卡尔曼滤波的参数；
归一化平均时间面模块，用于把时间窗内的DVS事件序列转为归一化平均时间面；
目标位置预测模块，用于在归一化平均时间面中，进行目标事件去噪，检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
目标位置更新模块，用于计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
轨迹平滑模块，用于进行轨迹平滑；移动到下一时间窗，上述模块继续进行处理，直至DVS事件序列结束。
本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述基于事件相机的目标检测与跟踪方法。
基于上述方案，本发明直接利用事件信息，避免了传统图像中不必要信息的计算，具有低延迟，异步的特性。采用背景去噪和目标事件去噪，避免了噪声对目标位置的干扰。结合检测和卡尔曼滤波，避免了检测位置不准确和卡尔曼滤波预测位置的偏移。采用轨迹平滑策略，有效防止了目标框的抖动。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
图2为背景去噪效果图。
图3为归一化平均时间面的可视化图。
图4为目标检测效果图。
图5为平衡检测位置与卡尔曼滤波预测的位置效果图，图中detection表示检测，KCF表示卡尔曼滤波。
图6为轨迹平滑效果图，图中detection表示检测，KCF表示卡尔曼滤波。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关术语解释：
Event相机：也称事件相机，是异步传感器根据场景动态对光进行采样的相机。标准相机以指定的帧率(如30fps)获取完整的图像，而事件相机没有帧率的概念，每个像素异步且独立地响应场景中的亮度变化。事件相机的输出是“事件”或者“脉冲”序列，速率是可变的，每个事件表示光线亮度的变化，当光强与上一时刻的光强变化超过一定阈值时产生脉冲。事件包含的信息有位置，正负极性(光变强或变弱)，当前时间。它是基于生物视觉中的脉冲机制来实现的。
DVS：动态视觉传感器，也称为神经拟态视觉传感器。指输出正负极(光变强或变弱)事件的传感器。
事件：即event，事件相机中每个位置处光强变化超过一定阈值时，会产生一个“事件”或者“脉冲”，称为事件。一个事件中包含了位置，时间，正负极性(光变强或变弱)的信息。
时间面：把事件的位置和时间信息表示为二维图的形式。时间信息作为每个位置的“像素值”。
目标检测：找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。
目标跟踪：分为单目标跟踪和多目标跟踪。单目标跟踪：给定一个目标，追踪这个目标的位置。多目标跟踪：追踪多个目标的位置。
膜电位：膜电位通常是指以膜相隔的两溶液之间产生的电位差。一般是指细胞生命活动过程中伴随的电现象，存在于细胞膜两侧的电位差。膜电位在神经细胞通讯的过程中起着重要的作用。
复杂背景：例如和目标颜色相近，或有很多遮挡物，或和目标类似的运动物体出现的背景。
图1是根据本发明实施例的方法的流程图。
在其中一个实施例中，本发明提供了一种基于事件相机的目标检测与跟踪方法，其特征在于，包括：
步骤1，读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；
步骤2，把时间窗内的DVS事件序列转为归一化平均时间面；
步骤3，在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
步骤4，计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
步骤5，进行轨迹平滑；移动到下一时间窗，重复步骤2到步骤5，直至DVS事件序列结束。
可选地，步骤1中，包括：
步骤1a，规定一个时间间隔，判断每一个事件位置(x,y)的8邻域区间在时间间隔内是否有事件，如果没有，认为是背景噪声，将其滤除；
步骤1b，设置时间窗，初始化卡尔曼滤波参数如下；
设置状态转移矩阵A＝[As，0；0，As]；
其中，As，0表示在As后面并列上和As同样大小的全0矩阵；0，As表示在As前面并列上和As同样大小的全0矩阵；As，0；0，As中的分号表示换下一行；
设置预测噪声协方差矩阵Q＝[Qs，0；0，Qs]；
其中，Qs，0表示在Qs后面并列上和Qs同样大小的全0矩阵；0，Qs表示在Qs前面并列上和Qs同样大小的全0矩阵；Qs，0；0，Qs中的分号表示换下一行；
设置观测矩阵H＝[Hs，0；0，Hs]；
其中，Hs，0表示在Hs后面并列上和Hs同样大小的全0矩阵；0，Hs表示在Hs前面并列上和Hs同样大小的全0矩阵；Hs，0；0，Hs中的分号表示换下一行；
设置观测噪声协方差矩阵R；
设置状态协方差矩阵P；
设置目标的运动状态为x＝[pcol，vcol，acol，prow，vrow，arow]T，其中(prow，pcol)为目标的中心坐标，(vrow，vcol)为目标的速度，(arow，acol)为目标的加速度。
可选地，步骤1b中，
时间窗为5ms；
可选地，步骤1b中，
As＝[1，1，0.5；0，1，1；0，0，1]；
可选地，步骤1b中，
Qs＝diag([15，15，10])，其中diag为创建对角阵；
可选地，步骤1b中，
Hs＝[1，0，0]；
可选地，步骤1b中，
观测噪声协方差矩阵为R＝[25，0；0，25]；
可选地，步骤1b中，
状态协方差矩阵为P＝diag([105，105，105，105，105，105])；
可选地，步骤1b中，
目标的速度初始值为(0，0)，目标的加速度初始值为(0，0)。
如图2所示，为本发明步骤1的背景去噪效果。
可选地，步骤2中，包括：
步骤2a，求平均时间面；时间窗内位置(i，j)处每个事件的时间信息为t，累计事件数为Ii，j。则平均时间面为
步骤2b，计算归一化平均时间面；定义为
其中(i，j)∈T表示在平均时间面上的事件位置。
如图3所示，为本发明步骤2的归一化平均时间面的可视化图。
可选地，步骤3中，包括：
通常，运动目标的时间信息多于背景噪声，因此设定一个阈值λ用于滤除噪声。
步骤3a，目标检测；设定一个阈值λ用于滤除噪声，目标为O＝{(i，j)|Ni，j＞λ}；k时刻的目标检测位置为zdk＝mean(O)，其中mean为均值运算；
步骤3b，目标跟踪；预测k时刻的状态
其中
为k-1时刻状态的实际值，
表示k时刻的预测值；预测k时刻的状态协方差矩阵
其中Pk-1是k-1时刻的状态协方差矩阵。
可选地，在步骤3a中，λ可取0.2，为了滤除噪声，可去除目标O中较小的20％部分的值和较大的20％部分的值。
如图4所示，为本发明步骤3的目标检测效果图。
可选地，步骤4中，包括：
步骤4a，根据步骤3a中得到的目标检测位置zdk，计算当前k时刻位置与k-1时刻位置的欧式距离
定义阈值thres，当d1≤thres时认为检测的目标位置正确，用来更新卡尔曼滤波的参数如下：
计算k时刻的卡尔曼增益
更新k时刻的状态
更新k时刻的状态协方差矩阵
当d1＞thres时，计算当前k时刻卡尔曼滤波的预测位置
步骤4b：计算当前k时刻卡尔曼滤波预测的目标位置与k-1时刻目标位置的欧式距离
步骤4c：统计卡尔曼滤波预测位置所在的目标框与检测位置所在的目标框内事件的个数，取事件个数较多者的中心点作为当前的目标位置zk。
可选地，在步骤4a中，thres可取30。
如图5所示，为本发明步骤4的平衡检测位置与卡尔曼滤波预测位置的效果。
可选地，步骤5中，包括：
在目标运动减慢时，事件数会减少，当前预测的目标位置可能会与上一时刻的目标位置偏离较远，目标框出现抖动；为解决这一问题，采用轨迹平滑的策略。
如果步骤4b中d2＞thres，则当前k时刻的目标位置zk＝ω1·zk+ω2·zk-1，其中ω1，ω2为权重。
可选地，上述ω1＝0.5，ω2＝0.5。
如图6所示，为本发明步骤5的轨迹平滑的效果。
在另一实施例中，本发明提供了一种基于事件相机的目标检测与跟踪***，其特征在于，包括：
预处理模块，用于读取DVS事件序列，进行背景降噪处理，设置时间窗，初始化卡尔曼滤波的参数；
归一化平均时间面模块，用于把时间窗内的DVS事件序列转为归一化平均时间面；
目标位置预测模块，用于在归一化平均时间面中，进行目标事件去噪，检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
目标位置更新模块，用于计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
轨迹平滑模块，用于进行轨迹平滑；移动到下一时间窗，上述模块继续进行处理，直至DVS事件序列结束。
在另一实施例中，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多个程序；在所述程序运行时控制所述计算机可读存储介质所在设备加载并执行上述基于事件相机的目标检测与跟踪方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于事件相机的目标检测与跟踪方法，其特征在于，包括：
步骤1，读取DVS事件序列，进行背景降噪处理；设置时间窗；初始化卡尔曼滤波的参数；
步骤2，把时间窗内的DVS事件序列转为归一化平均时间面；
步骤3，在归一化平均时间面中，进行目标事件去噪；检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
步骤4，计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
步骤5，进行轨迹平滑；移动到下一时间窗，重复步骤2到步骤5，直至DVS事件序列结束。
2.根据权利要求1所述的方法，其特征在于，步骤1中，包括：
步骤1a，规定一个时间间隔，判断每一个事件位置的8邻域区间在时间间隔内是否有事件，如果没有，认为是背景噪声，将其滤除；
步骤1b，设置时间窗，初始化卡尔曼滤波参数如下；
设置状态转移矩阵A＝[As,0；0,As]；
设置预测噪声协方差矩阵Q＝[Qs,0；0,Qs]；
设置观测矩阵H＝[Hs,0；0,Hs]；
设置观测噪声协方差矩阵R；
设置状态协方差矩阵P；
设置目标的运动状态为x＝[pcol,vcol,acol,prow,vrow,arow]T，其中(prow,pcol)为目标的中心坐标，(vrow,vcol)为目标的速度，(arow,acol)为目标的加速度。
3.根据权利要求1所述的方法，其特征在于，步骤2中，包括：
步骤2a，求平均时间面；时间窗内位置(i,j)处事件的时间信息为t，累计事件数为Ii,j。则平均时间面为
步骤2b，计算归一化平均时间面；定义为
其中(i,j)∈T表示在平均时间面上的事件位置。
4.根据权利要求1所述的方法，其特征在于，步骤3中，包括：
步骤3a，目标检测；设定一个阈值λ用于滤除噪声，目标为O＝ {(i,j)|Ni,j>λ}；k时刻的目标检测位置为zdk＝mean(O)，其中mean为均值运算；
步骤3b，目标跟踪；预测k时刻的状态
其中
为k-1时刻状态的实际值，
表示k时刻的预测值；预测k时刻的状态协方差矩阵
其中Pk-1是k-1时刻的状态协方差矩阵。
5.根据权利要求4所述的方法，其特征在于，步骤3a中，λ可取0.2,为了滤除噪声，可去除目标O中较小的20％部分的值和较大的20％部分的值。
6.根据权利要求4所述的方法，其特征在于，步骤4中，包括：
步骤4a，根据步骤3a中得到的目标检测位置zdk，计算当前k时刻位置与k-1时刻位置的欧式距离
定义阈值thres，当d1≤thres时认为检测的目标位置正确，用来更新卡尔曼滤波的参数如下：
计算k时刻的卡尔曼增益
更新k时刻的状态
更新k时刻的状态协方差矩阵
当d1>thres时，计算当前k时刻卡尔曼滤波的预测位置
步骤4b：计算当前k时刻卡尔曼滤波预测的目标位置与k-1时刻目标位置的欧式距离
步骤4c：统计卡尔曼滤波预测位置所在的目标框与检测位置所在的目标框内事件的个数，取事件个数较多者的中心点作为当前的目标位置zk。
7.根据权利要求6所述的方法，其特征在于，步骤5中，包括：
如果步骤4b中d2>thres，则当前k时刻的目标位置zk＝ω1·zk+ω2·zk-1，其中ω1，ω2为权重。
8.根据权利要求7所述的方法，其特征在于，ω1＝0.5，ω2＝0.5。
9.一种基于事件相机的目标检测与跟踪***，其特征在于，包括：
预处理模块，用于读取DVS事件序列，进行背景降噪处理，设置时间窗，初始化卡尔曼滤波的参数；
归一化平均时间面模块，用于把时间窗内的DVS事件序列转为归一化平均时间面；
目标位置预测模块，用于在归一化平均时间面中，进行目标事件去噪，检测目标的位置，同时采用卡尔曼滤波预测目标位置，但初始位置由检测来决定；
目标位置更新模块，用于计算当前时刻检测到的目标位置与上一时刻目标位置的距离，根据距离信息平衡检测位置与卡尔曼滤波预测的位置，从而决定当前时刻目标的位置；
轨迹平滑模块，用于进行轨迹平滑；移动到下一时间窗，上述模块继续进行处理，直至DVS事件序列结束。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述权利要求1-8任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111024841.2A CN113888607A (zh) | 2021-09-02 | 2021-09-02 | 基于事件相机的目标检测与跟踪方法、***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111024841.2A CN113888607A (zh) | 2021-09-02 | 2021-09-02 | 基于事件相机的目标检测与跟踪方法、***和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888607A true CN113888607A (zh) | 2022-01-04 |
Family
ID=79012049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111024841.2A Pending CN113888607A (zh) | 2021-09-02 | 2021-09-02 | 基于事件相机的目标检测与跟踪方法、***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888607A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115996320A (zh) * | 2023-03-22 | 2023-04-21 | 深圳市九天睿芯科技有限公司 | 事件相机自适应阈值调整方法、装置、设备及存储介质 |
| CN116958142A (zh) * | 2023-09-20 | 2023-10-27 | 安徽大学 | 基于复眼事件成像与高速转台的目标检测与跟踪方法 |
-
2021
- 2021-09-02 CN CN202111024841.2A patent/CN113888607A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115996320A (zh) * | 2023-03-22 | 2023-04-21 | 深圳市九天睿芯科技有限公司 | 事件相机自适应阈值调整方法、装置、设备及存储介质 |
| CN116958142A (zh) * | 2023-09-20 | 2023-10-27 | 安徽大学 | 基于复眼事件成像与高速转台的目标检测与跟踪方法 |
| CN116958142B (zh) * | 2023-09-20 | 2023-12-15 | 安徽大学 | 基于复眼事件成像与高速转台的目标检测与跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
| US6400830B1 (en) | Technique for tracking objects through a series of images | |
| US20170248971A1 (en) | Method for detecting target object, detection apparatus and robot | |
| US10748294B2 (en) | Method, system, and computer-readable recording medium for image object tracking | |
| US20130070105A1 (en) | Tracking device, tracking method, and computer program product | |
| CN113723190A (zh) | 一种面向同步移动目标的多目标跟踪方法 | |
| CN113888607A (zh) | 基于事件相机的目标检测与跟踪方法、***和存储介质 | |
| CN110647836B (zh) | 一种鲁棒的基于深度学习的单目标跟踪方法 | |
| CN111127519B (zh) | 一种双模型融合的目标跟踪控制***及其方法 | |
| CN113608663B (zh) | 一种基于深度学习和k-曲率法的指尖跟踪方法 | |
| US20220321792A1 (en) | Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium | |
| CN112184767A (zh) | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 | |
| KR102434397B1 (ko) | 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법 | |
| CN109978908B (zh) | 一种适应大尺度形变的单目标快速跟踪定位方法 | |
| US6184858B1 (en) | Technique for updating a background image | |
| CN110930436B (zh) | 一种目标跟踪方法及设备 | |
| CN107665495B (zh) | 对象跟踪方法及对象跟踪装置 | |
| CN112131991A (zh) | 一种基于事件相机的数据关联方法 | |
| CN115439771A (zh) | 一种改进dsst的红外激光光斑跟踪方法 | |
| JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
| CN110147747B (zh) | 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法 | |
| CN113592907A (zh) | 基于光流的视觉伺服跟踪方法及装置 | |
| CN108257156B (zh) | 一种从视频中自动追踪目标物体的方法 | |
| CN111862164A (zh) | 基于暗通道先验的核相关滤波去雾跟踪算法 | |
| CN111161304A (zh) | 一种快速背景估计的遥感视频目标轨迹跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |