CN109741368A - 基于结构化数据模型的分布式目标跟踪方法 - Google Patents
基于结构化数据模型的分布式目标跟踪方法 Download PDFInfo
- Publication number
- CN109741368A CN109741368A CN201811604029.5A CN201811604029A CN109741368A CN 109741368 A CN109741368 A CN 109741368A CN 201811604029 A CN201811604029 A CN 201811604029A CN 109741368 A CN109741368 A CN 109741368A
- Authority
- CN
- China
- Prior art keywords
- model
- node
- structural data
- deformation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于结构化数据模型的分布式目标跟踪方法,该方法可应用于分布式目标跟踪***中,基于单目目标跟踪结果以结构化数据接口形式进行通信,提升***综合性能。方法在单目目标跟踪前端对现场图像进行采集并提取视觉特征,在此基础上结合动态条件随机场和可变部分模型对目标的整体和局部同时进行跟踪,并从跟踪结果中提炼结构化数据接口用于前端和服务器之间的通信。服务器部分接收到前端的结构化数据以后,在不同的前端数据之间进行数据融合,并以在线隐支持向量机的方式学习新的跟踪模型,将更新后的模型同样以结构化数据的方式下发,帮助前端提升目标跟踪的总体性能。
Description
技术领域
本发明涉及基于结构化数据模型实现的分布式视频目标跟踪方法,属于数据图像处理技术领域。
背景技术
受到传统视频采集硬件的性能所限,现有的视频监控通常都采用前端多个摄像头拍摄视频,后端服务器部署处理算法分析视频的方案。该方法的优势在于成本低廉、容易部署。然而随着用户对视频监控性能需求的提高,该方法的缺陷日益明显:首先,长时间进行高清视频流通信带来的通信成本使大规模部署视频监控***变得很困难;其次,对于实时监控而言,传统方法结构不合理、分工不明确,服务器承受压力大,***整体效率偏低。因此基于嵌入式视频监控前端和数据处理中心模式的新型分布式视频监控方案受到了广泛关注。
目前,国内外对视频目标跟踪技术的研究体现在以下几个方面:首先,在均值滤波、粒子滤波等经典的目标跟踪算法框架下综合更加鲁棒的跟踪线索,提升算法效果;其次将目标跟踪方法和离线目标检测方法结合,提高跟踪***性能;利用稀疏分解以及部分特征等新技术解决诸如尺寸变换、目标遮挡等实际的挑战性问题。以上这些技术在提升视频目标***性能的同时,对于硬件处理性能、网络通信带宽也提出了更高的要求。而本发明基于现场可编程逻辑门阵列实现嵌入式的目标跟踪前端***,将视频采集和视频的现场处理集成于专用硬件上,将模型在线学习、更新以及管理等复杂功能部署于后端服务器上,很好的解决了复杂目标跟踪方法的大规模部署以及执行成本问题。
发明内容
本发明目的在于针对分布式目标跟踪***中通信效率低和计算负荷不合理等问题,提出基于结构化数据交换的分布式目标跟踪方法。该方法以前端结构化数据为基础,通过少量的前后端信息交换实现目标跟踪和模型更新的任务分离,降低分布式目标跟踪的通信成本,提高了部署的灵活度。
为解决上述技术问题,本发明所采用的技术方案包含以下步骤:
步骤A,图像采集,基于梯度直方图提取图像特征:
在两种分辨率上对采集到的图像分别提取梯度直方图特征,可得到节点的原始图像特征φ(H,xj),其中H表示梯度直方图特征金字塔,j∈0,...,n。
步骤B,基于可变部分模型提取结构化目标信息:
可变部分模型方法的原理在于将当前帧上目标某一视角的外观视作由一个根节点x0和n个可形变部分节点(x1,...,xn)构成的图模型。由于部分是可形变的,对于部分节点采用相对于模型锚点(Anchor)的位移来衡量形变。将根滤波器(Root Filter)和部分滤波器(Part Filter)分别计算得分并通过动态规划方法计算形变惩罚,最后即可得到该视角模型出现在某一位置假设可信度的线性表达形式:
其中分别为模型的滤波器参数和结构化参数,bc为一阶偏移量,φ(H,xn)为提取的梯度直方图特征。
步骤C,基于动态条件随机场进行单目相机目标跟踪:
步骤C1,将星状的可变部分模型视为条件随机场,两帧图像间的目标条件随机场模型就可以建模为一个动态条件随机场。该随机场由模型滤波后的结果构成的单势函数,节点的形变惩罚构成的空间互势函数,以及节点帧间的时域互势函数构成。
步骤C2,节点的形变惩罚函数为:
其中dx和dy为空间位移形变。时域互势函数为:
式中y表示与节点x邻接的上帧节点,st(x)表示节点x出现,G(·;Σ)为高斯核函数。
步骤C3,结合空间势函数和时间势函数,可得到每个节点基于当前观察的出现概率p(st+1|o1:t+1)的近似下界:
步骤D,将前端结构化数据通过网络传输至后端平台:
由于不是直接传输图像,结构化数据量非常稀疏,且不需要实时传输,间隔数帧定时发送就可以。
步骤E,在服务器端使用在线隐支持向量机学习更新模型:
隐支持向量机方法可以学习一个半凸函数的目标函数:
其中β为模型参数,fβ(·)及结构的函数表示。通过隐支持向量机方法在服务器端对模型参数进行学习和更新。
步骤F,将更新后的参数下发至前端:
在服务器端学习以后,得到新的和bc,下发至前端以保证目标跟踪的性能。
有益效果
1、前端和服务器之间仅通过结构化数据交换完成通信。数据接口容量小,发生通信的频率低,节约了通信成本,增强了通信策略的弹性,降低了对于宽带通信的依赖,增加了视频监控***部署的灵活度。
2、嵌入式前端平台上实现独立的视频采集和目标跟踪。算法实现中大量重复计算部署于具有并行加速功能的前端来完成,通过现场可编程逻辑阵列实现图像特征提取,嵌入式中央处理器进行目标跟踪并生成结构化模型数据,大幅提升***整体效率,降低服务器负荷。
3、基于结构化目标混合模型统一学习目标多视角外观。位于服务器端的模型更新方法综合不同前端传回的信息,对目标多个视角外观进行结构化在线学习,并将最终包含了不同视角信息的目标混合模型分发至前端。
附图说明
图1为基于可变部分模型的结构化数据模型示意图。
图2为前端硬件实现高清视频目标跟踪流程图。
图3为基于星状目标模型在两帧图像间构成的动态条件随机场示意图。
图4为在线隐支持向量机学习目标模型更新流程图。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
如图1所示,本发明首先在分布式前端实现单目目标跟踪,具体步骤如下:
步骤A,对现场图像进行采集,在两种分辨率上对图像提取梯度直方图特征,两种分辨率之间相差1倍。
步骤B,在低分辨率特征图上使用10*10的线性滤波器及根滤波器对特征进行卷积得到目标整体得分;在高分辨率特征图上使用5个5*5的子滤波器对特征进行卷积,得到目标不同部分的得分。
步骤C,带入结构化参数,以动态规划的方式对部分形变进行惩罚,最终得到一帧图像上的结构化输出。
如图2所示,基于单帧图像的结构化模型处理过程,前端硬件采用动态随机场方法实现单目目标跟踪,具体步骤如下:
步骤D,在一帧图像的结构化输出基础上,在连续两帧的输出之间计算单势函数和互势函数,对结果进行重加权。
步骤E,对各部分得分进行遮挡投票,产生最终的单目目标跟踪结果。过程中特征提取以及势函数计算等重复计算量较大的部分由专用硬件并行计算实现。同时,通过嵌入式处理器进行跨帧的目标跟踪计算,最终得到与后台通信用的结构化数据。
如图3所示,本发明基于动态条件随机场对目标各部分进行追踪。对于形变复杂的目标而言,本发明将目标分割成多个部分,降低每一部分的复杂度。而部分与部分之间通过空时势函数定义相对关系,对部分距离锚点以及部分在帧之间的形变进行惩罚。
如图4所示,本发明在前端得到的结构化数据接口的基础上,在服务器端实现模型的融合和更新,具体步骤如下:
步骤F,对不同视角的特征信息进行目标匹配,确定不同前端传输回来的结构化数据和目标的对应关系。
步骤G,将匹配完成的特征加入到混合模型队列中,对新的数据使用在线隐支持向量机学习方法优化模型参数,实现在线目标模型更新。
步骤H,将更新后的模型下发到嵌入式前端,最终提升目标跟踪***的总性能。
本发明基于专门的嵌入式前端硬件和后端服务器构成分布式目标跟踪***,可以综合不同视角信息进行目标跟踪。前端与服务器、前端与前端之间只需通过少量的结构化数据交换即可实现模型更新、视角融合等任务,降低了分布式目标跟踪***的通信成本,提升了***的总体性能和灵活性。
Claims (2)
1.基于结构化数据模型的分布式目标跟踪方法,其特征在于,
步骤A)图像采集,基于梯度直方图提取图像特征:
在两种分辨率上对采集到的图像分别提取梯度直方图特征,可得到节点的原始图像特征φ(H,xj),其中H表示梯度直方图特征金字塔,j∈0,...,n;
步骤B)基于可变部分模型提取结构化目标信息:
可变部分模型方法在于将当前帧上目标某一视角的外观视作由一个根节点x0和n个可形变部分节点(x1,...,xn)构成的图模型;由于部分是可形变的,对于部分节点采用相对于模型锚点Anchor的位移来衡量形变;将根滤波器(Root Filter)和部分滤波器PartFilter分别计算得分并通过动态规划方法计算形变惩罚,最后即可得到该视角模型出现在某一位置假设可信度的线性表达形式:
其中分别为模型的滤波器参数和结构化参数,bc为一阶偏移量,φ(H,xn)为提取的梯度直方图特征;
步骤C)基于动态条件随机场进行单目相机目标跟踪;
步骤D)将前端结构化数据通过网络传输至后端平台:
由于不是直接传输图像,结构化数据量非常稀疏,且不需要实时传输,间隔数帧定时发送即可;
步骤E,在服务器端使用在线隐支持向量机学习更新模型:
隐支持向量机方法学习一个半凸函数的目标函数:
其中β为模型参数,fβ(·)及结构的函数表示。通过隐支持向量机方法在服务器端对模型参数进行学习和更新;
步骤F)将更新后的参数下发至前端:
在服务器端学习以后,得到新的和bc,下发至前端以保证目标跟踪的性能。
2.如权利要求1所述的方法,其特征在于,所述步骤C中,具体如下:
步骤C1)将星状的可变部分模型视为条件随机场,两帧图像间的目标条件随机场模型就可以建模为一个动态条件随机场。该随机场由模型滤波后的结果构成的单势函数,节点的形变惩罚构成的空间互势函数,以及节点帧间的时域互势函数构成;
步骤C2)节点的形变惩罚函数为:
其中dx和dy为空间位移形变;时域互势函数为:
式中y表示与节点x邻接的上帧节点,st(x)表示节点x出现,G(·;Σ)为高斯核函数;
步骤C3,结合空间势函数和时间势函数,得到每个节点基于当前观察的出现概率p(st+1|o1:t+1)的近似下界:
。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604029.5A CN109741368A (zh) | 2018-12-26 | 2018-12-26 | 基于结构化数据模型的分布式目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604029.5A CN109741368A (zh) | 2018-12-26 | 2018-12-26 | 基于结构化数据模型的分布式目标跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109741368A true CN109741368A (zh) | 2019-05-10 |
Family
ID=66361292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811604029.5A Pending CN109741368A (zh) | 2018-12-26 | 2018-12-26 | 基于结构化数据模型的分布式目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109741368A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117523461A (zh) * | 2024-01-08 | 2024-02-06 | 南京航空航天大学 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091349A (zh) * | 2014-06-17 | 2014-10-08 | 南京邮电大学 | 基于支持向量机的鲁棒目标跟踪方法 |
CN104200236A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
-
2018
- 2018-12-26 CN CN201811604029.5A patent/CN109741368A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091349A (zh) * | 2014-06-17 | 2014-10-08 | 南京邮电大学 | 基于支持向量机的鲁棒目标跟踪方法 |
CN104200236A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
Non-Patent Citations (3)
Title |
---|
PEDRO F. FELZENSZWALB 等: "Object Detection with Discriminatively Trained Part-Based Models", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
SUOFEI ZHANG 等: "Object Tracking by Incremental Structural Learning of Deformable Parts", 《CIRCUITS SYST SIGNAL PROCESS 2018》 * |
马玉洁 等: "基于可变形部件模型人脸检测方法的研究", 《***仿真技术及其应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117523461A (zh) * | 2024-01-08 | 2024-02-06 | 南京航空航天大学 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
CN117523461B (zh) * | 2024-01-08 | 2024-03-08 | 南京航空航天大学 | 一种基于机载单目相机的运动目标跟踪与定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sakaridis et al. | Semantic foggy scene understanding with synthetic data | |
CN109410307B (zh) | 一种场景点云语义分割方法 | |
CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
CN106056050B (zh) | 一种基于自适应三维人体运动统计模型的多视角步态识别方法 | |
CN111626159B (zh) | 一种基于注意力残差模块和支路融合的人体关键点检测方法 | |
Zheng et al. | Deep learning for event-based vision: A comprehensive survey and benchmarks | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
CN116664782B (zh) | 一种基于融合体素的神经辐射场三维重建方法 | |
CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
CN110070574A (zh) | 一种基于改进PSMNet的双目视觉立体匹配算法 | |
CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
Tian et al. | Adaptive and azimuth-aware fusion network of multimodal local features for 3D object detection | |
Amirshahi et al. | Reviving traditional image quality metrics using CNNs | |
CN111612898B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2022183805A1 (zh) | 视频分类方法、装置及设备 | |
CN112560865A (zh) | 一种室外大场景下点云的语义分割方法 | |
WO2021057091A1 (zh) | 视点图像处理方法及相关设备 | |
CN113239749A (zh) | 一种基于多模态联合学习的跨域点云语义分割方法 | |
CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
CN109741368A (zh) | 基于结构化数据模型的分布式目标跟踪方法 | |
CN112489097B (zh) | 基于混合2d卷积和伪3d卷积的立体匹配方法 | |
Peng et al. | RGB-D human matting: A real-world benchmark dataset and a baseline method | |
CN110852335B (zh) | 一种基于多颜色特征融合与深度网络的目标跟踪*** | |
CN112819832A (zh) | 基于激光点云的城市场景语义分割细粒度边界提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |
|
RJ01 | Rejection of invention patent application after publication |