CN109492537A - 一种物体识别方法及装置 - Google Patents

一种物体识别方法及装置 Download PDF

Info

Publication number
CN109492537A
CN109492537A CN201811206301.4A CN201811206301A CN109492537A CN 109492537 A CN109492537 A CN 109492537A CN 201811206301 A CN201811206301 A CN 201811206301A CN 109492537 A CN109492537 A CN 109492537A
Authority
CN
China
Prior art keywords
sample
target
tracking
tracker
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811206301.4A
Other languages
English (en)
Other versions
CN109492537B (zh
Inventor
魏承赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Feiyu Polytron Technologies Inc
Original Assignee
Guilin Feiyu Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Feiyu Polytron Technologies Inc filed Critical Guilin Feiyu Polytron Technologies Inc
Priority to CN201811206301.4A priority Critical patent/CN109492537B/zh
Publication of CN109492537A publication Critical patent/CN109492537A/zh
Application granted granted Critical
Publication of CN109492537B publication Critical patent/CN109492537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种物体识别方法及装置,该方法包括:步骤S1,从初始帧图片中提取跟踪目标的样本并训练***,将目标特征存入样本空间;步骤S2,读取当前帧图片,判断上一帧中跟踪目标是否丢失;步骤S3,若丢失,则利用上一次训练的***对上一帧目标的位置及其周围若干位置的样本进行处理以得到分数图;步骤S4,若未丢失,则利用上一次训练的***对上一帧的跟踪目标的位置提取当前帧样本以得到分数图;步骤S5,对各位置的样本分数图进行分数评估,判断分数图是否理想;步骤S6,若理想则更新样本权重并更新目标位置,进行目标缩放比例预测,更新比例;步骤S7,将新样本以样本权重加权更新至样本空间,并根据设置帧数间隔训练***。

Description

一种物体识别方法及装置
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种优化的物体识别方法及装置。
背景技术
进入二十一世纪以来,随着互联网技术的快速发展以及手机、相机、个人电脑的普及,图像数据呈现出***式增长。另一方面,随着建设平安城市的需要,监控摄像头的数量越来越多,据不完全统计,仅广州市的监控摄像头数量就超过了30万个,而全国的监控摄像头数量更是达到2000多万个,并仍以每年20%的数量增长。如此大规模的数据远远超出了人类的分析处理能力。因此,智能地处理这些图像和视频数据成为迫切需要。在这种背景下,如何利用计算机视觉技术自动、智能地分析理解图像数据受到人们的广泛关注。
物体识别是计算机视觉任务的经典问题,同时也是解决很多高层视觉任务的核心问题,物体识别的研究为高层视觉任务(例如行为识别、场景理解等) 的解决奠定了基础。它在人们的日常生活以及工业生产中有着广泛的应用,例如:智能视频监控、汽车辅助驾驶、智能交通、互联网图像检索、虚拟现实以及人机交互等。
近几十年来,随着大量统计机器学习算法在人工智能和计算机视觉领域的成功应用,计算机视觉技术有了突飞猛进的进步,尤其是近年来,大数据时代的到来为视觉任务提供了更加丰富的海量图像数据,高性能计算设备的发展给大数据计算提供了硬件支持,大量计算机视觉算法也不断地涌现出来,然而,虽然目前也涌现出大量的技术和算法,与之前相比,物体识别方法的健壮性、正确性、效率以及范围方便得到了很大的提升,但依然存在一些困难以及识别障碍,现有的物体识别算法主要存在以下缺陷:
1、比例跟踪速度太慢;
2、无丢失找回功能,一旦出现跟丢的情况出现就无法再跟踪;
3、只能短时间跟踪,不能满足所有应用场景。
发明内容
为克服上述现有技术存在的不足,本发明之一目的在于提供一种物体识别方法及装置,以实现在跟丢的情况下继续跟踪的目的。
本发明之另一目的在于提供一种物体识别方法及装置,以加快比例跟踪速度。
本发明之又一目的在于提供一种物体识别方法及装置,可实现长时间跟踪。
为达上述及其它目的,本发明提出一种物体识别方法,包括如下步骤:
步骤S1,从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间;
步骤S2,读取当前帧图片,判断上一帧中跟踪目标是否丢失;
步骤S3,若判断结果为跟踪目标丢失,则利用上一次训练的***对上一帧目标丢失的位置及其周围若干位置的图片样本进行提取,并获得各位置的分数图,进入步骤S5;
步骤S4,若判断结果为跟踪目标未丢失,则利用上一帧目标的位置提取当前帧的图片样本,并利用上一次训练的***对样本进行评估以得到分数图;
步骤S5,对各位置的样本进行分数评估,并判断分数图是否理想,根据判断结果进入步骤S6或进入下一帧后返回步骤S2;
步骤S6,更新样本权重,更新目标位置,进行目标缩放比例预测,并更新比例;
步骤S7,将新样本以样本权重加权更新至样本空间,并根据设置帧数间隔训练***。
优选地,步骤S1进一步包括:
步骤S100,获取初始帧图片中跟踪目标的位置和尺寸信息;
步骤S101,提取跟踪目标区域的HOG特征和CN特征,并对提取的目标特征进行预处理;
步骤S102,根据预处理后的目标特征训练***和降维矩阵,并对目标特征进行降维处理;
步骤S103,将降维后的目标特征存入样本空间。
优选地,于步骤S3和S4中,提取样本的操作包括对跟踪目标区域的HOG 特征和CN特征提取,并对提取结果进行预处理。
优选地,步骤S5进一步包括:
步骤S500,利用平均峰值相关能量对分数图进行评估,并得到能量值;
步骤S501,若上一帧目标没有丢失,则本次对评估进行的判断是能量值和分数图峰值相对于上一帧的变化情况是否满足预设定的条件,以及能量值和分数图的峰值是否满足预设定的条件;
步骤S502,若上一帧目标丢失,则本次对评估进行的判断是能量值和分数图的峰值是否满足预设定的条件;
步骤S503,评估结果的理想程度分为极好、较好、较差和极差,当最终结果为较差及以上时,则进入步骤S6;当最终结果为极差时则认为本帧的跟踪目标丢失,进入下一帧,并返回至步骤S2。
优选地,于步骤S3中,以上一帧图片的跟踪目标的位置以及其周围上、下、左、右、左上、左下、右上、右下位置按顺序提取样本。
优选地,于步骤S3中,将各样本与上一帧***进行比对,得到各位置样本的分数图。
优选地,步骤S6进一步包括:
步骤S600,根据步骤S5中的评估结果分配样本权重;
步骤S601,利用牛顿法对分数图进行迭代优化,以得到最佳的分数图,分数图中的最大值所在位置为目标位置;
步骤S603,使用PCA降维进行目标缩放比例预测。
优选地,步骤S7进一步包括如下步骤:
步骤S700,将本帧的样本进行加权;
步骤S701,判断样本空间是否存满样本;
步骤S702,若样本空间已满,则判断新样本是以融合老样本***新样本的方式存入样本空间,还是以与老样本融合的方式存入样本空间;
步骤S703,若样本空间未满,则直接在老样本后放入新样本;
步骤S704,根据预设的训练间隔,利用样本空间训练***;
优选地,于步骤S702中,若样本空间已满,计算新样本与样本空间中所有的老样本的相似程度,如果信样本与老样本的相似程度高过一定的阈值,则与老样本融合;否则,计算样本空间中所有老样本之间的相似程度,选择两个相似度最高的样本进行融合,然后把空出来的位置***新样本。
为达到上述目的,本发明还提供一种物体识别装置,包括
初始帧处理单元,用于从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间
丢失判断单元,用于读取当前帧图片,判断上一帧中跟踪目标是否丢失;
丢失找回单元,用于于所述丢失判断单元的判断结果为跟踪目标丢失,利用上一次训练的***对上一帧图片跟踪目标的位置及其周围若干位置的样本进行评估,并获得各位置的分数图;
当前帧跟踪目标位置获取单元,用于于所述丢失判断单元的判断结果为跟踪目标未丢失,则根据上一帧图片的跟踪目标的位置提取当前帧图片样本,并利用上一次训练的***对样本进行评估以得到分数图;
跟踪结果评估单元,用于对分数图进行评估,并判断目标是否丢失;
跟踪结果更新单元,用于更新样本权重,更新跟踪目标位置,进行目标缩放比例预测,并更新目标比例;
***训练单元,用于将新样本以样本权重加权更新至样本空间,并根据预设的间隔用样本空间训练***。
为达到上述目的,本发明还提供一种物体识别装置,包括
初始帧处理单元,用于从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间
丢失判断单元,用于读取当前帧图片,判断上一帧中跟踪目标是否丢失;
丢失找回单元,用于于所述丢失判断单元的判断结果为跟踪目标丢失,利用上一次训练的***对上一帧图片跟踪目标的位置及其周围若干位置的样本进行评估,并获得各位置的分数图;
当前帧跟踪目标位置获取单元,用于于所述丢失判断单元的判断结果为跟踪目标未丢失,则根据上一帧图片的跟踪目标的位置提取当前帧图片样本,并利用上一次训练的***对样本进行评估以得到分数图;
跟踪结果评估单元,用于对分数图进行评估,并判断目标是否丢失;
跟踪结果更新单元,用于更新样本权重,更新跟踪目标位置,进行目标缩放比例预测,并更新目标比例。
***训练单元,用于将新样本以样本权重加权更新至样本空间,并根据预设的间隔用样本空间训练***。
优选地,所述初始帧处理单元进一步包括:
跟踪目标获取单元,用于获取初始帧图片的信息,即获取初始帧图片中跟踪目标的位置和尺寸信息;
特征提取单元,用于提取跟踪目标的HOG特征和CN特征,并对提取的目标特征进行预处理;
训练降维单元,用于根据预处理后的目标特征训练***和降维矩阵,并对目标特征进行降维处理;
存储单元,用于将降维后的目标特征存入样本空间。
与现有技术相比,本发明一种物体识别方法及装置通过对当前帧图片判断跟踪目标是否丢失,并于跟踪目标丢失时进行了丢失找回处理,实现了在跟丢的情况下,目标再次出现能够继续跟踪的目的,同时,本发明增加了尺度跟踪,可以进行缩放跟踪,并加快了比例跟踪的速度。
附图说明
图1为本发明一种物体识别方法的步骤流程图;
图2为本发明具体实施例中步骤S1的细部流程图;
图3为本发明具体实施例中步骤S3的细部流程图;
图4为本发明具体实施例中步骤S301的细部流程图;
图5为本发明一种物体识别装置的***架构图;
图6为本发明具体实施例中对新一帧图片的处理流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种物体识别方法的步骤流程图。如图1所示,本发明一种物体识别方法,包括如下步骤:
步骤S1,从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间。这里跟踪目标即为视频图像中所要识别的移动的物体。
具体地,如图2所示,步骤S1进一步包括:
步骤S100,获取初始帧图片的信息,即获取初始帧图片中跟踪目标的位置和尺寸信息,并初始化***参数;
步骤S101,提取跟踪目标的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征和CN(Color Name,颜色)特征,并对提取的目标特征进行预处理;具体地,本步骤的预处理包括特征降维、加余弦窗、DFT、插值等,需说明的是,这里的降维矩阵是通过PCA初始化的,在S102中对它进行了更新,即存入样本空间前再进行了一次降维。
步骤S102,根据预处理后的目标特征训练***和降维矩阵,并对目标特征进行降维处理;
步骤S103,将降维后的目标特征存入样本空间。
步骤S2,读取当前帧图片,判断上一帧中跟踪目标是否丢失;在本发明具体实施例中,通过对每一帧设置目标丢失标志位update flag以判断跟踪目标是否丢失,具体地,目标丢失标志位update flag初始为true,于步骤S5中则会根据分数评估的结果对其进行更新。
步骤S3,若判断结果为跟踪目标丢失,则利用上一次训练的***对上一帧目标丢失的位置及其周围若干位置的图片样本进行提取,并获得各位置的分数图,跳转至步骤S5。
具体地,如图3所示,步骤S3进一步包括:
步骤S300,以上一帧图片的跟踪目标的位置以及其周围8个位置(上、下、左、右、左上、左下、右上、右下)按顺序提取样本,这里的提取样本的操作包括对跟踪目标区域的HOG特征和CN特征提取,并对提取结果进行预处理,预处理仍包括特征降维、加余弦窗、DFT、插值等操作;
步骤S301,将各样本与上一帧***进行比对,得到各位置样本的分数图。也就是说,分数图则来自样本与上一帧***的比对(即频域相关性),有几个样本就有几个分数图,分数图中的分数实际为相关度。
步骤S4,若判断结果为跟踪目标未丢失,则利用上一帧目标的位置提取当前帧的图片样本,并利用上一次训练的***对样本进行评估以得到分数图。在本发明具体实施例中,本步骤中的提取样本的操作也包括对跟踪目标区域的 HOG特征和CN特征提取,并对提取结果进行预处理,预处理仍包括特征降维、加余弦窗、DFT、插值等操作。分数图也来自样本与上一帧***的比对,在此不予赘述。
步骤S5,对各位置的样本的分数图进行分数评估,并判断分数图是否理想。
具体地,步骤S5进一步包括:
步骤S500,利用平均峰值相关能量(APCE)对分数图进行评估,并得到能量值;
步骤S501,若上一帧目标没有丢失,则本次对评估进行的判断是能量值和分数图峰值相对于上一帧的变化情况是否满足预设定的条件,以及能量值和分数图的峰值是否满足预设定的条件。
步骤S502,若上一帧目标丢失,则本次对评估进行的判断是能量值和分数图的峰值是否满足预设定的条件。
步骤S503,根据判断结果的理想程度进入步骤S6或进入下一帧返回步骤 S2。在本发明具体实施例中,评估结果的理想程度分为极好、较好、较差和极差,当判断的最终结果为较差及以上时,则进入步骤S6;而当最终结果为极差时则认为本帧的跟踪目标丢失,进入下一帧,并返回步骤S2,此时目标丢失标志位update flag则更新为false,如图4所示,其中图4中置信度较高、一般、较低对应理想程度的极好、较好、较差。
步骤S6,更新样本权重,更新目标位置,进行目标缩放比例预测,并更新比例。也就是说,若步骤S5的判断结果为分数较为理想(即理想程度为极好或较好或较差),则更新样本权重,更新目标位置,进行目标缩放比例预测,并更新比例。
具体地,步骤S6进一步包括:
步骤S600,根据S5中的评估结果分配样本权重;
步骤S601,利用牛顿法对分数图进行迭代优化,以得到最佳的分数图,分数图中的最大值所在位置为目标位置;
步骤S603,使用PCA降维进行目标缩放比例预测。本发明使用PCA降维技巧,可大幅降低计算数据大小;同时,缩放比例使用频域插值的方法,减少需要计算的比例,大幅提高计算速度。
步骤S7,将新样本以样本权重加权更新至样本空间,并根据设置帧数间隔训练***,返回步骤S2。
具体地,步骤S7进一步包括:
步骤S700,将本帧的样本进行加权。
步骤S701,判断样本空间是否存满样本,在本发明具体实施例中,可根据预设的样本空间大小判断样本空间是否存满样本。
步骤S702,若样本空间已满,则判断新样本是以融合老样本***新样本的方式存入样本空间,还是以与老样本融合的方式存入样本空间。具体地,首先,计算新样本与样本空间中所有的老样本的相似程度,如果与老样本的相似程度高过一定的阈值,则与老样本融合;否则,计算样本空间中所有老样本之间的相似程度,选择两个相似度最高的样本进行融合,然后把空出来的位置***新样本。
步骤S703,若样本空间未满,则直接在老样本后放入新样本。
步骤S704,根据预设的训练间隔,利用样本空间训练***。
图5为本发明一种物体识别装置的***架构图。如图5所示,本发明一种物体识别装置,包括
初始帧处理单元50,用于从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间。这里跟踪目标即为视频图像中所要识别的移动的物体。
具体地,初始帧处理单元50进一步包括:
跟踪目标获取单元,用于获取初始帧图片的信息,即获取初始帧图片中跟踪目标的位置和尺寸信息;
特征提取单元,用于提取跟踪目标的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征和CN特征,并对提取的目标特征进行预处理,这里的预处理包括特征降维、加余弦窗、DFT、插值等;
训练降维单元,用于根据预处理后的目标特征训练***和降维矩阵,并对目标特征进行降维处理;
存储单元,用于将降维后的目标特征存入样本空间。
丢失判断单元51,用于读取当前帧图片,判断上一帧中跟踪目标是否丢失;
丢失找回单元52,用于于丢失判断单元51的判断结果为跟踪目标丢失时,利用上一次训练的***对上一帧图片跟踪目标的位置及其周围若干位置的图片样本进行提取,并获得各位置的分数图。
具体地,丢失找回单元52进一步包括:
相邻位置样本提取单元,用于以上一帧图片的跟踪目标的位置以及其周围8 个位置(上、下、左、右、左上、左下、右上、右下)按顺序提取样本,并对样本进行预处理,这里的提取样本的操作包括对跟踪目标区域的HOG特征和 CN特征提取,并对提取结果进行预处理,预处理仍包括特征降维、加余弦窗、 DFT、插值等操作;
分数图获取单元,用于将各样本与上一帧***进行比对,得到各位置样本的分数图。也就是说,分数图则来自样本与上一帧***的比对(即频域相关性),有几个样本就有几个分数图,分数图中的分数实际为相关度。
当前帧跟踪目标位置获取单元53,用于于所述丢失判断单元的判断结果为跟踪目标未丢失时,则根据上一帧图片的跟踪目标的位置提取当前帧图片样本,并利用上一次训练的***对样本进行评估以得到分数图。
跟踪结果评估单元54,用于对各位置的样本的分数图进行分数评估,并判断分数图是否理想。
跟踪结果评估单元54具体用于:
利用平均峰值相关能量(APCE)对分数图进行评估,并得到能量值;
若上一帧目标没有丢失,则本次对评估进行的判断是能量值和分数图峰值相对于上一帧的变化情况是否满足预设定的条件,以及能量值和分数图的峰值是否满足预设定的条件;
若上一帧目标丢失,则本次对评估进行的判断是能量值和分数图的峰值是否满足预设定的条件;
根据判断结果的理想程度启动跟踪结果更新单元55或进入下一帧返回丢失判断单元51。在本发明具体实施例中,评估结果的理想程度分为极好、较好、较差和极差,当判断的最终结果为较差及以上时,则启动跟踪结果更新单元55;而当最终结果为极差时则认为本帧的跟踪目标丢失,进入下一帧,并返回丢失判断单元51,此时目标丢失标志位updateflag则更新为false。
跟踪结果更新单元55,用于更新样本权重,更新跟踪目标位置,进行目标缩放比例预测,并更新比例。也就是说,若跟踪结果评估单元54的判断结果为分数较为理想(即理想程度为极好或较好或较差),则更新样本权重,更新目标位置,进行目标缩放比例预测,并更新比例。
具体地,跟踪结果更新单元55进一步包括:
样本权重更新单元,用于根据跟踪结果评估单元54的评估结果分配样本权重;
跟踪目标位置更新单元,用于利用牛顿法对分数图进行迭代优化,以得到最佳的分数图,分数图中的最大值所在位置为目标位置;
比例预测更新单元,用于使用PCA降维进行目标缩放比例预测。本发明使用PCA降维技巧,可大幅降低计算数据大小;同时,缩放比例使用频域插值的方法,减少需要计算的比例,大幅提高计算速度。
***训练单元56,用于将新样本以样本权重加权更新至样本空间,并根据设置帧数间隔训练***。
***训练单元56具体用于:
将本帧的样本进行加权;
判断样本空间是否存满样本,在本发明具体实施例中,可根据预设的样本空间大小判断样本空间是否存满样本;
若样本空间已满,则判断新样本是以融合老样本***新样本的方式存入样本空间,还是以与老样本融合的方式存入样本空间;具体地,首先,计算新样本与样本空间中所有的老样本的相似程度,如果与老样本的相似程度高过一定的阈值,则与老样本融合;否则,计算样本空间中所有老样本之间的相似程度,选择两个相似度最高的样本进行融合,然后把空出来的位置***新样本。
若样本空间未满,则直接在老样本后放入新样本;
根据预设的训练间隔,利用样本空间训练***。
图6为本发明具体实施例中对新一帧图片的处理流程图。其处理过程具体如下:
1、读入新一帧图片;
2、判断上一帧中跟踪目标是否丢失,在本发明具体实施例中,采用目标状态标志Update Flag来记录跟踪目标是否丢失,目标状态标志Update Flag为0 则表示跟踪目标丢失,为1则表示跟踪目标未丢失;
3、若Update Flag为0,则表示跟踪目标丢失,则以上一帧图片的跟踪目标的位置以及它周围8个位置(上、下、左、右、左上、左下、右上、右下) 按顺序提取样本,并对样本进行预处理(包括降维,加余弦窗,FFT,插值),获取各位置的分数图;
4、利用上一次训练的***对9个样本进行评估,并得到样本各个位置的分数,进行分数评估;
5、利用APCE判断是否有样本满足找回条件;
6、如果有样本满足找回条件,则优化得分结果,并找出最大分数所在位置作为找回的跟踪目标的位置,并进入10。
7、若Update Flag为1,则表示跟踪目标未丢失,则以上一帧的位置提取样本,并对样本提取特征以及预处理(包括降维,加余弦窗,FFT,插值);
8、利用上一次训练的***对新样本进行评估,得到各个位置的分数,再进行分数评估;
9、优化得分结果,并找出最大分数所在位置;
10、更新跟踪目标的位置,进行目标缩放比例预测,并更新比例;
11、将新样本以样本权重加权更新至样本空间;
12、每隔一定的时间,用样本空间中的样本训练***。
综上所述,本发明一种物体识别方法及装置通过对当前帧图片判断跟踪目标是否丢失,并于跟踪目标丢失时进行了丢失找回处理,实现了在跟丢的情况下,目标再次出现能够继续跟踪的目的,同时,本发明增加了尺度跟踪,可以进行缩放跟踪,并加快了比例跟踪的速度,经实验证明,现有的物体识别方法的比例跟踪速度大约为140ms/帧,而经过本发明优化后的物体识别的比例跟踪速度为40ms/帧,明显大大加快了比例跟踪的速度,而且本发明每隔一段时间则会利用样本空间中的样本训练***,使得本发明可以实现长时间跟踪的目的。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种物体识别方法,包括如下步骤:
步骤S1,从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间;
步骤S2,读取当前帧图片,判断上一帧中跟踪目标是否丢失;
步骤S3,若判断结果为跟踪目标丢失,则利用上一次训练的***对上一帧目标丢失的位置及其周围若干位置的图片样本进行提取,并获得各位置的分数图,进入步骤S5;
步骤S4,若判断结果为跟踪目标未丢失,则利用上一帧目标的位置提取当前帧的图片样本,并利用上一次训练的***对样本进行评估以得到分数图;
步骤S5,对各位置的样本进行分数评估,并判断分数图是否理想,根据判断结果进入步骤S6或进入下一帧后返回步骤S2;
步骤S6,更新样本权重,更新目标位置,进行目标缩放比例预测,并更新比例;
步骤S7,将新样本以样本权重加权更新至样本空间,并根据设置帧数间隔训练***。
2.如权利要求1所述的一种物体识别方法,其特征在于,步骤S1进一步包括:
步骤S100,获取初始帧图片中跟踪目标的位置和尺寸信息;
步骤S101,提取跟踪目标区域的HOG特征和CN特征,并对提取的目标特征进行预处理;
步骤S102,根据预处理后的目标特征训练***和降维矩阵,并对目标特征进行降维处理;
步骤S103,将降维后的目标特征存入样本空间。
3.如权利要求1所述的一种物体识别方法,其特征在于:于步骤S3和S4中,提取样本的操作包括对跟踪目标区域的HOG特征和CN特征提取,并对提取结果进行预处理。
4.如权利要求1所述的一种物体识别方法,其特征在于,步骤S5进一步包括:
步骤S500,利用平均峰值相关能量对分数图进行评估,并得到能量值;
步骤S501,若上一帧目标没有丢失,则本次对评估进行的判断是能量值和分数图峰值相对于上一帧的变化情况是否满足预设定的条件,以及能量值和分数图的峰值是否满足预设定的条件;
步骤S502,若上一帧目标丢失,则本次对评估进行的判断是能量值和分数图的峰值是否满足预设定的条件;
步骤S503,评估结果的理想程度分为极好、较好、较差和极差,当最终结果为较差及以上时,则进入步骤S6;当最终结果为极差时则认为本帧的跟踪目标丢失,进入下一帧,并返回至步骤S2。
5.如权利要求1所述的一种物体识别方法,其特征在于:于步骤S3中,以上一帧图片的跟踪目标的位置以及其周围上、下、左、右、左上、左下、右上、右下位置按顺序提取样本。
6.如权利要求5所述的一种物体识别方法,其特征在于:于步骤S3中,将各样本与上一帧***进行比对,得到各位置样本的分数图。
7.如权利要求1所述的一种物体识别方法,其特征在于,步骤S6进一步包括:
步骤S600,根据步骤S5中的评估结果分配样本权重;
步骤S601,利用牛顿法对分数图进行迭代优化,以得到最佳的分数图,分数图中的最大值所在位置为目标位置;
步骤S603,使用PCA降维进行目标缩放比例预测。
8.如权利要求1所述的一种物体识别方法,其特征在于,步骤S7进一步包括如下步骤:
步骤S700,将本帧的样本进行加权;
步骤S701,判断样本空间是否存满样本;
步骤S702,若样本空间已满,则判断新样本是以融合老样本***新样本的方式存入样本空间,还是以与老样本融合的方式存入样本空间;
步骤S703,若样本空间未满,则直接在老样本后放入新样本;
步骤S704,根据预设的训练间隔,利用样本空间训练***。
9.如权利要求8所述的一种物体识别方法,其特征在于:于步骤S702中,若样本空间已满,计算新样本与样本空间中所有的老样本的相似程度,如果信样本与老样本的相似程度高过一定的阈值,则与老样本融合;否则,计算样本空间中所有老样本之间的相似程度,选择两个相似度最高的样本进行融合,然后把空出来的位置***新样本。
10.一种物体识别装置,包括
初始帧处理单元,用于从初始帧图片中提取跟踪目标的样本并训练***,并将目标特征存入样本空间
丢失判断单元,用于读取当前帧图片,判断上一帧中跟踪目标是否丢失;
丢失找回单元,用于于所述丢失判断单元的判断结果为跟踪目标丢失,利用上一次训练的***对上一帧图片跟踪目标的位置及其周围若干位置的样本进行评估,并获得各位置的分数图;
当前帧跟踪目标位置获取单元,用于于所述丢失判断单元的判断结果为跟踪目标未丢失,则根据上一帧图片的跟踪目标的位置提取当前帧图片样本,并利用上一次训练的***对样本进行评估以得到分数图;
跟踪结果评估单元,用于对分数图进行评估,并判断目标是否丢失;
跟踪结果更新单元,用于更新样本权重,更新跟踪目标位置,进行目标缩放比例预测,并更新目标比例;
***训练单元,用于将新样本以样本权重加权更新至样本空间,并根据预设的间隔用样本空间训练***。
CN201811206301.4A 2018-10-17 2018-10-17 一种物体识别方法及装置 Active CN109492537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811206301.4A CN109492537B (zh) 2018-10-17 2018-10-17 一种物体识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811206301.4A CN109492537B (zh) 2018-10-17 2018-10-17 一种物体识别方法及装置

Publications (2)

Publication Number Publication Date
CN109492537A true CN109492537A (zh) 2019-03-19
CN109492537B CN109492537B (zh) 2023-03-14

Family

ID=65691341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811206301.4A Active CN109492537B (zh) 2018-10-17 2018-10-17 一种物体识别方法及装置

Country Status (1)

Country Link
CN (1) CN109492537B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN110910422A (zh) * 2019-11-13 2020-03-24 北京环境特性研究所 目标跟踪方法、装置、电子设备和可读存储介质
CN112150460A (zh) * 2020-10-16 2020-12-29 上海智臻智能网络科技股份有限公司 检测方法、检测***、设备和介质
CN112200790A (zh) * 2020-10-16 2021-01-08 鲸斛(上海)智能科技有限公司 布料缺陷检测方法、设备和介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187173A1 (en) * 2007-02-02 2008-08-07 Samsung Electronics Co., Ltd. Method and apparatus for tracking video image
CN102930296A (zh) * 2012-11-01 2013-02-13 长沙纳特微视网络科技有限公司 一种图像识别方法及装置
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN106372666A (zh) * 2016-08-31 2017-02-01 同观科技(深圳)有限公司 一种目标识别方法及装置
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
CN107992791A (zh) * 2017-10-13 2018-05-04 西安天和防务技术股份有限公司 目标跟踪失效重检方法及装置、存储介质、电子设备
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN108564008A (zh) * 2018-03-28 2018-09-21 厦门瑞为信息技术有限公司 一种基于zynq的实时行人与人脸检测方法
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187173A1 (en) * 2007-02-02 2008-08-07 Samsung Electronics Co., Ltd. Method and apparatus for tracking video image
CN102930296A (zh) * 2012-11-01 2013-02-13 长沙纳特微视网络科技有限公司 一种图像识别方法及装置
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN106372666A (zh) * 2016-08-31 2017-02-01 同观科技(深圳)有限公司 一种目标识别方法及装置
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
CN107992791A (zh) * 2017-10-13 2018-05-04 西安天和防务技术股份有限公司 目标跟踪失效重检方法及装置、存储介质、电子设备
CN108510521A (zh) * 2018-02-27 2018-09-07 南京邮电大学 一种多特征融合的尺度自适应目标跟踪方法
CN108564008A (zh) * 2018-03-28 2018-09-21 厦门瑞为信息技术有限公司 一种基于zynq的实时行人与人脸检测方法
CN108664930A (zh) * 2018-05-11 2018-10-16 西安天和防务技术股份有限公司 一种智能的多目标检测跟踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN110910422A (zh) * 2019-11-13 2020-03-24 北京环境特性研究所 目标跟踪方法、装置、电子设备和可读存储介质
CN112150460A (zh) * 2020-10-16 2020-12-29 上海智臻智能网络科技股份有限公司 检测方法、检测***、设备和介质
CN112200790A (zh) * 2020-10-16 2021-01-08 鲸斛(上海)智能科技有限公司 布料缺陷检测方法、设备和介质
CN112150460B (zh) * 2020-10-16 2024-03-15 上海智臻智能网络科技股份有限公司 检测方法、检测***、设备和介质

Also Published As

Publication number Publication date
CN109492537B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN109492537A (zh) 一种物体识别方法及装置
CN110807385B (zh) 目标检测方法、装置、电子设备及存储介质
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN114519302B (zh) 基于数字孪生的公路交通态势仿真方法
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN112329605B (zh) 一种城市容貌乱贴乱画行为识别方法,存储装置及服务器
CN115861738A (zh) 一种类别语义信息引导的遥感目标检测主动采样方法
CN115115969A (zh) 视频检测方法、装置、设备、存储介质和程序产品
CN115527269A (zh) 一种人体姿态图像智能识别方法及***
Xiao et al. Siamese block attention network for online update object tracking
CN113590971B (zh) 一种基于类脑时空感知表征的兴趣点推荐方法及***
CN110287912A (zh) 基于深度学习的目标对象情感状态确定方法、装置及介质
CN110516559A (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
KR20150061914A (ko) 피부 나이 예측 방법 및 장치
CN116959123A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN108595469A (zh) 一种基于语义的农机监控视频图像节带化传输***
CN112053384B (zh) 基于边界框回归模型的目标跟踪方法
CN114596435A (zh) 语义分割标签的生成方法、装置、设备及存储介质
CN113192108A (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置
CN110879970A (zh) 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备
CN116935494B (zh) 一种基于轻量化网络模型的多人坐姿识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant