CN110675428A - 面向人机交互的目标跟踪方法、装置、计算机设备 - Google Patents

面向人机交互的目标跟踪方法、装置、计算机设备 Download PDF

Info

Publication number
CN110675428A
CN110675428A CN201910842488.5A CN201910842488A CN110675428A CN 110675428 A CN110675428 A CN 110675428A CN 201910842488 A CN201910842488 A CN 201910842488A CN 110675428 A CN110675428 A CN 110675428A
Authority
CN
China
Prior art keywords
target
color
video frame
tracking
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910842488.5A
Other languages
English (en)
Other versions
CN110675428B (zh
Inventor
陈晓春
林博溢
王海林
张坤华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Tsinghua University
Peng Cheng Laboratory
Original Assignee
Shenzhen Research Institute Tsinghua University
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Tsinghua University, Peng Cheng Laboratory filed Critical Shenzhen Research Institute Tsinghua University
Priority to CN201910842488.5A priority Critical patent/CN110675428B/zh
Publication of CN110675428A publication Critical patent/CN110675428A/zh
Application granted granted Critical
Publication of CN110675428B publication Critical patent/CN110675428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种面向人机交互的目标跟踪方法、***、计算机设备和存储介质。方法包括:读取视频帧图像,在视频帧图像中检测相应的目标;提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型;对视频帧图像进行分区,得到与目标对应的运动区域;利用颜色空间模型对目标对应的运动区域进行跟踪。采用本方法在面对人机交互的目标跟踪时,能够实现对目标进行精确的跟踪。

Description

面向人机交互的目标跟踪方法、装置、计算机设备
技术领域
本申请涉及人机交互技术领域,特别是涉及一种面向人机交互的目标跟踪方法、装置、计算机设备和存储介质。
背景技术
随着计算机视觉领域的快速发展,目标跟踪作为视觉领域里重要的一环愈发受到重视。目前基于计算机视觉的目标跟踪技术尤其是在人机交互方面正在逐渐改变人们的生活方式,并且广泛应用于监控、医疗影像、无人驾驶、远程控制、互动游戏等领域。传统的目标跟踪算法有压缩感知算法、相关滤波算法及时空上下文跟踪算法等,这些传统的跟踪算法计算简单,容易理解,因而广受青睐。
然而,在实际跟踪过程中,针对复杂的背景、光照等外界条件,以及考虑到人体自身的多样性和人体的运动属于非线性无规律运动等因素,这会给计算机设备视觉跟踪带来了很大的困难,因而采用传统的跟踪算法很难进行精确的目标跟踪。
发明内容
基于此,有必要针对上述技术问题,提供一种能够进行精确的面向人机交互的目标跟踪方法、装置、计算机设备和存储介质。
一种面向人机交互的目标跟踪方法,方法包括:
读取视频帧图像,在视频帧图像中检测相应的目标;
提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型;
对视频帧图像进行分区,得到与目标对应的运动区域;
利用颜色空间模型对目标对应的运动区域进行跟踪。
在其中一个实施例中,所述对视频帧图像进行分区,得到与目标对应的运动区域,包括:
对视频帧图像进行颜色空间转换,得到多种颜色对应的像素概率;
利用多种颜色对应的像素概率生成颜色概率分布图;
对颜色概率分布图进行分区,得到干扰区域以及与目标对应的运动区域。
在其中一个实施例中,所述干扰区域包括同色干扰区域;所述对颜色概率分布图进行分区,包括:
将颜色概率分布图中与目标颜色相似的区域标记为同色干扰区域;
建立与多个同色干扰区域对应的混合模型,生成包含多个同色干扰区域的概率密度图;
对概率密度图进行分区,得到多个同色干扰区域以及与目标对应的运动区域。
在其中一个实施例中,所述利用颜色空间模型对目标对应的运动区域进行跟踪,包括:
通过颜色概率分布图对目标进行定位;
在颜色概率分布图中对运动区域进行标记;
在连续的视频帧图像中对目标进行跟踪。
在其中一个实施例中,所述方法还包括:
当跟踪过程中目标丢失时,将丢失目标的视频帧图像标记为异常图像;
获取与目标对应的运动轨迹;
利用运动轨迹确定目标的丢失位置;
从丢失位置开始,继续对目标进行跟踪。
在其中一个实施例中,所述利用运动轨迹确定目标的丢失位置,包括:
在多张异常图像中查找与目标对应的颜色特征相似的区域;
利用每张异常图像中的颜色特征相似的区域与运动轨迹进行比对,得到目标在每张异常图像中的丢失位置的概率;
根据概率确定目标的丢失位置。
一种面向人机交互的目标跟踪的装置,装置包括:
获取模块,用于读取视频帧图像,在视频帧图像中检测相应的目标;
模型建立模块,用于利用颜色特征建立与目标对应的颜色空间模型;
分区模块,用于对视频帧图像进行分区,得到与目标对应的运动区域。
跟踪模块,用于对目标对应的运动区域进行跟踪。
在其中一个实施例中,所述装置还包括:
丢失再检测模块,当跟踪过程中目标丢失时,获取模块用于获取与目标对应的运动轨迹,利用运动轨迹确定目标的丢失位置;从丢失位置开始,跟踪模块用于继续对目标进行跟踪。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
读取视频帧图像,在视频帧图像中检测相应的目标;
提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型;
对视频帧图像进行分区,得到与目标对应的运动区域;
利用颜色空间模型对目标对应的运动区域进行跟踪。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
读取视频帧图像,在视频帧图像中检测相应的目标;
提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型;
对视频帧图像进行分区,得到与目标对应的运动区域;
利用颜色空间模型对目标对应的运动区域进行跟踪。
上述面向人机交互的目标跟踪方法、装置、计算机设备和存储介质,通过读取视频帧图像,可以检测到相应的目标。利用目标的颜色特征可以建立与目标对应的颜色空间模型。通过对视频帧图像进行分区,在视频帧图像中对目标的运动区域进行定位,由此可以利用颜色空间模型对目标在多帧视频帧图像中进行跟踪,从而提高了目标跟踪的精确性。
附图说明
图1为一个实施例中面向人机交互的目标跟踪方法的应用场景图;
图2为一个实施例中面向人机交互的目标跟踪方法的流程示意图;
图3-a至3-e为一个实施例中面向人机交互的手势目标的分割示意图;
图4为一个实施例中对视频帧图像进行分区,得到目标对应的运动区域步骤的流程示意图;
图5为一个实施例中对颜色概率分布图进行分区步骤的流程示意图;
图6-a、6-b为一个实施例中对手势目标同色干扰区域划分的示意图;
图7为一个实施例中目标跟踪丢失再检测步骤的流程示意图;
图8为一个实施例中面向人机交互的目标跟踪装置的结构框图;
图9为另一个实施例中面向人机交互的目标跟踪装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的面向人机交互的目标跟踪方法,可以应用于如图1所示的应用环境中。其中,终端102与服务器104通过网络进行通信。终端102可以通过访问服务器104,从服务器104获取视频。终端102中安装有摄像头和屏幕。终端102也可以通过启用摄像头,获取摄像头采集到的实时视频。终端102通过屏幕显示视频帧图像,在视频帧图像中检测相应的目标。终端102提取目标的颜色特征,利用该颜色特征建立与目标对应的颜色空间模型,对视频帧图像进行分区,得到与目标对应的运动区域,利用颜色空间模型对目标对应的运动区域进行跟踪。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本申请中只列出了上述应用的一种类型,但可以理解,应用的类型并不局限于此,在其他实施例中还可以是游戏应用、社交网络应用等。
在一个实施例中,如图2所示,提供了一种面向人机交互的目标跟踪方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,读取视频帧图像,在视频帧图像中检测相应的目标。
终端获取视频。视频可以是实时视频,也可以是与预设时间段对应的非实时视频。实时视频是通过终端中安装的摄像头在人机交互过程中实时采集得到的。非实时视频是终端通过访问服务器,从服务器获取得到的。例如终端通过访问服务器,可以获取到其他终端通过摄像头采集到的监控视频进行目标跟踪。实时视频与非实时视频都包括多帧视频帧图像。其中,每一张视频帧图像都是一张静态图,若干个静态图像就组成了一段视频。
终端中安装有摄像头。摄像头可以对运动中的目标进行实时拍摄生成实时视频。终端读取摄像头采集到的实时视频,将多帧视频帧图像显示在屏幕上。终端利用训练好的分类器检测多帧视频帧图像中是否有相应的目标存在。当终端检测到多帧视频帧图像中有相应的目标存在时,则终端对多帧视频帧图像的空间重合度进行检测。当空间重合度达到阈值时,确定检测到相应的目标(即待跟踪目标)。阈值可以在配置文件中预先设置,例如,阈值为85%。其中,待跟踪目标包括但不限于人的手势、脸部、脚部、腿部等肢体。
步骤204,提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型。
终端在检测到待跟踪目标的第一帧视频帧图像中,识别待跟踪目标对应的初始位置,终端利用待跟踪目标的初始位置定位,采用均值漂移法对待跟踪目标进行目标分割,得到待跟踪目标对应的中心目标区域。终端获取中心目标区域的颜色,将中心目标区域的周围部分设置成与中心目标区域不同的颜色。
以待跟踪目标为手举例说明,如图3-a至3-e所示的对手掌进行目标分割的具体方法步骤。终端利用训练好的分类器检测多帧视频帧图像中是否有手掌存在如图3-a所示,当终端检测到多帧视频帧图像中有手掌存在时,则利用均值漂移法提取待跟踪目标手掌的中心目标区域,如图3-b至3-e所示,终端将该手掌中心目标区域的颜色设置为白色,该手掌中心目标区域的以外的周围部分设置成黑色。终端把待跟踪目标手掌作为颜色特征取值源,利用获取到的待跟踪目标手掌的中心目标区域,生成待跟踪目标手掌对应的颜色直方图。终端利用待跟踪目标手掌对应的颜色直方图,对视频帧图像进行颜色空间转换,得到转换后的颜色空间,终端对转换后的颜色空间进行量化转换,得到待跟踪目标对应的颜色空间模型。通过建立目标对应的颜色空间模型,以便于下一步对待跟踪目标非线性运动进行更为精确的跟踪。
步骤206,对视频帧图像进行分区,得到与目标对应的运动区域。
步骤208,利用颜色空间模型对目标对应的运动区域进行跟踪。
终端利用建立好的颜色空间模型对视频帧图像进行分区,终端将视频帧图像中的区域划分为目标对应的运动区域和干扰区域。其中,干扰区域可以是一个也可以是多个干扰区域的组合。
在连续多帧视频帧图像中,终端获取预先设置的初始跟踪窗口,终端利用均值漂移法和迭代法,对待跟踪目标对应的颜色空间模型质心的位置进行求解,得到初始跟踪窗口在下一帧视频帧图像中对应的颜色空间模型质心的位置,该颜色空间模型质心的位置即为待跟踪目标在下一帧视频帧图像中的中心位置。终端对连续多帧视频帧图像中待跟踪目标的中心位置进行记录,得到待跟踪目标的运动轨迹。终端还可以利用待跟踪目标的运动轨迹对待跟踪目标进行丢失再检测。
在连续多帧视频帧图像中,终端获取待跟踪目标的初始位置,从初始跟踪窗口开始,终端利用均值漂移法和迭代法,对待跟踪目标在下一帧视频帧图像中的中心位置进行跟踪。
在其中一个实施例中,利用颜色空间模型对目标对应的运动区域进行跟踪,包括:通过颜色概率分布图对目标进行定位;在颜色概率分布图中对运动区域进行标记;在连续的视频帧图像中对目标进行跟踪。
终端在检测到待跟踪目标的第一帧视频帧图像中,识别待跟踪目标对应的初始位置,将初始位置设置为初始跟踪窗口。为了对待跟踪目标进行准确跟踪,在颜色概率分布图中,终端对待跟踪目标的运动区域进行标记。终端获取初始跟踪窗口,在连续多帧视频帧图像中,终端利用均值漂移法和迭代法,对待跟踪目标对应的颜色空间模型质心的位置进行求解,得到初始跟踪窗口在下一帧视频帧图像中对应的颜色空间模型质心的位置,该颜色空间模型质心的位置即为待跟踪目标在下一帧视频帧图像中的中心位置。终端对连续多帧视频帧图像中待跟踪目标的中心位置进行记录,得到待跟踪目标的运动轨迹。在连续多帧视频帧图像中,终端获取待跟踪目标的初始位置,从初始跟踪窗口开始,终端利用均值漂移法和迭代法,对待跟踪目标在下一帧视频帧图像中的中心位置进行跟踪。由此通过对目标在运动区域中定位,实现了对目标区域在多帧视频帧图像中的精准跟踪。
本实施例中,通过读取视频帧图像,可以检测到相应的目标。利用目标的颜色特征可以建立与目标对应的颜色空间模型。通过对视频帧图像进行分区,在视频帧图像中对目标的运动区域进行定位,由此可以利用颜色空间模型对目标在多帧视频帧图像中进行精准跟踪,从而实现了在面向人机交互的过程中,对目标进行精确跟踪。
在其中一个实施例中,对视频帧图像进行分区,得到与目标对应的运动区域的步骤,如图4所示,包括:
步骤402,对视频帧图像进行颜色空间转换,得到多种颜色对应的像素概率。
步骤404,利用多种颜色对应的像素概率生成颜色概率分布图。
步骤406,对颜色概率分布图进行分区,得到干扰区域以及与目标对应的运动区域。
在本实施例中,在利用颜色特征对视频帧图像进行颜色空间转换之后,终端对转换后的颜色空间进行量化转换。其中,终端将视频帧图像从RGB颜色空间转换到HSV颜色空间。HSV颜色空间包括H分量直方图、S分量直方图、V分量直方图。H分量直方图包括H分量多级颜色的颜色特征,例如,可以是H分量的n级颜色的颜色特征。终端对H分量直方图的颜色空间进行量化转换,得到n级颜色在该H分量图中出现的概率。因为不同级颜色可能包含不同的像素数目,所以视频帧图像的H分量直方图可表示为:
q={q(u)},u=1,2…n (1)
其中,q(u)表示第u级颜色在该H分量图中出现的概率。
终端获取n级颜色在该H分量图中出现的概率值(也可以称为n级颜色的像素概率),查找对应的视频帧图像中n级颜色的每个像素的值,终端将视频帧图像中n级颜色的每个像素的值逐一替换成对应的n级颜色的像素概率,得到该视频帧图像的颜色概率分布图。
终端对每一帧视频帧图像的颜色概率分布图进行分区,终端利用视频帧图像对应的颜色概率分布图,生成对应的干扰区域和目标对应的运动区域。终端将目标对应的运动区域以外的区域都标记为干扰区域,并设置成不同的颜色,例如黑色。由此使得对目标进行跟踪时,可以在划分好的目标对应的运动区域内对目标进行精确的跟踪,有效的排除了干扰区域对目标跟踪的影响。
在其中一个实施例中,干扰区域包括同色干扰区域,对颜色概率分布图进行分区的步骤,如图5所示,具体包括:
步骤502,将颜色概率分布图中与目标颜色相似的区域标记为同色干扰区域。
步骤504,建立与多个同色干扰区域对应的混合模型,生成包含多个同色干扰区域的概率密度图。
步骤506,对概率密度图进行分区,得到多个同色干扰区域以及与目标对应的运动区域。
终端利用建立好的颜色空间模型对视频帧图像进行分区,终端将视频帧图像中的区域划分为目标对应的运动区域和干扰区域。其中,干扰区域可以是一个也可以是多个干扰区域的组合。具体的,终端利用颜色概率分布图与视频帧图像中待跟踪目标颜色相似的区域进行比对,将颜色相似的区域标记为同色干扰区域。其中,同色干扰区域可以是多个互不相邻的区域。视频帧图像对应的概率分布图可以采用如下方法表示:用F(xi)表示某一帧视频帧图像的概率分布图,则可表示为:
F(xi)=FM(xi)+FI(xi) (2)
其中,FM(xi)为目标对应的运动区的颜色概率分布图;FI(xi)为同色干扰区域的颜色概率分布图,包含多个同色干扰区域。
终端对多个同色干扰区域的颜色概率分布图进行切分混合高斯建模,得到包含多个同色干扰区域的概率密度图。视频帧图像中xi位置的像素可用K个高斯分布构成的混合模型来表示:
Figure BDA0002194157720000081
式中,ηk(xi,ti,t,ki,t,k)是高斯分布函数,μi,t,k为均值,Σi,t,k为协方差矩阵,ωi,t,k为第k类的权重且满足这里K取值5。这样得到包含多个同色干扰区域的概率密度图可以用FNewI(xi)表示:
FNewI(xi)=FI(xi)-f(Fi,t) (4)
其中,FI(xi)为同色干扰区域的颜色概率分布图;f(Fi,t)为K个高斯分布构成的混合模型。
终端对视频帧图像对应的包含多个同色干扰区域的概率密度图进行分区,终端利用视频帧图像对应的包含多个同色干扰区域的概率密度图,生成多个对应的同色干扰区域的白色连通区域图像,终端将同色干扰区域以外的区域都标记为目标对应的运动区域,并设置成不同的颜色显示在屏幕上,例如黑色。终端对概率密度图进行分区,得到目标对应的运动区域M和多个同色干扰区域I。若以图6-a人物举起的右手作为待跟踪目标,如图6-b所示,两个白色连通区域即为待跟踪手势目标的同色干扰区域I,同色干扰区域以外的所有黑色区域都为待跟踪手势目标的运动区域M。由此使得对目标进行跟踪时可以排除跟踪过程中相近色的区域对待跟踪手势目标的干扰。
在一个实施例中,该方法还包括;目标跟踪丢失再检测的步骤,如图7所示,具体包括:
步骤702,当跟踪过程中目标丢失时,将丢失目标的视频帧图像标记为异常图像。
步骤704,获取与目标对应的运动轨迹。
步骤706,利用运动轨迹确定目标的丢失位置。
步骤708,从丢失位置开始,继续对目标进行跟踪。
当跟踪过程中目标丢失时,终端将丢失目标的视频帧图像标记为异常图像。在连续多帧视频帧图像中,终端获取预先设置的初始跟踪窗口,终端利用均值漂移法和迭代法,对待跟踪目标对应的颜色空间模型质心的位置进行求解,得到初始跟踪窗口在下一帧视频帧图像中对应的颜色空间模型质心的位置,该颜色空间模型质心的位置即为待跟踪目标在下一帧视频帧图像中的中心位置。终端对连续多帧视频帧图像中待跟踪目标的中心位置进行记录,得到待跟踪目标的运动轨迹。
终端在多张异常图像中,查找与目标对应的颜色特征相似的区域,并对查找到的相似区域进行标记,终端对标记过的每张异常图像中的颜色特征相似的区域进行逐个判断。当被标记的相似色区域处于同色干扰区域时,终端将置以较小的丢失位置概率;当被标记的相似色区域处于目标运动区域时,终端将置以较大的丢失位置概率;当被标记的相似色区域处于目标运动轨迹区域时,终端将置以更大的丢失位置概率。终端利用每张异常图像中丢失位置概率值的大小进行排序,终端将具有最大丢失位置概率值的位置设为目标的丢失位置,从丢失位置开始,终端继续对目标对应的运动区域进行迭代跟踪。若在当前异常图像内没有找到目标,则继续输入下一帧视频图像,重复上述目标跟踪丢失再检测的步骤。从丢失位置开始,终端继续对目标对应的运动区域进行迭代跟踪。由此使得在跟踪过程中任意时刻都能保证对目标进行精准的跟踪。
在本实施例中,概率密度图中的像素可以看作有质量的点,像素的质量和亮度成正比,则终端可以利用均值漂移法和迭代法求解初始跟踪窗口在下一帧图像对应的概率分布图中的质心的位置,以获取待跟踪目标在对应的运动区域中的中心位置。此外,根据待跟踪目标的不同,本实施例中的跟踪窗口可以设置为不同形状、尺寸和阈值。例如,终端检测待跟踪目标为手掌,终端将跟踪窗口设置为边长为d的矩形框,终端根据预先设置好的阈值范围,即当相邻两矩形框的中心距离大于d/4且小于d时,终端将这两个中心位置的数据进行记录。终端通过对连续多帧视频帧图像目标对应的运动区域的中心位置的记录,就可以得到目标在运动过程中的一系列中心点的位置。其中,在其他实施例中跟踪窗口还可以设置为圆形、正方形等。
在一个实施例中,如图8所示,提供了一种面向人机交互的目标跟踪的装置,包括:获取模块802、模型建立模块804、分区模块806和跟踪模块808,其中:
获取模块802,用于读取视频帧图像,在视频帧图像中检测相应的目标;
模型建立模块804,用于利用颜色特征建立与目标对应的颜色空间模型;
分区模块806,用于对视频帧图像进行分区,得到与目标对应的运动区域;
跟踪模块808,用于对目标对应的运动区域进行跟踪。
在其中一个实施例中,分区模块806还用于对视频帧图像进行颜色空间转换,得到多种颜色对应的像素概率,然后利用多种颜色对应的像素概率生成颜色概率分布图,最终对颜色概率分布图进行分区,得到干扰区域以及与目标对应的运动区域。
在其中一个实施例中,分区模块806还用于将颜色概率分布图中与目标颜色相似的区域标记为同色干扰区域,模型建立模块804用于建立与多个同色干扰区域对应的混合模型,生成包含多个同色干扰区域的概率密度图;分区模块806用于对概率密度图进行分区,得到多个同色干扰区域以及目标对应的运动区域。
在其中一个实施例中,跟踪模块808还用于通过颜色概率分布图对目标进行定位,在颜色概率分布图中对运动区域进行标记,最终在连续的视频帧图像中对目标进行跟踪。
在其中一个实施例中,如图9所示,该装置还包括:丢失再检测模块910。
当跟踪过程中目标丢失时,丢失再检测模块910用于将丢失目标的视频帧图像标记为异常图像,获取模块902还用于获取与目标对应的运动轨迹,利用运动轨迹确定目标的丢失位置,从丢失位置开始,跟踪模块908还用于继续对目标进行跟踪。
在其中一个实施例中,该装置还包括:丢失再检测模块910。
丢失再检测模块910用于在多张异常图像中查找与目标对应的颜色特征相似的区域,同时利用每张异常图像中的颜色特征相似的区域与运动轨迹进行比对,得到目标在每张异常图像中的丢失位置的概率,根据运动区域在每张异常图像中的丢失位置的概率确定目标的丢失位置。
关于面向人机交互的目标跟踪的装置的具体限定可以参见上文中对于面向人机交互的目标跟踪方法的限定,在此不再赘述。上述面向人机交互的目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向人机交互的目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各个方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchl ink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向人机交互的目标跟踪方法,包括:
读取视频帧图像,在视频帧图像中检测相应的目标;
提取目标的颜色特征,利用颜色特征建立与目标对应的颜色空间模型;
对视频帧图像进行分区,得到与目标对应的运动区域;
利用颜色空间模型对目标对应的运动区域进行跟踪。
2.根据权利要求1的方法,其特征在于,所述对视频帧图像进行分区,得到与目标对应的运动区域,包括:
对视频帧图像进行颜色空间转换,得到多种颜色对应的像素概率;
利用多种颜色对应的像素概率生成颜色概率分布图;
对颜色概率分布图进行分区,得到干扰区域以及与目标对应的运动区域。
3.根据权利要求2的方法,其特征在于,所述干扰区域包括同色干扰区域;所述对颜色概率分布图进行分区,包括:
将颜色概率分布图中与目标颜色相似的区域标记为同色干扰区域;
建立与多个同色干扰区域对应的混合模型,生成包含多个同色干扰区域的概率密度图;
对概率密度图进行分区,得到多个同色干扰区域以及与目标对应的运动区域。
4.根据权利要求2的方法,其特征在于,所述利用颜色空间模型对目标对应的运动区域进行跟踪,包括:
通过颜色概率分布图对目标进行定位;
在颜色概率分布图中对运动区域进行标记;
在连续的视频帧图像中对目标进行跟踪。
5.根据权利要求1-4任一项的方法,其特征在于,所述方法还包括:
当跟踪过程中目标丢失时,将丢失目标的视频帧图像标记为异常图像;
获取与目标对应的运动轨迹;
利用运动轨迹确定目标的丢失位置;
从丢失位置开始,继续对目标进行跟踪。
6.根据权利要求5的方法,其特征在于,所述利用运动轨迹确定目标的丢失位置,包括:
在多张异常图像中查找与目标对应的颜色特征相似的区域;
利用每张异常图像中的颜色特征相似的区域与运动轨迹进行比对,得到目标在每张异常图像中的丢失位置的概率;
根据概率确定目标的丢失位置。
7.一种面向人机交互的目标跟踪的装置,其特征在于,装置包括:
获取模块,用于读取视频帧图像,在视频帧图像中检测相应的目标;
模型建立模块,用于利用颜色特征建立与目标对应的颜色空间模型;
分区模块,用于对视频帧图像进行分区,得到与目标对应的运动区域;
跟踪模块,用于对目标对应的运动区域进行跟踪。
8.根据权利要求7的面向人机交互的目标跟踪的装置,其特征在于,所述装置还包括:
丢失再检测模块,当跟踪过程中目标丢失时,获取模块用于获取与目标对应的运动轨迹,利用运动轨迹确定目标的丢失位置;从丢失位置开始,跟踪模块用于继续对目标进行跟踪。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现权利要求1至6中任一项方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现权利要求1至6中任一项的方法的步骤。
CN201910842488.5A 2019-09-06 2019-09-06 面向人机交互的目标跟踪方法、装置、计算机设备 Active CN110675428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842488.5A CN110675428B (zh) 2019-09-06 2019-09-06 面向人机交互的目标跟踪方法、装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842488.5A CN110675428B (zh) 2019-09-06 2019-09-06 面向人机交互的目标跟踪方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN110675428A true CN110675428A (zh) 2020-01-10
CN110675428B CN110675428B (zh) 2023-02-28

Family

ID=69076624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842488.5A Active CN110675428B (zh) 2019-09-06 2019-09-06 面向人机交互的目标跟踪方法、装置、计算机设备

Country Status (1)

Country Link
CN (1) CN110675428B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937231A (zh) * 2022-07-21 2022-08-23 成都西物信安智能***有限公司 一种提高目标识别跟踪准确度的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244272A (ja) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 手位置追跡方法、装置、およびプログラム
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN105046721A (zh) * 2015-08-03 2015-11-11 南昌大学 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
US20160379055A1 (en) * 2015-06-25 2016-12-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
CN109636834A (zh) * 2018-11-22 2019-04-16 北京工业大学 基于tld改进算法的视频车辆目标跟踪算法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法
CN109961456A (zh) * 2017-12-22 2019-07-02 沈阳灵景智能科技有限公司 一种基于gpu并行计算的视频运动目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244272A (ja) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> 手位置追跡方法、装置、およびプログラム
US20120154579A1 (en) * 2010-12-20 2012-06-21 International Business Machines Corporation Detection and Tracking of Moving Objects
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
US20160379055A1 (en) * 2015-06-25 2016-12-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
CN105046721A (zh) * 2015-08-03 2015-11-11 南昌大学 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法
CN109961456A (zh) * 2017-12-22 2019-07-02 沈阳灵景智能科技有限公司 一种基于gpu并行计算的视频运动目标跟踪方法
CN109636834A (zh) * 2018-11-22 2019-04-16 北京工业大学 基于tld改进算法的视频车辆目标跟踪算法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NISHU SINGLA: "Motion Detection Based on Frame Difference Method", 《INTERNATIONAL JOURNAL OF INFORMATION & COMPUTATION TECHNOLOGY》 *
储等: "基于遮挡检测和时空上下文信息的目标跟踪算法", 《模式识别与人工智能》 *
张彦彬,等: "基于特征空间切分建模的变形手势跟踪算法", 《机器人》 *
张彦彬: "面向人机交互的手势跟踪和识别技术研究", 《中国优秀硕士学位论文全文数据库(信息科技专辑)》 *
许晓航等: "复杂背景及遮挡条件下的运动目标跟踪", 《光电工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937231A (zh) * 2022-07-21 2022-08-23 成都西物信安智能***有限公司 一种提高目标识别跟踪准确度的方法

Also Published As

Publication number Publication date
CN110675428B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN110490902B (zh) 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN103295016B (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN110598559B (zh) 检测运动方向的方法、装置、计算机设备和存储介质
CN109903272B (zh) 目标检测方法、装置、设备、计算机设备和存储介质
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN106709938A (zh) 基于改进tld的多目标追踪方法
WO2019033567A1 (zh) 眼球动作捕捉方法、装置及存储介质
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN110516559B (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
CN111612822A (zh) 对象跟踪方法、装置、计算机设备和存储介质
CN111523387B (zh) 手部关键点检测的方法、设备和计算机设备
CN111159476B (zh) 目标对象的搜索方法、装置、计算机设备及存储介质
CN113963311B (zh) 一种安全生产风险视频监控方法及***
CN111652314A (zh) 温度检测方法、装置、计算机设备和存储介质
CN110675428B (zh) 面向人机交互的目标跟踪方法、装置、计算机设备
CN114022845A (zh) 电工绝缘手套实时检测方法、计算机可读介质
Khan et al. Foreground detection using motion histogram threshold algorithm in high-resolution large datasets
CN108764209A (zh) 一种基于监控视频的人物异常行为自动检测方法
CN113887384B (zh) 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质
CN108108010A (zh) 一种全新的静态手势检测与识别***
CN113850750A (zh) 一种目标轨迹校验的方法、装置、设备及存储介质
Zhou et al. [Retracted] The Application and Development Trend of Youth Sports Simulation Based on Computer Vision
CN113239945B (zh) 利用轨迹约束的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant