CN105844659A - 运动部件的跟踪方法和装置 - Google Patents

Abstract

本发明提供了一种运动部件的跟踪方法和装置，其中，所述方法包括：利用动态视觉传感器采集信号并输出检测的事件点；利用分类器针对当前检测出的事件点识别出运动部件的类别和位置；根据依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果；其中，所述分类器是根据所述动态视觉传感器采集的样本信号预先训练出来的。应用本发明，可以使得跟踪过程能耗低、且可以快速精确地捕捉运动目标。

Description

运动部件的跟踪方法和装置

技术领域

本发明涉及智能设备技术领域，具体而言，本发明涉及一种运动部件的跟踪方法和装置。

背景技术

运动目标跟踪是计算机视觉领域的一个研究热点，广泛应用于军事侦察、监控***、人机交互等领域。例如，可以对环境中的运动目标进行捕捉、跟踪、分析；根据分析出的运动目标的运动方式进行终端设备的运行模式的切换，以此提高人机交互体验。其中，终端设备可以为移动终端、摄像机、智能眼镜、智能电视等。

目前，现有的运动目标跟踪方法，主要采用传统的基于CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)的摄像设备，对运动目标所在的场景进行图像采集；之后，从采集的图像中分割出运动的区域与背景区域后，根据分割出的运动的区域识别出运动目标，并以此进行运动目标的跟踪。而分割出场景中的运动目标耗费时间长，导致现有的运动目标跟踪方法无法适用于具有快速跟踪需求的场合。

而且，现有的运动目标跟踪方法由于需要摄像设备一直处于开启状态才能快速捕捉到环境中移动的运动目标，而传统的基于CCD或CMOS的摄像设备的能耗较高，继而导致跟踪过程能耗高，不利于在便携式设备，如手机、智能眼镜等设备上应用。

因此，有必要提供一种能耗低、且能够快速捕捉运动目标的运动目标跟踪方法。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是跟踪过程能耗高、以及无法快速精确地捕捉运动目标的问题。

本发明提供了一种运动部件的跟踪方法，包括：

利用动态视觉传感器采集信号并输出检测的事件点；

利用分类器针对当前检测出的事件点识别出运动部件的类别和位置；

根据依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果；

其中，所述分类器是根据所述动态视觉传感器采集的样本信号预先训练出来的。

本发明方案还提供了一种运动部件的跟踪装置，包括：

信号采集单元，用于利用动态视觉传感器采集信号并输出检测的事件点；

部件识别单元，用于利用分类器针对所述信号采集单元当前检测出的事件点识别出运动部件的类别和位置；其中，所述分类器是根据所述动态视觉传感器采集的样本信号预先训练出来的；

运动跟踪单元，用于根据所述部件识别单元依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果。

本实施例的方案中，针对动态视觉传感器当前检测出的事件点，可以利用预先训练的分类器识别出运动部件的类别和位置；并针对每种类别的运动部件，根据依次识别出的该类别的运动部件的位置确定运动轨迹，作为该类别的运动部件的跟踪结果。

进一步地，根据跟踪结果识别出相应的动作指令，并根据动作指令进行相应响应操作。

相比现有的运动目标跟踪方法，一方面，本发明提供的方案中的动态视觉传感器可以快速响应快速移动的运动部件，且能耗低；另一方面，由于动态视觉传感器只对像素亮度变化一定程度以上的事件点做出响应，动态视觉传感器采集信号中可以直接检测出事件点，而不需要从场景中分割出运动物体的操作，可以有效提高跟踪运动部件的速度和精度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例提供的分类器训练方法的流程示意图；

图2a为本发明实施例提供的运动部件的跟踪方法的流程示意图；

图2b为本发明实施例提供的动态视觉传感器采集的图像示意图；

图3为本发明实施例提供的运动部件的跟踪装置的结构示意图；

图4为本发明实施例提供的分类器训练单元的内部结构示意图；

图5为本发明实施例提供的部件识别单元的内部结构示意图；

图6为本发明实施例提供的运动响应单元的内部结构示意图。

具体实施方式

以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本申请使用的“模块”、“***”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

本发明的发明人发现，现有的运动目标跟踪方法无法适用于具有快速跟踪需求的场合的关键在于：

现有的运动目标跟踪方法中，需要对采集的图像进行复杂的图像处理，并从拍摄的图像中将运动目标从场景中分割出之后，进行运动目标跟踪；而分割出场景中的运动目标耗费时间长。

因此，在具有快速跟踪需求的场合下，易造成无法及时捕捉到快速运动的运动目标。比如，在观鸟过程中，鸟类快速飞过，由于上述传统的摄像设备往往不具备快速反应的捕捉能力，因此，通常需要手动跟踪鸟类飞行轨迹，给拍摄者带来很多技术要求。

进一步，本发明的发明人发现，动态视觉传感器只对像素亮度变化一定程度以上的事件点做出响应，且具有能耗低、光照条件宽泛等特点。而能耗低可以使其在移动设备等终端待机时处于工作状态，能够及时、快速地、精确地捕捉运动目标；一旦用户需要或者外界条件满足，能自动控制响应的设备进行模式切换，或者在发现危险条件时，及时发出预警。光照条件宽泛可以使得动态视觉传感器在不同的环境背景下有效工作，即使处于黑暗光源很弱的环境，也可以捕捉到运动部件。

由此考虑到，可以利用动态视觉传感器采集信号，检测出采集的信号中的像素亮度变化超过设定的范围的事件点并输出。其中，像素亮度变化超过设定的范围的事件点的位置通常是场景中移动的运动物体所对应的位置。因此，基于检测出的事件点和预先训练的用于确定事件点所属运动部件的类别的分类器，可以识别出运动部件的类别和位置，并确定运动部件的运动轨迹。

相比现有的运动目标跟踪方法，一方面，本发明提供的方案中的动态视觉传感器可以快速响应快速移动的运动物体，且能耗低；另一方面，动态视觉传感器只对像素亮度变化一定程度以上的事件点做出响应，其采集的信号中可以直接检测出事件点，而不需要从场景中分割出运动物体的操作，可以有效提高跟踪运动部件的速度和精度。

下面结合附图详细说明本发明的技术方案。

本发明实施例中，在进行运动部件的跟踪之前，可以预先训练用于识别事件点所属运动部件的类别的分类器，如图1所示，具体可以通过如下方法步骤来训练：

S101：根据动态视觉传感器采集样本信号输出的事件点生成训练样本。

本步骤中，可以先利用动态视觉传感器预先采集样本信号。比如，可以针对各种类别的运动部件，利用动态视觉传感器将该类别的运动部件的各种运动过程进行拍摄，采集到样本信号。

由于动态视觉传感器只对像素亮度变化一定程度以上的事件点做出响应，传输并存储响应的事件点。因此，可以从动态视觉传感器采集的样本信号中直接输出事件点；并将动态视觉传感器采集样本信号输出的事件点作为样本事件点。

实际应用中，每一个事件点都有一个对应的空间位置，某一事件点所对应的位置附近的事件点可以称为该事件点的邻居点。考虑到动态视觉传感器采集的样本信号能在一定程度上很好的描述物体的运动轮廓，而这些运动产生的轮廓信息也可以表达物体自身的形状信息，因此，事件点的邻居点对事件点有着很好的结构描述作用，可以便于判断事件点属于运动物体的哪个部分，即所属运动部件的类别。比如，人体运动时会产生很多事件点，通过事件点及其一定范围内的邻居点可以来判断事件点是否属于头部、或手部、或身体等。

因此，在确定将动态视觉传感器采集样本信号输出的事件点作为样本事件点之后，可以确定当前输出的样本事件点的邻居点；并根据该样本事件点及其邻居点的位置，对该样本事件点进行分类，即判断出该样本事件点所属的运动部件的类别。其中，运动部件的类别具体可以头部、手部、身体等。

这样，可以将当前输出的样本事件点，以及该样本事件点的邻居点，作为一个训练样本；将判断出的该样本事件点所属的运动部件的类别对该训练样本的运动部件的类别进行标定。具体地，针对当前输出的样本事件点，可以对该样本事件点的周围按照设定的采样范围进行采样，选取出设定数量的邻居点；并将该样本事件点和选取出的邻居点作为一个样本来进行训练或者测试。

S102：利用生成的训练样本及其标定结果，对深度置信网络进行训练，得到分类器。

其中，训练样本的标定结果指的是为该训练样本标定的运动部件的类别。

本步骤中，可以将步骤S101生成的多个训练样本组成训练样本集，利用训练样本集、以及该训练样本集中的每个训练样本的标定结果对深度置信网络进行训练，得到分类模型。其中，关于如何对深度置信网络进行训练，可以采用本领域技术人员常用的技术手段。

例如，利用生成的训练样本及其标定结果，对深度置信网络进行多次迭代训练。其中，一次迭代训练过程具体包括：将多个训练样本组成的训练样本集作为深度置信网络的输入；继而，将深度置信网络的输出与各训练样本的标定结果进行比较；并根据比较结果调整深度置信网络的层级参数继续下次迭代，或停止迭代得到分类器。

其中，深度置信网络的输出实际上是对样本事件点所属运动部件的类别的猜测，这样，通过将猜测的所属运动部件的类别与预先标定的、较为准确的标定结果进行比较，将两者产生的误差值通过后向传播的训练技术对深度置信网络的各层级参数进行调整，提高最终得到的分类器的类别划分准确度，以此便于运动部件的准确跟踪。

基于上述分类器，本发明提供了一种运动部件的跟踪方法，如图2a所示，其流程具体可以包括如下步骤：

S201：利用动态视觉传感器采集信号并输出检测的事件点。

具体地，可以利用动态视觉传感器实时采集信号，并输出检测的事件点。其中，每一个事件点对应一个位置，但是同一个位置可能对应好几个事件点。因此，在输出检测的事件点之前，需要去除掉重复的事件点，保留最新产生的事件点并输出。

实际应用中，在采集信号中可能会存在***、环境等导致的噪声，因此，可以根据事件发生的先后关系及空间临近关系，去除采集的由多个事件点所组成的事件流信号中噪声。

进一步地，通过积累一定时间间隔(比如，20ms)内的事件流并结合事件点的位置，可以将动态视觉传感器采集的事件流信号转换成图像信号；如图2b所示，转换的图像信号中只大致反映了运动目标的轮廓和部分纹理信息，直接忽略了背景中不会移动的物体。

S202：利用分类器针对当前检测出的事件点识别出运动部件的类别和位置。

本步骤中，可以利用预先根据动态视觉传感器采集的样本信号所训练出的分类器，根据当前检测出的事件点的邻居点，确定出该事件点所属运动部件的类别。分类器可以根据输入的当前检测出的事件点、以及该事件点的邻居点，相应输出该事件点所属运动部件的类别。

其中，事件点的邻居点可以通过如下方式来确定：

确定出动态视觉传感器采集当前的事件流信号之前的设定的时间间隔(比如，20ms)内所采集的所有事件流信号；并针对确定出的每个事件流信号，将该事件流信号中在当前检测出的事件点周边的设定空间范围(比如，80×80像素的矩形)内的事件点确定为该事件点的邻居点。

进一步地，在确定出所有检测出的事件点的所属运动部件的类别之后，还可以针对每种类别的运动部件，根据属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的位置。

例如，可以计算出属于同一类别的运动部件的事件点的中心位置；将计算出的中心位置作为该类别的运动部件的位置。实际应用中，可以使用本领域技术人员所公知的任何常用的聚类方式获得属于同一类别的运动部件的事件点的中心位置，即运动部件的位置。作为举例说明，本发明实施例中可以采用K-means聚类方法，将检测出的事件点分给不同的运动部件，并且获得运动部件的中心位置，以便于后续的运动部件的准确跟踪。

S203：根据依次识别出的运动部件的位置确定运动轨迹，作为运动部件的跟踪结果。

具体地，在通过步骤S202识别出运动部件的类别和位置后，可以根据依次识别出的该类别的运动部件的位置，确定出该类别的运动部件的运动轨迹。

实际应用中，可以使用本领域技术人员常用的一般性的跟踪算法来进行运动部件的运动轨迹的确定，比如，平滑滤波器、时序跟踪算法等等，在此不再详述。

更优地，本发明实施例中，在识别出运动部件的类别和位置后，还可以对识别出的运动部件的类别进行合理性验证，将错误判断的运动部件的位置进行排除，以此提高运动部件的跟踪效率，提高跟踪速度。

具体地，在步骤S202确定出所有检测出的事件点的所属运动部件的类别之后，还可以针对每种类别的运动部件，根据属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的形状并记录。进而，可以判断确定出的形状是否属于该类别的运动部件的合理形状范围内；若是，则通过验证；否则，验证不通过。其中，合理形状范围是根据上次记录的该类别的运动部件的形状、以及该类别的运动部件的形状先验知识确定的。

更优地，在步骤S202识别出运动部件的位置之后，还可以判断当前识别出的类别的运动部件的位置是否在合理区域范围内；若是，则通过验证；否则，验证不通过。其中，合理区域范围是根据上次记录的该类别的运动部件的位置、以及该类别的运动部件的位置范围先验知识确定的。例如，当运动部件具体为人体的头部、或手部等具体部位时，可以将当前识别出的该类别的运动部件(比如，头部、或手部)的位置与上次记录的该类别的运动部件的位置进行距离计算，如果距离符合一定的条件，且符合常规人体形态的经验知识时，说明当前识别出的类别的运动部件的位置在合理区域范围内。

进而，若识别出的运动部件的类别通过验证，则将识别出的运动部件的类别和位置对应记录。比如，可以记录在预先构建的跟踪部件列表中，跟踪部件列表中用于对运动部件的位置进行跟踪记录。这样，可以根据跟踪部件列表中依次记录的该类别的运动部件的位置确定运动轨迹，并作为运动部件的跟踪结果。

实际应用中，由于动态视觉传感器成像的特殊性，在运动部件出现短暂的暂停时，根据动态视觉传感器检测出的事件点所反映出的运动部件可能会出现运动轨迹短暂消失的情况。因此，可以通过维护一个跟踪部件列表来实现对不同运动部件的连续的跟踪，并且对运动位置进行平滑处理。其中，平滑处理的过程可以使用常用的平滑处理手段比如卡尔曼滤波方式等。

S204：根据跟踪结果进行动作指令的识别。

具体地，可以对步骤S203所得到的跟踪结果进行动作片段划分，对划分得到的动作序列片段提取特征后，根据提取的特征识别出相应的动作指令。其中，提取的特征包括至少如下一种特征：位置特征、路径特征、移动方向特征、速度特征和加速度特征等等。

例如，可以判断指令库中是否针对该类别的运动部件存储有与提取的特征相匹配的特征；若是，则将指令库中记录的与该特征对应的动作指令，识别为与跟踪结果相应的动作指令。其中，指令库由技术人员进行预先构建；指令库中预先针对每种类别的运动部件，存储有与该类别的运动部件相匹配的运动轨迹的特征，且对应记录有预先设定的动作指令，比如模式切换、危险提醒等。

实际应用中，有些动作指令可能需要根据多个类别的运动部件都按照一定的运动轨迹进行运动才能触发，或者需要根据整个运动物体的运动轨迹来触发。

因此，更优地，还可以将不同类别的运动部件组合为运动物体后，根据各类别的运动部件的运动轨迹确定出运动物体的运动轨迹；并对确定出的运动物体的运动轨迹提取特征后，根据提取的特征识别出相应的动作指令。

其中，关于如何根据各类别的运动部件的运动轨迹确定出运动物体的运动轨迹，具体可以根据跟踪部件列表中各部件之间的位置进行距离计算，如果两个部件之间的距离符合设定匹配条件，则说明两者相匹配；这样，可以将相匹配的各部件的运动轨迹进行拟合，得到运动物体的运动轨迹。

其中，对确定出的运动物体的运动轨迹提取特征，具体包括：对确定出的运动物体的运动轨迹进行动作片段划分，对划分得到的动作序列片段提取特征。

S205：根据识别出的动作指令进行相应响应操作。

具体地，在步骤S204识别出动作指令后，可以根据动作指令进行相应的相应操作，比如，开启终端设备的录像功能、旋转摄像设备的镜头等。

基于上述运动部件的跟踪方法，本发明实施例提供的一种运动部件的跟踪装置，如图3所示，具体可以包括：信号采集单元301、部件识别单元302、运动跟踪单元303。

其中，信号采集单元301用于利用动态视觉传感器采集信号并输出检测的事件点。

部件识别单元302用于利用分类器针对信号采集单元301当前检测出的事件点识别出运动部件的类别和位置。

其中，分类器是根据动态视觉传感器采集的样本信号预先训练出来的。

运动跟踪单元303用于针对每种类别的运动部件，根据依次识别出的该类别的运动部件的位置确定运动轨迹，作为该类别的运动部件的跟踪结果。

更优地，本发明实施例中，运动部件的跟踪装置还可以进一步包括：运动响应单元304。

运动响应单元304用于根据运动跟踪单元303输出的跟踪结果识别出相应的动作指令；根据识别出的动作指令进行相应响应操作。

实际应用中，分类器可以由其他装置根据动态视觉传感器采集的样本信号预先训练出来后，存储于运动部件的跟踪装置中；或者，也可以由运动部件的跟踪装置在进行跟踪之前预先训练出来。

因此，更优地，本发明实施例中，运动部件的跟踪装置还可以进一步包括：分类器训练单元305。

分类器训练单元305用于根据动态视觉传感器采集样本信号输出的事件点生成训练样本；利用生成的训练样本及其标定结果，对深度置信网络进行训练，得到分类器。其中，训练样本的标定结果指的是为该训练样本标定的运动部件的类别。

具体地，如图4所示，分类器训练单元305具体可以包括：训练样本收集子单元401、以及迭代训练子单元402。

其中，训练样本收集子单元401用于将信号采集单元301输出的事件点作为样本事件点；确定当前输出的样本事件点的邻居点；将当前输出的样本事件点，以及该样本事件点的邻居点，作为一个训练样本。

迭代训练子单元402用于利用训练样本收集子单元401生成的训练样本及其标定结果，对深度置信网络进行多次迭代训练。

具体地，迭代训练子单元402可以利用训练样本收集子单元401生成的训练样本及其标定结果，对深度置信网络进行多次迭代训练时，在一次迭代训练过程中，将多个训练样本组成的训练样本集作为深度置信网络的输入；将深度置信网络的输出与各训练样本的标定结果进行比较；根据比较结果调整深度置信网络的层级参数继续下次迭代，或停止迭代得到分类器。

较佳地，如图5所示，部件识别单元302可以包括：部件类别识别子单元501、以及部件位置识别子单元502。

其中，部件类别识别子单元501用于利用分类器根据信号采集单元301当前检测出的事件点的邻居点，确定出该事件点所属运动部件的类别。

部件位置识别子单元502用于针对每种类别的运动部件，根据部件类别识别子单元501确定出的属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的位置。例如，部件位置识别子单元502可以计算出属于同一类别的运动部件的事件点的中心位置；将计算出的中心位置作为该类别的运动部件的位置。

更优地，部件识别单元302还可以包括：合理性验证子单元503。

合理性验证子单元503用于对部件类别识别子单元501识别出的运动部件的类别进行合理性验证；若通过验证，则将部件类别识别子单元501、部件位置识别子单元502识别出的运动部件的类别和位置对应记录。

具体地，合理性验证子单元503可以判断部件位置识别子单元502当前识别出的类别的运动部件的位置是否在合理区域范围内；若是，则通过验证；否则，验证不通过。其中，合理区域范围是根据上次记录的该类别的运动部件的位置以及该类别的运动部件的位置范围先验知识确定的。

相应地，运动跟踪单元303可以针对每个类别的运动部件，根据合理性验证子单元504依次记录的该类别的运动部件的位置确定运动轨迹，并作为该类别的运动部件的跟踪结果。

较佳地，如图6所示，运动响应单元304可以包括：特征提取子单元601、动作指令识别子单元602、以及动作指令响应子单元603。

其中，特征提取子单元601用于对运动跟踪单元303输出的跟踪结果进行动作片段划分，对划分得到的动作序列片段提取特征。其中，提取的特征包括至少如下一种特征：位置特征、路径特征、移动方向特征、速度特征和加速度特征等等。

更优地，特征提取子单元还用于将部件识别单元302识别出的不同类别的运动部件组合为运动物体后，根据运动跟踪单元303输出的各类别的运动部件的运动轨迹确定出运动物体的运动轨迹；对运动物体的运动轨迹提取特征。

动作指令识别子单元602用于根据特征提取子单元601提取的特征识别出相应的动作指令。具体地，动作指令识别子单元602对于每种类别的运动部件，可以判断指令库中是否针对该类别的运动部件、或运动物体存储有与特征提取子单元601提取的特征相匹配的特征；若是，则将指令库中记录的与该特征对应的动作指令，识别为与跟踪结果相应的动作指令。

动作指令响应子单元603用于根据动作指令识别子单元602识别出的动作指令进行相应响应操作。

本发明实施例中，运动部件的跟踪装置中的各单元、以及单元下的各子单元的具体功能实现，可以参照上述运动部件的跟踪方法的具体步骤，在此不再详述。

本发明的发明人还发现，智能眼镜在使用的同时会吸引使用者大量的注意力，这样，容易导致使用者忽略周围发生的事情，包含危险事件，比如快速运动的车辆等。

因此，较佳地，在实际应用中，上述运动部件的跟踪方法和装置可以应用于智能眼镜中。例如，一种安装有上述运动部件的跟踪装置的智能眼镜，可以用于在使用者观看虚拟显示画面时进行危险提醒：

具体地，可以在使用智能眼镜的同时，开启智能眼镜上设置的动态视觉传感器进行监控。这样，可以通过上述运动部件的跟踪装置，在用户观看虚拟显示的画面时，对动态视觉传感器实时监控的周边的情况进行信号采集，并根据运动部件的跟踪装置确定出的跟踪结果识别出相应的动作指令。其中，跟踪结果可以表示为物体靠近，而相应的动作指令可以为危险提醒。进一步地，在识别出危险提醒的动作指令时，智能眼镜可以紧急退出使用者当前观看的虚拟显示画面，并发出危险提醒，告知使用者危险的到来。

通常情况下，移动监控***中的移动监控设备作为一个无外接电源的移动装置，受到了能源和储存空间的限制，不适合长时间处于开机状态。可以考虑将上述运动部件的跟踪方法和装置应用于移动监控***中。例如，一种安装有上述运动部件的跟踪装置的移动监控***，可以实现在低能耗的条件下实时监控：

可以在移动监控***中安置一个动态视觉传感器。由于动态视觉传感器具有极低的能耗，因此，可以让动态视觉传感器始终处于开启状态，进行监控、采集信号，同时关闭移动监控设备。这样，通过上述运动部件的跟踪装置可以进行快速运动的运动部件进行跟踪，并根据运动部件的跟踪装置确定出的跟踪结果识别出相应的动作指令。其中，确定出的跟踪结果可以表示为外来者进入或离开设定区域；而识别出的相应的动作指令可以为开启或关闭摄像设备。这样，安装有本发明提供的运动部件的跟踪装置的移动监控***，不仅能在低能耗的条件下实现一直监控，并且能极大地节省视频录制的储存空间，同时还能提高储存内容的有效性等。

进一步地，考虑到拍摄者如运动赛事记者，观鸟活动爱好者等通常为了捕捉一些精彩瞬间，需要长时间的等待事件发生的时刻，并且在这重要时刻到来的时候进行捕捉；而这一过程是艰苦并且成功率较低的。

上述运动部件的跟踪方法和装置还可应用于快速运动跟拍***中。例如，一种安装有运动部件的跟踪装置的快速运动跟拍***，可以对快速运动的被跟踪者进行自动跟拍：

在快速运动跟拍***中设置动态视觉传感器，并将动态视觉传感器一直设置为监控状态，对被跟踪者(比如飞鸟、车辆)进行监控。当通过本发明提供的运动部件的跟踪装置识别出跟踪结果后，可以从识别出的跟踪结果提取特征，并根据提取的特征识别出相应的动作指令。其中，提取的特征包括被跟踪者的移动方向特征和速度特征；以及相应的动作指令可以为旋转或移动摄像设备。从而，实现对快速运动的被跟踪者的自动跟拍，降低了对拍摄者的要求。

本发明的技术方案中，针对动态视觉传感器当前检测出的事件点，可以利用预先训练的分类器识别出运动部件的类别和位置；并针对每种类别的运动部件，根据依次识别出的该类别的运动部件的位置确定运动轨迹，作为该类别的运动部件的跟踪结果。

进一步地，在根据跟踪结果识别出相应的动作指令后，可以根据动作指令进行相应响应操作。

相比现有的运动目标跟踪方法，一方面，本发明提供的方案中的动态视觉传感器可以快速响应快速移动的运动部件，且能耗低；另一方面，动态视觉传感器只对像素亮度变化一定程度以上的事件点做出响应，动态视觉传感器采集信号中可以直接检测出事件点，而不需要从场景中分割出运动物体的操作，可以有效提高跟踪运动部件的速度和精度。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (24)

1.一种运动部件的跟踪方法，其特征在于，包括：

利用动态视觉传感器采集信号并输出检测的事件点；

利用分类器针对当前检测出的事件点识别出运动部件的类别和位置；

根据依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果。

2.如权利要求1所述的方法，其特征在于，所述分类器是根据所述动态视觉传感器采集的样本信号预先训练得到的。

3.如权利要求2所述的方法，其特征在于，所述分类器是根据如下方法训练得到的：

根据所述动态视觉传感器采集样本信号输出的事件点生成训练样本；

利用生成的训练样本及其标定结果，对深度置信网络进行训练，得到所述分类器；

其中，所述训练样本的标定结果指的是为该训练样本标定的运动部件的类别。

4.如权利要求3所述的方法，其特征在于，所述根据所述动态视觉传感器采集样本信号输出的事件点生成训练样本，包括：

将动态视觉传感器采集样本信号输出的事件点作为样本事件点；

确定当前输出的样本事件点的邻居点；

将当前输出的样本事件点，以及该样本事件点的邻居点，作为一个训练样本。

5.如权利要求4所述的方法，其特征在于，所述利用生成的训练样本及其标定结果，对深度置信网络进行训练，包括：

利用生成的训练样本及其标定结果，对深度置信网络进行多次迭代训练。

6.如权利要求5所述的方法，其特征在于，一次迭代训练过程具体包括：

将多个训练样本组成的训练样本集作为所述深度置信网络的输入；

将所述深度置信网络的输出与各训练样本的标定结果进行比较；

根据比较结果调整所述深度置信网络的层级参数继续下次迭代，或停止迭代得到所述分类器。

7.如权利要求1-6任一所述的方法，其特征在于，所述利用分类器针对当前检测出的事件点识别出运动部件的类别和位置，包括：

利用分类器根据当前检测出的事件点的邻居点，确定出该事件点所属运动部件的类别；

根据属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的位置。

8.如权利要求7所述的方法，其特征在于，所述根据属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的位置，包括：

计算出属于同一类别的运动部件的事件点的中心位置；

将计算出的中心位置作为该类别的运动部件的位置。

9.如权利要求1-6任一所述的方法，其特征在于，在所述识别出运动部件的类别和位置后，还包括：

对识别出的运动部件的类别进行合理性验证；

若通过验证，则将识别出的运动部件的类别和位置进行记录，并记录了运动部件的类别和位置的对应关系。

10.如权利要求9所述的方法，其特征在于，所述对识别出的运动部件的类别进行合理性验证，包括：

判断当前识别出的所述类别的运动部件的位置是否在合理区域范围内；若是，则通过验证；否则，验证不通过；

其中，所述合理区域范围是根据上次记录的该类别的运动部件的位置以及该类别的运动部件的位置范围先验知识确定的。

11.如权利要求1-6任一所述的方法，其特征在于，在所述根据依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果之后，还包括：

根据所述跟踪结果识别出相应的动作指令；

根据所述动作指令进行相应操作。

12.如权利要求11所述的方法，其特征在于，所述根据所述跟踪结果识别出相应的动作指令，包括：

对所述跟踪结果进行动作片段划分；

对划分得到的动作序列片段提取特征；

根据提取的特征识别出相应的动作指令；

其中，所述提取的特征包括至少如下一种特征：位置特征、路径特征、移动方向特征、速度特征和加速度特征。

13.如权利要求11所述的方法，其特征在于，所述根据所述跟踪结果识别出相应的动作指令，包括：

将不同类别的运动部件组合为运动物体后，根据各类别的运动部件的运动轨迹确定出所述运动物体的运动轨迹；

对所述运动物体的运动轨迹提取特征；

根据提取的特征识别出相应的动作指令；

其中，所述提取的特征包括至少如下一种特征：位置特征、路径特征、移动方向特征、速度特征和加速度特征。

14.如权利要求12或13所述的方法，其特征在于，所述根据提取的特征识别出相应的动作指令，包括：

判断指令库中是否针对所述类别的运动部件、或所述运动物体存储有与提取的特征相匹配的特征；

若是，则将所述指令库中记录的与该特征对应的动作指令，识别为与所述跟踪结果相应的动作指令。

15.如权利要求11所述的方法，其特征在于，

所述跟踪结果表示外来者进入、或离开设定区域；以及

所述相应的动作指令为开启、或关闭摄像设备；

或者，所述跟踪结果表示物体靠近；以及

所述相应的动作指令为危险提醒。

16.如权利要求12或13所述的方法，其特征在于，

所述相应的动作指令为旋转或移动摄像设备。

17.一种运动部件的跟踪装置，其特征在于，包括：

信号采集单元，用于利用动态视觉传感器采集信号并输出检测的事件点；

部件识别单元，用于利用分类器针对所述信号采集单元当前检测出的事件点识别出运动部件的类别和位置；

运动跟踪单元，用于根据所述部件识别单元依次识别出的所述类别的运动部件的位置确定运动轨迹，作为所述类别的运动部件的跟踪结果。

18.如权利要求17所述的装置，其特征在于，还包括：

分类器训练单元，用于根据所述动态视觉传感器采集样本信号输出的事件点生成训练样本；利用生成的训练样本及其标定结果，对深度置信网络进行训练，得到所述分类器；

其中，所述训练样本的标定结果指的是为该训练样本标定的运动部件的类别。

19.如权利要求18所述的装置，其特征在于，所述分类器训练单元包括：

训练样本收集子单元，用于将所述信号采集单元输出的事件点作为样本事件点；确定当前输出的样本事件点的邻居点；将当前输出的样本事件点，以及该样本事件点的邻居点，作为一个训练样本；

迭代训练子单元，用于利用所述训练样本收集子单元生成的训练样本及其标定结果，对深度置信网络进行多次迭代训练。

20.如权利要求17-19任一所述的装置，其特征在于，所述部件识别单元包括：

部件类别识别子单元，用于利用分类器根据所述信号采集单元当前检测出的事件点的邻居点，确定出该事件点所属运动部件的类别；

部件位置识别子单元，用于针对每种运动部件的类别，根据所述部件类别识别子单元确定出的属于该类别的运动部件的各事件点的位置，确定出该类别的运动部件的位置。

21.如权利要求20所述的装置，其特征在于，所述部件识别单元还包括：

合理性验证子单元，用于对所述部件类别识别子单元识别出的运动部件的类别进行合理性验证；若通过验证，则将所述部件类别识别子单元、所述部件位置识别子单元识别出的运动部件的类别和位置对应记录。

22.如权利要求17-19任一所述的装置，其特征在于，还包括：

运动响应单元，用于根据所述运动跟踪单元输出的所述跟踪结果识别出相应的动作指令；根据所述动作指令进行相应响应操作。

23.如权利要求22所述的装置，其特征在于，所述运动响应单元包括：

特征提取子单元，用于对所述运动跟踪单元输出的所述跟踪结果进行动作片段划分，对划分得到的动作序列片段提取特征；其中，所述提取的特征包括至少如下一种特征：位置特征、路径特征、移动方向特征、速度特征和加速度特征；

动作指令识别子单元，用于根据所述特征提取子单元提取的特征识别出相应的动作指令；

动作指令响应子单元，用于根据所述动作指令识别子单元识别出的动作指令进行相应响应操作。

24.如权利要求21所述的装置，其特征在于，

所述动作指令识别子单元具体用于判断指令库中是否针对所述类别的运动部件存储有与所述特征提取子单元提取的特征相匹配的特征；若是，则将所述指令库中记录的与该特征对应的动作指令，识别为与所述跟踪结果相应的动作指令。