CN109407709A - 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪*** - Google Patents

Abstract

本发明公开了基于Kinect骨骼跟踪算法的会议摄像自动追踪***，Kinect传感器，用于采集被追踪对象的人体骨骼的位姿信息，形成人体骨骼三维模型数据和图像数据；信息处理模块，用于接收三维模型数据及图像数据与其存储的数据库对比，并对三维模型数据进行动作分析，得到追踪信息；传输模块，用于接收与传送追踪信息；控制器，用于接收追踪信息后，发出运动指令；多个摄像机，用于接收控制器的运动指令后进行角度变换，以追踪被追踪对象；显示模块，用于显示多个摄像头拍摄的拍摄到的实时被追踪对象图像。本发明的有益效果是通过Kinect传感器能够对被追踪对象的肢体动作进行捕捉识别，控制摄像机追踪被追踪对象的位置，提高会议中镜头切换的可靠性与准确性。

Description

一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***

技术领域

本发明属于人机协作技术领域，尤其是涉及一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***。

背景技术

人机交互技术主要分为：基本交互技术、图形交互技术、语音交互技术和体感交互技术。随着信息技术的告诉发展，人机交互在科技与需求的双轮驱动下发生了三次革命。苹果公司设计的世界第一款大众普及鼠标“Lisa”，是“自然人机交互”的始祖；苹果公司的多点触控技术带来了全新的基于手势的交互体验；Kinect作为第三代人机交互的划时代产品，具有即时动态捕捉、影像识别、语音识别等功能，实现了不需要任何手持设备即可进行人机交互的全新体验。与传统的彩色摄像头不同，Kinect深度传感器能够提供第三维深度数据，它能克服彩色摄像头易受光纤等外界干扰的缺点，准确追踪到视野范围内的人体。当人做出不同动作时，相应的关节和骨骼具有不同的位置和角度信息。

目前，对会议中的跟踪拍摄，主要是通过会议保障人员事先根据会议议程的发言顺序进行设置，并在会议中进行手动的切换镜头选择实现的，但是，这种摄像追踪方法极大程度上依靠人力，对于摄像镜头的准确性无法保证。

发明内容

本发明的目的是提供一种结构简单、准确控制摄像头追踪发言者位置、无需手动切换镜头的基于Kinect骨骼跟踪算法的会议摄像自动追踪***。

本发明的技术方案如下：

一种基于Kinect骨骼跟踪的会议摄像自动追踪***，包括：

Kinect传感器，用于采集被追踪对象的人体骨骼的位姿信息，得到人体骨骼三维模型数据和图像数据；

信息处理模块，用于接收所述人体骨骼三维模型数据及图像数据与存储的数据库对比，并对所述人体骨骼三维模型数据进行动作分析，得到追踪信息；

传输模块，用于接收与传送所述追踪信息；

控制器，用于接收所述追踪信息后，发出运动控制指令；

多个摄像机，用于接收所述控制器的运动控制指令后进行角度变换，以追踪被追踪对象；

显示模块，用于显示所述摄像头拍摄到的实时被追踪对象图像。

在上述技术方案中，所述信息处理模块包括：

存储模块，用于存储多个被追踪对象的人体骨骼三维模型数据；

人体姿势识别模块，用于根据采集到的被追踪对象的图像数据剥离出人体骨骼三维模型数据并分析被追踪对象的动作，触发捕捉出被追踪对象的动作。

在上述技术方案中，所述人体姿势识别模块包括：

动作捕捉单元，用于捕捉被追踪对象的运动，根据所述Kinect传感器采集的图像数据中剥离人体骨骼三维模型数据，并与所述存储模块中的人体骨骼三维模型数据的关键节点进行一对一的映射，进而对唯一的关键节点作标识；

骨骼节点识别单元，用于将所述标识与所述人体骨骼三维模型数据对比，判断出所述被追踪对象做出的对应动作；

阈值学习单元，用于采集所述被追踪对象的动作数据阈值，得到带标签的动作人体骨骼数据，并根据判断出的被追踪对象做出的对应动作，触发生成被追踪对象的追踪信息。

在上述技术方案中，所述Kinect传感器运用泊松算法对图像数据的边缘进行优化，之后采用随机决策树和森林算法识别出逐像素信息，将上述信息汇集起来形成人体骨骼三维模型数据。

在上述技术方案中，所述控制器为AVR单片机。

在上述技术方案中，所述传输模块为无线模块。

在上述技术方案中，所述人体三维模型为多刚体模型。

在上述技术方案中，所述摄像机的数量至少为3个。

本发明的另一个目的是提供一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***的追踪方法，包括以下步骤：

(1)启动Kinect传感器，采集会议中被追踪对象的人体骨骼的位姿信息，得到人体骨骼三维模型数据和图像数据；

(2)通过信息处理模块接收并分析所述被追踪对象的动作，分析并判断出被追踪对象的动作后，触发追踪且得到追踪信息，并通过传送模块将所述追踪信息发送至控制器中；

(3)通过所述控制器发出运动控制指令，控制多个所述摄像机调节转动的角度跟踪到所述被追踪对象的位置，并对所述被追踪对象进行拍摄；

(4)所述摄像机拍摄到的实时被追踪对象图像返回至后台监控的显示模块上，后台操作者对所述显示模块的图像进行图像切换，从而完成对被追踪对象的会议摄像自动追踪。

本发明具有的优点和积极效果是：

1.通过Kinect传感器能够对被追踪对象的肢体动作进行捕捉识别，并控制多个摄像机追踪被追踪对象的位置，以保证会议中的后台监控不需要人员进行手动跟踪拍摄被追踪对象，减少了在会议中人员跟踪拍摄的依赖性，提高会议过程中镜头切换的可靠性与准确性。

2.采用人机交互的技术，能够实现对于摄像机的远程控制与自主智能控制，提高了摄像机转动控制的效率和灵活性，同时保证了追踪***的安全性能，实现了人与摄像机之间的协同工作的可靠性，且简单易操作。

附图说明

图1是本发明的会议摄像自动追踪***的结构示意图；

图2是本发明中信息处理模块的结构示意图。

具体实施方式

以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明，决不限制本发明的保护范围。

实施例1

如图1-图2所示，本发明的基于Kinect骨骼跟踪算法的会议摄像自动追踪***，包括：

Kinect传感器，通过Kinect上自带的摄像头采集被追踪对象的人体骨骼的位姿信息，并经过Kinect传感器中的处理器处理得到人体骨骼三维模型数据和图像数据；

信息处理模块，用于接收人体骨骼三维模型数据及图像数据与其存储的数据库对比，并对三维模型数据进行动作分析，得到追踪信息；

传输模块，用于接收与传送追踪信息，采用无线模块，能够无线传输接收追踪信息；

控制器(AVR单片机)，用于接收追踪信息后，发出运动指令；

多个摄像机，用于接收控制器的运动指令后进行角度变换，以追踪被追踪对象；

显示模块，用于显示多个摄像头拍摄的拍摄到的实时被追踪对象图像；

后台监控电脑，用于与Kinect传感器、摄像机进行实时通讯。

进一步地说，上述信息处理模块包括：

存储模块，用于存储多个被追踪对象的人体骨骼三维模型数据；

人体姿势识别模块，用于根据采集到的被追踪对象的图像数据剥离人体骨骼三维模型数据并分析被追踪对象的动作，从而触发捕捉出被追踪对象的动作。

进一步地说，上述人体姿势识别模块包括：

动作捕捉单元，用于捕捉被追踪对象的运动，根据Kinect传感器采集的图像数据中剥离人体骨骼三维模型数据，并将人体骨骼三维模型数据与所存储的人体三维模型数据的关键节点进行一对一的映射，进而对唯一的关键节点作标识；

骨骼节点识别单元，用于将上述标识与人体骨骼三维模型数据对比，判断出被追踪对象的动作(例如身体前倾、身体坐直、张嘴说话(张嘴至下颌骨的动作)、举起左手或举起右手的动作)；

阈值学习单元，分别采集10名被追踪对象的身体前倾、身体坐直、张嘴说话(张嘴至下颌骨的动作)、举起左手和举起右手的动作的数据，得到了10名被追踪对象的上述5个位姿的数据，从而得到10名被追踪对象的骨骼节点坐标数据x和带标签的骨骼坐标数据y，当动作捕捉单元的标识与带标签的骨骼坐标数据y对应后，触发生成所需要追踪的对应被追踪对象的追踪信息。

其中，上述带标签的人体骨骼数据阈值采用最佳分离阈值得到，y_i(sign(x_i-t))＝1，1和-1表示是否触发动作识别条件。

在上述技术方案中，上述Kinect传感器包括红外投影机、彩色摄像头和红外摄像头、呈线性排列的阵列麦克风，CMOS红外传感器和PS1080级处理器，其中彩色摄像头用于提供RGB彩***图像，红外投影机是用于向被照射物体发出红外线，在被照射物体上形成红外线光斑，通过红外摄像头接收红外线光斑图像，并将红外编码数据流传送到处理器中对红外线光斑图像进行处理，逐帧生成准确的场景深度图像流，CMOS红外传感器将帧检测到的3D深度图像，寻找深度图像中可能为人体的物体，采用最大方差阈值法将人体与周围背景环境中分隔得到深度图像，从而获得深度数据，之后根据深度数据，提取人体骨骼关节信息，以识别被追踪对象的人体不同的部位，建立组成人体骨骼关节的三维模型数据，人体骨骼关节的三维模型数据为多刚体模型。

彩色摄像头的色彩信息处理的分辨率为640*480，深度信息处理的分辨率为320*240，采样率

上述AVR单片机用于接收处理字符，控制摄像及执行角度变换的动作(即捕捉符合阈值条件的被追踪对象)，以实现人机交互的功能。

进一步地说，AVR单片机对接收到的字符进行处理，并与摄像机通过无线串口发送模块进行通讯，AVR单片机实时通过传输模块发送来的追踪信息信号，当接收到运动控制指令后，AVR单片机向摄像机发送运动控制指令以使摄像机执行相应角度的变换去追踪相对应的被追踪对象；当没有接到运动控制指令，则AVR单片机与摄像机持续待机中。

以三个摄像机为例，一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***的追踪方法，包括以下步骤：

(1)启动Kinect传感器，对Kinect传感器初始化，设置摄像机仰角，打开颜色流、深度流和骨架流，采集获取会议中被追踪对象的人体骨骼的位姿信息，形成得到人体骨骼三维模型数据和图像数据(其中Kinect传感器距离被追踪对象的距离为1.2-3.5m)；

(2)通过信息处理模块，接收并分析被追踪对象的动作，分析动作后触发追踪，从而得到追踪信息，并通过传送模块将追踪信息发送至控制器中；

(3)通过AVR单片机发出运动控制指令，控制3个摄像机转动跟踪到待追踪被追踪对象的位置，对该被追踪对象进行追踪拍摄；

(4)3个摄像机拍摄到的实时被追踪对象图像返回至后台监控的显示模块上，后台操作者对后台监控电脑上显示出的图像进行图像切换，从而完成对被追踪对象的会议摄像自动追踪。

实施例2

Kinect传感器上设有红外发射器，但是不能够直接提供原始的红外数据，需要通过后台监控电脑进行数据处理，从而得到拍摄物体的深度数据，深度数据是由深度图像得到，因此对深度数据处理前，要先获取被拍摄物体的深度图像。

对于深度图像的处理采用阈值法。在深度图像处理时常常用于图像分割，依据图像上的部分特征(例如图像上像素灰度、目标纹理、色彩)，把需要的部分作为提取对象，将需要的部分从周围背景环境中提取出来。图像的特征用像素的灰度级来表示，将被追踪对象需要的图像像素表示为1，而背景像素灰度级表示为0，T表示为***所选定的阈值，表示经过灰度级的阈值处理后的新图像。

对于处理精度要求的图像时，采用最大方差阈值法，把直方图在某一阈值处分割成两组，当贝分成的两组方差最大时，决定阈值。直方图是图像的一种统计表达，由一系列高度不等的纵向条纹表示数据分布的情况。灰度直方图是灰度级的函数，它表示图像中具有每种灰度级的像素的个数，反映图像中每种灰度出现的频率(即图像中0-255每个像素点的个数统计)。设图像的灰度值为0～m-1级，灰度值i的像素为n_i，此时我们得到的像素总数：

然后用T将其分成两组C₀＝{0～T-1}，C₁＝{T～m-1}，各组的概率如下：

平均值为：

其中是整体图像的灰度平均值，是阈值为T时的灰度平均值。所以全部采样的灰度平均值为μ＝w₀μ₀+w₁μ₁。

两组间的方差用下式求出δ²(T)＝w₀(μ₀-μ)²+w₁(μ₁-μ)²＝w₀w₁(μ₁-μ₀)²

从1～m-1之间改变T，求上式最大时的T，T_max即为我们需要的阈值。

在人体动作步履研究中，多是基于二维图像对人体模型进行提取，由于二维图像的局限性，获得的信息常常分歧较大。三维模型可以很好地解决较变化激发的问题及遮挡镜像，适合于三维空间的人体姿势表达，人体模型是基于三维技术和立体匹配的编码。Kinect通过深度图像处理技术获得人体模型的三维信息，结合二维图像可获得更准确的三维模型信息。

实施例3

一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***的跟踪设备，包括：一个或多个处理器，适于执行各条程序；存储装置，用于存储一个或多个程序，程序适于由处理器加载并执行以实现基于Kinect骨骼跟踪算法的会议摄像自动追踪***的追踪方法。

其中，后台监控电脑上有VS2010，编译程序运行，显示人体骨骼跟踪MFC界面，当接收到Kinect传感器的人体骨骼节点数据时，并检测到被追踪对象举起了右手(假设此次测试为右手)，后台监控电脑收到右手触发信号，发送字符“C”至摄像机上，随后摄像机接收字符“C”后，摄像机转动跟踪被追踪对象所站位置，从而实现了基于Kinect骨骼跟踪算法的会议摄像自动追踪工作。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的等同变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (9)

1.一种基于Kinect骨骼跟踪的会议摄像自动追踪***，其特征在于，包括：

Kinect传感器，用于采集被追踪对象的人体骨骼的位姿信息，得到人体骨骼三维模型数据和图像数据；

信息处理模块，用于接收所述人体骨骼三维模型数据及图像数据与存储的数据库对比，并对所述人体骨骼三维模型数据进行动作分析，得到追踪信息；

传输模块，用于接收与传送所述追踪信息；

控制器，用于接收所述追踪信息后，发出运动控制指令；

多个摄像机，用于接收所述控制器的运动控制指令后进行角度变换，以追踪被追踪对象；

显示模块，用于显示所述摄像头拍摄到的实时被追踪对象图像。

2.根据权利要求1所述的会议摄像自动追踪***，其特征在于，所述信息处理模块包括：

存储模块，用于存储多个被追踪对象的人体骨骼三维模型数据；

人体姿势识别模块，用于根据采集到的被追踪对象的图像数据剥离出人体骨骼三维模型数据并分析被追踪对象的动作，触发捕捉出被追踪对象的动作。

3.根据权利要求2所述的会议摄像自动追踪***，其特征在于，所述人体姿势识别模块包括：

动作捕捉单元，用于捕捉被追踪对象的运动，根据所述Kinect传感器采集的图像数据中剥离人体骨骼三维模型数据，并与所述存储模块中的人体骨骼三维模型数据的关键节点进行一对一的映射，进而对唯一的关键节点作标识；

骨骼节点识别单元，用于将所述标识与所述人体骨骼三维模型数据对比，判断出所述被追踪对象做出的对应动作；

阈值学习单元，用于采集所述被追踪对象的动作数据阈值，得到带标签的动作人体骨骼数据，并根据判断出的被追踪对象做出的对应动作，触发生成被追踪对象的追踪信息。

4.根据权利要求3所述的会议摄像自动追踪***，其特征在于：所述Kinect传感器运用泊松算法对图像数据的边缘进行优化，之后采用随机决策树和森林算法识别出逐像素信息，将上述信息汇集起来形成人体骨骼三维模型数据。

5.根据权利要求4所述的会议摄像自动追踪***，其特征在于：所述控制器为AVR单片机。

6.根据权利要求5所述的会议摄像自动追踪***，其特征在于：所述传输模块为无线模块。

7.根据权利要求6所述的会议摄像自动追踪***，其特征在于：所述人体骨骼三维模型为多刚体模型。

8.根据权利要求7所述的会议摄像自动追踪***，其特征在于：所述摄像机的数量至少为3个。

9.一种基于权利要求1-8中任意一项所述的会议摄像自动追踪***的追踪方法，其特征在于，包括以下步骤：

(1)启动Kinect传感器，采集会议中被追踪对象的人体骨骼的位姿信息，得到人体骨骼三维模型数据和图像数据；

(2)通过信息处理模块接收并分析所述被追踪对象的动作，分析并判断出被追踪对象的动作后，触发追踪且得到追踪信息，并通过传送模块将所述追踪信息发送至控制器中；

(3)通过所述控制器发出运动控制指令，控制多个所述摄像机调节转动的角度跟踪到所述被追踪对象的位置，并对所述被追踪对象进行拍摄；

(4)所述摄像机拍摄到的实时被追踪对象图像返回至后台监控的显示模块上，后台操作者对所述显示模块的图像进行图像切换，从而完成对被追踪对象的会议摄像自动追踪。