CN103186230B - 基于颜色识别与跟踪的人机交互方法 - Google Patents

Abstract

本申请涉及一种基于颜色识别与跟踪的人机交互方法，包括：根据候选物体的影像识别其颜色，在其颜色属于预定的多种颜色之一时，设定其颜色为跟踪颜色，设定候选物体为跟踪颜色体；根据当前的图像中跟踪颜色体的中心位置预测下一帧图像中跟踪颜色体的中心位置；在预测的中心位置附近预设的坐标区域内，判断坐标区域的每个像素点是否为跟踪颜色体的像素点；根据获得的跟踪颜色体的像素点计算跟踪颜色体的中心位置，并根据跟踪颜色体的中心位置继续预测在下下一帧图像中跟踪颜色体的中心位置；根据跟踪颜色体的像素点获取其外形；以及，根据跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。本发明成本低且准确率高。

Description

基于颜色识别与跟踪的人机交互方法

技术领域

本申请涉及人机交互领域，尤其涉及一种基于颜色识别与跟踪的人机交互方法。

背景技术

人机交互功能主要靠可输入输出的外部设备控制有关设备的运行。鼠标和键盘是最常见也是最经典的人机交互硬件。1983年，第一款鼠标是伴随苹果公司Lisa电脑发布的；随后不久，微软操作***Windows 3.1宣布对其兼容，从此以后鼠标伴随操作***和电脑的普及开始变成标配产品。尤其是鼠标的出现，图形化和直观的控制更加符合人的自然习惯，这是人机交互的第一次革命。

近些年来迅速普及的多点触摸技术，是人机交互史上的第二次革命，而引领它的又是苹果公司与它的革命性手机iPhone。一开始个人移动智能终端的交互方案一直局限于传统PC经典的键盘鼠标的设置，但是键盘鼠标的便携性无法满足智能终端的需求。但多点触摸打开了另外一扇窗户，它让所有人意识到其实键盘可以成为触摸的一部分，而很多命令其实能通过多个手指在触摸屏上划动方式的不同来完成。这样的整合，让移动终端真正摆脱了传统PC终端的思维桎梏。多点触摸以手势来完成人机交互，更易于上手，同时也更加自然。

随着近些年来计算机处理能力的大幅度提高，以及模式识别等技术的发展，体感控制逐渐从幕后走到了前台，正在逐渐发展为第三次人机交互史上的革命。体感控制主要思路是通过摄像头以及外部手柄等设备，实时的捕获人体的运动状态，根据人体的运动来完成各种命令。比较著名的有微软的Kinect、任天堂的Wii、索尼PS Move等，他们一般使用摄像头捕捉使用者的肢体动作，或是进行脸部辨识。感应器也内建麦克风，可以用来识别语音指令，但是一般价格也较为昂贵，目前一般都是在游戏领域使用。

虽然体感控制技术近些年来得到了长足的发展，但是其自身弊端也很明显，一方面体感控制的设备都比较昂贵、不方便携带；另一方面容易受到各种情况的干扰、精度得不到保证。因此找到一种更加廉价、更加精确的人机交互方法是很有必要的。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于提供一种成本较低且精度较高的人机交互方法。

为实现上述目的，本发明提供了一种基于颜色识别与跟踪的人机交互方法，包括以下步骤：

步骤一：根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定所述候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体；

步骤二：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；

步骤三：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；

步骤四：根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；

步骤五：根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及

步骤六，根据所述跟踪颜色体的外形在图像中的坐标以及坐标运动轨迹判断控制行为以进行人机交互。

本发明针对体感控制的应用场景，提出了基于颜色识别与跟踪的人机交互方法，通过预定的颜色、识别颜色可设定跟踪颜色体，通过位置预测和修正可准确对颜色进行跟踪，既降低了体感识别的成本，也提高了跟踪准确率。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1为本发明基于颜色识别与跟踪的人机交互方法的一种实施方式的流程图。

图2为图1中步骤S1的流程图。

图3图1中步骤S2的流程图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

参考图1至图3，本发明的基于颜色识别与跟踪的人机交互方法可用于为计算机、游戏机、IPTV机顶盒、高清播放机等多种硬件产品提供人机控制功能，包括以下步骤S1-S6：

步骤S1：根据拍摄的候选物体的影像识别候选物体的颜色，并在候选物体的颜色属于预定的多种颜色之一时，设定候选物体的颜色为跟踪颜色，设定候选物体为跟踪颜色体I。

本发明的实施例中，按照彩虹定义构建7种颜色，即，红、橙、黄、绿、蓝、靛、紫，作为预定的多种颜色。假设7种颜色的HSV(颜色信息、纯度、明度)空间的三种分量分别符合正态分布：

H分量：概率分布

S分量：概率分布

V分量：概率分布

i∈{1，2，3，...，7}代表第i种颜色，f_Hi(x)，f_Si(x)，f_Vi(x)分别代表单个像素点x的H，S，V分量分别属于第i种颜色的概率。

可选地，步骤S1包括以下步骤：

步骤S11：拍摄初始化界面；

步骤S12：在初始化界面中显示初始化位置范围，该初始化位置范围可用矩形框在初始化界面中标注；

步骤S13：拍摄所述初始化位置范围内即矩形框内的目标物体(如黄色的笔，红色的方块物体、绿色的塑料瓶等等)；以及

步骤S14：识别目标物体的颜色，当目标物体的颜色属于预定的多种颜色之一时，设定目标物体的颜色为跟踪颜色体I。

在初始化位置范围内的每个像素点x，其属于的颜色为：

max_i{f_Hi(x_h)*f_Si(x_s)*f_Vi(x_v)}

(4)

s.t.i∈{1，2，3，...，7}

则跟踪颜色体I可以通过在初始化位置范围内的每个像素点x求解方程(4)得到。

其中x_h，x_s，x_v分别代表该像素点的H、S和V分量的数值。

步骤S14中，拍摄初始化位置范围内的目标物体包括拍摄从初始化位置范围沿预设的路线移动一段距离的目标物体。

跟踪颜色体设定完成后，便可跟踪设定的跟踪颜色体，例如，当目标物体为黄色的笔时，设定的颜色为黄色，通过对黄色的跟踪进行人机交互。

步骤S2：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置。可选地，在步骤S2中，通过卡尔曼滤波器预测跟踪颜色体I的中心位置。

定义卡尔曼滤波器的***状态为X_k＝(s_x，s_y，v_x，v_y)，s_x、s_y分别代表跟踪颜色体I的中心在x轴和y轴的坐标，v_x，v_y分别是跟踪颜色体I的中心在x轴和y轴的速度。而在图像上只能观测得到跟踪颜色体I的位置，所以定义二维观测向量Z_k，即(x_zk，y_zk)，x_zk为跟踪颜色体I的中心在x轴的观测向量，y_zk跟踪颜色体I的中心在y轴的观测向量。

因为跟踪颜色体I在单位时间间隔内是匀速运动的，定义状态转移矩阵A为：

其中，Δt表示连续两帧图像间的时间间隔。

卡尔曼滤波器的状态方程为：

X_k+1＝AX_k+W_k (6)

由***状态和观测状态之间的关系可知，卡尔曼滤波器的观测矩阵为：

卡尔曼滤波器的观测方程为：

Z_k＝HX_k+V_k (8)

此外可以假设W_k和V_k都是零均值且独立的噪声向量，因此设W_k和V_k的协方差矩阵Q_k和R_k分别为：

***状态预测方程为：

误差协方差预测方程为：

其中A^T为状态转移矩阵A的转移矩阵。

卡尔曼增益系数方程为：

其中H^T为观测矩阵H的转移矩阵。

***状态的状态修正方程为：

误差协方差预测方程的修正方程为：

其中I为单位矩阵。

上述公式中，符号“^”在卡尔曼滤波器中表示“先验状态估计(prior stateestimate)”。

总体来说，上述使用卡尔曼滤波预测跟踪颜色体I的位置的方法主要包括四个阶段：滤波器的初始化、状态预测、获得近似值和状态修正。参考图3，步骤S3包括以下步骤：

步骤S21：根据跟踪颜色体I的中心位置和速度建立卡尔曼滤波器的***状态X_k并将跟踪颜色体I在当前图像中的中心位置和速度赋给跟踪颜色体I在第一帧图像中的***状态，速度设为0，跟踪颜色体I的中心位置以其在x轴和y轴的坐标表示；

步骤S22：根据跟踪颜色体I在当前图像中的中心位置初步预测其在下一帧图像中的位置，本步骤包括***状态的预测(X_k+1＝AX_k)、观测向量的预测(Z_k+1＝HX_k+1)以及误差协方差的预测

步骤S23：根据初步预测结果在其附近进行颜色搜索和匹配(可通过方程4进行搜索和匹配)，确定跟踪颜色体I的最接近该初步预测的位置的近似位置；以及

步骤S24：根据目标颜色I的初步预测的位置以及步骤S23所获得的近似位置进行状态修正以获取跟踪颜色体I在下一帧图像中的中心位置。

步骤S3：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点。可选地，步骤S3包括：在预测的中心位置附近的预设的坐标区域内，判断该坐标区域的每个像素点x属于颜色I的概率是否大于预设的阈值ε，其中，各像素点x属于颜色I的概率为：

P{x∈I}＝f_Hi(x_h)*f_Si(x_s)*f_Vi(x_v) (16)

如果各像素点x属于颜色I的概率P{x∈I}大于预设的阈值ε，则判定该像素点为跟踪颜色体I的像素点，否则判定该像素点为背景的像素点。

步骤S4：根据步骤S3中获得的跟踪颜色体I的像素点，计算跟踪颜色体I的中心位置，并重复步骤S2-S4以继续预测跟踪颜色体I的运动目标，即预测跟踪颜色体I在下下一帧图像中的中心位置。本步骤中，根据计算的跟踪颜色体I的中心位置更新卡尔曼滤波器以进行进一步的预测。

步骤S5：根据步骤S3中检测出的所有属于跟踪颜色体I的像素点，获取跟踪颜色体的外形。可选地，步骤S5包括：获取跟踪颜色体I的最小外接形状以并凸显跟踪颜色I的最小外接形状。本步骤中，可通过腐蚀、膨胀等方法去除噪声并凸显跟踪颜色体I，通过解析所有属于跟踪颜色体I的像素点的最大联通分量并解析其最小外接形状以进行凸显。

至此，输入的每一帧图像，初始化确认的跟踪颜色体I将自始至终的被锁定，即使跟踪颜色体I发生了遮挡或者移除边界，一旦跟踪颜色体I出现在图像中也能马上被锁定，实现了对跟踪颜色体I的实时跟踪。通过对跟踪颜色体I的实施跟踪可识别目标物体的空间坐标，进而判断控制行为，进行人机交互。

步骤S6：根据跟踪颜色体I的最小外接形状在图像中的坐标、最小外接形状的角度以及坐标运动轨迹判断控制行为以进行人机交互。最小外接形状的角度可通过最小外接形状在图像中的坐标确定。

本发明针对体感控制的应用场景，提出了基于颜色识别与跟踪的人机交互方法，训练了多高斯颜色分类器和卡尔曼滤波器相结合来处理颜色物体的跟踪问题，既降低了体感识别的成本，也提高了跟踪准确率，运用本发明的方法在普通计算机上进行人机交互时，处理速度能够达到170帧/秒，具有非常好的实用性。

在本发明的方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (9)

1.一种基于颜色识别与跟踪的人机交互方法，包括以下步骤：

步骤一：根据拍摄的目标物体的影像识别目标物体的颜色，并在目标物体的颜色属于预定的多种颜色之一时，设定所述目标物体的颜色为跟踪颜色，设定目标物体为跟踪颜色体；

步骤二：根据在当前的图像中跟踪颜色体的中心位置预测在下一帧图像中跟踪颜色体的中心位置；

步骤三：在预测的中心位置附近的预设的坐标区域内，判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点；

步骤四：根据获得的跟踪颜色体的像素点计算所述跟踪颜色体的中心位置，并返回步骤二以根据所述跟踪颜色体的中心位置继续预测在下下一帧图像中所述跟踪颜色体的中心位置；

步骤五：根据检测出的所有属于跟踪颜色体的像素点，获取所述跟踪颜色体的外形；以及

步骤六，根据所述跟踪颜色体的外形在图像中的坐标判断控制行为以进行人机交互。

2.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述步骤一包括：

拍摄初始化界面；

在所述初始化界面中显示初始化位置范围；

拍摄所述初始化位置范围内的目标物体；以及

识别所述目标物体的颜色，当所述目标物体的颜色属于预定的多种颜色之一时，设定所述目标物体的颜色为所述跟踪颜色，设定目标物体为跟踪颜色体。

3.如权利要求2所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述拍摄所述初始化位置范围内的目标物体包括拍摄从所述初始化位置范围沿预设的路线移动一段距离的目标物体。

4.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述步骤二包括通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置。

5.如权利要求4所述的基于颜色识别与跟踪的人机交互方法，其特征在于，通过卡尔曼滤波来预测在下一帧图像中跟踪颜色体的中心位置包括：

构建卡尔曼滤波器，其***状态为：X_k＝(s_x，s_y，v_x，v_y)，其中s_x、s_y分别代表所述跟踪颜色体的中心在x轴和y轴的坐标，v_x、v_y分别是所述跟踪颜色体在x轴和y轴的速度，初始速度设为0；

所述跟踪颜色体在图像中的二维观测向量为：Z_k＝(x_zk，y_zk)，x_zk为所述跟踪颜色体的中心在x轴的观测向量，y_zk为所述跟踪颜色体的中心在y轴的观测向量；

所述卡尔曼滤波器的***状态方程为：X_k+1＝AX_k+W_k，其中A为状态转移矩阵，W_k为噪声向量；

所述状态转移矩阵A为：

$A=\left[\begin{array}{cccc}1& 0& \mathrm{\Δ}t& 0\\ 0& 1& 0& \mathrm{\Δ}t\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

其中，Δt表示连续两帧图像间的时间间隔；

所述卡尔曼滤波器的观测矩阵为：

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

所述卡尔曼滤波器的观测状态方程为：

Z_k＝HX_k+V_k

其中V_k为噪声向量，其中，W_k和V_k的协方差矩阵Q_k和R_k分别为

$Q_k=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

$R_k=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

所述卡尔曼滤波器的***状态的预测方程为：

${\hat{X}}_{k+1}={\mathrm{AX}}_k$

所述卡尔曼滤波器的误差协方差预测方程为：

${\hat{P}}_{k+1}={\mathrm{AP}}_k{A}^T+Q_k$

所述卡尔曼滤波器的增益系数方程为：

$G_{k+1}=\frac{{\hat{P}}_{k+1}{H}^T}{H{\hat{P}}_{k+1}{H}^T+R_k}$

所述卡尔曼滤波器的***状态的状态修正方程为：

$X_{k+1}={\hat{X}}_{k+1}+G_{k+1}(Z_{k+1}-H{\hat{X}}_{k+1})$

所述卡尔曼滤波器的误差协方差预测方程的修正方程为：

其中I为单位矩阵。

6.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：所述预定的多种颜色包括红、橙、黄、绿、蓝、靛、紫。

7.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：步骤五中获取跟踪颜色体的外形包括获取跟踪颜色体的最小外接形状。

8.如权利要求7所述的基于颜色识别与跟踪的人机交互方法，其特征在于：步骤五中获取跟踪颜色体的外形包括凸显跟踪颜色体的最小外接形状。

9.如权利要求1所述的基于颜色识别与跟踪的人机交互方法，其特征在于：步骤三中判断所述坐标区域的每个像素点是否为所述跟踪颜色体的像素点包括判断所述坐标区域的每个像素点属于所述跟踪颜色的概率是否大于预设的阈值，如果所述坐标区域的各像素点属于所述跟踪颜色的概率大于预设的阈值，则判定该像素点为所述跟踪颜色体的像素点。