CN102231092B - 一种多点触摸跟踪识别方法及其*** - Google Patents

Abstract

本发明提供一种多点触摸跟踪识别方法及其***，所述方法包括：获取第一、第二帧图像中的触摸点位置；计算两帧图像中的各个触摸点之间的距离；按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式；并分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。本发明提供的多点触摸跟踪识别方法。从全局出发分析，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。

Description

一种多点触摸跟踪识别方法及其***

技术领域

本发明涉及触摸控制技术领域，尤其涉及一种多点触摸跟踪识别方法及其***。

背景技术

随着触摸控制产品的广泛应用，触摸控制技术已成为当今人机交互中的热点技术。许多产品的控制都逐步被触摸控制技术所代替，同时触摸控制技术也在不断挑战新的应用环境和领域。

在基于光学图像的触摸控制应用环境中，通常用户希望机器能支持更多触摸点操作以满足不同应用需求，同时也希望机器能更加智能地理解用户意图，进而为用户提供更加自然、智能的服务。在目前的触摸控制***中，机器通过分析用户在触摸屏上移动的轨迹来判断用户欲执行的操作，所以机器正确地扑捉、跟踪到触控的轨迹就非常重要。

通常，只有单点在触摸屏上移动时，机器通过关联光学图像前后帧之间的亮点就能得到正确触摸点移动的轨迹，但随着触摸点数增加，该方法就不能识别前后帧的多个触摸点之间的关系，无法分别得到各触摸点的正确轨迹，所以需要开发更加鲁棒、准确的多点跟踪识别方法，为机器智能决策提供正确的轨迹。

在目前的多点跟踪识别方法中，主要采用两种方法：一是针对光学图像前一帧中所有触摸点，在后一帧中搜索欧式距离最为接近的触摸点进行关联。该方法简单、实时性非常好，且目前该算法有多种改进版本，但是该方法仍无法避免欧式距离最近即为最优关联这一错误认识的本质缺陷；另一方法是采用K近邻算法，该方法为前一帧中每个触摸点在后一帧中搜索K个欧式距离最小的触摸点，并依距离值进行排序，然后对前一帧中每一个触摸点关联距离最小的触摸点，若后一帧中某触摸点处于前一帧中多个触摸点的K近邻中，则采用“最小距离通吃”的思想优先匹配，该算法实时性很好，跟踪精度较前者好，但仍是一种局部最优方法，没有从整体上考虑最优关联，即仍没有从全局角度给出评判当前关联方式是否为最优。

发明内容

针对以上现有技术多点触摸跟踪的缺点，本发明要解决的技术问题在于提供一种从全局角度分析的多点触摸跟踪识别方法。给出了全局评判方式，可判断当前关联是否为最优关联。

一种多点触摸跟踪识别方法，包括：

获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置；

计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离；

按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式；

其中，按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；

再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系；

并分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。

本发明要解决的技术问题还在于提供一种从全局角度分析的多点触摸跟踪识别***。

一种多点触摸跟踪识别***，包括：

用于获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置的触摸点检测模块；

用于计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离的距离计算模块；

用于按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式的搜索模块；

用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块；

所述搜索模块在搜索两帧图像的触摸点的关联方式时，首先按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

并且判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

所述搜索模块从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系。

与现有技术相比较，本发明的多点触摸跟踪识别方法及其***，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性，采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性，该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。本发明的多点触摸跟踪识别方法及其***能实时、准确和稳定地运行在目前的各种触摸交互设备中。

附图说明

图1是本发明多点触摸跟踪识别方法的流程图；

图2是连续两帧图像的触摸点的示意图；

图3是连续两帧图像的触摸点表示在同一平面内的示意图；

图4是现有技术一种触摸屏的结构示意图；

图5是实施例中连续两帧中的触摸点示意图；

图6是实施例中连续两帧图像的触摸点表示在同一平面内的示意图；

图7是实施例中两帧图像之间的触摸点可能具有的关联关系的示意图；

图8是实施例中筛选后的合法的关联关系的示意图；

图9是实施例中第一次搜索结果的关联方式的示意图；

图10是实施例中第二次搜索结果的关联方式的示意图；

图11是实施例中的最优关联方式的示意图；

图12是本发明多点触摸跟踪识别***的结构示意图；

图13是本发明多点触摸跟踪识别***一种优选实施方式的结构示意图。

具体实施方式

请参阅图1，图1是本发明多点触摸跟踪识别方法的流程图。

所述多点触摸跟踪识别方法包括以下步骤：

步骤S101，获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置；

首先可检测第一帧图像以及第二帧图像中的触摸点个数，例如利用图像检测技术检测，以及其位置，每一触摸点称为一触摸点，设连续两帧表示为F_t与F_t+1，设F_t中有N₁个触摸点，F_t+1帧中有N₂个触摸点，且N₁＞N₂，如图2所示。图3则是两帧的触摸点表示在同一平面内的示意图。

步骤S102，根据所述触摸点位置，计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离；

在本步骤中，分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离。如图3所示，分别计算触摸点1、2、3、4到触摸点5、6和7的距离。

所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间具有一定的关联关系，所述关联关系即为两帧图像之间的触摸点跟踪识别的对应关系，例如，在图1中，第一帧中的触摸点1可能在第二帧中移动到触摸点5、6或者7的位置，而触摸点2，3和4也有可能移动到触摸点5、6或者7的位置。因此，在未确定所述第一帧中的触摸点与第二帧中的各个触摸点之间的确切对应关系时，先判断其可能的关联关系，通过搜索各个所述关联关系最终获得触摸点的确切对应关系。

作为一种优选实施方式，为减少运算的数据量，在计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离之后，进一步执行以下步骤：

分别将各个所述距离值与预设的距离阈值比较，根据比较结果对所述第一帧图像中的各个触摸点与所述第二帧图像中的触摸点之间的关联关系进行筛选。

具体地，所述距离阈值可以包括最大距离阈值；则，根据比较结果对各个触摸点之间的关联关系进行筛选的步骤包括：

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系合法；

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值大于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系不合法。

一旦某个关联方式中包括有上述被判断为不合法的关联关系，则所述关联方式也被排除，不再考虑，这样就能够进一步减少分析的关联方式的数量，无需分析所有的关联方式，加快了跟踪定位的速度。

进一步地，所述距离阈值还可以包括最小距离阈值；

则，根据比较结果对各个触摸点之间的关联关系进行筛选的步骤包括：

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最小距离阈值，则进一步将对应的两个触摸点之间的关联关系划分为最优关联关系。

可以认为，当分属两层的两个触摸点之间的距离很小（小于所述最小距离阈值）时，可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点，因此判断其具有最优关联关系，所述最优关联关系默认为两个触摸点之间具有确切或者说真实的对应关系。

步骤S103，按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式；

各种所述关联方式由各个所述关联关系按照各种可能的方式互相匹配组合而成。因为，两帧图像中的触摸点数不一定相同，例如第一帧中有四个触摸点，而在第二帧中可能只有三个触摸点，因此，搜索两帧图像的触摸点的关联方式时，应该按照两帧图像的触摸点数进行适当搜索。

为此，在本实施方式中，首先可按照具有所述关联关系的每对触摸点之间的距离从小到大的顺序，确定每一关联方式的第一对触摸点的关联关系。然后根据每一关联方式的第一对触摸点的关联关系，按照以下搜索条件，搜索各个所述关联方式包含的其他触摸点的关联关系：

1.每一关联方式下搜索的后一对触摸点的距离大于前一对触摸点的距离；

2.在每一关联方式中，一个触摸点只对应一个关联关系；亦即只能与另一触摸点具有关联关系；

3.每一所述关联方式所包含的关联关系的个数都不超过所述两帧图像的触摸点个数中最小的一个。

根据每一关联方式的第一个关联关系，以及上述搜索条件，搜索各个所述关联方式包含的其他触摸点的关联关系。从而可以通过搜索和匹配组合得到两帧图像中各个的触摸点所有匹配的关联方式。

搜索每一关联方式的方法具体为：

首先按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；

然后再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

并且，从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系。

由于两帧图像中的触摸点数不一定相同，在每种可能的关联方式中，当搜索出属于一个关联方式的所有关联关系之后，其余不具有关联关系的触摸点都判断为后一帧图像新增或者减少的触摸点。

作为一种优选实施方式，如果在步骤S102中设定所述最大距离阈值对各个触摸点的关联关系进行筛选，则，所述搜索两帧图像的触摸点的各种关联方式的步骤包括：

根据各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

如果在步骤S102中设定所述最小距离阈值对各个触摸点的关联关系进行筛选，则在本步骤中，可采用以下方式将筛选结果中包含的各个触摸点的关联关系组合成所有匹配的关联方式：

如果不存在所述最优关联关系，则将各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式；

如果存在所述最优关联关系，则将所述最优关联关系与其余合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

上述步骤可以进一步对两帧图像中的触摸点的关联方式的组合进行筛选。通过筛选可以减少分析的匹配的关联方式的数量，缩小跟踪搜索范围，加快处理速度。

步骤S104，分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。

所述最优关联方式即为本发明多点触摸跟踪识别***的跟踪识别结果，亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系，可根据所述最优关联方式判断用户的触摸操作，例如触摸点滑动，在新的触摸位置进行触摸操作等，从而可以执行各种相关的触摸控制操作。

所述触摸点离散度用于表征每种关联方式下，各个触摸点之间的位置是否集中，或者是平均距离的大小。

在本实施方式中，将每个所述关联方式的触摸点离散度按照以下公式定义为：

$\mathrm{\ρ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(d_i-d_{\mathrm{ave}\_k})}^2$

其中， $d_{\mathrm{ave}\_k}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i$

d_{ave_k}为d_i平均值，N为所述关联方式中具有关联关系的触摸点的对数，d_i为所述关联方式中具有关联关系的每对触摸点的距离。

由于每次搜索均按照所述触摸点距离从小到大的顺序设定对应关联方式的第一对触摸点的关联关系，亦即，后一次搜索的关联方式的第一对触摸点的距离大于前一次搜索的关联方式的第一对触摸点的距离；而在单独一个关联方式中，在确定所述第一对触摸点的关联关系后，之后搜索的每对触摸点的距离都大于前一对触摸点的距离。

因此，如果本次关联方式的触摸点离散度小于前一关联方式的触摸点离散度，则表明还未找到最优关联方式，需继续搜索，因此继续根据步骤S102中计算的触摸点的距离从小到大的顺序，继续搜索并计算下一关联方式的触摸点离散度，并与其前一关联方式的触摸点离散度比较；如果后一关联方式的触摸点离散度大于前一关联方式的触摸点离散度，则判断所述前一关联方式为最优关联方式，搜索结束。

下面结合具体的实施例对本发明的多点触摸跟踪识别方法加以详细说明，应指出的是，所描述的实施例旨在便于对本发明的理解，对本发明不起限定作用。

图4为一触摸屏，图5给出了连续两帧中的触摸点示意图，图6是实施例中连续两帧图像的触摸点表示在同一平面内的示意图。假设在t帧中有2个触摸点，在t+1帧中有4个触摸点。两帧图像之间的触摸点可能具有的关联关系如图7所示。

根据步骤S102，计算前后两帧图像的各个所述触摸点之间的距离，通过筛选以减小搜索空间，提高搜索速率，筛选后的合法的关联关系如图8所示。其中最大距离阈值设为d_max=110，最小距离阈值设为d_min=30（本实施例中的距离只以数值表示，具体的单位根据用户设定而定）。

根据步骤S103进行最优搜索，搜索前首先判断是否两帧图像都具有触摸点，以判断是否需要继续搜索。很明显，在本实施例中两帧图像都存在触摸点。则首先搜索到具有最小距离的一对触摸点，本实施例中为触摸点5与触摸点2的距离最小d₅₂＝76，在搜索程序运行时可初始化一计数器C=0，确定每次搜索的关联方式第一对触摸点的关联关系之后，该计数器加1。因为本实施例中t+1帧图像有4个触摸点，因此需要循环对第一两帧图像搜索，又因本实施例中t帧中只有2个触摸点，所以根据搜索条件3，在所有关联方式中，都至多只能有两个关联关系，也就是说，t+1帧图像中至少有两个触摸点是新增的触摸点。

继续进行搜索，可搜索到触摸点4与触摸点1的距离d₄₁＝82为第一次搜索的关联方式的次小触摸点距离，此时计数器C＝2，与t帧中触摸点个数相等，表明在接下来的搜索中，t+1帧图像中还未关联的触摸点，都是新增的触摸点。本次搜索结果的关联方式示意图示于图9。

根据步骤S104计算触摸点离散度：

$d_{\mathrm{ave}\_0}=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}=79$

${\mathrm{\ρ}}_0=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}-d_{\mathrm{ave}})}^2=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}-79)}^2=9$

然后，开始搜索第二个关联方式，在第二个关联方式中第一对触摸点需满足距离大于上一关联方式中第一对触摸点距离的条件。因此，经搜索可得在本轮搜索中最小触摸点距离为d₄₁＝82，继续对t+1帧图像中其它触摸点进行搜索，搜索可得d₅₁＝102，但此时触摸点4与触摸点1已搜索出关联关系，所以，继续搜索可得d₆₂＝106，此时C=2停止搜索。图10是实施例中第二次搜索结果的关联方式的示意图。同样经计算可得：

$d_{\mathrm{ave}\_1}=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{d}_{\mathrm{ij}}=94$

${\mathrm{\ρ}}_1=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}-d_{\mathrm{ave}})}^2=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{(d_{\mathrm{ij}}-94)}^2=144$

比较ρ₀,ρ₁，可知ρ₀＜ρ₁，即在此实施例中第一次就搜索到了最优关联方式，即t+1帧图像中的触摸点4和5，分别与t帧图像中触摸点1与2关联，t+1帧图像中触摸点3与6为新增加的触摸点。图11给出了前后两帧中触摸点正确关联的最优关联方式的示意图。

与现有技术相比较，本发明的多点触摸跟踪识别方法，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性，采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性，该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。本发明的多点触摸跟踪识别方法能实时、准确和稳定地运行在目前的各种触摸交互设备中。

本发明从触摸点离散度的角度给出了最优关联方式，从直观角度的观察事实也与该结果相符合。还因算法中加入了最大距离阈值与最小距离阈值，从而通过筛选操作保证了搜索空间不会太大，能满足实时性要求；关联距离最小与关联离散度最小从全局最优角度保证了各触摸点关联的准确度，保证了***的鲁棒性。

请参阅图12，图12是本发明多点触摸跟踪识别***的结构示意图。

所述多点触摸跟踪识别***包括：

用于获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置的触摸点检测模块11；

用于计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离的距离计算模块12；

用于按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式的搜索模块13；

用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块14。

所述触摸点检测模块11分别获取相邻两帧图像中的触摸点位置时，可利用图像检测技术检测连续相邻的两帧中触摸点个数，以及各个触摸点的位置。

所述距离计算模块12分别计算第一帧图像的各个触摸点和第二帧图像的各个触摸点之间的距离。

所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间具有一定的关联关系，所述关联关系即为两帧图像之间的触摸点跟踪识别的对应关系，例如，在图1中，第一帧中的触摸点1可能在第二帧中移动到触摸点5、6或者7的位置，而触摸点2，3和4也有可能移动到触摸点5、6或者7的位置。因此，在未确定所述第一帧中的触摸点与第二帧中的各个触摸点之间的确切对应关系时，先判断其可能的关联关系，通过搜索各个所述关联关系最终获得触摸点的确切对应关系。

作为另一种优选实施方式，所述多点触摸跟踪识别***进一步包括筛选模块16，如图13所示，所述筛选模块16用于分别将各个所述距离值与预设的距离阈值比较，根据比较结果对所述第一帧图像中的各个触摸点与所述第二帧图像中的触摸点之间的关联关系进行筛选。所述搜索模块13在所述筛选模块16的筛选结果中搜索前后两帧图像的触摸点的关联方式，进一步减少运算的数据量。

具体地，所述距离阈值可以包括最大距离阈值；则，所述筛选模块16根据比较结果对各个触摸点之间的关联关系进行筛选时，如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系合法；如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值大于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系不合法。

一旦某个关联方式中包括有上述被判断为不合法的关联关系，则所述关联方式也被排除，不再考虑，这样就能够进一步减少分析的关联方式的数量，无需分析所有的关联方式，加快了跟踪定位的速度。

进一步地，所述距离阈值还可以包括最小距离阈值；

则，所述筛选模块16根据比较结果对各个触摸点之间的关联关系进行筛选时，还需进行以下判断：

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最小距离阈值，则进一步将对应的两个触摸点之间的关联关系划分为最优关联关系。

可以认为，当分属两层的两个触摸点之间的距离很小（小于所述最小距离阈值）时，可以直接将两个触摸点判断为同一个触摸物在前后两帧图像中的触摸点，因此所述筛选模块16判断其具有最优关联关系，所述最优关联关系默认为两个触摸点之间具有确切或者说真实的对应关系。

所述搜索模块13按照所述触摸点距离从小到大的顺序，逐次搜索前后两帧图像的触摸点的关联方式。

各种所述关联方式由各个所述关联关系按照各种可能的方式互相匹配组合而成。因为，两帧图像中的触摸点数不一定相同，例如第一帧中有四个触摸点，而在第二帧中可能只有三个触摸点，因此，所述搜索模块13搜索两帧图像的触摸点的关联方式时，应该按照两帧图像的触摸点数限制进行适当搜索。

为此，在本实施方式中，所述搜索模块13首先按照具有所述关联关系的每对触摸点之间的距离从小到大的顺序，确定每一关联方式的第一对触摸点的关联关系；然后根据每一关联方式的第一对触摸点的关联关系，按照以下搜索条件，搜索各个所述关联方式包含的其他触摸点的关联关系：

1.每一关联方式下搜索的后一对触摸点的距离大于前一对触摸点的距离；

2.在每一关联方式中，一个触摸点只对应一个关联关系；亦即只能与另一触摸点具有关联关系；

3.每一所述关联方式所包含的关联关系的个数都不超过所述两帧图像的触摸点个数中最小的一个。

从而可以通过搜索和匹配组合得到两帧图像中各个的触摸点所有匹配的关联方式。

所述搜索模块13搜索每一关联方式的方法具体为：

首先按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；

然后再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

并且，所述搜索模块13从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系。

由于两帧图像中的触摸点数不一定相同，在每种可能的关联方式中，当搜索出属于一个关联方式的所有关联关系之后，其余不具有关联关系的触摸点都判断为后一帧图像新增或者减少的触摸点。

作为一种优选实施方式，如果所述筛选模块16中设定所述最大距离阈值对各个触摸点的关联关系进行筛选，则所述搜索模块13采用以下方式将筛选结果中包含的关联关系组合成所有匹配的关联方式：

根据各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

如果所述筛选模块16中设定所述最小距离阈值对各个触摸点的关联关系进行筛选，则所述搜索模块13进一步采用以下方式将筛选结果中包含的关联关系组合成所有匹配的关联方式：

如果不存在所述最优关联关系，则将各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式；

如果存在所述最优关联关系，则将所述最优关联关系与其余合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

通过上述方式可以进一步简化对各种关联方式的搜索，通过筛选可以减少分析的匹配的关联方式的数量，缩小跟踪搜索范围，加快处理速度。

所述离散度计算模块14分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。

所述最优关联方式即为本发明多点触摸跟踪识别***的跟踪识别结果，亦即为两帧图像之间的触摸点跟踪识别确认的最终的对应关系，可根据所述最优关联方式判断用户的触摸操作，例如触摸点滑动，在新的触摸位置进行触摸操作等，从而可以执行各种相关的触摸控制操作。

所述触摸点离散度用于表征每种关联方式下，各个触摸点之间的位置是否集中，或者是平均距离的大小。

在本实施方式中，将每个所述关联方式的触摸点离散度按照以下公式定义为：

$\mathrm{\ρ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(d_i-d_{\mathrm{ave}\_k})}^2$

其中， $d_{\mathrm{ave}\_k}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i$

d_{ave_k}为d_i平均值，N为所述关联方式中具有关联关系的触摸点的对数，d_i为所述关联方式中具有关联关系的每对触摸点的距离。

由于所述搜索模块13每次搜索均按照所述触摸点距离从小到大的顺序设定对应关联方式的第一对触摸点的关联关系，亦即，后一次搜索的关联方式的第一对触摸点的距离大于前一次搜索的关联方式的第一对触摸点的距离；而在单独一个关联方式中，在确定所述第一对触摸点的关联关系后，之后搜索的每对触摸点的距离都大于前一对触摸点的距离。

因此，如果所述离散度计算模块14本次计算的关联方式的触摸点离散度小于前一关联方式的触摸点离散度，则表明还未找到最优关联方式，需继续搜索，因此根据各个触摸点的距离从小到大的顺序，继续搜索并计算下一关联方式的触摸点离散度，并与其前一关联方式的触摸点离散度比较；如果后一关联方式的触摸点离散度大于前一关联方式的触摸点离散度，则所述离散度计算模块14判断所述前一关联方式为最优关联方式，搜索结束。

与现有技术相比较，本发明的多点触摸跟踪识别***，通过计算每个所述关联方式中所有互相关联的触摸点的最小触摸点距离，以及每个所述关联方式下的触摸点离散度，保证了前后帧中触摸点关联的准确性和鲁棒性。本发明采用触摸点距离最小的思想保证相邻两帧中触摸点关联的鲁棒性，采用关联离散度的测度准则保证相邻两帧间触摸点关联的准确性，该准则进一步从数学上验证了触摸点距离最小这一关联思想的正确性。本发明的多点触摸跟踪识别***能实时、准确和稳定地运行在目前的各种触摸交互设备中。

本发明从触摸点离散度的角度给出了最优关联方式，从直观角度的观察事实也与该结果相符合。还因算法中加入了最大距离阈值与最小距离阈值，从而通过剪枝操作保证了搜索树的空间不会太大，能满足实时性要求；关联距离最小与关联离散度最小从全局最优角度保证了各触摸点关联的准确度，保证了***的鲁棒性。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (8)

1.一种多点触摸跟踪识别方法，其特征在于，包括以下步骤：

获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置；

计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间的距离；

按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式；

其中，按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；

再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系；

并分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式。

2.如权利要求1所述的多点触摸跟踪识别方法，其特征在于，计算两帧图像的各个所述触摸点之间的距离之后，分别将各个所述距离值与预设的距离阈值比较，根据比较结果对所述第一帧图像中的各个触摸点与所述第二帧图像中的触摸点之间的关联关系进行筛选。

3.如权利要求2所述的多点触摸跟踪识别方法，其特征在于，所述距离阈值包括最大距离阈值；

则，根据比较结果对各个触摸点之间的关联关系进行筛选的步骤包括：

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系合法；

如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值大于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系不合法；

并且，所述搜索两帧图像的触摸点的各种关联方式的步骤包括：

根据各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

4.如权利要求3所述的多点触摸跟踪识别方法，其特征在于，所述距离阈值还包括最小距离阈值；

则，根据比较结果对各个触摸点之间的关联关系进行筛选的步骤包括：

如果判断所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最小距离阈值，则进一步将对应的两个触摸点之间的关联关系划分为最优关联关系；

所述搜索两帧图像的触摸点的各种关联方式的步骤包括：

如果不存在所述最优关联关系，则将各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式；

如果存在所述最优关联关系，则将所述最优关联关系与其余合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

5.一种多点触摸跟踪识别***，其特征在于，包括：

用于获取跟踪识别的第一帧图像中的触摸点位置，以及第二帧图像中的触摸点位置的触摸点检测模块；

用于计算所述第一帧图像中的各个触摸点与所述第二帧图像中的各个触摸点之间距离的距离计算模块；

用于按照所述触摸点距离从小到大的顺序，逐次搜索两帧图像的触摸点的各种关联方式的搜索模块；

用于分别计算每次搜索到的关联方式的触摸点离散度，直到后一关联方式的触摸点离散度首次大于前一关联方式的触摸点离散度时，判断所述前一关联方式为最优关联方式的离散度计算模块；

所述搜索模块在搜索两帧图像的触摸点的关联方式时，首先按照各个所述触摸点距离从小到大的顺序依次设定各个关联方式的第一对触摸点的关联关系；再按照各个所述触摸点距离由小到大的顺序，依次搜索每一所述关联方式的下一对触摸点的关联关系；

并且判断搜索到的每一对触摸点是否已经与其他触摸点关联，如果是，则放弃搜索到的触摸点的关联关系；否则，保存对应的触摸点的关联关系；

所述搜索模块从搜索每一所述关联方式的第一对触摸点的关联关系开始，判断搜索到的关联关系个数是否等于前后两帧的触摸点个数中最小的一个，是则停止搜索，保存对应的关联方式；否则，继续搜索所述关联方式的下一对触摸点的关联关系。

6.如权利要求5所述的多点触摸跟踪识别***，其特征在于，所述多点触摸跟踪识别***进一步包括：

用于分别将各个所述距离值与预设的距离阈值比较，根据比较结果对所述第一帧图像中的各个触摸点与所述第二帧图像中的触摸点之间的关联关系进行筛选的筛选模块；

所述搜索模块在所述筛选模块的筛选结果中搜索两帧图像的触摸点的各种关联方式。

7.如权利要求6所述的多点触摸跟踪识别***，其特征在于，所述距离阈值包括最大距离阈值；

则，所述筛选模块根据比较结果对各个触摸点的所述关联关系进行筛选时，如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系合法；如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值大于所述最大距离阈值，则判断对应的两个触摸点之间的关联关系不合法；

所述搜索模块根据各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

8.如权利要求7所述的多点触摸跟踪识别***，其特征在于，所述距离阈值还包括最小距离阈值；

则，所述筛选模块根据比较结果对各个触摸点的所述关联关系进行筛选时，如果所述第一帧图像中的触摸点与第二帧图像中的触摸点的距离值小于所述最小距离阈值，则进一步将对应的两个触摸点之间的关联关系划分为最优关联关系；

所述搜索模块先判断各个触摸点之间是否存在所述最优关联关系，如果不存在所述最优关联关系，则将各个合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式；如果存在所述最优关联关系，则将所述最优关联关系与其余合法的关联关系互相匹配，搜索出所述两帧图像的触摸点的各种关联方式。

Images