CN103425300B - 一种多点触摸轨迹跟踪方法 - Google Patents
一种多点触摸轨迹跟踪方法 Download PDFInfo
- Publication number
- CN103425300B CN103425300B CN201210149168.XA CN201210149168A CN103425300B CN 103425300 B CN103425300 B CN 103425300B CN 201210149168 A CN201210149168 A CN 201210149168A CN 103425300 B CN103425300 B CN 103425300B
- Authority
- CN
- China
- Prior art keywords
- touch point
- frame
- touch
- point
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明提供一种多点触摸轨迹跟踪方法,涉及触摸屏轨迹跟踪领域,为解决轨迹跟踪过程中出现的轨迹串扰问题,该方法通过搜索与预测触摸点之间的距离最小的点建立前后两帧触摸点之间的关联;对于存在冲突点(即同一个触摸点与前一帧中的两个触摸点相关联)的情况,引入一个运动方向的判断,将相对于预测方向变化较小的一个方向作为实际触摸点的轨迹方向,这种轨迹跟踪的方法考虑到触摸物的运动不能发生突变的特点及用户的操作习惯,比较符合实际,本发明应用于多点触摸屏,能够实现全局最优关联,减少轨迹串扰问题。
Description
技术领域
本发明涉及触摸控制技术领域,尤其涉及一种多点触摸轨迹跟踪的方法。
背景技术
随着多媒体技术的发展,触摸控制技术已成为当今人机交互中的热点技术。许多产品的人机交互的方式(如键盘、鼠标等)都逐渐被触摸控制技术所代替。
在触摸控制技术的各种应用中,用户通常希望计算机能够理解用户的各种触摸操作,从而理解用户意图并快速地作出相应的响应,进而为用户提供更加方便、智能的服务。用户通过手指、手写笔等触摸物在触摸检测表面滑动是一种常用的触摸操作,在这种情况下,机器通过分析触摸物在触摸屏上的移动轨迹来判断用户预执行的操作,能否对触摸物的运动轨迹进行正确的跟踪关系到机器能否正确响应用户的操作,所以正确地捕捉、跟踪到触摸物的轨迹非常重要。
对于单点触摸屏,当触摸物在触摸屏上运动时,机器通过关联前后两帧(或前后两个扫描周期,或前后两个时刻)的触摸点就能够正确得到触摸点的运动轨迹,但是随着触摸点数的增加,前后两帧(或前后两个扫描周期,或前后两个帧)的触摸点都不止为一个,没法直接对前后两帧(或前后两个扫描周期,或前后两个帧)的触摸点进行一对一的关联,因此无法得到触摸物的正确轨迹。
在目前的多点轨迹跟踪中,进行触摸点跟踪的一种常用方法为前后帧间触摸点最小欧式距离匹配法,即,针对前一帧的所有触摸点,在当前帧的所有触摸点中搜索欧式距离最近的触摸点进行关联。这种方法简单、实时性非常好,但是这种方法只用到了前后两帧的触摸点之间的关系,是基于局部最优的,如图1a和图1b所示,当触摸物101在触摸表面102快速滑动时,会出现如图1a所示的错误,即将本来平行的轨迹(图1a中的实线)跟踪为交叉的轨迹(图1a中的虚线),当有两个触摸物101在触摸表面102交叉运动时,会出现如图1b所示的错误,即将本来交叉的轨迹(图1b中的实线)跟踪为平行的轨迹(图1b中的虚线),因此传统的触摸跟踪方法容易出现轨迹串扰的问题。
专利号为201110030430.4的中国专利申请提出了一种采用半卡尔曼滤波的方法进行轨迹跟踪,并通过三帧迭代和最小距离限制的方法来消除噪声,该专利申请所述的方法中搜索与预测位置欧氏距离最近的触摸点,若找到,则与前一帧中相应的触摸点关联,这种仅仅通过欧氏距离最近的方法进行轨迹跟踪的方法无法解决触摸点相冲突的问题,即下一帧中同一个触摸点与前一帧的两个触摸点相关联,这种情况下,同样会出现轨迹串扰的问题,不能实现全局最优关联。
发明内容
针对现有技术中存在的缺陷,本发明所要解决的技术问题是提供一种能够改善轨迹串扰问题并能够实现全局最优的多点触摸轨迹跟踪方法。
为解决上述技术问题,本发明采用的技术方案如下:
一种多点触摸轨迹跟踪方法,所述方法包括:
A、预测第N帧中各个触摸点的预测位置,N为大于或等于3的整数;
B、识别出第N帧中的各个触摸点;
C、在给定的窗口阈值范围内,针对每一个所述预测位置,搜索与该预测位置距离最小的触摸点,并将该触摸点与第N-1帧中的相应被预测的触摸点关联;
D、判断第N-1帧中是否存在至少两个触摸点同时与第N帧中的一个触摸点相关联;若存在,进入步骤D,否则,N的数值加1,并转到步骤A;
E、在第N帧的各个触摸点中搜索分别与所述至少两个触摸点对应的预测位置的距离次小的触摸点,针对所述至少两个触摸点的每一个,在距离其预测位置最小的触摸点和次小的触摸点中选择偏离其预测方向较小的一个与其相关联,N的数值加1,并转到步骤A。
如上所述的多点触摸轨迹跟踪方法,所述步骤A中所述预测第N帧中各个触摸点的预测位置的方法具体为:
计算第N-1帧中各个触摸点的状态向量,所述状态向量中包含坐标数据、速度数据和加速度数据;
根据所述状态向量利用半卡尔曼滤波法进行预测。
如上所述的多点触摸轨迹跟踪方法,所述步骤C进一步包括:
在第N帧和第N-1帧之间的各个关联中,判断相关联的两个触摸点间的速度变化量和/或加速度变化量,若速度变化量大于给定的速度变化阈值,和/或加速度变化量大于给定的加速度变化阈值,则断开该关联;否则保持该关联。
如上所述的多点触摸轨迹跟踪方法,所述至少两个触摸点包括触摸点B1和B2,所述步骤E由以下步骤代替:
在第N帧的各个触摸点中分别搜索与B1和B2的预测位置距离次小的触摸点,针对B1,若距离最小的触摸点和距离次小的触摸点偏离B1的预测方向的角度都大于设定的角度阈值,则断开B1所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联;针对B2,若距离最小的触摸点和距离次小的触摸点偏离B2的预测方向的角度都大于设定的角度阈值,则断开B2所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。
如上所述的多点触摸轨迹跟踪方法,针对每一条轨迹中的前三帧,采用前三帧迭代的方法进行轨迹跟踪,具体为:
A1、记录第一帧中各触摸点坐标数据;
A2、记录第二帧中各触摸点的坐标数据,在给定的窗口阈值范围内,搜索第二帧中与第一帧中各触摸点位置最近的触摸点,若找到则与第一帧中的相应触摸点关联,并计算水平与垂直方向速度,若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点,则第一帧中该触摸点为噪声,进行清除;
A3、在第三帧中,同样记录各触摸点坐标数据,在给定的窗口阈值范围内,搜索第三帧中与第二帧中各触摸点位置最近的触摸点,若找到则与第二帧中相应触摸点关联,并计算水平与垂直方向速度,并与第二帧中相应触摸点的速度求平均,以此作为初始速度,若没有搜索到则认为第二帧中该触摸点为噪声,进行清除。
如上所述的多点触摸轨迹跟踪方法,所述步骤E还包括判断是否有新触摸点加入的步骤,具体为:
判断第N帧中是否存在未被关联的触摸点,若存在,则计算该未被关联的触摸点与距离该点最近的触摸点之间的距离,如果该距离大于指定的距离阈值,则为新增点,否则为噪声点,并进行清除。
如上所述的多点触摸轨迹跟踪方法,在所述步骤E还包括判断是否有轨迹结束的步骤,具体为:
判断第N-1帧中是否存在未和第N帧中触摸点相关联的触摸点,若存在,则第N-1帧中未被关联触摸点所在的轨迹结束,否则,没有要结束的轨迹。。
如上所述的多点触摸轨迹跟踪方法,所述步骤A和所述步骤B互换。
本发明提供一种多点触摸轨迹跟踪方法,通过搜索与预测触摸点之间的距离最小的点建立前后两帧触摸点之间的关联,能够减少轨迹串扰问题;本对于存在冲突点的情况,考虑到触摸物的运动不能发生突变的特点及用户的操作习惯,引入一个运动方向的判断,将相对于预测方向变化较小的一个方向作为实际触摸点的轨迹方向,这种轨迹跟踪的方法比较符合实际,因此能够实现全局最优关联,还可以进一步减少轨迹串扰问题。
附图说明
图1a和图1b为现有技术的轨迹跟踪的方法中出现的轨迹串扰的两种情形;
图2为本发明第一种实施方式中多点触摸轨迹跟踪方法的流程图;
图3为将当前帧中的各个触摸点与前一帧中各触摸点建立关联的示意图;
图4a和图4b为存在冲突点的情况下针对冲突点建立最优关联的两种情况的示意图;
图5为当两条轨迹距离较近时出现轨迹串扰的一种情形。
具体实施方式
下面结合实施例和附图对本发明进行清楚完整地描述。
本发明中提供的触摸轨迹跟踪方法适用于各种触摸屏,如红外触摸屏、光学触摸屏等,本发明中提到的“相关联”是指将前后两帧中的两个触摸点识别为同一条轨迹上的点。
第一种实施方式
本实施方式提供一种多点触摸轨迹跟踪方法,可以应用于基于红外光网络技术的红外触摸屏和基于光学影像技术的光学触摸屏等各种触摸屏。如图2所示,该多点触摸轨迹跟踪方法包括:
步骤201:对每一条轨迹进行初始化,也即跟踪出每一条轨迹的初始轨迹。
本步骤中可以采用前三帧迭代的方法对每一条轨迹进行初始化,也即针对每一条轨迹中的前三帧,采用前三帧迭代的方法进行轨迹跟踪,具体包括以下步骤:
步骤2011:当检测到有触摸点时,将当前帧记为第一帧,记录第一帧各触摸点坐标数据(包括水平方向坐标x和垂直方向坐标y);
步骤2012:接下来的一帧记为第二帧,同样记录各触摸点的坐标数据(包括水平方向坐标x和垂直方向坐标y),针对第一帧中的各触摸点,在给定的窗口阈值范围内,搜索第二帧中与第一帧中各触摸点位置最近的触摸点,若找到,则将该位置最近的触摸点与第一帧中相应的触摸点作为同一轨迹上的不同时刻的两个触摸点,因此将该位置最近的触摸点与第一帧中的相应触摸点关联,并计算水平与垂直方向速度,若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点,则第一帧中该触摸点为噪声,进行清除;
步骤2013:在第三帧中,同样记录各触摸点坐标数据(包括水平方向坐标x和垂直方向坐标y),针对第二帧中各触摸点,在给定的窗口阈值范围内,搜索第三帧中与第二帧中各触摸点位置最近的触摸点,若找到则与第二帧中相应触摸点关联,并计算水平与垂直方向速度,并与第二帧中相应速度求平均,以此作为初始速度,若没有搜索到则可认为第二帧中该触摸点为噪声,进行清除。
这种初始化的方法称为三帧迭代初始化法,采用前三帧的信息即判断前一帧中检测的触摸点是否为噪声点,又通过求取前两帧的平均速度作为初始速度,提高了检测精度。该方法中所指“位置最近的触摸点”是指欧式距离最小的触摸点,假定第一帧中有一触摸点A,在第二帧中检测到一触摸点B,则A、B之间的欧式距离为:
水平速度:
垂直速度:
其中,xA,yA,xB,yB分别为触摸点A、B的横坐标与纵坐标,Δt为相邻两帧的时间间隔,同样根据A、B的速度数据也可以求出加速度数据(ax,ay)。
采用三帧迭代初始化法之后,可以得到真实触摸点的状态向量,触摸点的状态向量可以包括坐标数据和速度数据,还可以进一步根据速度数据获取加速度数据,如某触摸点的状态向量为:SA=(xA,yB,vx,vy,ax,ay),其各分量的意义如上。
本实施方式中所指的“窗口阈值”是指欧氏距离窗口阈值,这里的窗口可以为矩形窗口,如3×4的矩形窗口,还可以为圆形窗口,如半径为3的窗口,在实际应用中,窗口阈值的大小及单位可以根据实际需要或实验结果来选取,这里对“窗口阈值”的说明也适用于本发明的其他实施方式。如果不要求精度,采用两帧迭代初始化也能获得第二帧中触摸点的状态向量。
步骤202:根据前一帧(第N-1帧)中触摸点的状态向量预测各触摸点在下一帧(第N帧)的预测位置,其中N为大于等于3的整数。为了描述的清楚,下面采用第N-1帧和第N帧的方式进行描述。
在得到第N-1帧中各触摸点的状态向量之后,预测各触摸点在第N帧中出现的位置(即预测位置),具体预测的方法可以有多种,可以采用专利号为201110030430.4的中国专利申请中提到的半卡尔曼滤波法进行预测,在精度要求不高的情况下,可以直接根据前一帧中各触摸点的位置数据和速度数据,采用运动方程获取预测位置坐标,即:
xt+1=xt+vxΔt
yt+1=yt+vyΔt
其中xt、yt为t帧中某触摸点的水平和垂直坐标,xt+1、yt+1为t+1帧中该触摸点的水平和垂直坐标,vx和vy为t帧中该触摸点的水平速度和垂直速度。
步骤203:识别出第N帧中的各个触摸点,具体的识别触摸点的方法可以采用现有技术中的任一种方法。
由于步骤201、步骤202和步骤203在现有技术中均有记载,这里就不再赘述。
步骤204:在第N帧中,在给定的窗口阈值范围内,针对每一个预测位置,搜索与该预测位置距离最小的触摸点,将该距离最小的触摸点与第N-1帧中的相应被预测的触摸点关联,也即该距离最小的触摸点与前一帧中的相应触摸点归属为同一条轨迹,若在给定的窗口阈值范围内搜索不到与该预测位置距离最小的触摸点,则可以判断是否有轨迹结束。
如图3所示,示出了将当前帧中的各个触摸点与前一帧中各触摸点建立关联的示意图,图中将实际的触摸点用实心点表示真实触摸点,用空心点表示预测的触摸点,以三条轨迹为例,实心点A1、A2、A3为第5帧中的三个触摸点,实心点B1、B2、B3为第6帧(也即前一帧)中的三个触摸点,实心点P1、P2、P3为第7帧(也即当前帧)中的触摸点,空心点P1’、P2’、P3’所在的位置为根据第6帧(也即前一帧)中的三个触摸点B1、B2、B3的状态向量预测在第7帧中出现的位置,在P1、P2、P3中,在一定的窗口阈值范围内,分别搜索与P1’、P2’、P3’的欧氏距离最小的触摸点,搜索的结果为P1与P1’距离最近,P2与P2’的距离最近,因此将B1与P1相关联,将B2与P2相关联,而在图示中的窗口阈值范围内,没有搜索到距离P3’最近的触摸点,则可以判断B3所在的轨迹是否结束。
以上步骤中,通过首先预测各触摸点在下一帧中可能出现的位置,然后再进行与预测点的最小欧氏距离搜索建立前后两帧触摸点之间的关联,能够减少轨迹串扰的问题,但是在前面建立的各种关联中,可能存在如图4a和图4b的情况,即P1既为在图中的窗口阈值范围内距离P1’最近的触摸点也为距离P2’最近的触摸点,按照前面的方法,就会将P1同时与B1和B2相关联,称P1点存在冲突,为了解决冲突点得问题,需要继续执行下面的步骤。
步骤205:在第N帧中,搜索同时与第N-1帧中的两个触摸点B1和B2相关联的触摸点,若搜索到,则执行步骤206,否则使N的数值加1,并转至步骤202。
步骤206:在第N帧的各个触摸点中搜索分别与B1和B2的预测位置距离次小的触摸点,针对B1,在与预测位置距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联;针对B2,在与预测位置距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。
如图4a和图4b,P1同时与B1和B2相关联,在当前帧得各个触摸点中分别搜索与B1、B2的预测位置P1’、P2’的欧氏距离次小的触摸点,图4a和图4b中与P1’、P2’的欧氏距离次小的触摸点为同一个触摸点P2,在P1和P2中选择偏离B1的预测方向(P1’相对于B1的方向)较小的一个与B1相关联,也即在P1和P2中选择它们与B1的连线偏离直线B1P1’的方向的角度较小的一个作为与B1的最优关联,即如果直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角,则将B1与P1相关联,否则将B1与P2相关联;同样,在P1和P2中选择偏离B2的预测方向(P2’相对于B2的方向)较小的一个与B2相关联,也即在P1和P2中选择它们与B2的连线偏离直线B2P2’的方向的角度较小的一个作为与B2的最优关联,即如果直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角,则将B2与P1相关联,否则将B2与P2相关联,上述的预测方向为前一帧的触摸点与当前帧的预测位置连线的方向。
在图4a中,直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角,因此B1与P1的关联为最优关联,直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角,因此B2与P1的关联为最优关联;在图4b中,直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角,因此B1与P1的关联为最优关联,直线B2P1和B2P2’的夹角大于B2P2和B2P2’的夹角,因此B2与P2的关联为最优关联。
本步骤中对于冲突点的处理是基于触摸物(一般是人来操作)的运动特点,一般情况下,触摸物在触摸表面画线时,触摸物的运动方向不会突变,从一个方向变到另一个方向会有一个过度的过程,因此,在轨迹跟踪时,将运动方向相对于预测方向变化较小的一个作为正确的轨迹,这样处理比较符合触摸物的运动特点。
在上述步骤的基础上,还可以增加后续的一些处理,例如判断是否有新增点的加入,判断当前帧中轨迹是否已经结束等,具体如下:
步骤207:判断当前帧(第N帧)中是否有新增点加入,若有则对新增点执行步骤201,否则转至步骤208。
本步骤中,判断是否有新增点加入的方法可以为:判断当前帧中是否存在未被关联的触摸点,若存在,则计算该未被关联的触摸点与距离该点最近的触摸点之间的距离,如果该距离大于指定的距离阈值,则为新增点,否则为噪声点,并进行清除。这里判断新触摸点的方法可以减少环境光的影响带来的噪声,进而能够提高真实触摸点检测的正确率。
步骤208:判断当前帧中是否有轨迹结束,若有则结束相应触摸点的轨迹跟踪,否则是N的数值加1,并转至步骤202。
本步骤中判断是否有轨迹结束的方法可以为:判断前一帧中是否存在未和当前帧中准触摸点相关联的真实触摸点,若存在,则说明条轨迹在此断开,因此前一帧中未被关联触摸点所在的轨迹结束,否则,没有要结束的轨迹,继续按照前面所述的方法进行轨迹跟踪。
本实施方式提供一种多点触摸轨迹跟踪方法,通过搜索与预测触摸点之间的距离最小的点建立前后两帧触摸点之间的关联,能够减少轨迹串扰问题;对于存在冲突点的情况,引入一个运动方向的判断,将相对于预测方向变化较小的一个方向作为实际触摸点的轨迹方向,考虑到的触摸物的运动特点,比较符合实际,因此能够实现全局最优关联,进一步减少轨迹串扰问题。
第二种实施方式
本实施方式提供第二种多点触摸轨迹跟踪方法,本实施方式是对第一种实施方式的进一步改进,本实施方式是在第一种实施方式的基础上,在步骤206和步骤207之间增加了步骤207’。
为了简单起见,本实施方式只对与第一种实施方式的不同之处进行详细说明。
步骤207’:设定一个速度变化阈值,在前一帧和当前帧触摸点之间的各个关联中,判断相关联的两个触摸点间的速度变化量,若速度变化量大于给定的速度变化阈值,则断开该关联,将该相关联的两个触摸点分别属于两条不同轨迹上的点;否则保持该关联,该相关联的两个触摸点同属于一条轨迹上的点。
如图5所示为操作者在触摸表面画两条距离较近的线时出现轨迹串扰的情形,操作者在触摸表面绘出两条轨迹:一条曲线和一条直线,根据曲线上的A点预测A点的预测点为C,经搜索B点为距离C点最近的点,因此按照第一种实施方式中的方法,会将A点和B点关联起来,但实际上A和B属于两条不同的轨迹,A点和D点位于同一条轨迹上,应该将A和D进行关联,为了避免这种情况的产生,本实施方式中增加了一个速度变化阈值,通过判断A点和B点的速度,如果两点的速度差别比较大,大于设定的速度阈值,则将A和B断开,从而将图5中的两条轨迹断开。
此步骤是基于触摸物(一般是人来操作)的运动极限来考虑的,一般情况下,同一条轨迹上相关联的两个触摸点之间的速度变化不会太快,如果相关联的两个触摸点的速度变化大于一定的阈值,可以将这两个触摸点归属于两条不同的轨迹,通过本步骤的处理,可以进一步修正第一种实施方式中跟踪错误的轨迹。
本实施方式中,也可以设定加速度变化阈值,通过判断相关联的两个触摸点的加速度变化,若两个相关联的触摸点之间的加速度差值大于设定的加速度变化阈值,则这两个触摸点不属于同一条轨迹;还可以同时设定速度变化阈值和加速度变化阈值,通过判断相关联的两个触摸点的速度变化和加速度变化,若相关联的两个触摸点的速度差值大于速度变化阈值,加速度差值大于加速度变化阈值,则这两个触摸点不属于同一条轨迹。
第三种实施方式
本实施方式提供第三种多点触摸轨迹跟踪方法,本实施方式是对前两种实施方式的进一步改进,与前两种实施方式的不同之处在于:步骤206由步骤206’代替,具体为:
步骤206’:在当前帧的各个触摸点中分别搜索与B1和B2的预测位置距离次小的触摸点,针对B1,若与预测位置距离最小的触摸点和距离次小的触摸点偏离B1的预测方向的角度都大于设定的角度阈值,则断开B1所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联;针对B2,若与预测位置距离最小的触摸点和距离次小的触摸点偏离B2的预测方向的角度都大于设定的角度阈值,则断开B2所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。
如图4a和图4b,在当前帧的各个触摸点中分别搜索与B1、B2的预测位置P1’、P2’的欧氏距离次小的触摸点,图4a和图4b中与P1’、P2’的欧氏距离次小的触摸点为同一个触摸点P2,若P1和P2偏离B1的预测方向的角度都大于设定的角度阈值,说明触摸点运动的方向发生了很大的变化,在实际情况中,运动方向一般不会发生突变,因此可以判定P1和P2都不是B1所在轨迹上的点,可以断开B1所在的轨迹,若P1和P2偏离B1的预测方向的角度不都大于设定的角度阈值,则在P1和P2中选择偏离B1的速度方向较小的一个与B1相关联,也即在P1和P2中选择它们与B1的连线偏离直线B1P1’的方向的角度较小的一个作为与B1的最优关联,即如果直线B1P1和B1P1’的夹角小于B1P2和B1P1’的夹角,则将B1与P1相关联,否则将B1与P2相关联;同样,若P1和P2偏离B2的速度方向的角度都大于设定的角度阈值,则断开B2所在的轨迹,在P1和P2中选择偏离B2的速度方向较小的一个与B2相关联,也即在P1和P2中选择它们与B2的连线偏离直线B2P2’的方向的角度较小的一个作为与B2的最优关联,即如果直线B2P1和B2P2’的夹角小于B2P2和B2P2’的夹角,则将B2与P1相关联,否则将B2与P2相关联。
图4a和图4b中,P1和P2偏离B1的预测方向的角度不满足都大于设定的角度阈值的条件,因此B1所在的轨迹没有断开,P1和P2偏离B2的预测方向的角度不满足都大于设定的角度阈值的条件,因此B2所在的轨迹没有断开,具体角度阈值大小的设定,可以根据实际情况及实验结构来定。
本实施方式提供一种多点触摸轨迹跟踪方法,考虑的触摸物运动方向变化的特性,一般情况下,前后相邻的两帧之间,触摸物的速度变化一般不会发生突变,在轨迹跟踪过程中,如果遇到运动方向突变的问题,可以将正在跟踪的轨迹断开,这种方法可以防止将本来需要断开的两个轨迹连在一起,同时,通过运动方向的变化建立最优前后两帧触摸点之间的关联,能够实现全局最优关联。
在本发明的各种实施方式中,不一定在整个轨迹跟踪的过程中都采用本发明提供的跟踪方法,可以是一条轨迹中的某一段轨迹采用本发明的方法,如果只有轨迹中的某一段采用本发明的方法,则可以省略步骤201的初始化的过程。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,例如,步骤207中判断是否有新触摸点加入的方法可以采用前三帧迭代法判断是否为新增点,步骤208中判断是否有轨迹结束的方法可以采用三帧迭代结束判断法,也可以采用现有技术中的其他方法判断,步骤202中预测触摸点在当前帧在当前帧中出现的位置时,也可以考虑当前帧之前的三帧触摸点的速度的方向变化进行预测,这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种多点触摸轨迹跟踪方法,其特征在于,所述方法包括:
A、预测第N帧中各个触摸点的预测位置,N为大于或等于3的整数;
B、识别出第N帧中的各个触摸点;
C、在给定的窗口阈值范围内,针对每一个所述预测位置,搜索与该预测位置距离最小的触摸点,并将该触摸点与第N-1帧中的相应被预测的触摸点关联;
D、判断第N-1帧中是否存在至少两个触摸点同时与第N帧中的一个触摸点相关联;若存在,进入步骤E,否则,N的数值加1,并转到步骤A;
E、在第N帧的各个触摸点中搜索分别与所述至少两个触摸点对应的预测位置的距离次小的触摸点,针对所述至少两个触摸点的每一个,在距离其预测位置最小的触摸点和次小的触摸点中选择偏离其预测方向较小的一个与其相关联,N的数值加1,并转到步骤A。
2.根据权利要求1所述的多点触摸轨迹跟踪方法,其特征在于,所述步骤A中所述预测第N帧中各个触摸点的预测位置的方法具体为:
计算第N-1帧中各个触摸点的状态向量,所述状态向量中包含坐标数据、速度数据和加速度数据;
根据所述状态向量利用半卡尔曼滤波法进行预测。
3.根据权利要求1所述的多点触摸轨迹跟踪方法,其特征在于,所述步骤C进一步包括:
在第N帧和第N-1帧之间的各个关联中,判断相关联的两个触摸点间的速度变化量和/或加速度变化量,若速度变化量大于给定的速度变化阈值,和/或加速度变化量大于给定的加速度变化阈值,则断开该关联;否则保持该关联。
4.根据权利要求1所述的多点触摸轨迹跟踪方法,其特征在于,所述至少两个触摸点包括触摸点B1和B2,所述步骤E由以下步骤代替:
在第N帧的各个触摸点中分别搜索与B1和B2的预测位置距离次小的触摸点,针对B1,若距离最小的触摸点和距离次小的触摸点偏离B1的预测方向的角度都大于设定的角度阈值,则断开B1所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B1的预测方向较小的一个与B1相关联;针对B2,若距离最小的触摸点和距离次小的触摸点偏离B2的预测方向的角度都大于设定的角度阈值,则断开B2所在的轨迹,否则在距离最小的触摸点和距离次小的触摸点中选择偏离B2的预测方向较小的一个与B2相关联。
5.根据权利要求1所述的多点触摸轨迹跟踪方法,其特征在于,针对每一条轨迹中的前三帧,采用前三帧迭代的方法进行轨迹跟踪,具体为:
A1、记录第一帧中各触摸点坐标数据;
A2、记录第二帧中各触摸点的坐标数据,在给定的窗口阈值范围内,搜索第二帧中与第一帧中各触摸点位置最近的触摸点,若找到则与第一帧中的相应触摸点关联,并计算水平与垂直方向速度,若第一帧中某触摸点没有在第二帧中搜索到与其关联的触摸点,则第一帧中该触摸点为噪声,进行清除;
A3、在第三帧中,同样记录各触摸点坐标数据,在给定的窗口阈值范围内,搜索第三帧中与第二帧中各触摸点位置最近的触摸点,若找到则与第二帧中相应触摸点关联,并计算水平与垂直方向速度,并与第二帧中相应触摸点的速度求平均,以此作为初始速度,若没有搜索到则认为第二帧中该触摸点为噪声,进行清除。
6.根据权利要求1至5中任一项所述的多点触摸轨迹跟踪方法,其特征在于,所述步骤E还包括判断是否有新触摸点加入的步骤,具体为:
判断第N帧中是否存在未被关联的触摸点,若存在,则计算该未被关联的触摸点与距离该点最近的触摸点之间的距离,如果该距离大于指定的距离阈值,则为新增点,否则为噪声点,并进行清除。
7.根据权利要求1至5中任一项所述的多点触摸轨迹跟踪方法,其特征在于,在所述步骤E还包括判断是否有轨迹结束的步骤,具体为:
判断第N-1帧中是否存在未和第N帧中触摸点相关联的触摸点,若存在,则第N-1帧中未被关联触摸点所在的轨迹结束,否则,没有要结束的轨迹。
8.根据权利要求1至5中任一项所述的多点触摸轨迹跟踪方法,其特征在于,所述步骤A和所述步骤B互换。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210149168.XA CN103425300B (zh) | 2012-05-14 | 2012-05-14 | 一种多点触摸轨迹跟踪方法 |
PCT/CN2012/077817 WO2013170521A1 (zh) | 2012-05-14 | 2012-06-29 | 一种多点触摸轨迹跟踪方法 |
PCT/CN2013/075371 WO2013170721A1 (zh) | 2012-05-14 | 2013-05-09 | 一种多点触摸轨迹跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210149168.XA CN103425300B (zh) | 2012-05-14 | 2012-05-14 | 一种多点触摸轨迹跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103425300A CN103425300A (zh) | 2013-12-04 |
CN103425300B true CN103425300B (zh) | 2017-02-08 |
Family
ID=49583044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210149168.XA Expired - Fee Related CN103425300B (zh) | 2012-05-14 | 2012-05-14 | 一种多点触摸轨迹跟踪方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103425300B (zh) |
WO (2) | WO2013170521A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103744057B (zh) * | 2013-12-24 | 2016-06-01 | 河海大学 | 基于输出相关自适应卡尔曼滤波的弹道轨迹形成方法 |
CN105446605B (zh) * | 2014-07-23 | 2019-02-05 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN105468208A (zh) * | 2014-09-09 | 2016-04-06 | 深圳市鸿合创新信息技术有限责任公司 | 一种电子白板轨迹跟踪方法和装置 |
CN104777984A (zh) * | 2015-04-30 | 2015-07-15 | 青岛海信电器股份有限公司 | 一种触摸轨迹跟踪的方法、装置及触屏设备 |
CN105892744A (zh) * | 2016-03-31 | 2016-08-24 | 青岛海信电器股份有限公司 | 触摸轨迹跟踪方法、装置和显示设备 |
CN105955525B (zh) * | 2016-04-21 | 2019-03-15 | 青岛海信电器股份有限公司 | 触摸轨迹跟踪方法、装置和显示设备 |
TWI579749B (zh) * | 2016-06-14 | 2017-04-21 | 意象無限股份有限公司 | 觸控控制模組與觸控點之追蹤方法以及應用其之觸控式電子裝置 |
CN106504272B (zh) * | 2016-09-23 | 2019-03-15 | 北京仁光科技有限公司 | 一种修复触控***触点轨迹错误的方法 |
CN106780538B (zh) * | 2016-12-30 | 2018-10-12 | 南京仁光电子科技有限公司 | 一种解决图像跟踪过程中误匹配的方法 |
CN108345415B (zh) * | 2017-01-25 | 2023-06-30 | 豪威Tddi安大略有限合伙公司 | 利用对象速度信息的对象追踪 |
CN107608619A (zh) * | 2017-09-20 | 2018-01-19 | 广州视源电子科技股份有限公司 | 用于触控屏的笔迹曲线生成方法、装置、设备和存储介质 |
CN108196708A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨(深圳)科技有限公司 | 一种触摸点防丢失方法、电子设备及存储介质 |
CN111292350B (zh) * | 2018-12-10 | 2024-03-01 | 北京京东乾石科技有限公司 | 目标朝向的优化算法、***、电子设备及存储介质 |
CN112306301B (zh) * | 2020-11-02 | 2024-06-11 | 北京小米移动软件有限公司 | 触控数据的处理方法、装置、设备及存储介质 |
CN114461091B (zh) * | 2021-07-23 | 2022-12-16 | 荣耀终端有限公司 | 触控数据处理方法、键盘、设备、芯片及可读存储介质 |
CN115617202A (zh) * | 2022-10-27 | 2023-01-17 | 深圳市鸿合创新信息技术有限责任公司 | 触摸点匹配方法、获取触摸轨迹的方法及产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101825970A (zh) * | 2010-05-13 | 2010-09-08 | 友达光电股份有限公司 | 触控点的追踪方法及追踪*** |
CN101903859A (zh) * | 2007-12-20 | 2010-12-01 | Dav公司 | 控制触摸表面控制装置的方法和相应的控制装置 |
CN102096530A (zh) * | 2011-01-28 | 2011-06-15 | 广东威创视讯科技股份有限公司 | 一种多点触摸轨迹跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9134848B2 (en) * | 2009-06-03 | 2015-09-15 | Stmicroelectronics Asia Pacific Pte Ltd | Touch tracking on a touch sensitive interface |
CN102073414B (zh) * | 2010-10-29 | 2013-10-30 | 广东威创视讯科技股份有限公司 | 基于机器视觉的多点触摸跟踪方法 |
-
2012
- 2012-05-14 CN CN201210149168.XA patent/CN103425300B/zh not_active Expired - Fee Related
- 2012-06-29 WO PCT/CN2012/077817 patent/WO2013170521A1/zh active Application Filing
-
2013
- 2013-05-09 WO PCT/CN2013/075371 patent/WO2013170721A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101903859A (zh) * | 2007-12-20 | 2010-12-01 | Dav公司 | 控制触摸表面控制装置的方法和相应的控制装置 |
CN101825970A (zh) * | 2010-05-13 | 2010-09-08 | 友达光电股份有限公司 | 触控点的追踪方法及追踪*** |
CN102096530A (zh) * | 2011-01-28 | 2011-06-15 | 广东威创视讯科技股份有限公司 | 一种多点触摸轨迹跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103425300A (zh) | 2013-12-04 |
WO2013170721A1 (zh) | 2013-11-21 |
WO2013170521A1 (zh) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103425300B (zh) | 一种多点触摸轨迹跟踪方法 | |
CN103513811B (zh) | 一种触摸轨迹跟踪方法 | |
CN103593131B (zh) | 一种触摸轨迹跟踪方法 | |
CN102096530B (zh) | 一种多点触摸轨迹跟踪方法 | |
CN102520839B (zh) | 通知群触摸手势消除技术 | |
CN103294401B (zh) | 一种具有触摸屏的电子设备的图标处理方法及装置 | |
CN102955658B (zh) | 交互界面中的页面切换方法及装置 | |
US20130080951A1 (en) | Device and method for moving icons across different desktop screens and related computer readable storage media comprising computer executable instructions | |
US20100321337A1 (en) | Method for detecting touch position | |
CN102622120A (zh) | 多点触控面板的触碰轨迹追踪方法 | |
CN101719032B (zh) | 一种多点触摸***及其方法 | |
CN103582865B (zh) | 使用时间线条的动态扭曲的基于时间线的内容控制方法和装置、以及用其控制视频和音频片段的方法和装置 | |
CN101105733A (zh) | 一种多点触摸定位方法 | |
CN102385475B (zh) | 电子设备及其交互方法 | |
CN103902086A (zh) | 一种基于曲线拟合的触摸轨迹平滑方法及*** | |
CN103970322B (zh) | 一种触摸屏轨迹跟踪处理的方法和*** | |
CN103105963A (zh) | 触控装置及其控制方法 | |
US20150363037A1 (en) | Control method of touch panel | |
US20120242595A1 (en) | Method for determining touch point | |
CN101676849A (zh) | 一种使用电子设备时的交互方法和电子设备 | |
US20130293477A1 (en) | Electronic apparatus and method for operating the same | |
US20130321303A1 (en) | Touch detection | |
CN106293432A (zh) | 一种页面显示处理方法以及装置 | |
CN103500055B (zh) | 一种触摸屏的显示内容定位方法、*** | |
CN102402392B (zh) | 触摸屏的页面传送方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 Termination date: 20180514 |