CN104978010A - 三维空间手写轨迹取得方法 - Google Patents

Abstract

一种三维空间手写轨迹取得方法，由一电子装置执行，该电子装置包括一处理单元，该处理单元接收一包括多张连续影像之影片并进行影像分析，该方法包含以下步骤：(A)该处理单元判断该影片中的一第一手部是否符合一轨迹开始手势，若是，则进入步骤(B)；(B)该处理单元将该第一手部的位置记录为一手写轨迹；(C)该处理单元判断该影片中的该第一手部是否符合一轨迹结束手势，若是，则进入步骤(D)；及(D)该处理单元完成该手写轨迹之记录。通过判断该轨迹开始手势开始记录该手写轨迹，判断该轨迹结束手势完成该手写轨迹之记录，而能获得出该影片中的该手写轨迹。

Description

三维空间手写轨迹取得方法

技术领域

本发明涉及一种手写轨迹取得方法，特别是涉及一种三维空间手写轨迹取得方法。

背景技术

现有的手写辨识功能，大都是由触控屏幕或手写板等在二维平面上的输入方式来实现，至于在三维空间侦测使用者肢体动作的体感操作技术，例如微软的体感游戏控制器Kinect、LeapMotion运动控制器，则欠缺手写辨识的应用，因为在二维平面的输入方式中可通过例如「手指是否接触触控表面」来侦测一笔一画的开始至结束的过程，而在三维空间中移动的肢体动作，在特定空间范围内全程都会被感测，并无类似「是否接触表面」的概念。因此，如何将三维空间动作侦测技术应用至手写辨识方面的功能，就成为一值得研究的主题。

发明内容

本发明的目的在于提供一种三维空间手写轨迹取得的方法。

本发明三维空间手写轨迹取得方法，由一电子装置执行，该电子装置包括一处理单元，该处理单元接收一包括多张连续影像之影片并进行影像分析，该方法包含以下步骤：

(A)该处理单元判断该影片中的一第一手部是否符合一轨迹开始手势，若是，则进入步骤(B)。

(B)该处理单元将该第一手部的位置记录为一手写轨迹。

(C)该处理单元判断该影片中的该第一手部是否符合一轨迹结束手势，若是，则进入步骤(D)。

(D)该处理单元完成该手写轨迹之记录。

较佳地，该方法还包含于步骤(D)后执行的步骤(E)：该处理单元判断该影片中的一第二手部是否符合一确认辨识手势，若是，对该手写轨迹进行文字辨识并输出辨识结果。

较佳地，步骤(E)中该处理单元判断该影片中的该第二手部符合一取消辨识手势或者一确认辨识手势；当符合该取消辨识手势，则清除该手写轨迹；当符合该确认辨识手势，则对该手写轨迹进行文字辨识并输出辨识结果，再清除该手写轨迹。

较佳地，该取消辨识手势是一挥手之手势，该确认辨识手势是一画圈之手势，该轨迹开始手势是一握拳之手势，该轨迹结束手势是一手掌张开之手势。

较佳地，该轨迹结束手势是一缩手手势，其中该缩手手势的判断方式是该第一手部在该影片中的平面位置于特定时间长度内未实质改变，但在深度方向上的距离增加。

较佳地，步骤(A)该处理单元判断该影片中的一第一手部并是否符合该轨迹开始手势且持续超过一预定时间长度，若是，则进入步骤(B)；步骤(C)该处理单元判断该影片中的该第一手部是否符合该轨迹结束手势且持续超过该预定时间长度，若是，则进入步骤(D)。

较佳地，该电子装置还包括一显示单元，步骤(B)该处理单元还将该手写轨迹以虚线显示于该显示单元；步骤(D)该处理单元还将该手写轨迹以实线显示于该显示单元。

较佳地，该方法还包含于步骤(D)后执行的步骤(E)：该处理单元接收一外部输入的确认辨识讯号后，对该手写轨迹进行文字辨识并输出辨识结果。

较佳地，该确认辨识讯号是一声音讯号及一触控讯号的其中之一。

较佳地，该处理单元还将该影片通过网络传送至一终端，供该终端的一使用者猜测该影片中所写之文字，待接收到该终端的该使用者输入其所猜测之文字后与该辨识结果比对，并传送比对结果至该终端。

本发明的有益效果在于：通过判断该轨迹开始手势开始记录该手写轨迹，判断该轨迹结束手势完成该手写轨迹之记录，而能获得出该影片中的该手写轨迹。

附图说明

图1是一方块图，说明本发明的一较佳实施例；及

图2至图4分别是一流程图，说明该较佳实施例；

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

参阅图1，说明本发明三维空间手写轨迹取得方法的较佳实施例由一电子装置1执行，该电子装置1例如是一智能型电视或一计算机，包括相连接的一处理单元11、一储存单元12、一显示单元13、一传输单元14，及一网络单元15。该处理单元11还接收一摄影装置2摄录的一包括多张连续影像之影片并进行影像分析。该摄影装置2例如是一般的网络摄影机或是具体感侦测功能之立体摄影机。该传输单元14无线连接于一输入装置8例如个人数字助理(PDA,PersonalDigitalAssistant)、平板计算机、智能型手机。该网络单元15通过网络连接一可与其互动之终端9，例如是另一智能型电视或另一计算机。

参阅图2至图4，该方法包含以下步骤：

步骤S11─该处理单元11接收该影片中的一张影像。

步骤S21─该处理单元11判断该影片中的一第一手部在该影像中并是否符合一轨迹开始手势，若是，则意谓着一个字的一笔划的开始，进入步骤S31，否则进入步骤S42。

详细而言，该处理单元11例如利用模板比对之技术，侦测该影片中的该第一手部，该第一手部例如是使用者的右手，然后进行手势判断，举例而言，该轨迹开始手势是一握拳的手势，该处理单元11以一握拳手势模板比对该判断该右手是否符合握拳的手势，且已维持一预定时间长度，若是，则进入步骤S31，开始记录手写轨迹。

需说明的是，根据摄影装置2类型的不同，判断第一手部的技术亦会不同，举例来说，对于一般网络摄影机所摄录的影片，可以使用背景建模技术找出移动的物件，再以手部模版比对，而对于立体摄影机或类似的体感侦测技术，则可以是侦测用户的全身位置并分析骨架，进而找出手部；而区分左右手的方式可以是单纯以手部位于影像中的位置来区分、根据手指的形态位置区分等，但不以上述为限。

关于维持预定时间长度，举例而言，是维持1秒钟，而该影片每秒为30张，该处理单元11即判断由步骤S11所接收的该影像回溯计算，最新的30张影像中，右手是否均维持握拳之手势，但不以此为限，预定时间长度也可以是「实时」，也就是一旦该影像中出现右手握拳之手势，即进入步骤S31。

另一方面，该轨迹开始手势也可以单纯是判断第一手部(以任意姿势)在同一位置维持预定时间长度，举例而言，是维持1秒钟，然后进入步骤S31。

步骤S31─该处理单元11将该第一手部的位置记录为手写轨迹中的其中一点，并使该显示单元13以虚线显示该手写轨迹。然后进入步骤S33。

步骤S33─该处理单元11接收该影片中的下一张影像。进入步骤S34。

步骤S34─该处理单元11判断该影片中的该第一手部是否符合一轨迹结束手势，若是，则意谓该笔划的结束，进入步骤S41，否则，回到步骤S31。

举例而言，该轨迹结束手势是一「张手」手势，即全部手指张开之手势，并维持预定时间长度，但不以此为限，同样的，也可以是预定时间长度是「实时」，也可以是单纯判断第一手部在同一位置维持预定时间长度。

步骤S41─该处理单元11将第一手部的位置记录为手写轨迹中的最后一点，完成该手写轨迹之记录，并使该显示单元13以虚线显示该手写轨迹，然后进入步骤S42。

步骤S42─该处理单元11判断该影片中的一第二手部是否符合任一辨识手势，若是，则意谓该文字输入完毕，进入步骤S51，否则，进入步骤S43。

该第二手部例如是使用者的左手，辨识手势包括「取消辨识手势」及「确认辨识手势」，「取消辨识手势」例如是一挥手手势，「确认辨识手势」例如是一画圈手势，挥手手势及画圈手势的侦测方法容后说明。详细而言，本步骤S42包括以下步骤S421至S423：

步骤S421─该处理单元11判断该第二手部是符合「取消辨识手势(挥手)」、符合「确认辨识手势(画圈)」或者是皆不符合。当符合「取消辨识手势(挥手)」，意谓取消此次输入之该手写轨迹，直接进入步骤S51；当符合「确认辨识手势(画圈)」，意谓确认此次输入之该手写轨迹，则进入步骤S422；当皆不符合，则进入步骤S43。

步骤S422─该处理单元11对目前记录的手写轨迹进行文字辨识，进入步骤S423。

步骤S423─该处理单元11输出辨识结果，进入步骤S51。

步骤S43─该处理单元11接收该影片中的下一张影像，然后进入步骤S21。

当流程进入本步骤S43，意谓该文字的该笔划已经完成，但尚未确认该文字亦已完成，举例来说，该文字有3笔笔划，那么当完成第1、2笔时，会进入本步骤S43，并接着进入步骤S21判断该轨迹开始手势以进入下一笔划，而在完成第3笔笔划、并于步骤S421判断得到符合「确认辨识手势(画圈)」后，则意谓该文字已经全部完成，不会再进入本步骤S43而是进入步骤S51。

步骤S51─清除手写轨迹，并结束流程。

以下综合说明本发明三维空间手写轨迹取得方法的流程。当影片开始，执行步骤S11之后，流程会先在步骤S21、S42、S43之间循环，等到使用者作出轨迹开始手势(握拳)，即是，在步骤S21中第一手部符合轨迹开始手势，此时意谓第一笔笔划的开始，接着会在步骤S31、S33、S34之间循环，持续记录手写轨迹，也就是记录该第一笔笔划，直到使用者作出轨迹结束手势(张手)，意谓第一笔笔划的结束，于是在步骤S41记录第一笔笔划的最后一点后，回到步骤S42、S43、S21之间循环，等待第二笔划的开始，并于第二笔划开始后继续在步骤S31、S33、S34之间循环而记录手写轨迹。待完成多笔笔划而完成该文字之书写后，进入步骤S42、S43、S21之间循环，等到使用者作出确认辨识手势(画圈)或取消辨识手势(挥手)，即结束该文字之手写输入。

关于判定挥手手势的方式，举例而言，首先读取前5秒的影像中第二手部的位置，然后判断第二手部是否左右反复移动特定次数以上，若是，则为符合挥手手势，其中，左右反复移动的判断方式举例而言是先寻找轨迹的大角度折返点，再以大角度折返点的位置进行判断。

判定挥手手势的另一方式是先对使用者的骨架进行分析，欲判断手势时，首先读取前5秒的影像中第二手部、第二肘部(左肘)、第二肩部(左肩)的位置，并定义第二前臂(左手前臂)为第二肘部至第二手部之联集，第二后臂(左手后臂)为第二肩部至第二肘部之联集；当发生前5秒的影像中出现第二后臂保持水平，第二手部保持高于第二肘部，且第二前臂反复呈现在通过第二肘部的垂直线、在垂直线左边、在垂直线右边的情形达一定次数，则为符合挥手手势。

关于判定画圈手手势的方式，举例而言，首先读取前5秒的影像中第二手部的位置，然后判断第二手部的移动路经是否出现与圆形轨迹相似的片段，包括圆形及U型，且U型之开口可以朝向上、下、左、右或者任意方向，若是，则为符合画圈手势。

特别值得一提的是，在另一实施态样中，步骤S21所述之轨迹开始手势为一「伸手」手势，即是该第一手部向前进、向前伸之手势，具体判断方式是该第一手部在影片中的平面位置(如x坐标及y坐标)于特定时间长度(例如1秒)内未明显改变，但深度却减少，即是在深度方向(如z坐标)上与摄影装置2的距离减少。步骤S34所述之轨迹结束手势是一「缩手」手势，即是该第一手部向后退、向后缩之手势，具体判断方式是该第一手部在影片中的平面位置(如x坐标及y坐标)于特定时间长度(例如1秒)内未明显改变，但深度却增加，即是在深度方向(如z坐标)上与摄影装置2的距离增加。在该实施态样中，该摄影装置2较佳地是使用具体感侦测功能之立体摄影机，如此所输出的影片附带有深度相关信息，而可据以进行前述「伸手」及「缩手」手势之判断。如此使用者便可如写毛笔一般提笔、下笔、提笔、下笔，顺畅的进行书写。

更进一步而言，为了避免误操作，也可以综合运用各手势，举例而言，也可以是以握拳手势开始第一笔，以「缩手」手势结束第一笔，接下来后续笔画均以「伸手」手势开始，并以「缩手」手势结束，最后再以确认辨识手势(画圈)或取消辨识手势(挥手)结束该文字之手写输入。本发明三维空间手写轨迹取得方法可应用于儿童写字的练习，或是做为年长者的复健装置。对于处于练习写字阶段的儿童，通过一笔一画确认写字的过程，有助于加深其对于每一笔划的印象，达到寓教于乐的效果。对于需复健的年长者而言，通过手势的挥动，达到运动的目的，同时亦增加复健时的乐趣。

特别需说明的是，步骤S42除了利用判断该影片中第二手部是否符合任一辨识手势的方式，还可以以接收该输入装置8所输入的确认辨识讯号或取消辨识讯号的方式进行判断，其中确认辨识讯号相当于确认辨识手势，取消辨识讯号相当于取消辨识手势。举例而言，当用户完成该文字之书写后，直接敲击桌面三次，由智能型手机或平板计算机等输入装置8收集相关声音讯号后经传输单元14传送给该处理单元11，该处理单元11即判定其为确认辨识讯号，即相当于步骤S421中符合「确认辨识手势(画圈)」的情况，又或者，当使用者于输入装置8之触控面板画O型或画X型产生触控讯号并传送至该处理单元11，该处理单元11则据以判定其为确认辨识讯号或取消辨识讯号。上述的变化种类繁多，不以上述为限，如此使用者可只以单手操作，对于只能运用单手的使用者来说较为方便。

本发明三维空间手写轨迹取得方法还可进一步应用于互动游戏，举例来说，该处理单元11将该影片通过网络传送至该终端9，供该终端9的一使用者猜测该影片中所写之文字，待接收到该终端9的该用户输入其所猜测之文字后与该辨识结果比对，并传送比对结果至终端9。

综上所述，通过判断该轨迹开始手势开始记录该手写轨迹，判断该轨迹结束手势完成该手写轨迹之记录，而能获得出该影片中的该手写轨迹，并在反复进行该手写轨迹之记录后于判断出该确认辨识手势或者接收到确认辨识讯号时，能顺利进行文字辨识，故确实能达成本发明之目的。

以上所述者，仅为本发明之较佳实施例而已，当不能以此限定本发明实施之范围，即大凡依本发明权利要求及说明书内容所作之简单的等效变化与修饰，皆仍属本发明涵盖之范围。

Claims (10)

1.一种三维空间手写轨迹取得方法，由一电子装置执行，该电子装置包括一处理单元，该处理单元接收一包括多张连续影像之影片并进行影像分析，其特征在于，该方法包含以下步骤：

(A)该处理单元判断该影片中的一第一手部是否符合一轨迹开始手势，若是，则进入步骤(B)；

(B)该处理单元将该第一手部的位置记录为一手写轨迹；

(C)该处理单元判断该影片中的该第一手部是否符合一轨迹结束手势，若是，则进入步骤(D)；及

(D)该处理单元完成该手写轨迹之记录。

2.根据权利要求1所述的三维空间手写轨迹取得方法，其特征在于：该方法还包含于步骤(D)后执行的步骤(E)：该处理单元判断该影片中的一第二手部是否符合一确认辨识手势，若是，对该手写轨迹进行文字辨识并输出辨识结果。

3.根据权利要求2所述的三维空间手写轨迹取得方法，其特征在于：步骤(E)中该处理单元判断该影片中的该第二手部符合一取消辨识手势或者该确认辨识手势；当符合该取消辨识手势，则清除该手写轨迹；当符合该确认辨识手势，则对该手写轨迹进行文字辨识并输出辨识结果，再清除该手写轨迹。

4.根据权利要求3所述的三维空间手写轨迹取得方法，其特征在于：该取消辨识手势是一挥手之手势，该确认辨识手势是一画圈之手势，该轨迹开始手势是一握拳之手势，该轨迹结束手势是一手掌张开之手势。

5.根据权利要求3所述的三维空间手写轨迹取得方法，其特征在于：该轨迹结束手势是一缩手手势，其中该缩手手势的判断方式是该第一手部在该影片中的平面位置于特定时间长度内未实质改变，但在深度方向上的距离增加。

6.根据权利要求1所述的三维空间手写轨迹取得方法，其特征在于：步骤(A)该处理单元判断该影片中的一第一手部并是否符合该轨迹开始手势且持续超过一预定时间长度，若是，则进入步骤(B)；步骤(C)该处理单元判断该影片中的该第一手部是否符合该轨迹结束手势且持续超过该预定时间长度，若是，则进入步骤(D)。

7.根据权利要求1所述的三维空间手写轨迹取得方法，其特征在于：该电子装置还包括一显示单元，步骤(B)该处理单元还将该手写轨迹以虚线显示于该显示单元；步骤(D)该处理单元还将该手写轨迹以实线显示于该显示单元。

8.根据权利要求1所述的三维空间手写轨迹取得方法，其特征在于：该方法还包含于步骤(D)后执行的步骤(E)：该处理单元接收一外部输入的确认辨识讯号后，对该手写轨迹进行文字辨识并输出辨识结果。

9.根据权利要求8所述的三维空间手写轨迹取得方法，其特征在于：该确认辨识讯号是一声音讯号及一触控讯号的其中之一。

10.根据权利要求2或8所述的三维空间手写轨迹取得方法，其特征在于：该处理单元还将该影片通过网络传送至一终端，供该终端的一使用者猜测该影片中所写之文字，待接收到该终端的该使用者输入其所猜测之文字后与该辨识结果比对，并传送比对结果至该终端。