CN102999158A

CN102999158A - 互动的手势辨识方法及互动

Info

Publication number: CN102999158A
Application number: CN2012103455851A
Authority: CN
Inventors: 陈信嘉; 苏宗敏; 吕志宏
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2013-03-27
Anticipated expiration: 2029-09-28
Also published as: CN102999158B; CN102033656A; CN102033656B

Abstract

本发明提供了一种互动***的手势辨识方法以及一种互动***，所述互动***包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤：利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动***的位置坐标；当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

Description

互动***的手势辨识方法及互动***

本申请是申请日为2009年9月28日、申请号为200910176072.0、名称为“手势辨识方法以及使用该方法的互动***”的发明专利申请的分案申请。

技术领域

本发明涉及一种互动***，并且尤其涉及一种手势辨识方法以及使用该方法的互动***。

背景技术

请参照图1所示，其显示了一种现有的触控***9。该触控***9包括触控面90以及至少2个摄影机91、92，摄影机91、92的视野包括整个触控面90。当使用者利用手指碰触触控面90时，摄影机91、92可撷取包括手指尖端的遮蔽光影的图像视窗。处理单元则可根据所述图像视窗中手指尖端的遮蔽光影的位置，计算出手指碰触触控面90的二维位置坐标，并根据该二维位置坐标的变化，相对控制显示器执行相对应的动作。

然而，所述触控***9的动作原理是根据每个图像视窗中手指尖端的遮蔽光影的位置计算手指碰触触控面90的二维位置坐标。当使用者利用多个手指碰触触控面90时，相对于摄影机92，由于手指彼此间会互相遮蔽，摄影机92所撷取的图像视窗中并不一定会出现所有手指尖端的遮蔽光影。

例如图1中，使用者利用手指81和82碰触触控面90，此时摄影机91撷取图像视窗W₉₁，其包括手指81和82的遮蔽光影I₈₁和I₈₂；然而，由于手指81和82相对于摄影机92互相遮蔽，因此摄影机92所撷取的图像视窗W₉₂中仅包括一个遮蔽光影。当处理单元根据所述图像视窗W₉₁和W₉₂计算手指碰触触控面90的二维位置坐标时，便有可能无法正确计算二维位置坐标而导致误动作的发生。

为解决此问题，可通过另外设置两个摄影机93和94于触控面90的另外两个角落，以另外撷取两个图像视窗W₉₃、W₉₄，处理单元则可根据图像视窗W₉₁和W₉₃分别计算出手指81和82碰触触控面90的二维位置坐标。然而，此种解决方案会增加***成本。

发明内容

本发明提供了一种互动***的手势辨识方法，所述互动***包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤：利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动***的位置坐标；当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

本发明还提供了一种互动***，该互动***包括：一个反射镜面；一个图像感测器，用于连续撷取至少一个指示物遮蔽所述反射镜面所形成的遮蔽光影的图像视窗；处理单元，当判定所述图像感测器所撷取的所述图像视窗包括两个遮蔽光影时进入第一模式，根据所述指示物的所述遮蔽光影位于所述图像视窗中的一维位置，计算所述指示物的二维位置坐标；当判定所述图像感测器所撷取的所述图像视窗包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

有鉴于此，本发明的目的在于提出一种手势辨识方法以及使用该方法的互动***以解决上述现有的触控***中所存在的问题，其根据图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识，可解决因指示物相互遮蔽所导致无法正确计算接触点坐标的问题。

本发明提出一种互动***的手势辨识方法，所述互动***包括图像感测器、反射元件以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽光源和/或反射元件所形成的遮蔽光影的图像视窗。所述手势辨识方法包括下列步骤：利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；根据所述遮蔽光影信息判定是否包括多个指示物；以及当判定包括多个指示物时，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

本发明的手势辨识方法的一种实施例中，所述遮蔽光影信息包括平均光影数目、平均光影间距和/或最大光影间距。

本发明的手势辨识方法的一种实施例中，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识的步骤还包括下列步骤：将所述平均光影数目和平均光影间距其中之一与预设门槛值比较；当所述平均光影数目或平均光影间距大于所述预设门槛值时，进行上、下、左、右、放大或缩小手势辨识；当所述平均光影数目或平均光影间距小于所述预设门槛值时，进行旋转手势辨识；以及根据所辨识出的手势更新图像显示器的显示画面。

本发明另提出一种互动***，该***包括发光单元、图像感测器以及处理单元。所述图像感测器用于连续撷取至少一个指示物遮蔽所述发光单元所形成的遮蔽光影的图像视窗。所述处理单元根据所述图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识。

本发明的互动***的一种实施例中，所述发光单元为主动光源或被动光源。当发光单元为被动光源时，发光单元包括反射镜面且所述互动***还包括至少一个主动光源。

本发明另提出一种互动***的手势辨识方法，所述互动***包括发光单元和图像感测器，所述图像感测器用于撷取包括多个指示物遮蔽所述发光单元所形成的遮蔽光影的图像视窗。所述手势辨识方法包括下列步骤：利用所述图像感测器连续撷取图像视窗；以及根据连续图像视窗中多个遮蔽光影的相互关系进行手势辨识。

本发明的手势辨识方法的一种实施例中，所述遮蔽光影的相互关系包括所述遮蔽光影的平均光影间距变化、最大光影间距变化以及位移方向。

根据本发明的手势辨识方法以及使用该方法的互动***，在第一模式中，所述互动***根据指示物的二维坐标变化控制光标的动作；在第二模式中，所述互动***根据多个指示物的遮蔽光影的相互关系更新显示器的显示画面，例如使显示画面显示画面卷动（scroll）、物件放大缩小（zoom in/out）、物件旋转（rotation）、画面切换或菜单等。在本发明的手势辨识方法以及使用该方法的互动***中，由于不需分别计算出多个指示物的接触点坐标，因此即使指示物相对于图像感测器为互相遮蔽，也能够正确进行手势辨识。

附图说明

图1显示了现有的触控***的示意图；

图2a显示了本发明实施例的互动***的立体图；

图2b显示了本发明第一实施例的互动***的操作示意图；

图3a显示了利用本发明第一实施例的互动***进行光标操控的示意图；

图3b显示了图3a的图像感测器所撷取的图像视窗的示意图；

图4a显示了本发明实施例的互动***的手势辨识方法的流程图；

图4b显示了图4a中第二模式的流程图；

图5a~5d分别显示了本发明第一实施例的互动***的手势辨识方法中辨识右/左/下/上手势的示意图；

图5e~5f分别显示了本发明第一实施例的互动***的手势辨识方法中辨识放大/缩小手势的示意图；

图5g~5h分别显示了本发明第一实施例的互动***的手势辨识方法中辨识旋转手势的示意图；

图6a显示了本发明第二实施例的互动***的操作示意图；

图6b~6c显示了图6a的图像感测器所撷取的图像视窗的示意图；

图7a~7b分别显示了本发明第二实施例的互动***的手势辨识方法中辨识右/左手势的示意图；

图7c~7d分别显示了本发明第二实施例的互动***的手势辨识方法中辨识放大/缩小手势的示意图；以及

图7e~7f分别显示了本发明第二实施例的互动***的手势辨识方法中辨识旋转手势的示意图。

附图标记说明

10、10′互动*** 100 面板

100a 面板的第一边 100b 面板的第二边

100c 面板的第三边 100d 面板的第四边

100d 第四镜像 100s 面板的表面

11 发光单元 11a 反射镜面

121 第一光源 121′ 第二镜像

122 第二光源 122′ 第三镜像

13、13′图像感测器 14 处理单元

15 图像显示器 150 显示屏

151 光标 20、20′、20″图像视窗

RS 实像空间 IS 虚像空间

T₈₁、T指示物的接触点 T₈₁′、T′第一镜像的接触点

A₈₁ 接触点与第三边的夹角 A₈₁′第一镜像与第三边的夹角

R₈₁ 第一感测路径 R₈₁′第二感测路径

I₈₁、I₈₂第一遮蔽光影 I₈₁′第二遮蔽光影

I₁、I₂ 第一遮蔽光影 I₁′、I₂′第二遮蔽光影

I₈₁″、I₈₂″遮蔽光影 G₁ 第一光影群

G₂ 第二光影群 C 中心线

Sav 平均光影间距 8 使用者

81、82 手指 9 触控***

91~94 摄影机 90 触控面

W₉₁~W₉₄ 图像视窗 S₁~S₅步骤

具体实施方式

为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，作详细说明如下。此外，需要说明的是，在本发明的说明中，相同的构件以相同的符号表示。

请同时参照图2a和图2b所示，图2a显示了本发明实施例的互动***10的立体图，图2b显示了本发明第一实施例的互动***10的操作示意图。所述互动***10包括面板100、发光单元11、第一光源121、第二光源122、图像感测器13、处理单元14以及图像显示器15。

所述面板100包括第一边100a、第二边100b、第三边100c、第四边100d以及表面100s。所述面板100的实施例包括白板（whiteboard）或触控屏幕（touch screen）。

所述发光单元11设置于面板100的第一边100a的表面100s上。发光单元11可为主动光源或被动光源。当发光单元11为主动光源时，其可自行发光且所述发光单元11优选为线光源。当发光单元11为被动光源时，其用于反射其他光源（例如第一光源121和第二光源122）所发出的光；此时，发光单元11包括面向面板的第三边100c的反射镜面11a，其中该反射镜面11a可利用适当材质形成。所述第一光源121设置于面板的第二边100b的表面100s上，且优选朝向面板的第四边100d发光。所述第二光源122设置于面板的第三边100c的表面100s上，且优选朝向面板的第一边100a发光；其中所述第一光源121和第二光源122优选为主动光源，例如为线光源，但并不限于此。

请再参照图2b所示，当发光单元11为被动光源（例如反射元件）时，第一光源121可相对于反射镜面11a映射出第二镜像121′，第二光源122可相对于反射镜面11a映射出第三镜像122′，面板的第四边100d可相对于反射镜面11a映射出第四镜像100d′；其中所述发光单元11、第一光源121、第二光源122以及面板的第四边100d共同界定一个实像空间RS；所述发光单元11、第二镜像121′、第三镜像122′以及第四镜像100d′共同界定一个虚像空间IS。

所述图像感测器13设置于面板100的角落，在此实施例中，所述图像感测器13被设置于面板的第三边100c与第四边100d交界处的角落。图像感测器13的视野VA至少包括所述实像空间RS和虚像空间IS，用于撷取包括实像空间RS、虚像空间IS以及位于实像空间RS内的指示物（pointer），例如手指81，的遮蔽光影的图像视窗。在一种实施例中，所述图像感测器13包括透镜（或透镜组）用于调整图像感测器13的视野范围VA，以使图像感测器13能够撷取所述实像空间RS和虚像空间IS的完整图像。图像感测器13的实施例包括，但不限于，CCD图像感测器和CMOS图像感测器。

所述处理单元14耦接图像感测器13，用于处理图像感测器13所撷取的图像，以辨识一个或多个指示物。当辨识出仅包括一个指示物时，则根据图像视窗中指示物的遮蔽光影的位置，相对计算出指示物碰触面板表面100s的二维位置坐标。当辨识出包括多个指示物时，处理单元14则根据图像视窗中指示物的遮蔽光影的相互关系进行手势辨识，并根据所辨识出的手势相对控制图像显示器更新其显示画面，其详细计算方式将详述于后。

所述图像显示器15耦接处理单元14，图像显示器15的显示屏150上可显示有光标151，如图2b所示。处理单元14根据所计算出指示物碰触面板表面100s的二维位置坐标变化，相对控制显示屏150上光标151的动作，或根据图像感测器13所撷取的图像视窗中多个遮蔽光影的相互关系更新显示屏150的显示画面，例如显示画面卷动、物件缩放、物件旋转、画面切换或菜单等。

为清楚显示本发明的互动***，图2a和图2b中，所述面板100独立于图像显示器15之外，但其并非用于限定本发明，在其他实施例中，所述面板100也可结合于图像显示器15的显示屏150上。此外，当所述面板100为触控屏幕时，图像显示器15的显示屏150也可用作面板100，而所述发光单元11、第一光源121、第二光源122以及图像感测器13则设置于显示屏150的表面上。

可以理解的是，虽然图2a和图2b中，所述面板100被显示为矩形且所述发光单元11、第一光源121以及第二光源122被显示为互相垂直地设置于面板100的三个边，但其仅为本发明的一种实施例，并非用于限定本发明。在其他实施例中，所述面板100可制作成其他形状；所述发光单元11、第一光源121、第二光源122以及图像感测器13也可以以其它的空间关系设置于面板100上。本发明的精神在于，利用图像感测器13撷取图像视窗，并根据该图像视窗中遮蔽光影的位移以及遮蔽光影彼此间的相互关系进行手势辨识，并根据所辨识出的手势相对更新图像显示器的显示画面。

第一实施例

请参照图3a和图3b所示，图3a显示了利用本发明第一实施例的互动***10进行光标操控的示意图；图3b显示了图3a中图像感测器13所撷取的图像视窗20的示意图。如图所示，当指示物，例如手指81的尖端碰触实像空间RS内的面板表面100s上时，此处以接触点T₈₁表示，指示物相对于发光单元11（在此实施例中为反射元件）的反射镜面11a映射出第一镜像于虚像空间IS中，此处以接触点T₈₁′表示。所述图像感测器13根据第一感测路线R₈₁撷取指示物的尖端图像，以在图像视窗20内形成第一遮蔽光影I₈₁；并根据第二感测路线R₈₁′撷取第一镜像的尖端图像，以在图像视窗20内形成第二遮蔽光影I₈₁′，如图3b所示。在此实施例中，处理单元14内预先储存有遮蔽光影位于图像视窗20中的一维位置与感测路线和面板的第三边100c之间夹角的相对关系。因此，当图像感测器13撷取指示物及其第一镜像的尖端图像而形成图像视窗20时，处理单元14则可根据图像视窗20的遮蔽光影的一维位置分别求出第一夹角A₈₁和第二夹角A₈₁′。接着，根据三角函数关系，处理单元14可求出指示物碰触面板表面100s的碰触点T₈₁的二维位置坐标。

例如在一种实施方式中，所述面板表面100s构成直角坐标系，第三边100c作为直角坐标系的X轴，第四边100d作为直角坐标系的Y轴，并以图像感测器13所在位置作为原点。因此，碰触点T₈₁位于直角坐标系的坐标则可表示为（相对第四边100d的距离，相对第三边100c的距离）。此外，处理单元14中预先储存有面板的第一边100a与第三边100c之间的距离D₁。藉此，处理单元14根据下列步骤可求出指示物81碰触面板表面100s的碰触点T₈₁的二维位置坐标：（a）处理单元14求出第一感测路线R₈₁与面板的第三边100c之间的第一夹角A₈₁以及第二感测路线R₈₁′与面板的第三边100c之间的第二夹角A₈₁′；（b）根据方程式D₂＝2D₁/（tanA₈₁+tanA₈₁′）求出指示物81的碰触点T₈₁与面板的第四边100d之间的距离D₂；（c）根据D₂×tanA₈₁求出碰触点T₈₁的y坐标。因此，碰触点T₈₁的二维位置坐标则为（D₂，D₂×tanA₈₁）。

请再参照图3a和图3b所示，本发明第一实施例的互动***10的运作包括两种模式。当处理单元14根据图像感测器13所撷取的图像视窗20判定仅一个指示物碰触面板表面100s时，则控制互动***10工作于第一模式。在第一模式中，图像感测器13以一取样频率连续撷取图像，处理单元14则根据指示物81的遮蔽光影位于图像视窗20中的一维位置，计算指示物81碰触面板表面100s的碰触点T₈₁的二维位置坐标，并根据碰触点T₈₁的二维位置坐标变化，相对控制图像显示器15上光标151的动作。例如当指示物81朝向面板的第四边100d移动时，第一镜像的接触点T₈₁′也同时朝向第四镜像100d′移动。此时，图像视窗20中对应于指示物的遮蔽光影I₈₁以及对应于第一镜像的遮蔽光影I₈₁′也朝向图像视窗20的左侧移动。藉此，处理单元14则根据每一图像视窗20中所述遮蔽光影I₈₁和I₈₁′的位置，计算碰触点T₈₁的二维位置坐标，并根据该二维位置坐标的变化，相对控制图像显示器15上的光标151朝向显示屏150的左方移动。可以理解的是，指示物的移动方向与图像视窗20中所述遮蔽光影I₈₁和I₈₁′的移动方向以及光标151的移动方向之间的关系并不限于上述实施例中所公开的内容，所述遮蔽光影I₈₁和I₈₁′与光标151的移动方向可能根据软件处理方式的不同而相反于指示物的移动方向。

当处理单元14根据图像感测器13所撷取的图像视窗20判定有多个指示物碰触面板表面100s时，则控制互动***10工作于第二模式。在第二模式中，处理单元14不再逐一根据每一图像视窗20计算各碰触点T₈₁的二维位置坐标，仅根据图像视窗20中多个遮蔽光影的相互关系来判定手势（gesture），并根据所判定的手势更新图像显示器15的显示屏150的显示画面，例如画面卷动、物件放大缩小、物件旋转、画面切换或显示菜单等。

请参照图4a所示，其显示了本发明的手势辨识方法的流程图。所述方法包括下列步骤：利用图像感测器撷取图像视窗（步骤S₁）；撷取所述图像视窗中的遮蔽光影信息（步骤S₂）；根据所述遮蔽光影信息判定是否包括多个指示物（步骤S₃）；若否，进入第一模式（步骤S₄）；若是，进入第二模式（步骤S₅）。

请参照图4b所示，其显示了图4a的步骤S₅中的第二模式的实施方式，所述遮蔽光影信息包括平均光影数目、平均光影间距以及最大光影间距。第二模式包括下列步骤：判定平均光影数目和平均光影间距其中之一是否大于预设门槛值（步骤S₅₁）；若是，则根据连续图像视窗中遮蔽光影的相互关系进行旋转手势辨识（步骤S₅₂）；若否，则根据连续图像视窗中遮蔽光影的相互关系进行上/下/左/右/放大/缩小手势辨识（步骤S₅₃）；以及根据所辨识的手势更新图像显示器的显示画面（步骤S₅₄）。可以理解的是，图4b可设定为当平均光影数目小于预设门槛值时进行旋转手势辨识，而当平均光影数目大于预设门槛值时进行平移手势辨识；或者设定为当平均光影间距小于预设门槛值时进行旋转手势辨识，而当平均光影间距大于预设门槛值时进行平移手势辨识。

在另一实施例中，第二模式可仅包括一个步骤：根据连续图像视窗中遮蔽光影的相互关系进行旋转手势辨识。在另一实施例中，第二模式可仅包括1一个步骤：根据连续图像视窗中遮蔽光影的相互关系进行上/下/左/右/放大/缩小手势辨识。也就是说，互动***的第二模式可仅进行旋转手势辨识或上/下/左/右/放大/缩小手势辨识其中之一。

请同时参照图3a~4b所示，当利用本发明第一实施例的互动***10进行手势辨识时，首先利用图像感测器13撷取图像以形成图像视窗20，其包括至少一个对应于指示物接触点T₈₁的遮蔽光影I₈₁以及至少一个对应于第一镜像接触点T₈₁′的遮蔽光影I₈₁′（步骤S₁）。接着，处理单元14撷取图像视窗20中的遮蔽光影信息，例如遮蔽光影的平均光影数目、平均光影间距以及最大光影间距等，以供后续步骤中使用（步骤S₂）。接着，处理单元14根据所撷取的遮蔽光影信息判定图像视窗20中是否具有多个指示物（步骤S₃），其中每一个指示物会在图像视窗20上产生最多2条遮蔽光影，因此当图像视窗20上出现大于两个遮蔽光影时，则表示包括多个指示物。

当判定只包括一个指示物时，如图3a和图3b所示，处理单元14则控制互动***10进入第一模式（步骤S₄）。在第一模式中，处理单元14根据图像感测器13所撷取的图像视窗20中遮蔽光影（例如I₈₁和I₈₁′）的一维位置计算指示物接触面板表面100s的接触点（例如T₈₁）的二维位置坐标，并根据该二维位置坐标变化相对控制图像显示器15上光标151的动作。

当处理单元14根据遮蔽光影信息判定有多个指示物接触面板表面100s时，如图5a至图5h所示，则控制互动***10进入第二模式（步骤S₅）。在第二模式中，处理单元14根据图像视窗20中遮蔽光影彼此之间的相互关系进行手势辨识，并根据所辨识出的手势相对控制图像显示器15的显示屏150所显示画面的画面更新，例如进行画面卷动、物件或视窗的放大缩小、物件旋转、画面切换或显示菜单等。

请参照图5a至图5h所示，接着说明第二模式的实施方式，其中所述发光单元11在此说明中以被动光源为例进行说明。此外，可以理解的是，图5a至图5h所示仅为例示性的，并非用于限定本发明。

画面卷动手势：请参照图5a~5d所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点（例如T₁和T₂）时，则进入第二模式。接着，处理单元14判定图像视窗20中的平均遮蔽光影数目是否大于预设门槛值，该预设门槛值例如为6，或判定平均光影间距Sav是否大于预设门槛值（步骤S₅₁）。当平均遮蔽光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，则进行平移手势辨识（步骤S₅₃）。

在平移手势辨识时，首先将遮蔽光影分群，例如根据图像视窗20的中心线C作为分群的依据，以区分第一光影群G₁和第二光影群G₂，其中所述第一光影群G₁可能为实像光影群或虚像光影群，所述第二光影群G₂可能为虚像光影群或实像光影群。

例如图5a~5d中，图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，处理单元14则进行上/下/左/右手势辨识（步骤S₅₃）。例如图5a中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂均向右移动，因此判定使用者正在执行将显示画面向右/左卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新（步骤S₅₄）。

同理，图5b中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂均向左移动，因此判定使用者正在执行将显示画面向左/右卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新（步骤S₅₄）。

图5c中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂的平均光影间距逐渐增加，因此判定使用者正在执行将显示画面向下/上卷动的手势，因而相对控制显示屏150进行相应的显示画面更新（步骤S₅₄）。

图5d中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂的平均光影间距逐渐减少，因此判定使用者正在执行将显示画面向上/下卷动的手势，因而相对控制显示屏150进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行平移手势辨识（步骤S₅₃）而不执行步骤S₅₁。

物件放大缩小手势：在进行物件放大缩小的步骤前，使用者先在面板表面100s上形成单一接触点，以进入第一模式，并在第一模式中控制光标151移动至物件O上，如图3a所示。接着，使用者再在面板表面100s上形成多个接触点，如图5e~5f。当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点（例如T₁、T₂）时，则进入第二模式。

接着，处理单元14判定图像视窗20中的平均光影数目和平均光影间距Sav其中之一是否大于预设门槛值（步骤S₅₁)当平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，则先将遮蔽光影分群，例如根据图像视窗20的中心线C作为分群的依据，以区分第一光影群G₁和第二光影群G₂。

例如图5e~5f中，图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值，处理单元14则进行放大/缩小手势辨识（步骤S₅₃）。例如图5e中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂的平均光影间距大致上无变化而最大光影间距增加，因此判定使用者正在执行将物件放大/缩小的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新（步骤S₅₄）。

例如图5f中，处理单元14辨识出图像视窗20中的第一光影群G₁和第二光影群G₂的平均光影间距大致上无变化而最大光影间距减少，因此判定使用者正在执行将物件缩小/放大的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行放大/缩小手势辨识（步骤S₅₃）而不执行步骤S₅₁。

此外，在进行放大/缩小手势辨识前也可能不需进入第一模式而直接进行第二模式，例如当面板100为触控面板时，由于使用者可直接指向物件，因此在进行放大/缩小手势辨识时可直接进入第二模式。

物件旋转手势：在进行物件旋转的步骤前，使用者先在面板表面100s上形成单一接触点，以进入第一模式，并在第一模式中控制光标151移动至物件O上，如图3a所示。接着，使用者再在面板表面100s上形成多个接触点T，如图5g~5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则进入第二模式。

接着，处理单元14判定图像视窗20中的平均光影数目和平均光影间距Sav其中之一是否大于预设门槛值（步骤S51）。当平均光影数目大于预设门槛值或平均光影间距Sav大于预设门槛值时，则不进行遮蔽光影分群，而直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定旋转方向。

例如图5g中，处理单元14辨识出图像视窗20中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目，因此判定使用者正在执行将物件右旋/左旋的手势，因而相对控制图像显示器15进行相应的显示画面更新（步骤S₅₄）。

例如图5h中，处理单元14辨识出图像视窗20中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行将物件左旋/右旋的手势，因而相对控制图像显示器15进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行旋转手势辨识（步骤S₅₂）而不执行步骤S₅₁。

此外，在进行旋转手势辨识前也可能不需进入第一模式而直接进行第二模式，例如当面板100为触控面板时，由于使用者可直接指向物件，因此在进行旋转手势辨识时可直接进入第二模式。

画面切换手势：使用者直接在面板表面100s上形成多个接触点T，如图5g~5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。

处理单元14直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定是否进行画面切换。例如图5g和图5h中，处理单元14辨识出图像视窗20中向右或向左移动的遮蔽光影数目大于向左或向右移动的遮蔽光影数目，因此判定使用者正在执行画面切换的手势，因而相对控制图像显示器15进行相应的画面切换功能。

显示菜单手势：使用者直接在面板表面100s上形成多个接触点T，如图5g~5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。

处理单元14直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定是否显示菜单。例如图5g中，处理单元14辨识出图像视窗20中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目；图5h中，处理单元14辨识出图像视窗20中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行显示菜单的手势，因而相对控制图像显示器15显示相应的菜单。

第二实施例

请参照图6a至图6c所示，图6a显示了本发明第二实施例的互动***10′的操作示意图，图6b和图6c分别显示了图6a的图像感测器13和13′所撷取的图像视窗20′和20″的示意图。在此实施例中，互动***10′包括发光单元11、第一光源121、第二光源122以及图像感测器13和13′。发光单元11为主动光源，且优选朝向面板的第三边100c发光。发光单元11、第一光源121以及第二光源122分别设置于面板的第一边100a、第二边100b以及第四边100d。因此，图像感测器13所撷取的图像视窗20′内仅包括指示物尖端的第一遮蔽光影I₈₁和I₈₂；图像感测器13′所撷取的图像视窗20″内仅包括指示物尖端的遮蔽光影I₈₁″和I₈₂″。

在此实施例中，处理单元14根据图像感测器13和13′所撷取的图像视窗20′和20″中多个遮蔽光影的相互关系进行手势辨识。

画面卷动手势：请参照图7a~7b所示，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点（例如T₁和T₂）时，则进入第二模式。接着，处理单元14判定图像视窗20′和20″中的平均光影数目是否大于预设门槛值或判定图像视窗20′和20″中的平均光影间距是否大于预设门槛值（步骤S₅₁）。

当图像视窗20′和20″中的平均光影数目未大于预设门槛值或平均光影间距未大于预设门槛值时，处理单元14则进行左/右手势辨识（步骤S₅₃）。例如图7a和图7b中，处理单元14分别辨识出影像视窗20′和20″中的遮蔽光影均向右或向左移动，因此判定使用者正在执行将显示画面向下/上卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20和20″中的遮蔽光影信息判定包括多个接触点时，则直接进行平移手势辨识（步骤S₅₃）而不执行步骤S₅₁。

物件放大缩小手势：在进行物件放大缩小的步骤前，使用者先控制光标移动至所欲缩放的物件上。接着，使用者再在面板表面100s上形成多个接触点（例如T₁和T₂），如图7c~7d所示。当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点时，则进入第二模式。

接着，处理单元14判定图像视窗20和20″中的平均光影数目是否大于预设门槛值或判定图像视窗20和20″中的平均光影间距是否大于预设门槛值（步骤S₅₁）。当图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距未大于预设门槛值时，处理单元14则进行放大/缩小手势辨识（步骤S₅₃）。例如图7c和7d中，处理单元14分别辨识出图像视窗20′和20″中的遮蔽光影的平均光影间距增加或减小，因此判定使用者正在执行将物件放大/缩小的手势，因而相对控制图像显示器15进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点时，则直接进行放大/缩小手势辨识（步骤S₅₃）而不执行步骤S₅₁。

物件旋转手势：在进行物件旋转的步骤前，使用者先控制光标移动至所欲旋转的物件上。接着，使用者再在面板表面100s上形成多个接触点T，如图7e~7f所示，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点T时，则进入第二模式。

接着，处理单元14判定图像视窗20′和20″中的平均光影数目是否大于预设门槛值或处理单元14判定图像视窗20′和20″中的平均光影间距是否大于预设门槛值（步骤S₅₁）。当平均光影数目大于预设门槛值或平均光影间距大于预设门槛值时，则根据遮蔽光影朝向图像视窗20′和20″中两侧方向移动的数目判定旋转方向。

例如图7e中，处理单元14分别辨识出图像视窗20′和20″中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目；图7f中，处理单元14分别辨识出图像视窗20′和20″中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行将物件右旋/左旋的手势，因而相对控制图像显示器15进行相应的显示画面更新（步骤S₅₄）。

在另一实施例中，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点时，则直接进行旋转手势辨识（步骤S₅₂）而不执行步骤S₅₁。

此外，在进行旋转手势辨识前也可能不需进入第一模式而直接进行第二模式。

画面切换手势或显示菜单手势：使用者直接在面板表面100s上形成多个接触点T，如图7e~7f所示，当处理单元14根据图像感测单元13和13′所撷取的图像视窗20′和20″中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。

处理单元14直接根据遮蔽光影朝向图像视窗20′和20″的两侧方向位移的遮蔽光影数目判定是否进行画面切换或显示菜单手势。例如图7e和图7f中，处理单元14分别辨识出图像视窗20′和20″中向右或向左移动的遮蔽光影数目大于向左或向右移动的遮蔽光影数目，因此判定使用者正在执行画面切换或显示菜单手势的手势，因而相对控制图像显示器15进行相应的画面切换或显示菜单。

可以理解的是，上述第二模式中遮蔽光影的相互关系所对应的控制功能并不限于图5a~5h和图7a~7f中所公开的内容。本发明的精神在于根据图像视窗中遮蔽光影的相互关系进行手势辨识而不须逐一计算出接触点的位置坐标以避免由于指示物互相遮蔽而导致无法计算接触点坐标的情形。

如前所述，由于现有的触控***系通过接触点二维坐标的变化进行手势辨识，当指示物互相遮蔽时容易导致无法正确计算接触点坐标的情形。本发明通过辨识图像视窗中遮蔽光影的相互关系以作为手势辨识的依据，因此仅需利用一个图像感测器即可正确进行手势辨识，具有降低***成本的功效。

虽然本发明已被上述实施例所公开，然而上述实施例并非用于限定本发明，任何本发明所属技术领域中的技术人员，在不脱离本发明的精神和范围内，应当可以作各种变动与修改。因此本发明的保护范围应当以所附权利要求书所界定的范围为准。

Claims

1.一种互动***的手势辨识方法，所述互动***包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤：

利用所述图像感测器撷取图像视窗；

撷取所述图像视窗中的遮蔽光影信息；

当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动***的位置坐标；以及

当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

2.根据权利要求1所述的手势辨识方法，其中，所述第一模式还包括下列步骤：

根据连续图像视窗中所述指示物的位置坐标变化，相对控制图像显示器上光标的动作。

3.根据权利要求1所述的手势辨识方法，其中，所述遮蔽光影信息包括平均光影数目、平均光影间距以及最大光影间距，所述第二模式还包括下列步骤：

将所述平均光影数目和平均光影间距其中之一与预设门槛值比较；

当所述平均光影数目或所述平均光影间距小于所述预设门槛值时，进行上、下、左、右、放大或缩小的手势辨识；

当所述平均光影数目或所述平均光影间距大于所述预设门槛值时，进行旋转手势辨识；以及

根据所辨识出的手势更新图像显示器的显示画面；

其中，当所述手势辨识为上、下、左、右时，所述显示画面更新为显示画面卷动；当所述手势辨识为放大、缩小时，所述显示画面更新为物件放大缩小；当所述手势辨识为旋转手势时，所述显示画面更新为物件旋转；当所述手势辨识为向左右移动的遮蔽光影数目不同时，所述显示画面更新为画面切换或显示菜单。

4.根据权利要求3所述的手势辨识方法，其中，当所述平均光影数目或所述平均光影间距小于预设门槛值时，所述手势辨识方法还包括下列步骤：

根据所述图像视窗的中心线将遮蔽光影分为一个实像光影群和一个虚像光影群；

其中，当所述图像视窗中的所述实像光影群和所述虚像光影群的位移同向时，进行左或右手势辨识；当所述图像视窗中的所述实像光影群和所述虚像光影群之间的平均光影间距改变时，进行上或下手势辨识；当所述图像视窗中的所述实像光影群和所述虚像光影群之间的最大光影间距改变时，进行放大或缩小手势辨识。

5.根据权利要求3所述的手势辨识方法，其中，在进行旋转的手势辨识的步骤中，根据连续图像视窗中位移同向的遮蔽光影数目较高的遮蔽光影的方向辨识旋转方向。

6.根据权利要求1所述的手势辨识方法，其中，所述第二模式中进行上、下、左、右、放大或缩小手势辨识。

7.根据权利要求1所述的手势辨识方法，其中，所述第二模式中进行旋转手势辨识。

8.一种互动***，该互动***包括：

一个反射镜面；

一个图像感测器，用于连续撷取至少一个指示物遮蔽所述反射镜面所形成的遮蔽光影的图像视窗；以及

处理单元，当判定所述图像感测器所撷取的所述图像视窗包括两个遮蔽光影时进入第一模式，根据所述指示物的所述遮蔽光影位于所述图像视窗中的一维位置，计算所述指示物的二维位置坐标；当判定所述图像感测器所撷取的所述图像视窗包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。

9.根据权利要求8所述的互动***，其中，所述互动***还包括至少一个主动光源和耦接所述处理单元的图像显示器，所述图像感测器所撷取的图像视窗包括实像遮蔽光影和虚像遮蔽光影，所述处理单元根据连续图像视窗中实像遮蔽光影和虚像遮蔽光影的相互关系进行手势辨识，并根据所辨识出的手势更新所述图像显示器的显示画面。

10.根据权利要求8所述的互动***，其中，所述处理单元仅根据所述图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识而不逐一根据所述图像视窗计算各所述指示物的二维位置坐标。