CN103942524B - 手势辨识模块及手势辨识方法 - Google Patents
手势辨识模块及手势辨识方法 Download PDFInfo
- Publication number
- CN103942524B CN103942524B CN201310041568.3A CN201310041568A CN103942524B CN 103942524 B CN103942524 B CN 103942524B CN 201310041568 A CN201310041568 A CN 201310041568A CN 103942524 B CN103942524 B CN 103942524B
- Authority
- CN
- China
- Prior art keywords
- coordinate
- palm
- gesture
- depth
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000005484 gravity Effects 0.000 claims description 6
- 210000004247 hand Anatomy 0.000 claims description 5
- 230000007306 turnover Effects 0.000 claims 10
- 238000010586 diagram Methods 0.000 description 12
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 238000009434 installation Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 241000411545 Punargentus Species 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种手势辨识模块,用来辨识一使用者的一手势,包含一检测单元,用来撷取一手掌的至少一手掌影像,以依序取得该手掌的一第一座标以及一第二座标;一运算单元,耦接于该检测单元,用来根据该第一座标及该第二座标,分别定义一第一范围及一第二范围,以及根据该第一范围以及该第二范围,计算一第一面积及一第二面积;以及一判断单元,耦接于该检测单元以及该运算单元,用来根据该第一座标、该第二座标、该第一面积以及该第二面积,辨识该手势。
Description
技术领域
本发明关于一种手势辨识模块及手势辨识方法,且特别关于一种可准确辨识手掌进行抓取手势的手势辨识模块及手势辨识方法。
背景技术
通常而言,电子装置可使用立体影像或是平面影像来判断使用者的手势。相较于平面影像,立体影像还包含深度信息。当电子装置利用立体影像进行判断使用者手势时,电子装置可通过深度信息排除非必要的影像信息,从而增加手势判断的准确度。然而,由于立体影像的影像细节较平面影像模糊,因此电子装置较难以使用立体影像作为判断手势的依据。举例来说,当电子装置撷取使用者的拳头影像时,平面影像可显示出拳头中指缝的影像细节,而立体影像仅能显示拳头的形状。因此,若电子装置辨识立体影像中影像细节的能力可被提升,电子装置即可利用立体影像具有深度信息的优势,进一步提高辨识使用者手势的准确度。
发明内容
因此,本发明的主要目的在于提供一种能够通过计算立体影像中使用者手掌面积的变化,辨识使用者手势的手势辨识模块及手势辨识方法。
本发明揭露一种手势辨识模块,用来辨识一使用者的一手势。该手势辨识模块包含有一检测单元,用来撷取该使用者的一手掌的至少一手掌影像,以依序取得一第一座标以及一第二座标;一运算单元,耦接于该检测单元,用来根据该第一座标及该第二座标,分别定义一第一范围及一第二范围;以及根据该第一范围以及该第二范围,计算一第一面积及一第二面积;以及一判断单元,耦接于该检测单元以及该运算单元,用来根据该第一座标、该第二座标、该第一面积以及该第二面积,辨识该手势。
本发明另揭露一种手势辨识方法,用于一手势辨识模块。该手势辨识方法包含有:撷取一使用者的一手掌的至少一手掌影像,以依序取得一第一座标以及一第二座标;根据该第一座标及该第二座标,分别定义一第一范围及一第二范围;根据该第一范围以及该第二范围,计算一第一面积及一第二面积;以及根据该第一座标、该第二座标、该第一面积以及该第二面积,辨识该使用者的一手势。
附图说明
图1为本发明实施例一手势辨识模块的示意图。
图2为本发明实施例一使用者手势的示意图。
图3为本发明实施例一手掌影像的示意图。
图4A及图4B为本发明实施例使用者手势的示意图。
图5为本发明实施例另一手掌影像的示意图。
图6为本发明实施例另一手掌影像的示意图。
图7为本发明实施例一手势辨识方法的流程图。
其中,附图标记说明如下:
10:手势辨识模块
100:检测单元
102:运算单元
104:判断单元
106:影像撷取装置
70:手势辨识方法
700~710:步骤
BP:脸部座标
HA_1、HA_2、HA_3:面积
HC_1、HC_2、HC_3:座标
HI_1、HI_2、HI_3、HI_CRO:手掌影像
HL_Y1~HL_Yn、HL_Ya~HL_Ye:水平线
HZ_1、HZ_2:范围
L_Y1~L_Yn、L_Ya~L_Ye:水平线长度
TH_G:抓取阈值
TH_L1、TH_L2:长度阈值
TH_M:移动阈值
TH_T:拖曳阈值
TR1、TR2:拖曳比值
X_HC_1、X_HC_2:X轴座标
Y1~Yn、Ya~Ye、Y_HC_1、Y_HC_2:Y轴座标
Z_BP、Z_HC_1、Z_HC_2:Z轴座标
Z_D1、Z_D2、Z_D3:深度
Z_HIS:手掌影像起始深度座标
Z_HIE:手掌影像终点深度
Z_HS1:手掌起始座标
Z_HE1:手掌终点座标
具体实施方式
请参考图1,图1为本发明实施例的一手势辨识模块10的示意图。手势辨识模块10利用立体影像,来判断使用者的手势。如图1所示,手势辨识模块10包含有一检测单元100、一运算单元102以及一判断单元104。检测单元100包含有至少一影像撷取装置106,用来撷取使用者手掌的至少一手掌影像,以依序取得座标HC_1、HC_2。座标HC_1、HC_2可为手掌的绝对座标或手掌影像的相对座标。运算单元102耦接于检测单元100,用来根据座标HC_1、HC_2,分别定义范围HZ_1、HZ_2,并根据范围HZ_1、HZ_2,分别计算面积HA_1、HA_2。判断单元104耦接于检测单元100及运算单元102,用来根据座标HC_1、HC_2、面积HA_1、HA_2,判断使用者的手势。简言的,于检测单元100检测出使用者手掌或手掌影像的座标HC_1、HC_2后,运算单元102会计算对应于座标HC_1、HC_2的面积HA_1、HA_2。然后,判断单元104即可根据座标HC_1、HC_2间以及面积HA_1、HA_2间的变化程度,判断使用者的手势。
需注意的是,图1中的手势辨识模块10用来举例说明本发明。实际上,也可将检测单元100、运算单元102及判断单元104整合为单一手势辨识单元(如手势辨识晶片),不限于此。此外,手势辨识模块10可耦接于各种装置,如滑鼠、键盘、机上盒(Set-top box)、体感游戏机、手持行动装置或显示器(例如液晶电视或智能型电视等平面电视)及/或液晶电视等,以根据手势辨识模块10所得的辨识结果,触发预先设定的指令,进而对装置进行控制。
详细来说,请参考图2,图2为本发明实施例使用者手势的示意图。在图2中,使用者在手势辨识模块10前方(不限于正前方)举起手臂并将手掌打开。首先,检测单元100另撷取使用者脸部的平面影像以及立体影像,以根据使用者脸部的平面影像,取得一脸部座标BP。其中,脸部座标BP可为使用者脸部的中心点或是重心,但不限于此。接下来,检测单元100通过比对使用者脸部的平面影像与立体影像,取得脸部座标BP的Z轴(深度)座标Z_BP。由于使用者手掌位置通常位于使用者脸部前方一特定范围内(如脸部前方5cm~50cm),因此检测单元100将Z轴座标Z_BP分别减去深度ZD1、ZD2,以分别取得一手掌影像起始深度座标Z_HIS及一手掌影像终点深度Z_HIE。然后,检测单元100即可在对应于手掌影像起始深度座标Z_HIS与手掌影像终点深度Z_HIE中间的多个Z轴座标的多个像素区域中,寻找适当的像素区域,作为至少一手掌影像中一手掌影像HI_1。举例来说,检测单元100可先排除此多个像素区域中面积小于一面积阈值的像素区域,以避免杂讯的干扰。随后,检测单元100可选取多个像素区域中具有最大像素面积的像素区域(即图2中位于Z轴座标Z_HI_1的像素区域)作为手掌影像HI_1。
根据上述流程,检测单元100于依序取得手掌影像HI_1、HI_2后,检测单元100可根据手掌影像HI_1、HI_2在分别取得座标HC_1、HC_2。根据不同应用,检测单元100根据手掌影像HI_1、HI_2取得座标HC_1、HC_2的方法可据以改变。举例来说,请参考图3,图3为本发明实施例一手掌影像的示意图如图3所示,手掌影像HI_1位于Y轴(垂直)座标Y1Yn之间。检测单元100于手掌影像HI_1中取得分别对应于Y轴座标Y1~Yn的水平线HL_Y1~HL_Yn,并计算水平线HL_Y1~HL_Yn的水平线长度L_Y1~L_Yn。其中,若是同一Y轴座标对应到多个水平线,检测单元100选择多个水平线中具有最长长度的水平线作为对应于此Y轴座标的水平线。然后,检测单元100可通过由上而下地比较Y轴座标Y1~Yn中连续2个Y轴座标的水平线长度,得知手掌影像HI_1中手指与手掌交界之处。当水平线长度L_Ya(对应于Y轴座标Ya)小于水平线长度L_Yb(对应于Y轴座标Ya的下一Y轴座标Yb)一长度阈值TH_L1时(即L_Ya+TH_L1<L_Yb),代表手掌影像HI_1于Y轴座标Ya到Y轴座标Yb间增加的幅度大于长度阈值TH_L1。在此状况下,检测单元100判断Y轴座标Yb为手掌影像HI_1中手掌与手指的交界。因此,检测单元100以Y轴座标Yb作为座标HC的Y轴座标。检测单元100另取水平线HL_Yb中点的X轴(水平)座标,作为座标HC的X轴座标。而座标HC的Z轴座标则为手掌影像HI_1的Z轴座标。根据上述运作流程,检测单元100可根据手掌影像HI_1、HI_2,依序取得座标HC_1、HC_2。座标HC_1、HC_2的X轴座标、Y轴座标、Z轴座标分别为(X_HC_1,Y_HC_1、Z_HC_1)及(X_HC_2,Y_HC_2、Z_HC_2)。
接下来,由于使用者手掌可能会稍微弯曲,运算单元102必须根据座标HC_1、HC_2规划一稍大于使用者手掌的范围HZ_1、HZ_2,以累加范围HZ_1、HZ_2内所有像素区域的面积,从而取得正确的手掌面积。请参考图4A及图4B,图4A及图4B为本发明实施例使用者手势的示意图。其中,在图4A中使用者举起手臂并张开手掌,而在图4B中使用者举起手臂并握紧手掌。如图4A所示,运算单元102规划座标HC_1周围的空间为范围HZ_1。范围HZ_1的X轴范围可为X_HC_1-α~X_HC_1+β,范围HZ_1的Y轴范围可为Y_HC_1-γ~Y_HC_1+δ,且范围HZ_1的Z轴范围可为Z_HC_1-ε~Z_HC_1+ζ,其中α、β、γ、δ、ε、ζ皆为***预设数值。值得注意的是,手势辨识模块10撷取到使用者手掌的大小会随着座标HC_1的Z轴座标而改变。当座标HC_1的Z轴座标越小,手势辨识模块10撷取到的使用者手掌的面积越大。因此,范围HZ_1的大小也需根据座标HC_1的Z轴座标Z_HC_1而改变。举例来说,当Z轴座标Z_HC_1减少一长度L(即Z轴座标Z_HC_1变小)时,范围HZ_1的X轴范围可修改为X_HC_1-(α+m)~X_HC_1+(β+m),范围HZ_1的Y轴范围也可修改为Y_HC_1-(γ+m)~Y_HC_1+(δ+m),其中数值m与长度L成正比。换言之,范围HZ_1的X轴范围与Y轴范围(即范围HZ_1位于X-Y平面的面积)及范围HZ_1的大小)与Z轴座标Z_HC_1成反比。另一方面,由于立体影像中Z轴的影像不受座标HC_1的Z轴座标影响,因此即使Z轴座标Z_HC_1减少一长度L,范围HZ_1的Z轴范围维持为Z_HC_1-ε~Z_HC_1+ζ。
根据范围HZ_1,运算单元102可取得范围HZ_1的多个像素面积中最小的Z轴座标Z_HS1,作为一手掌起始座标Z_HS1。运算单元102将手掌起始座标Z_HS1加上一深度Z_D3后,可取得一手掌终点座标Z_HE1,其中深度Z_D3为一预设值。手掌起始座标Z_HS1与手掌终点座标Z_HE1间每一Z轴座标将对应于一像素区域。举例来说,对应于手掌起始座标Z_HS1的像素区域可能为位于手掌中央的一矩形,而对应于手掌终点座标Z_HE1的像素区域可能为位于手掌上下两边的两个矩形。通过累加对应于手掌起始座标Z_HS1与手掌终点座标Z_HE1间每一Z轴座标的像素区域的面积,运算单元102可取得面积HA_1。相似地,通过上述运作流程,运算单元102可根据第4B图所示座标HC_2,取得面积HA_2。
于取得座标HC_1、HC_2以及面积HA_1、HA_2后,判断单元104即可根据座标HC_1、HC_2以及面积HA_1、HA_2间的变化关系,判断使用者的手势。为避免使用者手掌的微小晃动造成判断单元104误判,因此当座标HC_1与座标HC_2间的距离小于一移动阈值TH_M(即|HC1-HC2|<TH_M)时,判断单元104可比较面积HA_1、HA_2间的大小关系,以判断使用者是否作出一抓取手势。由于在第4A图中使用者张开手掌,而在第4B图中使用者紧握手掌,因此面积HA_1将会大于面积HA_2(例如面积HA_1×60%=面积HA_2)。换言之,当面积HA_1与面积HA_2的差距大于一抓取阈值TH_G时(即HA1-HA2>TH_G),判断单元104可判断使用者的手掌由张开变为紧握,即使用者的手势为抓取手势。简言之,当座标HC_1与座标HC_2间的距离小于移动阈值TH_M且掌面积HA_1与面积HA_2的差距大于抓取阈值TH_G时,判断单元104可得知使用者手掌于目前手掌的位置由张开手掌变为紧握手掌,进而判断使用者在目前手掌的位置做出抓取手势。据此,手势辨识模块10可利用立体影像中手掌影像的面积变化关系,准确判断使用者的手势是否为抓取手势。
值得注意的是,本发明的主要精神在于根据依序取得的手掌座标及手掌面积,判断使用者是否做出抓取手势,以进一步控制与手势辨识模块耦接的电子装置。根据不同应用,本领域具通常知识应可据以实施适当的更动及改变。举例来说,由于使用者的手掌可能歪斜于水平面,因此在检测单元100撷取手掌影像时,可根据手掌影像的特征向量,旋转手掌影像,以转正手掌影像。举例来说,请参考图5,图5为本发明实施例一手掌影像HI_CRO的示意图。如图5所示,检测单元100可计算手掌影像HI_CRO中相互正交的特征向量CV1、CV2。特征向量CV1的长度大于特征向量CV2的长度。检测单元100可根据特征向量CV1旋转手掌影像HI_CRO,直至特征向量CV1垂直于水平面。如此一来,检测单元100可将手掌影像HI_CRO转正。
此外,当手势辨识模块10根据座标HC_1、HC_2以及面积HA_1、HA_2判断使用者做出抓取手势时,运算单元102可根据面积HA_2与座标HC_2的Z轴座标Z_HC_2之间的比值,计算一拖曳比值TR1。接下来,检测单元100另取得一座标HC_3。运算单元102会根据座标HC_3,取得面积HA_3。根据面积HA_2与座标HC_2的Z轴座标Z_HC_2之间的比值,运算单元可取得一拖曳比值TR2。于取得拖曳比值TR1、TR2后,判断单元104可根据拖曳比值TR1、TR2间的大小关系,判断使用者是否保持抓取手势。当拖曳比值TR1、TR2间的差距小于一拖曳阈值TH_T时,代表使用者保持抓取手势。在此状况下,判断单元104可判断使用者保持抓取手势。换言之,当拖曳比值TR1、TR2间的差距小于一拖曳阈值TH_T时,使用者执行一拖曳动作。使用者的抓取手势与拖曳动作可对应于耦接于手势辨识模块10的电子装置中特定的功能。举例来说,手势辨识模块10可耦接于一具有显示装置的电子***,此电子***根据手势辨识模块10产生的座标,控制显示于显示装置上的一游标。当手势辨识模块10根据座标HC_1、HC_2以及面积HA_1、HA_2判断使用者做出抓取手势时,手势辨识模块10控制电子***于游标所指的位置做出选取的动作。接下来,当手势辨识模块10根据拖曳比值TR1、TR2间的大小关系判断使用者执行一拖曳动作时,手势辨识模块10控制电子***维持选取动作,并使电子***根据座标HC_2与座标HC_3间的相对应关系,移动游标。
另一方面,根据不同应用,检测单元100产生手掌的座标的方法可适当调整。请参考图6,图6为本发明实施例手掌影像HI_1的示意图。图6为第1图所示的检测单元100检测手掌的座标的另一范例示意图。如图6所示,手掌影像HI_1位于Y轴(垂直)座标Y1~Y轴座标Yn之间。检测单元100于手掌影像HI_1中取得分别对应于Y轴座标Y1~Yn的水平线HL_Y1~HL_Yn,并计算水平线HL_Y1~HL_Yn的水平线长度L_Y1~L_Yn。其中,若是同一Y轴座标对应到多个水平线,检测单元100选择此多个水平线中具有最长长度的水平线作为对应于此Y轴座标的水平线。然后,检测单元100可通过由上而下地比较Y轴座标Y1~Yn中连续3个Y轴座标的水平线长度,得知手掌影像HI_1中手腕的位置。当水平线长度L_Yc(对应于Y轴座标Yc)大于水平线长度L_Yd(对应于Y轴座标Ya的下一Y轴座标Yb)一长度阈值TH_L2且水平线长度L_Yd小于或等于水平线长度L_Ye(对应于Y轴座标Ye)时(即L_Yc>L_Yd+TH_L2且L_Yd≤L_Ye),代表手掌影像HI_1的宽度在Y轴座标Yc到Y轴座标Yd间减少的幅度大于长度阈值TH_L2且手掌影像HI_1的宽度在Y轴座标Yd到Y轴座标Ye间稍微变大或保持不变。在此状况下,检测单元100判断Y轴座标Yb为手掌影像HI_1中手腕的位置。检测单元100以Y轴座标Yd作为一转折垂直座标TY。接下来,检测单元100定义手掌影像HI_1中对应于最大的Y轴座标Y1的像素为起始像素SP。检测单元100可于起始像素SP至水平线HL_Yd间规划一虚拟垂线,并以此虚拟垂线的中点M作为座标HC_1。此外,检测单元100也可以计算手掌影像HI_1中位于Y轴座标Y1与Y轴座标Yd间的像素面积的重心H(如图6中的斜线区域),作为座标HC_1。
关于手势辨识模块10判断使用者手势的方式,可进一步归纳出一手势辨识方法70。请参考图7,需注意的是,若是有实质上相同的结果,则手势辨识方法70并不以图7所示流程图的顺序为限。手势辨识方法70可应用于一手势辨识模块,且包含有:
步骤700:开始。
步骤702:撷取至少一手掌影像,以依序取得座标HC_1、HC_2。
步骤704:根据座标HC_1、HC_2,取得范围HZ_1、HZ_2。
步骤706:根据范围HZ_1、HZ_2,计算面积HA_1、HA_2。
步骤708:判断座标HC_1、HC_2间的距离是否小于移动阈值TH_M。当座标HC_1、HC_2间的距离小于移动阈值TH_M时,执行步骤710;反的,执行步骤714。
步骤710:判断面积HA_1与面积HA_2间的差距是否大于抓取阈值TH_G。当面积HA_1与面积HA_2间的差距大于抓取阈值TH_G时,执行步骤712;反之,执行步骤714。
步骤712:辨识使用者的手势为抓取手势。
步骤714:结束。
根据手势辨识方法70,撷取的立体影像中面积的变化可作为辨识使用者手势的依据,从而判断使用者是否做出抓取手势。关于手势辨识方法70的详细操作过程可参考上述,为求简洁,在此不赘述。
综上所述,上述实施例所揭露的手势辨识模块及手势辨识方法可根据所撷取的立体影像中面积的变化,判断使用者是否做出抓取手势。换言之,上述实施例所揭露的手势辨识模块及手势辨识方法可利用立体影像具有深度信息的优势,进一步提高辨识使用者手势的准确度。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (20)
1.一种手势辨识模块,用来辨识一使用者的一手势,该手势辨识模块包含有:
一检测单元,用来撷取该使用者的一手掌的至少一手掌影像,以取得一第一座标以及一第二座标;
一运算单元,耦接于该检测单元,用来根据该第一座标及该第二座标,分别定义一第一范围及一第二范围,其中该运算单元取得位于该第一范围的多个像素区域中一最小深度座标,作为一手掌起始深度座标后,该运算单元将该起始深度增加一深度范围,以取得一手掌终点深度;且该运算单元累加该第一范围中位于该手掌起始深度与该手掌终点深度间的多个像素区域,以产生一第一面积;并且用同样方式,根据该第二范围,计算一第二面积;以及
一判断单元,耦接于该检测单元以及该运算单元,用来根据该第一座标、该第二座标、该第一面积以及该第二面积,辨识该手势,其中,当该第一座标与该第二座标间的距离小于一移动阈值且该第一面积与该第二面积的差大于一抓取阈值时,该判断单元辨识该手势为一抓取手势。
2.如权利要求1所述的手势辨识模块,其中该检测单元还用以撷取该使用者的一脸部的至少一立体影像以及至少一平面影像,以检测一脸部座标;该检测单元将该脸部座标的一脸部深度座标分别减去一第一深度以及一第二深度,分别作为一手掌影像起始深度座标以及一手掌影像终点深度座标;以及该检测单元检测对应于该手掌影像起始深度座标与该手掌影像终点深度座标中多个深度座标的多个像素区域,以产生该至少一手掌影像。
3.如权利要求2所述的手势辨识模块,其中该检测单元选取该多个像素区域中面积大于一面积阈值且具有最大面积的像素区域作为该至少一手掌影像。
4.如权利要求1所述的手势辨识模块,其中该检测单元根据该至少一手掌影像中一第一手掌影像,取得该第一手掌影像的一第一特征向量以及一第二特征向量,其中该第一特征向量与该第二特征向量正交且该第一特征向量的长度大于该第二特征向量的长度;并且该检测单元根据该第一特征向量,旋转该第一手掌影像,以使该第一特征向量垂直于该第一手掌影像一水平面。
5.如权利要求1所述的手势辨识模块,其中该检测单元根据该至少一手掌影像中一第一手掌影像,计算该第一手掌影像中分别对应于多个垂直座标的多个水平线的长度;且当该多个垂直座标中一第一垂直座标的水平线长度与一第二垂直座标的水平线长度间的差超过一长度阈值时,该检测单元取得该第一垂直座标作为该第一座标的一手掌垂直座标、取得该第一垂直座标的水平线的中点的一水平座标作为该第一座标的一手掌水平座标以及取得该第一手掌影像的一深度座标作为该第一座标的一手掌深度座标;其中该第一垂直座标与该第二垂直座标是连续的垂直座标。
6.如权利要求1所述的手势辨识模块,其中该检测单元根据该至少一手掌影像中一第一手掌影像,计算该第一手掌影像中分别对应于多个垂直座标的多个水平线的长度;当该多个垂直座标中一第一垂直座标的水平线长度与一第二垂直座标的水平线长度间之差超过一第一长度阈值且该第二垂直座标的水平线长度与一第三垂直座标的水平线长度之差大于或等于一第二长度阈值时,该检测单元定义该第二垂直座标为一转折垂直座标,且定义该第一手掌影像中具有最高的垂直座标的像素为一起始像素;且该检测单元根据该起始像素以及该转折垂直座标,产生该第一座标;其中该第一垂直座标、该第二垂直座标以及该第三垂直座标是连续的垂直座标。
7.如权利要求6所述的手势辨识模块,其中该检测单元检测该起始像素与该转折垂直座标的水平线间一虚拟垂线的一中点,以取得该中点的一垂直座标及一水平座标分别作为该第一座标的一手掌垂直座标及一手掌水平座标,并取得该第一手掌影像的一深度座标作为该第一座标的一手掌深度座标。
8.如权利要求6所述的手势辨识模块,其中该检测单元计算该第一手掌影像中位于该起始像素的垂直座标与该转折垂直座标之间的一像素区域的一重心,以取得该重心的一垂直座标及一水平座标分别作为该第一座标的一手掌垂直座标及一手掌水平座标,并取得该第一手掌影像的深度座标作为该第一座标的一手掌深度座标。
9.如权利要求1所述的手势辨识模块,其中该第一范围的大小与相对应的该第一座标的一手掌深度座标成反比。
10.如权利要求1所述的手势辨识模块,其中当该判断单元判断该手势为该抓取手势时,该运算单元另根据该第二面积与该第二座标的手掌深度座标,取得一第一拖曳比值;该检测单元取得一第三座标;该运算单元根据该第三座标,取得一第三面积;该运算单元根据该第三面积与该第三座标,取得一第二拖曳比值;以及当该第一拖曳比值与该第二拖曳比值间的差距小于一拖曳阈值时,该判断单元辨识该使用者执行一拖曳动作。
11.一种手势辨识方法,用于一手势辨识模块,该手势辨识方法包含有:
撷取一使用者的一手掌的至少一手掌影像,以依序取得一第一座标以及一第二座标;
根据该第一座标及该第二座标,分别定义一第一范围及一第二范围;
根据该第一范围以及该第二范围,计算一第一面积及一第二面积;
其中,根据该第一座标,计算该第一面积的步骤包含有:取得位于该第一范围的多个像素区域具有的一最小深度座标,作为一手掌起始深度座标;将该起始深度增加一深度范围,以取得一手掌终点深度;以及累加该第一范围中位于该手掌起始深度与该手掌终点深度间的多个像素区域,以产生该第一面积;以及
根据该第一座标、该第二座标、该第一面积以及该第二面积,辨识该使用者的一手势,其中,当该第一座标与该第二座标间的距离小于一移动阈值且该第一面积与该第二面积之差大于一抓取阈值时,辨识该手势为一抓取手势。
12.如权利要求11所述的手势辨识方法,其中取得对应于该使用者的该手掌的该至少一手掌影像的步骤包含有:
撷取该使用者的一脸部的至少一立体影像以及至少一平面影像,以检测一脸部座标;
将该脸部座标的一脸部深度座标分别减去一第一深度以及一第二深度,分别作为一手掌影像起始深度座标以及一手掌影像终点深度座标;以及
检测对应于该手掌影像起始深度座标与该手掌影像终点深度座标中多个深度座标的多个像素区域,以产生该至少一手掌影像。
13.如权利要求12所述的手势辨识方法,其中检测对应于该手掌起始深度座标与该手掌终点深度座标中多个深度座标的多个像素区域,以产生该至少一手掌影像的步骤包含有:
选取该多个像素区域中面积大于一面积阈值且具有最大面积的像素区域作为该至少一手掌影像。
14.如权利要求11所述的手势辨识方法,取得对应于该使用者的该手掌的该至少一手掌影像的步骤还包含有:
根据该至少一手掌影像中一第一手掌影像,取得该第一手掌影像的一第一特征向量以及一第二特征向量,其中该第一特征向量与该第二特征向量正交且该第一特征向量的长度大于该第二特征向量的长度;以及
根据该第一特征向量,旋转该第一手掌影像,以使该第一特征向量垂直于该第一手掌影像一水平面。
15.如权利要求11所述的手势辨识方法,其中根据该至少一手掌影像,取得该第一座标的步骤包含:
根据该至少一手掌影像中一第一手掌影像,计算该第一手掌影像中分别对应于多个垂直座标的多个水平线的长度;以及
当该多个垂直座标中一第一垂直座标的水平线长度与一第二垂直座标的水平线长度间的差超过一长度阈值时,取得该第一垂直座标作为该第一座标的一手掌垂直座标、取得该第一垂直座标的水平线的中点的一水平座标作为该第一座标的一手掌水平座标,以及取得该第一手掌影像的一深度座标作为该第一座标的一手掌深度座标;
其中该第一垂直座标与该第二垂直座标是连续的垂直座标。
16.如权利要求11所述的手势辨识方法,其中根据该至少一手掌影像,取得该第一座标的步骤包含:
根据该至少一手掌影像中一第一手掌影像,计算该第一手掌影像中分别对应于多个垂直座标的多个水平线的长度;
当该多个垂直座标中一第一垂直座标的水平线长度与一第二垂直座标的水平线长度间的差超过一第一长度阈值且该第二垂直座标的水平线长度与一第三垂直座标的水平线长度的差大于或等于一第二长度阈值时,定义该第二垂直座标为一转折垂直座标,且定义该第一手掌影像中具有最高的垂直座标的像素为一起始像素;以及
根据该起始像素以及该转折垂直座标,产生该第一座标;
其中该第一垂直座标、该第二垂直座标以及该第三垂直座标是连续的垂直座标。
17.如权利要求16所述的手势辨识方法,其中根据该起始像素以及该转折垂直座标,产生该第一座标的步骤包含有:
检测该起始像素与该转折垂直座标的水平线间一虚拟垂线的一中点;
取得该中点的一垂直座标及一水平座标分别作为该第一座标的一手掌垂直座标及一手掌水平座标;以及
取得该手掌影像的深度座标作为该第一座标的一手掌深度座标。
18.如权利要求16所述的手势辨识方法,其中根据该起始像素以及该转折垂直座标,产生该第一座标的步骤包含有:
计算该第一手掌影像中位于该起始像素的垂直座标与该转折垂直座标之间的一像素区域的一重心;
取得该重心的一垂直座标及一水平座标,分别作为该第一座标的一手掌垂直座标及一手掌水平座标;以及
取得该第一手掌影像的深度座标作为该第一座标的一手掌深度座标。
19.如权利要求11所述的手势辨识方法,其中该第一范围的大小与相对应的该第一座标的一手掌深度座标成正比。
20.如权利要求11所述的手势辨识方法,其中当该第一座标与该第二座标间的距离小于一距离阈值且该第一面积与该第二面积之差大于一抓取阈值时,判断该手势为一抓取手势的步骤还包含有:
根据该第二面积与该第二座标的手掌深度座标,取得一第一拖曳比值;
取得一第三座标;
根据该第三座标,取得一第三面积;
根据该第三面积与该第三座标,取得一第二拖曳比值;以及
当该第一拖曳比值与该第二拖曳比值间的差距小于一拖曳阈值时,辨识该使用者执行一拖曳动作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102102472 | 2013-01-23 | ||
TW102102472A TWI496094B (zh) | 2013-01-23 | 2013-01-23 | 手勢辨識模組及手勢辨識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103942524A CN103942524A (zh) | 2014-07-23 |
CN103942524B true CN103942524B (zh) | 2017-05-17 |
Family
ID=51190190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310041568.3A Active CN103942524B (zh) | 2013-01-23 | 2013-02-01 | 手势辨识模块及手势辨识方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9285885B2 (zh) |
CN (1) | CN103942524B (zh) |
TW (1) | TWI496094B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9619036B2 (en) * | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
US9734391B2 (en) * | 2014-07-11 | 2017-08-15 | Ryan Fink | Systems and methods of gesture recognition |
TW201715472A (zh) | 2015-10-26 | 2017-05-01 | 原相科技股份有限公司 | 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統 |
JP6798285B2 (ja) * | 2016-11-30 | 2020-12-09 | 富士通株式会社 | 生体認証装置、生体認証方法及びプログラム |
TWI629646B (zh) * | 2017-11-29 | 2018-07-11 | 伍碩科技股份有限公司 | Gesture recognition device |
KR20210120229A (ko) * | 2020-03-26 | 2021-10-07 | 현대자동차주식회사 | 영상기반 지그 검사 시스템 및 그 방법 |
CN111626136B (zh) * | 2020-04-29 | 2023-08-18 | 惠州华阳通用电子有限公司 | 一种手势识别方法、***及设备 |
CN112509668A (zh) * | 2020-12-16 | 2021-03-16 | 成都翡铭科技有限公司 | 一种识别手部是否在进行抓握的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222098A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
CN101131609A (zh) * | 2006-08-25 | 2008-02-27 | 株式会社东芝 | 接口装置和接口方法 |
TW201120681A (en) * | 2009-12-10 | 2011-06-16 | Tatung Co | Method and system for operating electric apparatus |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的***及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020126090A1 (en) * | 2001-01-18 | 2002-09-12 | International Business Machines Corporation | Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera |
US20110102570A1 (en) * | 2008-04-14 | 2011-05-05 | Saar Wilf | Vision based pointing device emulation |
US8379987B2 (en) * | 2008-12-30 | 2013-02-19 | Nokia Corporation | Method, apparatus and computer program product for providing hand segmentation for gesture analysis |
US9213890B2 (en) * | 2010-09-17 | 2015-12-15 | Sony Corporation | Gesture recognition system for TV control |
TW201322058A (zh) * | 2011-11-16 | 2013-06-01 | Chunghwa Picture Tubes Ltd | 手勢辨識系統及方法 |
US9310895B2 (en) * | 2012-10-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Touchless input |
-
2013
- 2013-01-23 TW TW102102472A patent/TWI496094B/zh active
- 2013-02-01 CN CN201310041568.3A patent/CN103942524B/zh active Active
- 2013-05-13 US US13/892,320 patent/US9285885B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000222098A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
CN101131609A (zh) * | 2006-08-25 | 2008-02-27 | 株式会社东芝 | 接口装置和接口方法 |
TW201120681A (en) * | 2009-12-10 | 2011-06-16 | Tatung Co | Method and system for operating electric apparatus |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的***及方法 |
Non-Patent Citations (1)
Title |
---|
基于深度图像技术的手势识别方法;曹雏清等;《计算机工程》;20120430;第16-18页 * |
Also Published As
Publication number | Publication date |
---|---|
US20140204015A1 (en) | 2014-07-24 |
CN103942524A (zh) | 2014-07-23 |
US9285885B2 (en) | 2016-03-15 |
TWI496094B (zh) | 2015-08-11 |
TW201430720A (zh) | 2014-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103942524B (zh) | 手势辨识模块及手势辨识方法 | |
CN105849673A (zh) | 基于自然三维手势的人机导览方法 | |
US8451223B2 (en) | Pointing apparatus, pointer control apparatus, pointing method, and pointer control method | |
CN104503275B (zh) | 基于手势的非接触式控制方法及其设备 | |
CN103907138A (zh) | 信息处理设备、显示控制方法和程序 | |
JP5895569B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
AU9418701A (en) | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device | |
JP2015176253A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
TWI448987B (zh) | 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備 | |
CN107452028B (zh) | 一种确定目标图像位置信息的方法及装置 | |
CN108549878A (zh) | 基于深度信息的手部检测方法及*** | |
CN105354812B (zh) | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 | |
CN106990836A (zh) | 一种头戴式人体学输入设备空间位置及姿态测量方法 | |
JP7106296B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9492748B2 (en) | Video game apparatus, video game controlling program, and video game controlling method | |
KR20180120549A (ko) | 립 글로스 가이드 장치 및 그 방법 | |
TWI437467B (zh) | 顯示控制裝置及顯示控制方法 | |
JP2017191426A (ja) | 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体 | |
CN104679294B (zh) | 触控操作装置和触控操作防抖方法 | |
CN115904188A (zh) | 户型图的编辑方法、装置、电子设备及存储介质 | |
CN115617178A (zh) | 一种手指与车机无接触即可完成按键和功能触发的方法 | |
CN111679737B (zh) | 手部分割方法和电子设备 | |
CN111158489B (zh) | 一种基于摄像头的手势交互方法及手势交互*** | |
CN112381747A (zh) | 基于轮廓特征点的太赫兹与可见光图像配准方法及装置 | |
CN109903300A (zh) | 一种适用于先天性盲人学习识图的智能触点显示方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |