CN107403178A - 手势采集*** - Google Patents
手势采集*** Download PDFInfo
- Publication number
- CN107403178A CN107403178A CN201710673138.1A CN201710673138A CN107403178A CN 107403178 A CN107403178 A CN 107403178A CN 201710673138 A CN201710673138 A CN 201710673138A CN 107403178 A CN107403178 A CN 107403178A
- Authority
- CN
- China
- Prior art keywords
- wrist
- arm
- exhibits
- gesture
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 210000000707 wrist Anatomy 0.000 claims description 254
- 238000005452 bending Methods 0.000 claims description 30
- 230000007480 spreading Effects 0.000 claims description 20
- 238000009434 installation Methods 0.000 claims description 4
- 210000003857 wrist joint Anatomy 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 6
- 241001133760 Acoelorraphe Species 0.000 description 24
- 210000000245 forearm Anatomy 0.000 description 18
- 230000003993 interaction Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 241000135309 Processus Species 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 241000282575 Gorilla Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种手势采集***,包括手指姿态采集装置,所述手指姿态采集装置包括位于手掌的下方且与手掌同步摆动的主采集模块,所述主采集模块用于采集手指姿态。本发明的手势采集***,通过将手指姿态采集装置的主采集模块设置于手掌下方并与手掌同步摆动,这样主采集模块的视角和位置相对手掌固定,这样同一个手势动作动作只需从一个固定角度拍摄的图像来识别,减少识别时间,提高识别准确率,也省略了背景删除计算消耗。
Description
技术领域
本发明涉及人机交互技术领域,具体涉及一种手势采集***。
背景技术
随着科技的发展,各种智能设备的应用越来越广泛。人与智能设备之间的人机交互越来越多,人机交互方式有接触式或非接触式两种,接触式的人机交互较为成熟和完善,而非接触式的人机交互操作方式则处于研究起步阶段。近年来,非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题,研究好非接触式的人机交互方式具有很高的使用价值。
手势是一种直观的、自然的交互方式,表达快捷,表达意义丰富,是人类互相交流信息的重要工具。手势识别时按照某种规则识别出手势表达的内容,具有很强的一致性和扩展性。在应用方面,手势识别***可以在应用软件中直接操作软件或虚拟对象。然而,如何更有效地对手势进行识别,到达更好的人机交互状态,是研究的热点和难点问题。
发明内容
本发明的目的在于提供一种手势采集***,能够准确获取手指姿态信息且识别时间少。
为达到上述目的,本发明采用的技术方案是:一种手势采集***,包括手指姿态采集装置,所述手指姿态采集装置包括位于手掌的下方且与手掌同步摆动的主采集模块,所述主采集模块用于采集手指姿态。
进一步地,还包括用于采集腕部的收展姿态与腕部的屈伸姿态的腕部姿态采集装置,所述腕部姿态采集装置包括随着腕部收展与屈伸的腕部姿态采集臂及用于采集所述腕部姿态采集臂的屈伸信息及收展信息的传感模块。
进一步地,还包括腕带,所述腕带套在手腕上,所述腕部姿态采集臂与所述腕带连接,所述腕部姿态采集臂通过所述腕带随着腕部收展与屈伸。
进一步地,所述腕部姿态采集臂包括随着腕部收展的收展臂及随着腕部屈伸的屈伸臂,所述传感模块包括两个角度传感器,所述两个角度传感器分别为采集所述收展臂的收展角度的收展角度传感器以及采集所述屈伸臂的屈伸角度的屈伸角度传感器。
进一步地,所述腕带与腕部收展时的收展轴有两个对应所述收展臂的交点,所述腕带与腕部屈伸时的屈伸轴有两个对应所述屈伸臂的交点,所述收展臂与所述屈伸臂均包括固定端及与所述固定端相对的自由端,所述收展臂与所述屈伸臂两者其中之一的固定端安装在所述腕带上并位于对应两个交点的其中之一处且安装其对应的角度传感器,自由端沿着所述腕带绕至所述收展臂与所述屈伸臂两者中的另一个对应的两个交点其中之处并与所述收展臂与所述屈伸臂两者中的另一个的固定端连接,所述收展臂与所述屈伸臂连接点具有一定夹角且安装另一个角度传感器,所述收展臂与所述屈伸臂两者中的另一个的自由端绕着所述腕带设置并向所述腕带的外侧延伸至与腕部的近手的位置固定。
进一步地,所述屈伸角度传感器沿着所述屈伸轴设置,所述收展角度传感器沿着所述收展轴设置。
进一步地,所述收展臂与所述屈伸臂两者中的位于腕部的近手的位置的自由端绕至腕部的近手的位置的底部并安装所述主采集模块。
进一步地,所述腕部姿态采集臂为伸缩杆,所述腕部姿态采集臂与所述腕带连接,包括位于所述腕带上方或侧方的第一端以及与所述手部固接的第二端,所述腕部姿态采集臂与所述腕带的交点位于所述第一端与所述第二端之间,所述第一端能够围绕所述交点摆动,所述传感模块通过获取所述第一端的摆动信息获取所述腕部姿态采集臂的屈伸信息与收展信息。
进一步地,还包括固定结构,所述固定结构固定在腕部近手的位置,所述腕部姿态采集臂的第二端固定在所述固定结构上,所述主采集模块固定在所述固定结构上。
进一步地,所述主采集模块的安装区域为腕关节向手指方向0~5厘米以内、手腕到手臂0~3厘米以内且距离体表皮肤0~3厘米以内。
由于上述技术方案的应用,本发明具有以下有益效果:
本发明的手势采集***,通过将手指姿态采集装置的主采集模块设置于手掌下方并与手掌同步摆动,这样主采集模块的视角和位置相对手掌固定,这样同一个手势动作只会用从一个固定角度拍摄的图像来识别,减少识别时间,提高识别准确率,也省略了背景删除计算消耗。
附图说明
图1为本发明的手势采集***的电路方框图。
图2为本发明实施例手势采集***第一实施例的立体结构示意图。
图3为图2的示意图。
图4为本发明另一实施方式的示意图。
图5为本发明实施例手势采集***第二实施例的立体结构示意图。
图6为图5中VI处的放大。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明实施例提供的手势采集***,包括手指姿态采集装置1,该手指姿态采集装置1包括主采集模块11及辅助采集模块(图未示出),主采集模块11设在手掌下方并随着手掌同步摆动,主采集模块11可以用于采集手指姿态信息,主采集模块11例如可以为摄像头,主采集模块11通过获取手指图像的方式采集手指姿态信息。辅助采集模块也用于辅助采集手指姿态信息,辅助采集模块可以位于手部的任意一个可以采集到手指姿态的位置,以实现对手指姿态信息的辅助采集。辅助采集模块例如可以为摄像头,通过获取手指图像的方式辅助获取手指姿态信息。
可以理解的是,在人机互动中,手势采集***不单单要采集手指姿态,还需要采集腕部姿态及前臂姿态。
为了实现对腕部姿态的采集,本发明的手势采集***例如还包括腕部姿态采集装置2,所述腕部姿态采集装置2用于采集腕部的收展姿态信息与腕部的屈伸姿态信息。本发明通过腕部姿态采集装置2采集腕部的收展姿态信息与腕部的屈伸姿态信息,实现对腕部姿态的采集。需要说明的是,在解剖学上,将手掌伸开,腕部绕着垂直于手掌的轴摆动即为腕部的收展作动,腕部绕着手腕关节摆动即为腕部的屈伸作动,本发明中的腕部姿态采集装置2可以对腕部的收展作动及屈伸作动进行采集从而获取腕部的收展姿态信息与腕部的屈伸姿态信息。
请结合参阅图2-5,在本实施例中,腕部姿态采集装置2包括随着腕部收展与屈伸的腕部姿态采集臂22,所述传感模块24采集所述腕部姿态采集臂22的屈伸信息及收展信息,从而实现对腕部姿态信息的采集。为了保证腕部姿态采集臂22能够随着腕部收展与屈伸,传感模块24能够精确采集到腕部姿态采集臂22的屈伸信息及收展信息,腕部姿态采集臂22通常由硬质材料制作,这样腕部姿态采集臂22不会轻易形变,可以避免因腕部姿态采集臂22轻易变形所导致的影响腕部姿态采集臂22的屈伸及收展作动,以致最终影响采集准确度的问题。
为了实现对前臂姿态信息的采集,本发明的手势采集***例如还包括前臂姿态采集装置3,所述前臂姿态采集装置3用于采集前臂姿态信息。在本实施例中,所述前臂姿态采集装置3包括三轴陀螺仪、三轴磁力计与三轴加速度传感器,其中,三轴陀螺仪用于检测前臂的三轴角速度,三轴加速度传感器用于检测前臂的三轴加速度,三轴磁力计用于检测前臂的所处状态的三轴磁力,使检测的前臂姿态信息更加精确,以获取精确的前臂姿态信息。
本发明的手势采集***还能够确定需要控制的电子设备,本发明的手势采集***例如还包括环境信息采集装置4,该环境信息采集装置4用于在周围环境寻找需要控制交互的电子设备(电脑,平板,家用电器,IOT,车载设备等)并实现手臂相对于室内或者室外的局部外周环境的定位。在本实施例中,环境信息采集装置4为环境信息摄像头。当然,前臂姿态采集装置3还包括设于腕带上的反光点,环境信息采集装置4可以采集反光点的位置信息。
为便于实现人机互动,本发明的手势采集***还包括处理器5及无线通信模块6,手指姿态采集装置1、腕部姿态采集装置2、前臂姿态采集装置3、环境信息采集装置4以及无线通信模块6均与处理器5连接,手指姿态采集装置1采集的手指姿态信息、腕部姿态采集装置2的腕部姿态信息、前臂姿态采集装置3采集的前臂姿态信息及环境信息采集装置4寻找到的需要控制的电子设备与前臂的空间信息均发送至处理器5,处理器5根据上述信息确定需要控制的电子设备以及计算出前臂的空间坐标,并根据上述信息输出相应的操作指令并通过无线通信模块6发送至需要控制的电子设备,从而实现与需要控制的电子设备的人机互动,即通过手势即可实现对电子设备的控制。
请参阅图2-5,本发明的手势采集***还包括腕带7,腕带7用于戴在手腕上,主采集模块11、腕部姿态采集装置2、前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5例如均可以与腕带7连接,这里的连接包括直接连接和间接连接,直接连接就是直接设置在腕带7上,间接连接就是通过某种元件例如连接杆等与腕带7连接。设置腕带7的目的是为了便于实现主采集模块11随着手掌同步摆动,腕部姿态采集装置2的腕部姿态采集臂22随着腕带运动。主采集模块11及腕部姿态采集装置2与腕带7的连接方式具体见下详述。
当然,在其他实施例中,也可以不设置腕带7,主采集模块11也可以通过吸盘等方式固定在手掌的下方。腕部姿态采集装置2也可以通过吸盘的方式设置在腕部。前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5等可以固定在手臂上或者通过连杆等结构与手臂相连并位于手臂的外侧,前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5的安装方式不限于此,只要能满足相应的信号采集、传输及处理即可。
在本实施例中,腕带7呈套状,所述腕带7间隔地设有第一固定部71与第二固定部72,所述第一固定部71与第二固定部72分别与桡骨茎突和尺骨茎突的体表突出部分适配以将所述腕带7固定装设在手腕上,以防止腕带7从手腕处脱落或滑动。具体地,所述第一固定部71与第二固定部72为开设在所述腕带7上的通孔或者凹槽,这样桡骨茎突和尺骨茎突能够收容在通孔或凹槽,使得腕带7固定在手腕上。需要说明的是,在图示中,是以戴在右手的腕带为例进行描述,右手手掌朝下,手指垂直并指向纸面。可以理解的是,戴在左手上的腕带结构和戴在右手上的腕带结构相同,只是第一固定部71与第二固定部72的开设位置需要分别对应左手上的桡骨茎突的体表突出部分和左手上的尺骨茎突的体表突出部分。
具体地,请参阅图2,图2是本发明的手势采集***第一实施例的立体结构示意图。在该实施例中,腕部姿态采集臂22包括随着腕部收展的收展臂220及随着腕部屈伸的屈伸臂222,传感模块24包括两个角度传感器,两个角度传感器分别为采集收展臂220的收展角度的收展角度传感器240以及采集屈伸臂222的屈伸角度的屈伸角度传感器242,本实施例通过收展角度传感器240采集收展臂220随腕部收展时的收展角度,通过屈伸角度传感器242采集屈伸臂222随腕部收展时的屈伸角度,以实现对腕部收展角度及屈伸角度的精确采集,从而获取腕部姿态。
进一步地,腕带7在戴在手腕上后,腕带7与腕部收展时的收展轴有与收展臂220对应的两个交点,腕带7与腕部屈伸时的屈伸轴有与屈伸臂222对应的两个交点。收展臂220包括固定端及与固定端相对的自由端,屈伸臂222同样包括固定端及与固定端相对的自由端,其中,收展臂220与所述屈伸臂222两者其中之一的固定端安装在所述腕带7上并位于对应两个交点的其中之一处且安装其对应的角度传感器,自由端沿着所述腕带7绕至所述收展臂220与所述屈伸臂222两者中的另一个对应的两个交点其中之处并与所述收展臂220与所述屈伸臂222两者中的另一个的固定端连接,所述收展臂220与所述屈伸臂222连接点具有一定夹角且安装另一个角度传感器,所述收展臂220与所述屈伸臂222两者中的另一个的自由端绕着所述腕带7设置并向所述腕带7的外侧延伸至与腕部的近手的位置固定,本实施例是通过采集臂与手的近手腕部的位置卡接的方式与手的近手腕部的位置固定。这样手腕屈伸作动时,手腕在屈伸时,屈伸臂222将随着手腕屈伸,屈伸角度传感器242即可感应到屈伸臂222的角度变化从而感应到手腕的屈伸姿态,手腕在收展时,收展臂220随着手腕收展,收展角度传感器240即可感应到收展臂220的角度变化从而感应到手腕的收展姿态。
在本实施例中,收展臂220与屈伸臂222两者中的位于腕部的近手的位置的自由端绕至腕部的近手的位置的底部并安装主采集模块11,以保证主采集模块11可以随着手掌摆动。当然在其他实施例中,也可以在腕带7上延伸出连接杆位于手掌下方,主采集模块11安装在连接杆上。
为了保证采集到的角度信息的准确性,屈伸角度传感器242沿着屈伸轴设置,收展角度传感器240沿着所述收展轴设置,也就是屈伸角度传感器242与收展角度传感器240均与沿对应交点的切线垂直。
具体地,在本实施例中,如图3所示,在三维坐标系中,X方向代表屈伸轴,Z方向代表收展轴,Y方向为腕带7的轴向,在具体设置时,腕带7与收展轴有A、B两个交点,腕带7与屈伸轴有C、D两个交点,屈伸臂222的一端安装在腕带7与屈伸轴的任意一交点例如C交点处,屈伸角度传感器242与屈伸臂222的固定端连接且沿着X轴设置,屈伸臂222的自由端绕着腕带7设置,然后屈伸臂222的自由端绕到A点位置,然后将收展臂220的固定端与屈伸臂222的自由端连接,再将收展臂220的自由端绕向腕带7的外侧且与手的近手腕部的位置固定,具体为收展臂220的自由端朝向C交点所在方向绕线的过程中延伸至腕带7的外侧,然后朝向手靠近手腕的位置绕线至位于腕带7的外侧且与手的近手腕部的位置固定,此处采用收展臂220卡在手的近手腕部的位置的方式与手的近手腕部的位置固定。这样腕部屈伸时,屈伸臂222通过腕带7随着腕部绕着屈伸轴摆动,屈伸角度传感器242随着屈伸臂222摆动,屈伸角度传感器242从而采集到屈伸臂222的摆动角度,以获取腕部的屈伸姿态,此时,收展臂220并不会绕着收展轴摆动,收展角度传感器240不会采集到收展臂220的收展角度;腕部在收展时,收展臂220固定在手的靠近腕部的位置,收展臂220随着腕部绕着收展轴摆动,屈伸臂222与收展臂220之间角度随着收展臂220的摆动发生变化,收展角度传感器240采集到收展臂220的摆动角度,以获取腕部的收展姿态,此时,屈伸臂222并不会绕着屈伸轴摆动,屈伸角度传感器242不会采集到屈伸臂222的收展角度。
为了方便安装主采集模块11,收展臂220的自由端可以绕至手的近手腕部的位置的底面,然后再朝向手掌延伸,主采集模块11安装在收展臂220的自由端,以保证主采集模块11随着手掌同步摆动。
在另一实施例中,如图4所示,X方向代表屈伸轴,Z方向代表收展轴,Y方向为腕带7的轴向,在具体设置时,在该实施例中,收展臂220的固定端安装在腕带7与收展轴的任意一交点例如A交点处,收展角度传感器240固定在收展臂220的固定端且收展角度传感器240沿着Z轴设置,收展臂220的自由端绕着腕带7设置,然后收展臂220的自由端例如绕至C点位置。屈伸臂222的固定端与收展臂220的自由端连接,屈伸角度传感器242安装在屈伸臂222与收展臂220的连接处,屈伸角度传感器242沿着X轴设置。屈伸臂222的自由端绕向腕带7的外侧且与手的近手腕部的位置固定,具体为屈伸臂222的自由端朝向A交点然后再向D点绕线,并在绕线的过程中延伸至腕带7的外侧,然后朝向手靠近手腕的位置绕线至位于腕带7的外侧且与手的近手腕部的位置固定,此处是通过屈伸臂222与手的近手腕部的位置卡接的方式与手的近手腕部的位置固定。这样腕部屈伸时,屈伸臂222固定在手的靠近腕部的位置随着腕部绕着屈伸轴摆动,屈伸臂222与收展臂220之间的夹角发生变换,屈伸角度传感器242从而采集到屈伸臂222的摆动角度,以获取腕部的屈伸姿态,此时,收展臂220并不会绕着收展轴摆动,收展角度传感器240不会采集到收展臂220的收展角度;腕部在收展时,收展臂220通过腕带7随着腕部绕着收展轴摆动,收展角度传感器240随着收展轴摆动,收展角度传感器240采集到收展臂220的摆动角度,以获取腕部的收展姿态,此时,屈伸臂222并不会绕着屈伸轴摆动,屈伸角度传感器242不会采集到屈伸臂222的屈伸角度。
为了方便安装主采集模块11,屈伸臂222的自由端可以绕至手的近手腕部的位置的底面,然后再朝向手掌延伸,主采集模块11安装在屈伸臂222的自由端,以保证主采集模块11随着手掌同步摆动。
请参阅图5,图5是本发明的手势采集***第二实施例的立体结构示意图,在该实施例中,所述腕部姿态采集臂22为伸缩杆,所述腕部姿态采集臂22与所述腕带7连接,包括位于所述腕带7上方、侧方或下方的第一端以及与腕部的近手的位置固接的第二端,所述腕部姿态采集臂22与所述腕带7的交点位于所述第一端与所述第二端之间,所述腕部姿态采集臂22的第一端能够围绕所述交点摆动,所述传感模块24通过获取所述第一端的摆动信息获取所述腕部姿态采集臂22的屈伸信息与收展信息。
具体地,在该实施例中,腕带7上设有鱼眼轴承75,腕部姿态采集臂22通过穿设所述鱼眼轴承75的方式与所述腕部姿态采集臂22连接,鱼眼轴承75的结构及作动原理均为现有技术,在此不再赘述。腕部姿态采集臂22可以通过安装在腕带7上的鱼眼轴承75随着腕部摆动,具体为腕部姿态采集臂22在鱼眼轴承75与腕部姿态采集臂22第二端之间的部分根据需要进行伸缩,腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部摆动,传感模块24可以获取第一端的摆动信息以获取腕部姿态,更具体地是,腕部在收展时,腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部左右摆动,传感模块24获取第一端的左右摆动的角度以获取腕部的收展姿态信息,腕部在屈伸时,腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部上下摆动,传感模块24获取第一端的上下摆动的角度以获取腕部的屈伸姿态信息。
在本实施例中,请参阅图6,传感模块24为霍尔传感器,腕部姿态采集臂22的第一端设有磁铁26,磁铁26在腕部姿态采集臂22的第一端附近形成磁场,霍尔传感器感应磁铁26形成的磁场,霍尔传感器可以感应磁场的变化,磁场的变化是由于腕部姿态采集臂22的第一端摆动形成,因此所述传感模块24通过获取所述腕部姿态采集臂22的第一端磁场信息,以获取腕部姿态采集臂22的第一端的上下摆动角度以及左右摆动角度,进而获取腕部的屈伸姿态信息与收展姿态信息。
在本实施例中,传感模块24位于腕部姿态采集臂22的延伸方向上且相对腕部姿态采集臂22的第一端更远离腕部姿态采集臂22的第二端,以便于传感模块24准确获取腕部姿态采集臂22的第一端磁场信息。
在本实施例中,本发明的手势采集***还包括固定结构8,固定结构8呈“C”形,具体可以通过硬质塑胶板弯折而成,固定结构8固定在腕部近手的位置例如通过卡接的方式固定,固定结构8相对于腕带7更靠近手,腕部姿态采集臂22的第二端固定在固定结构8上,主采集模块11固定在固定结构8上,为了使主采集模块11位于手掌的下方,固定结构8上例如向手指的方向延伸出连接杆至手掌下方,主采集模块11固定在连接杆上。
在上述内容中,主采集模块11的安装区域为腕关节向手指方向0~5厘米以内,手腕到手臂0~3厘米以内,且距离体表皮肤0~3厘米以内,优选距离体表皮肤0~2厘米以内,将主采集模块11安装在这个区域可以实现对手指姿态信息的精确采集。
与现有技术相比,本发明的手势采集***具有以下优点:
1.降低成本:传统的手势识别装置都是采用外部环境来拍摄图像从而通过识别手势的方法来进行的,此类方法会导致每一台被控设备都需要配备识别设备(键盘鼠标手标)。例如家里有20个被控设备(pad,电脑,电视机,手机,其他智能家电等IOT设备),每个设备都需要安装一套手势识别装置,这是非常耗费成本的;而本发明通过环境信息采集装置4确定需要控制的电子设备,实现通过一套手势识别设备就可以对多个被控设备的控制。
2.大幅提高手势识别准确度:
a)现有技术中采用外部环境拍摄图像的方式来识别手势的***,必须先将手部作动从复杂嘈杂的背景中分离(segment)出来,这样才能降低误识别率。本发明通过设置主采集模块设在手掌底面并与手掌同步摆动,也就是主采集模块的视角和位置相对手指而言固定,同一个手势作动只会用从一个固定角度拍摄的图像来识别,不需要分离背景,同时也可让识别***不用考虑背景删除所需的计算消耗。
b)现有技术中采用外部环境拍摄图像的方式来识别手势的***需要对分离出来的手势图像的尺寸缩放,旋转,远近,遮挡进行处理。我们的设计方式,手指的位置距离摄像头是固定的,无需对图像进行尺寸缩放和旋转处理。也不会因为拍摄角度不同导致大面积遮挡的发生。
c)采用外部环境拍摄图像的方式来识别手势的***在外部环境中使用摄像头时对于同一个手指作动姿势要求从不同角度都能识别,这就要求需要大量数据训练(同一种姿势不同角度的大量图像来训练识别***才能保证准确度)。同一个姿势比如手指并拢伸直这个姿态在外部环境拍摄图像的方式来识别时,需要360度不同方向的摄像角度获得照片,才能保证从各个角度对这一个作动的识别准确率,而采用在手掌固定的位置,固定的视角拍摄照片,对于同一个姿势不需要从360*360度各个方向上获取照片来训练识别***。这可以大大减少训练的数据量,也大大提高了识别准确度。
d)由于采用手掌根部部署摄像头,手指距离摄像头最远也只有15cm-20cm,可以降低摄像头分辨率,也大幅降低***处理的图像数据,而如果采用外周环境部署摄像头的方式,由于人手距离摄像头较远,且位置不固定,所以必须提高摄像头分辨率保证任何位置都能拍摄到足够的清晰度。
3.加快识别速度:
手势识别是需要实时性的,识别速度如果太慢,用户不会认可。
由上面2中的a)可得:如果有嘈杂的背景,就必须对图像进行遍历,定位手所在的位置,很耗费时间;
由上面2中的b)可得:对手势图像的缩放进行处理也要对图像遍历,更耗费时间;
由上面2中的c)可得:对一种手指姿态从不同角度去识别,比单一视角识别需要更多层的神经元,假设以1度的范围对同一个手指姿态进行识别就需要比单一视角识别多达129600不同角度的图片。单一视角只要1张图片训练就可以。可以大幅降低神经元权重的数量,运算加速明显;
由上面2中的d)可得:摄像头分辨率的降低导致图像的像素大幅降低,处理的像素量会小很多。500万像素的比62500像素的设备处理像素的数量降低近80倍。在卷积神经网络处理过程中,1张图在一层神经网络里要用近20个过滤器遍历处理,单层的性能就会提高1600倍,在深度神经网络里会有多层,提高的还要多。
4.降低功耗:
识别***的功耗和浮点运算次数(神经网络权重的乘法)相关。
由上面2中的a)可得:对卷积核对图像进行遍历,来过滤嘈杂的背景,需要耗费较多功耗;
由上面2中的b)可得:对手势图像的缩放进行处理也要增加卷积神经网络的非线性权重的数量,产生多倍的功耗;
由上面2中的c)可得:减少了同一个姿势的manifolder图像,可以大大降低卷积神经网络的非线性权重的数量和神经网络的深度;
由上面2中的d)可得:图像的像素大幅降低,500万像素的比62500像素的设备处理像素的在单层卷积神经网络处理过程中,会提高1600倍(浮点运算量),在多层深度神经网络处理过程中又会成倍增加,功耗降低明显。
在leap motion类似的外周环境拍摄方式,自身只能提供80%的运算能力,还有20%的运算靠USB连接的计算机才能运行,这种方式要在穿戴式设备中实现是不可能的,因为穿戴式设备的电池不能提供给芯片足够的功耗来获得运算结果。其次穿戴式设备的主芯片运算能力也不可能比得上计算机。只有采用我们发明的这种方式才能在穿戴式设备中实现实时的识别。
5.可以在任何地方识别
在外部环境中使用摄像头,需要把手放在该摄像头所在的区域,包括hololens所采用的方式都要求手臂举起,保证头盔中的摄像头能照射到手,而我们的方式手放在任何位置都可以感知。
6.防止大猩猩臂
由于5的缘故,本发明不需要长时间抬举手臂,并让手放在摄像头的识别区,可以防止手臂酸胀(大猩猩臂),这个症状在ipad的使用者当中相当普遍。也可以防止鼠标手(腕管综合症)的发生。此外,大猩猩臂会导致用户将手持设备放低,从而引发颈椎问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种手势采集***,其特征在于:包括手指姿态采集装置(1),所述手指姿态采集装置(1)包括位于手掌的下方且与手掌同步摆动的主采集模块(11),所述主采集模块(11)用于采集手指姿态。
2.根据权利要求1所述的手势采集***,其特征在于:还包括用于采集腕部的收展姿态与腕部的屈伸姿态的腕部姿态采集装置(2),所述腕部姿态采集装置(2)包括随着腕部收展与屈伸的腕部姿态采集臂(22)及用于采集所述腕部姿态采集臂(22)的屈伸信息及收展信息的传感模块(24)。
3.根据权利要求2所述的手势采集***,其特征在于:还包括腕带(7),所述腕带(7)套在手腕上,所述腕部姿态采集臂(22)与所述腕带(7)连接,所述腕部姿态采集臂(22)通过所述腕带(7)随着腕部收展与屈伸。
4.根据权利要求3所述的手势采集***,其特征在于:所述腕部姿态采集臂(22)包括随着腕部收展的收展臂(220)及随着腕部屈伸的屈伸臂(222),所述传感模块(24)包括两个角度传感器,所述两个角度传感器分别为采集所述收展臂(220)的收展角度的收展角度传感器(240)以及采集所述屈伸臂(222)的屈伸角度的屈伸角度传感器(242)。
5.根据权利要求4所述的手势采集***,其特征在于:所述腕带(7)与腕部收展时的收展轴有两个对应所述收展臂(220)的交点,所述腕带(7)与腕部屈伸时的屈伸轴有两个对应所述屈伸臂(222)的交点,所述收展臂(220)与所述屈伸臂(222)均包括固定端及与所述固定端相对的自由端,所述收展臂(220)与所述屈伸臂(222)两者其中之一的固定端安装在所述腕带(7)上并位于对应两个交点的其中之一处且安装其对应的角度传感器,自由端沿着所述腕带(7)绕至所述收展臂(220)与所述屈伸臂(222)两者中的另一个对应的两个交点其中之一处并与所述收展臂(220)与所述屈伸臂(222)两者中的另一个的固定端连接,所述收展臂(220)与所述屈伸臂(222)连接点具有一定夹角且安装另一个角度传感器,所述收展臂(220)与所述屈伸臂(222)两者中的另一个的自由端绕着所述腕带(7)设置并向所述腕带(7)的外侧延伸至与腕部的近手的位置固定。
6.根据权利要求5所述的手势采集***,其特征在于:所述屈伸角度传感器(242)沿着所述屈伸轴设置,所述收展角度传感器(240)沿着所述收展轴设置。
7.根据权利要求5所述的手势采集***,其特征在于:所述收展臂(220)与所述屈伸臂(222)两者中的位于腕部的近手的位置的自由端绕至腕部的近手的位置的底部并安装所述主采集模块(11)。
8.根据权利要求3所述的手势采集***,其特征在于:所述腕部姿态采集臂(22)为伸缩杆,所述腕部姿态采集臂(22)与所述腕带(7)连接,包括位于所述腕带(7)上方或侧方的第一端以及与所述手部固接的第二端,所述腕部姿态采集臂(22)与所述腕带(7)的交点位于所述第一端与所述第二端之间,所述第一端能够围绕所述交点摆动,所述传感模块(24)通过获取所述第一端的摆动信息获取所述腕部姿态采集臂(22)的屈伸信息与收展信息。
9.根据权利要求8所述的手势采集***,其特征在于:还包括固定结构(8),所述固定结构(8)固定在腕部近手的位置,所述腕部姿态采集臂(22)的第二端固定在所述固定结构(8)上,所述主采集模块(11)固定在所述固定结构(8)上。
10.根据权利要求1-9任意一项所述的手势采集***,其特征在于:所述主采集模块(11)的安装区域为腕关节向手指方向0~5厘米以内、手腕到手臂0~3厘米以内且距离体表皮肤3厘米以内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710673138.1A CN107403178A (zh) | 2017-08-08 | 2017-08-08 | 手势采集*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710673138.1A CN107403178A (zh) | 2017-08-08 | 2017-08-08 | 手势采集*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107403178A true CN107403178A (zh) | 2017-11-28 |
Family
ID=60402559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710673138.1A Pending CN107403178A (zh) | 2017-08-08 | 2017-08-08 | 手势采集*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107403178A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050266A (zh) * | 2019-12-20 | 2020-04-21 | 朱凤邹 | 一种基于耳机检测动作进行功能控制的方法及*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030126755A1 (en) * | 2002-01-04 | 2003-07-10 | Liberty Mutual | Wrist motion measurement device |
US20080163876A1 (en) * | 2007-01-10 | 2008-07-10 | Phelan Eileen J | Device for training wearer wrist position and for reminding wearer of wrist position |
CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控***和方法 |
EP2564773A1 (en) * | 2011-09-02 | 2013-03-06 | Fiat Group Automobiles S.p.A. | Method and apparatus for ergonomic evaluation of the postures of the wrist of an operator during a work cycle |
US20140098018A1 (en) * | 2012-10-04 | 2014-04-10 | Microsoft Corporation | Wearable sensor for tracking articulated body-parts |
CN103793057A (zh) * | 2014-01-26 | 2014-05-14 | 华为终端有限公司 | 信息处理方法、装置及设备 |
CN204496431U (zh) * | 2015-01-23 | 2015-07-22 | 贾岳杭 | 上肢穿戴式动作捕捉设备 |
CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
CN204965329U (zh) * | 2014-09-30 | 2016-01-13 | 苹果公司 | 便携式电子设备和运动和手势探测*** |
CN105446485A (zh) * | 2015-11-20 | 2016-03-30 | 哈尔滨工业大学 | 基于数据手套和位置跟踪仪的人手运动功能捕捉***及方法 |
CN105686834A (zh) * | 2016-01-17 | 2016-06-22 | 北京工业大学 | 一种用于检测人体上肢肩部盂肱关节运动信息的穿戴外骨骼机构 |
US20160299570A1 (en) * | 2013-10-24 | 2016-10-13 | Apple Inc. | Wristband device input using wrist movement |
US20170045946A1 (en) * | 2015-08-11 | 2017-02-16 | Disney Enterprises, Inc. | Identifying hand gestures based on muscle movement in the arm |
CN106598251A (zh) * | 2016-12-23 | 2017-04-26 | 重庆墨希科技有限公司 | 一种基于智能手环的手势控制方法、***及一种智能手环 |
-
2017
- 2017-08-08 CN CN201710673138.1A patent/CN107403178A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030126755A1 (en) * | 2002-01-04 | 2003-07-10 | Liberty Mutual | Wrist motion measurement device |
US20080163876A1 (en) * | 2007-01-10 | 2008-07-10 | Phelan Eileen J | Device for training wearer wrist position and for reminding wearer of wrist position |
EP2564773A1 (en) * | 2011-09-02 | 2013-03-06 | Fiat Group Automobiles S.p.A. | Method and apparatus for ergonomic evaluation of the postures of the wrist of an operator during a work cycle |
CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控***和方法 |
US20140098018A1 (en) * | 2012-10-04 | 2014-04-10 | Microsoft Corporation | Wearable sensor for tracking articulated body-parts |
US20160299570A1 (en) * | 2013-10-24 | 2016-10-13 | Apple Inc. | Wristband device input using wrist movement |
CN103793057A (zh) * | 2014-01-26 | 2014-05-14 | 华为终端有限公司 | 信息处理方法、装置及设备 |
EP3089018A1 (en) * | 2014-01-26 | 2016-11-02 | Huawei Device Co., Ltd. | Method, apparatus, and device for information processing |
CN105022471A (zh) * | 2014-04-23 | 2015-11-04 | 王建勤 | 基于压力传感器阵列进行手势识别的装置与方法 |
CN204965329U (zh) * | 2014-09-30 | 2016-01-13 | 苹果公司 | 便携式电子设备和运动和手势探测*** |
CN204496431U (zh) * | 2015-01-23 | 2015-07-22 | 贾岳杭 | 上肢穿戴式动作捕捉设备 |
US20170045946A1 (en) * | 2015-08-11 | 2017-02-16 | Disney Enterprises, Inc. | Identifying hand gestures based on muscle movement in the arm |
CN105446485A (zh) * | 2015-11-20 | 2016-03-30 | 哈尔滨工业大学 | 基于数据手套和位置跟踪仪的人手运动功能捕捉***及方法 |
CN105686834A (zh) * | 2016-01-17 | 2016-06-22 | 北京工业大学 | 一种用于检测人体上肢肩部盂肱关节运动信息的穿戴外骨骼机构 |
CN106598251A (zh) * | 2016-12-23 | 2017-04-26 | 重庆墨希科技有限公司 | 一种基于智能手环的手势控制方法、***及一种智能手环 |
Non-Patent Citations (2)
Title |
---|
刘梁;滕鹏;周诗华;展文豪;: "一种手势控制小车运动***的设计与实现", no. 02 * |
刘梁;滕鹏;周诗华;展文豪;: "一种手势控制小车运动***的设计与实现", 数字技术与应用, no. 02 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050266A (zh) * | 2019-12-20 | 2020-04-21 | 朱凤邹 | 一种基于耳机检测动作进行功能控制的方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10481689B1 (en) | Motion capture glove | |
Hu et al. | FingerTrak: Continuous 3D hand pose tracking by deep learning hand silhouettes captured by miniature thermal cameras on wrist | |
CN110251080B (zh) | 检测正在穿戴可穿戴电子设备的肢体 | |
CN106445130B (zh) | 一种用于手势识别的动作捕捉手套及其校准方法 | |
US20190179417A1 (en) | 3D Interaction Method, Device, Computer Equipment and Storage Medium | |
CN110327048B (zh) | 一种基于可穿戴式惯性传感器的人体上肢姿态重建*** | |
US20230195234A1 (en) | Gesture acquisition system | |
CN103677265B (zh) | 一种智能感应手套及智能感应方法 | |
CN103345064A (zh) | 一种集成3d识别的帽子及帽子的3d识别方法 | |
CN103677289A (zh) | 一种智能交互手套及交互方法 | |
CN104780217A (zh) | 检测用户工作效率的方法、***及客户端 | |
CN105068657B (zh) | 手势的识别方法及装置 | |
CN206431578U (zh) | 数据手套及虚拟现实*** | |
CN107301415A (zh) | 手势采集*** | |
CN207704451U (zh) | 手势采集*** | |
US20240144727A1 (en) | Multiview depth-sensing wearable device | |
CN107403178A (zh) | 手势采集*** | |
CN105824432A (zh) | 一种动作捕捉*** | |
CN207817740U (zh) | 手势采集*** | |
CN107450672A (zh) | 一种高识别率的腕式智能装置 | |
CN106020468A (zh) | 一种手套控制的增强现实*** | |
CN110209270A (zh) | 一种数据手套、数据手套***、校正方法及存储介质 | |
WO2022179279A1 (zh) | 交互方法、电子设备与交互*** | |
CN111610857A (zh) | 一种具有vr体感互动装置的手套 | |
CN206021199U (zh) | 一种基于运动捕捉的穿戴式体感交互*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |