CN103558915A - 人体耦合智能信息输入***及方法 - Google Patents

人体耦合智能信息输入***及方法 Download PDF

Info

Publication number
CN103558915A
CN103558915A CN201310529685.4A CN201310529685A CN103558915A CN 103558915 A CN103558915 A CN 103558915A CN 201310529685 A CN201310529685 A CN 201310529685A CN 103558915 A CN103558915 A CN 103558915A
Authority
CN
China
Prior art keywords
information
human body
unit
positioning
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310529685.4A
Other languages
English (en)
Other versions
CN103558915B (zh
Inventor
王洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201310529685.4A priority Critical patent/CN103558915B/zh
Publication of CN103558915A publication Critical patent/CN103558915A/zh
Priority to PCT/CN2014/083202 priority patent/WO2015062320A1/zh
Priority to US15/033,587 priority patent/US20160283189A1/en
Application granted granted Critical
Publication of CN103558915B publication Critical patent/CN103558915B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种人体耦合智能信息输入***及方法，该***包括：空间信息感知单元(101)，佩戴在人体预定部位上，用于获取人体的空间三维信息并发送给处理单元(103)；时钟单元(102)，连接到处理单元(103)，用于提供时间信息；处理单元(103)，用于对人体的空间信息和时间信息进行处理，并根据所述信息向输出单元(104)输出相应的操控指令；以及输出单元(104)，用于将所述操控指令发送给外部设备。本发明的***和方法能够有效地实现人体姿态、方位和位置的精准定位和复杂操控。

Description

人体耦合智能信息输入***及方法
技术领域
本发明涉及网络终端操控领域，尤其涉及一种人体耦合智能信息输入***及方法。
背景技术
传统网络智能终端，台式机和笔记本，体积和重量都比较大，移动性差，在移动互联网时代，手机和平板电脑等移动智能终端，主要采用触控方式操控，但受限于精度的不足，难以实现精准定位和复杂操控，使得PC上的绘图软件、反恐精英游戏等经典应用在移动智能终端上的使用受到很大限制，难以推广。
同时，传统眼镜显示器，采用按键设备或触控板的方式进行操控，易用性差，存在于上述移动终端类似的问题，难以实现操控界面的精准定位和复杂操控。
传统陀螺仪等传感器，可以通过GPS校准位置，但需要在较为空旷无遮挡的地方实现，同时只能校准二维的水平方向，而不能校准三维空间的立体朝向，在三维空间内长时间使用陀螺仪等传感器、加速度计的累计误差很大，将导致误差不断扩大的情况发生。
传统终端设备上的方位和姿态传感器一般局限于单机独立使用，人们佩戴时，在运动状态下，如乘坐火车、飞机、地铁、汽车、轮船，或是步行等情况下，其虽然可以探测到设备方位和姿态的变化，但不能区分是载体的运动还是人的运动，导致不能对人体动作的正常识别，不能正常实现基于这些传感器的操控。并且传感器探测到的是设备方位和姿态的变化，而不是人体的方位、姿态变化。
传统智能眼镜，虽然可以用语音进行操控，但语音需要与后台庞大的语料库进行匹配，识别过程复杂，效率差，消耗的资源非常大，同时由于缺乏精准定位和背景分析，也基本无法实现全局操控，如通过语音可以打开一个第三方应用，但进入应用后，就无法对应用进行具体操控。
传统PC和手机、pad等移动智能终端的便携式耳机往往采用线绳连接的耳塞式耳机，在摘戴时，容易钩挂；而一些智能眼镜，为了解决此问题，采用了骨传导耳机，通过震动骨骼，实现声音传播，但由于触发震动需要更高的能量，也导致能耗更高。另外，骨传导耳机在低频或高频中常常会有谐振峰，这将极大的影响音质，如重低音效果差等。
传统智能眼镜，采用触控板或按键形式，难以完成汉字等复杂文字的高效输入。传统智能眼镜，在用户登录时，缺乏高效的用户身份认证机制，为了保证效率，往往取消用户身份认证，有带来潜在的信息泄露风险。
综上所述，现有技术中存在以下技术问题：
(1)传统网络智能终端操和智能眼镜的控精度的不足，难以实现精准定位和复杂操控；
(2)传统陀螺仪等传感器，可以通过GPS校准位置，但需要在较为空旷无遮挡的地方实现，同时只能校准二维的水平方向，而不能校准三维空间的立体朝向；
(3)传统终端设备上的方位和姿态传感器一般局限于单机独立使用，不能区分是载体的运动还是人的运动；
(4)传统智能眼镜，虽然可以用语音进行操控，但语音需要与后台庞大的语料库进行匹配，识别过程复杂，效率差，消耗的资源非常大，同时由于缺乏精准定位和背景分析，也基本无法实现全局操控；
(5)传统PC和手机、pad等移动智能终端的便携式耳机往往采用线绳连接的耳塞式耳机，在摘戴时，容易钩挂；
(6)传统的骨传导耳机能耗较高，声音效果较差；
(7)传统智能眼镜难以完成汉字等复杂文字的高效输入，同时缺乏高效的用户身份认证机制，为了保证效率，往往取消用户身份认证，有带来潜在的信息泄露风险。
发明内容
本发明的目的是提供一种人体耦合智能信息输入***，用于实现方位、姿态、时间信息与人体动作的动态匹配，使得与人体紧耦合的空间与时间信息能够高效、精准的输入，实现对软件界面的自然操控和精确定位。
根据本发明的一个方面，提供了一种人体耦合智能信息输入***，包括：空间信息感知单元101，佩戴在人体预定部位上，用于获取人体的空间三维信息并发送给处理单元103；时钟单元102，连接到处理单元103，用于提供时间信息；处理单元103，用于对人体的空间信息和时间信息进行处理，并根据所述信息向输出单元104输出相应的操控指令；输出单元104，用于将所述操控指令发送给外部设备。
其中，所述空间信息包括人体的方位信息、姿态信息和位置信息。
其中，所述空间信息感知单元101包括：指南针，用于获取人体的方位信息；陀螺仪，用于获取人体的姿态信息；和／或无线信号模块，用于获取人体的位置信息。
其中，所述无线信号模块通过卫星定位***、手机基站、WIFI中的至少一种获取人体的位置信息。
其中，所述空间信息感知单元101进一步包括下述中的至少一种：加速度传感器、方向传感器、磁力传感器、重力传感器、旋转矢量传感器、线性加速度传感器。
其中，所述人体的方位、姿态信息包括：头部、手部在空间中三个维度的位移：包括前后位移，上下位移、左右位移，或者是这些位移的组合；头部、手部的各种角度变化，包括左右水平旋转、上下旋转和侧向旋转，或是这些旋转方式的组合；和／或绝对位移与相对位移。
可选的，所述***还包括：语音输入单元105，用于接收并识别人体发出的语音指令，转换成语音信号后发送给处理单元103；和／或光学采集单元，用于在靠近用户身体时采集用户眼睛或皮肤纹理信息，通过与保存的录入信息比对，实现身份认证和登录。
其中，所述处理单元103通过边界回位模式、操控放大模式、操控加速模式、操控锁定模式、定位焦点被动复位模式、定位焦点主动复位模式以及相对位移操控模式中的至少一种来修正操控误差，其中：
所述边界回位模式在显示界面上预先设置了误差边界，将操控设备的定位焦点限制在该误差边界范围内移动，当操控设备回位时实施误差修正；
所述操作放大模式通过将操控设备的位移在显示界面上放大来实现操控误差的修正；
所述操作加速模式中，通过将操控设备的加速度传递给界面定位焦点，使其相应的加速移动达到操控目的；
所述操控锁定模式中，通过将操控设备对应的界面定位焦点进行锁定，通过操控设备回位以修正误差；
所述定位焦点被动复位模式中，通过操控设备的加速回位来驱动定位焦点的被动复位从而修正误差；
所述定位焦点主动复位模式中，通过界面定位焦点的主动复位来修正误差；
所述相对位移操控模式中，通过获取多个操控设备之间的相对位移来实现运动操控。
可选的，在运动状态下所述处理单元103通过不同传感器各自的绝对运动，解析出不同传感器之间的相对运动，计算出人体的相对位移，并通过人体的相对位移来进行操控；所述处理单元103通过关闭所述空间信息感知单元101的位移模式，只探测所述空间信息感知单元101的空间角度的变化，并通过所述角度的变化来进行操控；所述处理单元103通过位于设置在指环中的所述空间信息感知单元101实现手势的识别与输入，实现图像的放大、缩小和各个角度的浏览；所述处理单元103通过设置在所述智能眼镜中的所述空间信息感知单元101实现头部的旋转和／或移动的识别与输入，实现图像的放大、缩小和各个角度的浏览；和／或所述空间信息感知单元101将手部的空间运动轨迹解析成文字，实现的识别与文字的输入。
可选的，所述处理单元103根据定位焦点当前所处位置的相关信息，分析定位焦点所在的控件相关的各种可能操控，从基础语料中提取相关操控对应的原始语料；所述处理单元103根将所采集的语音输入信号与控件相关操控的原始语料进行匹配和识别，实现对操控焦点当前所处的位置所对应的界面的语音操控；和／或所述处理单元103根据所述人体的方位、姿态信息对所述语音输入单元105的语音输入信号进行识别与处理。
根据本发明的另一个方面，提供了一种人体耦合智能信息输入方法，包括以下步骤：步骤S1，获取人体的空间信息和时间信息；步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息输出相应的操控指令；步骤S3，将操控指令发送给外部设备以实现相应的操作。
如上所述，根据本发明的人体耦合智能信息输入***及方法，具有下述显著的技术效果：(1)能够实现对设备的精准定位和复杂操控；(2)能够校准三维空间的立体朝向；(3)能够区分是载体的运动还是人的运动；(4)降低了语音识别的难度，并能够通过语音实现全局操控；(5)采用从智能眼镜的镜腿下部延伸至外耳道的柱状或水滴状的音频输出装置，佩戴方便，声音效果好；(6)能够实现汉字等复杂文字的高效输入；(7)能够高效的用户身份认证机制。
附图说明
图1是本发明的人体耦合智能信息输入***的结构示意图；
图2是本发明的人体耦合智能信息输入***通过边界回位模式修正操控误差的示意图；
图3是本发明的人体耦合智能信息输入***通过操作放大模式修正操控误差的示意图；
图4是本发明的人体耦合智能信息输入***通过操作加速模式修正操控误差的示意图；
图5是本发明的人体耦合智能信息输入***通过定位焦点被动复位模式修正误差的示意图；
图6是本发明的人体耦合智能信息输入***通过操控锁定模式修正误差的示意图；
图7是本发明的人体耦合智能信息输入***通过定位焦点主动复位模式修正误差的示意图；
图8是本发明的人体耦合智能信息输入***通过相对位移模式修正误差的示意图；
图9是本发明的人体耦合智能信息输入***中语音识别模式示意图；
图10是本发明的人体耦合智能信息输入方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是本发明的人体耦合智能信息输入***的结构示意图。
如图1所示，本发明的人体耦合智能信息输入***包括空间信息感知单元101、时钟单元102、处理单元103以及输出单元104。
空间信息感知单元101佩戴在人体预定部位上，用于获取人体的空间三维信息并发送给处理单元103。空间信息感知单元101连接到处理单元103，具体来说，空间信息感知单元101可以是佩戴于手部的指环和／或佩戴于头部的智能眼镜中，用于获取人体的方位信息、姿态信息以及位置信息。例如，所述空间信息感知单元101可以包括指南针、陀螺仪、加速度传感器、无线信号模块等部件。其中，指南针、陀螺仪、加速度传感器用于获取人体的方位、姿态信息。人体的方位、姿态信息包括：头部、手部在空间中三个维度的位移(包括前后位移，上下位移、左右位移，或者是这些位移的组合)；头部、手部的各种角度变化(包括左右水平旋转、上下旋转和侧向旋转，或是这些旋转方式的组合)；绝对位移与相对位移等。无线信号模块用于接收无线信号来获取人体的位置信息，实现人体定位，例如通过卫星定位***、手机基站、WIFI中的至少一种获取人体的位置信息。
时钟单元102，用于提供时间信息。时钟单元102连接到处理单元103，其通常是计时器，用于记录时间并提供给处理单元103。时钟单元102可以佩戴于手部的指环和／或佩戴于头部的智能眼镜中。
处理单元103，用于对人体的空间信息和时间信息进行处理，并根据所述信息向输出单元104输出相应的操控指令。本发明中，处理单元103通过边界回位模式、操控放大模式、操控加速模式、操控锁定模式、定位焦点被动复位模式、定位焦点主动复位模式以及相对位移操控模式中的至少一种来修正操控误差。
输出单元104，用于将处理单元103发出的操控指令发送给外部设备。可选的，输出单元104包括从所述智能眼镜的镜腿下部延伸至外耳道的柱状或水滴状的音频输出装置。
可选的，本发明的***还包括语音输入单元105，用于接收并识别人体发出的语音指令，转换成语音信号后发送给处理单元103。
可选的，本发明的***还包括光学采集单元，用于在靠近用户身体时采集用户眼睛或皮肤纹理信息，通过与保存的录入信息比对，实现身份认证和登录。所述光学采集单元例如是摄像头或光学扫描等装置。
如上所述，本发明的人体耦合智能信息输入***中，处理单元103通过空间信息感知单元101、时钟单元102获取的人体的空间信息和时间信息并进行处理，实现方位、姿态、时间信息与人体的动作的动态匹配，使得与人体耦合的空间与时间信息能够高效、精准的输入，实现对软件界面的自然操控和精确定位。
图2是本发明的人体耦合智能信息输入***通过边界回位模式来修正操控误差的示意图。
如图2所示，处理单元103的边界回位模式在显示界面上预先设置了误差边界(例如前后、左右、上下的位移的定位边界或各方向旋转角度的定位边界)，操控设备的定位焦点只能在该误差边界范围内移动，从而实现将操控设备的误差限制在该边界内，当操控设备回位时，可以实施误差修正。
如图2a所示，当操控设备在误差边界的中间位置时，界面定位焦点已经处于右侧边界处，此时，操控出现向右的较大误差。
如图2b所示，操控设备向误差方向继续移动(即右侧)，此时，由于显示界面设定了误差边界，操控设备的定位焦点无法移到边界以外，即焦点没有变化，此时操控设备已经移动到操控界面的右侧。
如图2c所示，将操控设备移动到边界的中间位置(即回位)，界面定位焦点也回归到中间位置，此时操控设备位置和界面定位焦点位置一致，误差得以修正。
图3是本发明的人体耦合智能信息输入***通过操作放大模式来修正操控误差的示意图。
如图3所示，处理单元103的操作放大模式主要通过将操控设备的位移在界面上进行放大来实现操控误差的修正，具体如下。
图3a中，当操控设备在中间位置时，界面定位焦点也处于界面中间位置。
图3b中，操控设备移动一个很小的距离，界面定位焦点相应的移动很大的距离。这样，在操控设备可以容忍的空间里，可以实现界面更大范围的定位，可以将界面操作误差保留在操控很大的可容忍的范围内。
图4是本发明的人体耦合智能信息输入***通过操作加速模式修正操控误差的示意图。
如图4所示，处理单元103的操作加速模式中，通过将操控设备的加速度传递给界面定位焦点，使其相应的加速移动达到操控目的。
图4a中，当操控设备在中间位置时，界面定位焦点也处于界面中间位置。
图4b中，当操控设备缓慢移动时，界面定位焦点也相应的缓慢移动，并且定位焦点移动不加速。此时，只有操控设备移动较大距离，界面定位焦点才能移动给定距离。
图4c中，以图4a为初始位置，当操控设备快速移动时，界面定位焦点加速移动。此时，操控设备只需移动较小的距离，就可以使界面定位焦点移动给定距离。
图5是本发明的人体耦合智能信息输入***通过定位焦点被动复位模式来修正误差的示意图。
如图5所示，处理单元103的定位焦点被动复位模式中，通过操控设备的加速回位来驱动定位焦点的被动复位从而修正误差。
图5a中，操控设备向右移动较小位移，定位焦点向右移动较大位移，定位焦点出现较大误差。
图5b中，操控设备通过反向加速移动回位，驱动定位焦点也反方向加速移动回位，从而有效减少误差。
图6是本发明的人体耦合智能信息输入***通过操控锁定模式修正误差的示意图。
如图6所示，处理单元103的操控锁定模式中，通过将操控设备对应的界面定位焦点进行锁定，通过操控设备回位以修正误差。
图6a中，在定位焦点定位出现大的误差后，执行锁定操控，即操控设备移动，而界面定位焦点不移动。
图6b中，将操控设备移动到预定的适当位置后，解除锁定，此时，操控设备位置与界面定位焦点位置一致，误差得以修正。
图7是本发明的人体耦合智能信息输入***通过定位焦点主动复位模式修正误差的示意图。
如图7所示，处理单元103的定位焦点主动复位模式中，通过界面定位焦点的主动复位来修正误差。
图7a中，在操控设备处于中心位置，界面定位焦点出现较大误差。
图7b中，触发界面定位焦点的主动复位操作，界面焦点复位到界面中心位置，最终达到如图7b所示的情况，从而修正误差。可选的，也可以使用界面拖动的方式，使界面中心位置与定位焦点位置再次重合，最终达到如图7b所示的情况。从而消除操控误差。
图8是本发明人体耦合智能信息输入***通过相对位移操控模式的示意图。
如图8所示，处理单元103的相对位移操控模式中，通过获取多个操控设备之间的相对位移来实现运动操控。
图8a中，单一操控设备情况下，在载体发生运动时，只能记录载体运动的绝对位置，由于无法区分绝对位移和相对位移，导致无法实现有效操控。
图8b中，在有两个操控设备(A和B)但彼此之间没有联系的情况下，在载体发生运动时，两个操控设备只能分别记录载体运动的绝对位置，由于彼此间没有联系，所以无法区分绝对位移和相对位移，导致无法实现有效操控。
图8c中，本发明中两个或多个操控设备之间通过所述处理单元103进行联系，当载体发生运动时，两个操控设备可以分别感知位移变化情况，处理单元103先解析出两个操控设备各自的绝对位移，然后解析出双操控设备之间的相对位移，通过相对位移实现运动情况下的有效操控。
通过上述相对位移操控模式，在运动状态下处理单元103可以通过人体的相对位移来进行操控；在载体较为剧烈的运动时，处理单元103可以锁定屏幕，只提供一些简单的操作。
进一步，在运动状态下处理单元103可以通过不同传感器各自的绝对运动解析出不同传感器之间的相对运动，进而计算出人体不同部位之间的相对位移。
可选的，处理单元103可以关闭所述空间信息感知单元的位移模式，只探测所述空间信息感知单元的空间角度的变化，并通过所述角度的变化来进行操控。
进一步，本发明的***通过位于指环中的空间信息感知单元101实现手势的识别与输入，如“打对号”、“打叉号”、“画圆圈”等等，通过这些自然的手势，实现对常用键的确认，如“是”、“确认”、“否”、“取消”等等。
进一步，本发明的***通过位于所述智能眼镜中的空间信息感知单元101实现头部的旋转和／或移动的识别与输入。
进一步，本发明的***可以实现图像浏览功能。例如，所述***在进行图像浏览时，可以通过所述空间信息感知单元101探测头部前后移动和上下左右侧向的旋转情况，通过前后移动，实现图像的自然放大、缩小；在图像较大，不能在显示器中完全显示的情况下，通过头部上下左右和侧向的旋转，实现对图像各个角度的浏览；
进一步，所述***在进行图像浏览时，可以通过所述空间信息感知单元101探测手部前后移动和上下左右侧向的旋转情况，通过前后移动，实现图像的自然放大、缩小；在图像较大，不能在显示器中完全显示的情况下，通过手部上下左右和侧向的旋转，实现对图像各个角度的浏览。
进一步，本发明的***可以实现文字输入功能。例如，所述***在进行文字输入时，通过所述空间信息感知单元101将手部的空间运动轨迹解析成文字，从而实现文字的自然和高效输入。
所述***在靠近用户身体的时候，通过摄像头或光学扫描的形式，采集用户眼睛或皮肤纹理信息，通过与保存的录入信息比对，从而实现高效身份认证和快速登录。
图9是本发明的人体耦合智能信息输入***中语音识别模式示意图。
如上所述，本发明的人体耦合智能信息输入***还进一步包括语音输入单元105，用于实现语音输入信号的采集、转换和发送。
图9a中显示了传统的语音识别模式，该识别模式中，需要与庞大的语料库进行比对识别，资源消耗大，效率低，识别准确率低。
图9b显示了本发明的人体耦合智能信息输入***中语音识别模式，该模式中，将所采集的输入语音信号与控件相关的语料进行匹配，极大降低了语音匹配的复杂度，可以有效提高语音识别的效率和准确率。具体来说，首先根据操控设备对应的定位焦点当前所处的位置，分析焦点所在的控件相关的各种可能操控，然后从基础语料中精准地提取控件相关的原始语料，与这些控件相关的语料进行匹配、对比和识别，然后返回识别结果。
如上所述，本发明将所采集的输入语音信号与控件相关的原始语料进行自动匹配，实现对操控焦点当前所处的位置所对应的界面的语音操控。由于实现了焦点定位和与各类控件相对应的语音操控，故可以实现语音在软件***的全局操控，可以有效拓展语音操控的广度和深度。
图10是本发明的人体耦合智能信息输入方法的流程示意图。
如图10所示，本发明的人体耦合智能信息输入方法包括下述步骤：
步骤S1，获取人体的空间信息和时间信息。具体来说，通过位于佩戴于手部的指环和／或佩戴于头部的智能眼镜来获取人体的方位、姿态信息和时间信息。
所述人体的空间信息包括方位、姿态信息，例如包括：头部、手部在空间中三个维度的位移：包括前后位移，上下位移、左右位移，或者是这些位移的组合。所述人体的空间信息包括位置信息，例如通过卫星定位***、手机基站、WIFI中的至少一种获取的人***置信息。
步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息输出相应的操控指令。本步骤中，通过对获取的人体方位、姿态信息和时间信息进行处理，实现方位、姿态、时间信息与人体的动作的动态匹配，使得与人体耦合的空间与时间信息能够高效、精准的输入，实现对软件界面的自然操控和精确定位。本步骤中，通过边界回位模式、操控放大模式、操控加速模式、锁定操控模式、定位焦点主动／被动复位模式中的至少一种来修正操控误差。
步骤S3，将操控指令发送给外部设备以实现相应的操作。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (11)

1.一种人体耦合智能信息输入***，包括：
空间信息感知单元(101)，佩戴在人体预定部位上，用于获取人体的空间三维信息并发送给处理单元(103)；
时钟单元(102)，连接到处理单元(103)，用于提供时间信息；
处理单元(103)，用于对人体的空间信息和时间信息进行处理，并根据所述信息向输出单元(104)输出相应的操控指令；以及
输出单元(104)，用于将所述操控指令发送给外部设备。
2.根据权利要求1所述的***，所述空间信息包括人体的方位信息、姿态信息和位置信息。
3.根据权利要求2所述的***，所述空间信息感知单元(101)包括：
指南针，用于获取人体的方位信息；
陀螺仪，用于获取人体的姿态信息；和／或
无线信号模块，用于获取人体的位置信息。
4.根据权利要求3所述的***，所述无线信号模块通过卫星定位***、手机基站、WIFI中的至少一种获取人体的位置信息。
5.根据权利要求3所述的***，所述空间信息感知单元(101)进一步包括下述中的至少一种：加速度传感器、方向传感器、磁力传感器、重力传感器、旋转矢量传感器、线性加速度传感器。
6.根据权利要求2所述的***，所述人体的方位、姿态信息包括：
头部、手部在空间中三个维度的位移：包括前后位移，上下位移、左右位移，或者是这些位移的组合；
头部、手部的各种角度变化，包括左右水平旋转、上下旋转和侧向旋转，或是这些旋转方式的组合；和／或
绝对位移与相对位移。
7.根据权利要求1所述的***，还包括：
语音输入单元(105)，用于接收并识别人体发出的语音指令，转换成语音信号后发送给处理单元(103)；和／或
光学采集单元，用于在靠近用户身体时采集用户眼睛或皮肤纹理信息，通过与保存的录入信息比对，实现身份认证和登录。
8.根据权利要求1所述的***，所述处理单元(103)通过边界回位模式、操控放大模式、操控加速模式、操控锁定模式、定位焦点被动复位模式、定位焦点主动复位模式以及相对位移操控模式中的至少一种来修正操控误差，其中：
所述边界回位模式在显示界面上预先设置了误差边界，将操控设备的定位焦点限制在该误差边界范围内移动，当操控设备回位时实施误差修正；
所述操作放大模式通过将操控设备的位移在显示界面上进大来实现操控误差的修正；
所述操作加速模式中，通过将操控设备的加速度传递给界面定位焦点，使其相应的加速移动达到操控目的；
所述操控锁定模式中，通过将操控设备对应的界面定位焦点进行锁定，通过操控设备回位以修正误差；
所述定位焦点被动复位模式中，通过操控设备的加速回位来驱动定位焦点的被动复位从而修正误差；
所述定位焦点主动复位模式中，通过界面定位焦点的主动复位来修正误差；
所述相对位移操控模式中，通过获取多个操控设备之间的相对位移来实现运动状态下的操控。
9.根据权利要求8所述的***，其特征在于，
在运动状态下所述处理单元(103)通过不同传感器各自的绝对运动，解析出不同传感器之间的相对运动，计算出人体的相对位移，并通过人体的相对位移来进行操控；
所述处理单元(103)通过关闭所述空间信息感知单元(101)的位移模式，只探测所述空间信息感知单元(101)的空间角度的变化，并通过所述角度的变化来进行操控；
所述处理单元(103)通过位于设置在指环中的所述空间信息感知单元(101)实现手势的识别与输入，实现图像的放大、缩小和各个角度的浏览；
所述处理单元(103)通过设置在所述智能眼镜中的所述空间信息感知单元(101)实现头部的旋转和／或移动的识别与输入，实现图像的放大、缩小和各个角度的浏览；和／或
所述空间信息感知单元(101)将手部的空间运动轨迹解析成文字，实现的识别与文字的输入。
10.根据权利要求7所述的***，其特征在于，
所述处理单元(103)根据定位焦点当前所处位置的相关信息，分析定位焦点所在的控件相关的各种可能操控，从基础语料中提取相关操控对应的原始语料；
所述处理单元(103)根将所采集的语音输入信号与控件相关操控的原始语料进行匹配和识别，实现对操控焦点当前所处的位置所对应的界面的语音操控；和／或
所述处理单元(103)根据所述人体的方位、姿态信息对所述语音输入单元(105)的语音输入信号进行识别与处理。
11.一种人体耦合智能信息输入方法，包括以下步骤：
步骤S1，获取人体的空间信息和时间信息；
步骤S2，对人体的空间信息和时间信息进行处理，并根据所述信息输出相应的操控指令；
步骤S3，将操控指令发送给外部设备以实现相应的操作。
CN201310529685.4A 2013-11-01 2013-11-01 人体耦合智能信息输入***及方法 Expired - Fee Related CN103558915B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310529685.4A CN103558915B (zh) 2013-11-01 2013-11-01 人体耦合智能信息输入***及方法
PCT/CN2014/083202 WO2015062320A1 (zh) 2013-11-01 2014-07-29 人体耦合智能信息输入***及方法
US15/033,587 US20160283189A1 (en) 2013-11-01 2014-07-29 Human Body Coupled Intelligent Information Input System and Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310529685.4A CN103558915B (zh) 2013-11-01 2013-11-01 人体耦合智能信息输入***及方法

Publications (2)

Publication Number Publication Date
CN103558915A true CN103558915A (zh) 2014-02-05
CN103558915B CN103558915B (zh) 2017-11-07

Family

ID=50013192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310529685.4A Expired - Fee Related CN103558915B (zh) 2013-11-01 2013-11-01 人体耦合智能信息输入***及方法

Country Status (3)

Country Link
US (1) US20160283189A1 (zh)
CN (1) CN103558915B (zh)
WO (1) WO2015062320A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入***及方法
CN104156070A (zh) * 2014-08-19 2014-11-19 北京行云时空科技有限公司 一种人体智能输入体感操控***及方法
CN104166466A (zh) * 2014-09-17 2014-11-26 北京行云时空科技有限公司 一种带辅助控制的体感操控***及方法
CN104200555A (zh) * 2014-09-12 2014-12-10 四川农业大学 一种指环手势开门的方法和装置
CN104484047A (zh) * 2014-12-29 2015-04-01 北京智谷睿拓技术服务有限公司 基于可穿戴设备的交互方法及交互装置、可穿戴设备
WO2015062320A1 (zh) * 2013-11-01 2015-05-07 王洪亮 人体耦合智能信息输入***及方法
CN106204431A (zh) * 2016-08-24 2016-12-07 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106325527A (zh) * 2016-10-18 2017-01-11 深圳市华海技术有限公司 人体动作识别***
CN108509048A (zh) * 2018-04-18 2018-09-07 黄忠胜 一种智能设备的操控装置及其操控方法
WO2022000448A1 (zh) * 2020-07-03 2022-01-06 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557170A (zh) * 2016-11-25 2017-04-05 三星电子（中国）研发中心 对虚拟现实设备上的图像进行缩放的方法及装置
WO2018097632A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Method and device for providing an image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023731A (zh) * 2010-12-31 2011-04-20 北京邮电大学 一种适用于移动终端的无线微型指环鼠标
CN102221975A (zh) * 2010-06-22 2011-10-19 微软公司 使用运动捕捉数据的项目导航
CN102591513A (zh) * 2010-11-02 2012-07-18 索尼公司 显示设备、位置校正方法以及程序
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控***和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0201457L (sv) * 2002-05-14 2003-03-18 Christer Laurell Styranordning för en markör
CN101807112A (zh) * 2009-02-16 2010-08-18 董海坤 基于手势识别的pc智能输入***
CN101968655B (zh) * 2009-07-28 2013-01-02 十速科技股份有限公司 光标位置的偏差校正方法
RO126248B1 (ro) * 2009-10-26 2012-04-30 Softwin S.R.L. Sistem şi metodă pentru aprecierea autenticităţii semnăturii olografe dinamice
CN202433845U (zh) * 2011-12-29 2012-09-12 海信集团有限公司 一种手持激光发射装置
CN103369383A (zh) * 2012-03-26 2013-10-23 乐金电子(中国)研究开发中心有限公司 空间遥控器的控制方法、装置、空间遥控器及多媒体终端
CN103150036B (zh) * 2013-02-06 2016-01-20 宋子健 一种信息采集***和方法、人机交互***和方法及一种鞋
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221975A (zh) * 2010-06-22 2011-10-19 微软公司 使用运动捕捉数据的项目导航
CN102591513A (zh) * 2010-11-02 2012-07-18 索尼公司 显示设备、位置校正方法以及程序
CN102023731A (zh) * 2010-12-31 2011-04-20 北京邮电大学 一种适用于移动终端的无线微型指环鼠标
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控***和方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015062320A1 (zh) * 2013-11-01 2015-05-07 王洪亮 人体耦合智能信息输入***及方法
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入***及方法
CN104156070A (zh) * 2014-08-19 2014-11-19 北京行云时空科技有限公司 一种人体智能输入体感操控***及方法
CN104200555A (zh) * 2014-09-12 2014-12-10 四川农业大学 一种指环手势开门的方法和装置
CN104166466A (zh) * 2014-09-17 2014-11-26 北京行云时空科技有限公司 一种带辅助控制的体感操控***及方法
CN104484047A (zh) * 2014-12-29 2015-04-01 北京智谷睿拓技术服务有限公司 基于可穿戴设备的交互方法及交互装置、可穿戴设备
CN106204431A (zh) * 2016-08-24 2016-12-07 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106204431B (zh) * 2016-08-24 2019-08-16 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106325527A (zh) * 2016-10-18 2017-01-11 深圳市华海技术有限公司 人体动作识别***
CN108509048A (zh) * 2018-04-18 2018-09-07 黄忠胜 一种智能设备的操控装置及其操控方法
WO2022000448A1 (zh) * 2020-07-03 2022-01-06 华为技术有限公司 车内隔空手势的交互方法、电子装置及***

Also Published As

Publication number Publication date
US20160283189A1 (en) 2016-09-29
WO2015062320A1 (zh) 2015-05-07
CN103558915B (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN103558915A (zh) 人体耦合智能信息输入***及方法
US11710351B2 (en) Action recognition method and apparatus, and human-machine interaction method and apparatus
EP3992845A1 (en) Action identification method based on artificial intelligence and related apparatus
CN102262476B (zh) 传输触觉信息的***和方法
KR102290892B1 (ko) 이동단말기 및 그것의 제어방법
CN102789313B (zh) 一种用户交互***和方法
CN108985220B (zh) 一种人脸图像处理方法、装置及存储介质
US20240039908A1 (en) Wireless Dongle for Communications with Wireless Earpieces
CN110942479B (zh) 虚拟对象控制方法、存储介质及电子设备
CN104375886B (zh) 信息处理方法、装置和电子设备
CN109901698B (zh) 一种智能交互方法、可穿戴设备和终端以及***
CN110505403A (zh) 一种录像处理方法及装置
US20140320537A1 (en) Method, device and storage medium for controlling electronic map
CN110443769A (zh) 图像处理方法、图像处理装置及终端设备
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN108227726A (zh) 无人机飞行控制方法、装置、终端及存储介质
CN108241379A (zh) 用于控制无人机的方法和用于控制无人机的电子设备
WO2022252823A1 (zh) 直播视频生成方法及装置
CN109544445B (zh) 一种图像处理方法、装置及移动终端
CN107124560A (zh) 一种自拍***、媒质和方法
US20200029214A1 (en) A device, computer program and method
CN107924286A (zh) 电子设备及电子设备的输入方法
CN109376669A (zh) 智能助手的控制方法、移动终端及计算机可读存储介质
CN109388326A (zh) 一种电子设备、双屏电子设备的控制方法及装置
CN116486463B (zh) 图像处理方法、相关装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Wang Hongliang

Document name: Notification to Pay the Fees

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Wang Hongliang

Document name: Notification of Termination of Patent Right

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171107

Termination date: 20181101