CN104049752B - 基于人体的交互方法及交互装置 - Google Patents

基于人体的交互方法及交互装置 Download PDF

Info

Publication number
CN104049752B
CN104049752B CN201410243743.1A CN201410243743A CN104049752B CN 104049752 B CN104049752 B CN 104049752B CN 201410243743 A CN201410243743 A CN 201410243743A CN 104049752 B CN104049752 B CN 104049752B
Authority
CN
China
Prior art keywords
signal
secondary signal
user
information
phase place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410243743.1A
Other languages
English (en)
Other versions
CN104049752A (zh
Inventor
杜琳
史元春
王运涛
喻纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201410243743.1A priority Critical patent/CN104049752B/zh
Publication of CN104049752A publication Critical patent/CN104049752A/zh
Priority to US15/316,135 priority patent/US10521018B2/en
Priority to PCT/CN2014/095286 priority patent/WO2015184778A1/en
Application granted granted Critical
Publication of CN104049752B publication Critical patent/CN104049752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请实施例公开了一种基于人体的交互方法及交互装置，所述方法包括：获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。本申请实施例的至少一个实施方案仅通过经过一用户身体传输的一信号的相位变化信息来确定该用户的运动和/或姿态信息，使得用户的运动和/或姿态信息确定起来更加方便、准确。

Description

基于人体的交互方法及交互装置
技术领域
本申请涉及一种交互技术，尤其涉及一种基于人体的交互方法及交互装置。
背景技术
随着移动电子设备功能的越来越强大、以及可穿戴设备的普及，人们希望与这些设备的交互越来越便捷。这些设备提供的交互方式也从传统的只能通过按键和触摸屏的交互，发展到了还可以通过虚拟键盘、语音识别、注视点识别、手势识别等多种方式进行交互。
发明内容
本申请的目的是：提供一种基于人体的交互方案。
第一方面，本申请提供了一种基于人体的交互方法，包括：
获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；
根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
第二方面，本申请提供了一种基于人体的交互装置，包括：
第一获取模块，用于获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；
第一确定模块，用于根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
第三方面，本申请提供了一种可穿戴设备，包含上面所述的基于人体的交互装置。
本申请实施例的至少一个实施方案仅通过经过一用户身体传输的一信号的相位变化信息来确定该用户的运动和/或姿态信息，使得用户的运动和/或姿态信息确定起来更加方便、准确。此外，在本申请实施例的至少一个实施方案中，除了仅通过上述的相位变化信息确定上述的运动和/或姿态信息外，还仅通过所述信号的幅度变化信息来确定所述用户的触碰动作信息，可以更加准确的识别用户的触碰输入，也可以组合不同用户运动和/或姿态下的不同触碰动作，为用户提供更加灵活的应用。
附图说明
图1a和图1b分别为本申请实施例人体传输通道的示意图及其等效电路示意图；
图2为本申请实施例的一种交互方法的流程图；
图3a-3g为本申请实施例用户的多个动作姿态的示意图；
图4a-4g为分别与图3a-3g所示的用户的多个动作姿态对应的相位变化信息模板示意图；
图5为本申请实施例的另一种交互方法的流程图；
图6为本申请实施例的用户触摸自己身体时第二信号的电压随时间变化的示意图；
图7为本申请实施例一种交互装置的结构示意图；
图8a为为本申请实施例另一种交互装置的结构示意图；
图8b-8d为本申请实施例一种交互装置的第一获取模块的三种结构示意图；
图8e为本申请实施例一种交互装置的第二获取模块的结构示意图；
图9为本申请实施例一种可穿戴设备的结构示意图；
图10为本申请实施例又一种交互装置的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
本申请的发明人经过研究发现，人体作为电信号传输通道时会呈现分布参数的特性，即部分信号会经过人体传输，另外一部分会经过空气传播，形成一个综合的具有电阻和电容特性的传输通道。如图1a所述为人体传输通道的示意图，图1b所示为所述人体传输通道的等效电路图。当用户改变姿态时，人体传输通道的电容特性会发生较大改变，直接影响到接收信号的相位信息，此时电阻特性几乎不变，因此，通过检测和学习信号的相位变化信息，就可以独立检测出用户的运动和/或姿态信息，进而可以确定用户的指令输入。因此，如图2所示，本申请实施例提供了一种基于人体的交互方法，包括：
S110获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；
S120根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
举例来说，本发明提供的交互装置作为本实施例的执行主体，执行S110～S120。具体地，所述交互装置可以以软件、硬件或软硬件结合的方式设置在用户设备中，或者，所述交互装置本身就是所述用户设备；所述用户设备包括但不限于：智能手环、智能戒指、智能腰带等可穿戴设备，以及智能手机、平板电脑等便携设备等。
本申请实施例仅通过经过一用户身体传输后获取的第二信号的相位变化信息来确定该用户的运动和/或姿态信息，使得用户的运动和/或姿态信息确定起来更加方便、准确，为基于用户的运动和/或姿态信息进行的交互提供了基础。
通过下面的实施例进一步说明本申请实施例的各步骤：
S110获取一第二信号的相位变化信息。
在本申请实施例中，所述第一信号为一电信号，例如频率为10MHz，电压幅度为10伏的交流电信号。
在本申请实施例中，所述第二信号由所述第一信号经过所述至少一传输介质传输形成。在本申请实施例中，所述至少一传输介质除了上述的所述用户的身体以外，还可以包括用户身体附近的环境介质(如空气)，甚至还可以包含所述用户的服饰。在本申请实施例中，主要采用的是在人体传输中呈现近场特性的交流电信号。
在本申请实施例中，所述第一信号产生在所述用户的身体上。例如，例如通过一发射模块的发射电极贴在所述用户的身体上，所述发射模块通过所述发射电极将所述第一信号直接发射在所述用户的身体上。在一种可能的实施方式中，所述第一信号产生在所述用户的身体的第一位置，并经过所述用户的身体以及所述用户身体附近的空气由所述第一位置到达一第二位置，形成所述第二信号。即，在所述第一位置产生的第一信号，一部分通过所述用户的身体传输到所述第二位置，另一部分还通过所述空气的传输到达所述第二位置。
在本申请实施例一种可能的实施方式中，上述的交互装置可以包括所述发射模块，用于在所述第一位置发射所述第一信号以产生所述第一信号。
在另一种可能的实施方式中，所述第一信号由所述交互装置外部的其它设备的所述发射模块在所述第一位置发射，并在所述第二位置形成所述第二信号。
本申请实施例中，由于所述第一信号产生在所述用户的身体上，与采用环境中的电磁噪声等作为发射信号相比，本申请实施例中的第一信号和第二信号受环境影响小、在任何环境中都可以获取到可以准确确定所述用户的运动和/或姿态信息的所述第二信号。
在本申请实施例中，所述步骤S110中获取所述相位变化信息的方式包括多种。在一种可能的实施方式中，所述获取所述相位变化信息包括：
获取所述第一信号的至少一信号特征以及所述第二信号；
处理所述至少一信号特征和所述第二信号得到所述相位变化信息。
在本申请实施例中，所述至少一信号特征包括：时序码字；或频率的指纹、平均值和/或差分值；或频谱的指纹、平均值和/或差分值；或幅度的指纹、平均值和/或差分值；或相位的指纹、平均值和/或差分值。
在本申请实施例中，所述处理包括：
根据所述第一信号的所述至少一信号特征对所述第一信号进行恢复，得到一与所述第一信号相同或相似的恢复信号；
将所述恢复信号与所述第二信号一起进行处理，例如，通过Costas环等锁相环技术进行处理，得到所述相位变化信息。
当然，在一种可能的实施方式中，本发明的方法直接获取所述第一信号(在本实施方式中，可以认为获取了所述第一信号的所有信号特征)，则不需要进行上述的信号恢复，直接对所述第一信号和所述第二信号进行处理就可以得到所述相位变化信息。
在本申请实施例中，获取所述第二信号的方式可以有多种，例如：
在一种可能的实施方式中，作为本申请实施例方法执行主体的所述交互装置中包含一信号采集模块，本申请的方法通过采集获取所述第二信号。例如：在所述用户的身体的所述第二位置采集所述第二信号。
在另一种可能的实施方式中，通过从外部接收的方式获取所述第二信号。即，外部设备的信号采集模块采集到所述第二信号后，本申请实施例执行主体的上述交互装置通过通信模块获取从所述外部设备接收所述第二信号。
在另一种可能的实施方式中，所述获取所述相位变化信息包括：
获取设定时间内的所述第二信号；
确定所述设定时间内的第一时刻和第二时刻分别对应的所述第二信号的至少一信号特征；
处理所述第一时刻和所述第二时刻分别对应的所述第二信号的至少一信号特征得到所述相位变化信息。
与上面可以通过在某一时刻的第一信号的信号特征以及第二信号得到所述第二信号相对于所述第一信号的所述相位变化信息不同的是，本实施方式不需要获取所述第一信号的信号特征，在本实施方式中，采用的是所述第二信号在一段时间内的前后对比来获取所述第二信号在不同时间段的所述相位变化信息。
在本实施方式中，假设，确定某一时刻所述第二信号的至少一信号特征需要根据该时刻之前N个周期(N为自然数)内的所述第二信号来确定，因此，为了确定所述第一时刻和所述第二时刻分别对应的所述第二信号的至少一信号特征，所述设定时间至少包含2N个周期。例如：根据M+1～M+N周期(M为自然数)的第二信号得到所述第一时刻对应的所述第二信号的至少一信号特征；再根据M+N+1～M+2N周期的第二信号得到所述第二时刻对应的所述第二信号的至少一信号特征。
S120根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
在本申请实施例中，所述运动和/或姿态不包括用户直接或间接通过导体触碰自己的身体的运动或姿态。并且，这里的运动和/或姿态更优选的是会给所述用户的身体传输通道的电容特性带来较为明显变化的运动和/或姿态，例如下面所述的抬起胳膊、跳起、转圈等动作，而用户的手势变化等，由于对所述电容特性的改变较小，因此不优选的被作为本申请实施例中所确定的运动和姿态。正如本申请下面将描述的，触碰的输入通过所述第二信号的幅度变化来确定。
在本申请实施例一种可能的实施方式中，所述第一对应关系例如可以为：
所述至少一相位变化信息与所述至少一运动和/或姿态信息之间的第一关系映射表。通过所述第一关系映射表，可以找到与所述相位变化信息对应的所述运动和/或姿态信息。
在本申请实施例的另一种可能的实施方式中，所述第一对应关系例如还可以为一第一分类器，通过所述第一分类器对应的分类算法，可以获取与所述相位变化信息对应的所述运动和/或姿态信息。
在本申请实施例中，所述方法还包括：
获取所述第一对应关系。
例如：通过机器学习获取所述第一对应关系。
以所述第一对应关系为所述第一分类器为例，在本申请中，通过机器学习获取所述第一对应关系时，通常需要根据已知用户的多个运动和/或姿态信息对应的多个相位变化信息来训练所述第一分类器。
当用户改变身体姿态时，例如步行、起立、坐下、挥手等，根据所述第二信号的相位变化信息，通过预先训练的所述第一分类器就可以进行相应姿态和/或动作的识别。例如图3a-3g、4a-4g中所示，当所述第二信号随时间(Time)变化的相位变化信息PC分别与图4a至图4g所示的七种模板(Template1～7)对应时，分别对应用户抬起左胳膊(图3a left armup)、用户抬起右胳膊(图3b right arm up)、挥动左手(图3c left wave)、挥动右手(图3dright wave)、转圈(图3e rotate)、跳起(图3f jump)、准备触碰自身身体(图3g prepareto on-body touch)的动作和姿态。
在本申请实施例的一种可能的实施方式中，可以将确定的所述运动和/或姿态信息提供给外部的软件或硬件，来进行与用户的运动和/或姿态对应功能的实现。
在本申请实施例的另一种可能的实施方式中，所述方法还包括：
根据至少一运动和/或姿态信息与至少一第一指令之间的第二对应关系，确定与所述运动和/或姿态信息对应的一第一指令。
在本申请实施例中，所述第二对应关系例如可以为所述至少一运动和/或姿态信息与所述至少一第一指令之间的一第二关系映射表。
在一种可能的实施方式中，可以通过用户设定的方式来获取所述第二对应关系。在另一种可能的实施方式中，还可以根据用户之前的习惯，通过机器学习的方式来获取所述第二对应关系。
这里，所述第一指令例如可以是对一用户设备的操作指令。
除了上面，通过信号的相位变化来确定用户的运动和/或姿态信息外，本申请的发明人经过研究还发现，用户进行触碰身体输入指令时，由于构建了新的人体通道，电阻特性会发生较大改变，直接影响到接收信号的幅度信息，此时电容特性几乎不变。这样通过检测和学习信号的幅度信息，就可以独立的检测出用户的触碰身体输入指令。因此，如图5所示，在本申请实施例中，所述方法还包括：
S130获取所述第二信号的幅度变化信息；
S140根据至少一幅度变化信息与所述用户触碰自己身体的至少一触碰动作信息之间的第三对应关系，确定所述幅度变化信息对应的所述用户的一触碰动作信息。
在本申请实施例中，与上面获取第一对应信息相似的，所述第三对应关系可以是一第三关系映射表的形式，也可以是一第二分类器的形式。在本申请实施例中也可以通过机器学习获取所述第三对应关系。
在本申请实施例中，所述用户触碰自己身体指的是：所述用户身体的一部分去触碰所述用户身体的另一部分，例如，所述用户的左手触碰右手；或者为所述用户的一部分通过至少一导体来间接触碰所述用户身体的另一部分。即，所述用户触碰自己身体指的是会改变上述电子特性的触碰。
本实施方式中，当用户触碰身体输入指令时，例如右手在左前臂上点击、滑动、或握住等时，检测所述第二信号的幅度变化信息，通过预先训练的所述第二分类器进行相应姿态和/或动作的识别。例如图6中所示为所述第二信号的电压(Voltage)幅度随着时间(Time)变化的曲线图。其中，在第175～184秒的时间区间内，被测用户触碰自己的身体，而在184秒之后的五个上升的峰值分别为用户用右手手掌分别握左臂、左手腕、左手上部、左手中部、左手指尖形成的电压变化。从图6可以看出，所述第二信号的幅度对用户触碰自己的响应非常迅速，并且对不同的触碰位置的区分度较高。此外，除了图6以外所示的用户右手握左手各部分外，本申请的发明人还发现，如果使用右手的一手指分别点击上述的左臂、左手腕、左手上部、左手中部、左手指尖对应位置，也会得到五个上升峰值，并且与以手掌握住的触碰相比，所述点击触碰带来的第二信号的幅度变化要小得多。因此，除了上面所述的触碰位置不同的区分外，对于不同的触碰方式，也可以通过所述幅度变化很好的区分开。
在本申请实施例中，获取所述幅度变化信息包括：
获取设定时间内的所述第二信号；
确定所述设定时间内的第一时刻与第二时刻分别对应的所述第二信号的幅度信息；
对比所述第一时刻与所述第二时刻分别对应的所述第二信号的幅度信息得到所述幅度变化信息。
在本申请实施例中，可以通过设定时间的所述第二信号同时获取上面所述的相位变化信息和所述幅度变化信息。
在本申请实施例一种可能的实施方式中，可以将确定的所述触碰动作信息向外部提供。在另一种可能的实施方式中，所述方法还包括：
根据至少一触碰动作信息与至少一第二指令之间的第四对应关系，确定所述触碰动作信息对应的一第二指令。
在本实施方式中，由于以通过在信号幅度和相位两个维度上同时检测用户身体的运动姿态和触碰身体输入指令，这样可以更加准确的识别触碰输入，也可以组合两种输入方式为用户提供更加灵活的应用。例如：用户坐在沙发上看电视时，触碰身体输入指令可以自动匹配到电视上；用户在户外步行时，触碰身体输入指令可以自动匹配到智能手表上；用户躺在床上时，触碰身体输入指令自动匹配到灯光控制***上。
本领域技术人员可以理解，在本申请具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
如图7所示，本申请提供了一种基于人体的交互装置700，包括：
第一获取模块710，用于获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；
第一确定模块720，用于根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
本申请实施例仅通过经过一用户身体传输后获取的第二信号的相位变化信息来确定该用户的运动和/或姿态信息，使得用户的运动和/或姿态信息确定起来更加方便、准确，为基于用户的运动和/或姿态信息进行的交互提供了基础。
通过下面的实施例进一步说明书本申请实施例的各模块：
在本申请实施例中，所述第一信号为一电信号。
在本申请实施例中，所述第一信号产生在所述用户的身体上。具体参见上述方法实施例中对应的描述。
例如：如图8a所示，在一种可能的实施方式中，所述装置700还包括：发射模块730，用于在所述用户的身体的一第一位置发射所述第一信号。当然，本领域的技术人员可以知道，所述装置可以不包括所述发射模块，而是利用其它设备的发射模块产生所得第一信号。
在本申请实施例中，所述至少一传输介质除了上述的所述用户的身体以外，还可以包括用户身体附近的环境介质(如空气)，甚至还可以包含所述用户的服饰。
本申请实施例中，由于所述第一信号产生在所述用户的身体上，与采用环境中的电磁噪声等作为发射信号相比，本申请实施例中的第一信号和第二信号受环境影响小、在任何环境中都可以获取到可以准确确定所述用户的运动和/或姿态信息的所述第二信号。
在本申请实施例中，所述第一获取模块710获取所述相位变化信息的方式包括多种。
如图8b所示，在一种可能的实施方式中，所述第一获取模块710包括：
第一信号获取单元711，用于获取所述第一信号的至少一信号特征；
第二信号获取单元712，用于获取所述第二信号；
第一处理单元713，用于处理所述至少一信号特征和所述第二信号得到所述相位变化信息。
在本申请实施例中，所述至少一信号特征包括：时序码字；或频率的指纹、平均值和/或差分值；或频谱的指纹、平均值和/或差分值；或幅度的指纹、平均值和/或差分值；或相位的指纹、平均值和/或差分值。
在一种可能的实施方式中，所述第一信号获取单元711例如可以为一通信单元，用于接收所述第一信号的至少一信号特征。在另一种可能的实施方式中，例如，所述第一信号的至少一信号特征例如可以是存储在所述装置700的一存储模块740中，所述第一信号获取单元711可以通过读取的方式，从所述存储模块740获取对应的信号特征。当然，上文提及的以及下文将提及的第一、第二、第三和第四对应关系也可以存储在所述存储模块740中。
如图8b所示，在一种可能的实施方式中，所述第二信号获取单元712包括：
采集子单元7121，用于采集所述第二信号。例如，用于在所述用户的身体的一第二位置采集所述第二信号。
如图8c所示，在另一种可能的实施方式中，所述第二信号获取单元712包括：
通信子单元7122，用于从外部接收所述第二信号。
在本申请实施例中，所述第一处理单元713进一步用于：
根据所述第一信号的所述至少一信号特征对所述第一信号进行恢复，得到一与所述第一信号相同或相似的恢复信号；
将所述恢复信号与所述第二信号一起进行处理，例如，通过Costas环等锁相环技术进行处理，得到所述相位变化信息。
当然，在一种可能的实施方式中，本发明的装置700可以直接获取所述第一信号(在本实施方式中，可以认为获取了所述第一信号的所有信号特征)，则不需要进行上述的信号恢复，直接对所述第一信号和所述第二信号进行处理就可以得到所述相位变化信息。
如图8d所示，在另一种可能的实施方式中，所述第一获取模块710包括：
第二信号获取单元714，用于获取设定时间内的所述第二信号；
第一确定单元715，用于确定所述设定时间内的第一时刻和第二时刻分别对应的所述第二信号的至少一信号特征；
第二处理单元716，用于处理所述第一时刻和所述第二时刻分别对应的所述第二信号的至少一信号特征得到所述相位变化信息。
在本实施方式中，所述第二信号获取单元714可以与图8b或图8c所示的第二信号获取单元712的结构和功能相同。
与上面可以通过在某一时刻的第一信号的信号特征以及第二信号得到所述第二信号相对于所述第一信号的所述相位变化信息不同的是，本实施方式不需要获取所述第一信号的信号特征，在本实施方式中，采用的是所述第二信号在一段时间内的前后对比来获取所述第二信号在不同时间段的所述相位变化信息。具体参见上述方法实施例中对应的描述，这里不再赘述。
在本申请实施例一种可能的实施方式中，所述第一对应关系例如可以为：
所述至少一相位变化信息与所述至少一运动和/或姿态信息之间的第一关系映射表。通过所述第一关系映射表，可以找到与所述相位变化信息对应的所述运动和/或姿态信息。
在本申请实施例的另一种可能的实施方式中，所述第一对应关系例如还可以为一第一分类器，通过所述第一分类器对应的分类算法，可以获取与所述相位变化信息对应的所述运动和/或姿态信息。
如图8a所示，在本申请实施例中，所述装置700还包括：
第一关系获取模块750，用于获取所述第一对应关系。
在一种可能的实施方式中，所述获第一关系获取模块750包括：
第一机器学习单元751，用于通过机器学习获取所述第一对应关系。
本申请实施例中所述第一关系获取模块750获取所述第一对应关系的实现可参见上述方法实施例中对应的描述。
在本申请实施例的一种可能的实施方式中，例如可以通过一通信模块将确定的所述运动和/或姿态信息提供给外部的软件或硬件，来进行与用户的运动和/或姿态对应功能的实现。
在另一种可能的实施方式中，所述装置700还包括：
第一指令确定模块760，用于根据至少一运动和/或姿态信息与至少一第一指令之间的第二对应关系，确定与所述运动和/或姿态信息对应的一第一指令。
在本申请实施例中，所述第二对应关系例如可以为所述至少一运动和/或姿态信息与所述至少一第一指令之间的一第二关系映射表。
在一种可能的实施方式中，可以通过一用户设定单元来以用户设定的方式来获取所述第二对应关系。在另一种可能的实施方式中，还可以通过一机器学习单元，根据用户之前的习惯，通过机器学习的方式来获取所述第二对应关系。
这里，所述第一指令例如可以是对一用户设备的操作指令。
除了上面，通过信号的相位变化来确定用户的运动和/或姿态信息外，本申请的发明人经过研究还发现，用户进行触碰身体输入指令时，由于构建了新的人体通道，电阻特性会发生较大改变，直接影响到接收信号的幅度信息，此时电容特性几乎不变。这样通过检测和学习信号的幅度信息，就可以独立的检测出用户的触碰身体输入指令。因此，如图8a所示，在本申请实施例中，所述装置700还包括：
第二获取模块770，用于获取所述第二信号的幅度变化信息；
第二确定模块780，用于根据至少一幅度变化信息与所述用户触碰自己身体的至少一触碰动作信息之间的第三对应关系，确定所述幅度变化信息对应的所述用户的一触碰动作信息。
在本申请实施例中，与上面获取第一对应信息相似的，所述第三对应关系可以是一第三关系映射表的形式，也可以是一第二分类器的形式。在本申请实施例中也可以通过机器学习获取所述第三对应关系。
因此，在本申请实施例中，所述装置700还包括：
第三关系获取模块790，用于获取所述第三对应关系。
在一种可能的实施方式中，所述第三关系获取模块790包括：
第二机器学习单元791，用于通过机器学习获取所述第三对应关系。
本实施方式中，当用户触碰身体输入指令时，例如右手在左前臂上点击、滑动、或握住等时，检测所述第二信号的幅度变化信息，通过预先训练的所述第二分类器进行相应姿态和/或动作的识别，具体参见上述方法实施例中对应的描述。
如图8e所示，在本申请实施例中，所述第二获取模块770包括：
第二信号获取单元771，用于获取设定时间内的所述第二信号；
第二确定单元772，用于确定所述设定时间内的第一时刻与第二时刻分别对应的所述第二信号的幅度信息；
第三处理单元773，用于对比所述第一时刻与所述第二时刻分别对应的所述第二信号的幅度信息得到所述幅度变化信息。
在本申请实施例中，所述第一获取模块710和所述第二获取模块770可以通过设定时间的所述第二信号同时获取上面所述的相位变化信息和所述幅度变化信息。
在本申请实施例一种可能的实施方式中，所述装置700还包括：
第二指令确定模块7100，用于根据至少一触碰动作信息与至少一第二指令之间的第四对应关系，确定所述触碰动作信息对应的一第二指令。
当然，在另一种可能的实施方式中，所述装置700还可以不包括所述第二指令确定模块7100，而是通过一通信模块向外部提供所述第二指令。
在本实施方式中，由于以通过在信号幅度和相位两个维度上同时检测用户身体的运动姿态和触碰身体输入指令，这样可以更加准确的识别触碰输入，也可以组合两种输入方式为用户提供更加灵活的应用。
下面结合图1a和图1b所示的人体传输通道来说明本申请实施例装置700的应用场景。
在本申请实施例中，所述装置700包括：
发射模块TX，用于通过佩戴在用户的右手一发射电极TX Electrode发射所述第一信号；
接收模块RX，用于通过佩戴在所述用户的左手的一接收电极RX Electrode采集所述第二信号；
处理模块(图1a和图1b中未示出)，用于获取所述第二信号的相位变化信息并确定与所述相位变化信息对应的所述用户的运动和/或姿态信息。
由图1a和图1b可以看出，所述用户的身体构成的身体节点Body Node与周围的空气一起形成所述人体传输通道。当所述发射模块TX通过所述发射电极TX Electrode发出的所述第一信号经过所述人体传输通道的传输和影响后被所述接收模块RX通过接收电极RXElectrode采集到。
在所述用户的身体为不同的运动、姿态以及不同触摸自己身体状态时，所述人体传输通道的特性发生变化，进而使得所述第二信号发生变化。根据训练的分类器，可以确定所述第二信号发生的变化对应的用户的运动、姿态和触摸自己身体的状态，进而为所述用户的人体输入提供基础。
如图9所示，本申请实施例提供了一种可穿戴设备900，包含上面所述的基于人体的交互装置910。
在本申请实施例中，所述可穿戴设备900例如可以是一智能手环、智能戒指、智能鞋垫等智能可穿戴器件。在一种可能的实施方式中，所述可穿戴设备900例如还可以包含两个智能可穿戴器件。例如：佩戴在用户左手的智能戒指，用于发射上面所述的第一信号；以及佩戴在所述用户右手的智能手环，用于接收所述第二信号，并且进行处理得到对应的指令。
图10为本申请实施例提供的又一种基于人体的交互装置1000的结构示意图，本申请具体实施例并不对基于人体的交互装置1000的具体实现做限定。如图10所示，该基于人体的交互装置1000可以包括：
处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030、以及通信总线1040。其中：
处理器1010、通信接口1020、以及存储器1030通过通信总线1040完成相互间的通信。
通信接口1020，用于与比如客户端等的网元通信。
处理器1010，用于执行程序1032，具体可以执行上述方法实施例中的相关步骤。
具体地，程序1032可以包括程序代码，所述程序代码包括计算机操作指令。
处理器1010可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器1030，用于存放程序1032。存储器1030可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1032具体可以用于使得所述基于人体的交互装置1000执行以下步骤：
获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体；
根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
程序1032中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (33)

1.一种基于人体的交互方法，其特征在于，包括：
获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体，所述第一信号产生在所述用户的身体上；
根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
在所述用户的身体的一第一位置发射所述第一信号。
3.如权利要求1所述的方法，其特征在于，获取所述相位变化信息包括：
获取所述第一信号的至少一信号特征以及所述第二信号；
处理所述至少一信号特征和所述第二信号得到所述相位变化信息。
4.如权利要求3所述的方法，其特征在于，获取所述第二信号包括：
采集所述第二信号。
5.如权利要求4所述的方法，其特征在于，所述采集所述第二信号包括：
在所述用户的身体的一第二位置采集所述第二信号。
6.如权利要求3所述的方法，其特征在于，获取所述第二信号包括：
从外部接收所述第二信号。
7.如权利要求1所述的方法，其特征在于，获取所述相位变化信息包括：
获取设定时间内的所述第二信号；
确定所述设定时间内的第一时刻和第二时刻分别对应的所述第二信号的至少一信号特征；
处理所述第一时刻和所述第二时刻分别对应的所述第二信号的至少一信号特征得到所述相位变化信息。
8.如权利要求3或7所述的方法，其特征在于，所述至少一信号特征包括：时序码字，或以下至少一种的指纹、平均值和/或差分值：
频率、频谱、幅度以及相位。
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一对应关系。
10.如权利要求9所述的方法，其特征在于，所述获取所述第一对应关系包括：
通过机器学习获取所述第一对应关系。
11.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据至少一运动和/或姿态信息与至少一第一指令之间的第二对应关系，确定与所述运动和/或姿态信息对应的一第一指令。
12.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第二信号的幅度变化信息；
根据至少一幅度变化信息与所述用户触碰自己身体的至少一触碰动作信息之间的第三对应关系，确定所述幅度变化信息对应的所述用户的一触碰动作信息。
13.如权利要求12所述的方法，其特征在于，所述方法还包括：
获取所述第三对应关系。
14.如权利要求13所述的方法，其特征在于，所述获取所述第三对应关系包括：
通过机器学习获取所述第三对应关系。
15.如权利要求12所述的方法，其特征在于，获取所述幅度变化信息包括：
获取设定时间内的所述第二信号；
确定所述设定时间内的第一时刻与第二时刻分别对应的所述第二信号的幅度信息；
对比所述第一时刻与所述第二时刻分别对应的所述第二信号的幅度信息得到所述幅度变化信息。
16.如权利要求12所述的方法，其特征在于，所述方法还包括：
根据至少一触碰动作信息与至少一第二指令之间的第四对应关系，确定所述触碰动作信息对应的一第二指令。
17.一种基于人体的交互装置，其特征在于，包括：
第一获取模块，用于获取一第二信号的相位变化信息；所述第二信号由一第一信号经过至少一传输介质的传输形成，所述至少一传输介质包括一用户的身体，所述第一信号产生在所述用户的身体上；
第一确定模块，用于根据至少一相位变化信息与所述用户的至少一运动和/或姿态信息之间的第一对应关系，确定所述相位变化信息对应的所述用户的一运动和/或姿态信息。
18.如权利要求17所述的装置，其特征在于，所述装置还包括：发射模块，用于在所述用户的身体的一第一位置发射所述第一信号。
19.如权利要求17所述的装置，其特征在于，所述第一获取模块包括：
第一信号获取单元，用于获取所述第一信号的至少一信号特征；
第二信号获取单元，用于获取所述第二信号；
第一处理单元，用于处理所述至少一信号特征和所述第二信号得到所述相位变化信息。
20.如权利要求19所述的装置，其特征在于，所述第二信号获取单元包括：
采集子单元，用于采集所述第二信号。
21.如权利要求20所述的装置，其特征在于，所述采集子单元，进一步用于在所述用户的身体的一第二位置采集所述第二信号。
22.如权利要求19所述的装置，其特征在于，所述第二信号获取单元包括：
通信子单元，用于从外部接收所述第二信号。
23.如权利要求17所述的装置，其特征在于，所述第一获取模块包括：
第二信号获取单元，用于获取设定时间内的所述第二信号；
第一确定单元，用于确定所述设定时间内的第一时刻和第二时刻分别对应的所述第二信号的至少一信号特征；
第二处理单元，用于处理所述第一时刻和所述第二时刻分别对应的所述第二信号的至少一信号特征得到所述相位变化信息。
24.如权利要求19或23所述的装置，其特征在于，所述至少一信号特征包括：时序码字，或以下至少一种的指纹、平均值和/或差分值：
频率、频谱、幅度以及相位。
25.如权利要求17所述的装置，其特征在于，所述装置还包括：
第一关系获取模块，用于获取所述第一对应关系。
26.如权利要求25所述的装置，其特征在于，所述第一关系获取模块包括：
第一机器学习单元，用于通过机器学习获取所述第一对应关系。
27.如权利要求17所述的装置，其特征在于，所述装置还包括：
第一指令确定模块，用于根据至少一运动和/或姿态信息与至少一第一指令之间的第二对应关系，确定与所述运动和/或姿态信息对应的一第一指令。
28.如权利要求17所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述第二信号的幅度变化信息；
第二确定模块，用于根据至少一幅度变化信息与所述用户触碰自己身体的至少一触碰动作信息之间的第三对应关系，确定所述幅度变化信息对应的所述用户的一触碰动作信息。
29.如权利要求28所述的装置，其特征在于，所述装置还包括：
第三关系获取模块，用于获取所述第三对应关系。
30.如权利要求29所述的装置，其特征在于，所述第三关系获取模块包括：
第二机器学习单元，用于通过机器学习获取所述第三对应关系。
31.如权利要求28所述的装置，其特征在于，所述第二获取模块包括：
第二信号获取单元，用于获取设定时间内的所述第二信号；
第二确定单元，用于确定所述设定时间内的第一时刻与第二时刻分别对应的所述第二信号的幅度信息；
第三处理单元，用于对比所述第一时刻与所述第二时刻分别对应的所述第二信号的幅度信息得到所述幅度变化信息。
32.如权利要求28所述的装置，其特征在于，所述装置还包括：
第二指令确定模块，用于根据至少一触碰动作信息与至少一第二指令之间的第四对应关系，确定所述触碰动作信息对应的一第二指令。
33.一种可穿戴设备，其特征在于，包含权利要求17-32中任一项所述的基于人体的交互装置。
CN201410243743.1A 2014-06-04 2014-06-04 基于人体的交互方法及交互装置 Active CN104049752B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410243743.1A CN104049752B (zh) 2014-06-04 2014-06-04 基于人体的交互方法及交互装置
US15/316,135 US10521018B2 (en) 2014-06-04 2014-12-29 Human body-based interaction method and interaction apparatus
PCT/CN2014/095286 WO2015184778A1 (en) 2014-06-04 2014-12-29 Human body-based interaction method and interaction apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410243743.1A CN104049752B (zh) 2014-06-04 2014-06-04 基于人体的交互方法及交互装置

Publications (2)

Publication Number Publication Date
CN104049752A CN104049752A (zh) 2014-09-17
CN104049752B true CN104049752B (zh) 2017-04-12

Family

ID=51502718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410243743.1A Active CN104049752B (zh) 2014-06-04 2014-06-04 基于人体的交互方法及交互装置

Country Status (3)

Country Link
US (1) US10521018B2 (zh)
CN (1) CN104049752B (zh)
WO (1) WO2015184778A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049752B (zh) 2014-06-04 2017-04-12 北京智谷睿拓技术服务有限公司 基于人体的交互方法及交互装置
CN104391806B (zh) * 2014-09-30 2018-11-30 北京智谷睿拓技术服务有限公司 交互方法及交互装置
CN104656896B (zh) 2015-02-10 2018-09-18 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104615248B (zh) * 2015-02-10 2018-07-31 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104699242B (zh) * 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN104656895B (zh) * 2015-02-10 2018-02-02 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104731322A (zh) * 2015-03-30 2015-06-24 北京智谷睿拓技术服务有限公司 确定输入信息的方法和设备
CN104765458B (zh) * 2015-04-15 2018-02-23 小米科技有限责任公司 对终端的状态信息进行提示的方法及装置
EP3586743A1 (en) * 2018-06-29 2020-01-01 Nokia Technologies Oy Method and apparatus for determining information regarding body position

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741952A (zh) * 2009-12-10 2010-06-16 中国科学技术大学 盲人用移动电话交互***及其装置
CN102426651A (zh) * 2011-08-25 2012-04-25 武汉理工大学 人体前臂表面肌电信号采集及模式识别***
CN103760970A (zh) * 2013-12-20 2014-04-30 北京智谷睿拓技术服务有限公司 一种穿戴式输入***及输入方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754472B1 (en) 2000-04-27 2004-06-22 Microsoft Corporation Method and apparatus for transmitting power and data using the human body
GB2427692A (en) 2005-06-27 2007-01-03 Intelligent Sensors Plc Non-contact life signs detector
FR2896896B1 (fr) * 2006-02-02 2009-09-25 Commissariat Energie Atomique Procede de classification d'evenements ou d'etats en deux etapes
DE202007018940U1 (de) 2006-08-15 2009-12-10 N-Trig Ltd. Bewegungserkennung für einen Digitalisierer
US8273032B2 (en) * 2008-07-30 2012-09-25 Medtronic, Inc. Physiological parameter monitoring with minimization of motion artifacts
US20100145171A1 (en) * 2008-12-05 2010-06-10 Electronics And Telecommunications Research Institute Apparatus for measuring motion noise robust pulse wave and method thereof
JP4683148B2 (ja) * 2009-02-27 2011-05-11 株式会社デンソー 電気機器
US8274386B1 (en) 2009-03-23 2012-09-25 The United States Of America As Represented By The Secretary Of The Navy Human presence electric field sensor
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8665210B2 (en) 2010-12-22 2014-03-04 Microsoft Corporation Sensing user input using the body as an antenna
US20120220233A1 (en) 2011-02-28 2012-08-30 Qualcomm Incorporated Ranging with body motion capture
CN103605423B (zh) 2013-10-30 2016-08-31 北京智谷睿拓技术服务有限公司 交互装置及方法
CN104049752B (zh) * 2014-06-04 2017-04-12 北京智谷睿拓技术服务有限公司 基于人体的交互方法及交互装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741952A (zh) * 2009-12-10 2010-06-16 中国科学技术大学 盲人用移动电话交互***及其装置
CN102426651A (zh) * 2011-08-25 2012-04-25 武汉理工大学 人体前臂表面肌电信号采集及模式识别***
CN103760970A (zh) * 2013-12-20 2014-04-30 北京智谷睿拓技术服务有限公司 一种穿戴式输入***及输入方法

Also Published As

Publication number Publication date
CN104049752A (zh) 2014-09-17
WO2015184778A1 (en) 2015-12-10
US20170147079A1 (en) 2017-05-25
US10521018B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN104049752B (zh) 基于人体的交互方法及交互装置
Weiss et al. Smartphone and smartwatch-based biometrics using activities of daily living
Laput et al. Sensing fine-grained hand activity with smartwatches
Zhang et al. Static and dynamic human arm/hand gesture capturing and recognition via multiinformation fusion of flexible strain sensors
Li et al. IDSense: A human object interaction detection system based on passive UHF RFID
CN105929940B (zh) 基于细分特征值法的快速三维动态手势识别方法及***
CN102789313B (zh) 一种用户交互***和方法
CN105116995A (zh) 智能穿戴设备及其工作方法
CN104182041B (zh) 眨眼类型确定方法及眨眼类型确定装置
CN105117003A (zh) 智能穿戴设备及其工作方法
CN104360745A (zh) 主导肢体确定方法和设备
CN104571837B (zh) 一种实现人机交互的方法及***
CN104699239B (zh) 基于可穿戴设备的交互方法及交互装置、可穿戴设备
CN106705989A (zh) 记步方法、设备及终端
CN106774917A (zh) 终端控制装置、穿戴式设备、终端及终端控制方法
Jiang et al. Development of a real-time hand gesture recognition wristband based on sEMG and IMU sensing
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、***及存储介质
Al-Naffakh et al. Continuous user authentication using smartwatch motion sensor data
Fan et al. What is that in your hand? recognizing grasped objects via forearm electromyography sensing
Truong et al. Capacitive sensing 3d-printed wristband for enriched hand gesture recognition
Li et al. Hand gesture recognition and real-time game control based on a wearable band with 6-axis sensors
Kwon et al. Classification of various daily behaviors using deep learning and smart watch
CN104407704A (zh) 主导肢体确定方法和设备
CN109815670A (zh) 文件处理方法及相关产品
CN110362190B (zh) 基于myo的文本输入***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Du Lin

Inventor after: Shi Yuanchun

Inventor after: Wang Yuntao

Inventor after: Yu Chun

Inventor before: Du Lin

Inventor before: Shi Yuanchun

Inventor before: Wang Yuntao

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: DU LIN SHI YUANCHUN WANG YUNTAO TO: DU LIN SHI YUANCHUN WANG YUNTAO YU CHUN

GR01 Patent grant
GR01 Patent grant