CN108089702A - 一种基于超声波的人机体感交互方法及*** - Google Patents

一种基于超声波的人机体感交互方法及*** Download PDF

Info

Publication number
CN108089702A
CN108089702A CN201711292798.1A CN201711292798A CN108089702A CN 108089702 A CN108089702 A CN 108089702A CN 201711292798 A CN201711292798 A CN 201711292798A CN 108089702 A CN108089702 A CN 108089702A
Authority
CN
China
Prior art keywords
target
man
machine body
sensing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711292798.1A
Other languages
English (en)
Other versions
CN108089702B (zh
Inventor
伍楷舜
谢海
陈孟奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711292798.1A priority Critical patent/CN108089702B/zh
Publication of CN108089702A publication Critical patent/CN108089702A/zh
Application granted granted Critical
Publication of CN108089702B publication Critical patent/CN108089702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明适用于无线感知与人机交互技术改进领域,提供了一种基于超声波的人机体感交互方法,包括:S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息;S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹;S3、将获取的移动目标运动轨迹输出来完成人体感应交互。摒弃过多外设,只需利用智能显示设备中的扬声器和麦克风设置,不仅降低复杂度也大大降低了成本,通过利用超声波信号来估计目标的位置信息,实现了高精度、鲁棒性高的移动目标定位跟踪。

Description

一种基于超声波的人机体感交互方法及***
技术领域
本发明属于无线感知与人机交互技术改进领域,尤其涉及一种基于超 声波的人机体感交互方法。
背景技术
近年来,学术界和工业界都在倾向于无接触式活动识别的研究,这也 大大地推动了这一方向的兴起和发展。随着Andriod和IOS等移动***的 兴起,搭载移动操作***的非接触式手势操控技术发展势头迅猛。这一发 展也是迎合目前社会发展的需要,作为日常上班的工薪阶层,一款能让他 们与智能显示设备交互式地进行非接触式的体感游戏既能满足锻炼身体的 需求也能满足他们对新事物的追求。但现如今,体感游戏设备的发展还存在诸多限制。
比如,基于计算机视觉的非接触式人机交互技术,该技术是目前市场 比较流行的非接触式人机交互技术,也能给用户带来较好的体感游戏的体 验,但是该技术对光照的依赖程度大,而且算法的复杂度较高,需要较多 的***资源。
再比如,基于WiFi的非接触式人机交互技术,由于该技术的成本低, 易布控,利用资源率低等特点,一度受到学术界和工业界的大力追捧,但 是该技术会过分依赖于网络环境的变化,如果网络环境不稳定,会造成用 户在游戏中出现动作的延时识别,出现不友好的人机交互体验。
发明内容
本发明的目的在于提供一种基于超声波的人机体感交互方法,旨在解 决上述的技术问题。
本发明是这样实现的,一种基于超声波的人机体感交互方法,所述人 机体感交互方法包括以下步骤:
S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信 息;
S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标 的运动轨迹;
S3、将获取的移动目标运动轨迹输出来完成人体感应交互。
本发明的进一步技术方案是:所述步骤S2中还包括以下步骤:
S21、对收集的超声波数据流信息进行数据滤波预处理;
S22、对预处理后的数据流信息利用相位变化及多普勒频移计算获取移 动目标的相对距离。
本发明的进一步技术方案是:所述步骤S2中还包括以下步骤:
S23、在不同频率下获得相位变化信道脉冲响应的绝对距离。
本发明的进一步技术方案是:所述步骤S23中还包括以下步骤:
S231、运用反傅里叶变化计算获取路径到达的功率时延谱;
S232、根据功率时延谱对应的能量分布估算出目标移动的初始位置信 息;
S233、根据相对距离信息与初始位置信息对移动目标定位与跟踪。
本发明的进一步技术方案是:所述步骤S1中还包括以下步骤:
S11、智能显示设备通过扬声器对目标发出超声波数据流。
本发明的另一目的在于提供一种基于超声波的人机体感交互***,所 述人机体感交互***包括
数据收集模块,用于用智能显示设备的麦克风收集目标移动反射回的 超声波数据流信息;
轨迹获取模块,用于将收集到的超声波数据信息进行分析处理获取精 确检测移动目标的运动轨迹;
输出交互信息模块,用于将获取的移动目标运动轨迹输出来完成人体 感应交互。
本发明的进一步技术方案是:所述轨迹获取模块中还包括
去除干扰单元,用于对收集的超声波数据流信息进行数据滤波预处理;
相对距离计算单元,用于对预处理后的数据流信息利用相位变化及多 普勒频移计算获取移动目标的相对距离。
本发明的进一步技术方案是:所述轨迹获取模块中还包括
绝对距离计算单元,用于在不同频率下获得相位变化信道脉冲响应的 绝对距离。
本发明的进一步技术方案是:所述绝对距离计算单元中还包括
功率时延谱获取单元,用于运用反傅里叶变化计算获取路径到达的功 率时延谱;
初始位置获取单元,用于根据功率时延谱对应的能量分布估算出移动 目标的初始位置信息;
定位跟踪单元,用于根据相对距离信息与初始位置信息对目标移动定 位与跟踪。
本发明的进一步技术方案是:所述数据收集模块中还包括
超声波输出单元,用于智能显示设备通过扬声器对目标发出超声波数 据流。
本发明的有益效果是:摒弃过多外设,只需利用智能显示设备中的扬 声器和麦克风设置,不仅降低复杂度也大大降低了成本,通过利用超声波 信号来估计目标的位置信息,实现了高精度、鲁棒性高的移动目标定位跟 踪。
附图说明
图1是本发明实施例提供的基于超声波的人机体感交互方法的流程图。
图2是本发明实施例提供的基于超声波的人机体感交互***的结构框 图。
具体实施方式
图1示出了本发明提供的基于超声波的人机体感交互方法的流程图, 其详述如下:
步骤S1,用智能显示设备的麦克风收集目标移动反射回的超声波数据 流信息;一个嵌入有一个扬声器和两个及以上麦克风的智能显示设备,扬 声器用来发射超声波数据流,麦克风用来接收被移动目标发射的超声波数 据流,由智能显示设备的扬声器发射出预先定义的超声波,经移动目标的 反射,被自身所带的麦克风所接收,进而传输到中心服务器或是智能处理 终端,利用跟踪算法定位和跟踪移动目标。智能显示设备通过扬声器对目标发出超声波数据流。由显示设备的扬声器发出特定的超声波,规定发出 的超声波频率在17000HZ以上,经过移动目标的反射得到具有相位变化的 超声波数据流被自身所带的麦克风接收。
步骤S2,将收集到的超声波数据信息进行分析处理获取精确检测移动 目标的运动轨迹;一个中心服务器或智能处理终端,用来处理从麦克风得 到的超声波数据以确定移动目标的方向和位置信息。主要通过评估超声波 信号的相位信息以及多普勒频移来估算移动目标的位置信息,利用不同路 径、不同频率下的相位改变来获得不同路径的达到时间,进而通过反傅里 叶变化得到功率时延谱,分析能量分布以得到被移动目标移动所反射的声 音路径长度。S21、对收集的超声波数据流信息进行数据滤波预处理;利用 低频滤波器,如巴特沃斯、级联积分梳妆滤波器等滤除数据流中的高频部 分,保留经由移动目标反射的数据流信号。S22、对预处理后的数据流信息 利用相位变化及多普勒频移计算获取移动目标的相对距离。由于接收到的 数据流中是由动态和静态向量组成,首先需要利用极值检测或是端点检测 的方法去除静态向量,进而根据动态向量的相位变化估算移动目标在一段 时间内的路径长度变化,其计算方法如下:
其中,d(t)就是从扬声器经移动目标反射到麦克风的距离,vc是超声 波声速,一般是343m/s,f是扬声器发出超声波的频率。于是,移动目标 的移动距离就是(d(t)-d(0))/2。
S23、在不同频率下获得相位信道脉冲响应的绝对距离。首先,定义一 个频率常量Δf,按照线性关系将最终的输出频率分成多个频率分量,即 f=f0+kΔf。接着在不同的频率分量下,对信号分量做反傅里叶变换得到 功率时延谱,再经过线性转换得到总的功率时延谱。能量高越高,代表移 动物体反射的信号强度越大,根据超声波信号经移动目标反射沿不同路径 到达麦克风的时间不同,即TOA(Time of Arrival,到达时间),可以通过 计算反傅里叶结果中的具有最高能量的路径到达时间来估算出被移动目标 反射的路径长度,进而通过功率时延谱中波峰的时延值计算出移动目标的 初始位置。时延谱的计算公式为:
其中,k代表频率个数,Hp(k,t)代表麦克风接收到的超声信号。S231、运 用反傅里叶变化计算获取路径到达的功率时延谱(如步骤S23),通过移 动目标反射的路径具有较高的能量,;S232、根据功率时延谱对应的能量 分布估算出目标移动的初始位置信息(如步骤S23);S233、根据相对距 离信息与初始位置信息对目标移动定位与跟踪。利用两个麦克风和扬声器 的位置建立一个坐标系,得到相对距离信息和初始位置信息后,可以得到 移动目标的绝对位置信息,再根据几何关系计算出移动目标在坐标系中的 位置,通过不断更新两个麦克风信号的路径长度来更新移动目标的位置, 达到实时跟踪的目的。对接收的数据进行数据净化处理。首先,移除干扰 点,接着,对数据进行滤波,滤除干扰信息,保留由移动目标反射部分的 信号,为下面的定位与跟踪做准备。利用相位的变化来估算出相对路径变化长度,再根据反傅里叶变换的得到的功率时延谱估算移动目标的初始位 置信息,结合相对路径和初始位置信息进行移动目标的定位与跟踪。
步骤S3,将获取的移动目标运动轨迹输出来完成人体感应交互。通过 计算获得移动目标的运行轨迹,将运行轨迹进行简单的平滑处理后,对服 务器输出,使得服务器利用轨迹信息完成指定的操作,来实现人体感应交 互。
利用智能显示设备自带的扬声器发出预定义的超声波信号,进而被自 带的两个及以上的麦克风所接收,通过挖掘这些超声波信号来精确检测移 动目标的位置轨迹。主要通过评估麦克风接收的经移动目标反射的信号的 相位变化及多普勒频移来计算出移动目标移动距,接着,在不同频率下, 对相位运用反傅里叶变化计算出路径达到时间TOA(Timeof Arrival,到达 时间),进而分析TOA所对应的能量分布来估算出被移动物体反射的信号路径长度,得到目标的初始位置信息。结合相对距离信息和初始位置信 息,达到移动目标定位与跟踪的目的。该***能够取得高精度、高鲁棒性 的结果,在人机交互及其体感游戏等方面有很高的学术和应用价值。
如图2所示,本发明的另一目的在于提供一种基于超声波的人机体感 交互***,所述人机体感交互***包括
数据收集模块,用于用智能显示设备的麦克风收集目标移动反射回的 超声波数据流信息;
轨迹获取模块,用于将收集到的超声波数据信息进行分析处理获取精 确检测移动目标的运动轨迹;
输出交互信息模块,用于将获取的移动目标运动轨迹输出来完成人体 感应交互。
所述轨迹获取模块中还包括
去除干扰单元,用于对收集的超声波数据流信息进行数据滤波预处理;
相对距离计算单元,用于对预处理后的数据流信息利用相位变化及多 普勒频移计算获取移动目标的相对距离。
所述轨迹获取模块中还包括
绝对距离计算单元,用于在不同频率下获得相位变化信道脉冲响应的 绝对距离。
所述绝对距离计算单元中还包括
功率时延谱获取单元,用于运用反傅里叶变化计算获取路径到达的功 率时延谱;
初始位置获取单元,用于根据功率时延谱对应的能量分布估算出目标 移动的初始位置信息;
定位跟踪单元,用于根据相对距离信息与初始位置信息对目标移动定 位与跟踪。
所述数据收集模块中还包括
超声波输出单元,用于智能显示设备通过扬声器对目标发出超声波数 据流。
一个嵌入有一个扬声器和两个及以上麦克风的智能显示设备,扬声器 用来发射超声波数据流,麦克风用来接收被移动目标发射的超声波数据流, 以及一个中心服务器或智能处理终端,用来处理从麦克风得到的超声波数 据以确定移动目标的方向和位置信息。主要通过评估超声波信号的相位信 息以及多普勒频移来估算移动目标的位置信息,利用不同路径、不同频率 下的相位改变来获得不同路径的达到时间,进而通过反傅里叶变化得到功 率时延谱,分析能量分布以得到被移动目标移动所反射的声音路径长度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含 在本发明的保护范围之内。

Claims (10)

1.一种基于超声波的人机体感交互方法,其特征在于,所述人机体感交互方法包括以下步骤:
S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息;
S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹;
S3、将获取的移动目标运动轨迹输出来完成人体感应交互。
2.根据权利要求1所述的人机体感交互方法,其特征在于,所述步骤S2中还包括以下步骤:
S21、对收集的超声波数据流信息进行数据滤波预处理;
S22、对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
3.根据权利要求2所述的人机体感交互方法,其特征在于,所述步骤S2中还包括以下步骤:
S23、在不同频率下获得相位变化信道脉冲响应的绝对距离。
4.根据权利要求3所述的人机体感交互方法,其特征在于,所述步骤S23中还包括以下步骤:
S231、运用反傅里叶变化计算获取路径到达的功率时延谱;
S232、根据功率时延谱对应的能量分布估算出目标移动的初始位置信息;
S233、根据相对距离信息与初始位置信息对目标移动定位与跟踪。
5.根据权利要求1-4任一项所述的人机体感交互方法,其特征在于,所述步骤S1中还包括以下步骤:
S11、智能显示设备通过扬声器对目标发出超声波数据流。
6.一种基于超声波的人机体感交互***,其特征在于,所述人机体感交互***包括
数据收集模块,用于用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息;
轨迹获取模块,用于将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹;
输出交互信息模块,用于将获取的移动目标运动轨迹输出来完成人体感应交互。
7.根据权利要求6所述的人机体感交互***,其特征在于,所述轨迹获取模块中还包括
去除干扰单元,用于对收集的超声波数据流信息进行数据滤波预处理;
相对距离计算单元,用于对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
8.根据权利要求7所述的人机体感交互***,其特征在于,所述轨迹获取模块中还包括
绝对距离计算单元,用于在不同频率下获得相位变化信道脉冲响应的绝对距离。
9.根据权利要求8所述的人机体感交互***,其特征在于,所述绝对距离计算单元中还包括
功率时延谱获取单元,用于运用反傅里叶变化计算获取路径到达的功率时延谱;
初始位置获取单元,用于根据功率时延谱对应的能量分布估算出目标移动的初始位置信息;
定位跟踪单元,用于根据相对距离信息与初始位置信息对目标移动定位与跟踪。
10.根据权利要求6-9任一项所述的人机体感交互***,其特征在于,所述数据收集模块中还包括
超声波输出单元,用于智能显示设备通过扬声器对目标发出超声波数据流。
CN201711292798.1A 2017-12-07 2017-12-07 一种基于超声波的人机体感交互方法及*** Active CN108089702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711292798.1A CN108089702B (zh) 2017-12-07 2017-12-07 一种基于超声波的人机体感交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711292798.1A CN108089702B (zh) 2017-12-07 2017-12-07 一种基于超声波的人机体感交互方法及***

Publications (2)

Publication Number Publication Date
CN108089702A true CN108089702A (zh) 2018-05-29
CN108089702B CN108089702B (zh) 2020-01-17

Family

ID=62174844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711292798.1A Active CN108089702B (zh) 2017-12-07 2017-12-07 一种基于超声波的人机体感交互方法及***

Country Status (1)

Country Link
CN (1) CN108089702B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871122A (zh) * 2019-01-18 2019-06-11 深圳大学 一种智能电子设备的水下操控***及其操控方法
CN111282261A (zh) * 2020-01-22 2020-06-16 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN112166350A (zh) * 2018-06-05 2021-01-01 谷歌有限责任公司 智能设备中的超声感测的***和方法
CN116126144A (zh) * 2023-01-16 2023-05-16 上海物骐微电子有限公司 基于pdp的手势识别方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995435A (zh) * 2010-11-05 2011-03-30 上海交通大学 基于瞬时相位变化度的损伤检测方法
CN102420793A (zh) * 2011-11-24 2012-04-18 天津大学 一种数字通信接收机时间和载波频率同步的跟踪控制方法
US20140320390A1 (en) * 2008-03-18 2014-10-30 Elliptic Laboratories As Object and movement detection
CN105260024A (zh) * 2015-10-15 2016-01-20 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN105653035A (zh) * 2015-12-31 2016-06-08 上海摩软通讯技术有限公司 虚拟现实控制方法及***
CN107332664A (zh) * 2017-07-05 2017-11-07 厦门声戎科技有限公司 一种双层防护机制的隐蔽水声通信技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320390A1 (en) * 2008-03-18 2014-10-30 Elliptic Laboratories As Object and movement detection
CN101995435A (zh) * 2010-11-05 2011-03-30 上海交通大学 基于瞬时相位变化度的损伤检测方法
CN102420793A (zh) * 2011-11-24 2012-04-18 天津大学 一种数字通信接收机时间和载波频率同步的跟踪控制方法
CN105260024A (zh) * 2015-10-15 2016-01-20 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN105653035A (zh) * 2015-12-31 2016-06-08 上海摩软通讯技术有限公司 虚拟现实控制方法及***
CN107332664A (zh) * 2017-07-05 2017-11-07 厦门声戎科技有限公司 一种双层防护机制的隐蔽水声通信技术

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨东方 等: "《数学模型在生态学的应用及研究》", 31 May 2015 *
杨小凤 等: ""基于TOA估计的超宽带快速定位方法"", 《现代雷达》 *
蒋达娅 等: "《大学物理实验教程》", 31 July 2011 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166350A (zh) * 2018-06-05 2021-01-01 谷歌有限责任公司 智能设备中的超声感测的***和方法
CN112166350B (zh) * 2018-06-05 2023-12-05 谷歌有限责任公司 智能设备中的超声感测的***和方法
CN109871122A (zh) * 2019-01-18 2019-06-11 深圳大学 一种智能电子设备的水下操控***及其操控方法
CN109871122B (zh) * 2019-01-18 2023-01-10 深圳大学 一种智能电子设备的水下操控***及其操控方法
CN111282261A (zh) * 2020-01-22 2020-06-16 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN111282261B (zh) * 2020-01-22 2023-08-08 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
CN116126144A (zh) * 2023-01-16 2023-05-16 上海物骐微电子有限公司 基于pdp的手势识别方法及装置、电子设备、存储介质
CN116126144B (zh) * 2023-01-16 2023-08-22 上海物骐微电子有限公司 基于pdp的手势识别方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN108089702B (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN108089702A (zh) 一种基于超声波的人机体感交互方法及***
Yun et al. Strata: Fine-grained acoustic-based device-free tracking
Yu et al. QGesture: Quantifying gesture distance and direction with WiFi signals
Zhang et al. Wifi-id: Human identification using wifi signal
Qifan et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform
CN105718064A (zh) 基于超声波的手势识别***与方法
Ma et al. A survey on wi-fi based contactless activity recognition
Chen et al. Human behavior recognition using Wi-Fi CSI: Challenges and opportunities
CN106604394A (zh) 一种基于csi的判定室内人体运动速度模型
Becker et al. GestEar: combining audio and motion sensing for gesture recognition on smartwatches
CN107450724A (zh) 一种基于双声道音频多普勒效应的手势识别方法及***
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
Wang et al. A survey on human behavior recognition using smartphone-based ultrasonic signal
Guo et al. A novel benchmark on human activity recognition using WiFi signals
Avazov et al. A trajectory-driven 3D non-stationary mm-wave MIMO channel model for a single moving point scatterer
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals
Liu et al. Toward device-free micro-gesture tracking via accurate acoustic doppler-shift detection
Wang et al. Enabling non-invasive and real-time human-machine interactions based on wireless sensing and fog computing
Abir et al. Contactless human activity analysis: An overview of different modalities
CN112180377B (zh) 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质
Jiang et al. Ctrack: acoustic device-free and collaborative hands motion tracking on smartphones
CN108107435B (zh) 一种基于超声波的虚拟现实跟踪方法及***
KR20070110169A (ko) 이동체 위치 정보를 생성하는 장치 및 방법과 이동체위치를 인식하는 장치 및 방법
CN109005023A (zh) 一种基于近超声波的智能手机图案密码推测方法
CN111103980B (zh) 一种基于fmcw的vr环境交互***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant