CN112083807B - 一种基于音触转换的足部地形触觉再现方法及装置 - Google Patents

一种基于音触转换的足部地形触觉再现方法及装置 Download PDF

Info

Publication number
CN112083807B
CN112083807B CN202010992415.7A CN202010992415A CN112083807B CN 112083807 B CN112083807 B CN 112083807B CN 202010992415 A CN202010992415 A CN 202010992415A CN 112083807 B CN112083807 B CN 112083807B
Authority
CN
China
Prior art keywords
touch
signal
motor
tactile
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010992415.7A
Other languages
English (en)
Other versions
CN112083807A (zh
Inventor
孙晓颖
孟振驰
刘佳林
刘璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010992415.7A priority Critical patent/CN112083807B/zh
Publication of CN112083807A publication Critical patent/CN112083807A/zh
Application granted granted Critical
Publication of CN112083807B publication Critical patent/CN112083807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明涉及一种基于音触转换的足部地形触觉再现方法及装置，属于虚拟现实与人机交互领域。采用多马达足部触觉反馈装置；实时获取用户踩向地面压力的大小，将其传送至核心处理器，控制驱动信号的产生；根据音触转换触觉渲染方法计算得到不同的触觉驱动信号；在用户踩向地面的过程中会提供振动触觉反馈，使其产生一种踩在所渲染类型地面的感觉。优点在于：振动马达的选型以及施加刺激的位置都符合人体生理感知特性，同时使用史蒂文斯跨感觉通道匹配模型，并结合人体触觉感知基础、振动电机输入输出特性进行音触转换，可以提供更加真实的踩在不同类型地面的触觉效果，极大地增加了用户在VR交互中的沉浸感与真实感。

Description

一种基于音触转换的足部地形触觉再现方法及装置
技术领域
本发明属于虚拟现实与人机交互领域，尤其涉及一种基于音触转换的足部地形触觉再现方法及装置。
背景技术
随着触觉再现技术的兴起，越来越多的触觉设备应用在了娱乐，医疗，教育等领域。特别随着如今VR设备高精度追踪***的出现，用户要求在一个完整的、房间规模的虚拟现实空间中进行更动态、更全面的身体活动。行走是人们在日常交互过程中最自然的交互方式，一个可以呈现地面细节特征的足部触觉反馈装置，不仅可以让人们在虚拟现实中体验踩到真实地面的触感，极大地增强真实感和沉浸感，而且在医疗方面也可用于对患有脑瘫，中风等具有神经障碍的患者进行步态再训练，使其恢复正常的行走能力。因此，足部触觉反馈装置的研发具有很广阔的发展前景以及贡献意义。
对足部进行触觉刺激的方法大致可分为两个方向，一种是通过地面对足部进行触觉刺激，一种是通过鞋对足部进行触觉刺激。2009年，论文“Touch is everywhere:Floorsurfaces as ambient haptic interfaces”推出了一个利用地表地面对足部进行触觉刺激的装置，其玻璃地面由大型振动电机进行支撑，通过电机振动引起地面向足部施加触觉刺激。
2010年，论文“Audio-haptic physically-based simulation of walking ondifferent grounds”提出一款可以实时地模拟了行走在不同表面上的听觉和触觉的触觉鞋装置，通过安装在鞋上的压力传感器采集脚踩向地面的压力大小，并通过声音合成算法实时生成驱动信号，进而通过振动马达产生触觉反馈。2014年，论文“Design of a bladderbased elastomeric Smart Shoe for haptic terrain display”提出了一种基于弹性体的气囊智能鞋***，智能鞋鞋底通过3D打印实现，在鞋底共划分了7个气囊，每个气囊通过PCB板进行气囊的进放气控制，从而实现对脚底各细节部位的触觉渲染。2018年，论文“RealWalk:Haptic Shoes Using Actuated MR Fluid for Walking in VR”提出了一款由磁流变体进行致动的足部触觉反馈装置RealWalk，其通过将踩在不同地面上的脚步声音频信号进行时频分析，滤波变化后得到触觉驱动信号，以此来控制磁流变体的变化，对足部进行触觉反馈。
根据上述分析，通过地面对足部进行触觉刺激的设备往往体积更大，且无法再现细腻的触觉感受，因此通过鞋对足部进行触觉刺激是更加有效的方法。
在渲染踩在各种地面的触觉效果时普遍应用了脚步声音频信号，通过音频信号驱动振动马达实现触觉渲染。目前大多数的音频-触觉转换方法依赖于音频和触觉刺激的低信号级特征，通过放大音频信号的低频能量来放大振动触觉刺激的节拍感。然而，这种信号级转换方法缺乏语义，这使得很难提供具有感知意义的转换模型，经常导致振动触觉反馈不足，从而影响用户的沉浸感。
发明内容
本发明提供一种基于音触转换的足部地形触觉再现方法及装置，振动马达的驱动信号由脚步声音频信号通过音触转换算法得到，利用脚跟脚掌处振动马达产生的振动反馈，使用户在步行过程中，可以产生一种踩不同类型地面的感觉，增强用户在虚拟现实中全景交互的沉浸感与真实感。
本发明采取的技术方案是：包括下列步骤：
(1)采用多马达足部触觉反馈装置；
(2)实时获取用户踩向地面压力的大小，将其传送至核心处理器，控制驱动信号的产生；
(3)根据音触转换触觉渲染方法计算得到不同的触觉驱动信号；
(4)在用户踩向地面的过程中会提供振动触觉反馈，使其产生一种踩在所渲染类型地面的感觉。
本发明所述的基于音触转换的足部地形触觉渲染方法的多马达足部触觉反馈装置包括：两个薄膜压力传感器，两个振动触觉马达以及一双鞋，其中两个薄膜压力传感器分别安装在鞋面的脚跟、脚掌处，用于检测在步行过程中脚跟、脚掌是否着地；两个振动触觉马达同样放置于鞋面的脚跟、脚掌处，用于对脚跟，脚掌处触觉感受小体分布较密集的位置施加触觉刺激。
本发明根据人脚的大小差别，脚跟处振动触觉马达的具体放置位置范围为从下到上3.5cm至4cm，从外侧到内侧4.2cm至5.7cm处；脚掌处振动触觉马达的具体放置位置为从下到上9.8cm至10.3cm，从外侧到内侧1.6cm至2.1cm处。
本发明所述步骤(2)的具体方法包括：脚跟薄膜压力传感器以及脚掌薄膜压力传感器实时检测用户的步行状态，通过模数转换模块将薄膜压力传感器本身电阻值转换为压力值，并将数据传送给核心处理器，核心处理器将压力值与所设阈值作比较，当压力值大于阈值，即脚跟或脚掌着地，控制驱动信号的产生。
本发明所述步骤(3)音触转换触觉渲染方法包括：
1)将音频信号转换为能够表示地面触觉特征的随机信号；
基于史蒂文斯跨感觉通道匹配模型，获得使其感知的振动强度与声音的响度相匹配的音触转换模型：
I＝A·|X|n
其中I是地面触觉特征随机信号，X是音频信号，A是与音频信号幅度相关的比例系数，n是与音频信号频率相关的比例系数，根据音频信号幅度范围为-1至1，音频信号频率范围为0至20000Hz，A与n的计算公式为：
A＝15-10·XAmax
Figure BDA0002690975240000031
其中，XAmax是音频信号的最大幅度值，Xfmax是音频信号最大主频率值；
因为脚步声的音频时域信号是一个不规则的随机信号，位于负半轴的信号同样能够表征地形特征，在进行音触转换的过程中，首先将音频信号幅度取绝对值，根据音频信号的最大主频率以及幅度，确定模型系数A与n的值，再将幅度通过音触转换模型进行变换，得到地面触觉特征随机信号I；
2)从地面触觉特征随机信号I中提取人体触觉感知等级；
根据人体的振动触觉时间分辨率，将一种振动刺激的持续时间设计为10ms，触觉驱动信号由多个10ms不同的振动刺激连接而成，把地面触觉特征随机信号I按照10ms分段，可分得的段数N为：
Figure BDA0002690975240000032
其中，t为地面触觉特征随机信号I时间长度，单位为ms；
根据采样率为44100Hz，在每段10ms信号内共有441个采样值，每段信号的采样平均值为：
Figure BDA0002690975240000033
其中Iave-p是第p段信号的采样平均值，p的范围为1至N，I441·p是第441·p个采样值，将N个采样平均值进行大小比较，最小值Iave-min标志此段信号内触觉特征最弱，与振动触觉绝对阈值相对应，根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段信号给人的感知等级Cp：
Figure BDA0002690975240000041
3)根据感知等级变化趋势C以及振动马达特性计算马达驱动信号振幅V；
根据足部触觉绝对阈值F0为4mN,振动马达质量m，得到对应绝对阈值即第1感知级别的电机加速度a0为：
Figure BDA0002690975240000042
由于振动马达的驱动信号为正弦波，根据线性马达输入电压与输出加速度之间的线性关系，求得对应第一感知级的马达输入信号振幅V0为：
Figure BDA0002690975240000043
其中VR是振动马达的额定输入电压，aR是振动马达的额定输出加速度，根据韦伯系数b以及第p段地面触觉特征随机信号的感知等级Cp，求得对应于第p段马达输入信号振幅Vp为：
Figure BDA0002690975240000044
按照时间顺序，得到第1段至第N段信号马达驱动信号振幅V；
4)确定驱动信号频率
根据人体足部对于振动触觉的敏感频率为10-500Hz，振动马达的谐振频率为160Hz，地面类型脚步声音频信号的主频率为800-5000Hz，选择驱动信号频率为既满足人体振动触觉敏感频率同时可以体现马达良好振动效果的160Hz。
本发明所述步骤(4)的振动触觉反馈提供方法包括：核心处理器通过数模转换模块以及直接存储器访问模块控制马达驱动正弦信号的幅度，计时器模块控制正弦信号频率，输出渲染踩在该种类型地面触感的正弦驱动信号，最后经过放大电路对驱动信号进行放大，施加到脚跟振动马达以及脚掌振动马达，提供更加强烈的触觉反馈。
本发明优点在于：
(1)振动马达的选型以及施加刺激的位置都符合人体生理感知特性，对足部施加不同地面类型的触觉刺激，可以给用户带来更加真实的触觉反馈，应用范围广且成本较低；
(2)使用史蒂文斯跨感觉通道匹配模型，并结合人体触觉感知基础、振动电机输入输出特性进行音触转换，相比于通过放大音频信号低频能量来放大振动触觉刺激节拍感的转换方法可以提供更加真实的踩在不同类型地面的触觉效果；
(3)音触转换算法可移植性强，可以用于其他触觉再现设备；
(4)在VR中为用户带来踩在各种类型地面上的足部触觉反馈，极大地增加了用户在VR交互中的沉浸感与真实感。
附图说明
图1是本发明多马达足部触觉反馈装置结构图；
图2是本发明足部触觉反馈控制流程图；
图3是本发明音触转换算法流程图；
图4是本发明足部触觉反馈驱动流程图；
图5是雪地脚步声音频信号图；
图6是雪地脚掌音频信号波形及FFT图；
图7是雪地脚掌触觉特征随机信号图；
图8是雪地脚掌触觉感知变化图；
图9是雪地脚掌振动触觉驱动信号波形图；
图10是草地脚掌音频信号波形及FFT图；
图11是草地脚掌触觉特征随机信号图；
图12是草地脚掌触觉感知变化图；
图13是草地脚掌振动触觉驱动信号波形图；
图14是金属地面脚掌音频信号波形及FFT图；
图15是金属地面脚掌触觉特征随机信号图；
图16是金属地面脚掌触觉感知变化图；
图17是金属地面脚掌振动触觉驱动信号波形图。
具体实施方式
包括下列步骤：
(1)采用多马达足部触觉反馈装置；
(2))实时获取用户踩向地面压力的大小，将其传送至核心处理器，控制驱动信号的产生；
(3)根据音触转换触觉渲染方法计算得到不同的触觉驱动信号；
(4)在用户踩向地面的过程中会提供振动触觉反馈，使其产生一种踩在所渲染类型地面的感觉。
如图1所示，一种多马达足部触觉反馈装置，包括：
(1)脚跟薄膜压力传感器1与脚掌薄膜压力传感器2，可以实时检测用户的步行状态，并控制脚跟振动触觉马达3与脚掌振动触觉马达4提供振动触觉反馈。根据步行力学，在行走过程中，当只有脚跟踩地的时候，脚底与地面的接触面积最小，从而使薄膜压力传感器上所分得力有最大值，约为体重的三分之一。考虑到如今成年人的体重，本发明中薄膜压力传感器的量程选择为5-50Kg。
(2)脚跟振动触觉马达3与脚掌振动触觉马达4，可以根据用户步行状态提供振动触觉反馈，产生踩在不同类型地面的触觉效果。根据人体感知生理基础，足部主要由FA II型触觉感受小体进行动态感知，其敏感频率范围为10-500Hz，因此选择谐振频率为160Hz的HAPTICTMReactor振动马达提供触觉反馈。并根据人脚的大小差别以及FA II型触觉感受小体在足底的分布情况，脚跟处振动触觉马达3的具体放置位置范围为从下到上3.5cm至4cm，从外侧到内侧4.2cm至5.7cm处；脚掌振动触觉马达4的具体放置位置为从下到上9.8cm至10.3cm，从外侧到内侧1.6cm至2.1cm处。
如图2所示，步骤(2)的具体方法包括：
脚跟薄膜压力传感器以及脚掌薄膜压力传感器实时检测用户的步行状态，通过模数转换模块5将薄膜压力传感器本身电阻值转换为压力值，并将数据传送给核心处理器6，核心处理器6将压力值与所设阈值作比较，当压力值大于阈值，即脚跟或脚掌着地，控制驱动信号的产生。
为了防止当用户静止站立在地面上时传感器压力值大于所设阈值，从而提供错误的触觉反馈，本文在阈值比较时设立了一个状态标志位，当压力值小于阈值即用户抬起脚时，状态标志位置1；当状态标志位为1且压力值大于阈值时，表明用户先抬脚再落脚进行了一次运动，并未处于静止站立状态，此时控制振动电机为用户提供触觉反馈。
脚跟脚掌处振动马达的驱动信号是将不同类型地面的脚步声音频信号通过史蒂文斯跨感觉通道匹配模型，并结合人体触觉感知基础、振动电机输入输出特性得到的。如图3所示，步骤(3)音触转换触觉渲染方法包括：
(1)将音频信号转换为能够表示地面触觉特征的随机信号。
基于史蒂文斯跨感觉通道匹配模型，获得使其感知的振动强度与声音的响度相匹配的音触转换模型：
I＝A·|X|n
其中I是地面触觉特征随机信号，X是音频信号，A是与音频信号幅度相关的比例系数，n是与音频信号频率相关的比例系数，根据音频信号幅度范围为-1至1，音频信号频率范围为0至20000Hz，A与n的计算公式为：
A＝15-10·XAmax
Figure BDA0002690975240000071
其中，XAmax是音频信号的最大幅度值，Xfmax是音频信号最大主频率值。
因为脚步声的音频时域信号是一个不规则的随机信号，位于负半轴的信号同样能够表征地形特征，在进行音触转换的过程中，首先将音频信号幅度取绝对值，根据音频信号的最大主频率以及幅度，确定模型系数A与n的值，再将幅度通过音触转换模型进行变换，得到地面触觉特征随机信号I；
(2)从地面触觉特征随机信号I中提取人体触觉感知等级；
根据人体的振动触觉时间分辨率，将一种振动刺激的持续时间设计为10ms，触觉驱动信号由多个10ms不同的振动刺激连接而成。把地面触觉特征随机信号I按照10ms分段，可分得的段数N为：
Figure BDA0002690975240000081
其中，t为地面触觉特征随机信号I时间长度，单位为ms；
根据采样率为44100Hz，在每段10ms信号内共有441个采样值，每段信号的采样平均值为：
Figure BDA0002690975240000082
其中Iave-p是第p段信号的采样平均值，p的范围为1至N，I441·p是第441·p个采样值。将N个采样平均值进行大小比较，最小值Iave-min标志此段信号内触觉特征最弱，与振动触觉绝对阈值相对应。根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段信号给人的感知等级Cp：
Figure BDA0002690975240000083
(3)根据感知等级变化趋势C以及振动马达特性计算马达驱动信号振幅V
根据足部触觉绝对阈值F0为4mN,振动马达质量m，得到对应绝对阈值即第1感知级别的电机加速度a0为：
Figure BDA0002690975240000084
由于振动马达的驱动信号为正弦波，根据线性马达输入电压与输出加速度之间的线性关系，求得对应第一感知级的马达输入信号振幅V0为：
Figure BDA0002690975240000085
其中VR是振动马达的额定输入电压，aR是振动马达的额定输出加速度。根据韦伯系数b以及第p段地面触觉特征随机信号的感知等级Cp，求得对应于第p段马达输入信号振幅Vp为：
Figure BDA0002690975240000091
按照时间顺序，得到第1段至第N段信号马达驱动信号振幅V；
(4)确定驱动信号频率
根据人体足部对于振动触觉的敏感频率为10-500Hz，振动马达的谐振频率为160Hz，地面类型脚步声音频信号的主频率为800-5000Hz，选择驱动信号频率为既满足人体振动触觉敏感频率同时可以体现马达良好振动效果的160Hz。
如图4所示，步骤(4)的振动触觉反馈提供方法包括：核心处理器6通过数模转换模块以及直接存储器访问模块7控制马达驱动正弦信号的幅度，计时器模块8控制正弦信号频率，输出渲染踩在该种类型地面触感的正弦驱动信号，最后经过放大电路9对驱动信号进行放大，提供更加强烈的触觉反馈。
下面以渲染地面类型是雪地、草地、金属地面为例进一步说明音触转换方法，包括：
I.雪地
1)雪地脚步声音频信号如图5所示，对于脚步声音频文件，将分成脚跟踩在地面所发出的声音以及脚掌踩在地面所发出的声音两部分，按照人步行习惯，音频信号前半段对应于脚跟落地声音，后半段对应于脚掌落地声音。
2)雪地脚掌音频信号波形及FFT如图6所示，雪地脚掌音频信号的最大幅度值XAmax是0.1，最大主频率值Xfmax是16000Hz，将其带入公式：
A＝15-10·XAmax
Figure BDA0002690975240000092
得到雪地脚掌音频信号的转化模型系数A＝14.6，n＝1.75。将雪地脚掌音频信号通过模型
I＝A·|X|n
得到雪地脚掌触觉特征随机信号如图7所示。
3)根据图6，可以看到雪地脚掌音频信号总长度为0.25s，按照10ms对雪地脚掌音频信号进行分段，可分得的段数N为：
Figure BDA0002690975240000101
共25段，利用MATLAB求得25段信号的采样幅度平均值后，根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段信号给人的感知等级Cp-snow：
Figure BDA0002690975240000102
按照时间顺序，得到第1段信号至第25段信号雪地脚掌感知变化趋势Csnow，如图8所示。
4)发明中所用HAPTICTMReactor振动马达的质量为7.5g，根据
Figure BDA0002690975240000103
得到对应绝对阈值即第1感知级别的电机加速度a0为0.35。根据线性马达输入电压与输出加速度之间的线性关系：
Figure BDA0002690975240000104
其中VR是振动马达的额定输入电压，aR是振动马达的额定输出加速度。求得对应第一感知级的马达输入信号振幅V0为0.35V。根据韦伯系数b以及第p段雪地脚掌触觉特征信号的感知等级Cp-snow，求得对应于第p段马达输入信号振幅Vp-snow为：
Figure BDA0002690975240000105
按照时间顺序，得到雪地脚掌马达正弦驱动信号振幅Vsnow。正弦驱动信号频率为160Hz，以此雪地脚掌马达正弦驱动信号如图9所示。
II.草地
1)草地脚掌音频信号波形及FFT如图10所示，将草地脚掌音频信号的最大幅度值以及最大主频率值带入模型：
A＝15-10·XAmax
Figure BDA0002690975240000111
I＝A·|X|n
得到草地脚掌触觉特征随机信号如图11所示。
2)根据图10，可以看到草地脚掌音频信号总长度为0.25s，按照10ms对草地脚掌音频信号进行分段，可分得的段数共25段。利用MATLAB求得25段信号的采样幅度平均值后，根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段草地脚掌触觉特征信号给人的感知等级Cp-grass：
Figure BDA0002690975240000112
按照时间顺序，得到第1段信号至第25段信号草地脚掌感知变化趋势Cgrass，如图12所示。
3)根据韦伯系数b以及第p段草地脚掌触觉特征信号的感知等级Cp-grass，求得对应于第p段马达输入信号振幅Vp-grass为：
Figure BDA0002690975240000113
按照时间顺序，得到雪地脚掌马达正弦驱动信号振幅Vgrass。正弦驱动信号频率为160Hz，以此雪地脚掌马达正弦驱动信号如图13所示。
III.金属地面
1)金属地面脚掌音频信号波形及FFT如图14所示，将金属地面脚掌音频信号的最大幅度值以及最大主频率值带入模型：
A＝15-10·XAmax
Figure BDA0002690975240000121
I＝A·|X|n
得到金属地面脚掌触觉特征随机信号如图15所示。
2)根据图14，可以看到草地脚掌音频信号总长度为0.15s，按照10ms对金属地面脚掌音频信号进行分段，可分得的段数共15段。利用MATLAB求得15段信号的采样幅度平均值后，根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段草地脚掌触觉特征信号给人的感知等级Cp-metal：
Figure BDA0002690975240000122
按照时间顺序，得到第1段信号至第15段信号草地脚掌感知变化趋势Cmetal，如图16所示。
3)根据韦伯系数b以及第p段草地脚掌触觉特征信号的感知等级Cp-metal，求得对应于第p段马达输入信号振幅Vp-metal为：
Figure BDA0002690975240000123
按照时间顺序，得到雪地脚掌马达正弦驱动信号振幅Vmetal。正弦驱动信号频率为160Hz，以此雪地脚掌马达正弦驱动信号如图17所示。

Claims (5)

1.一种基于音触转换的足部地形触觉再现方法，其特征在于包括下列步骤：
(1)采用多马达足部触觉反馈装置；
(2))实时获取用户踩向地面压力的大小，将其传送至核心处理器，控制驱动信号的产生；
(3)根据音触转换触觉渲染方法计算得到不同的触觉驱动信号；其中音触转换触觉渲染方法包括：
1)将音频信号转换为能够表示地面触觉特征的随机信号；
基于史蒂文斯跨感觉通道匹配模型，获得使其感知的振动强度与声音的响度相匹配的音触转换模型：
I＝A·|X|n
其中I是地面触觉特征随机信号，X是音频信号，A是与音频信号幅度相关的比例系数，n是与音频信号频率相关的比例系数，根据音频信号幅度范围为-1至1，音频信号频率范围为0至20000Hz，A与n的计算公式为：
A＝15-10·XAmax
Figure FDA0003265706960000011
其中，XAmax是音频信号的最大幅度值，Xfmax是音频信号最大主频率值；
因为脚步声的音频时域信号是一个不规则的随机信号，位于负半轴的信号同样能够表征地形特征，在进行音触转换的过程中，首先将音频信号幅度取绝对值，根据音频信号的最大主频率以及幅度，确定模型系数A与n的值，再将幅度通过音触转换模型进行变换，得到地面触觉特征随机信号I；
2)从地面触觉特征随机信号I中提取人体触觉感知等级；
根据人体的振动触觉时间分辨率，将一种振动刺激的持续时间设计为10ms，触觉驱动信号由多个10ms不同的振动刺激连接而成，把地面触觉特征随机信号I按照10ms分段，可分得的段数N为：
Figure FDA0003265706960000012
其中，t为地面触觉特征随机信号I时间长度，单位为ms；
根据采样率为44100Hz，在每段10ms信号内共有441个采样值，每段信号的采样平均值为：
Figure FDA0003265706960000021
其中Iave-p是第p段信号的采样平均值，p的范围为1至N，I441·p是第441·p个采样值，将N个采样平均值进行大小比较，最小值Iave-min标志此段信号内触觉特征最弱，与振动触觉绝对阈值相对应，根据韦伯定律，将最小平均值Iave-min乘以韦伯系数b的次幂，并将其与第p段信号的采样平均值Iave-p进行比较，从而确定第p段信号给人的感知等级Cp：
Figure FDA0003265706960000022
3)根据感知等级变化趋势C以及振动马达特性计算马达驱动信号振幅V；
根据足部触觉绝对阈值F0为4mN,振动马达质量m，得到对应绝对阈值即第1感知级别的电机加速度a0为：
Figure FDA0003265706960000023
由于振动马达的驱动信号为正弦波，根据线性马达输入电压与输出加速度之间的线性关系，求得对应第一感知级的马达输入信号振幅V0为：
Figure FDA0003265706960000024
其中VR是振动马达的额定输入电压，aR是振动马达的额定输出加速度，根据韦伯系数b以及第p段地面触觉特征随机信号的感知等级Cp，求得对应于第p段马达输入信号振幅Vp为：
Figure FDA0003265706960000025
按照时间顺序，得到第1段至第N段信号马达驱动信号振幅V；
4)确定驱动信号频率
根据人体足部对于振动触觉的敏感频率为10-500Hz，振动马达的谐振频率为160Hz，地面类型脚步声音频信号的主频率为800-5000Hz，选择驱动信号频率为既满足人体振动触觉敏感频率同时可以体现马达良好振动效果的160Hz；
(4)在用户踩向地面的过程中会提供振动触觉反馈，使其产生一种踩在所渲染类型地面的感觉。
2.根据权利要求1所述的基于音触转换的足部地形触觉再现方法，其特征在于：所述多马达足部触觉反馈装置包括：两个薄膜压力传感器，两个振动触觉马达和一双鞋，其中两个薄膜压力传感器分别安装在鞋面的脚跟、脚掌处，用于检测在步行过程中脚跟、脚掌是否着地；两个振动触觉马达同样放置于鞋面的脚跟、脚掌处，用于对脚跟，脚掌处触觉感受小体分布较密集的位置施加触觉刺激。
3.根据权利要求2所述的基于音触转换的足部地形触觉再现方法，其特征在于：根据人脚的大小差别，脚跟处振动触觉马达的具体放置位置范围为从下到上3.5cm至4cm，从外侧到内侧4.2cm至5.7cm处；脚掌处振动触觉马达的具体放置位置为从下到上9.8cm至10.3cm，从外侧到内侧1.6cm至2.1cm处。
4.根据权利要求1所述的基于音触转换的足部地形触觉再现方法，其特征在于，所述步骤(2)的具体方法包括：脚跟薄膜压力传感器以及脚掌薄膜压力传感器实时检测用户的步行状态，通过模数转换模块将薄膜压力传感器本身电阻值转换为压力值，并将数据传送给核心处理器，核心处理器将压力值与所设阈值作比较，当压力值大于阈值，即脚跟或脚掌着地，控制驱动信号的产生。
5.根据权利要求1所述的基于音触转换的足部地形触觉再现方法，其特征在于，所述步骤(4)的振动触觉反馈提供方法包括：核心处理器通过数模转换模块以及直接存储器访问模块控制马达驱动正弦信号的幅度，计时器模块控制正弦信号频率，输出渲染踩在该种类型地面触感的正弦驱动信号，最后经过放大电路对驱动信号进行放大，施加到脚跟振动马达以及脚掌振动马达，给人提供更加强烈的触觉反馈。
CN202010992415.7A 2020-09-20 2020-09-20 一种基于音触转换的足部地形触觉再现方法及装置 Active CN112083807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992415.7A CN112083807B (zh) 2020-09-20 2020-09-20 一种基于音触转换的足部地形触觉再现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992415.7A CN112083807B (zh) 2020-09-20 2020-09-20 一种基于音触转换的足部地形触觉再现方法及装置

Publications (2)

Publication Number Publication Date
CN112083807A CN112083807A (zh) 2020-12-15
CN112083807B true CN112083807B (zh) 2021-10-29

Family

ID=73739255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992415.7A Active CN112083807B (zh) 2020-09-20 2020-09-20 一种基于音触转换的足部地形触觉再现方法及装置

Country Status (1)

Country Link
CN (1) CN112083807B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661157B (zh) * 2022-03-28 2024-04-09 北京工商大学 一种基于内容检测的vr视频体感触觉反馈方法
JP7416873B1 (ja) 2022-07-29 2024-01-17 株式会社アシックス 仮想空間提供システム、仮想空間提供方法、及び仮想空間提供プログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169540B1 (en) * 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
CN101053016A (zh) * 2004-09-20 2007-10-10 荷兰应用科学研究会(Tno) 用于感知语音分析的频率补偿
CN101966106A (zh) * 2009-07-27 2011-02-09 北京航空航天大学 具有个人特征的声门波模拟式电子人工喉
CN102750957A (zh) * 2011-02-11 2012-10-24 英默森公司 利用振幅值的声音到触觉效应转换***
CN106804018A (zh) * 2017-03-17 2017-06-06 上海与德科技有限公司 一种基于移动终端的信息传输装置及传输方法
CN107122056A (zh) * 2017-05-31 2017-09-01 吉林大学 一种基于挤压气膜效应的触觉再现装置与方法
CN206460409U (zh) * 2016-12-28 2017-09-01 歌尔科技有限公司 一种触觉反馈鞋
CN107832967A (zh) * 2017-11-23 2018-03-23 福建农林大学 一种适用于竹林空间的声景协调度动态评价方法
CN110693127A (zh) * 2018-07-10 2020-01-17 宏碁股份有限公司 智能鞋
US10595749B1 (en) * 2017-08-23 2020-03-24 Naomi P Javitt Insole to aid in gait stability
CN111368251A (zh) * 2020-02-06 2020-07-03 吉林大学 基于均方根误差的振动式触觉再现纹理渲染真实感的定量评估方法
CN111511448A (zh) * 2017-06-22 2020-08-07 百夫长Vr公司 虚拟现实仿真

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5451924A (en) * 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
CN102257728B (zh) * 2008-10-17 2014-11-26 夏普株式会社 音频信号调节设备及音频信号调节方法
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
US10102722B2 (en) * 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
CN110174949A (zh) * 2019-05-28 2019-08-27 欣旺达电子股份有限公司 虚拟现实设备和姿态感知及触觉再现控制方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169540B1 (en) * 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
CN1599925A (zh) * 2001-10-09 2005-03-23 伊默逊股份有限公司 基于计算机设备的音频输出的触觉反馈感觉
CN101053016A (zh) * 2004-09-20 2007-10-10 荷兰应用科学研究会(Tno) 用于感知语音分析的频率补偿
CN101966106A (zh) * 2009-07-27 2011-02-09 北京航空航天大学 具有个人特征的声门波模拟式电子人工喉
CN108181996A (zh) * 2011-02-11 2018-06-19 意美森公司 利用波形的声音到触觉效应转换***
CN102750957A (zh) * 2011-02-11 2012-10-24 英默森公司 利用振幅值的声音到触觉效应转换***
CN206460409U (zh) * 2016-12-28 2017-09-01 歌尔科技有限公司 一种触觉反馈鞋
CN106804018A (zh) * 2017-03-17 2017-06-06 上海与德科技有限公司 一种基于移动终端的信息传输装置及传输方法
CN107122056A (zh) * 2017-05-31 2017-09-01 吉林大学 一种基于挤压气膜效应的触觉再现装置与方法
CN111511448A (zh) * 2017-06-22 2020-08-07 百夫长Vr公司 虚拟现实仿真
US10595749B1 (en) * 2017-08-23 2020-03-24 Naomi P Javitt Insole to aid in gait stability
CN107832967A (zh) * 2017-11-23 2018-03-23 福建农林大学 一种适用于竹林空间的声景协调度动态评价方法
CN110693127A (zh) * 2018-07-10 2020-01-17 宏碁股份有限公司 智能鞋
CN111368251A (zh) * 2020-02-06 2020-07-03 吉林大学 基于均方根误差的振动式触觉再现纹理渲染真实感的定量评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Audio-haptic physically-based simulation of walking on different grounds";Luca Turchet 等;《2010 IEEE International Workshop on Multimedia Signal Processing》;20101110;第II-VII节，图2-3 *

Also Published As

Publication number Publication date
CN112083807A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112083807B (zh) 一种基于音触转换的足部地形触觉再现方法及装置
US10024660B2 (en) Method to determine physical properties of the ground
KR100624424B1 (ko) 전기자극을 이용한 건강 훈련/모니터링 장치 및 방법
JP2011509710A (ja) インテリジェントな矯正用中敷
JP2017000522A (ja) 情報処理装置、情報処理システム及びインソール
CN105662419B (zh) 一种用于外骨骼控制的足底压力测量装置及方法
Zanotto et al. SoleSound: Towards a novel portable system for audio-tactile underfoot feedback
Paradiso et al. Interactive therapy with instrumented footwear
TW201143658A (en) Shoe
KR20120085962A (ko) 무게감지저항센서를 적용한 지능형 보행훈련시스템 및 보행패턴 분석 방법
Ley-Flores et al. Altering body perception and emotion in physically inactive people through movement sonification
KR20160075118A (ko) 보행 재활 로봇의 무게 중심 추정 시스템 및 방법
Pfaffen et al. Planipes: Mobile foot pressure analysis
Otis et al. Use of an enactive insole for reducing the risk of falling on different types of soil using vibrotactile cueing for the elderly
Maculewicz et al. A technological review of the instrumented footwear for rehabilitation with a focus on Parkinson’s disease patients
Anlauff et al. VibeWalk: Foot-based tactons during walking and quiet stance
Turchet Custom made wireless systems for interactive footstep sounds synthesis
Iber et al. Mind the steps: Towards auditory feedback in tele-rehabilitation based on automated gait classification
JP2002090216A (ja) 加重測定装置
Jiang et al. An easy-to-use wearable step counting device for slow walking using ankle force myography
Marchal et al. Multimodal rendering of walking over virtual grounds
US11737507B1 (en) Intelligent automated footwear
Qian et al. Maintaining and modifying pace through tactile and multimodal feedback
Jylhä et al. Rhythmic walking interactions with auditory feedback: An exploratory study
JP4251269B2 (ja) 片足歩行検出用歩行路、片足歩行検出システム、及び片足歩行検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant