CN109782916A - 基于超声触觉的盲文交互***及其交互方法 - Google Patents

Abstract

本发明公开了一种基于超声触觉的盲文交互***及其交互方法，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，所述超声阵列触觉发生电路包括驱动电路和超声阵列，所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元。本发明合理将基于视觉的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，并能分别独立工作运行，能跟踪手部位置，实时在三维空间内产生非接触触觉反馈，为盲人群体的人机交互方式带来一种新的交互体验，具有实时性高、精度高、成本低等优点，用户体验好，另外整体结构简单，易于实现，利于广泛推广使用。

Description

基于超声触觉的盲文交互***及其交互方法

技术领域

本发明涉及基于超声触觉的盲文交互技术领域，特别涉及一种基于超声触觉的盲文交互***及其交互方法。

背景技术

触觉作为人类的五感之一，相比视觉、听觉、味觉等常常没有引起人们的关注和重视，然而它在各种场景下却无时无刻不在发挥着至关重要的作用。在人机交互过程中，其重要性更不言而喻，2015年微软的一项研究表明，在带有振动触觉反馈的触摸屏上打字时，打字速度会更快而且错误率会更低。可见触觉在人机交互过程中的重要性。尤其是对于盲人群体而言，触觉更是他们赖以维持基本生活的重要依仗。这是因为触觉具有丰富的多样性，通过触觉的信息传递，盲人便可以分辨出不同的物体材料、形状等特征，以此作为他们辨识周遭物体和环境的重要依据。另外，盲文作为盲人群体的文字，也是通过触觉的方法进行感知和识别。由此也可以看出触觉其实也蕴藏着丰富的信息，是人与外界交互不可或缺的重要手段。

盲文，也称点字，是专为盲人设计和使用的文字，依靠触觉来感知和识别。由于其设计初衷本就是为了无法利用视觉信息的盲人设计的，针对的就是触觉这一重要方式，因此与触觉反馈或是触觉交互等能自然的结合到一起。

传统的触觉反馈方法如美国SENSABLE公司开发的PHANToM，以及如Cyber Glove公司的Cybertouch等设备，均属于直接接触式触觉反馈。虽然它们都取得了非常不错的效果，但是同时也存在一些无法避免的问题，如持续接触所带来的不必要触觉以及需要穿戴额外设备所带来的不便性等，另外这类装置大多结构复杂，导致成本比较高，难以普及。

针对这些问题，近年来出现了一种基于超声阵列的新型触觉反馈技术，无需直接接触，便能在手掌产生触觉。其基本原理是利用高声能量密度情况下的声辐射压力这一声波的非线性特性。以空气作为媒介，在目标区域产生足以激活人手掌的触觉感受器的声辐射压力，最终让人隔空感受到触觉。为了产生足够高的声能量密度，采用的是阵列超声换能器的形式，通过适当的控制各个换能器的相位，便能对阵列换能器合成的总声场进行如聚焦等的调节以实现期望的声场分布。

公开号“CN104866098A”，名称为“一种超声波触觉反馈***及其制造方法”的发明专利公开了一种超声触觉反馈***，包含电容式超声传感器阵列、控制电路、驱动电路、计算机等部分。该发明由于采用电容式传感器，因此体积更小，易于与其他电路集成。但也同时导致其存在发射功率小，触觉反馈范围小等不足。

公开号“CN105426024B”名称为“一种基于超声波聚焦的触觉反馈***及方法”的发明专利公开了“一种基于超声波聚焦的触觉反馈***及方法”其***包括主控制电路、手部位置扫描电路、传感器阵列聚焦电路、超声波传感器阵列。即在前一项专利的基础上又加入了手部位置扫描电路，其原理是采用收发一体的超声传感器形成的阵列同时实现手部位置扫描和触觉反馈的功能。根据扫描电路获得的手部位置，再确定传感器阵列聚焦电路的发射相位，实现针对手部位置而产生的触觉反馈。然而由于该项专利手部位置扫描电路与触觉反馈发射电路采用同一电路，因此无法同时工作，当手部位置发生变化，为了再次获取手部位置，必须中断触觉反馈发射功能。另一方面，其手部位置扫描电路实际无法区分是手掌还是手腕还是别的什么物体，实际使用时容易受到外界干扰。

发明内容

针对上述不足，本发明的目的在于，提供一种结构设计巧妙、合理，具较大的触觉反馈范围，且在中心区域具有更高能量，交互效果好的基于超声触觉的盲文交互***。

本发明的目的还在于，提供一种操作方便，交互效果好的基于超声触觉的盲文交互方法。

为实现上述目的，本发明所提供的技术方案是：

一种基于超声触觉的盲文交互***，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。其中上位机用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器用根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；超声阵列触觉发生电路用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。

作为本发明的一种改进，所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，该通信传输电路与所述深度摄像头相连接。

作为本发明的一种改进，所述超声阵列触觉发生电路包括驱动电路和超声阵列，超声阵列由若干个超声传感器阵列排布而成，所述超声传感器分别与所述驱动电路相连接。

作为本发明的一种改进，所述超声传感器为压电陶瓷超声传感器，该压电陶瓷超声传感器的频率为40KHz，直径为10mm。

作为本发明的一种改进，所述驱动电路中采用TC4427功率放大芯片。

作为本发明的一种改进，所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元，所述主控单元分别与所述信号发生电路单元和摄像头信号采集单元相连接。

一种基于超声触觉的盲文交互方法，其包括以下步骤：

(1)启动上位机，将设定期望产生的盲文体序列传递给主控制器；

(2)基于视觉的手部位置跟踪检测模块将采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；

(3)主控制器根据上位机设定的盲文信息以及计算得到的手部空间位置坐标，确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；

(4)超声阵列触觉发生电路接收时延信号，按照时延信号相应控制超声传感器阵列发射超声波，在期望触觉点聚焦空间形成特定声场，使操作者在高声能量密度处受到触觉刺激，形成触觉反馈；

(5)重复步骤(2)-(4)，直至盲文体序列全部反馈完毕。

本发明的有益效果为：本发明基于超声触觉的盲文交互***的架构设计巧妙，合理将基于视觉的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，并能分别独立工作运行，能跟踪手部位置，实时在三维空间内产生非接触触觉反馈，为盲人群体的人机交互方式带来一种新的交互体验，具有实时性高、精度高、成本低等优点，用户体验好，另外整体结构简单，易于实现，利于广泛推广使用。

下面结合附图与实施例，对本发明进一步说明。

附图说明

图1是本发明的模块示意框图。

图2是本发明中的超声阵列聚焦示意图。

图3是本发明中的使用场景原理图。

图4是本发明中的工作流程图。

图5是本发明中盲文示意图。

具体实施方式

参见图1至图5，本实施例提供的一种基于超声触觉的盲文交互***，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。

所述上位机用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器用根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；超声阵列触觉发生电路用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。

具体的，所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，该通信传输电路与所述深度摄像头相连接。

所述超声阵列触觉发生电路包括驱动电路和超声阵列，超声阵列由若干个超声传感器阵列排布而成，所述超声传感器分别与所述驱动电路相连接。所述超声传感器优选为压电陶瓷超声传感器，本实施例中，所述超声阵列具体由144个压电陶瓷超声传感器阵列排布而成。该压电陶瓷超声传感器的频率为40KHz，直径为10mm。所述驱动电路中采用TC4427功率放大芯片。主控制器按照各通道相应延时输出的40KHz信号经驱动电路放大后直接激发，在空间形成特定声场，使操作者在高声能量密度处受到触觉刺激。

所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元，所述主控单元分别与所述信号发生电路单元和摄像头信号采集单元相连接。由主控单元控制摄像头信号采集单元对深度摄像头的摄像信号进行采集，采集的视频信号发送给上位机，由上位机进行图像算法处理以获取手部空间位置坐标，实时跟踪确定触觉点空间位置，然后上位机结合设置的盲文信息，计算并生成相应的各超声传感器相位延迟，并发送到主控单元，主控单元根据延时信号控制相应驱动电路驱动超声阵列工作，最终在期望手掌部位产生盲文触觉反馈。

工作时，本发明基于超声触觉的盲文交互方法的步骤如下：

(1)启动上位机，将设定期望产生的盲文体序列传递给主控制器；

(2)基于视觉的手部位置跟踪检测模块将采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；

(3)主控制器根据上位机设定的盲文信息以及计算得到的手部空间位置坐标，确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；

(4)超声阵列触觉发生电路接收时延信号，按照时延信号相应控制超声传感器阵列发射超声波，在期望触觉点聚焦空间形成特定声场，使操作者在高声能量密度处受到触觉刺激，形成触觉反馈；

(5)重复步骤(2)-(4)，直至盲文体序列全部反馈完毕。

本发明合理将基于视觉的手部位置跟踪检测模块和超声阵列触觉发生电路巧妙相结合，并能分别独立工作运行，能跟踪手部位置，实时在三维空间内产生非接触触觉反馈，为盲人群体的人机交互方式带来一种新的交互体验，具有实时性高、精度高、成本低、结构简单等优点，用户体验好。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制，采用与其相同或相似的其它结构的***及方法，均在本发明保护范围内。

Claims (7)

1.一种基于超声触觉的盲文交互***，其特征在于，其包括

上位机，用于设定期望产生的盲文体序列，并将生成盲文信息；

基于视觉的手部位置跟踪检测模块，用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；

主控制器，用于根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；

超声阵列触觉发生电路，用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。

2.根据权利要求1所述的基于超声触觉的盲文交互***，其特征在于，所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，该通信传输电路与所述深度摄像头相连接。

3.根据权利要求1所述的基于超声触觉的盲文交互***，其特征在于，所述超声阵列触觉发生电路包括驱动电路和超声阵列，超声阵列由若干个超声传感器阵列排布而成，所述超声传感器分别与所述驱动电路相连接。

4.根据权利要求1所述的基于超声触觉的盲文交互***，其特征在于，所述超声传感器为压电陶瓷超声传感器，该压电陶瓷超声传感器的频率为40KHz，直径为10mm。

5.根据权利要求1所述的基于超声触觉的盲文交互***，其特征在于，所述驱动电路中采用TC4427功率放大芯片。

6.根据权利要求1所述的基于超声触觉的盲文交互***，其特征在于，所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元，所述主控单元分别与所述信号发生电路单元和摄像头信号采集单元相连接。

7.一种基于超声触觉的盲文交互方法，其特征在于，其包括以下步骤：

(1)启动上位机，将设定期望产生的盲文体序列传递给主控制器；

(2)基于视觉的手部位置跟踪检测模块将采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；

(3)主控制器根据上位机设定的盲文信息以及计算得到的手部空间位置坐标，确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；

(4)超声阵列触觉发生电路接收时延信号，按照时延信号相应控制超声传感器阵列发射超声波，在期望触觉点聚焦空间形成特定声场，使操作者在高声能量密度处受到触觉刺激，形成触觉反馈；

(5)重复步骤(2)-(4)，直至盲文体序列全部反馈完毕。