CN114043506A - 一种多模态触觉感知装置及其应用方法 - Google Patents

Abstract

本发明公开一种多模态触觉感知装置及其应用方法，包括特定方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元。其中气泵与装置通过管道连接，柔性触觉传感器单元安装在方盒不封闭的一面，光源单元包括RGB(红色，绿色和蓝色)三个灯珠分别安装在方盒的三侧内壁上，图像采集单元安装在方盒的底面，加速度采集单元安装在方盒的底部内壁上。本发明将柔性材料帆布作为触感装置的接触面，可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，再通过拟合，定量的刻画物理世界中的触觉、滑觉等信息。本发明装置在与被测物体接触或者滑动时，能够同时感知到力触觉量、RGB图像、深度图像、加速度等多种模态的触觉信息。

Description

一种多模态触觉感知装置及其应用方法

技术领域

本发明涉及机器人传感技术领域，特别是涉及一种多模态触觉感知装置及其应用方法。

背景技术

触觉是机器人感知外部环境的重要信息来源。随着触觉感知技术和交互技术的广泛应用,机器人触觉传感技术得到了机器人研发人员的高度关注。目前常见的触觉传感器有压阻式、电容式、光电式等，而它们大多存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年来出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势,但现有触觉传感装置在信息弱配对和单一的触觉感知方式方面仍然有很大的提升空间。

发明内容

为了解决现有技术存在的问题，本发明提供了一种多模态触觉感知装置及其应用方法，本发明就是针对现有触觉传感装置存在信息弱配对和单一的触觉感知方式这两个共性问题，发明了一种多模态触觉感知装置。该装置主体为黑色方盒，其中一面不封闭，贴上帆布力触觉传感器，在使用过程中，利用气泵通过装置侧面的一个小口，给装置内部打气，使被测物与帆布力传感器接触时力触觉传感器的形变更加明显。该传感器的用法是：柔性触觉传感器垂直朝下压住被测物，水平移动装置使得帆布面与被测物接触并且产生形变，该触觉传感器表面的16个触点将读取的AD信号返回给MCU处理，同时装置上搭载了加速度传感器，可以获取我们测量过程中的加速度信号，在装置内部还放置了RGB灯珠提供红、绿、蓝三种颜色的光源，底部的双目摄像头可以读取物体在帆布力触觉传感器上滑动产生的RGB图像和深度图像，这些信息经过拟合，可以同时获取触觉序列、触觉图像和加速度信息，使装置在感知物体时不存在弱配对就可以获得多模态触觉信息。

为达此目的，本发明采用以下技术方案：

一种多模态触觉感知装置，包括方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元；所述气泵单元与所述方盒单元通过管道连接，所述柔性触觉传感器单元设置在所述方盒单元上，所述光源单元设置在所述方盒单元侧壁上，所述图像采集单元设置在所述方盒单元底部，所述加速度采集单元设置在所述方盒单元底部。

进一步地，所述方盒单元为长方体空心外壳，所述外壳为黑色亚克力板材料制成，所述长方体有一面不封闭。

进一步地，所述气泵单元为自动充气装置。

进一步地，所述的柔性触觉传感器单元包括帆布力触觉传感器和***电路，所述帆布力触觉传感器安装在所述长方体不封闭一侧，所述***电路外置。所述帆布力触觉传感器为纳米力敏材料与柔软的帆布结合，所述帆布力触觉传感器一共有五层，包括两层帆布层、两层薄膜层和纳米力敏材料层。

进一步地，所述的光源单元包括RGB(红色，绿色和蓝色)三个灯珠，分别用热熔胶贴在所述方盒单元三面侧壁。

进一步地，所述的图像采集单元为100万像素高清双目摄像头，安装在所述方盒单元底部。

进一步地，所述加速度采集单元为基于MPU6050芯片的WT61C传感器，安装在所述方盒单元底部。

进一步地，所述力敏材料层共有16个感应点区域，成4×4矩阵对称分布，每个感应点区域均匀分布等量纳米力敏材料。

一种多模态触觉感知装置的应用方法，包括以下步骤：

S1：首先12V通电，气泵开始工作并通过管道给装置内部充气，同时柔性触觉传感器单元上电开始工作；

S2：在柔性触觉传感器单元工作的同时，RGB光源单元持续提供红、绿、蓝三种光源，双目摄像头拍向当被测物与装置之间接触或者滑动时产生形变的帆布力触觉传感器，此时可以拍出被测物的形状信息，然后再通过上位机将拍到的RGB图像与深度图像保存为.jpg文件，加速度传感器也通过串口持续输出加速度信息给上位机，上位机将所有加速度信息保存为.txt文件；

S3：利用长短期记忆模型循环神经网络算法，将触觉序列.txt信息，加速度序列.txt信息，RGB图像.jpg信息，深度图像.jpg信息集中分析，然后经过拟合，得到被测物形状信息。

本发明的有益效果为：

本发明将柔性材料帆布作为触感装置的接触面，可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，再通过拟合，定量的刻画物理世界中的触觉、滑觉等信息。该装置可以在和被测物体接触或者滑动时，得到力触觉量、RGB图像、深度图像、加速度等多种模态信息。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、加速度、滑动形状等信息的测量，获得高精度的接触纹理信息，实现了多模态信息的测量，并可将这些信息综合到对一个物体的识别、抓取操作中。本装置以下优点：

1.将现有触觉传感器中的凝胶感知层替换为帆布力触觉传感器，使触觉传感器在感知物体时可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，解决了现有触觉传感器单一触觉感知方式造成的感知信息不足问题。

2.设计的多模态触觉感知装置同时配有压力传感器、加速度传感器、双目摄像头等多个传感器，且该装置在感知物体时同时收集物体的多模态触觉信息，避免传统多模态传感器收集数据时存在的多模态数据弱配对问题，即因传感器收集多模态数据时不同步导致数据融合时效果差。

3.设计的基于纳米力敏材料与帆布的柔性触觉传感器，与现有触觉传感器相比，柔软性更好，且在感知物体时可通过柔性触觉传感器中的帆布力触觉传感器的形状变化捕捉被测物体的触觉图像。

附图说明

图1为本发明所涉一种多模态触觉感知装置的机械结构图；

图2为本发明所涉一种多模态触觉感知装置的整体结构框图；

图3为本发明所涉帆布力触觉传感器的内部结构层次图(力敏材料层上有16个力触觉感应点区域)。

图中，1、PC端；2、电源与串口；3、单片机；4、柔性力触觉传感器；5、被测物黑色小球；6、蓝色LED灯珠；7、加速度传感器；8、深度摄像头；9、RGB摄像头；10、红色LED灯珠；11、绿色LED灯珠；12、气泵。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

请参阅图1-3，图中1为PC端，PC端接受所有传感器的数据，用户在PC端对这些数据处理，2为电源与串口，为整个***提供电源并且连接PC与单片机，3为我们画的单片机最小***，4是我们自主设计的柔性力触觉传感器，5为被测物黑色小球，6为蓝色LED灯珠，7为MPU6050加速度传感器，8为深度摄像头，9为RGB摄像头，10为红色LED灯珠，11为绿色LED灯珠，12为气泵。

方盒单元为黑色亚克力板材料的长方体空心盒子，该长方体有一面不封闭，方盒作为各个模块的电路板的载体，是用来隔离多模态触觉感知装置内部与外界环境，使得内部与外部环境绝对隔离；气泵单元为自动充气装置；

柔性触觉传感器单元包括帆布力触觉传感器，12V转5V稳压供电电路，5V转3.3V稳压供电电路，stm32f103c8t6最小***电路，CD4066开关选择电路；

光源单元包括红色，绿色和蓝色三个灯珠，分别提供各个颜色的光源，每一个灯珠固定在方盒的一侧；

图像采集单元为100万像素高清双目摄像头，放在装置底部，拍取被测物在与帆布力触觉传感器接触或者滑动产生的形变信息，包括RGB图像与深度图像两种；

加速度采集单元是基于MPU6050芯片的WT61C传感器，安装在底部与水平面平行；

12V供电主要用于气泵，3.3V稳压供电电路主要是给CD4066芯片、stm32f103c8t6单片机芯片供电用，stm32f103c8t6最小***电路主要是给stm32f103c8t6单片机芯片提供复位，防止程序跑死以及外部***时钟用，CD4066开关选择电路主要是控制帆布力触觉传感器内部电路的供电与MCU的AD信号采集通道的选择作用。

帆布力触觉传感器将纳米力敏材料与柔软的帆布相结合，该传感器一共有五层，包括两层帆布层、两层薄膜层和力敏材料层，其中帆布层采用轻薄的细帆布，使传感器与被测物接触更加丝滑，薄膜层采用柔性薄膜，起到固定内部力敏材料层的作用，力敏材料层采用纳米力敏材料，当传感器受到压力时，力敏材料层的电阻随着压力增大而减小，其中力敏材料层一共有16个感应点区域，成4*4矩阵对称分布，每个感应点区域均匀分布等量纳米力敏材料，当任意一个感应点区域处产生形变都会使得该区域的阻值发生变化，通过采样电路获取这个力变化信息，其中帆布力触觉传感器的力采集分辨率可以达到0.5N，该传感器主要是用来采集当被测物体与传感器相接触时产生的的力触觉信息；

气泵单元通过管道在传感器工作过程中一直向装置内部充入气体。柔性触觉传感器单元主要是采集被测物与装置接触或者滑动产生的力触觉信息，其中帆布力触觉传感器固定在方盒不封闭的一面。光源单元中的RGB三个灯珠固定在方盒四侧内壁的三侧，主要是提供红、绿、蓝三色光源。图像采集单元固定在方盒的底部，主要是采集被测物与装置之间接触或者滑动时产生的RGB信息和深度信息。所述加速度采集单元固定在方盒底部与水平面平行，主要是采集被测物与装置之间接触或者滑动时产生的加速度信息。我们通过上位机记录并且保存数据，再通过拟合得出被测物形状信息。

1.首先12V通电，气泵开始工作并通过管道给装置内部充气，同时触觉传感器单元上电，由于电池电压随着使用时间越久电压值会降低以及触觉传感器单元的stm32f103c8t6单片机芯片，CD4066芯片需要3.3V电压，所以设计3.3V和5V稳压供电电路给上述模块供电，随着供电的正常进行，CD4066芯片控制4个开关的通闭，让帆布力触觉传感器的16个触点逐行供电，同时stm32f103c8t6单片机将一次采集供电这一行触点的AD信号返回发送到上位机，该信息为一次性16个触觉序列，上位机将所有触觉序列保存为.txt文件。

2.在柔性触觉传感器单元工作的同时，RGB光源单元持续提供红、绿、蓝三种光源，双目摄像头拍向当被测物与装置之间接触或者滑动时产生形变的帆布力触觉传感器，此时可以拍出被测物的形状信息，然后再通过上位机将拍到的RGB图像与深度图像保存为.jpg文件，加速度传感器也通过串口持续输出加速度信息给上位机，上位机将所有加速度信息保存为.txt文件。

3.我们再通过长短期记忆模型循环神经网络算法，将触觉序列.txt信息，加速度序列.txt信息，RGB图像.jpg信息，深度图像.jpg信息集中分析，然后经过拟合，可以得到准确率90％以上的被测物形状信息。

如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (9)

1.一种多模态触觉感知装置，其特征在于：包括方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元；所述气泵单元与所述方盒单元通过管道连接，所述柔性触觉传感器单元设置在所述方盒单元上，所述光源单元设置在所述方盒单元侧壁上，所述图像采集单元设置在所述方盒单元底部，所述加速度采集单元设置在所述方盒单元底部。

2.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述方盒单元为长方体空心外壳，所述外壳为黑色亚克力板材料制成，所述长方体有一面不封闭。

3.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述气泵单元为自动充气装置。

4.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述的柔性触觉传感器单元包括帆布力触觉传感器和***电路，所述帆布力触觉传感器安装在所述长方体不封闭一侧，所述***电路外置。所述帆布力触觉传感器为纳米力敏材料与柔软的帆布结合，所述帆布力触觉传感器一共有五层，包括两层帆布层、两层薄膜层和纳米力敏材料层。

5.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述的光源单元包括RGB(红色，绿色和蓝色)三个灯珠，分别用热熔胶贴在所述方盒单元三面侧壁。

6.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述的图像采集单元为100万像素高清双目摄像头，安装在所述方盒单元底部。

7.如权利要求1所述的一种多模态触觉感知装置，其特征在于：

所述加速度采集单元为基于MPU6050芯片的WT61C传感器，安装在所述方盒单元底部。

8.如权利要求4所述的一种多模态触觉感知装置，其特征在于：

所述力敏材料层共有16个感应点区域，成4×4矩阵对称分布，每个感应点区域均匀分布等量纳米力敏材料。

9.一种多模态触觉感知装置的应用方法，其特征在于：包括以下步骤：

S1：首先12V通电，气泵开始工作并通过管道给装置内部充气，同时柔性触觉传感器单元上电开始工作；

S2：在柔性触觉传感器单元工作的同时，RGB光源单元持续提供红、绿、蓝三种光源，双目摄像头拍向当被测物与装置之间接触或者滑动时产生形变的帆布力触觉传感器，此时可以拍出被测物的形状信息，然后再通过上位机将拍到的RGB图像与深度图像保存为.jpg文件，加速度传感器也通过串口持续输出加速度信息给上位机，上位机将所有加速度信息保存为.txt文件；

S3：利用长短期记忆模型循环神经网络算法，将触觉序列.txt信息，加速度序列.txt信息，RGB图像.jpg信息，深度图像.jpg信息集中分析，然后经过拟合，得到被测物形状信息。

Images