CN112318555A - 一种视触觉感知装置及微小型机器人 - Google Patents

一种视触觉感知装置及微小型机器人 Download PDF

Info

Publication number
CN112318555A
CN112318555A CN202011226701.9A CN202011226701A CN112318555A CN 112318555 A CN112318555 A CN 112318555A CN 202011226701 A CN202011226701 A CN 202011226701A CN 112318555 A CN112318555 A CN 112318555A
Authority
CN
China
Prior art keywords
module
tactile
visual
information
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011226701.9A
Other languages
English (en)
Other versions
CN112318555B (zh
Inventor
石青
贾广禄
陈晨
许毅
孙韬
闫书睿
黄强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011226701.9A priority Critical patent/CN112318555B/zh
Priority to US17/153,140 priority patent/US11878434B2/en
Publication of CN112318555A publication Critical patent/CN112318555A/zh
Application granted granted Critical
Publication of CN112318555B publication Critical patent/CN112318555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J7/00—Micromanipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40575—Camera combined with tactile sensors, for 3-D
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种视触觉感知装置及微小型机器人。该装置包括：视觉感知模块、触觉感知模块、控制模块和信号传输模块；信号传输模块分别与视觉感知模块、触觉感知模块和控制模块连接，视觉感知模块用于获取装置周围环境的图像信息；触觉感知模块用于获取装置周围环境的触觉信息；信号传输模块用于将图像信息和触觉信息传输至控制模块；控制模块用于根据图像信息和触觉信息生成控制指令，并发送控制指令。采用本发明的视触觉感知装置及微小型机器人，能够同时获取周围环境的图像信息和触觉信息，进而使得本发明在远距离和近距离均能对周围环境的信息进行准确获取，兼顾对周围环境全局和局部的感知，具有感知精度高的特点。

Description

一种视触觉感知装置及微小型机器人
技术领域
本发明涉及信息采集技术领域，特别是涉及一种视触觉感知装置及微小型机器人。
背景技术
随着技术的发展，设备体积逐步小型化、轻量化。对于微型设备而言，感知***对设备智能控制、运动目标的自动跟踪与识别、与环境交互等都有着至关重要的作用，但是微型设备的尺寸，极大增加了微型设备感知***集成的难度。
现有的感知***主要为视觉感知，比如单目摄像头、双目摄像头和深度相机等。但是，单目摄像头不能进行视差计算，所以无法获取图像深度信息；双目摄像头和深度相机体积大，难以应用到微型机器领域；另外，视觉感知在光线弱的情况下，感知信息的效果很差，甚至无法得到图像信息，视觉感知***在与环境中物体距离近时被物体遮挡，导致有用的视觉信息丧失，阴影、光线和抖动等外界因素都会影响视觉感知的效果，极大地影响了感知***的准确性。
现有技术中也存在触觉感知的感知***，通常为按压电阻式，按压电阻式的触觉感知方式通过差异的振动信号进行触觉感知，虽然不受阴影、光线和抖动等因素影响，对距离较近的物体感知效果好，但是同样体积较大，难以应用到微型设备上，且单一触觉感知的感知***，由于其接触式的感知方式，无法快速感知全局环境，对周围环境的感知精度低。
因此，机器人感知***体积过大，无法应用于微小型设备，与环境的距离过远或过近时，对环境全局和局部的感知不能兼顾，感知精度低，是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种视触觉感知装置及微小型机器人，视触觉感知装置应用于微小型机器人等微型设备，在自身体积小的情况下，能够对周围环境同时进行视觉感知和触觉感知，进而兼顾周围环境的全局和局部，具有感知范围广、感知精度高的优点。
为实现上述目的，本发明提供了如下方案：
一种视触觉感知装置，包括：
视觉感知模块、触觉感知模块、控制模块和信号传输模块；
所述视觉感知模块与所述信号传输模块连接，所述视觉感知模块用于获取所述装置周围环境的图像信息；
所述触觉感知模块与所述信号传输模块连接，所述触觉感知模块用于获取所述装置周围环境的触觉信息；
所述信号传输模块与所述控制模块连接；所述信号传输模块用于将所述图像信息和所述触觉信息传输至所述控制模块；
所述控制模块用于根据所述图像信息和所述触觉信息生成控制指令，并发送所述控制指令。
可选的，所述视觉感知模块，具体包括：
第一相机和第二相机；
所述第一相机和所述第二相机均与所述信号传输模块连接；
所述第一相机用于获取所述装置左前方环境的图像信息；
所述第二相机用于获取所述装置右前方环境的图像信息。
可选的，所述触觉感知模块，具体包括：
第一胡须传感器、第二胡须传感器和触觉信息处理单元；
所述第一胡须传感器和所述第二胡须传感器均与所述触觉信息处理单元连接；所述第一胡须传感器用于获取所述装置左侧环境的触觉信息；
所述第二胡须传感器用于获取所述装置右侧环境的触觉信息；
所述触觉信息处理单元与所述信号传输模块连接；所述触觉信息处理单元用于对所述装置左侧环境的触觉信息和所述装置右侧环境的触觉信息进行模数转化，并将模数转化后的所述装置左侧环境的触觉信息和模数转化后的所述装置右侧环境的触觉信息传输至所述信号传输模块。
可选的，所述信号传输模块，具体包括：
第一无线图像传输模块、第二无线图像传输模块和WIFI模块；
所述第一无线图像传输模块分别与所述第一相机和所述控制模块连接；所述第一无线图像传输模块用于将所述装置左前方环境的图像信息传输至所述控制模块；
所述第二无线图像传输模块分别与所述第二相机和所述控制模块连接；所述第二无线图像传输模块用于将所述装置右前方环境的图像信息传输至所述控制模块；
所述WIFI模块分别与所述触觉信息处理单元和所述控制模块连接；所述WIFI模块用于将模数转换后所述装置左侧环境的触觉信息和模数转换后所述装置右侧环境的触觉信息传输至所述控制模块。
可选的，所述触觉信息处理单元，具体包括：
模数转换电路、多个放大电路和多个滤波降压电路；
所述第一胡须传感器的每一根胡须均连接一个放大电路；所述第二胡须传感器的每一根胡须均连接一个放大电路；所述放大电路的第一输出端和所述放大电路的第二输出端分别连接一个所述滤波降压电路；所述放大电路用于放大对应胡须采集的触觉信息；
多个所述滤波降压电路的输出端均与所述模数转换电路的输入端连接；所述滤波降压电路用于对放大后的对应胡须采集的触觉信息进行滤波处理；所述滤波降压电路还用于对滤波后的对应胡须采集的触觉信息进行降压处理；
所述模数转换电路的输出端与所述WIFI模块连接；所述模数转换电路用于对多个降压处理后的对应胡须采集的触觉信息进行模数转换处理；所述WIFI模块用于将多个模数转换后的对应胡须采集的触觉信息传输至所述控制模块。
可选的，所述放大电路包括放大芯片，所述放大芯片的型号为AD8222；所述滤波降压电路包括滤波降压芯片，所述滤波降压芯片的型号为AD8599；所述模数转换电路包括模数转换芯片，所述模数转换芯片的型号为STM32。
可选的，所述装置，还包括：外壳；
所述外壳设置有第一通孔和第二通孔；
所述第一相机设置于所述第一通孔处；所述第二相机设置于所述第二通孔处；所述第一胡须传感器设置于所述外壳的左侧；所述第二胡须传感器设置于所述外壳的右侧。
一种视触觉感知微小型机器人，应用上述的视触觉感知装置。
与现有技术相比，本发明的有益效果是：
本发明提出了一种视触觉感知装置及微小型机器人，该装置的信号传输模块分别与视觉感知模块、触觉感知模块和控制模块连接，视觉感知模块用于获取微小型机器人周围环境的图像信息；触觉感知模块用于获取微小型机器人周围环境的触觉信息；信号传输模块用于将图像信息和触觉信息传输至控制模块；控制模块用于根据图像信息和触觉信息生成控制指令后发送控制信息。本发明提供的视触觉感知装置及微小型机器人，在保证自身体积小的情况下，能够同时获取周围环境的图像信息和触觉信息，进而使得本发明在远距离和近距离均能对周围环境的信息进行准确获取，兼顾对周围环境全局和局部的感知，具有感知精度高的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中视触觉感知装置的结构示意图；
图2为本发明实施例中视触觉感知装置的结构简化图；
图3为本发明实施例中放大电路图；图3(a)为本发明实施例中视触觉传感器一根胡须x方向对应的放大电路图；图3(b)为本发明实施例中视触觉传感器一根胡须y方向对应的放大电路图；
图4为本发明实施例中放大芯片AD8222的引脚图；
图5为本发明实施例中滤波降压电路图；
图6为本发明实施例中滤波降压芯片AD8599的引脚图。
其中，1-视觉感知模块；2-触觉感知模块；3-信号传输模块；4-第一相机；5-第二相机；6-第一胡须传感器7-第二胡须传感器；8-第一无线图像传输模块；9-第二无线图像传输模块；10-WIFI模块；11-触觉信息处理单元；12-控制模块；13-外壳。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种视触觉感知装置及微小型机器人，视触觉感知装置应用于微小型机器人等微型设备，在自身体积小的情况下，能够对周围环境同时进行视觉感知和触觉感知，进而兼顾周围环境的全局和局部，具有感知范围广、感知精度高的优点。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例
图1为本发明实施例中视触觉感知装置的结构示意图，图2为本发明实施例中视触觉感知装置的结构简化图，如图1和图2所示，本发明提供了一种视触觉感知装置，包括：视觉感知模块1、触觉感知模块2、控制模块12和信号传输模块3。
视觉感知模块1与信号传输模块3连接，视觉感知模块1用于获取装置周围环境的图像信息。视觉感知模块1，具体包括：第一相机4和第二相机5；第一相机4和第二相机5均与信号传输模块3连接；第一相机4用于获取装置左前方环境的图像信息；第二相机5用于获取装置右前方环境的图像信息。
触觉感知模块2与信号传输模块3连接，触觉感知模块2用于获取装置周围环境的触觉信息。触觉感知模块2，具体包括：第一胡须传感器6、第二胡须传感器7和触觉信息处理单元11；第一胡须传感器6和第二胡须传感器7均与触觉信息处理单元11连接；第一胡须传感器6用于获取装置左侧环境的触觉信息；第二胡须传感器7用于获取装置右侧环境的触觉信息；触觉信息处理单元11与信号传输模块3连接；触觉信息处理单元11用于对装置左侧环境的触觉信息和装置右侧环境的触觉信息进行模数转化，并将模数转化后的装置左侧环境的触觉信息和模数转化后的装置右侧环境的触觉信息传输至信号传输模块3。
触觉信息处理单元11，具体包括：模数转换电路、多个放大电路和多个滤波降压电路。第一胡须传感器6的每一根胡须均连接一个放大电路；第二胡须传感器7的每一根胡须均连接一个放大电路；放大电路的第一输出端和放大电路的第二输出端分别连接一个滤波降压电路；放大电路用于放大对应胡须采集的触觉信息；多个滤波降压电路的输出端均与模数转换电路的输入端连接；滤波降压电路用于对放大后的对应胡须采集的触觉信息进行滤波处理；滤波降压电路还用于对滤波后的对应胡须采集的触觉信息进行降压处理；模数转换电路的输出端与信号传输模块3连接；模数转换电路用于对多个降压处理后的对应胡须采集的触觉信息进行模数转换处理；信号传输模块3用于将多个模数转换后的对应胡须采集的触觉信息传输至控制模块12。
其中，放大电路包括放大芯片，放大芯片的型号为AD8222；滤波降压电路包括滤波降压芯片，滤波降压芯片的型号为AD8599；模数转换电路包括模数转换芯片，模数转换芯片的型号为STM32。
信号传输模块3与控制模块12连接；信号传输模块3用于将图像信息和触觉信息传输至控制模块12。
信号传输模块3，具体包括：第一无线图像传输模块8、第二无线图像传输模块9和WIFI模块10；第一无线图像传输模块8分别与第一相机4和控制模块12连接；第一无线图像传输模块8用于将装置左前方环境的图像信息传输至控制模块12；第二无线图像传输模块9分别与第二相机5和控制模块12连接；第二无线图像传输模块9用于将装置右前方环境的图像信息传输至控制模块12；WIFI模块10分别与触觉信息处理单元11(具体为触觉信息处理单元11中模数转换电路的输出端)和控制模块12连接；WIFI模块10用于将模数转换后装置左侧环境的触觉信息和模数转换后装置右侧环境的触觉信息传输至控制模块12。如图2所示，第一相机4和第一无线图像传输模块8，以及第二相机5和第二无线图像传输模块9均通过USB(Universal Serial Bus，通用串行总线)连接，触觉感知模块2与WIFI模块10通过USART(Universal Synchronous/Asynchronous Receiver/Transmitter，通用同步/异步串行接收/发送器)连接，信号传输模块3与控制模块12通过WLAN(Wireless Local AreaNetwork，无线局域网)连接，路由器用于生成WLAN。
控制模块12用于根据图像信息和触觉信息生成控制指令，并发送控制指令。控制指令用于控制应用本发明的微型装置。
本发明提供的视触觉感知装置，还包括外壳13，外壳13的尺寸信息如图1所示，h1-h4为外壳的尺寸，h1为30mm，h2为40mm，h3为50mm，h4为15mm。外壳13上设置有第一通孔和第二通孔；第一相机4设置于第一通孔处；第二相机5设置于第二通孔处；第一胡须传感器6设置于外壳13的左侧；第二胡须传感器7设置于外壳13的右侧。第一胡须传感器6和第二胡须传感器7的胡须均向外设置，胡须用于接触物体获取触觉信息。
具体地，一个胡须传感器有四根胡须，每根胡须有两组方向(x方向和y方向)四个输出，故一个触觉传感器共有16个输出电压，将其命名为IN11+，IN11-，IN12+，IN12-；IN21+，IN21-，IN22+，IN22-；IN31+，IN31-，IN32+，IN32-；IN41+，IN41-，IN42+，IN42-；其中，IN11+表示第一根何须x方向的正向输出，IN11-表示第一根胡须x方向的负向输出，IN12+表示第一根胡须y方向的正向输出，IN12-表示第一根胡须y方向的负向输出；IN21+表示第二根何须x方向的正向输出，IN21-表示第二根胡须x方向的负向输出，IN22+表示第二根胡须y方向的正向输出，IN22-表示第二根胡须y方向的负向输出；IN31+表示第三根何须x方向的正向输出，IN31-表示第三根胡须x方向的负向输出，IN32+表示第三根胡须y方向的正向输出，IN32-表示第三根胡须y方向的负向输出；IN41+表示第四根何须x方向的正向输出，IN41-表示第四根胡须x方向的负向输出，IN42+表示第四根胡须y方向的正向输出，IN42-表示第四根胡须y方向的负向输出。
以一个胡须传感器的一根胡须为例，图3为本发明实施例中放大电路图；图3(a)为本发明实施例中视触觉传感器一根胡须x方向对应的放大电路图；图3(b)为本发明实施例中视触觉传感器一根胡须y方向对应的放大电路图；其中，RG1和RG3表示光敏电阻器，C19表示电容，芯片外数字对应的AD8222芯片引脚名称如图4所示；图4为本发明实施例中放大芯片AD8222的引脚图；图5为本发明实施例中滤波降压电路图；其中C1和C2表示电容，R1-R6表示电阻，U1表示AD8599芯片且图中的两个芯片为同一个AD8599芯片，芯片外数字对应的具体AD8599芯片引脚名称如图6所示；图6为本发明实施例中滤波降压芯片AD8599的引脚图。
如图3-6所示，AD8222芯片的IN-引脚(即引脚1和引脚12)和IN+引脚(即引脚4和引脚9)均与一个胡须传感器的一根胡须连接，AD8222芯片的OUT引脚即引脚15和引脚14分别连接不同AD8599芯片的+IN引脚(引脚3)；所有AD8599芯片的OUT B引脚(引脚7)均与模数转换芯片连接。
本发明还提供了一种视触觉感知微小型机器人，应用本发明提供的视触觉感知装置。
视触觉感知装置通过视觉感知获取全局环境信息，通过触觉感知(接触物体表面)获取局部环境信息，结合视觉信息和触觉信息生成触发机器人行进与各个关节运动的控制指令，通过无线网络将控制指令发送给微小型机器人平台。
本发明提供的视触觉感知装置，将微型双目相机与胡须传感器巧妙地集成在狭小的空间(指外壳)内，通过视觉信息和触觉信息互补来感知周围环境，感知范围大，感知精度高，另外，本发明为视觉信息和触觉信息设置了不同的传输模块，信号之间互不干扰，而且信号的传输延时低、传输稳定。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种视触觉感知装置，其特征在于，所述装置，包括：
视觉感知模块、触觉感知模块、控制模块和信号传输模块；
所述视觉感知模块与所述信号传输模块连接，所述视觉感知模块用于获取所述装置周围环境的图像信息；
所述触觉感知模块与所述信号传输模块连接，所述触觉感知模块用于获取所述装置周围环境的触觉信息；
所述信号传输模块与所述控制模块连接；所述信号传输模块用于将所述图像信息和所述触觉信息传输至所述控制模块；
所述控制模块用于根据所述图像信息和所述触觉信息生成控制指令，并发送所述控制指令。
2.根据权利要求1所述的视触觉感知装置，其特征在于，所述视觉感知模块，具体包括：
第一相机和第二相机；
所述第一相机和所述第二相机均与所述信号传输模块连接；
所述第一相机用于获取所述装置左前方环境的图像信息；
所述第二相机用于获取所述装置右前方环境的图像信息。
3.根据权利要求2所述的视触觉感知装置，其特征在于，所述触觉感知模块，具体包括：
第一胡须传感器、第二胡须传感器和触觉信息处理单元；
所述第一胡须传感器和所述第二胡须传感器均与所述触觉信息处理单元连接；所述第一胡须传感器用于获取所述装置左侧环境的触觉信息；
所述第二胡须传感器用于获取所述装置右侧环境的触觉信息；
所述触觉信息处理单元与所述信号传输模块连接；所述触觉信息处理单元用于对所述装置左侧环境的触觉信息和所述装置右侧环境的触觉信息进行模数转化，并将模数转化后的所述装置左侧环境的触觉信息和模数转化后的所述装置右侧环境的触觉信息传输至所述信号传输模块。
4.根据权利要求3所述的视触觉感知装置，其特征在于，所述信号传输模块，具体包括：
第一无线图像传输模块、第二无线图像传输模块和WIFI模块；
所述第一无线图像传输模块分别与所述第一相机和所述控制模块连接；所述第一无线图像传输模块用于将所述装置左前方环境的图像信息传输至所述控制模块；
所述第二无线图像传输模块分别与所述第二相机和所述控制模块连接；所述第二无线图像传输模块用于将所述装置右前方环境的图像信息传输至所述控制模块；
所述WIFI模块分别与所述触觉信息处理单元和所述控制模块连接；所述WIFI模块用于将模数转换后所述装置左侧环境的触觉信息和模数转换后所述装置右侧环境的触觉信息传输至所述控制模块。
5.根据权利要求4所述的视触觉感知装置，其特征在于，所述触觉信息处理单元，具体包括：
模数转换电路、多个放大电路和多个滤波降压电路；
所述第一胡须传感器的每一根胡须均连接一个放大电路；所述第二胡须传感器的每一根胡须均连接一个放大电路；所述放大电路的第一输出端和所述放大电路的第二输出端分别连接一个所述滤波降压电路；所述放大电路用于放大对应胡须采集的触觉信息；
多个所述滤波降压电路的输出端均与所述模数转换电路的输入端连接；所述滤波降压电路用于对放大后的对应胡须采集的触觉信息进行滤波处理；所述滤波降压电路还用于对滤波后的对应胡须采集的触觉信息进行降压处理；
所述模数转换电路的输出端与所述WIFI模块连接；所述模数转换电路用于对多个降压处理后的对应胡须采集的触觉信息进行模数转换处理；所述WIFI模块用于将多个模数转换后的对应胡须采集的触觉信息传输至所述控制模块。
6.根据权利要求5所述的视触觉感知装置，其特征在于，所述放大电路包括放大芯片，所述放大芯片的型号为AD8222；所述滤波降压电路包括滤波降压芯片，所述滤波降压芯片的型号为AD8599；所述模数转换电路包括模数转换芯片，所述模数转换芯片的型号为STM32。
7.根据权利要求3所述的视触觉感知装置，其特征在于，所述装置，还包括：外壳；
所述外壳设置有第一通孔和第二通孔；
所述第一相机设置于所述第一通孔处；所述第二相机设置于所述第二通孔处；所述第一胡须传感器设置于所述外壳的左侧；所述第二胡须传感器设置于所述外壳的右侧。
8.一种视触觉感知微小型机器人，其特征在于，所述微小型机器人应用权利要求1-7任一项所述的视触觉感知装置。
CN202011226701.9A 2020-11-06 2020-11-06 一种视触觉感知装置及微小型机器人 Active CN112318555B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011226701.9A CN112318555B (zh) 2020-11-06 2020-11-06 一种视触觉感知装置及微小型机器人
US17/153,140 US11878434B2 (en) 2020-11-06 2021-01-20 Visual-tactile perception apparatus and small-sized robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011226701.9A CN112318555B (zh) 2020-11-06 2020-11-06 一种视触觉感知装置及微小型机器人

Publications (2)

Publication Number Publication Date
CN112318555A true CN112318555A (zh) 2021-02-05
CN112318555B CN112318555B (zh) 2021-07-20

Family

ID=74316147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011226701.9A Active CN112318555B (zh) 2020-11-06 2020-11-06 一种视触觉感知装置及微小型机器人

Country Status (2)

Country Link
US (1) US11878434B2 (zh)
CN (1) CN112318555B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297952A (zh) * 2021-05-21 2021-08-24 哈尔滨工业大学（深圳） 一种复杂环境下绳驱柔性机器人的测量方法和***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114851227B (zh) * 2022-06-22 2024-02-27 上海大学 一种基于机器视觉与触觉融合感知的装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105806415A (zh) * 2016-04-28 2016-07-27 成都齐沃农业科技有限公司 一种基于无线通讯的环境监测装置
CN107030704A (zh) * 2017-06-14 2017-08-11 郝允志 基于神经元网络的教育机器人控制设计
CN109048908A (zh) * 2018-08-29 2018-12-21 重庆两江微链智能科技有限公司 机器人感知装置及***
CN110308733A (zh) * 2019-08-07 2019-10-08 四川省众望科希盟科技有限公司 一种微小型机器人运动控制***、方法、存储介质及终端
WO2020100583A1 (ja) * 2018-11-14 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法、および記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9797792B2 (en) * 2015-03-13 2017-10-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for tactile fur sensing
US10024713B1 (en) * 2016-09-30 2018-07-17 The United States Of America As Represented By The Secretary Of The Navy Vibrissa sensor
KR102666273B1 (ko) * 2016-11-28 2024-05-17 엘지디스플레이 주식회사 터치 센서를 갖는 표시장치와 그 구동 방법
US11614746B2 (en) * 2018-01-05 2023-03-28 Irobot Corporation Mobile cleaning robot teaming and persistent mapping
GB2573164B (en) * 2018-04-27 2023-01-04 Sony Interactive Entertainment Inc Apparatus control system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105806415A (zh) * 2016-04-28 2016-07-27 成都齐沃农业科技有限公司 一种基于无线通讯的环境监测装置
CN107030704A (zh) * 2017-06-14 2017-08-11 郝允志 基于神经元网络的教育机器人控制设计
CN109048908A (zh) * 2018-08-29 2018-12-21 重庆两江微链智能科技有限公司 机器人感知装置及***
WO2020100583A1 (ja) * 2018-11-14 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法、および記憶媒体
CN110308733A (zh) * 2019-08-07 2019-10-08 四川省众望科希盟科技有限公司 一种微小型机器人运动控制***、方法、存储介质及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297952A (zh) * 2021-05-21 2021-08-24 哈尔滨工业大学（深圳） 一种复杂环境下绳驱柔性机器人的测量方法和***
CN113297952B (zh) * 2021-05-21 2022-06-24 哈尔滨工业大学（深圳） 一种复杂环境下绳驱柔性机器人的测量方法和***

Also Published As

Publication number Publication date
US11878434B2 (en) 2024-01-23
US20220143835A1 (en) 2022-05-12
CN112318555B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN112318555B (zh) 一种视触觉感知装置及微小型机器人
CN112153306B (zh) 图像采集***、方法、装置、电子设备及可穿戴设备
CN112261669A (zh) 网络波束定向控制方法及装置、可读介质和电子设备
CN212115678U (zh) 麦克风测试板及麦克风测试***
Brückner et al. Reliable orientation estimation for mobile motion capturing in medical rehabilitation sessions based on inertial measurement units
US10716479B2 (en) Signal synchronization device, as well as stethoscope, auscultation information output system and symptom diagnosis system capable of signal synchronization
EP3829189A1 (en) Volume-based master-slave switching method and related products
CN106377401A (zh) 导盲前端设备、导盲后端设备及导盲***
EP3206188A1 (en) Method and system for realizing motion-sensing control based on intelligent device, and intelligent device
CN203898286U (zh) 人体运动信号的无线采集与实时分析***
Ni et al. Human posture detection based on human body communication with muti-carriers modulation
CN115276831B (zh) 一种信号干扰消除方法、***、存储介质及终端设备
CN201937772U (zh) 跟踪式立体显示设备、计算机及移动终端
CN109584278B (zh) 一种目标识别装置及方法
CN113726466B (zh) 一种可穿戴设备及其信号采集方法
CN210582880U (zh) 一种新型嵌入式ai智能交互轮椅
CN107024993A (zh) 交互***、方法及装置
CN111481197A (zh) 用于人机自然交互的生机多模态信息采集融合装置
CN112494290A (zh) 一种导航眼镜
CN111338080A (zh) 头戴设备及电子设备
KR100759930B1 (ko) 스테레오 줌 시각처리 장치
CN112235690A (zh) 音频信号的调整方法及装置、耳机组件、可读存储介质
Puri et al. CLOUDFALL 1.0: A Smart, Low-Cost, IoT-Based Fall-Detection Sensor Node
CN205490840U (zh) 一种便携式图像处理无线摄像装置
CN210927777U (zh) 一种相机电路，双目相机及自动驾驶***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant