CN114894354B - 基于表面结构色的压力感知反馈装置及深度学习识别方法 - Google Patents
基于表面结构色的压力感知反馈装置及深度学习识别方法 Download PDFInfo
- Publication number
- CN114894354B CN114894354B CN202210373692.9A CN202210373692A CN114894354B CN 114894354 B CN114894354 B CN 114894354B CN 202210373692 A CN202210373692 A CN 202210373692A CN 114894354 B CN114894354 B CN 114894354B
- Authority
- CN
- China
- Prior art keywords
- module
- contact
- layer
- pressure sensing
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 239000004038 photonic crystal Substances 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000010410 layer Substances 0.000 claims description 85
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 22
- 238000009826 distribution Methods 0.000 claims description 16
- 239000002344 surface layer Substances 0.000 claims description 15
- 238000005452 bending Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000000638 stimulation Effects 0.000 claims description 3
- 239000010409 thin film Substances 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 12
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000002324 minimally invasive surgery Methods 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000010408 film Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920000831 ionic polymer Polymers 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000004049 embossing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000004997 Liquid crystal elastomers (LCEs) Substances 0.000 description 1
- 206010062575 Muscle contracture Diseases 0.000 description 1
- 229920000557 Nafion® Polymers 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 208000006111 contracture Diseases 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004205 dimethyl polysiloxane Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000017 hydrogel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010884 ion-beam technique Methods 0.000 description 1
- 229920000554 ionomer Polymers 0.000 description 1
- 238000010329 laser etching Methods 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000002905 metal composite material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000001451 molecular beam epitaxy Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 1
- -1 polydimethylsiloxane Polymers 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001338 self-assembly Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229920000431 shape-memory polymer Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
Abstract
本发明公开了一种基于表面结构色的压力感知反馈装置,包括接触模块、结构模块、控制模块、视觉模块和反馈驱动模块。本发明实施例还公开了一种基于表面结构色的压力感知反馈装置的深度学习识别方法。本发明综合利用光子晶体的力学响应变色原理、超构表面加工技术、智能材料变刚度技术和深度学习计算方法,实现压力的三维感知和即时反馈。本发明,体积小、结构轻巧、响应速度快、能够即时调节接触刚度,可以集成在微创手术机器人、智能康复机器人、人机交互等设备中。
Description
技术领域
本发明涉及人工智能机器人压力感知反馈技术领域,尤其涉及一种基于表面结构色的压力感知反馈装置及深度学习识别方法。
背景技术
随着全球人工智能和虚拟现实的迅速崛起,压力感知和反馈技术在人机交互设备、微创手术机器人、智能康复机器人等方面有了广泛的应用需要。这些压力的感知主要利用各种压力传感器并通过一定形式的相互接触来进行实现。依据物理学原理,目前传感器主要包括电阻式、压电式、电容式、磁感应式、光学传感器等类型。
但是,这些传感器并不能很好地满足日新月异的工业和医疗需求,特别是在柔性接触应用场景中仍存在很多问题。例如,基于柔性电阻的传感器虽然价格便宜但其精度限制了其实用性;基于压电式的传感器通常刚度很大,只适用于振动冲击等动态测量方面;基于电容式的传感器会因为静电放电引入噪音,可能会损坏其他精密电子部件;基于磁感应的传感器由于人为引入电磁场,因而不适合应用于微创手术机器人等医疗场景中。
而基于光波的压力传感器由于具有体积小、重量轻、抗电磁干扰、依从性好、易于集成等优势,在医疗、康复等人机交互实际应用场景中存在巨大的潜力。例如,专利[CN111289017 B]给出了一种基于光波导多模成像的触觉传感器、***及干扰检测方法;专利[CN 113108956 A]发明了一种能够自供电的触觉传感器和机器人;专利[CN 113049166 A]发明了一种通过双目相机辨识特定图案来计算位移场和三维应力场的触觉传感器。在研究论文方面,Kim等人在2013年论文“Tactile rendering of 3D features on touchsurfaces”中提出了一种3D几何形状的触觉渲染方法,通过实验数据拟合摩擦力与驱动电压的精神物理学函数表达,具有实际应用价值;2017年MIT的Adelson团队在论文“GelSight:High-Resolution Robot Tactile Sensors for Estimating Geometry andForce”中总结了一种可以测量接触图案凹凸特征和接触力的柔性触觉传感器GelSight,并在后续几年实现了产业化应用;Alspach等人在其2019年的论文“Soft-bubble:A highlycompliant dense geometry tactile sensor for robot manipulation”中提出了一种软泡式的机器人末端高度柔性触觉传感器。
然而,现有这些基于光学压力传感器有的只能测量一维压力,有的依赖于红、绿、蓝三色光的组合,有的虽然只需要白光光源但又需要设计特定的光路成像。更为重要的是,现有光学压力(或触觉)传感器所测量的压力范围均是固定不变的,不能够随着被测物体的软性或变形程度进行实时的改变,即不具有实时反馈功能。而如何设计一种具有实时调节接触刚度并实现即时反馈功能的触觉传感器对提升康复机器人人机交互,微创手术机器人感知等方面有着重要的意义。
发明内容
本发明实施例所要解决的技术问题在于,提供一种基于表面结构色的压力感知反馈装置及深度学习识别方法,综合利用光子晶体的力学响应变色原理、超构表面加工技术、智能材料变刚度技术和深度学习计算方法,实现压力的三维感知和即时反馈。该压力传感装置体积小、结构轻巧、响应速度快、能够即时调节接触刚度,可以集成在微创手术机器人、智能康复机器人、人机交互等设备中。
为了解决上述技术问题,本发明实施例提供了一种基于表面结构色的压力感知反馈装置,其特征在于,包括接触模块(10)、结构模块(20)、控制模块(30)、视觉模块(40)和反馈驱动模块(50);
所述接触模块与所述结构模块围成中空封闭腔室,所述视觉模块和反馈驱动模块设置于所述中空封闭腔室的底部;
所述接触模块包括从外由内依次贴合为一体的接触表层、智能响应层和结构色层,所述智能响应层根据的声波、光波、电压、湿度、温度其中之一的刺激而导致力学性质的改变;所述结构色层在不同角度入射光照时呈现不同颜色;
所述视觉模块包括至少一个朝向所述结构色层的图像采集头以及至少一个照射至所述结构色层的光源;
所述控制模块与所述视觉模块、所述反馈驱动模块相连接和通信,并且,所述控制模块用于读取和分析视觉模块采集的结构色层图像,并将分析结果输出或者以指令形式传输至所述反馈驱动模块;
所述反馈驱动模块由与所述智能响应层相适配的声波、光波、电压、湿度、温度激励装置构成,并且与所述智能响应层通过有线或无线形式相连接以便驱动其产生软硬变化。
进一步地,所述控制模块设置于所述结构模块外部的底端。
更进一步地,所述接触表层包含有支撑骨架。
更进一步地,所述接触模块为半球形状、椭圆壳形状、柱壳形状之一。
更进一步地,所述结构色层由微-纳加工技术而成带有微-纳米级构筑单元的光子晶体薄膜结构。
更进一步地,所述控制模块具有图像数据、指令输出接口,用于将结果输出或连接至显示设备以图像形式输出,也可以以指令形式输出至与其连接的需感知压力的设备。
相应地,本发明实施例还提供了一种基于表面结构色的压力感知反馈装置的深度学习识别方法,包括以下步骤:
步骤S1:采用标准的分布压力和变形测量仪器对所述接触模块进行不同方向和不同载荷大小的加载,记录每次加载的接触力信息和所述接触模块的接触域分布信息、接触域变形信息,同时通过视觉模块采集记录相应的接触模块中结构层由于接触变形呈现出多种色彩变化的高清图像;
步骤S2:将所述高清图像灰度化,形成图像灰度矩阵,同时将步骤S1中的接触力信息、接触域分布信息和接触域变形信息矩阵化,结合采用的光源光强值、接触模块中智能响应层的弹性模量信息以及接触模块的零加载状态,形成压力感知反馈装置的训练子数据集;
步骤S3:改变光强值和接触模块中智能响应层的弹性模量信息,重复步骤S1和步骤S2,得到不同光强值和不同智能响应层弹性模量信息的压力感知反馈装置的N个训练子数据集{1,2,3,…N},形成压力感知反馈装置的训练数据集;
步骤S4:使用所述训练数据集对深度学习算法进行训练,得到训练好的深度学习算法,并将深度学习算法上载至所述控制模块;
步骤S5:当新的外部物体与所述接触表层接触时,所述控制模块采用训练好的深度学习算法并根据所述视觉模块采集的结构层高清图像解调外部物体施加的压力大小和空间分布信息;
步骤S6:所述控制模块根据解调出的结果判定接触模块空间变形过大或过小时,所述控制模块将指令传至所述反馈驱动模块,所述反馈驱动模块驱动所述智能响应层增大或减小刚度,使所述接触模块达到适宜的柔软程度。
其中,所述深度学习算法融合了压力感知算法、变形识别算法、反馈驱动算法和自适应光强调节算法。
其中,所述视觉模块的光源强值由所述控制模块进行自适应调节,使所述结构色层反射出满足要求的色彩图像。
其中,所述反馈驱动模块还将智能响应层弹性模量的变化传至所述控制模块,以修正所述控制模块中的深度学习算法,用于当前接触模块弯曲刚度下接触压力和接触区域分布的解调。
实施本发明实施例,具有如下有益效果:
(1)本发明利用光子晶体的力学响应变色原理设计了含有结构色层的压力感知反馈装置,通过深度学习识别方法实现了压力和接触变形的三维感知,构造简单、结构可塑性强、可靠性高、应用范围广;
(2)本发明接触模块中的结构色层采用微-纳技术加工,光照反射后不同角度呈现不同色彩,使得接触模块受力变形后的色彩更丰富饱满,而且相比其他图案纹理等更加繁密平滑,大大提高了装置的灵敏度和空间分辨率;
(3)本发明在接触模块中引入智能响应层,并结合深度学***。
附图说明
图1为本发明的一个示例性实施例提供的压力感知装置结构示意图。
图2为本发明一个示例性实施例提供的压力感知装置的触摸模块示意图。
图3为本发明一个示例性实施例提供的压力感知装置的视觉模块示意图。
图4本发明提供的为深度学习识别算法步骤。
图5为本发明一个示例性实施例提供的结构色层光照后的图案灰度图。
图6为本发明一个示例性实施例提供的压力感知装置反馈控制工作流程图。
其中,附图标记:
10-接触模块,11-接触表层,12-智能响应层,13-结构色层
20-结构模块,
30-控制模块,
40-视觉模块,41-光源,42-图像采集头
50-反馈驱动模块。
具体实施方式
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的模块可以以各种不同的配置来布置和设计。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1所示,本发明实施例的一种基于表面结构色的压力感知反馈装置,包括了接触模块10、结构模块20、控制模块30、视觉模块40和反馈驱动模块50;其中,接触模块10与中空的结构模块20相连接并合围成一个封闭的腔室;接触模块10由外及里依次包括接触表层11、智能响应层12和结构色层13,三者依次贴合为一体结构,如图2所示;然后,在接触模块10与结构模块20围成中空封闭腔室内部设置有视觉模块40和反馈驱动模块50;视觉模块40包括有朝向结构色层13的光源41和图像采集头42,如图3所示;然后,控制模块30与视觉模块40、反馈驱动模块50相连接并且相互通信。
如图1和图2所示,作为本发明的实施例的一个实施方式,本实施例设置所述接触模块10的几何形状是直径5cm半球形状结构,但根据实际需要接触模块10的几何形状也可以是椭圆壳形状、柱壳形状或者其他三维形状。接触模块10中的接触表层11、智能响应层12、结构色层13的厚度比为2:5:3,接触模块10的总厚度为5mm。
所述接触表层11可由柔性材料组成,比如在本实施例中,这种柔性材料可以选邵氏硬度A型20—90的塑料、橡胶、硅胶等。优选地,接触表层11还设置有自清洁、防磨损等功能性外层薄膜,以便更好地保护接触模块。优选地,接触表层11的内侧(外部物体与接触表层11接触的另一侧)还可以设置有支撑骨架以防止接触模块10发生过大变形而破坏。
所述智能响应层12可由形状记忆聚合物、电聚合物、压点材料、磁粉水凝胶混合物、液晶弹性体等智能材料复合构成,并且这些智能材料可以按照实验测试、仿真计算等预先设计的条件在一定的由反馈驱动模块50发出的声波、光波、电压、电场、磁场、湿度、温度等刺激下产生膨胀、挛缩、弹性模量变化等材料性能和力学性质的改变,从而改变智能响应层12的弯曲刚度进而改变接触模块10整体的刚度。在本方案具体实施例1中,首先根据压力感知反馈装置的场景需求,将被测压力范围分为N个(比如1—5)等级,每个等级的被测压力范围对应于一种接触模块10的刚度,相应的智能响应层12需改变N次;然后,根据接触模块10的几何构型和尺寸,建立压力载荷下层合薄壳结构的力学模型,确立不同等级被测压力大小与接触模块10变形量之间的关系,改变接触模块10的弯曲刚度使其在不同等级的压力下的变形量均在可控范围内(比如小于接触模块10直径的10%),获得不同等级被测压力对应所需的接触模块10的弯曲刚度,并结合接触表层11和结构色层13的弯曲刚度确定出不同等级被测压力对应所需的智能响应层12的刚度,形成{被测压力等级—智能响应层刚度}的序列;接着,根据前述得到的被测压力等级—智能响应层刚度序列,选用合适的智能材料和刺激方式,从该智能材料的变形程度、变形速率和变形方向三个角度考虑进行布局和顺序预设计,使之与所需刚度序列相适应,基于力学中的应变失配机理利用有限元仿真手段逆向求解形成智能响应层复合结构三维模型;将该智能响应层复合结构模型采用墨水直写等3D打印方式制备,对其进行多次刺激记忆训练,得到满足刚度变化要求的智能响应层12。作为一个实施例,制作一个直径5cm、厚度2.5mm的半圆形球壳形状、弯曲刚度可以改变3次的智能响应层,选用离子聚合物金属复合材料作为智能材料,低电压(1-5V)作为驱动方式,采用熔融成型3D打印方法进行制备。具体来说,按照既定几何尺寸和弯曲刚度变化需求建立仿真模型并借助有限元仿真软件进行仿真计算,逆向分析获得沿球壳径向和周向的离子聚合物铺设方案(浓度梯度),然后以含不同浓度离子聚合物Nafion颗粒的线材为打印材料,进行多喷头混合熔融打印,得到智能响应层12的结构,分别在其上下表面加诸如1.2V、2V和3.8V的电压进行3个弯曲刚度变化训练,训练完成后撤销电压智能响应层恢复至原状;将该离子聚合物智能响应层12上下分别粘贴接厚度为1mm的触表层11和1.5mm的结构色层13作为接触模块10,将低电压发生装置作为本实施例的反馈驱动模块50,通过导线连接智能响应层12的上下表面,用于控制智能响应层弯曲刚度变化。
所述结构色层13是由诸如分子束外延、光刻、离子束刻蚀、晶体生长、化学自组装等微-纳加工技术而成带有微-纳米级构筑单元的超材料薄膜结构,微-纳米构筑单元优选地可以设计为不同微纳米尺寸且呈周期性排列的柱状结构、多孔结构、颗粒结构等多种几何构型。这些微-纳米构筑单元可使不同角度的入射光经过折射和色散后反射不同波长的光,因此整体上使的结构色层13受到视觉模块40中光源的入射光照后在不同弯曲曲率区域呈现出不同的颜色。由于这些微-纳米构筑单元相比接触模块10的尺寸来说具有10-5~10-7个量级的比例,使得本发明如图3所示的视觉模块40中图像采集头42可以采集到结构色层13的超高分辨率图像,大幅提高了本发明压力感知装置的压力识别时空精度。例如在具体实施例1中,所述结构色层13的微-纳米级构筑单元的超材料薄膜结构可选用聚二甲基硅氧烷等高分子材料通过微纳米压印技术在其表面压印形成间距为150纳米、高度和直径分别为100纳米和80纳米的圆柱阵列;在另一个实施例2中,也可通过准分子激光刻蚀技术在聚酰亚胺表面刻蚀出分辨率为25纳米左右光子晶体结构。
所述控制模块30可以直接固定于结构模块20上,也可以独立成体,但需与所述视觉模块40、所述反馈驱动模块50相连接和通信。并且,所述控制模块30能够读取和应用本发明所述深度学习方法分析并解调视觉模块采集的结构色层图像,并将解调出的外部物体施加的压力大小和空间分布信息以三维压力场云图形式输出至图像显示设备或者以指令形式输出至与其连接的机器人触觉末端、软体机械手等需感知压力的设备,或者以指令形式传输至反馈驱动模块50。
控制模块具有图像数据、指令输出接口,用于将结果输出或连接至显示设备以图像形式输出,也可以以指令形式输出至与其连接的需感知压力的设备。
如图4所示,作为本发明实施例的另一个方面,还提供了一种基于表面结构色的压力感知反馈装置的深度学习识别方法,该方法具体包括如下步骤:
步骤S1,采用薄膜压力传感器、微型压力试验机等商用标准的分布压力和变形测量仪器对本发明压力感知反馈装置中接触模块10进行不同方向和不同载荷大小的加载,记录每次加载的接触力信息和所述接触模块10的接触域分布信息、接触域变形信息,同时通过视觉模块40采集记录相应的接触模块10中结构色层13由于接触变形呈现出多种色彩变化的高清图像。
步骤S2,将步骤S1中得到的结构色层高清图像灰度化,形成如图5所示的0-1灰度图像,然后分割形成图像灰度矩阵,同时将步骤S1中的接触力信息、接触域分布信息和接触域变形信息矩阵化,结合步骤S1采用的光源光强值、接触模块中智能响应层12的弹性模量信息以及接触模块10的零加载状态,形成压力感知反馈装置的训练子数据集。作为一个本发明的实施例方式,在本实施例中,半球壳状接触模块10划分为1000×1000的小区域,每个小区域中心点坐标为(x,y,z)、变形后的坐标为(x’,y’,z’)、接触力信息为压力在小区域中心坐标上的投影(fx,fy,fz)、灰度值为(R,G,B),如此形成3个1000×1000的矩阵,结合光源光强值T和智能响应层12的弹性模量E,训练子数据集矩阵类。优选地,当本实施例中相邻两个小区域几何变形梯度较大时,本发明实施例对该相邻小区域的坐标信息、力信息、变形信息和灰度信息做加权和差分运算来进行平滑处理,使得训练子数据集中的矩阵各元素更加精确。
步骤S3,改变光强值和接触模块中智能响应层13的弹性模量信息,重复步骤S1和步骤S2,得到不同光强值和不同智能响应层13弹性模量信息的压力感知反馈装置的N个训练子数据集{1,2,3,…N},形成压力感知反馈装置的训练数据集;
步骤S4,使用步骤S3中压力感知反馈装置的训练数据集对深度学习算法进行训练,得到训练好的深度学习算法,并将深度学习算法上载至控制模块30。作为本发明的一种实施方式,本发明采用CNN深度学习算法,将训练数据集输入采用101层的深度残差网络模型ResNet训练CNN网络,训练后输出接触模块10每个小区域的中心坐标和力分量信息。训练完成后进行测试,当测试结果大于95%时,表示CNN已经训练完成,然后以程序的形式上载至控制模块30。
步骤S5,当新的外部物体以一定大小的压力和接触面积与压力感知反馈装置中接触模块10的接触表层11接触时,控制模块30采用训练好的深度学习算法并根据视觉模块40采集的结构色层13高清图像即可解调外部物体施加的压力大小和空间分布信息;
步骤S6,当控制模块30根据解调出的结果判定接触模块10空间变形过大或过小时,控制模块30可将指令传至反馈驱动模块50,反馈驱动模块50便驱动接触模块10中的智能响应层12增大或减小弹性模量,使接触模块10达到适宜的弯曲刚度,整个压力感知装置反馈控制工作流程如图6所示。
进一步地,在所述步骤S4中,所述深度学习算法融合了压力感知算法、变形识别算法、反馈驱动算法和自适应光强调节算法;
进一步地,在所述步骤S5中视觉模块的光源光强值可由控制模块30进行自适应调节,使结构色层13反射出精细高清的色彩图像。
进一步地,在所述步骤S6反馈驱动模块50还将智能响应层12弹性模量的变化传至控制模块30,以修正控制模块30中的深度学习算法,用于当前接触模块10弯曲刚度下接触压力和接触区域分布的解调。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
Claims (10)
1.一种基于表面结构色的压力感知反馈装置,其特征在于,包括接触模块(10)、结构模块(20)、控制模块(30)、视觉模块(40)和反馈驱动模块(50);
所述接触模块与所述结构模块围成中空封闭腔室,所述视觉模块和反馈驱动模块设置于所述中空封闭腔室的底部;
所述接触模块包括从外由内依次贴合为一体的接触表层、智能响应层和结构色层,所述智能响应层根据的声波、光波、电压、湿度、温度其中之一的刺激而导致力学性质的改变;所述结构色层在不同角度入射光照时呈现不同颜色;
所述视觉模块包括至少一个朝向所述结构色层的图像采集头以及至少一个照射至所述结构色层的光源;
所述控制模块与所述视觉模块、所述反馈驱动模块相连接和通信,并且,所述控制模块用于读取和分析视觉模块采集的结构色层图像,并将分析结果输出或者以指令形式传输至所述反馈驱动模块;
所述反馈驱动模块由与所述智能响应层相适配的声波、光波、电压、湿度、温度激励装置构成,并且与所述智能响应层通过有线或无线形式相连接以便驱动其产生软硬变化。
2.根据权利要求1所述的基于表面结构色的压力感知反馈装置,其特征在于,所述控制模块设置于所述结构模块外部的底端。
3.根据权利要求2所述的基于表面结构色的压力感知反馈装置,其特征在于,所述接触表层包含有支撑骨架。
4.根据权利要求3所述的基于表面结构色的压力感知反馈装置,其特征在于,所述接触模块为半球形状、椭圆壳形状、柱壳形状之一。
5.根据权利要求1所述的基于表面结构色的压力感知反馈装置,其特征在于,所述结构色层由微-纳加工技术而成带有微-纳米级构筑单元的光子晶体薄膜结构。
6.根据权利要求1-5任一项所述的基于表面结构色的压力感知反馈装置,其特征在于,所述控制模块具有图像数据、指令输出接口。
7.一种使用权利要求1-6任一项所述的基于表面结构色的压力感知反馈装置的深度学习识别方法,其特征在于,包括以下步骤:
步骤S1:采用标准的分布压力和变形测量仪器对所述接触模块进行不同方向和不同载荷大小的加载,记录每次加载的接触力信息和所述接触模块的接触域分布信息、接触域变形信息,同时通过视觉模块采集记录相应的接触模块中结构层由于接触变形呈现出多种色彩变化的高清图像;
步骤S2:将所述高清图像灰度化,形成图像灰度矩阵,同时将步骤S1中的接触力信息、接触域分布信息和接触域变形信息矩阵化,结合采用的光源光强值、接触模块中智能响应层的弹性模量信息以及接触模块的零加载状态,形成压力感知反馈装置的训练子数据集;
步骤S3:改变光强值和接触模块中智能响应层的弹性模量信息,重复步骤S1和步骤S2,得到不同光强值和不同智能响应层弹性模量信息的压力感知反馈装置的N个训练子数据集{1,2,3,…N},形成压力感知反馈装置的训练数据集;
步骤S4:使用所述训练数据集对深度学习算法进行训练,得到训练好的深度学习算法,并将深度学习算法上载至所述控制模块;
步骤S5:当新的外部物体与所述接触表层接触时,所述控制模块采用训练好的深度学习算法并根据所述视觉模块采集的结构层高清图像解调外部物体施加的压力大小和空间分布信息;
步骤S6:所述控制模块根据解调出的结果判定接触模块空间变形过大或过小时,所述控制模块将指令传至所述反馈驱动模块,所述反馈驱动模块驱动所述智能响应层增大或减小刚度,使所述接触模块达到适宜的柔软程度。
8.根据权利要求7所述的方法,其特征在于,所述深度学习算法融合了压力感知算法、变形识别算法、反馈驱动算法和自适应光强调节算法。
9.根据权利要求8所述的方法,其特征在于,所述视觉模块的光源强值由所述控制模块进行自适应调节,使所述结构色层反射出满足要求的色彩图像。
10.根据权利要求9所述的方法,其特征在于,所述反馈驱动模块还将智能响应层弹性模量的变化传至所述控制模块,以修正所述控制模块中的深度学习算法,用于当前接触模块弯曲刚度下接触压力和接触区域分布的解调。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210373692.9A CN114894354B (zh) | 2022-04-11 | 2022-04-11 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210373692.9A CN114894354B (zh) | 2022-04-11 | 2022-04-11 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114894354A CN114894354A (zh) | 2022-08-12 |
CN114894354B true CN114894354B (zh) | 2023-06-13 |
Family
ID=82714784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210373692.9A Active CN114894354B (zh) | 2022-04-11 | 2022-04-11 | 基于表面结构色的压力感知反馈装置及深度学习识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114894354B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116735069B (zh) * | 2023-08-15 | 2023-10-31 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种新型流场压力光学测量方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4827763A (en) * | 1986-04-11 | 1989-05-09 | Purdue Research Foundation | Pressure mapping system with capacitive measuring pad |
CN206651984U (zh) * | 2016-12-06 | 2017-11-21 | 汕头大学 | 心肺复苏辅助按压垫 |
CN110417397A (zh) * | 2019-07-02 | 2019-11-05 | 东南大学 | 电致变色的柔性压阻电子开关 |
CN110426060A (zh) * | 2019-08-28 | 2019-11-08 | 中国科学技术大学 | 多功能柔性传感材料及其制备方法与应用 |
CN111079333A (zh) * | 2019-12-19 | 2020-04-28 | 华南理工大学 | 柔性触觉传感器深度学习感知方法 |
CN111338267A (zh) * | 2017-03-11 | 2020-06-26 | 陕西爱尚物联科技有限公司 | 一种机器人硬件***及其机器人 |
CN112823299A (zh) * | 2018-10-01 | 2021-05-18 | 镭亚股份有限公司 | 全息现实***、多视图显示器和方法 |
CN113108956A (zh) * | 2021-05-08 | 2021-07-13 | 香港中文大学(深圳) | 一种触觉传感器和机器人 |
CN113892019A (zh) * | 2019-05-31 | 2022-01-04 | 影子机器人有限公司 | 触觉传感器 |
CN114067042A (zh) * | 2021-11-08 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置、设备、存储介质及程序产品 |
-
2022
- 2022-04-11 CN CN202210373692.9A patent/CN114894354B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4827763A (en) * | 1986-04-11 | 1989-05-09 | Purdue Research Foundation | Pressure mapping system with capacitive measuring pad |
CN206651984U (zh) * | 2016-12-06 | 2017-11-21 | 汕头大学 | 心肺复苏辅助按压垫 |
CN111338267A (zh) * | 2017-03-11 | 2020-06-26 | 陕西爱尚物联科技有限公司 | 一种机器人硬件***及其机器人 |
CN112823299A (zh) * | 2018-10-01 | 2021-05-18 | 镭亚股份有限公司 | 全息现实***、多视图显示器和方法 |
CN113892019A (zh) * | 2019-05-31 | 2022-01-04 | 影子机器人有限公司 | 触觉传感器 |
CN110417397A (zh) * | 2019-07-02 | 2019-11-05 | 东南大学 | 电致变色的柔性压阻电子开关 |
CN110426060A (zh) * | 2019-08-28 | 2019-11-08 | 中国科学技术大学 | 多功能柔性传感材料及其制备方法与应用 |
CN111079333A (zh) * | 2019-12-19 | 2020-04-28 | 华南理工大学 | 柔性触觉传感器深度学习感知方法 |
CN113108956A (zh) * | 2021-05-08 | 2021-07-13 | 香港中文大学(深圳) | 一种触觉传感器和机器人 |
CN114067042A (zh) * | 2021-11-08 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置、设备、存储介质及程序产品 |
Non-Patent Citations (3)
Title |
---|
Alex Alspach 等.Soft-bubble: A highly compliant dense geometry tactile sensor for robot manipulation.《2019 2ND IEEE INTERNATIONAL CONFERENCE ON SOFT ROBOTICS (ROBOSOFT 2019)》.2019,全文. * |
王琮智.基于数据扩增和迁移学习的M...NN脑CT图像自动分割研究.《中国生物医学工程学报》.2021,第40卷(第4期),全文. * |
许玉云.基于微气囊的柔性触觉传感器阵列及对象识别研究.《中国优秀博士论文集信息科技辑》.2021,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN114894354A (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bai et al. | Elastomeric haptic devices for virtual and augmented reality | |
Chorley et al. | Development of a tactile sensor based on biologically inspired edge encoding | |
US20180157317A1 (en) | System and method for haptic interaction with virtual objects | |
Piacenza et al. | A sensorized multicurved robot finger with data-driven touch sensing via overlapping light signals | |
Wang et al. | Biomechanically optimized distributed tactile transducer based on lateral skin deformation | |
De Oliveira et al. | Multimodal bio-inspired tactile sensing module | |
WO2005124305A1 (ja) | 光学式触覚センサ | |
CN114894354B (zh) | 基于表面结构色的压力感知反馈装置及深度学习识别方法 | |
Zhang et al. | DelTact: A vision-based tactile sensor using a dense color pattern | |
Teyssier et al. | Human-like artificial skin sensor for physical human-robot interaction | |
US11907429B2 (en) | Virtual reality glove | |
Jayawant | Tactile sensing in robotics | |
Azulay et al. | Allsight: A low-cost and high-resolution round tactile sensor with zero-shot learning capability | |
Matl et al. | Stretch: a soft to resistive elastic tactile hand | |
Parsons et al. | Single and Bi-Layered 2-D Acoustic Soft Tactile Skin | |
Rajendran et al. | AST-2: Single and bi-layered 2-D acoustic soft tactile skin | |
Lang | Design and prototyping of a fiber optic tactile array | |
Provancher | On tactile sensing and display | |
US20230158685A1 (en) | Soft robotic sensing and proprioception via cable and microfluidic transmission | |
Subudhi et al. | Novel Single Bubble Haptic Sensor: SubbleSight | |
Yu et al. | OMsense: An Omni Tactile Sensing Principle Inspired by Compound Eyes | |
Zhang et al. | Design, optimization and application of tactile sensor based on virtual binocular vision | |
Mirzaee et al. | Design and Fabrication of a Vision-based Tactile Sensor | |
Boukallel et al. | Flexible Tactile Sensors for Multidigital Dexterous In‐Hand Manipulation | |
Cho et al. | A Soft Somesthetic Robotic Finger Based on Conductive Working Liquid and an Origami Structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |