CN115574998A - 一种基于反射式探头结构的光纤光斑触觉传感器 - Google Patents
一种基于反射式探头结构的光纤光斑触觉传感器 Download PDFInfo
- Publication number
- CN115574998A CN115574998A CN202210896035.2A CN202210896035A CN115574998A CN 115574998 A CN115574998 A CN 115574998A CN 202210896035 A CN202210896035 A CN 202210896035A CN 115574998 A CN115574998 A CN 115574998A
- Authority
- CN
- China
- Prior art keywords
- probe
- optical fiber
- reflector
- light
- light spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000523 sample Substances 0.000 title claims abstract description 113
- 239000013307 optical fiber Substances 0.000 title claims abstract description 98
- 230000008859 change Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 16
- 239000011347 resin Substances 0.000 claims abstract description 12
- 229920002379 silicone rubber Polymers 0.000 claims abstract description 9
- 239000004945 silicone rubber Substances 0.000 claims abstract description 9
- 238000010146 3D printing Methods 0.000 claims abstract description 4
- 229920002050 silicone resin Polymers 0.000 claims abstract description 4
- 239000000835 fiber Substances 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 239000004033 plastic Substances 0.000 claims description 8
- 229920005989 resin Polymers 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000005452 bending Methods 0.000 abstract description 36
- 230000035945 sensitivity Effects 0.000 abstract description 32
- 238000010586 diagram Methods 0.000 description 25
- 238000004088 simulation Methods 0.000 description 16
- 208000002447 Macrophagic myofasciitis Diseases 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 11
- 235000019589 hardness Nutrition 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- MTUCPVGHGILPNY-JSZKFYPPSA-N alpha-L-Fucp-(1->3)-[alpha-D-Manp-(1->3)-[alpha-D-Manp-(1->6)]-beta-D-Manp-(1->4)-beta-D-GlcpNAc-(1->4)]-D-GlcpNAc Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@H]1[C@H](O[C@H]2[C@@H]([C@@H](O)[C@H](O[C@H]3[C@H]([C@@H](O[C@@H]4[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O4)O)[C@H](O)[C@@H](CO[C@@H]4[C@H]([C@@H](O)[C@H](O)[C@@H](CO)O4)O)O3)O)[C@@H](CO)O2)NC(C)=O)[C@@H](CO)OC(O)[C@@H]1NC(C)=O MTUCPVGHGILPNY-JSZKFYPPSA-N 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000011664 nicotinic acid Substances 0.000 description 3
- JAAQAAFKQSNUEH-UHFFFAOYSA-N 4-(hydroxymethyl)-2-propylfuran-3-carboxylic acid Chemical compound OCC=1C(=C(OC=1)CCC)C(=O)O JAAQAAFKQSNUEH-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 101100345717 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mmf2 gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 101150001634 mmf1 gene Proteins 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002966 stenotic effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
- G01L1/242—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet the material being an optical fibre
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于反射式探头结构的光纤光斑触觉传感器。包括：半球形接触件、反射器、底座以及嵌入底座中的输入及输出光纤，光纤的导光模式为反射模式，输入光纤为单模光纤，将来自于光源的光信号导入探头中照射在反射器上，输出光纤为多模光纤，将反射器反射回来的光传导至接收相机，该相机对光斑信号进行采集，探头结构由硅橡胶和树脂通过3D打印制成，半球形接触件的硬度高于反射器，施加在探头接触件上的力将引起反射器的形变，从而引起输出光斑的变化。本发明的光纤光斑触觉传感器将光斑图样作为传感信号，具有高灵敏度，且由于光斑变化主要由反射器形变引起，输出光纤弯曲状态的改变对输出光斑影响较小，因此具有较强的抗弯曲干扰能力。
Description
技术领域
本发明涉及触觉传感器技术领域，尤其涉及一种基于反射式探头结构的光纤光斑触觉传感器。
背景技术
近年来，触觉传感在人机交互、机器人姿态控制以及医疗手术领域，特别是微创手术中被广泛应用。为了提升触觉感知能力，已经提出了许多触觉传感方案，如电阻式、电容式、电感式、光学式、压电式、超声波式、磁电式等。其中基于光学式的触觉传感器具有灵敏度高、可靠性好、抗电磁干扰等特性，应用前景更加广阔。目前所提出的光纤触觉传感主要是从光谱偏移、光强和光斑图样等方面对其进行研究。前二者往往面临高成本或相对较低的灵敏度的困扰。其中基于光强变化的触觉传感所实现的灵敏度较低；光谱偏移的检测需要昂贵的测量设备，而且如果采用FBG作为传感器件，其制作过程较为复杂，增加了成本。与前二者相比，基于光斑图样的传感器结构简单，只需要一个激光器、一根光纤和一台小型工业相机或者***头，且光斑图样又极容易受到光纤状态变化的影响，因此基于光斑的传感***具有便携、低成本、高灵敏度等优点。
现有技术中，有学者提出一种基于光纤光斑分析的触觉传感器。此传感器由9个微弯结构组成，连接到3根多模光纤上，并以矩阵排列方式分布在接触面上。计算光斑图的归一化内积系数并通过数据融合技术估计施加在触觉框架上的力的大小和位置。该传感器实现 0.5N-1灵敏度，能够以86％的准确度检测力位置1mm的变化。
还有学者提出了一种由单根缠绕的多模光纤嵌入弹性衬底组成的2D触觉传感器，弹簧针在2维平面上自动扫描时，CCD(charge coupled device，电荷耦合器件)采集光纤输出的光斑图像。并将采集的光斑输入卷积神经网络训练和测试。该2D触觉传感器实现了98％以上准确率的空间位置识别和100％准确度的力传感。
上述两种触觉传感器为平面式结构，其制作简单，但应用范围有限，仅适用于表面传感。相比于平面式，探头式结构紧凑，灵敏度高，应用范围广。同时，以上触觉传感器均是由多个元件排列组成，结构复杂，且其单个探头元件在接触力位置的识别、力传感的灵敏度方面均有提升的空间。这些问题正是本发明研究要解决的核心问题。
发明内容
本发明的实施例提供了一种基于反射式探头结构的光纤光斑触觉传感器，以实现光纤光斑触觉传感器的精准触觉感知。
为了实现上述目的，本发明采取了如下技术方案。
一种基于反射式探头结构的光纤光斑触觉传感器，包括：半球形接触件、反射器、底座以及嵌入底座中的两段光纤，该两段光纤分别为探头的输入及输出光纤，光纤的导光模式为反射模式，输入光纤为单模光纤，将来自于光源的光信号导入探头中照射在反射器上，输出光纤为多模光纤，将通过探头反射器反射回来的光传导至接收相机，该相机对光斑信号进行采集，光源和接收光斑信号的相机位于同侧，探头结构由硅橡胶和树脂通过3D 打印制成，其中的半球形接触件和反射器由硅橡胶制成，底座由树脂塑料制成，硅橡胶的肖氏硬度小于树脂塑料硬度，且半球形接触件的硬度高于反射器，施加在探头接触件上的力将引起反射器的形变。
优选地，所述传感探头中的反射器由两个以90°角放置的反射镜组成，在反射器的底部，有一个由树脂塑料制成的圆柱形底座，用于固定探头的输入单模光纤和输出多模光纤，保持探头的输入单模光纤和输出多模光纤互相平行。
优选地，光源输出的光通过单模光纤进入探头底座后被引导至反射器处，经反射器中两个垂直反射镜的反射，光束的传输方向会改变接近180度，从而进入到输出多模光纤中；当在传感探头上施加接触力时，探头中的反射器发生变形，反射器中原本垂直的两个反射镜之间角度发生变化，导致光从单模光纤到多模光纤的传输路径发生改变，相机检测到的光斑图样也随之变化，随着接触力的增大，反射镜变形逐渐增大，导致光的传输路径变化增大，相机采集到的光斑图的变化增大，通过对光斑图变化程度进行分析能够获取接触力的变化信息。
优选地，所述探头式结构的光纤触觉传感器的信号处理过程包括如下的处理步骤：
步骤1、采集光斑图样信号，并沿光斑边缘对其进行裁剪，去除冗余信息；
步骤2、将裁剪好的光斑图像转化为灰度光斑图像；
步骤3、将灰度光斑图像缩放至统一大小；
步骤4、计算灰度光斑图样的零均值归一化互相关ZNCC值。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例的光纤光斑触觉传感器将光斑图样作为传感信号，光斑信号具有高灵敏度。在本发明的反射式结构中，从传感探头至相机的多模光纤弯曲状态的改变对输出光斑特性影响较小，远小于反射器形变导致的光斑特性的变化，从而探头具有较强的抗弯曲干扰能力。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)、(b)和(c)为本发明实施例提供的一种基于反射式探头结构的光纤光斑触觉传感器的结构图；
图2(a)为本发明实施例提供的一种初始时等效光纤结构图，图2(b)为本发明实施例提供的一种受力后的等效光纤结构图；
图3(a)为本发明实施例提供的一种三种MMF输出光斑图的ZNCC随着倾斜角度的变化，图 3(b)为本发明实施例提供的一种亮斑数随着三种MMF入射光的倾斜角度增加的变化情况，图 3(c)为本发明实施例提供的一种MMF3在不同倾斜角度下输出的光斑图；
图4为本发明实施例提供的一种的仿真模型示意图；
图5(a)为本发明实施例提供的一种弯曲偏移量改变时ZNCC的变化图和不同弯曲偏移下输出的光斑图，图5(b)为本发明实施例提供的一种弯曲位置改变时ZNCC的变化示意图；
图6为本发明实施例提供的一种接触力传感实验装置图；
图7为本发明实施例提供的一种探头1每个模型光斑图的ZNCC随接触力的变化示意图；
图8为本发明实施例提供的一种探头2每个模型光斑图的ZNCC随接触力的变化示意图；
图9为本发明实施例提供的一种将探头1和探头2所得到的传感性能参数做对比示意图。
图10为本发明实施例提供的一种卷积神经网络结构图；
图11(a)为本发明实施例提供的一种MMF2的光斑图的网络模型训练过程示意图，图 11(b)为本发明实施例提供的一种用于分类的归一化混淆矩阵(插图是10个分类对应的典型光斑图)；
图12(a)为本发明实施例提供的一种MMF2的光斑图的网络模型训练过程示意图，图 12(b)为本发明实施例提供的一种用于分类的归一化混淆矩阵示意图；
图13为本发明实施例提供的一种组间-组内相关图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明采用光斑图样作为信号，相机作为探测设备，相机类型可以是CCD(ChargeCoupled Device，电荷耦合器件)也可以是CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)，整个***结构简单且成本低。且本发明的反射式结构中，光从单模光纤输出后被反射器反射再次回到多模光纤的传输路径极易受外界影响，多模光纤的输出光斑产生相应变化，使得此结构具有极高的灵敏性。
光纤触觉传感器可分为平面式结构和探头式结构两大类，尽管平面式结构的敏感区域面积大，但其灵敏度相对较低且适用范围小，主要应用于仿生皮肤。本发明为探头式结构，与平面式结构相比，具有灵敏度高、结构紧凑和适用范围广等优点，可以将其嵌入很多需要进行触觉力传感的结构中，例如机械手、仿生手或手术刀中，因此，在医疗和工业智能化领域具有广泛应用。
本发明的探头式结构的光纤触觉传感器包括半球形接触件、反射器和底座，光纤触觉传感器的输入和输出光纤嵌入于底座中，传感器的光源和接收相机位于同侧，这种反射式工作方式使传感头易于安装于需要进行接触力传感的结构中。
在光纤光斑触觉传感器中根据几何光学原理设计等效光纤结构，初始时反射器中反射镜之间的角度为90°，传感探头中的光传输相当于两条中心对齐的光纤结构中的光传输，当在接触点处向传感探头施加力时，反射镜之间的角度增加，此时的等效光纤结构为具有一定角度的光纤入射结构，MMF的入射光具有一定的倾斜角度，利用等效光纤结构定性分析接触力对MMF光斑图变化的影响。
本发明实施例提供的一种基于反射式探头结构的光纤光斑触觉传感器的探头结构如图 1(a)所示，其导光模式为反射模式，探头结构由硅橡胶和树脂通过3D打印制成。探头中的半球形接触件和反射器由硅橡胶制成，其肖氏硬度小于树脂塑料硬度。反射器由两个以 90°角放置的反射镜组成，如图1(b)所示。在反射器的底部，有一个由树脂塑料制成的圆柱形底座，用于固定发射单模光纤(Single-Mode Fiber,SMF)和接收多模光纤(Multi-Mode Fiber,MMF)，以确保两条光纤保持平行。半导体激光器发射的光入射至SMF后，通过传感探头中的反射器反射并耦合到接收MMF中。当在传感探头上施加精确的接触力时，传感探头中的反射器变形，反射器中两个反射镜之间的角度会发生变化，导致光从SMF到MMF的传输路径发生改变，因此CCD检测到的光斑图样也随之变化。通过对光斑图变化情况的分析，可以得知接触力的变化。
图1(c)为探头的9个接触位置示意图。为了分析传感探头在接触点1处受到作用力时，反射器的形变对光纤光斑的影响，假设反射器中的反射镜是理想的，根据几何光学原理设计了等效光纤结构。这样，传感探头中的光传输可以通过图3中的简化模型进行定性分析。起初，反射器中反射镜之间的角度为90°，如图2(a)所示，传感探头中的光传输相当于两条中心对齐的光纤结构中的光传输。当在接触点1处向传感探头施加力时，反射镜之间的角度增加，如图2(b)所示，此时的等效光纤结构为具有一定角度的光纤入射结构，对于MMF来说，相当于其入射光不是垂直于端面进入，而是具有一定的倾斜角度。将传感探头中光路的传输转化成等效光纤结构，有利于仿真模型的搭建，并且可以利用等效光纤结构定性分析接触力对MMF光斑图变化的影响。
这种探头结构可基于单探头实现了触觉感知和位置识别，而不需要多个反射式元件阵列组合，这减小了***结构的复杂度，同时也降低了信号处理的数据量，提升了触觉感知的性能。这解决了尖端传感的集成问题，有利于机器人手臂等应用。
(2)结合本发明的探头结构，采用光斑图样作为处理信号的方法：这是因为将光斑图样作为了反射式探头的处理信号，可以实现较高的接触力传感灵敏度以及较强的抗弯曲干扰能力。
本发明的探头式结构的光纤触觉传感器的信号处理过程包括如下的处理步骤：
步骤1、采集光斑图样信号，并沿光斑边缘对其进行裁剪，去除冗余信息；
步骤2、将裁剪好的光斑图像转化为灰度图像，因为灰度图像每个像素只需要一个字节存放灰度值，这避免了条带失真；
步骤3、将灰度图像缩放至统一大小，以便求取ZNCC值
步骤4、根据公式(1)计算灰度光斑图样的ZNCC值；
在感知性能方面，本发明抗弯曲干扰能力强，触觉感知精度高，而且具有单探头-多受力位置感知的能力。本发明采用反射式探头结构弱化了光纤弯曲带来的影响，光纤弯曲状态的改变对输出光斑特性影响十分微弱。
在光斑图像处理方面，相关法是通过计算图像之间的空间相关性来比较光纤在不同状态下的输出光斑，由相关值的变化来衡量光斑的变化，进而量化光纤状态的变化。零均值归一化互相关(The Zero Mean Normalized Cross-Correlation，ZNCC)与传统的互相关分析相比，避免了光斑图亮度波动的影响。如公式(1)所示：
其中，I0和I分别是参考光斑图和当前光斑图的强度分布，
和
是当前光斑图和参考光斑图的平均强度。当光斑图与参考图不相关时，ZNCC会衰减。
在计算光斑图样的ZNCC值之前对其进行预处理。处理的过程如图1所示：首先对获得的原始图样进行光斑边缘检测，并沿边缘做外接正方形裁剪。因为在原始图像中，光斑只占一小部分区域，若直接采用原始图像，图像中的大量冗余信息会导致运算量增加。为减小冗余并保留光斑所有空间信息，设计了一种自动检测光斑边缘，并沿其对光斑做外接正方形裁剪的算法。其次，将裁剪后的光斑图像转换为灰度图像，因为灰度图像每个像素只需要一个字节存放灰度值，这避免了条带失真。然后将光斑图样缩放至统一大小，并根据公式(1)计算光斑图样的ZNCC值。
本发明的上述光纤光斑触觉传感器的工作原理可以通过对传感探头的等效光纤结构的仿真分析来获得验证：
①倾斜角度对多模光纤输出光斑特性的影响
根据以上分析可知，当传感探头在接触点1处受到力作用时，等效光纤结构中MMF入射光的倾斜角度发生改变。因此，在仿真过程中，通过改变等效光纤结构中倾斜角度来模拟实际中传感探头所受到的接触力的变化。
仿真中的光源波长为658nm，MMF总长保持在3cm，SMF与MMF之间的空气间隙为0.1mm。由于实验中不可避免地会发生弯曲，所以在仿真中引入直径为1cm的小弯曲，使仿真更加贴近实际情况。利用光束传播法对不同倾斜角度的光纤结构进行仿真得到光纤光斑图，不同的倾斜角度与传感探头受力不同时的情况相对应。对三种MMF进行了仿真分析，仿真和实验所使用的光纤参数保持一致，如表1所示。
表1仿真和实验采用的光纤参数表
仿真结果如图4所示，图3(a)为三种MMF输出光斑图的ZNCC随着倾斜角度的变化。由图 3(a)可知，三组ZNCC都随着倾斜角度的增大呈线性趋势下降，并且随着纤芯芯径增加， ZNCC下降的速度会更快，这是因为芯径大的MMF会激发更多的传输模式，生成的光斑图更复杂，对倾斜角度的变化有更灵敏的响应。为此求取了三种MMF在不同倾斜角度下的仿真光斑图的亮斑数量。
图3(b)为亮斑数量随着三种MMF入射光的倾斜角度增加的变化情况。可见，随着入射光的倾斜角的增大，亮斑的数量都会增加。由于MMF中的导模数一般接近光纤光斑图中的亮斑数量，并与它们的平均尺寸成反比，所以亮斑数量的变化进一步说明了：MMF中激发模式数量随着倾斜角度的增加。同时通过对三种MMF的对比也可以发现，在相同的倾斜角度情况下，芯径大的MMF相对于芯径小的MMF，亮斑的数量会更多，说明在相同条件下，芯径大的MMF激发的模式更多。如图3(c)显示了MMF3在不同倾斜角度下输出的光斑图，从图中可以看出，随着倾斜角度增加，亮斑的平均尺寸减小，亮斑数量增多，这进一步证实了上述理论。
光斑图中的亮斑数量可通过以下步骤计算。首先，对光斑图进行二值化处理，并进行腐蚀和膨胀处理，以此来提取亮斑的边界信息；其次，通过消弱狭窄部分和去除尖的突兀来平滑边界。然后对所有亮斑进行行和列的索引，计算出每个亮斑的质心；最后，通过采用循环来计算光斑图中所有亮斑质心的数量。
需要注意的，仿真采用的等效光纤结构仅适用于在传感探头中心施加力这种情况。当力作用于传感探头的其他位置时，反射器的形变变得复杂，无法用这种简单的等效结构模拟光的传输。但可以预见，在这种情况下，较大力的影响仍然会导致反射器严重变形，这样，光纤光斑图会发生更大的变化。
②弯曲偏移量和弯曲位置对光纤输出光斑特性的影响
为了研究光纤弯曲对反射式结构输出的光斑特性的影响，分别从弯曲偏移量和弯曲位置这两个角度出发，分析其对等效光纤结构输出光斑特性的影响。图4为仿真的结构模型，光纤弯曲部分的最高点与光纤笔直部分的垂直距离d为弯曲偏移量，其中A和B两点间的距离始终保持不变，弯曲长度随偏移量的增加而增长。
MMF的芯径为50μm，分别在4个弯曲偏移量和3个弯曲位置处，对不同倾斜角度的光纤结构进行输出光斑的仿真，并计算每一组光斑的ZNCC。其中，在改变弯曲偏移量时，弯曲位置保持在2；当弯曲位置改变时，弯曲偏移量保持在0.2mm。
当弯曲偏移量由0.1mm增加至0.4mm时，光斑图的ZNCC与倾斜角度的关系如图5(a)所示，结果显示，在此范围内，弯曲偏移量的改变并没有影响ZNCC整体的变化趋势，无论是下降速度还是线性范围都未受到影响。说明在一定的弯曲偏移范围内，弯曲偏移量的改变不会对光斑的相关特性有影响，但是，在相同的倾斜角度下，弯曲偏移量的改变对于输出的光斑图样是有影响的，如图5(a)所示。在同一弯曲偏移量下，随着倾斜角度的增加，输出的光斑图亮斑数量越来越多，亮斑的平均大小逐渐减小。在相同倾斜角度情况下，弯曲偏移量越大，输出的光斑图样越复杂，亮斑数量越多。当改变弯曲位置时，对ZNCC的变化趋势也不存在任何影响，由图5(b)可知，改变弯曲位置时，三组ZNCC保持完美的一致性。仿真结果显示，弯曲偏移量和弯曲位置的改变对不同倾斜角度光纤结构输出的光斑特性影响十分微弱，说明该结构抗弯曲干扰能力强。
在触觉传感器的实验分析方面：
①接触力传感实验
经过上述的仿真分析后，对两种不同探头硬度的触觉传感器进行接触力传感实验，实验装置如图6所示。激光器输出的光进入SMF后，经过传感探头的反射器反射进入MMF，MMF 输出的光束先通过物镜准直，然后由CCD相机(DFK33G445)接收。该相机提供1280×960像素的图像，像素大小为3.75×3.75μm。分别使用三种MMF和波长为658nm和532nm的两种激光器作为光源进行实验，以此分析传感器结构参数对其性能的影响。
1)探头1：半球形接触件-反射器肖氏硬度为60-80
在两个工作波长下，不同长度的三种MMF分别被命名为模型1-5，如表2所示，表中还总结了不同模型的灵敏度和线性测量范围。
表2探头1不同模型的结果表现
总的来说，与其他两种MMF相比，MMF3实现了更高的灵敏度，并且在532nm波长下，0- 4N线性测量范围内，获得了0.2N-1的最高灵敏度。这是因为MMF3的直径大，产生的传输模式多，从而产生灵敏的光斑图。对于MMF1和MMF3，从模型1和2的比较或模型4和5的比较中可以看出，MMF长度对灵敏度没有太大的影响。对比每个模型中两种波长下的ZNCC随接触力增加的下降速度可知，532nm的较小波长是提高灵敏度的有利因素。原因在于，较小的工作波长下，MMF中的激发的模式多。
每个模型光斑图的ZNCC随接触力的变化如图7所示。每个模型三次重复测量的统计结果如子图所示。实心正方形或圆形代表ZNCC的平均值，条形代表标准偏差。所有情况下测量值的小标准偏差表明了实验具有良好的重复性。从图7可以得出结论，随着接触力线性增加，光纤光斑图的ZNCC都会减小，这表明通过光纤光斑图的ZNCC可以唯一确定接触力。
2)探头2：半球形接触件-反射器肖氏硬度为80-60
将探头中反射器硬度下调至60，半球硬度增加至80，再次进行上述接触力传感实验，各个模型的灵敏度和线性范围如表3所示。从表中可知，随着光纤的芯径增大，传感器的灵敏度也随之增大；当光源波长较短时，传感器的灵敏度更高；光纤长度对于灵敏度没有太大的影响，但当光纤长度较短时，线性测量范围略有增大，原因可能在于光纤长度短，光损耗小。该探头的实验结果与探头1的实验结论一致，这也证实了该传感器的可靠性。
表3探头2不同模型的结果表现
每个模型光斑图的ZNCC随接触力的变化情况如图9所示，ZNCC与接触力成线性相关。由每一幅图可以看出，波长较短时，光斑的ZNCC随着接触力的增加下降的速度更快，这说明短波长有利于传感器灵敏度的提升；从图8可以发现，光纤长度改变时，ZNCC下降速度并未受到很大影响，线性范围会随着光纤长度减小而变大；从图8可知，光纤芯径越大，光斑图的ZNCC随接触力下降速度越快，其中芯径为200μm的MMF3输出光斑的ZNCC下降速度最快，其传感器拥有最高的灵敏度，由光斑子图中可以看出，MMF3输出图样中亮斑数量多，光斑图样复杂。这与仿真所得的结果一致。
探头1和探头2的实验结果均表明光斑图的ZNCC随着接触力的增加而线性下降，说明该探头结构可以实现接触力传感。探头结构参数不同时所实现的传感性能也不同。光源波长 532nm，光纤长度为32.5cm的情况下，将探头1和探头2所得到的传感性能参数做对比，对比结果如图10所示。其中图9(a)为灵敏度的对比，黑色柱为探头1，灰色柱为探头2，通过对比可以发现，探头2比探头1实现了更高的灵敏度，原因可能在于探头2的反射器的硬度相对较软，当探头受到力作用时，反射器发生的形变量相对较大，导致光斑图变化明显，光斑图的ZNCC变化大，所以可提供更高的灵敏度。从图9(a)中也可以看出，光纤芯径越大，传感器实现的灵敏度越大。
图9(b)为两种探头的线性动态范围对比图，从图中可以看出，实现较高灵敏度的探头2 所实现的线性范围却较低，低灵敏度的探头1实现了更大的线性测量范围。通过对比可以看出，不同的探头结构参数可以实现不同的传感性能，可根据应用的不同需求调整传感器探头结构参数以此实现不同性能的传感器。
在验证了该触觉传感器可以实现接触力传感后，采用卷积神经网络CNN对该传感器的接触位置识别能力进行验证。CNN是一种深度学习架构，其独特性在于它能够识别数据中的非线性关系。因此，被广泛用于识别复杂的视觉模式，并取得了优异的性能。此外，与其他模型相比，CNN在基于光斑图的传感方案中表现出更好的性能。
本发明采用VGG-Nets(VGG：Visual Geometry Group Network)的网络架构。如图10所示，卷积神经网络结构主要由6个卷积层、3个池化层和全局平均池化层组成。实验采集到的光斑图在放入到神经网络之前被调整为64×64。第一次卷积使用64个大小为3×3的卷积核进行卷积，卷积后得到的特征图参数为64×64×64。其中，64×64为每幅图像卷积后的大小，最后一个‘64’为卷积后特征图像的个数。为了避免梯度***和梯度消失问题，在每次卷积运算后加入一个激活函数。该网络使用的激活函数是RELU函数，定义为RELU＝ max(0,x)。
第二个卷积与第一个卷积操作相同。然后将卷积后的特征图输入池化层进行特征提取，2×2池化后，特征图的大小变为32×32。Conv3和Conv4有128个卷积核，其中核大小为3×3。同理，经过Conv3、Conv4的卷积和Maxpooling2的2×2池化操作后，特征图的大小变为16×16，特征图的个数变为128个，然后将Conv4输出的特征图输入到具有64个卷积核的Conv5后再输入到Conv6，Conv6具有10个卷积核，对应于输出通道即输入类别的数量。2×2池化后特征图的大小变为8×8。全局平均池(Global average pooling)可以将最后一层的特征图与整个图像的平均值合并，形成一个特征点，该特征点可用于形成最终的特征向量，以便在SoftMax中进行计算。
将实验采集的光纤光斑数据集按4:1的比例划分为训练集和测试集，训练集用于卷积神经网络的训练以更新网络的权重，测试集用于测试训练得到的网络模型的分类性能，训练集和测试集的数量划分如表4所示：
表4训练集和测试集划分
为了验证传感器识别接触位置的能力，光源波长为532nm时，在探头1的模型3上的五个位置分别施加2.9N和3.4N的力，五个位置如图1(a)所示点1、3、5、7、9。一旦施加力的大小和位置发生变化，反射器中从SMF到MMF的传输路径将发生变化，然后MMF的模式耦合导致光斑图样发生变化。因此，通过光斑图的分析，可以确定接触力的位置。
对于每个位置施加的每个力，收集200个光斑图像，总共收集2000个光斑图，按4:1的比例划分为训练集和测试集。从图11(a)中可以看出，在现有网络深度的情况下，精度和损耗曲线很快达到稳定状态。训练集和测试集之间的精度差异可以忽略不计，这表明了该网络具有很好的泛化能力。图11(b)显示了接触位置分类的100％准确度，这验证了传感器具有良好的接触位置识别能力。在图11(b)中，还显示了在传感探头的五个位置施加两个力时获得的10种分类的典型光斑图。
为进一步验证传感器对接触位置的识别能力，光源为532nm时，采用探头2的模型4对9 个接触位置的3种接触力，共27种接触情况进行识别，每种情况采集250张光斑图像，共6750张，按照4：1的比例划分为训练集和测试集。网络训练结果与分类结果如图4-12所示。图12(a)的结果同样验证了该网络具有很好的泛化能力。图12(b)显示了对于27种情况，分类准确度均达到了100％。进一步说明该触觉传感器可以精准的定位接触位置。
在探头的不同位置施加接触力时，反射器发生的形变不同，导致光传输路径不同，输出的光斑图的差异性更加明显。图13为本发明实施例提供的一种组间-组内相关图，如图13 所示，在相同位置处施加相同大小的接触力时，光斑的相关性较好，ZNCC值接近1；当在不同位置施加相同大小的接触力时，光斑的相关性较差，ZNCC值接近0。所以可以实现100％的分类准确度。
经过接触力传感实验以及接触位置识别实验的验证，证实了该触觉传感器的可行性。使用2种硬度的探头和不同的MMF对传感方案进行验证，在两个工作波长下对作用力的灵敏度进行了测试，从中可以看出良好的重复性。通过深度学习，接触位置根据光斑图被成功分类，准确率为100％。由于该方案中的传感结构简单紧凑，因此很容易将其小型化并集成到阵列中。基于光学的传感原理还提供了抗电磁干扰性，这有利于其在可能发生强电磁干扰的恶劣环境中的进一步应用，如发电厂、发电站和磁共振成像环境。
综上所述，本发明实施例与现有反射式探头结构相比，本发明将光斑图样作为传感信号，光斑信号具有高灵敏度。在本发明的反射式结构中，从探头至相机的多模光纤弯曲状态的改变对输出光斑特性影响较小，远小于反射器形变导致的光斑特性的变化，从而探头具有较强的抗弯曲干扰能力；与此同时，本发明的触觉感知探头结构精巧，不需要多个元件排列组合后进行位置识别，仅仅一个单元即可精准的实现触觉感知(接触力位置和大小)。
本发明探头结构精巧，且反射式结构有利于尖端集成，应用范围更加广泛，例如医疗器械、狭窄空间的探测、机器人肢体以及仿生手等方面。具有较高的应用价值。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于反射式探头结构的光纤光斑触觉传感器，其特征在于，包括：半球形接触件、反射器、底座以及嵌入底座中的两段光纤，该两段光纤分别为探头的输入及输出光纤，光纤的导光模式为反射模式，输入光纤为单模光纤，将来自于光源的光信号导入探头中照射在反射器上，输出光纤为多模光纤，将通过探头反射器反射回来的光传导至接收相机，该相机对光斑信号进行采集，光源和接收光斑信号的相机位于同侧，探头结构由硅橡胶和树脂通过3D打印制成，其中的半球形接触件和反射器由硅橡胶制成，底座由树脂塑料制成，硅橡胶的肖氏硬度小于树脂塑料硬度，且半球形接触件的硬度高于反射器，施加在探头接触件上的力将引起反射器的形变。
2.根据权利要求1所述的基于反射式探头结构的光纤光斑触觉传感器，其特征在于，所述传感探头中的反射器由两个以90°角放置的反射镜组成，在反射器的底部，有一个由树脂塑料制成的圆柱形底座，用于固定探头的输入单模光纤和输出多模光纤，保持探头的输入单模光纤和输出多模光纤互相平行。
3.根据权利要求1所述的基于反射式探头结构的光纤光斑触觉传感器，其特征在于，光源输出的光通过单模光纤进入探头底座后被引导至反射器处，经反射器中两个垂直反射镜的反射，光束的传输方向会改变接近180度，从而进入到输出多模光纤中；当在传感探头上施加接触力时，探头中的反射器发生变形，反射器中原本垂直的两个反射镜之间角度发生变化，导致光从单模光纤到多模光纤的传输路径发生改变，相机检测到的光斑图样也随之变化，随着接触力的增大，反射镜变形逐渐增大，导致光的传输路径变化增大，相机采集到的光斑图的变化增大，通过对光斑图变化程度进行分析能够获取接触力的变化信息。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述探头式结构的光纤触觉传感器的信号处理过程包括如下的处理步骤：
步骤1、采集光斑图样信号，并沿光斑边缘对其进行裁剪，去除冗余信息；
步骤2、将裁剪好的光斑图像转化为灰度光斑图像；
步骤3、将灰度光斑图像缩放至统一大小；
步骤4、计算灰度光斑图样的零均值归一化互相关ZNCC值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210896035.2A CN115574998A (zh) | 2022-07-27 | 2022-07-27 | 一种基于反射式探头结构的光纤光斑触觉传感器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210896035.2A CN115574998A (zh) | 2022-07-27 | 2022-07-27 | 一种基于反射式探头结构的光纤光斑触觉传感器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115574998A true CN115574998A (zh) | 2023-01-06 |
Family
ID=84579684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210896035.2A Pending CN115574998A (zh) | 2022-07-27 | 2022-07-27 | 一种基于反射式探头结构的光纤光斑触觉传感器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115574998A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116195976A (zh) * | 2023-01-31 | 2023-06-02 | 极限人工智能有限公司 | 一种基于光纤的触感传感器、工作方法及触诊工具 |
-
2022
- 2022-07-27 CN CN202210896035.2A patent/CN115574998A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116195976A (zh) * | 2023-01-31 | 2023-06-02 | 极限人工智能有限公司 | 一种基于光纤的触感传感器、工作方法及触诊工具 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ohka et al. | An experimental optical three-axis tactile sensor for micro-robots | |
| US6353478B1 (en) | Digital range sensor system | |
| CN102265186B (zh) | 测位设备 | |
| US6636310B1 (en) | Wavelength-dependent surface contour measurement system and method | |
| CN111012356B (zh) | 一种基于微纳光纤复合传感的步态检测与识别***和方法 | |
| CN115574998A (zh) | 一种基于反射式探头结构的光纤光斑触觉传感器 | |
| JP2008008746A (ja) | 反射像を用いた触覚センサ | |
| Konstantinova et al. | Force and proximity fingertip sensor to enhance grasping perception | |
| Pirozzi | Multi-point force sensor based on crossed optical fibers | |
| CN104198055A (zh) | 一种波面检测装置 | |
| Tan et al. | Oscillation FPCB micromirror based triangulation laser rangefinder | |
| CN102060259A (zh) | 基于硅mems敏感结构融合光学检测技术的微光机电传感器及其应用方法 | |
| Cowie et al. | Distributive tactile sensing using fibre Bragg grating sensors for biomedical applications | |
| EP1709395A1 (en) | Method for detecting an orientation of a device and device having an orientation detector | |
| CN106768267A (zh) | 一种聚焦超声焦点声压测量仪器 | |
| CN109580182B (zh) | 基于布儒斯特定律的曲面光学元件折射率测量方法和装置 | |
| Yang et al. | Liquid Lens‐Based Optical Tactile Sensor with a Touch‐Sensing Separable Structure | |
| US6341526B1 (en) | Micromachined diffractive pressure sensor system | |
| CN106770056B (zh) | 钢化玻璃识别仪及识别方法 | |
| CN104783798A (zh) | 用于感知医用软体机械臂形状的***及方法 | |
| KR102253308B1 (ko) | 힘의 3차원 벡터 분석 시스템 | |
| CN114295263A (zh) | 基于光波导结构的压力传感器及*** | |
| CN113554150A (zh) | 基于深度学习的单光纤扫描器光斑轨迹检测方法及*** | |
| CN109827680A (zh) | 一种基于cmos传感器的三维高灵敏度测微力计 | |
| CN104677285A (zh) | 基于线性腔光纤激光器的双光纤光栅探针微尺度测量装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |