CN114659553A - 一种检测方法、装置、设备及存储介质 - Google Patents
一种检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114659553A CN114659553A CN202210191425.XA CN202210191425A CN114659553A CN 114659553 A CN114659553 A CN 114659553A CN 202210191425 A CN202210191425 A CN 202210191425A CN 114659553 A CN114659553 A CN 114659553A
- Authority
- CN
- China
- Prior art keywords
- detected
- data stream
- neural network
- time window
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 39
- 239000011248 coating agent Substances 0.000 claims abstract description 29
- 238000000576 coating method Methods 0.000 claims abstract description 29
- 229920001971 elastomer Polymers 0.000 claims abstract description 25
- 239000000806 elastomer Substances 0.000 claims abstract description 25
- 210000002569 neuron Anatomy 0.000 claims description 75
- 238000013528 artificial neural network Methods 0.000 claims description 70
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 32
- 238000012421 spiking Methods 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 229920001940 conductive polymer Polymers 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请实施例提供了一种检测方法、装置、设备及存储介质，该包括：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；对所述待测数据流进行数据处理，得到所述待测物的表面属性。
Description
技术领域
本申请涉及机器人触觉技术，尤其涉及一种检测方法、装置、设备及存储介质。
背景技术
相关传统传感技术中，主要包括基于电阻的传感装置(如应变仪)、基于电容的传感器(如导电聚合物)、基于光学的传感器、基于磁力的传感器与基于压电的传感器等。可以看出，传统传感技术的感应点空间分布率较低、处理速度较慢，结构较为复杂、制造成本也较高。
发明内容
本申请实施例期望提供一种检测方法、装置、设备及存储介质。
第一方面，本申请实施例提供了一种检测方法，包括：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
对所述待测数据流进行数据处理，得到所述待测物的表面属性。
第二方面，本申请实施例提供了一种检测装置，所述装置包括：
获取模块，用于实时从传感器获取待测数据流；所述待测数据流为所述传感器中的每一像素结构实时采集弹性体上反光涂层的亮度变化所生成的；所述亮度变化是待测物接触所述弹性体的表面使得所述弹性体产生形变所引起的；
数据处理模块，用于对所述待测数据流进行数据处理，得到所述待测物的表面属性。
第三方面，本申请实施例还提供了一种检测设备，包括：传感器、设有反光涂层的弹性体、光源和处理器；
所述弹性体，用于响应待测物的接触发生形变；
所述光源，用于照射所述弹性体中的反光涂层；
所述传感器，用实时感应所述弹性体形变所引起的所述反光涂层的亮度变化，生成待测数据流，并将所述待测数据流传递给所述处理器；
所述处理器，用于接收所述待测数据流，对所述待测数据流进行数据处理，得到所述待测物的表面属性。
第四方面，本申请实施例还提供了一种计算机存储介质，存储有可执行指令，用于引起处理器执行时，实现上述任一项所述的方法中的步骤。
本申请实施方式中，通过实时从传感器获取待测数据流；对所述待测数据流进行数据处理，得到所述待测物的表面属性。由于待测数据流为根据传感器中像素结构感应的亮度变化事件产生的，而亮度变化是由弹性体被待测物接触时产生的形变事件引起的，即，待测数据流是与弹性体被待测物接触时产生的形变事件相对应的，不同接触物接收弹性体所引起的形变事件对应不同的待测数据流，如此，在传感器中像素结构的像素比较高、处理芯片的处理速度较高的情况下，感应点的空间分布率较高、处理速度较快，结构较为简单、制造成本也较低。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本发明的实施例，并与说明书一起用于说明本发明的技术方案。
图1为本申请实施例提供的一种检测方法的实现流程示意图；
图2为本申请实施例提供的另一种检测方法的实现流程示意图；
图3为本申请实施例提供的再一种检测方法的实现流程示意图；
图4为本申请实施例提供的又一种检测方法的实现流程示意图；
图5为本申请实施例提供的还一种检测方法的实现流程示意图；
图6为本申请实施例提供的其它一种检测方法的实现流程示意图；
图7为本申请实施例提供的一种检测待测物表面属性的装置的组成结构示意图；
图8为本申请实施例提供的一种待检测面数据采集原理示意图；
图9为本申请实施例提供的一种通过脉冲神经网络处理数据的原理示意图；
图10为为本申请实施例提供的一种检测装置的组成结构示意图；
图11为本申请实施例提供的一种检测设备的组成结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，U和/或W，可以表示：单独存在U，同时存在U和W，单独存在W这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括U、W、V中的至少一种，可以表示包括从U、W和V构成的集合中选择的任意一个或多个元素。
手指和手掌的触觉在人类和机器人识别和操纵物体方面具有重要作用。对于机器人触觉，目前已经有很多传统传感方法。例如，基于电阻的传感装置(如应变仪)、基于电容的传感器(如导电聚合物)、基于光学的传感器、基于磁力的传感器与基于压电的传感器等等。
然而，上述传统的传感方法其感应点的空间分辨率都与人类手指和手掌的触觉感知密度相差甚远，且传感***在处理原始传感信息时也面临着无效噪声多，处理速度慢等缺陷，除此以外，高性能传感方法也常常意味着制造成本高和耐用度低，以上都是目前的传统传感方法在机器人触觉领域需要面临的问题。
基于上述技术问题，本申请实施例提供了一种可以应用于类脑芯片等高速处理器的检测方法，如图1所示，该检测方法的实现流程如下：
步骤S101：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
这里，待测数据流可以是没有数据帧格式的数据流；传感器可以是包含能够感应亮度变化的像素结构的动态视觉传感器(Dynamic Vision Sensor，DVS)；弹性体可以是一种表面设有反光涂层，且在被接触的情况下会发生形变的特制物体；待测物可以是人的手指。
可以理解的是，将光源照射在弹性体上，在弹性体被待测物接触产生形变事件的情况下，由于弹性体的表面设有反光涂层，因此弹性体的反光涂层上的光亮度会发生变化，进而传感器中的像素结构能够实时感应到亮度变化事件。
在一些可能的实施方式中，DVS的像素密度决定了像素结构感应的亮度变化事件产生的待测数据流的密度。
步骤S102：对所述待测数据流进行数据处理，得到所述待测物的表面属性。
这里，待测物的表面属性至少包括待测物的硬度和粗糙度。
在一些可能的实施方式中，对所述待测数据流进行数据处理，得到所述待测物的表面属性，可以是对待测数据流进行识别处理，根据识别结果确定待测物的表面属性。
在另一些可能的实施方式中，对所述待测数据流进行数据处理，得到所述待测物的表面属性，可以是将待测数据流输入训练完成的脉冲神经网络(Spike NeuralNetworks，SNN)，通过SNN输出待测物的表面属性。
在实际应用中，步骤S101至步骤S102可以利用高速处理器实现，上述高速处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、可编程阵列逻辑(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、微控制器、微处理器中的至少一种。
本申请实施方式中，通过实时从传感器获取待测数据流；对所述待测数据流进行数据处理，得到所述待测物的表面属性。由于待测数据流为根据传感器中像素结构感应的亮度变化事件产生的，而亮度变化是由弹性体被待测物接触时产生的形变事件引起的，即，待测数据流是与弹性体被待测物接触时产生的形变事件相对应的，不同接触物接收弹性体所引起的形变事件对应不同的待测数据流，如此，在传感器中像素结构的像素比较高、处理芯片的处理速度较高的情况下，感应点的空间分布率较高、处理速度较快，结构较为简单、制造成本也较低。
图2为本申请实施例提供的另一种检测方法的实现流程示意图，如图2所示，该检测方法的实现流程包括：
步骤S201：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
步骤S202：获取训练完成的脉冲神经网络；
这里，脉冲神经网络使用(Spike Response Model，SRM)神经元模型，并以随机尖峰神经元近似法来推导近似梯度，并使用时间性信用分配策略来分配误差。
在一些可能的实施方式中，训练完成的脉冲神经网络是通过下述方式得到的：获取用于进行脉冲神经网络训练的训练数据流和所述训练数据流对应的待测物的表面属性；基于所述训练数据流和所述训练数据流对应的待测物的表面属性，来对初始脉冲神经网络进行训练，得到训练完成的脉冲神经网络。
步骤S203：通过所述脉冲神经网络对频率编码信号进行数据处理，得到所述待测物的表面属性，其中，所述频率编码信息通过对所述待测数据流进行频率编码得到。
本申请实施例中，通过获取训练完成的脉冲神经网络，通过训练完成的脉冲神经网络对频率编码后的待测数据流进行数据处理，得到待测物的表面属性；如此，可以通过待测数据流和训练完成的脉冲神经网络准确确定待测物的表面属性。
图3为本申请实施例提供的再一种检测方法的实现流程示意图，如图3所示，该检测方法的实现流程包括：
步骤S301：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
步骤S302：获取训练完成的脉冲神经网络；
步骤S303：所述脉冲神经网络对频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列；其中，所述频率编码信息通过对所述待测数据流进行频率编码得到；
可以理解的是，脉冲神经网络中包括很多个按照预设层次排列的神经元模型，其中，每一层次可以根据需要设置一个或多个神经元模型。神经网络的输出层表示神经元网络的多个层级中的最后一个层级。在脉冲网络对脉冲编码信号进行响应的过程中，脉冲神经网络的输出层中的每一神经元模型均会对应输出不同的脉冲序列。
在一些可能的实施方式中，所述脉冲神经网络对频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列，可以是脉冲神经网络响应输入的频率编码信号，将频率编码信号与预设信号幅值阈值进行比较，根据频率编码信号与预设信号幅值阈值的比较结果，脉冲神经网络的输出层中的每一神经元模型输出对应的脉冲序列。
步骤S304：确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量；
可以理解的是，相同时间窗口可以是指相同的时间长度、相同的起始时间和相同的结束时间。
在一些可能的实施方式中，确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，可以是脉冲神经网络对脉冲神经网络的输出层中的每一神经元模型输出对应的脉冲序列进行识别，识别出相同时间窗口内每一所述脉冲序列中所包含的脉冲数量。
步骤S305：基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
在一些可能的实施方式中，基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性，可以是根据相同时间窗口内每一所述脉冲序列中所包含的脉冲数量的大小进行偏序，根据相同时间窗口内每一所述脉冲序列中所包含的脉冲数量的大小顺序，确定待测物的表面属性。
本申请实施例中，通过脉冲神经网络对所述频率编码信号进行响应，得到与脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列，然后基于确定的相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。如此，可以根据脉冲神经网络对频率编码信号的响应，确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，从而准确确定出待测物的表面属性。
图4为本申请实施例提供的又一种检测方法的实现流程示意图，如图3所示，该检测方法的实现流程包括：
步骤S401：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
步骤S402：获取训练完成的脉冲神经网络；
步骤S403：所述脉冲神经网络对频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列；其中，所述频率编码信息通过对所述待测数据流进行频率编码得到；
步骤S404：实时记录所述待测数据流的获取时刻；
可以理解的是，待测数据流为根据传感器中像素结构感应的亮度变化事件产生的，在没有发生亮度变化事件的情况下是不产生待测数据流的。这里，实时记录所述待测数据流的获取时刻可以是实时记录接收来自传感器的待测数据流的时间信息。
步骤S405：基于所述待测数据流的获取时刻和预设的时间窗口时长确定所述待测数据流对应的目标时间窗口；
这里，预设的时间窗口时长可以是预先设置的能够明显体现出脉冲神经网络的输出层中每一神经元模型的脉冲数量差异的最小时长。
在一些可能的实施方式中，基于所述待测数据流的获取时刻和预设的时间窗口时长确定所述待测数据流对应的目标时间窗口，可以是将待测数据流的获取时刻作为目标时间窗口的起始时间，将待测数据流的获取时刻累加预设的时间窗口的时长后得到的时刻确定为目标时间窗口的结束时间。例如，预设的时间时长可以是20秒钟，待测数据流的获取时刻可以是13时整，则目标时间窗口可以是13时至13时20秒。
步骤S406：确定所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量；
步骤S407：基于所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
本申请实施例中，通过实时记录的待测数据流的获取时刻和预设的时间窗口时长可以针对实时获取的待测数据流确定对应的目标时间窗口，确定的目标时间窗口更符合实际情况。
图5为本申请实施例提供的还一种检测方法的实现流程示意图，如图5所示，该检测方法的实现流程包括：
步骤S501：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
步骤S502：获取训练完成的脉冲神经网络；所述脉冲神经网络的输出层包括至少一组神经元模型，所述至少一组神经元模型中的每个分别对应一个第一表面属性的等级，所述第一表面属性为硬度或光滑度；
可以理解的是，输出层中至少一组神经元模型中的每一组神经元模型中的每一神经元模型对应的表面属性的等级是不同的。
这里，第一表面属性的等级的等级数可以与一组神经元模型中所包含的神经元模型的数量有关。在一组神经元模型包含10个神经元模型的情况下，第一表面属性的等级包括第1至第10等级。
在一些可能的实施方式中，至少一组神经元模型可以包括用于输出硬度等级的第一组神经元模型和用于输出光滑度等级的第二组神经元模型。第一组神经元模型和第二组神经元模型中所包含的神经元模型的个数可以相同也可以不同。例如，第一组神经元模型和第二组神经元模型中所包换的神经元模型的个数可以都是10个。
步骤S503：所述脉冲神经网络对频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列；其中，所述频率编码信息通过对所述待测数据流进行频率编码得到；
步骤S504：确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量；
步骤S505：将所述至少一组神经元模型中在相同时间窗口内输出脉冲数量最多的神经元模型对应的等级确定为所述第一表面属性的等级。
在一些可能的实施方式中，将所述至少一组神经元模型中在相同时间窗口内输出脉冲数量最多的神经元模型对应的等级确定为所述第一表面属性的等级，可以是将第一组神经元模型中在相同时间窗口内输出脉冲数量最大的神经元模型对应的等级确定为硬度的等级；将第二组神经元模型中在相同时间窗口内输出脉冲数量最大的神经元模型对应的等级确定为光滑度的等级。
图6为本申请实施例提供的其它一种检测方法的实现流程示意图，如图6所示，该检测方法的实现流程包括：
步骤S601：实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
步骤S602：获取用于进行脉冲神经网络训练的训练数据流和所述训练数据流对应的待测物的表面属性；
可以理解的是，训练数据流和训练输数据流对应的待测物表面的属性是指进行神经网络学习的数据流和数据流对应的表面属性。
步骤S603：基于所述训练数据流和所述训练数据流对应的待测物的表面属性，来对初始脉冲神经网络进行训练，得到训练完成的脉冲神经网络；其中，所述初始脉冲神经网络是使用神经元模型、以随机尖峰神经元近似法来推导近似梯度，以时间性信用分配策略来分配误差所构建的脉冲神经网络；
步骤S604：获取训练完成的所述脉冲神经网络；
步骤S605：通过所述脉冲神经网络对频率编码信号进行数据处理，得到所述待测物的表面属性，其中，所述频率编码信息通过对所述待测数据流进行频率编码得到。
本申请实施例中，通过获取用于进行脉冲神经网络训练的训练数据流和所述训练数据流对应的待测物的表面属性；基于所述训练数据流和所述训练数据流对应的待测物的表面属性，来对初始脉冲神经网络进行训练，得到训练完成的脉冲神经网络，使得基于训练完成的脉冲神经网络可以准确确定待测数据流对应的待测物的表面属性。
本申请实施例中提出了一种基于类脑计算技术的触觉感知装置及其检测方法，该装置可以通过DVS与弹性体检测头将对待测物表面的触觉转化为事件流，并利用SNN将事件流进行处理，最终实现对待测物表面属性(软-硬/粗糙-光滑)的预测。
图7为本申请实施例提供的一种检测待测物表面属性的装置的组成结构示意图，如图7所示，该检测装置主要由外壳701、DVS 702、光源703、亚克力板704与特制弹性体705组成，当待测物表面接触带有反光涂层的特制弹性体705时，特制弹性体705的接触面发生形变，特制弹性体705的反光涂层在光源703的照射下会出现明显的亮度变化，此时DVS 702就可以快速捕捉到接触面上细微的亮度变化，从而输出对应的事件流信息。
图8为本申请实施例提供的一种待检测面数据采集原理示意图，如图8所示，800为待测物、801为反光涂层、802为弹性体、803为发光二极管光源(Light Emitting Diode，LED)、804为DVS、805为DVS 804感应到的待测数据流对应的图片。
从图8中可以看出，待测物800与弹性体802的反光涂层801接触，弹性体802发生形变导致反光涂层801也跟随弹性体802的形变发生形变，使得在LED 803的照射下，DVS 804中像素结构感应的亮度变化事件产生对应的待测数据流805。
图9为本申请实施例提供的一种通过脉冲神经网络处理数据的原理示意图，如图9所示，SNN在接收到事件流数据900的情况下，SNN输出层中与特征属性硬度对应的第一组神经元模型901中的每一神经元模型输出对应的第一脉冲序列；SNN输出层中与特征属性光滑度对应的第二组神经元模型902中的每一神经元模型输出对应的第二脉冲序列。
可以看出，第一组神经元模型901中神经元模型对应的等级从上到下的硬度等级是越来越低，即，最上面的神经元模型的硬度等级最高。
其中，ω1、ω2和ω3分别表示SNN模型中，对于不同输入脉冲序列的权重，神经元模型903表示SNN中每一神经元模型的放大图，从图中可以看出，神经元模型903可以将根据脉冲信号确定的膜电压与预设的阈值进行比较，当大于预设阈值的情况下输出脉冲，从而可以得到输出脉冲序列。
第一组神经元模型901神经元模型对应的等级从上到下的硬度等级是越来越低，即，最上面的神经元模型的硬度等级最高。可以理解的是，图中的神经元模型的排序是通过模型训练所确定的硬度等级的顺序，并不是实际的第一组神经元模型901神经元模型的排序。
类似地，第二组神经元模型902中神经元模型对应的等级从上到下的柔软度等级是越来越低，即，最上面的神经元模型的柔软度等级最高。可以理解的是，图9中的神经元模型的排序是通过模型训练所确定的柔软度等级的顺序，并不是实际的第二组神经元模型902中神经元模型的排序。
本申请实施例中，在收集到待测物的事件流数据后，再将其进行频率编码后输入脉冲神经网络，该网络使用神经元模型(Spike Response Model，SRM)，并以随机尖峰神经元近似法来推导近似梯度，并使用时间性信用分配策略来分配误差，最终输出以时间窗口内脉冲数量决定待测物表面的硬度与光滑度级别，依靠SNN特性，随着检测时间增加精度会渐近式提升。
基于前述的实施例，本申请实施例提供一种检测装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过处理单元来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(Microprocessor Unit，MPU)、数字信号处理器(DSP)或FPGA等。
图10为本申请实施例提供的一种检测装置的组成结构示意图，如图10所示，检测装置1000包括：
获取模块1001，用于实时从传感器获取待测数据流；所述待测数据流为所述传感器中的每一像素结构实时采集弹性体上反光涂层的亮度变化所生成的；所述亮度变化是待测物接触所述弹性体的表面使得所述弹性体产生形变所引起的；
数据处理模块1002，用于对所述待测数据流进行数据处理，得到所述待测物的表面属性。
在一些可能的实施方式中，数据处理模块1002，用于获取训练完成的脉冲神经网络；通过所述脉冲神经网络对频率编码信号进行数据处理，得到所述待测物的表面属性，其中，所述频率编码信息通过对所述待测数据流进行频率编码得到。
在一些可能的实施方式中，数据处理模块1002，用于通过所述脉冲神经网络对所述频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列；确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量；基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
在一些可能的实施方式中，所述装置还包括：目标时间窗口确定模块，用于实时记录所述待测数据流的获取时刻；基于所述待测数据流的获取时刻和预设的时间窗口时长确定所述待测数据流对应的目标时间窗口；
对应地，所述数据处理模块1002，用于确定所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量；基于所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
在一些可能的实施方式中，所述脉冲神经网络的输出层包括至少一组神经元模型，所述至少一组神经元模型中的每个分别对应一个第一表面属性的等级，所述第一表面属性为硬度或光滑度。
在一些可能的实施方式中，所述数据处理模块1002，用于将所述至少一组神经元模型中在相同时间窗口内输出脉冲数量最多的神经元模型对应的等级确定为所述第一表面属性的等级。
在一些可能的实施方式中，所述装置还包括：模型训练模块，用于获取用于进行脉冲神经网络训练的训练数据流和所述训练数据流对应的待测物的表面属性；基于所述训练数据流和所述训练数据流对应的待测物的表面属性，来对初始脉冲神经网络进行训练，得到训练完成的脉冲神经网络；其中，所述初始脉冲神经网络是使用神经元模型、以随机尖峰神经元近似法来推导近似梯度，以时间性信用分配策略来分配误差所构建的脉冲神经网络。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
一般来讲，本实施例中的一种检测方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种检测方法对应的计算机程序指令被一雷达读取或被执行时，实现前述实施例的任意一种检测方法。
图11为本申请实施例提供的一种检测设备的组成结构示意图，该检测设备1100可以包括：传感器1101、设有反光涂层的弹性体1102、光源1103和处理器1104；
所述弹性体1102，用于响应待测物的接触发生形变；
所述光源1103，用于照射所述弹性体中的反光涂层；
所述传感器1101，用实时感应所述弹性体形变所引起的所述反光涂层的亮度变化，生成待测数据流，并将所述待测数据流传递给所述处理器；
所述处理器1104，用于接收所述待测数据流，对所述待测数据流进行数据处理，得到所述待测物的表面属性。
基于前述实施例相同的技术构思，参见图12，其示出了本申请实施例提供的一种电子设备的结构示意图，可以包括：存储器1201和处理器1202；其中，
所述存储器1201，用于存储计算机程序和数据；
所述处理器1202，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种检测方法。在实际应用中，上述存储器1201可以是易失性存储器(volatilememory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1202提供指令和数据。
上述处理器1202可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的实施方式，上述的实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。
Claims (10)
1.一种检测方法，其特征在于，所述方法包括：
实时从传感器获取待测数据流；所述传感器实时对带有反光涂层的弹性体表面进行信息采集，所述待测数据流为根据所述传感器中像素结构感应的亮度变化事件产生的，所述亮度变化事件是由所述弹性体被待测物接触时产生的形变事件引起的；
对所述待测数据流进行数据处理，得到所述待测物的表面属性。
2.根据权利要求1所述的方法，其特征在于，所述对所述待测数据流进行数据处理，得到所述待测物的表面属性，包括：
获取训练完成的脉冲神经网络；
通过所述脉冲神经网络对频率编码信号进行数据处理，得到所述待测物的表面属性，其中，所述频率编码信息通过对所述待测数据流进行频率编码得到。
3.根据权利要求2所述的方法，其特征在于，所述通过所述脉冲神经网络对所述频率编码信号进行数据处理，得到所述待测物的表面属性，包括：
所述脉冲神经网络对所述频率编码信号进行响应，得到与所述脉冲神经网络的输出层中的每一神经元模型对应的脉冲序列；
确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量；
基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
实时记录所述待测数据流的获取时刻；
基于所述待测数据流的获取时刻和预设的时间窗口时长确定所述待测数据流对应的目标时间窗口；
对应地，所述确定相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，包括：确定所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量；
所述基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性，包括：基于所述目标时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性。
5.根据权利要求3所述的方法，其特征在于，所述脉冲神经网络的输出层包括至少一组神经元模型，所述至少一组神经元模型中的每个分别对应一个第一表面属性的等级，所述第一表面属性为硬度或光滑度。
6.根据权利要求5所述的方法，其特征在于，所述基于相同时间窗口内每一所述脉冲序列中所包含的脉冲数量，确定所述待测物的表面属性，包括：
将所述至少一组神经元模型中在相同时间窗口内输出脉冲数量最多的神经元模型对应的等级确定为所述第一表面属性的等级。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取用于进行脉冲神经网络训练的训练数据流和所述训练数据流对应的待测物的表面属性；
基于所述训练数据流和所述训练数据流对应的待测物的表面属性，来对初始脉冲神经网络进行训练，得到训练完成的脉冲神经网络；其中，所述初始脉冲神经网络是使用神经元模型、以随机尖峰神经元近似法来推导近似梯度，以时间性信用分配策略来分配误差所构建的脉冲神经网络。
8.一种检测装置，其特征在于，所述装置包括：
获取模块，用于实时从传感器获取待测数据流；所述待测数据流为所述传感器中的每一像素结构实时采集弹性体上反光涂层的亮度变化所生成的；所述亮度变化是待测物接触所述弹性体的表面使得所述弹性体产生形变所引起的；
数据处理模块，用于对所述待测数据流进行数据处理，得到所述待测物的表面属性。
9.一种检测设备，其特征在于，包括：传感器、设有反光涂层的弹性体、光源和处理器；
所述弹性体，用于响应待测物的接触发生形变；
所述光源，用于照射所述弹性体中的反光涂层；
所述传感器，用实时感应所述弹性体形变所引起的所述反光涂层的亮度变化，生成待测数据流，并将所述待测数据流传递给所述处理器；
所述处理器，用于接收所述待测数据流，对所述待测数据流进行数据处理，得到所述待测物的表面属性。
10.一种计算机存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至7任一项所述的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191425.XA CN114659553A (zh) | 2022-02-28 | 2022-02-28 | 一种检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210191425.XA CN114659553A (zh) | 2022-02-28 | 2022-02-28 | 一种检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114659553A true CN114659553A (zh) | 2022-06-24 |
Family
ID=82026868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210191425.XA Pending CN114659553A (zh) | 2022-02-28 | 2022-02-28 | 一种检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114659553A (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1853093A (zh) * | 2003-09-16 | 2006-10-25 | 株式会社东京大学Tlo | 光学式触觉传感器和使用该传感器的力矢量分布再构成法 |
| CN102944185A (zh) * | 2012-11-14 | 2013-02-27 | 西南大学 | 一种探测多维应力作用下微小形变的装置 |
| US20150109607A1 (en) * | 2012-07-11 | 2015-04-23 | Utku Buyuksahin | Multi point, high sensitive tactile sensing module for robots and devices |
| CN106052914A (zh) * | 2016-07-21 | 2016-10-26 | 清华大学 | 一种基于视觉的触觉测量传感器 |
| CN108229540A (zh) * | 2017-12-08 | 2018-06-29 | 中国科学院自动化研究所 | 类脑多模态融合方法及装置 |
| US20180330208A1 (en) * | 2010-07-09 | 2018-11-15 | Temple University - Of The Commonwealth System Of Higher Education | Apparatus and method for surface and subsurface tactile sensation imaging |
| CN109739378A (zh) * | 2018-12-18 | 2019-05-10 | 维沃移动通信有限公司 | 一种压力检测装置、屏幕组件及移动终端 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN111612136A (zh) * | 2020-05-25 | 2020-09-01 | 之江实验室 | 一种神经形态视觉目标分类方法及*** |
| CN111761579A (zh) * | 2020-06-30 | 2020-10-13 | 同济大学 | 光学式触觉传感器、弹性体模组的制作及信息获取方法 |
| CN112229553A (zh) * | 2020-10-26 | 2021-01-15 | 华中科技大学 | 一种基于光衰减的柔性触觉传感器、阵列及其制备方法 |
| CN112304248A (zh) * | 2019-07-25 | 2021-02-02 | 南京科沃斯机器人技术有限公司 | 触觉传感器、机器人、弹性体及物体感测方法和计算设备 |
| CN112784976A (zh) * | 2021-01-15 | 2021-05-11 | 中山大学 | 一种基于脉冲神经网络的图像识别***及方法 |
| CN112809679A (zh) * | 2021-01-25 | 2021-05-18 | 清华大学深圳国际研究生院 | 可形变物体抓取的方法、装置及计算机可读存储介质 |
| CN113607081A (zh) * | 2021-07-28 | 2021-11-05 | 清华大学 | 一种接触式焊接表面缺陷三维测量***及方法 |
| CN113628615A (zh) * | 2021-10-12 | 2021-11-09 | 中国科学院自动化研究所 | 语音识别方法、装置、电子设备及存储介质 |
| US20210345973A1 (en) * | 2020-05-11 | 2021-11-11 | Samsung Electronics Co., Ltd. | Apparatus and method for estimating bio-information, and bio-signal measuring sensor |
| CN113902106A (zh) * | 2021-12-06 | 2022-01-07 | 成都时识科技有限公司 | 脉冲事件决策装置、方法、芯片及电子设备 |
-
2022
- 2022-02-28 CN CN202210191425.XA patent/CN114659553A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1853093A (zh) * | 2003-09-16 | 2006-10-25 | 株式会社东京大学Tlo | 光学式触觉传感器和使用该传感器的力矢量分布再构成法 |
| US20180330208A1 (en) * | 2010-07-09 | 2018-11-15 | Temple University - Of The Commonwealth System Of Higher Education | Apparatus and method for surface and subsurface tactile sensation imaging |
| US20150109607A1 (en) * | 2012-07-11 | 2015-04-23 | Utku Buyuksahin | Multi point, high sensitive tactile sensing module for robots and devices |
| CN102944185A (zh) * | 2012-11-14 | 2013-02-27 | 西南大学 | 一种探测多维应力作用下微小形变的装置 |
| CN106052914A (zh) * | 2016-07-21 | 2016-10-26 | 清华大学 | 一种基于视觉的触觉测量传感器 |
| CN108229540A (zh) * | 2017-12-08 | 2018-06-29 | 中国科学院自动化研究所 | 类脑多模态融合方法及装置 |
| CN109739378A (zh) * | 2018-12-18 | 2019-05-10 | 维沃移动通信有限公司 | 一种压力检测装置、屏幕组件及移动终端 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN112304248A (zh) * | 2019-07-25 | 2021-02-02 | 南京科沃斯机器人技术有限公司 | 触觉传感器、机器人、弹性体及物体感测方法和计算设备 |
| US20210345973A1 (en) * | 2020-05-11 | 2021-11-11 | Samsung Electronics Co., Ltd. | Apparatus and method for estimating bio-information, and bio-signal measuring sensor |
| CN111612136A (zh) * | 2020-05-25 | 2020-09-01 | 之江实验室 | 一种神经形态视觉目标分类方法及*** |
| CN111761579A (zh) * | 2020-06-30 | 2020-10-13 | 同济大学 | 光学式触觉传感器、弹性体模组的制作及信息获取方法 |
| CN112229553A (zh) * | 2020-10-26 | 2021-01-15 | 华中科技大学 | 一种基于光衰减的柔性触觉传感器、阵列及其制备方法 |
| CN112784976A (zh) * | 2021-01-15 | 2021-05-11 | 中山大学 | 一种基于脉冲神经网络的图像识别***及方法 |
| CN112809679A (zh) * | 2021-01-25 | 2021-05-18 | 清华大学深圳国际研究生院 | 可形变物体抓取的方法、装置及计算机可读存储介质 |
| CN113607081A (zh) * | 2021-07-28 | 2021-11-05 | 清华大学 | 一种接触式焊接表面缺陷三维测量***及方法 |
| CN113628615A (zh) * | 2021-10-12 | 2021-11-09 | 中国科学院自动化研究所 | 语音识别方法、装置、电子设备及存储介质 |
| CN113902106A (zh) * | 2021-12-06 | 2022-01-07 | 成都时识科技有限公司 | 脉冲事件决策装置、方法、芯片及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| 程龙等: "脉冲神经网络模型、学习算法与应用", 《控制与决策》 * |
| 童敏明等: "《现代传感器技术》", 31 October 2006, 中国矿业大学出版社 * |
| 胡一凡等: "脉冲神经网络研究进展综述", 《控制与决策》 * |
| 蔺想红等: "脉冲神经网络的监督学习算法研究综述", 《电子学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yi et al. | Bioinspired tactile sensor for surface roughness discrimination | |
| WO2017114062A1 (zh) | 基于终端设备的指纹测压方法及其应用方法和对应装置 | |
| CN102929453B (zh) | 声学触敏测试 | |
| Ono et al. | Sensing touch force using active acoustic sensing | |
| KR20110068579A (ko) | 손가락 동작 인식 방법 | |
| KR20180020123A (ko) | 비동기 신호 처리 방법 | |
| CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及*** | |
| JP2014504773A (ja) | タッチ・データーの曖昧さを除去する技法 | |
| CN110377175B (zh) | 触控面板上敲击事件的识别方法及***，及终端触控产品 | |
| Piacenza et al. | Accurate contact localization and indentation depth prediction with an optics-based tactile sensor | |
| CN114495241A (zh) | 一种图像识别方法及装置、电子设备、存储介质 | |
| US20240242065A1 (en) | Computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification | |
| US20100053091A1 (en) | Method and systems for identifying objects on a touch-sensitive device | |
| CN114659553A (zh) | 一种检测方法、装置、设备及存储介质 | |
| US11301717B2 (en) | Method and apparatus for measuring interaction force based on sequential images using attention network | |
| KR20220023545A (ko) | 부분 방전 진단 방법 및 장치 | |
| JP7238905B2 (ja) | 認識器訓練装置、認識装置、データ処理システム、データ処理方法、およびプログラム | |
| KR102039002B1 (ko) | 촉감검출장치 및 방법 | |
| EP3234632B1 (en) | Detection of acoustic events | |
| CN108874657A (zh) | 对人脸识别主机进行测试的方法、装置及计算机存储介质 | |
| US11408909B2 (en) | Step counting device and method | |
| US20180296150A1 (en) | Method and device for testing user experience | |
| JP7422621B2 (ja) | 認識管理装置、認識管理システム及び認識管理方法 | |
| CN115876374B (zh) | 机器狗鼻部柔性触觉结构及接触物软硬属性识别方法 | |
| US20240012509A1 (en) | Circuit arrangement for a touch sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |