CN115758107B - 触觉信号传输方法及装置、存储介质及电子设备 - Google Patents
触觉信号传输方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115758107B CN115758107B CN202211338523.8A CN202211338523A CN115758107B CN 115758107 B CN115758107 B CN 115758107B CN 202211338523 A CN202211338523 A CN 202211338523A CN 115758107 B CN115758107 B CN 115758107B
- Authority
- CN
- China
- Prior art keywords
- signal
- signals
- characteristic
- audio
- haptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008054 signal transmission Effects 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 239000000463 material Substances 0.000 claims abstract description 29
- 238000007906 compression Methods 0.000 claims abstract description 28
- 230000006835 compression Effects 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002068 genetic effect Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 24
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 8
- 230000024159 perception of rate of movement Effects 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003155 kinesthetic effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种触觉信号传输方法及装置、存储介质及电子设备，涉及信号处理技术领域。采集触觉信号、图像数据和音视频数据；根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。实现有效压缩，降低了数据传输量，提高了触觉信号表示的准确性。
Description
技术领域
本公开涉及信号处理技术领域，尤其涉及一种触觉信号传输方法及装置、存储介质及电子设备。
背景技术
随着数字信号处理技术及通信技术的飞速发展，虚拟现实技术进入大众视野，虚拟世界与现实世界的相互交融方式，成为科技发展及研究的一个重要的方向。从视听互动到多感知交互，为了给用户带来更为极致的互动感受和更丰富的体验感，多媒体交互体验开始将触觉融入进来。触觉作为仅次于听觉与视觉的感知方式，其重要性不言而喻。
但是触觉信号压缩及重建等技术仍处于起步、探索阶段，存在诸多问题。目前，传统触觉信号因信号传递过程因数据包过大，存在不同程度的信号延迟或缺失，从而会导致触觉信号时序错乱、动作仿真体验感差等问题。
因此，亟需解决触觉信号传输过程中数据包过大，产生的信号延迟和缺失问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种触觉信号传输方法及装置、存储介质及电子设备，至少在一定程度上克服由于相关技术中传输过程中数据包过大的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种多模态信号的处理方法，应用于发送端，包括：
采集触觉信号、图像数据和音视频数据；
根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；
基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。
在本公开一个实施例中，所述多模态输入信号包括：触觉输入信号、音视频输入信号和图像信息；
所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号，包括：
获取所述力反馈特征的特征信息和所述音视频数据的标签信息；
根据所述特征信息和所述标签信息，对对应的相同时域的触觉信号进行信号特征提取，获得触觉输入信号。
在本公开一个实施例中，在所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号的步骤之前，包括：
检测所述音视频数据对应的信号类型；
根据所述信号类型进行跨模态信号编码，获得音视频输入信号。
在本公开一个实施例中，所述触觉信号包括：振动信号、摩擦信号以及压力信号。
在本公开一个实施例中，所述多模态特征信号包括：触觉特征信号、音视频特征信号和图像特征信息；
所述基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号，包括：
基于所述利用韦伯定律确定触觉输入信号的感知盲区范围；
根据所述感知盲区范围对所述触觉输入信号处于所述感知盲区范围的信号进行剔除，获得触觉特征信号；
根据所述触觉特征信号的时域获取对应时域的图像特征信息和音视频特征信号。
在本公开一个实施例中，所述预设神经网络模型包括输入层、隐藏层和输出层；所述输入层和输出层的神经元个数根据所述触觉特征信号的维数来确定。
在本公开一个实施例中，所述方法包括：
利用遗传算法确定所述预设神经网络模型的初始化参数。
根据本公开的另一个方面，提供一种多模态信号的处理装置，包括：
信息采集模块，用于采集触觉信号、图像数据和音视频数据；
力特征提取模块，用于根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
特征提取模块，用于将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；
压缩编码模块，用于基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
信号发送模块，用于将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。
根据本公开的再一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述多模态信号的处理方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的多模态信号的处理方法。
本公开的实施例所提供的一种多模态信号的处理方法，应用于发送端，包括：采集触觉信号、图像数据和音视频数据；根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。利用图像、音视频信息辅助还原了实际场景的触觉信号，提高了触觉信号的准确性；并且通过预先的特征提取和压缩编码过程对多模态输入信号进行了有效压缩，降低了数据传输量，提高了触觉信号表示的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一个实施例中一种现有触觉信号传输示意图；
图2示出本公开一个实施例中一种多模态信号的处理方法流程示意图；
图3示出本公开一个实施例中一种多模态信号流向示意图；
图4示出本公开又一个实施例中一种多模态信号处理方法流程示意图；
图5示出本公开再一个实施例中一种多模态信号处理方法流程示意图；
图6示出本公开另一个实施例中一种多模态信号处理方法流程示意图；
图7示出本公开一个实施例中一种多模态信号的处理装置结构示意图；和
图8示出本公开一个实施例中一种电子设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提供的方案，触觉信号压缩及重建是实现深度沉浸、交互式体验的核心技术之一。
在实际应用场景中信号的传输以及接受过程中通常存在着不同程度的损失，使得模态信号不再完整。在现有相关方案中，如图1示出的现有触觉信号传输示意图。通过压力采集单元110来对触觉信号的压力进行采集，采集到的压力通过成帧单元120进行处理将多行多列压力构成帧，然后通过信息发送单元130将成帧信息，借助通信网络发送给接收端的信息接收单元140，然后由解帧单元150对接收到的成帧信息进行解帧，然后根据解帧后的信息，由控制单元160控制被控单元170实现信号模拟。
在上述现有相关方案中仅由多行多列压力构成帧来表征触觉，表征较单一。并且仍然存在因信号传递过程因数据包多大，存在不同程度延迟或缺失的问题。
因此为解决上述问题，本公开实施例提供一种多模态信号处理方法。下面结合附图进行说明。
如图2所示的一种多模态信号的处理方法流程示意图，在本公开的一个实施例中，提供一种多模态信号的处理方法，应用于发送端，包括：
S201，采集触觉信号、图像数据和音视频数据；
具体地，如图3所示的一种多模态信号流向示意图，通过三个不同的模块分别进行信息的采集，分别通过触觉采集单元301采集触觉信号，触觉信号不仅来源于触摸物体对皮肤的压力，还包括物体的表面形状、温度、摩擦力等。图像检测单元302获取当前场景下的图像信息，如，当前场景下的触摸对象例如木头、金属等，然后通过音视频采集单元303对当前场景下的音视频信息进行采集，如，采集当前发出的敲击声音以及相应的视频画面。
S202，根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
结合图3，在图像检测单元302可以根据图像数据确定材质类型，例如根据图像数据确定当前作用的物体材质为木质，并且对材质类型进行编码，然后确定木质材料对应的作用力的特征。可选地，本步骤可以训练神经网络模型学习不同材质下的力反馈特征，以实现监测目的。上述步骤不仅仅从触觉压力的角度出发，结合当前应用场景的材质类型，能够全面且准确地辅助还原触觉信号。
S203，将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；
具体地，结合图3进行说明，在特征提取过程中，通过特征提取单元304将统一场景下的触觉信号、力的反馈特征以及音视频数据一起输入到预设神经网络模型中，进行该当前场景下的触觉信号的提取，通过深度学习提取表示信号特征，主要是对关键摩擦、震动等多类型触觉信号进行特征提取，提取出来相对较为完整的信号，能够更好地表征触觉信息，然后获得上述多模态输入信号，以便后续能够更大程度的还原触觉信号。多模态输入信号中包括经过特征提取后的触觉输入信号、材质类型及力的反馈特征、音视频输入信号。
S204，基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
具体地，在压缩编码过程中，在压缩编码模块305中基于韦伯-费希纳的认知偏差定律，即只有当前动觉信号与之前的动觉信号有显著差异时，人们才会感受到，通过调整这种感知盲区的区域大小可以在保证用户体验不受影响的情况下压缩动觉数据。去除较短时间内由于较小刺激陷入人类感知盲区的信号，实现人类感知区间信号的压缩编码。通过本步骤能够进行有效压缩，降低了数据传输量，降低数据传输过程中的延迟和缺失程度。压缩编码后获得多模态特征信号，多模态特征信号具体地包括：压缩后的触觉输入信号、压缩后的音视频输入信号对应的时序特性标签等信息，以及材质类型等不同维度的信息。
S205，将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。
结合图3，具体地,将压缩好的多模态特征信号通过信息发送模块306发送给接收端，接收端的信息接收模块307在接收到多模态特征信号后，利用解码单元308进行解码，解码后利用多模态融合单元309进行融合模拟，在融合模拟过程中，接收到多模态特征信号，基于获取的不同特征的信号进行融合，然后控制单元310控制被控单元311进行模拟，通过模拟与信号参数同等触感的物体，使用户感受到物体的摩擦、振动等物理属性，从而提升用户的交互式体验。
在本实施例中提供的一种多模态信号的处理方法，采集触觉信号、图像数据和音视频数据；根据图像数据确定材质类型，获得对应材质下的力反馈特征；将触觉信号、力反馈特征和音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；基于韦伯定律对多模态输入信号进行压缩编码，获得多模态特征信号；将多模态特征信号发送至接收端，以使接收端根据多模态特征信号进行模拟。利用图像、音视频信息辅助还原了实际场景的触觉信号，提高了触觉信号的准确性；通过预先的特征提取和压缩编码过程对多模态输入信号进行了有效压缩，降低了数据传输量，提高了触觉信号表示的准确性。
在本公开实施例中，所述多模态输入信号包括：触觉输入信号、音视频输入信号和图像信息；
如图4所示的又一种多模态信号处理方法流程示意图，所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号，包括：
S401，获取所述力反馈特征的特征信息和所述音视频数据的标签信息；
S402，根据所述特征信息和所述标签信息，对对应的相同时域的触觉信号进行信号特征提取，获得触觉输入信号。
具体地，其中的预设神经网络模型预先进行训练，利用采集到的出具信号数据确定测试组和训练组，首先预设神经网络模型进行初始化，初始化后进行训练，训练后的预设神经网络模型能够通过采集到的力反馈特征的特征信息和音视频数据的标签信息辅助提取得到相对较为完整的触觉输入信号。要是对关键摩擦、震动等多类型触觉信号进行特征提取，提取出来相对较为完整的信号，能够更好地表征触觉信息。
上述步骤在特征提取过程中，利用图像、音视频信号中的抽象标签信息，将触觉信号与同一场景的物体材质图像、音、视频信号进行结合，对同一场景下的触觉信号进行特征提取，最大程度的还原触觉信号。
如图5所示的再一种多模态信号处理方法流程示意图，在本公开实施例中，在所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号的步骤之前，包括：
S501，检测所述音视频数据对应的信号类型；
S502，根据所述信号类型进行跨模态信号编码，获得音视频输入信号。
具体地，采集触觉场景发生时的音视频信息，检测信号类型并对其进行跨模态信号编码。编码后的为音视频输入信号。检测信号类型可为检测当前应用场景中的音视频数据的声音和画面，分别对应于不同的信号类型。其中，跨模态编码是利用多模态码流间的语义相关性进行联合编码，上述步骤实现音频和视频的跨模态编码。
在本公开实施例中，所述触觉信号包括：振动信号、摩擦信号以及压力信号。
可选的，本实施例中的触觉信号包括但不限于震动信号、摩擦信号以及压力信号、温度信号等。可以根据实际应用场景对触觉信号的种类进行确定。
如图6所示的另一种多模态信号处理方法流程示意图，在本公开实施例中，所述多模态特征信号包括：触觉特征信号、音视频特征信号和图像特征信息；
所述基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号，包括：
S601，基于所述利用韦伯定律确定触觉输入信号的感知盲区范围；
S602，根据所述感知盲区范围对所述触觉输入信号处于所述感知盲区范围的信号进行剔除，获得触觉特征信号；
S603，根据所述触觉特征信号的时域获取对应时域的图像特征信息和音视频特征信号。
具体地，只有当前动觉信号与之前的动觉信号有显著差异时，人们才会感受到，通过调整这种感知盲区的区域大小可以在保证用户体验不受影响的情况下压缩动觉数据。去除较短时间内由于较小刺激陷入人类感知盲区的信号，实现人类感知区间信号的压缩编码。例如，m为感知盲区范围阈值，输入的采样点为动觉信号X，与X邻近的T时刻的信号为动觉信号XT，根据下述表达式：
IXT-XI≤m·XT(1)
因T时刻的信号变化幅度较小所以不为人所感知，因此，可以舍弃不被传输。舍弃感知盲区信号可以大大降低数据包的传输率。
根据确定的触觉特征信号选取对应时域的图像特征信息和音视频特征信号，保证信号的在同一场景中。
在本公开实施例中，所述预设神经网络模型包括输入层、隐藏层和输出层；所述输入层和输出层的神经元个数根据所述触觉特征信号的维数来确定。
在上述预设神经网络模型中，在模型训练过程中，神经网络模型要有输入层、隐藏层、输出层。输入层和输出层神经元个数由触觉信号输入和输出维数来对应选择。
在本公开实施例中，所述方法包括：
利用遗传算法确定所述预设神经网络模型的初始化参数。
具体地，在模型初始化过程中，利用神经网络的权值和阈值构成遗传算法的种群个体，然后编码种群个体，选择适应度函数后，进行交叉和变异操作，反复寻找适应度最高的个体，此个体作为最优的神经网络的初始值和阈值，随后用于神经网络模型的训练。获得的预设神经网络模型的特征提取能力更加准确和高效。
如图7示出的一种多模态信号的处理装置结构示意图，在本公开的另一个实施例中，提供一种多模态信号的处理装置，包括：
信息采集模块701，用于采集触觉信号、图像数据和音视频数据；
力特征提取模块702，用于根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
特征提取模块703，用于将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；
压缩编码模块704，用于基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
信号发送模块705，用于将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟。
本实施例提供一种多模态信号的处理装置，信息采集模块701、力特征提取模块702、特征提取模块703、压缩编码模块704、信号发送模块705。利用图像、音视频信息辅助还原了实际场景的触觉信号，提高了触觉信号的准确性；通过预先的特征提取模块和压缩编码模块对多模态输入信号进行了有效压缩，降低了数据传输量，提高了触觉信号表示的准确性。
在本公开的再一个实施例中，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述多模态信号的处理方法。
本实施例提供的一种电子设备，通过处理器实现上述多模态信号的处理方法。
在此不再赘述。
在本公开的又一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的多模态信号的处理方法。
本实施例提供的一种计算机可读存储介质，通过计算机程序被处理器执行实现上述多模态信号的处理方法。
在此不再赘述。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同***组件(包括存储单元820和处理单元810)的总线830。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图2中所示的S201采集触觉信号、图像数据和音视频数据；S202根据图像数据确定材质类型，获得对应材质下的力反馈特征；S203将触觉信号、力反馈特征和音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；S204基于韦伯定律对多模态输入信号进行压缩编码，获得多模态特征信号；S205将多模态特征信号发送至接收端，以使接收端根据多模态特征信号进行模拟。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
描述了根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (9)
1.一种触觉信号传输方法，其特征在于，应用于发送端，包括：
采集触觉信号、图像数据和音视频数据；
根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；
基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟；
其中，所述多模态输入信号包括：触觉输入信号、音视频输入信号和图像信息；
所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号，包括：
获取所述力反馈特征的特征信息和所述音视频数据的标签信息；
根据所述特征信息和所述标签信息，对对应的相同时域的触觉信号进行信号特征提取，获得触觉输入信号。
2.根据权利要求1所述的触觉信号传输方法，其特征在于，在所述将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号的步骤之前，包括：
检测所述音视频数据对应的信号类型；
根据所述信号类型进行跨模态信号编码，获得音视频输入信号。
3.根据权利要求1所述的触觉信号传输方法，其特征在于，所述触觉信号包括：振动信号、摩擦信号以及压力信号。
4.根据权利要求1所述的触觉信号传输方法，其特征在于，所述多模态特征信号包括：触觉特征信号、音视频特征信号和图像特征信息；
所述基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号，包括：
基于所述韦伯定律确定触觉输入信号的感知盲区范围；
根据所述感知盲区范围对所述触觉输入信号处于所述感知盲区范围的信号进行剔除，获得触觉特征信号；
根据所述触觉特征信号的时域获取对应时域的图像特征信息和音视频特征信号。
5.根据权利要求4所述的触觉信号传输方法，其特征在于，所述预设神经网络模型包括输入层、隐藏层和输出层；所述输入层和输出层的神经元个数根据所述触觉特征信号的维数来确定。
6.根据权利要求5所述的触觉信号传输方法，其特征在于，所述方法包括：
利用遗传算法确定所述预设神经网络模型的初始化参数。
7.一种触觉信号传输装置，其特征在于，包括：
信息采集模块，用于采集触觉信号、图像数据和音视频数据；
力特征提取模块，用于根据所述图像数据确定材质类型，获得对应材质下的力反馈特征；
特征提取模块，用于将所述触觉信号、所述力反馈特征和所述音视频数据输入预设神经网络模型中进行特征提取，获取多模态输入信号；其中，所述多模态输入信号包括：触觉输入信号、音视频输入信号和图像信息；
压缩编码模块，用于基于韦伯定律对所述多模态输入信号进行压缩编码，获得多模态特征信号；
信号发送模块，用于将所述多模态特征信号发送至接收端，以使所述接收端根据所述多模态特征信号进行模拟；
所述特征提取模块，包括：信息获取模块，用于获取所述力反馈特征的特征信息和所述音视频数据的标签信息；
信号获取模块，用于根据所述特征信息和所述标签信息，对对应的相同时域的触觉信号进行信号特征提取，获得触觉输入信号。
8. 一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求 1～6中任意一项所述的触觉信号传输方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6中任意一项所述的触觉信号传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211338523.8A CN115758107B (zh) | 2022-10-28 | 2022-10-28 | 触觉信号传输方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211338523.8A CN115758107B (zh) | 2022-10-28 | 2022-10-28 | 触觉信号传输方法及装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115758107A CN115758107A (zh) | 2023-03-07 |
| CN115758107B true CN115758107B (zh) | 2023-11-14 |
Family
ID=85355957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211338523.8A Active CN115758107B (zh) | 2022-10-28 | 2022-10-28 | 触觉信号传输方法及装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115758107B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049749A (zh) * | 2013-03-15 | 2014-09-17 | 英默森公司 | 产生来自视频内容分析的触觉反馈的方法和设备 |
| CN109447038A (zh) * | 2018-11-27 | 2019-03-08 | 南京恩诺网络科技有限公司 | 触觉信息估算方法及装置、*** |
| CN109559758A (zh) * | 2018-11-05 | 2019-04-02 | 清华大学 | 一种基于深度学习的将纹理图像转换成触觉信号的方法 |
| CN111190481A (zh) * | 2018-11-14 | 2020-05-22 | 意美森公司 | 用于基于视觉特性来生成触觉效果的***和方法 |
| CN113840588A (zh) * | 2021-08-15 | 2021-12-24 | 曹庆恒 | 一种触觉感知***及其使用方法 |
| CN114225379A (zh) * | 2021-12-20 | 2022-03-25 | 努比亚技术有限公司 | 一种游戏场景震动调控方法、设备及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9274603B2 (en) * | 2013-05-24 | 2016-03-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
-
2022
- 2022-10-28 CN CN202211338523.8A patent/CN115758107B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049749A (zh) * | 2013-03-15 | 2014-09-17 | 英默森公司 | 产生来自视频内容分析的触觉反馈的方法和设备 |
| CN109559758A (zh) * | 2018-11-05 | 2019-04-02 | 清华大学 | 一种基于深度学习的将纹理图像转换成触觉信号的方法 |
| CN111190481A (zh) * | 2018-11-14 | 2020-05-22 | 意美森公司 | 用于基于视觉特性来生成触觉效果的***和方法 |
| CN109447038A (zh) * | 2018-11-27 | 2019-03-08 | 南京恩诺网络科技有限公司 | 触觉信息估算方法及装置、*** |
| CN113840588A (zh) * | 2021-08-15 | 2021-12-24 | 曹庆恒 | 一种触觉感知***及其使用方法 |
| CN114225379A (zh) * | 2021-12-20 | 2022-03-25 | 努比亚技术有限公司 | 一种游戏场景震动调控方法、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于人眼感知特性的亮度系数压缩方法;喻莉;郭姗;徐士麟;周刚;李荣;;中国图象图形学报(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115758107A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4012706A1 (en) | Training method and device for audio separation network, audio separation method and device, and medium | |
| CN111933115B (zh) | 语音识别方法、装置、设备以及存储介质 | |
| CN110929098B (zh) | 视频数据的处理方法、装置、电子设备及存储介质 | |
| CN112399258B (zh) | 直播回放视频生成播放方法、装置、存储介质及电子设备 | |
| CN105578115A (zh) | 一种具有语音评估功能的网络教学方法及*** | |
| CN110598576A (zh) | 一种手语交互方法、装置及计算机介质 | |
| CN113766299B (zh) | 一种视频数据播放方法、装置、设备以及介质 | |
| CN112423081B (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
| CN113254684B (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
| US10600337B2 (en) | Intelligent content parsing with synthetic speech and tangible braille production | |
| CN110516749A (zh) | 模型训练方法、视频处理方法、装置、介质和计算设备 | |
| CN112214591A (zh) | 一种对话预测的方法及装置 | |
| CN115019237B (zh) | 多模态情感分析方法、装置、电子设备及存储介质 | |
| CN113793398A (zh) | 基于语音交互的绘画方法与装置、存储介质和电子设备 | |
| CN111711834A (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
| CN109166409B (zh) | 一种手语转换方法及装置 | |
| CN113392273A (zh) | 视频播放方法、装置、计算机设备及存储介质 | |
| WO2023197749A1 (zh) | 背景音乐的***时间点确定方法、装置、设备和存储介质 | |
| CN111144138A (zh) | 一种同声传译方法及装置、存储介质 | |
| CN115758107B (zh) | 触觉信号传输方法及装置、存储介质及电子设备 | |
| Wojtanowski et al. | “Alexa, Can You See Me?” Making Individual Personal Assistants for the Home Accessible to Deaf Consumers | |
| CN115223244B (zh) | 触觉动作仿真方法、装置、设备和存储介质 | |
| CN115116444A (zh) | 一种语音识别文本的处理方法、装置、设备及存储介质 | |
| CN110852801B (zh) | 信息处理方法、装置及设备 | |
| CN113571063A (zh) | 语音信号的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |