CN114546117B - 一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 - Google Patents
一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 Download PDFInfo
- Publication number
- CN114546117B CN114546117B CN202210157004.5A CN202210157004A CN114546117B CN 114546117 B CN114546117 B CN 114546117B CN 202210157004 A CN202210157004 A CN 202210157004A CN 114546117 B CN114546117 B CN 114546117B
- Authority
- CN
- China
- Prior art keywords
- module
- sign language
- data
- tactical
- raspberry group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 35
- 240000007651 Rubus glaucus Species 0.000 claims description 63
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 63
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 63
- 238000011161 development Methods 0.000 claims description 29
- 238000005452 bending Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000004888 barrier function Effects 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Electrically Operated Instructional Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于通信领域，具体公开了一种基于深度学习与传感器技术的战术手语识别手套***及实现方法，包括树莓派模块、arduino开发板、V5扩展板、电源模块、开关模块、PC端界面模块、接收者耳机端、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块。本发明基于keras搭建单标签多分类的神经网络手势识别模型以及传感器技术建立基于手套采集数据的手语识别***，能够实时利用手语传递信息，并基于手语识别的信息交流；能够实现使用者之间远距离的信息传输，并建立使用者在障碍物阻挡下的精确信息交互；能够实时获取各个使用者的位置情况；能够建立突发状况的应急措施预案的自动选择，同时方便使用者进行应急交流，进而实现整个***完整、准确、实时性强的通信功能。
Description
技术领域
本发明属于通信领域，具体公开了一种基于深度学习与传感器技术的战术手语识别手套***及实现方法。
背景技术
21世纪是信息的时代。随着机械化战争向信息化战争的悄然转变，信息战已成为了21世纪新型的战争形势。采集，利用，处理，交流信息是信息战中至关重要的决定性因素。战术的决策，决策的传递，队友的交流，都需要依靠信息为媒介来实现。
在战术手语方面，为满足特殊战斗环境下具有隐蔽性和准确性的无声信息交流，各个行动分队之间通常会采用战术手语交流。
但是我们注意到，在实际的战场环境下，行动分队之间可能会误读某些手语，对作战造成一定影响，对此，已经有使用计算机视觉的方法对手语信息进行解读，但在某些条件下，这一方法仍具有很强的局限性。例如在夜间、极端天气或障碍物繁多的场景作战，无论是传统手语手势还是计算机视觉识别的方法都会受到可见度的限制。同时使用计算机视觉识别手语的方式在实际作战中也会影响使用者的效率。
针对以上问题，研制一种轻量级、适应多场合作战的穿戴类设备是急需解决的难题。
发明内容
本发明的目的在于提供一种基于深度学习与传感器技术的战术手语识别手套***及实现方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习与传感器技术的战术手语识别手套***，用于实现战术手语交流功能、指挥部远程指挥功能以及卫星定位功能，包括树莓派模块、arduino开发板、V5扩展板、弯曲传感模块、陀螺仪传感模块、压力传感模块、卫星定位模块、接收者耳机端、PC端界面模块、开关模块以及电源模块。
所述树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；
所述arduino开发板，用于将传感模块采集到的数据进行AD转换，并将数字信号传递至树莓派模块；
所述V5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；
所述弯曲传感模块，用于采集手指弯曲度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
所述陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
所述压力传感模块，用于采集指尖压力数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
所述卫星定位模块，用于实时获取使用者的位置，并依次通过V5扩展板、arduino开发板、树莓派将位置上传至PC界面端；
所述接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；
所述PC端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；
所述开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭***，防止***长时间开启采集到无效数据；
所述电源模块，用于给上述模块供电。
本发明还提供一种基于深度学习与传感器技术的战术手语识别手套***的实现方法，包括:
步骤1、打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；
步骤2、构建、训练并生成手语识别的数学模型；
步骤3、将生成模型在树莓派模块上部署；
步骤4、设计PC端界面及功能；
步骤5、将PC端和树莓派连接网络，双方以MySQL数据库为中转站进行数据传输，PC端可通过VNC远程控制工具以可视化方式查看树莓派内部工程文件，并定时执行该相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；
步骤6、将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派向接收者耳麦端发送指令音频文件；
步骤7、穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模块、压力传感模块会自动采集50组数据通过V5扩展板传送至arduino开发板中；
步骤8、arduino开发板对采集到的数据进行AD转换，将输出的数字信号传送至树莓派模块；
步骤9、树莓派模块将接收到的50组数字信号进行预处理；
步骤10、处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；
步骤11、树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；
步骤l2、树莓派模块将手语指令上传至MySQL数据库中，PC端具有导出权限。
进一步的，所述步骤2包括：
步骤2-1、人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理。将得到的数据集分为训练集和测试集两部分；
步骤2-2、对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；
步骤2-3、对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；
步骤2-4、采用keras框架搭建单标签多分类神经网络模型；
步骤2-5、将epochs设为9，batch设为512，进行模型训练；
步骤2-6、在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；
步骤2-7、经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。
进一步的，所述步骤2-2包括：
步骤2-2-1、编写函数，生成一个16*360全零张量；
步骤2-2-2、对于函数输入参数的一组数据列表，对于数据列表中第n项m，将全零张量中第n行第m列元素置为1，将数据列表中全部16项进行这般处理；
步骤2-2-3、调用函数将全部数据集进行上述处理并存储，并作为模型的输入。
作为本发明的一种优选方案，所述传感器模块可通过弯曲传感模块、陀螺仪模块、压力传感模块获取使用者的手指弯曲信息、加速度信息、角度信息以及指尖压力信息。
作为本发明的一种优选方案，所述数据预处理模块采用arduino开发板及V5扩展板，将数据整理后交付树莓派进行发送、处理。
作为本发明的一种优选方案，所述手势识别模块采用基于keras搭建单标签多分类的神经网络手势识别模型。
与现有技术相比，本发明的有益效果如下：
(1)便于穿戴，使用者可将本发明穿戴在手上使用，既不影响手语交流，也不影响直接作战。
(2)解除了在能见度受限场景作战的限制，满足实际需要。
(3)在不影响穿戴的前提下增加了卫星定位模块，结合界面使用使本发明具备更多功能。
(4)采用MySQL数据库作为与PC端数据传输的中转站，解除了树莓派必须和PC端连接同一局域网的限制，即指挥部可以在后方指挥作战，满足实际需要。
(5)树莓派模块使用蓝牙与接收者耳机端进行音频传输，增强了数据传输效率及准确率，同时考虑到实际情况下队员之间距离较近，在蓝牙范围内，满足实际需要。
附图说明
图1为本发明的整体结构示意图。
图2为本发明的流程图。
图3为本发明的实物图。
图4为本发明的实物图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例公开了一种基于深度学习与传感器技术的战术手语识别手套***，可以实现手语识别功能、无线传输手语指令音频功能以及卫星定位功能，***硬件结构如附图1所示，实物图如附图3、4所示。包括：
树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；
arduino开发板，用于将传感模块采集到的数据进行AD转换，并将数字信号传递至树莓派模块；
V5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；
弯曲传感模块，用于采集手指弯曲度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
压力传感模块，用于采集指尖压力数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
卫星定位模块，用于实时获取使用者的位置，并依次通过V5扩展板、arduino开发板、树莓派将位置上传至PC界面端；
接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；
PC端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；
开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭***，防止***长时间开启采集到无效数据；
还包括给上述模块供电的电源模块。
本实施例还提供一种基于深度学习与传感器技术的战术手语识别手套***的实现方法，流程图如附图2所示，包括:
步骤a、打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；
步骤b、构建、训练并生成手语识别的数学模型；
步骤c、将生成模型在树莓派模块上部署；
步骤d、设计PC端界面及功能；
步骤e、将PC端和树莓派连接网络，双方以MySQL数据库为中转站进行数据传输，防止传输大量数据造成堵塞、丢包的情况，同时消除了将PC终端和树莓派连接至同一局域网才能互相发送数据这一限制条件，扩大了本设备的应用范围。PC端可通过VNC远程控制工具以可视化方式查看树莓派内部工程文件，并定时执行该相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；
步骤f、将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派可以向接收者耳麦端发送指令音频文件；
步骤g、穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模块、压力传感模块会自动采集50组数据通过V5扩展板传送至arduino开发板中；
步骤h、arduino开发板对采集到的数据进行AD转换，将输出的数字信号传送至树莓派模块；
步骤i、树莓派模块将接收到的50组数字信号进行预处理；
步骤j、处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；
步骤k、树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；
步骤l、树莓派模块将手语指令上传至MySQL数据库中，PC端具有导出权限。
进一步的，所述步骤b包括：
步骤b1、人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理。将得到的数据集分为训练集和测试集两部分；
步骤b2、对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；
步骤b3、对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；
步骤b4、采用keras框架搭建单标签多分类神经网络模型；
步骤b5、将epochs设为9，batch设为512，进行模型训练；
步骤b6、在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；
步骤b7、经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。
进一步的，所述步骤d包括：
步骤d1、使用PyQt对界面进行整体布局；
步骤d2、编写导出功能对应的槽函数，PC端读取MySQL数据库中的手语名称，并以下拉框的形式展现；
步骤d3、编写定位功能对应的槽函数，采用多线程的方式定时接收使用者的位置信息，并在等比例地图上更新显示；
步骤d4、编写接收功能对应的槽函数，PC端会和接收者耳机端一同接收播放树莓派模块发送的音频文件；
步骤d5、编写命令功能对应的槽函数，PC端会通过树莓派模块向所有接收者耳麦端发送音频指令；
步骤d6、编写退出功能对应的槽函数，界面***完全退出。
进一步的，所述步骤i包括：
步骤i1、将50组数字信号组合成一组50*16的二维张量；
步骤i2、寻找二维张量每一列的众数，如果存在多个符合项则任意选取其中之一；
步骤i3、将得到的16个众数按照顺序组合成1个长度为16的列表，作为待处理的手语信息。
可以看出，通过本实施例提供的***和方法，能够实时利用手语传递信息，并基于手语识别的信息交流；能够实现使用者之间远距离的信息传输，并建立使用者在障碍物阻挡下的精确信息交互；能够实时获取各个使用者的位置情况；能够建立突发状况的应急措施预案的自动选择，同时方便使用者进行应急交流，进而实现整个***完整、准确、实时性强的通信功能。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习与传感器技术的战术手语识别手套***，其特征在于，包括：
A.树莓派模块，用于数据接收与处理，并传输指令音频文件或位置信息，是整个设备的核心；
B.arduino开发板，用于将传感模块采集到的数据进行AD转换，并将数字信号传递至树莓派模块；
C.V5扩展板，插在arduino开发板上，用于扩展arduino开发板接口，与开关模块、弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块直接相连；
D.弯曲传感模块，用于采集手指弯曲度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
E.陀螺仪传感模块，用于采集手掌偏转角度数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
F.压力传感模块，用于采集指尖压力数据，并依次通过V5扩展板、arduino开发板、树莓派将数据上传至MySQL数据库中，组建数据集；
G.卫星定位模块，用于实时获取使用者的位置，并依次通过V5扩展板、arduino开发板、树莓派将位置上传至PC界面端；
H.接收者耳机端，用于与树莓派模块进行蓝牙连接，接收并播放树莓派模块发送的指令音频文件；
I.PC端界面模块，用于指挥部接收使用者手语指令，并于地图上展现使用者的位置信息，便于进行作战部署；
J.开关模块，用于开启设备采集一批次数据，采集完成后会自动关闭***，防止***长时间开启采集到无效数据；
K.电源模块，用于给上述模块供电。
2.根据权利要求1所述的一种基于深度学习与传感器技术的战术手语识别手套***，其特征在于：开关模块选取压力传感器，通过3s持续按压激活，进行一次手语的识别。
3.一种如权利要求1所述的基于深度学习与传感器技术的战术手语识别手套***的实现方法，该方法应用于如权利要求1所述的基于深度学习与传感器技术的战术手语识别手套***，其特征在于，包括:
(1)打开电源模块为设备供电，对弯曲传感模块、陀螺仪传感模块、压力传感模块以及卫星定位模块进行校准处理；
(2)构建、训练并生成手语识别的数学模型；
(3)将生成模型在树莓派模块上部署；
(4)设计PC端界面及功能；
(5)将PC端和树莓派连接网络，双方以MySQL数据库为中转站进行数据传输，PC端通过VNC远程控制工具以可视化方式查看树莓派内部工程文件，并定时执行相应工程文件获取卫星传感模块的位置信息，在界面地图上实时更新；
(6)将树莓派端和接收者耳麦端进行蓝牙连接，使树莓派向接收者耳麦端发送指令音频文件；
(7)穿戴设备，在做出手语动作之前，触碰压力传感开关，弯曲传感模块、陀螺仪传感模块、压力传感模块会自动采集50组数据通过V5扩展板传送至arduino开发板中；
(8)arduino开发板对采集到的数据进行AD转换，将输出的数字信号传送至树莓派模块；
(9)树莓派模块将接收到的50组数字信号进行预处理；
(10)处理后的数据通过树莓派模块预先布置好的的模型处理后输出手语指令编号；
(11)树莓派模块通过输出的手语指令编号查找到对应指令的音频文件，并通过蓝牙发送至接收者耳麦端；
(12)树莓派模块将手语指令上传至MySQL数据库中，PC端具有导出权限。
4.根据权利要求3所述的一种基于深度学习与传感器技术的战术手语识别手套***的实现方法，其特征在于，所述(2)包括以下步骤：
(2-1)人工采集数据集，寻找不同年龄、身高、体重、性别的志愿者穿戴手套做出48种战术手语，并打好标签分类，再提取为excel文件并进行打乱处理，将得到的数据集分为训练集和测试集两部分；
(2-2)对数据集进行预处理，将每组数据列表转换为16*360大小的二维张量形式；
(2-3)对标签使用one-hot编码，即将每个标签表示为长度为48的全零向量，只有标签对应的索引位值为1；
(2-4)采用keras框架搭建单标签多分类神经网络模型；
(2-5)将epochs设为9，batch设为512，进行模型训练；
(2-6)在训练过程中，每个batch作为一个step，每200个step进行一次测试和验证；
(2-7)经过训练后得到长度为48的概率分布列表，和为1，输出最大概率的索引，即为手语编号。
5.根据权利要求3所述的一种基于深度学习与传感器技术的战术手语识别手套***的实现方法，其特征在于，所述(4)包括以下步骤：
(4-1)使用PyQt对界面进行整体布局；
(4-2)编写导出功能对应的槽函数，PC端读取MySQL数据库中的手语名称，并以下拉框的形式展现；
(4-3)编写定位功能对应的槽函数，采用多线程的方式定时接收使用者的位置信息，并在等比例地图上更新显示；
(4-4)编写接收功能对应的槽函数，PC端会和接收者耳机端一同接收播放树莓派模块发送的音频文件；
(4-5)编写命令功能对应的槽函数，PC端会通过树莓派模块向所有接收者耳麦端发送音频指令；
(4-6)编写退出功能对应的槽函数，界面***完全退出。
6.根据权利要求3所述的一种基于深度学习与传感器技术的战术手语识别手套***的实现方法，其特征在于，所述(9)中包括以下步骤：
(9-1)将50组数字信号组合成一组50*16的二维张量；
(9-2)寻找二维张量每一列的众数，如果存在多个符合项则任意选取其中之一；
(9-3)将得到的16个众数按照顺序组合成1个长度为16的列表，作为待处理的手语信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157004.5A CN114546117B (zh) | 2022-02-21 | 2022-02-21 | 一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157004.5A CN114546117B (zh) | 2022-02-21 | 2022-02-21 | 一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114546117A CN114546117A (zh) | 2022-05-27 |
| CN114546117B true CN114546117B (zh) | 2023-11-10 |
Family
ID=81675566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210157004.5A Active CN114546117B (zh) | 2022-02-21 | 2022-02-21 | 一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546117B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542220A (zh) * | 2018-10-25 | 2019-03-29 | 广州大学 | 一种带有校准和学习功能的手语手套、***及实现方法 |
| WO2020106364A2 (en) * | 2018-09-27 | 2020-05-28 | Hankookin, Inc. | Dynamical object oriented information system to sustain vitality of a target system |
| CN111402997A (zh) * | 2020-04-08 | 2020-07-10 | 兰州理工大学 | 一种人机交互***及方法 |
| WO2020244075A1 (zh) * | 2019-06-05 | 2020-12-10 | 平安科技（深圳）有限公司 | 手语识别方法、装置、计算机设备及存储介质 |
-
2022
- 2022-02-21 CN CN202210157004.5A patent/CN114546117B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020106364A2 (en) * | 2018-09-27 | 2020-05-28 | Hankookin, Inc. | Dynamical object oriented information system to sustain vitality of a target system |
| CN109542220A (zh) * | 2018-10-25 | 2019-03-29 | 广州大学 | 一种带有校准和学习功能的手语手套、***及实现方法 |
| WO2020244075A1 (zh) * | 2019-06-05 | 2020-12-10 | 平安科技（深圳）有限公司 | 手语识别方法、装置、计算机设备及存储介质 |
| CN111402997A (zh) * | 2020-04-08 | 2020-07-10 | 兰州理工大学 | 一种人机交互***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 小型单板计算机加速物联网应用落地;杨波;刘梅;张亚宁;;物联网技术(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114546117A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
| CN111291190B (zh) | 一种编码器的训练方法、信息检测的方法以及相关装置 | |
| CN109325547A (zh) | 非机动车图像多标签分类方法、***、设备及存储介质 | |
| CN107832662A (zh) | 一种获取图片标注数据的方法和*** | |
| CN101605158A (zh) | 聋哑人专用手机 | |
| CN111562842B (zh) | 一种基于肌电信号的虚拟键盘设计方法 | |
| CN110633624B (zh) | 一种基于多特征融合的机器视觉人体异常行为识别方法 | |
| CN113378556A (zh) | 提取文本关键字的方法及装置 | |
| CN113254684B (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
| CN111709398A (zh) | 一种图像识别的方法、图像识别模型的训练方法及装置 | |
| CN111582342A (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
| Angona et al. | Automated Bangla sign language translation system for alphabets by means of MobileNet | |
| CN109634439B (zh) | 智能文本输入方法 | |
| CN108960171B (zh) | 一种基于特征迁移学习的转换手势识别到身份识别的方法 | |
| CN112148997A (zh) | 一种用于灾害事件检测的多模态对抗模型的训练方法和装置 | |
| CN112149494A (zh) | 一种多人姿态识别方法及*** | |
| CN112464915A (zh) | 一种基于人体骨骼点检测的俯卧撑计数方法 | |
| CN111833439A (zh) | 基于人工智能的弹药投掷分析及移动仿真训练方法 | |
| CN114546117B (zh) | 一种基于深度学习与传感器技术的战术手语识别手套***及实现方法 | |
| CN109740418B (zh) | 一种基于多加速度传感器的瑜伽动作识别方法 | |
| CN116580211B (zh) | 关键点检测方法、装置、计算机设备及存储介质 | |
| CN115906861B (zh) | 基于交互方面信息融合的语句情感分析方法以及装置 | |
| CN112183430A (zh) | 一种基于双神经网络的手语识别方法及装置 | |
| CN111291804A (zh) | 基于注意力机制的多传感器时间序列分析模型 | |
| CN111353470B (zh) | 图像的处理方法、装置、可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |