CN112183216A - 一种用于残障人士沟通的辅助*** - Google Patents
一种用于残障人士沟通的辅助*** Download PDFInfo
- Publication number
- CN112183216A CN112183216A CN202010910889.2A CN202010910889A CN112183216A CN 112183216 A CN112183216 A CN 112183216A CN 202010910889 A CN202010910889 A CN 202010910889A CN 112183216 A CN112183216 A CN 112183216A
- Authority
- CN
- China
- Prior art keywords
- module
- alarm
- sign language
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000002452 interceptive effect Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 16
- 206010011878 Deafness Diseases 0.000 claims abstract description 10
- 230000036541 health Effects 0.000 claims abstract description 10
- 238000007726 management method Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 239000003205 fragrance Substances 0.000 claims description 9
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 229910052744 lithium Inorganic materials 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000010438 heat treatment Methods 0.000 claims description 5
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 4
- 229910052802 copper Inorganic materials 0.000 claims description 4
- 239000010949 copper Substances 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004080 punching Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 239000000872 buffer Substances 0.000 claims 1
- 230000003139 buffering effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000741 silica gel Substances 0.000 description 1
- 229910002027 silica gel Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Social Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种用于残障人士沟通的辅助***，包括：手语识别单元、智能报警单元、事件记录提醒单元、信息转换处理单元、医疗辅助单元和交互显示单元；手语识别单元用于录入聋哑人的手部姿态信息；智能报警单元用于事件报警，智能报警单元包括报警优先级设置模块、报警信息缓存处理模块、报警模式选择模块、线上报警模块和线下报警模块；事件记录提醒单元用于记录一段时间内用户需完成事项并进行定时提醒；医疗辅助单元用于验证使用者身份是否合法并将用户的病例及复检报告进行存储输出用户的健康报告以及用户进行出行导航和协助用户进行康复训练，本发明操作简捷且安全性高，可满足聋哑人的日常简单交流需求，提升了用户使用体验。
Description
技术领域
本发明涉及智能沟通辅助设备技术领域，尤其涉及到一种用于残障人士沟通的辅助***。
背景技术
对于听力障碍者和语言障碍者来说，手语是主要的交流工具，而由于普通人群对手语的了解度较低，直接导致了听障人与其他人之间的交流障碍，为其生活及安全带来了许多不便，限制了聋聋哑人的生活空间、发展空间。如何研究一种可以让聋哑人们能顺利的表达他们的想法以及减轻生活中不便的可帮助聋哑人进行沟通交流的智能辅助***十分有意义，随着的科技水平的提升，许多可穿戴、AI投影、智能识别以及语音控制等智能技术中的一些已经被应用到现实工作生活中，这些智能技术也可很好地辅助语言交流有障碍的人群与外界进行简单交流，但由于这些技术本身需要强大的计算能力和高端的应用设备导致了成本上升，且复杂的功能也增加了操作的负担，以及识别精度不高导致交流出现问题。
综上所述，提供一种操作简捷且安全性高，可满足聋哑人的日常简单交流需求，提升用户使用体验的用于残障人士沟通的辅助***，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种用于残障人士沟通的辅助***，其由于采取了如下技术方案而能够解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：一种用于残障人士沟通的辅助***，包括：手语识别单元、智能报警单元、事件记录提醒单元、信息转换处理单元、医疗辅助单元和交互显示单元；
所述手语识别单元用于录入聋哑人的手部姿态信息并将识别结果发送给所述语音播放单元进行语音播放，所述手语识别单元包括手语信息录入模块、手语信息识别模块和矫正输出模块，所述手语信息录入模块、所述手语信息识别模块和所述矫正输出模块依次连接；
所述智能报警单元用于事件报警，所述智能报警单元包括报警优先级设置模块、报警信息缓存处理模块、报警模式选择模块、线上报警模块和线下报警模块，所述报警模式包括主动报警模式和自动报警模式，主动报警模式用于用户自主报警，所述自动报警模式根据设定阈值进行报警，当所述报警信息缓存处理模块检测到相关参数值超过报警阈值时，按照所述报警优先级设置模块设置的优先级别向所述线上报警模块和所述线下报警模块发送报警信息；
所述事件记录提醒单元用于记录一段时间内用户需完成事项并进行定时提醒，所述事件记录提醒单元包括信息提醒模块和时间记录模块；
所述信息转换处理单元包括语音播放模块、语音文本转换模块、文本图像转换模块、数据库存储模块、云服务器和用户信息关联列表，所述语音播放模块用于播放手语识别结果，所述语音播放模块包括TTS语音芯片、扬声器、语音模式选择模块和音量调节模块，所述语音播放模块与所述矫正输出模块相连接，所述语音文本转换模块、所述文本图像转换模块和所述交互显示单元依次连接，所述数据库存储模块包括手语数据存储数据库、用户信息存储数据库、事件存储数据库和报警记录存储数据库；
所述医疗辅助单元包括用户身份验证模块、健康评估模块、智能导航定位模块和康复训练模块，所述用户身份验证模块用于验证使用者身份是否合法，所述健康评估模块用于将用户的病例及复检报告进行存储并输出用户的健康报告，所述智能导航定位模块用于用户进行出行导航，所述康复训练模块包括康复训练视频存储模块和用户打卡模块，所述康复训练模块用于用户进行康复训练。
优选地，所述交互显示单元包括液晶交互显示器，所述交互显示单元用于显示沟通者语音表达内容对应的文本信息以及手语信息和投影相关视频信息。
更优选地，所述信息转换处理单元还包括手语动作3D重建模块，所述3D重建模块用于将所述文本图像转换模块转换成的手语图像进行3D重建并通过所述交互显示单元还原出动态的3D手语视频。
更优选地，还包括无线移动终端和智能语音手环，所述交互显示单元均设置在所述无线移动终端上，所述智能语音手环上还设置有用于录入沟通者语音信息的微型拾音咪头和用于控制微型拾音咪头启闭的控制开关，所述微型拾音咪头与所述控制开关和所述语音文本转换模块相连接。
优选地，还包括供电管理单元，所述供电管理单元包括低电压提醒模块、电池管理模块、锂电池，所述低电压提醒模块包括电池电量板，所述电池管理模块包括PMU芯片，所述低电压提醒模块和所述锂电池均与所述电池管理模块电连接。
优选地，当所述智能报警单元接收到报警信息后，先将所述报警信息缓存值至所述报警信息缓存处理模块，当一段内再次接收到另一报警信息则按照所述报警优先级设置模块默认的优先级依次发送报警信息，否则直接发送所述报警信息至所述线上报警模块和所述线下报警模块，所述线上报警模块包括GSM自动拨号模块，所述线下报警模块包括声光报警电路。
更优选地，所述手语信息录入模块包括双目摄像头和支撑杆，所述手语信息录入模块设置在所述无线移动终端上，所述双目摄像头设置在所述支撑杆上，所述支撑杆平时卡置在所述无线移动终端上，使用时将所述支撑杆拉开。
优选地，所述手语信息识别模块采用基于深度学习的手语识别算法，所述手语识别算法包括：由所述手语信息录入模块采集手势图像及视频构建静态手语数据集合及手语视频集合，并将所述静态手语数据集合和所述手语视频集合存入所述手语数据存储数据库；对所述静态手语数据集合中的深度图像进行预处理分割得到目标手型部分，根据公式K＝cMγ采用幂律转换法对图像对比度进行拉伸实现图像对比度增强，c和γ为正常数，K和M的取值范围为[0,1]，再采用闭运算进行形态学处理，然后采用高斯滤波去除图像中的噪声，得到清晰的手势图像分割结果；将手势图像作为输入采用CNN卷积神经网络进行静态孤立词手语识别；使用CNN卷积神经网络提取手语视频集合中视频序列的手势特征，将提取的特征序列作为LSTM网络的输入，通过LSTM网络对获取的特征序列进行识别，输出手语识别的结果，得到所述视频序列的特征向量N个特征每一个所对应的手势类标签。
更优选地，信息提醒模块包括振动模块、香氛挥发模块和灯光模块，所述振动模块、所述香氛挥发模块和所述灯光模块均设置在所述智能语音手环内，所述香氛挥发模块包括加热铜片和固体香氛。
优选地，所述智能导航定位模块包括手势命令录入模块和电子地图模块，用户可通过所述手势命令录入模块录入特定的手势命令，所述特定的手势命令对应特定的地点查询指令，将特定的地点查询指令发送至所述电子地图模块，得到对应的导航路线。
从上述的技术方案可以看出，本发明的有益效果是：本发明操作简捷且安全性高，可满足聋哑人的日常简单交流需求，提升了用户使用体验。
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明用于残障人士沟通的辅助***的组成结构示意图。
图2为本发明中智能语音手环的结构示意图。
图3为本发明中无线移动终端的结构示意图。
图4为本实施例中手语识别算法的具体步骤示意图。
附图标记：交互显示单元1、手语信息录入模块2、线下报警模块3、语音播放模块4、振动模块5、香氛挥发模块6、灯光模块7、微型拾音咪头8启闭的控制开关9。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种操作简捷且安全性高，可满足聋哑人的日常简单交流需求，提升了用户使用体验的用于残障人士沟通的辅助***。如图1至图4所示，该***包括：手语识别单元、智能报警单元、事件记录提醒单元、信息转换处理单元、医疗辅助单元和交互显示单元1，其中，所述交互显示单元1包括液晶交互显示器，所述液晶交互显示器用于显示沟通者语音表达内容对应的文本信息以及3D手语信息以及投影相关的康复视频或音影视频信息。
本***中，所述手语识别单元用于录入聋哑人的手部姿态信息并将识别结果发送给所述语音播放单元进行语音播放，所述手语识别单元包括手语信息录入模块2、手语信息识别模块和矫正输出模块，所述手语信息录入模块2、所述手语信息识别模块和所述矫正输出模块依次连接。
所述智能报警单元用于受到撞击或紧急状况时报警，所述智能报警单元包括报警优先级设置模块、报警信息缓存处理模块、报警模式选择模块、线上报警模块和线下报警模块3，所述报警模式包括主动报警模式和自动报警模式，主动报警模式用于用户通过报警按钮自主报警，所述自动报警模式根据设定阈值进行报警，当所述报警信息缓存处理模块检测到相关参数值超过报警阈值时，按照所述报警优先级设置模块设置的优先级别向所述线上报警模块和所述线下报警模块3发送报警信息。其中，当所述智能报警单元接收到报警信息后，先将所述报警信息缓存值至所述报警信息缓存处理模块，当一段内再次接收到另一报警信息则按照所述报警优先级设置模块默认的优先级依次发送报警信息，否则直接发送所述报警信息至所述线上报警模块和所述线下报警模块3，所述线上报警模块包括GSM自动拨号模块，所述线下报警模块3包括声光报警电路。
所述事件记录提醒单元用于记录一段时间内比如一天或一周用户需完成事项并进行定时提醒，所述事件记录提醒单元包括信息提醒模块和时间记录模块。信息提醒模块包括振动模块5、香氛挥发模块6和灯光模块7，所述振动模块5、所述香氛挥发模块6和所述灯光模块7均设置在所述智能语音手环内，所述香氛挥发模块6包括加热铜片和固体香氛，所述加热铜片与加热电路相连，加热8秒后自动停止，所述智能语音手环采用硅胶材质。
所述信息转换处理单元包括语音播放模块4、语音文本转换模块、文本图像转换模块、数据库存储模块、云服务器和用户信息关联列表，所述信息转换处理单元还包括手语动作3D重建模块，所述3D重建模块用于将所述文本图像转换模块转换成的手语图像进行3D重建并通过所述交互显示单元1还原出动态的3D手语视频。所述语音播放模块4用于播放手语识别结果，所述语音播放模块4包括TTS语音芯片、扬声器、语音模式选择模块和音量调节模块，所述语音播放模块4与所述矫正输出模块相连接，可以将识别的手语信息进行语音播放达到与普通人的沟通目的。所述语音文本转换模块、所述文本图像转换模块和所述交互显示单元1依次连接，所述语音文本转换模块可将普通人的讲话内容转换成文本信息，然后通过所述文本图像转换模块将文本信息转换成对应语义的手语图像，再将手语图像进行3D重建并通过所述交互显示单元1还原出动态的3D手语视频，所述数据库存储模块包括手语数据存储数据库、用户信息存储数据库、事件存储数据库和报警记录存储数据库，所述数据库存储模块与云服务器相连接。
本***中的医疗辅助单元包括用户身份验证模块、健康评估模块、智能导航定位模块和康复训练模块，所述用户身份验证模块用于验证使用者身份是否合法，所述健康评估模块用于将用户的病例及复检报告进行存储并输出用户的健康报告，所述智能导航定位模块用于用户进行出行导航，所述康复训练模块包括康复训练视频存储模块和用户打卡模块，所述康复训练模块用于用户进行康复训练。所述智能导航定位模块包括手势命令录入模块和电子地图模块，用户可通过所述手势命令录入模块录入特定的手势命令，所述特定的手势命令对应特定的地点查询指令，将特定的地点查询指令发送至所述电子地图模块，得到对应的导航路线，例如，手势“1”代表附近超市搜索指令、手势“2”代表附近图书馆搜索指令等。
本***还包括无线移动终端和智能语音手环，所述手语识别单元、所述智能报警单元、所述时间记录模块、所述信息转换处理单元、所述医疗辅助单元和所述交互显示单元1均设置在所述无线移动终端上，如图2所示，所述智能语音手环上还设置有用于录入普通沟通者语音信息的微型拾音咪头8和用于控制微型拾音咪头8启闭的控制开关9，所述微型拾音咪头8与所述控制开关9和所述语音文本转换模块相连接，所述无线移动终端和所述智能语音手环通过无线方式进行信息交流。
本***还包括供电管理单元，所述供电管理单元包括低电压提醒模块、电池管理模块、锂电池，所述低电压提醒模块包括电池电量板，所述电池管理模块包括PMU芯片，所述低电压提醒模块和所述锂电池均与所述电池管理模块电连接。
如图3所示，所述手语信息录入模块2包括双目摄像头和支撑杆，所述手语信息录入模块2设置在所述无线移动终端上，所述双目摄像头设置在所述支撑杆上，所述支撑杆平时卡置在所述无线移动终端上，使用时将所述支撑杆拉开。
如图4所示，所述手语信息识别模块采用基于深度学习的手语识别算法，所述手语识别算法包括：a.由所述手语信息录入模块2采集手势图像及视频构建静态手语数据集合及手语视频集合，并将所述静态手语数据集合和所述手语视频集合存入所述手语数据存储数据库；b.对所述静态手语数据集合中的深度图像进行预处理分割得到目标手型部分，根据公式K＝cMγ采用幂律转换法对图像对比度进行拉伸实现图像对比度增强，c和γ为正常数，K和M的取值范围为[0,1]，再采用闭运算进行形态学处理，然后采用高斯滤波去除图像中的噪声，得到清晰的手势图像分割结果；c.将手势图像作为输入采用CNN卷积神经网络进行静态孤立词手语识别；d.使用CNN卷积神经网络提取手语视频集合中视频序列的手势特征，将提取的特征序列作为LSTM网络的输入，通过LSTM网络对获取的特征序列进行识别，输出手语识别的结果，得到所述视频序列的特征向量N个特征每一个所对应的手势类标签。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。
Claims (10)
1.一种用于残障人士沟通的辅助***，其特征在于，包括：手语识别单元、智能报警单元、事件记录提醒单元、信息转换处理单元、医疗辅助单元和交互显示单元；
所述手语识别单元用于录入聋哑人的手部姿态信息并将识别结果发送给所述语音播放单元进行语音播放，所述手语识别单元包括手语信息录入模块、手语信息识别模块和矫正输出模块，所述手语信息录入模块、所述手语信息识别模块和所述矫正输出模块依次连接；
所述智能报警单元用于事件报警，所述智能报警单元包括报警优先级设置模块、报警信息缓存处理模块、报警模式选择模块、线上报警模块和线下报警模块，所述报警模式包括主动报警模式和自动报警模式，主动报警模式用于用户自主报警，所述自动报警模式根据设定阈值进行报警，当所述报警信息缓存处理模块检测到相关参数值超过报警阈值时，按照所述报警优先级设置模块设置的优先级别向所述线上报警模块和所述线下报警模块发送报警信息；
所述事件记录提醒单元用于记录一段时间内用户需完成事项并进行定时提醒，所述事件记录提醒单元包括信息提醒模块和时间记录模块；
所述信息转换处理单元包括语音播放模块、语音文本转换模块、文本图像转换模块、数据库存储模块、云服务器和用户信息关联列表，所述语音播放模块用于播放手语识别结果，所述语音播放模块包括TTS语音芯片、扬声器、语音模式选择模块和音量调节模块，所述语音播放模块与所述矫正输出模块相连接，所述语音文本转换模块、所述文本图像转换模块和所述交互显示单元依次连接，所述数据库存储模块包括手语数据存储数据库、用户信息存储数据库、事件存储数据库和报警记录存储数据库；
所述医疗辅助单元包括用户身份验证模块、健康评估模块、智能导航定位模块和康复训练模块，所述用户身份验证模块用于验证使用者身份是否合法，所述健康评估模块用于将用户的病例及复检报告进行存储并输出用户的健康报告，所述智能导航定位模块用于用户进行出行导航，所述康复训练模块包括康复训练视频存储模块和用户打卡模块，所述康复训练模块用于用户进行康复训练。
2.如权利要求1所述的用于残障人士沟通的辅助***，其特征在于，所述交互显示单元包括液晶交互显示器，所述交互显示单元用于显示沟通者语音表达内容对应的文本信息以及手语信息和投影相关视频信息。
3.如权利要求2所述的用于残障人士沟通的辅助***，其特征在于，所述信息转换处理单元还包括手语动作3D重建模块，所述3D重建模块用于将所述文本图像转换模块转换成的手语图像进行3D重建并通过所述交互显示单元还原出动态的3D手语视频。
4.如权利要求3所述的用于残障人士沟通的辅助***，其特征在于，还包括无线移动终端和智能语音手环，所述交互显示单元均设置在所述无线移动终端上，所述智能语音手环上还设置有用于录入沟通者语音信息的微型拾音咪头和用于控制微型拾音咪头启闭的控制开关，所述微型拾音咪头与所述控制开关和所述语音文本转换模块相连接。
5.如权利要求1所述的用于残障人士沟通的辅助***，其特征在于，还包括供电管理单元，所述供电管理单元包括低电压提醒模块、电池管理模块和锂电池，所述低电压提醒模块包括电池电量板，所述电池管理模块包括PMU芯片，所述低电压提醒模块和所述锂电池均与所述电池管理模块电连接。
6.如权利要求1所述的用于残障人士沟通的辅助***，其特征在于，当所述智能报警单元接收到报警信息后，先将所述报警信息缓存值至所述报警信息缓存处理模块，当一段内再次接收到另一报警信息则按照所述报警优先级设置模块默认的优先级依次发送报警信息，否则直接发送所述报警信息至所述线上报警模块和所述线下报警模块，所述线上报警模块包括GSM自动拨号模块，所述线下报警模块包括声光报警电路。
7.如权利要求4所述的用于残障人士沟通的辅助***，其特征在于，所述手语信息录入模块包括双目摄像头和支撑杆，所述手语信息录入模块设置在所述无线移动终端上，所述双目摄像头设置在所述支撑杆上，所述支撑杆平时卡置在所述无线移动终端上，使用时将所述支撑杆拉开。
8.如权利要求1所述的用于残障人士沟通的辅助***，其特征在于，所述手语信息识别模块采用基于深度学习的手语识别算法，所述手语识别算法包括：由所述手语信息录入模块采集手势图像及视频构建静态手语数据集合及手语视频集合，并将所述静态手语数据集合和所述手语视频集合存入所述手语数据存储数据库；对所述静态手语数据集合中的深度图像进行预处理分割得到目标手型部分，根据公式K＝cMγ采用幂律转换法对图像对比度进行拉伸实现图像对比度增强，c和γ为正常数，K和M的取值范围为[0,1]，再采用闭运算进行形态学处理，然后采用高斯滤波去除图像中的噪声，得到清晰的手势图像分割结果；将手势图像作为输入采用CNN卷积神经网络进行静态孤立词手语识别；使用CNN卷积神经网络提取手语视频集合中视频序列的手势特征，将提取的特征序列作为LSTM网络的输入，通过LSTM网络对获取的特征序列进行识别，输出手语识别的结果，得到所述视频序列的特征向量N个特征每一个所对应的手势类标签。
9.如权利要求4所述的用于残障人士沟通的辅助***，其特征在于，信息提醒模块包括振动模块、香氛挥发模块和灯光模块，所述振动模块、所述香氛挥发模块和所述灯光模块均设置在所述智能语音手环内，所述香氛挥发模块包括加热铜片和固体香氛。
10.如权利要求1所述的用于残障人士沟通的辅助***，其特征在于，所述智能导航定位模块包括手势命令录入模块和电子地图模块，用户可通过所述手势命令录入模块录入特定的手势命令，所述特定的手势命令对应特定的地点查询指令，将特定的地点查询指令发送至所述电子地图模块，得到对应的导航路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010910889.2A CN112183216A (zh) | 2020-09-02 | 2020-09-02 | 一种用于残障人士沟通的辅助*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010910889.2A CN112183216A (zh) | 2020-09-02 | 2020-09-02 | 一种用于残障人士沟通的辅助*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183216A true CN112183216A (zh) | 2021-01-05 |
Family
ID=73925575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010910889.2A Pending CN112183216A (zh) | 2020-09-02 | 2020-09-02 | 一种用于残障人士沟通的辅助*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183216A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019385A (zh) * | 2021-05-09 | 2022-09-06 | 北京福乐云数据科技有限公司 | 通过手语交流的人工智能医务*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN101614549A (zh) * | 2009-07-24 | 2009-12-30 | 深圳市凯立德计算机***技术有限公司 | 导航***手势命令输入方法及装置 |
| CN103473890A (zh) * | 2013-09-12 | 2013-12-25 | 合肥工业大学 | 基于多信息的驾驶员疲劳实时监测***及监测方法 |
| CN104023269A (zh) * | 2013-03-01 | 2014-09-03 | 联想(北京)有限公司 | 一种事件提醒方法及电子设备 |
| CN104573621A (zh) * | 2014-09-30 | 2015-04-29 | 李文生 | 基于Chebyshev神经网络的动态手势学习和识别方法 |
| CN108470495A (zh) * | 2018-04-04 | 2018-08-31 | 温州大学 | 一种聋哑患者交流装置 |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流*** |
| DE102017214012A1 (de) * | 2017-08-10 | 2019-02-14 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Bedienung eines Navigationssystems eines Kraftfahrzeugs |
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换*** |
| CN110096991A (zh) * | 2019-04-25 | 2019-08-06 | 西安工业大学 | 一种基于卷积神经网络的手语识别方法 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流*** |
| US20200075011A1 (en) * | 2018-08-31 | 2020-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Sign Language Information Processing Method and Apparatus, Electronic Device and Readable Storage Medium |
| WO2020119496A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于人工智能的通信方法、装置、设备及可读存储介质 |
-
2020
- 2020-09-02 CN CN202010910889.2A patent/CN112183216A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN101614549A (zh) * | 2009-07-24 | 2009-12-30 | 深圳市凯立德计算机***技术有限公司 | 导航***手势命令输入方法及装置 |
| CN104023269A (zh) * | 2013-03-01 | 2014-09-03 | 联想(北京)有限公司 | 一种事件提醒方法及电子设备 |
| CN103473890A (zh) * | 2013-09-12 | 2013-12-25 | 合肥工业大学 | 基于多信息的驾驶员疲劳实时监测***及监测方法 |
| CN104573621A (zh) * | 2014-09-30 | 2015-04-29 | 李文生 | 基于Chebyshev神经网络的动态手势学习和识别方法 |
| DE102017214012A1 (de) * | 2017-08-10 | 2019-02-14 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Bedienung eines Navigationssystems eines Kraftfahrzeugs |
| CN108470495A (zh) * | 2018-04-04 | 2018-08-31 | 温州大学 | 一种聋哑患者交流装置 |
| CN108615009A (zh) * | 2018-04-24 | 2018-10-02 | 山东师范大学 | 一种基于动态手势识别的手语翻译交流*** |
| US20200075011A1 (en) * | 2018-08-31 | 2020-03-05 | Baidu Online Network Technology (Beijing) Co., Ltd. | Sign Language Information Processing Method and Apparatus, Electronic Device and Readable Storage Medium |
| WO2020119496A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于人工智能的通信方法、装置、设备及可读存储介质 |
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换*** |
| CN110096991A (zh) * | 2019-04-25 | 2019-08-06 | 西安工业大学 | 一种基于卷积神经网络的手语识别方法 |
| CN110717344A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市热丽泰和生命科技有限公司 | 基于智能可穿戴设备的辅助交流*** |
Non-Patent Citations (1)
| Title |
|---|
| 俞显刚: "《基于神经网络的视频手语识别》", 《信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019385A (zh) * | 2021-05-09 | 2022-09-06 | 北京福乐云数据科技有限公司 | 通过手语交流的人工智能医务*** |
| CN115019385B (zh) * | 2021-05-09 | 2023-01-06 | 北京福乐云数据科技有限公司 | 通过手语交流的人工智能医务*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111459290B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
| CN106997243B (zh) | 基于智能机器人的演讲场景监控方法及装置 | |
| US20190188903A1 (en) | Method and apparatus for providing virtual companion to a user | |
| CN112699774B (zh) | 视频中人物的情绪识别方法及装置、计算机设备及介质 | |
| CN110598576A (zh) | 一种手语交互方法、装置及计算机介质 | |
| KR20140042994A (ko) | 가상 에이전트와의 대화 내용에서 자동으로 추출되는 개인 프로파일링 정보를 이용한 자동학습 기반의 인공지능 대화 시스템 | |
| CN113835522A (zh) | 手语视频生成、翻译、客服方法、设备和可读介质 | |
| CN111353366A (zh) | 一种情绪检测方法及装置、电子设备 | |
| KR101584685B1 (ko) | 시청 데이터를 이용한 기억 보조 방법 | |
| CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
| CN111382655A (zh) | 一种举手行为识别方法及装置、电子设备 | |
| CN114926837A (zh) | 一种基于人-物时空交互行为的情感识别方法 | |
| CN112183216A (zh) | 一种用于残障人士沟通的辅助*** | |
| CN115937853A (zh) | 文案生成方法、生成装置、电子设备及存储介质 | |
| Akman et al. | Lip reading multiclass classification by using dilated CNN with Turkish dataset | |
| Balcı | Overview of intelligent personal assistants | |
| CN113851029A (zh) | 一种无障碍通信方法和装置 | |
| CN113689660A (zh) | 可穿戴设备的安全预警方法、可穿戴设备 | |
| Sansen et al. | The Roberta IRONSIDE project a cognitive and physical robot coach for dependent persons | |
| Joshi et al. | Sign Language Certification Platform with Action Recognition using LSTM Neural Networks | |
| Bhuiyan et al. | An assistance system for visually challenged people based on computer vision and iot | |
| CN113822187A (zh) | 手语翻译、客服、通信方法、设备和可读介质 | |
| Mohan et al. | A Novel Approach to Record and Narrate the Summary of Conversation for Alzheimer Patient | |
| Sathana et al. | A Soundbite-Based Framework for Text and Object Detection Using OCR and YOLO Technique to Assist Blind and Deaf |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |