CN106789593B - 一种融合手语的即时消息处理方法、服务器及*** - Google Patents

一种融合手语的即时消息处理方法、服务器及*** Download PDF

Info

Publication number
CN106789593B
CN106789593B CN201710025174.7A CN201710025174A CN106789593B CN 106789593 B CN106789593 B CN 106789593B CN 201710025174 A CN201710025174 A CN 201710025174A CN 106789593 B CN106789593 B CN 106789593B
Authority
CN
China
Prior art keywords
client
instant message
information
user
sign language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710025174.7A
Other languages
English (en)
Other versions
CN106789593A (zh
Inventor
王吉华
胡国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201710025174.7A priority Critical patent/CN106789593B/zh
Publication of CN106789593A publication Critical patent/CN106789593A/zh
Application granted granted Critical
Publication of CN106789593B publication Critical patent/CN106789593B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了融合手语的即时消息处理方法、服务器及***，其中为了解决普通人与聋哑人之间在处理即时消息的效率低的问题，该方法包括接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。该方法提高了普通人与聋哑人之间在处理即时消息的效率。

Description

一种融合手语的即时消息处理方法、服务器及***
技术领域
本发明属于数据处理方法领域，尤其涉及一种融合手语的即时消息处理方法、服务器及***。
背景技术
即时消息(Instant Messaging,IM)，又称即时通信，是指可以在线时实交流的工具，也就是通常所说的在线聊天工具。广义的来说，即时消息包括网络聊天室、网络会议***等与所有联机的通信；狭义的来说，即时消息是指由一组IM服务器控制下的通信。即时消息功能包括文字消息聊天、文件传输、传情动漫、闪屏振动及语音通信、视频通信等。即时消息，又称即时通信，是一种利用因特网的IP技术通信软件，已经成为一种开放互通的在线通信工具。
但是目前的即时消息处理***均是针对普通人之间的聊天工具，并不能实现普通人与聋哑人以及聋哑人与聋哑人之间的交流。目前，普通人与聋哑人以及聋哑人与聋哑人之间的交流还仅限于面对面的进行交谈，它们对空间的限制使得异地交流、通讯无法体验的到这些设备带来的便利。
发明内容
为了解决现有技术中普通人与聋哑人以及聋哑人与聋哑人之间的交流的空间限制的问题，本发明的第一目的是提供一种融合手语的即时消息处理方法。
一种融合手语的即时消息处理方法，该方法在消息处理服务器内完成，消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；该方法具体包括：
步骤1：接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
步骤2：根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息和文本信息；
步骤3：接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
本发明的消息处理服务器通过websocket机制与客户端建立通信。
通过websocket机制建立消息处理服务器与客户端之间的通信，实现了浏览器与服务器全双工通信，能够创建多人聊天室。
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
该方法还包括：实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。通过监听操作保证了语音输入的完整准确性。
为了解决现有技术中普通人与聋哑人以及聋哑人与聋哑人之间的交流的空间限制的问题，本发明的第二目的是提供一种融合手语的即时消息处理服务器。
一种融合手语的即时消息处理服务器，所述消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；该消息处理服务器包括：
客户端的用户身份识别模块，其用于接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
即时消息类型匹配模块，其用于根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
即时消息转换及发送模块，其用于接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
所述消息处理服务器通过websocket机制与客户端建立通信。
通过websocket机制建立消息处理服务器与客户端之间的通信，实现了浏览器与服务器全双工通信，能够创建多人聊天室。
在即时消息转换及发送模块中，当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
该方消息处理服务器还包括：监听模块，其用于实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。通过监听操作保证了语音输入的完整准确性。
为了解决现有技术中普通人与聋哑人以及聋哑人与聋哑人之间的交流的空间限制的问题，本发明的第三目的是提供一种融合手语的即时消息处理方法。
一种融合手语的即时消息处理方法，消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；包括：
步骤1：客户端将包含用户身份标识信息的用户登录信息发送至消息处理服务器，消息处理服务器接收后根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
步骤2：消息处理服务器根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
步骤3：发送客户端将即时消息将消息处理服务器转发至接收客户端，消息处理服务器根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
为了解决现有技术中普通人与聋哑人以及聋哑人与聋哑人之间的交流的空间限制的问题，本发明的第四目的是提供一种融合手语的即时消息处理***。
一种融合手语的即时消息处理***，包括：
客户端，其用于将包含用户身份标识信息的用户登录信息发送至消息处理服务器；所述客户端包括发送客户端和接收客户端；
消息处理服务器，其用于根据用户身份标识信息来识别客户端的用户身份；根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；
所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
所述客户端的用户身份包括普通用户端和聋哑用户端；
发送客户端，其用于将即时消息将消息处理服务器转发至接收客户端；
消息处理服务器，其还用于根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
本发明的有益效果为：
(1)本发明提供了一种融合手语的即时消息方法及***，尤其是在聋哑人跟正常人进行远程通讯的情况下，能够将手语转换为文字，把文字转换为手语，为不同类型的用户提供可选择的信息显示方式，消除了彼此之间沟通的空间限制以及障碍；
(2)***中的webSocket机制保证了消息能够及时传达到所有参与交流的终端用户；一定程度上减少了普通人与聋哑人沟通的成本，同时给聋哑人提供了更多与他人交流沟通的机会。
(3)在聋哑人用手语跟正常人进行远程通讯时，尤其在多人参与的远程交谈的情况下，***实现了将手语转换为文本，并为普通用户提供语音播报功能，同时将普通用户的语音输入转换为聋哑人可以看的到的手语，并输出到显示屏。
(4)本发明根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
附图说明
图1是本发明实施例中一种融合手语的即时消息处理方法的流程示意图；
图2是本发明实施例中另一种融合手语的即时消息处理方法的流程示意图；
图3是本发明实施例中一种融合手语的即时消息处理服务器结构示意图；
图4是本发明实施例中一种融合手语的即时消息处理***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提及的客户端可以包括个人电脑、平板电脑、智能手机、电子阅读器、车载终端以及穿戴式设备等运行有APP应用的互联网设备，通过互联网与消息处理服务器进行通信，所述消息处理服务器可以为应用终端上运行的APP应用的后台服务器。
图1是本发明实施例中一种融合手语的即时消息处理方法的流程示意图，本实施例主要是从消息处理服务器一侧来描述，如图所示本实施例中的融合手语的即时消息处理方法可以包括：
S101，接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份。
具体实现中，客户端的用户身份包括普通用户端和聋哑用户端。
通过websocket机制建立消息处理服务器与客户端之间的通信，实现了浏览器与服务器全双工通信，能够创建多人聊天室。
消息处理服务器为每个用户分配身份标识(dm表示聋哑用户，nm表示普通用户)，为后续数据传输时进行用户识别提供依据。
例如：由一个聊天发起人创建一个房间，设置房间密码，***返回创建成功的房间ID。其他用户进入聊天室时需要选择身份包括nm(普通用户)dm(聋哑用户)并输入聊天室创建者给出的房间ID与密码。其中dm用户需要有leapmotion支持。
S102，根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配。
具体实现中，即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息。
根据用户身份标志识别用户类型，通过websocket机制与各终端建立通信，将文本实时传输到所有终端，将采集到的手势序列实时传输到其他的dm端。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
其中，nm端选择文本显示或者语音播报，dm端选择文本或者手势显示。更加贴近真实的沟通情景，使交谈更自然。
S103，接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
例如：
(1)dm用户向其他用户传送信息时，首先需要初始化leapmotion的运行环境，时刻接收用户输入。用户在聊天***中选择手语输入之后，直接使用手语录入需要发送内容。***中的手势识别模块检测用户本次输入结束后，对本次手势序列进行分割、组合，转换成文字信息。把文本信息发送到房间内其他的用户。同时，根据用户身份，把收集到的手势序列发送给dm用户，当用户收到聊天室内其他人发来的文字信息时，nm用户可以根据***菜单选择语音播报或者直接显示文字，dm用户可以选择显示文字信息或者是手势序列信息。
(2)nm用户向其他用户传送信息时，在聊天***中选择语音输入或者直接输入文字。当输入语音时，***把语音信息传送给聊天室中的nm用户，nm用户可以直接收听，而对于dm用户则需要在接收到语音之后将其翻译成文字直接显示，或者对文本进行分词、重组，逆向为手势序列，以连续的手语动作显示。当输入文本时，nm用户可以根据***菜单选择语音播报或者直接显示文字，dm用户可以选择显示文字信息或对文本进行分词、重组，逆向为手势序列，以连续的手语动作显示。
nm端根据需求选择将语音转化为文本显示，或者将文本转化为语音读出，dm端把所有的语音先转换为文本，选择文本方式显示或者进行手语转换的逆操作，将文本转换为手语序列显示。这种设计方式能够满足不同类型用户的多种需求。
在具体实施例中，当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
在另一实施例中，该方法还包括：
S104，实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。通过监听操作保证了语音输入的完整准确性。
本实施例中在聋哑人跟正常人进行远程通讯的情况下，能够将手语转换为文字，把文字转换为手语，为不同类型的用户提供可选择的信息显示方式，消除了彼此之间沟通的障碍。***中的webSocket机制保证了消息能够及时传达到所有参与交流的终端用户；一定程度上减少了普通人与聋哑人沟通的成本，同时给聋哑人提供了更多与他人交流沟通的机会。
在聋哑人用手语跟正常人进行远程通讯时，尤其在多人参与的远程交谈的情况下，***实现了将手语转换为文本，并为普通用户提供语音播报功能，同时将普通用户的语音输入转换为聋哑人可以看的到的手语，并输出到显示屏。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
图2是本发明另一实施例中一种融合手语的即时消息处理方法的流程示意图，本实施例主要是从消息处理服务器与客户端混合侧来描述，如图所示本实施例中的融合手语的即时消息处理方法可以包括：
S201，客户端将包含用户身份标识信息的用户登录信息发送至消息处理服务器，消息处理服务器接收后根据用户身份标识信息来识别客户端的用户身份。
具体地，客户端的用户身份包括普通用户端和聋哑用户端；通过websocket机制建立消息处理服务器与客户端之间的通信，实现了浏览器与服务器全双工通信，能够创建多人聊天室。
消息处理服务器为每个用户分配身份标识(dm表示聋哑用户，nm表示普通用户)，为后续数据传输时进行用户识别提供依据。
例如：由一个聊天发起人创建一个房间，设置房间密码，***返回创建成功的房间ID。其他用户进入聊天室时需要选择身份包括nm(普通用户)、dm(聋哑用户)，并输入聊天室创建者给出的房间ID与密码。其中dm用户需要有leapmotion支持。
S202，消息处理服务器根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配。
具体实现中，即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息。
根据用户身份标志识别用户类型，通过websocket机制与各终端建立通信，将文本实时传输到所有终端，将采集到的手势序列实时传输到其他的dm端。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
其中，nm端选择文本显示或者语音播报，dm端选择文本或者手势显示。更加贴近真实的沟通情景，使交谈更自然。
S203，发送客户端将即时消息将消息处理服务器转发至接收客户端，消息处理服务器根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
在具体实施中，当发送客户端为dm端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入。能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
在另一实施例中，该方法还包括：
S204，即时消息处理服务器还实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。通过监听操作保证了语音输入的完整准确性。
本实施例中在聋哑人跟正常人进行远程通讯的情况下，能够将手语转换为文字，把文字转换为手语，为不同类型的用户提供可选择的信息显示方式，消除了彼此之间沟通的障碍。***中的webSocket机制保证了消息能够及时传达到所有参与交流的终端用户；一定程度上减少了普通人与聋哑人沟通的成本，同时给聋哑人提供了更多与他人交流沟通的机会。
在聋哑人用手语跟正常人进行远程通讯时，尤其在多人参与的远程交谈的情况下，***实现了将手语转换为文本，并为普通用户提供语音播报功能，同时将普通用户的语音输入转换为聋哑人可以看的到的手语，并输出到显示屏。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
图3是本发明实施例中一种融合手语的即时消息处理服务器结构示意图。如图3所示，本发明实施例中的融合手语的即时消息处理服务器，消息处理服务器与客户端相互通信，客户端包括发送客户端和接收客户端。
该消息处理服务器包括：
(1)客户端的用户身份识别模块，其用于接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端。
具体地，通过websocket机制建立消息处理服务器与客户端之间的通信，实现了浏览器与服务器全双工通信，能够创建多人聊天室。
消息处理服务器为每个用户分配身份标识(dm表示聋哑用户，nm表示普通用户)，为后续数据传输时进行用户识别提供依据。
例如：由一个聊天发起人创建一个房间，设置房间密码，***返回创建成功的房间ID。其他用户进入聊天室时需要选择身份包括nm(普通用户)、dm(聋哑用户)，并输入聊天室创建者给出的房间ID与密码。其中dm用户需要有leapmotion支持。
(2)即时消息类型匹配模块，其用于根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息。
具体实现中，根据用户身份标志识别用户类型，通过websocket机制与各终端建立通信，将文本实时传输到所有终端，将采集到的手势序列实时传输到其他的dm端。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
其中，nm端选择文本显示或者语音播报，dm端选择文本或者手势显示。更加贴近真实的沟通情景，使交谈更自然。
(3)即时消息转换及发送模块，其用于接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
在具体实施中，当发送客户端为dm端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入。能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
在另一实施例中，该方消息处理服务器还包括：
监听模块，其用于实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。
本实施例中在聋哑人跟正常人进行远程通讯的情况下，能够将手语转换为文字，把文字转换为手语，为不同类型的用户提供可选择的信息显示方式，消除了彼此之间沟通的障碍。***中的webSocket机制保证了消息能够及时传达到所有参与交流的终端用户；一定程度上减少了普通人与聋哑人沟通的成本，同时给聋哑人提供了更多与他人交流沟通的机会。
在聋哑人用手语跟正常人进行远程通讯时，尤其在多人参与的远程交谈的情况下，***实现了将手语转换为文本，并为普通用户提供语音播报功能，同时将普通用户的语音输入转换为聋哑人可以看的到的手语，并输出到显示屏。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
图4是本发明实施例中一种融合手语的即时消息处理***结构示意图。如图4所示，本发明实施例中的融合手语的即时消息处理***，包括：客户端和消息处理服务器。
客户端包括发送客户端和接收客户端。
(1)客户端，其用于将包含用户身份标识信息的用户登录信息发送至消息处理服务器。
在具体实施中，当发送客户端为dm端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入。能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
(2)消息处理服务器，其用于根据用户身份标识信息来识别客户端的用户身份；根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配。
即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
所述客户端的用户身份包括普通用户端和聋哑用户端。
发送客户端，其用于将即时消息将消息处理服务器转发至接收客户端。
消息处理服务器，其还用于根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端。
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端。通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际。
在另一实施例中，消息处理服务器，还用于实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入。
本实施例中在聋哑人跟正常人进行远程通讯的情况下，能够将手语转换为文字，把文字转换为手语，为不同类型的用户提供可选择的信息显示方式，消除了彼此之间沟通的障碍。***中的webSocket机制保证了消息能够及时传达到所有参与交流的终端用户；一定程度上减少了普通人与聋哑人沟通的成本，同时给聋哑人提供了更多与他人交流沟通的机会。
在聋哑人用手语跟正常人进行远程通讯时，尤其在多人参与的远程交谈的情况下，***实现了将手语转换为文本，并为普通用户提供语音播报功能，同时将普通用户的语音输入转换为聋哑人可以看的到的手语，并输出到显示屏。根据身份信息传输不同类型的即时消息，在满足用户需求的同时减少了带宽的浪费。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.一种融合手语的即时消息处理方法，其特征在于，该方法在消息处理服务器内完成，消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；该方法具体包括：
步骤1：接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
步骤2：根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
步骤3：接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端；
所述消息处理服务器通过websocket机制与客户端建立通信；
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端；通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际；
该方法还包括：实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入；
当发送客户端为聋哑用户端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入，能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
2.一种融合手语的即时消息处理服务器，其特征在于，所述消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；该消息处理服务器包括：
客户端的用户身份识别模块，其用于接收所有客户端传送来的包含用户身份标识信息的用户登录信息，根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
即时消息类型匹配模块，其用于根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
即时消息转换及发送模块，其用于接收发送客户端传送来的即时消息，再根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端；
所述消息处理服务器通过websocket机制与客户端建立通信；
在即时消息转换及发送模块中，当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端；通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际；
该消息处理服务器还包括：监听模块，其用于实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入；
当发送客户端为聋哑用户端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入，能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
3.一种融合手语的即时消息处理方法，其特征在于，消息处理服务器与客户端相互通信，所述客户端包括发送客户端和接收客户端；包括：
步骤1：客户端将包含用户身份标识信息的用户登录信息发送至消息处理服务器，消息处理服务器接收后根据用户身份标识信息来识别客户端的用户身份；所述客户端的用户身份包括普通用户端和聋哑用户端；
步骤2：消息处理服务器根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
步骤3：发送客户端将即时消息将消息处理服务器转发至接收客户端，消息处理服务器根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端；
所述消息处理服务器通过websocket机制与客户端建立通信；
当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端；通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际；
该方法还包括：消息处理服务器实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入；
当发送客户端为聋哑用户端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入，能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
4.一种融合手语的即时消息处理***，其特征在于，包括：
客户端，其用于将包含用户身份标识信息的用户登录信息发送至消息处理服务器；所述客户端包括发送客户端和接收客户端；
消息处理服务器，其用于根据用户身份标识信息来识别客户端的用户身份；根据客户端的用户身份，将客户端与能够接收的即时消息类型相匹配；
所述即时消息类型包括手语信息、文本信息和语音信息；普通用户端能够接收的即时消息类型为文本信息和语音信息；聋哑用户端能够接收的即时消息类型为手语信息和文本信息；
所述客户端的用户身份包括普通用户端和聋哑用户端；
发送客户端，其用于将即时消息将消息处理服务器转发至接收客户端；
消息处理服务器，其还用于根据还用于根据接收客户端的用户身份，将即时消息直接传送至接收客户端或将即时消息转换成相应接收客户端能够接收的即时消息类型后再传送至接收客户端；
所述消息处理服务器通过websocket机制与客户端建立通信；
消息处理服务器，还用于当接收发送客户端传送来的即时消息为手语信息，将接收到的对手语信息中的手势序列进行拆分组合，按照预先学习定义的手势数据库匹配手势序列，组合匹配到相对应的文本信息或语音信息，最后再传送至普通用户端；通过拆分、组合，匹配、优化不断循环的方式保证了组合出的文本最接近实际；
消息处理服务器，还用于实时监听客户端输入的语音信号，若超过设定时间间隔未输入任何信息，则视为终止输入；
当发送客户端为聋哑用户端时，使用体感控制器leapmotion采集手势数据，对一个动态连续的手势持续跟踪记录，持续设定的时间间隔内未检测到手势则结束输入，能够更好的追踪一个持续连贯的手势序列，使捕获到的原始信息尽可能准确。
CN201710025174.7A 2017-01-13 2017-01-13 一种融合手语的即时消息处理方法、服务器及*** Expired - Fee Related CN106789593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710025174.7A CN106789593B (zh) 2017-01-13 2017-01-13 一种融合手语的即时消息处理方法、服务器及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710025174.7A CN106789593B (zh) 2017-01-13 2017-01-13 一种融合手语的即时消息处理方法、服务器及***

Publications (2)

Publication Number Publication Date
CN106789593A CN106789593A (zh) 2017-05-31
CN106789593B true CN106789593B (zh) 2019-01-11

Family

ID=58946529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710025174.7A Expired - Fee Related CN106789593B (zh) 2017-01-13 2017-01-13 一种融合手语的即时消息处理方法、服务器及***

Country Status (1)

Country Link
CN (1) CN106789593B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193123A1 (de) * 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231374A (zh) * 2017-07-08 2017-10-03 长沙手之声信息科技有限公司 基于在线手语翻译的聋人远程聊天方法
RU2715286C2 (ru) * 2018-07-25 2020-02-26 федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" Система для приема и передачи информации с преобразованием информационных сигналов
RU188793U1 (ru) * 2018-07-25 2019-04-23 федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство)" Устройство для приема и передачи информации абонентов с функциональными нарушениями органов получения и формирования информационных сигналов
CN111083421A (zh) * 2018-10-19 2020-04-28 珠海金山办公软件有限公司 一种表格文档展示方法及装置
CN115118692A (zh) * 2022-06-24 2022-09-27 拉扎斯网络科技（上海）有限公司 信息处理方法、装置、***、电子设备和可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100479438C (zh) * 2005-05-20 2009-04-15 腾讯科技（深圳）有限公司 一种即时通讯服务的实现方法及其***
CN103001858B (zh) * 2012-12-14 2015-09-09 上海量明科技发展有限公司 即时通信中回复消息的方法、客户端及***
US20150347399A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
CN104980599A (zh) * 2015-06-17 2015-10-14 上海斐讯数据通信技术有限公司 一种手语语音通话方法及***
CN105868282A (zh) * 2016-03-23 2016-08-17 乐视致新电子科技（天津）有限公司 聋哑人进行信息交流的方法、装置及智能终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020193123A1 (de) * 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur bereitstellung eines sprachdialogs in gebärdensprache bei einem sprachdialog-system für ein fahrzeug

Also Published As

Publication number Publication date
CN106789593A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106789593B (zh) 一种融合手语的即时消息处理方法、服务器及***
CN104363476B (zh) 一种基于在线直播的组队活动方法、相关装置及***
EP2847932B1 (en) Method, client and server of transmitting group communication information
CN109962833B (zh) 即时通讯客户端上会话的创建方法及装置
KR101651353B1 (ko) Ｎ 스크린 기반의 화상 회의 시스템
US20100153858A1 (en) Uniform virtual environments
CN105530535A (zh) 一种多人观看视频实时互动的方法及***
CN109361527B (zh) 语音会议记录方法及***
CN112866619B (zh) 一种远程会议控制方法、装置、电子设备及存储介质
CN103929349A (zh) 一种添加即时消息联系人的方法、装置和***
US10693924B2 (en) Method and system for connecting electronic devices
CN107534679A (zh) 针对通信会话的端点控制
CN110609970B (zh) 用户身份识别方法、装置、存储介质及电子设备
CN104144108A (zh) 一种消息响应方法、装置及***
CN105429845A (zh) 一种日程信息的处理方法、***及相关设备
CN114697755A (zh) 虚拟场景信息交互方法、装置、设备以及存储介质
CN103297858A (zh) 一种智能电视用户状态显示***及方法
WO2017172655A1 (en) Analysis of a facial image to extract physical and emotional characteristics of a user
CN114979545A (zh) 多终端的通话方法和存储介质及电子设备
CN105306695B (zh) 移动终端的通信方法及移动终端
WO2019023974A1 (zh) 多主题对话的通信控制装置和方法、及计算机处理设备
CN106034157A (zh) 数据交换中传输http协议的方法、服务器及存储设备
CN114222190A (zh) 远程控制处理、响应方法及其装置、设备、介质、产品
CN203984568U (zh) 一种可由点对点呼叫转三方会议的视频会议***
CN113766165A (zh) 实现无障碍视频聊天的交互方式、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190111

Termination date: 20220113

CF01 Termination of patent right due to non-payment of annual fee