CN107566863A - 一种交流信息展示方法、装置及设备、机顶盒 - Google Patents

Abstract

本发明实施例提供了一种交流信息展示方法、装置及设备、机顶盒，该方法包括：采集通过第一展示方式展示的第一交流信息；解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；通过第二展示方式展示第二交流信息。本发明实施例可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。

Description

一种交流信息展示方法、装置及设备、机顶盒

技术领域

本发明涉及用户交流领域，尤其涉及一种交流信息展示方法、装置及设备、机顶盒。

背景技术

为了便于正常用户与语言障碍用户的交流，出现了手语，但是这种方式要求正常用户与语言障碍用户了解较多的知识，降低了用户体验。

因此，现有的手语翻译，大部分是通过第三方翻译员翻译的，就算在看电视的时候也是第三方翻译好编码成视频传送给终端用户，在实际应用中，除非有大的突发新闻或重大直播，才会有手语翻译员进行翻译，而普通的电视节目是没有翻译的，这就造成了听力语言障碍者不能随心所欲的观看想要看的节目。

发明内容

本发明实施例提供了一种交流信息展示方法、装置及设备、机顶盒，以方便正常用户与语言障碍用户的日常交流。

一方面，提供了一种交流信息展示方法，包括：

采集通过第一展示方式展示的第一交流信息；

解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；

通过第二展示方式展示第二交流信息。

一方面，提供了一种交流信息展示装置，包括：

采集模块，用于采集通过第一展示方式展示的第一交流信息；

处理模块，用于解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；

展示模块，用于通过第二展示方式展示第二交流信息。

另一方面，提供了一种交流信息展示设备，包括：交互模块及处理器，其中，

交互模块用于采集通过第一展示方式展示的第一交流信息，并输出至处理器，还用于通过第二展示方式展示处理器返回的第二交流信息；

处理器用于解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，并传输至交互模块。

另一方面，提供了一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，

语音模块用于获取音频数据，对音频数据进行识别处理修正后识别为语义；

手语转换模块用于根据语义，在手语数据库中匹配音频数据对应的待输出的手语；

显示模块用于显示待输出的手语。

另一方面，提供了一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于执行前述的交流信息展示方法。

本发明实施例的有益效果：

本发明实施例提供了一种交流信息展示方法，采集通过第一展示方式展示的第一交流信息，解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，通过第二展示方式展示第二交流信息；可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。

附图说明

图1为本发明第一实施例提供的交流信息展示方法的流程图；

图2为本发明第三实施例提供的交流信息展示设备的结构示意图；

图3是本发明第五实施例涉及的机顶盒的简单结构示意图；

图4是本发明第五实施例涉及的手语到语音的转换流程图；

图5是本发明第五实施例涉及的用户语音到手语的转换流程图；

图6是本发明第五实施例涉及的电视节目语音到手语的转换流程图；

图7是本发明第五实施例涉及的机顶盒的具体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明中一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

第一实施例：

图1为本发明第一实施例提供的交流信息展示方法的流程图，由图1可知，本实施例提供的交流信息展示方法包括：

S101：采集通过第一展示方式展示的第一交流信息；

S102：解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；

S103：通过第二展示方式展示第二交流信息。

在一些实施例中，上述实施例中的第一展示方式包括语音方式，第二展示方式包括画面方式；

采集通过第一展示方式展示的第一交流信息包括：通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息；

通过第二展示方式展示第二交流信息包括：在画面上以字幕形式和/或手势形式，展示第二交流信息。

在一些实施例中，上述实施例中的交流信息展示方法还包括：若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。

在一些实施例中，上述实施例中的交流信息展示方法还包括：根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。

在一些实施例中，上述实施例中的第一展示方式包括画面方式，第二展示方式包括语音方式；

采集通过第一展示方式展示的第一交流信息包括：通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；

通过第二展示方式展示第二交流信息包括：使用扬声器，通过模拟语音方式，展示第二交流信息。

第二实施例：

本实施例提供的交流信息展示装置包括：

采集模块，用于采集通过第一展示方式展示的第一交流信息；

处理模块，用于解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；

展示模块，用于通过第二展示方式展示第二交流信息。

在一些实施例中，第一展示方式包括语音方式，第二展示方式包括画面方式；上述实施例中的采集模块用于通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息；上述实施例中的展示模块用于在画面上以字幕形式和/或手势形式，展示第二交流信息。

在一些实施例中，上述实施例中的展示模块还用于若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。

在一些实施例中，上述实施例中的展示模块还用于根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。

在一些实施例中，第一展示方式包括画面方式，第二展示方式包括语音方式；上述实施例中的采集模块用于通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；展示模块用于使用扬声器，通过模拟语音方式，展示第二交流信息。

第三实施例：

图2为本发明第三实施例提供的交流信息展示设备的结构示意图，由图2可知，本实施例提供的交流信息展示设备包括：交互模块21及处理器22，其中，

交互模块21用于采集通过第一展示方式展示的第一交流信息，并输出至处理器，还用于通过第二展示方式展示处理器返回的第二交流信息；

处理器22用于解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，并传输至交互模块。

在一些实施例中，第一展示方式包括语音方式，第二展示方式包括画面方式；上述实施例中的交互模块21用于通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息还用于在画面上以字幕形式和/或手势形式，展示第二交流信息。

在一些实施例中，上述实施例中的交互模块21还用于若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。

在一些实施例中，上述实施例中的交互模块21还用于根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。

在一些实施例中，第一展示方式包括画面方式，第二展示方式包括语音方式；上述实施例中的交互模块21用于通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；还用于使用扬声器，通过模拟语音方式，展示第二交流信息。

第四实施例：

本实施例提供了一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，

语音模块用于获取音频数据，对音频数据进行识别处理修正后识别为语义；

手语转换模块用于根据语义，在手语数据库中匹配音频数据对应的待输出的手语；

显示模块用于显示待输出的手语。

在一些实施例中，上述实施例中的显示模块还用于显示音频数据的语义，供用户确认是否是正常用户想表达的内容。

在一些实施例中，上述实施例中的语音模块用于分别获取直播电视节目的音频数据和正常人通过麦克风发出的音频数据。

在一些实施例中，上述实施例中的机顶盒还包括图像模块；

图像模块用于采用用户的手势姿势，对手势姿势进行校对修正处理后，传输至手语转换模块；

手语转换模块用于根据处理后的手势姿势，在手语数据库中匹配对应的待输出的语义；

显示模块用于显示待输出的语义。

在一些实施例中，上述实施例中的显示模块还用于显示与采集到的用户手势姿势对应的标准手势姿势，供用户学习。

在实际应用中，上述实施例涉及的所有功能模块都可以由烧入有特定软件程序的可编辑逻辑器件实现，可以有处理器与存储器相互配合实现。

第五实施例：

现结合具体应用场景对本发明做进一步的诠释说明。

本实施例为了使听力语言障碍者更方便的看电视、为了解决正常人和听力语言障碍者的沟通问题、为了增加特殊群体的幸福感和满意度、为了给客户提供更满意的体验，提供一种在机顶盒上进行手语和字幕相互转换的方案。

本实施例提供的在机顶盒上进行手语和字幕相互转换的实现方法包括：

步骤A：在播放电视节目的时候去获取直播节目音频通道数据，将数据传给语音识别模块。

步骤B：语音识别模块进行分析转换成字幕后再去匹配手语库，输出字幕或手语给用户。

步骤C：正常人讲话的时候通过机顶盒的语音接收模块把内容传输给语音识别模块，走第二路音频通道，语音识别模块进行数据分析处理后把语音转换成字幕，同时匹配手语库图片或动画。

步骤D：同时展示语音和字幕给听力语言障碍者，当听力语言障碍者看到字幕或手语的时候，如果做出回应，则通过机顶盒的图像接收模块把内容传输给图像识别模块。

步骤E：图像识别模块进行数据分析处理后跟手语文字库对比，然后转换成字幕，展示给正常人。

步骤F：用户交流通道和视频播放通道是两个独立展示的通道，展示在不同的位置，哪个通道展示处于相对主动，完全是根据不同场景确定的。如果用户交流频繁的时候，手语和字幕的展示要放大，否则电视节目所在的字幕要放大。

在本实施例中，机顶盒包括：语音获取模块、语音识别模块、语音转换模块、手语匹配模块、显示模块、图像识别模块、图像转换模块、中央控制模块。其中，

语音获取模块：机顶盒音频是分多路，语音获取模块能分别获取到直播电视节目的音频数据和正常人通过麦克风发出的音频数据。

语音识别模块：对音频数据进行识别处理修正，识别成中文。

语音转换模块：结合语音识别模块，把中文数据转换成对应的字幕数据，同时结合手语匹配模块，输出对应的手语信息。

显示模块：在屏幕上显示字幕信息和手语信息。

图像识别模块：获取听力语言障碍者的手势姿势，分析手势姿势。

图像转换模块：结合图像识别模块，跟手语文字库进行对比，对手势姿势进行校对修正处理，然后输出文字字幕信息。

手语匹配模块：该模块由手语图片动画、手语文字库组合，有本地和网络两种。

中央控制模块：该模块对各个流程统一逻辑处理，负责字幕和手语主次显示的算法。

与现有方案相比，本实施例提供的机顶盒多了互动这一特征，同时这个展示跟正常播放电视节目是不冲突的，我们设计的时候是分成两路进行的，一路专门输出这个交互过程，一路传输电视节目，电视节目的声音同样是语音识别以后转换成字幕传输给用户，两路传输可以实现无缝主次切换，极大了提高了听力语言障碍者的方便度。

下面结合图3-图7，对本发明字幕手语相互转换的实现方法进一步说明。

如图3所示：

本实施例提供的机顶盒主要包括：语音识别模块302、图像识别模块304、显示模块310以及中央处理模块311。当正常人聊天说话的时候，声音从301传到语音识别模块302，同时RF306ts流传输到TUNER307再传输到解复用器308，同样解复用获取到音频数据以后把数据传送给302，语音识别模块302对音频数据作分析处理后校对修正语义然后转化成文字传给字幕303模块，同时转成手语309，把303和309都输出到显示模块310；同样听力语言障碍者发出手语305，然后经图像识别模块304转成字幕303，传送到显示模块310，整个过程中，中央处理模块311控制语音和图像识别模块，以及显示模块，使得转换后的显示区域不同，这样用户很好的就实现了互动沟通。

如图4所示：

本实施例提供的转换方法包括：

听力语言障碍者发出手语姿势S401，经摄像头采集手语姿势图像S402，将图像传给机顶盒S403，机顶盒识别图像S404，识别以后跟本地手语库进行比较S405，匹配对应手语姿势对应的词条，如果没有匹配到，则去网络手语库中匹配，如果匹配到了则输出字幕到字幕缓冲区S407，然后在显存上显示出来，正常人就可以观看到了。

如图5所示：

本实施例提供的转换方法包括：

正常人发出声音S501，通过麦克风或其他录音设备采集到声音S502，将声音传给机顶盒S503，机顶盒进行语音识别，这个时候要判断这路声音所在的通道是ts流通道的还是录音设备传过来的，如果是录音设备传过来的，则跟本地文字库比较S506，匹配对应人声词条S507，如果没有匹配到，则去网络手语库中匹配S509，如果匹配到了则输出字幕到字幕缓冲区S508，同时需要匹配手语库S510，输出手语图像和字幕信息到显存S511，这样听力语言障碍者就可以观看到了S512。

如图6所示：

本实施例提供的转换方法包括：

如果语音识别器处理的是ts流音频通道的数据，先进行语义校对修正S604，匹配对应人声词条S605，如果没有匹配到，则去网络手语库中匹配S607，如果匹配到了则输出字幕到字幕缓冲区S606，同时需要匹配手语库S608，输出手语图像和字幕信息到显存S609，这样听力语言障碍者就可以观看到了S610。

如图7所示：

本实施例实现了两路声音和字幕处理的兼容，具体为：ts流声音701是经过音频通道1(704)传输到语音识别器的，正常人的声音702，是通过音频通道2(705)传送到语音识别器的，然后语音识别器分别识别707，然后分两个图层显示出来，图层通道2显示的是ts流声音对应的文字和手语信息，图层通道1对应的是正常人的声音转化的结果信息，手语图像703经过专用编解码通道706后进行图像识别708，然后转化给图层通道3(711)，最后709、710、711按照优先级显示712，这三个信息显示的位置是不同的，每个位置会说明是哪方表达的意思，并且各自的透明度、字体大小、手语大小都是可以调节的，比如用户交流频繁的时候，对应的710和711的字体会相对放大点，让用户更把精力集中在聊天，当交流很少的时候，709字体会稍微放大，让听力语言障碍者更专注的欣赏电视节目。

综上可知，通过本发明实施例的实施，至少存在以下有益效果：

本发明实施例提供了一种交流信息展示方法，采集通过第一展示方式展示的第一交流信息，解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，通过第二展示方式展示第二交流信息；可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims (16)

1.一种交流信息展示方法，包括：

采集通过第一展示方式展示的第一交流信息；

解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息；

通过第二展示方式展示所述第二交流信息。

2.如权利要求1所述的交流信息展示方法，其特征在于，所述第一展示方式包括语音方式，所述第二展示方式包括画面方式；

所述采集通过第一展示方式展示的第一交流信息包括：通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取所述第一交流信息；

所述通过第二展示方式展示所述第二交流信息包括：在画面上以字幕形式和/或手势形式，展示所述第二交流信息。

3.如权利要求2所述的交流信息展示方法，其特征在于，还包括：若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。

4.如权利要求3所述的交流信息展示方法，其特征在于，还包括：根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。

5.如权利要求1至4任一项所述的交流信息展示方法，其特征在于，所述第一展示方式包括画面方式，所述第二展示方式包括语音方式；

所述采集通过第一展示方式展示的第一交流信息包括：通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取所述第一交流信息；

所述通过第二展示方式展示所述第二交流信息包括：使用扬声器，通过模拟语音方式，展示所述第二交流信息。

6.一种交流信息展示装置，包括：

采集模块，用于采集通过第一展示方式展示的第一交流信息；

处理模块，用于解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息；

展示模块，用于通过第二展示方式展示所述第二交流信息。

7.如权利要求6所述的交流信息展示装置，其特征在于，所述第一展示方式包括语音方式，所述第二展示方式包括画面方式；所述采集模块用于通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取所述第一交流信息；所述展示模块用于在画面上以字幕形式和/或手势形式，展示所述第二交流信息。

8.如权利要求7所述的交流信息展示装置，其特征在于，所述展示模块还用于若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。

9.如权利要求8所述的交流信息展示装置，其特征在于，所述展示模块还用于根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。

10.如权利要求6至9任一项所述的交流信息展示装置，其特征在于，所述第一展示方式包括画面方式，所述第二展示方式包括语音方式；所述采集模块用于通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取所述第一交流信息；所述展示模块用于使用扬声器，通过模拟语音方式，展示所述第二交流信息。

11.一种交流信息展示设备，包括：交互模块及处理器，其中，

所述交互模块用于采集通过第一展示方式展示的第一交流信息，并输出至所述处理器，还用于通过第二展示方式展示所述处理器返回的第二交流信息；

所述处理器用于解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息，并传输至所述交互模块。

12.一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，

所述语音模块用于获取音频数据，对所述音频数据进行识别处理修正后识别为语义；

所述手语转换模块用于根据所述语义，在所述手语数据库中匹配所述音频数据对应的待输出的手语；

所述显示模块用于显示所述待输出的手语。

13.如权利要求12所述的机顶盒，其特征在于，所述显示模块还用于显示所述音频数据的语义。

14.如权利要求12所述的机顶盒，其特征在于，所述语音模块用于分别获取直播电视节目的音频数据和正常人通过麦克风发出的音频数据。

15.如权利要求12至14任一项所述的机顶盒，其特征在于，还包括图像模块；

所述图像模块用于采用用户的手势姿势，对所述手势姿势进行校对修正处理后，传输至所述手语转换模块；

所述手语转换模块用于根据处理后的手势姿势，在所述手语数据库中匹配对应的待输出的语义；

所述显示模块用于显示所述待输出的语义。

16.如权利要求15所述的机顶盒，其特征在于，所述显示模块还用于显示与采集到的用户手势姿势对应的标准手势姿势。