WO2018001088A1 - 一种交流信息展示方法、装置及设备、机顶盒 - Google Patents

一种交流信息展示方法、装置及设备、机顶盒 Download PDF

Info

Publication number
WO2018001088A1
WO2018001088A1 PCT/CN2017/088109 CN2017088109W WO2018001088A1 WO 2018001088 A1 WO2018001088 A1 WO 2018001088A1 CN 2017088109 W CN2017088109 W CN 2017088109W WO 2018001088 A1 WO2018001088 A1 WO 2018001088A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
exchange information
module
information
voice
Prior art date
Application number
PCT/CN2017/088109
Other languages
English (en)
French (fr)
Inventor
李晓君
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2018001088A1 publication Critical patent/WO2018001088A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • the embodiment of the invention provides a method, a device and a device for displaying exchange information, and a set top box, so as to facilitate daily communication between a normal user and a language disabled user.
  • a set top box including: a sign language database, an interconnected voice module, a sign language conversion module, and a display module, wherein
  • the voice module is configured to acquire audio data, and the audio data is identified and processed and corrected to be semantically;
  • the method for displaying the exchange information in the foregoing embodiment further includes: if the plurality of first exchange information are separately collected through the two paths and the above, respectively, respectively, Second exchange of information.
  • the sign language conversion module is configured to match the corresponding semantics to be output in the sign language database according to the processed gesture posture;
  • the display module in the above embodiment is further configured to display a standard gesture gesture corresponding to the collected user gesture gesture for the user to learn.
  • the speech recognition module 302 analyzes the audio data, corrects the semantics and then converts the text into a subtitle 303 module, and converts it into a sign language 309, and outputs 303 and 309 to the display module 310;
  • the sign language 305 is then converted into the subtitle 303 by the image recognition module 304 and transmitted to the display module 310.
  • the central processing module 311 controls the voice and image recognition module, and the display module, so that the converted display area is different, so that the user is very Good to achieve interactive communication.
  • the last 709, 710, 711 display 712 according to the priority, the positions of the three information display are different, each position indicates the meaning of which party is expressed, and the respective transparency, font size, and sign language size are It can be adjusted. For example, when the user communicates frequently, the corresponding fonts of 710 and 711 will be relatively enlarged, allowing the user to concentrate on chatting. When there is little communication, the 709 font will be slightly enlarged to make the hearing language disorder. More focused on watching TV shows.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种交流信息展示方法、装置及设备、机顶盒，该方法包括：采集通过第一展示方式展示的第一交流信息；解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；通过第二展示方式展示第二交流信息。本发明实施例可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。

Description

一种交流信息展示方法、装置及设备、机顶盒 技术领域
本发明涉及用户交流领域，尤其涉及一种交流信息展示方法、装置及设备、机顶盒。
背景技术
为了便于正常用户与语言障碍用户的交流，出现了手语，但是这种方式要求正常用户与语言障碍用户了解较多的知识，降低了用户体验。
因此，现有的手语翻译，大部分是通过第三方翻译员翻译的，就算在看电视的时候也是第三方翻译好编码成视频传送给终端用户，在实际应用中，除非有大的突发新闻或重大直播，才会有手语翻译员进行翻译，而普通的电视节目是没有翻译的，这就造成了听力语言障碍者不能随心所欲的观看想要看的节目。
发明内容
本发明实施例提供了一种交流信息展示方法、装置及设备、机顶盒，以方便正常用户与语言障碍用户的日常交流。
一方面，提供了一种交流信息展示方法，包括：
采集通过第一展示方式展示的第一交流信息；
解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；
通过第二展示方式展示第二交流信息。
一方面，提供了一种交流信息展示装置，包括：
采集模块，设置为采集通过第一展示方式展示的第一交流信息；
处理模块，设置为解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；
展示模块，设置为通过第二展示方式展示第二交流信息。
另一方面，提供了一种交流信息展示设备，包括：交互模块及处理器，其中，
交互模块设置为采集通过第一展示方式展示的第一交流信息，并输出至处理器，还设置为通过第二展示方式展示处理器返回的第二交流信息；
处理器设置为解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，并传输至交互模块。
另一方面，提供了一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，
语音模块设置为获取音频数据，对音频数据进行识别处理修正后识别为语义；
手语转换模块设置为根据语义，在手语数据库中匹配音频数据对应的待输出的手语；
显示模块设置为显示待输出的手语。
另一方面，提供了一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令设置为执行前述的交流信息展示方法。
本发明实施例的有益效果：
本发明实施例提供了一种交流信息展示方法，采集通过第一展示方式展示的第一交流信息，解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，通过第二展示方式展示第二交流信息；可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常 用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。
附图说明
图1为本发明第一实施例提供的交流信息展示方法的流程图；
图2为本发明第三实施例提供的交流信息展示设备的结构示意图；
图3是本发明第五实施例涉及的机顶盒的简单结构示意图；
图4是本发明第五实施例涉及的手语到语音的转换流程图；
图5是本发明第五实施例涉及的用户语音到手语的转换流程图；
图6是本发明第五实施例涉及的电视节目语音到手语的转换流程图；
图7是本发明第五实施例涉及的机顶盒的具体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明中一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。
第一实施例：
图1为本发明第一实施例提供的交流信息展示方法的流程图，由图1可知，本实施例提供的交流信息展示方法包括：
S101：采集通过第一展示方式展示的第一交流信息；
S102：解析第一交流信息，获取第一交流信息对应的数据内容，获取 与数据内容对应的第二交流信息；
S103：通过第二展示方式展示第二交流信息。
在一些实施例中，上述实施例中的第一展示方式包括语音方式，第二展示方式包括画面方式；
采集通过第一展示方式展示的第一交流信息包括：通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息；
通过第二展示方式展示第二交流信息包括：在画面上以字幕形式和/或手势形式，展示第二交流信息。
在一些实施例中，上述实施例中的交流信息展示方法还包括：若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。
在一些实施例中，上述实施例中的交流信息展示方法还包括：根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。
在一些实施例中，上述实施例中的第一展示方式包括画面方式，第二展示方式包括语音方式；
采集通过第一展示方式展示的第一交流信息包括：通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；
通过第二展示方式展示第二交流信息包括：使用扬声器，通过模拟语音方式，展示第二交流信息。
第二实施例：
本实施例提供的交流信息展示装置包括：
采集模块，设置为采集通过第一展示方式展示的第一交流信息；
处理模块，设置为解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息；
展示模块，设置为通过第二展示方式展示第二交流信息。
在一些实施例中，第一展示方式包括语音方式，第二展示方式包括画面方式；上述实施例中的采集模块设置为通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息；上述实施例中的展示模块设置为在画面上以字幕形式和/或手势形式，展示第二交流信息。
在一些实施例中，上述实施例中的展示模块还设置为若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。
在一些实施例中，上述实施例中的展示模块还设置为根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。
在一些实施例中，第一展示方式包括画面方式，第二展示方式包括语音方式；上述实施例中的采集模块设置为通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；展示模块设置为使用扬声器，通过模拟语音方式，展示第二交流信息。
第三实施例：
图2为本发明第三实施例提供的交流信息展示设备的结构示意图，由图2可知，本实施例提供的交流信息展示设备包括：交互模块21及处理器22，其中，
交互模块21设置为采集通过第一展示方式展示的第一交流信息，并输出至处理器，还设置为通过第二展示方式展示处理器返回的第二交流信息；
处理器22设置为解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，并传输至交互模块。
在一些实施例中，第一展示方式包括语音方式，第二展示方式包括画面方式；上述实施例中的交互模块21设置为通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取第一交流信息还设置为在画 面上以字幕形式和/或手势形式，展示第二交流信息。
在一些实施例中，上述实施例中的交互模块21还设置为若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。
在一些实施例中，上述实施例中的交互模块21还设置为根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。
在一些实施例中，第一展示方式包括画面方式，第二展示方式包括语音方式；上述实施例中的交互模块21设置为通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取第一交流信息；还设置为使用扬声器，通过模拟语音方式，展示第二交流信息。
第四实施例：
本实施例提供了一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，
语音模块设置为获取音频数据，对音频数据进行识别处理修正后识别为语义；
手语转换模块设置为根据语义，在手语数据库中匹配音频数据对应的待输出的手语；
显示模块设置为显示待输出的手语。
在一些实施例中，上述实施例中的显示模块还设置为显示音频数据的语义，供用户确认是否是正常用户想表达的内容。
在一些实施例中，上述实施例中的语音模块设置为分别获取直播电视节目的音频数据和正常人通过麦克风发出的音频数据。
在一些实施例中，上述实施例中的机顶盒还包括图像模块；
图像模块设置为采用用户的手势姿势，对手势姿势进行校对修正处理后，传输至手语转换模块；
手语转换模块设置为根据处理后的手势姿势，在手语数据库中匹配对应的待输出的语义；
显示模块设置为显示待输出的语义。
在一些实施例中，上述实施例中的显示模块还设置为显示与采集到的用户手势姿势对应的标准手势姿势，供用户学习。
在实际应用中，上述实施例涉及的所有功能模块都可以由烧入有特定软件程序的可编辑逻辑器件实现，可以有处理器与存储器相互配合实现。
第五实施例：
现结合具体应用场景对本发明做进一步的诠释说明。
本实施例为了使听力语言障碍者更方便的看电视、为了解决正常人和听力语言障碍者的沟通问题、为了增加特殊群体的幸福感和满意度、为了给客户提供更满意的体验，提供一种在机顶盒上进行手语和字幕相互转换的方案。
本实施例提供的在机顶盒上进行手语和字幕相互转换的实现方法包括：
步骤A：在播放电视节目的时候去获取直播节目音频通道数据，将数据传给语音识别模块。
步骤B：语音识别模块进行分析转换成字幕后再去匹配手语库，输出字幕或手语给用户。
步骤C：正常人讲话的时候通过机顶盒的语音接收模块把内容传输给语音识别模块，走第二路音频通道，语音识别模块进行数据分析处理后把语音转换成字幕，同时匹配手语库图片或动画。
步骤D：同时展示语音和字幕给听力语言障碍者，当听力语言障碍者看到字幕或手语的时候，如果做出回应，则通过机顶盒的图像接收模块把内容传输给图像识别模块。
步骤E：图像识别模块进行数据分析处理后跟手语文字库对比，然后 转换成字幕，展示给正常人。
步骤F：用户交流通道和视频播放通道是两个独立展示的通道，展示在不同的位置，哪个通道展示处于相对主动，完全是根据不同场景确定的。如果用户交流频繁的时候，手语和字幕的展示要放大，否则电视节目所在的字幕要放大。
在本实施例中，机顶盒包括：语音获取模块、语音识别模块、语音转换模块、手语匹配模块、显示模块、图像识别模块、图像转换模块、中央控制模块。其中，
语音获取模块：机顶盒音频是分多路，语音获取模块能分别获取到直播电视节目的音频数据和正常人通过麦克风发出的音频数据。
语音识别模块：对音频数据进行识别处理修正，识别成中文。
语音转换模块：结合语音识别模块，把中文数据转换成对应的字幕数据，同时结合手语匹配模块，输出对应的手语信息。
显示模块：在屏幕上显示字幕信息和手语信息。
图像识别模块：获取听力语言障碍者的手势姿势，分析手势姿势。
图像转换模块：结合图像识别模块，跟手语文字库进行对比，对手势姿势进行校对修正处理，然后输出文字字幕信息。
手语匹配模块：该模块由手语图片动画、手语文字库组合，有本地和网络两种。
中央控制模块：该模块对各个流程统一逻辑处理，负责字幕和手语主次显示的算法。
与现有方案相比，本实施例提供的机顶盒多了互动这一特征，同时这个展示跟正常播放电视节目是不冲突的，我们设计的时候是分成两路进行的，一路专门输出这个交互过程，一路传输电视节目，电视节目的声音同样是语音识别以后转换成字幕传输给用户，两路传输可以实现无缝主次切换，极大了提高了听力语言障碍者的方便度。
下面结合图3-图7，对本发明字幕手语相互转换的实现方法进一步说明。
如图3所示：
本实施例提供的机顶盒主要包括：语音识别模块302、图像识别模块304、显示模块310以及中央处理模块311。当正常人聊天说话的时候，声音从301传到语音识别模块302，同时RF306ts流传输到调谐器(TUNER)307再传输到解复用器308，同样解复用获取到音频数据以后把数据传送给302，语音识别模块302对音频数据作分析处理后校对修正语义然后转化成文字传给字幕303模块，同时转成手语309，把303和309都输出到显示模块310；同样听力语言障碍者发出手语305，然后经图像识别模块304转成字幕303，传送到显示模块310，整个过程中，中央处理模块311控制语音和图像识别模块，以及显示模块，使得转换后的显示区域不同，这样用户很好的就实现了互动沟通。
如图4所示：
本实施例提供的转换方法包括：
听力语言障碍者发出手语姿势S401，经摄像头采集手语姿势图像S402，将图像传给机顶盒S403，机顶盒识别图像S404，识别以后跟本地手语库进行比较S405，匹配对应手语姿势对应的词条S406，如果没有匹配到，则去网络手语库中匹配S408，如果匹配到了则输出字幕到字幕缓冲区S407，然后在显存上显示出来，正常人就可以观看到了S409。
如图5所示：
本实施例提供的转换方法包括：
正常人发出声音S501，通过麦克风或其他录音设备采集到声音S502，将声音传给机顶盒S503，机顶盒进行语音识别S504，这个时候要判断这路声音所在的通道是ts流通道的还是录音设备传过来的S505，如果是录音设备传过来的，则跟本地文字库比较S506，匹配对应人声词条S507，如果没有匹配到，则去网络手语库中匹配S509，如果匹配到了则输出字 幕到字幕缓冲区S508，同时需要匹配手语库S510，输出手语图像和字幕信息到显存S511，这样听力语言障碍者就可以观看到了S512。
如图6所示：
本实施例提供的转换方法包括：
是否是ts流声音S601，如果语音识别器处理的是ts流音频通道的数据，获取音频数据S602，输入语音识别S603，，进行语义校对修正S604，是否匹配到对应人声词条S605，如果没有匹配到，则去网络手语库中匹配S607，如果匹配到了则输出字幕到字幕缓冲区S606，同时需要匹配手语库S608，输出手语图像和字幕信息到显存S609，这样听力语言障碍者就可以观看到了S610。
如图7所示：
本实施例实现了两路声音和字幕处理的兼容，具体为：ts流声音701是经过音频通道1(704)传输到语音识别器的，正常人的声音702，是通过音频通道2(705)传送到语音识别器的，然后语音识别器分别识别707，然后分两个图层显示出来，图层通道2显示的是ts流声音对应的文字和手语信息，图层通道1对应的是正常人的声音转化的结果信息，手语图像703经过专用编解码通道706后进行图像识别708，然后转化给图层通道3
(711)，最后709、710、711按照优先级显示712，这三个信息显示的位置是不同的，每个位置会说明是哪方表达的意思，并且各自的透明度、字体大小、手语大小都是可以调节的，比如用户交流频繁的时候，对应的710和711的字体会相对放大点，让用户更把精力集中在聊天，当交流很少的时候，709字体会稍微放大，让听力语言障碍者更专注的欣赏电视节目。
综上可知，通过本发明实施例的实施，至少存在以下有益效果：
本发明实施例提供了一种交流信息展示方法，采集通过第一展示方式展示的第一交流信息，解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，通过第二展示方式展示第二 交流信息；可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
第六实施例：
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
工业实用性
基于本发明实施例提供的上述交流信息展示方法，采集通过第一展示方式展示的第一交流信息，解析第一交流信息，获取第一交流信息对应的数据内容，获取与数据内容对应的第二交流信息，通过第二展示方式展示第二交流信息；可以实现将数据在任意不同的展示方式之间进行转换，便于不同需求人群进行交流，如可以为正常用户选择语音展示方式，为语言障碍用户选择手语展示方式，这样，不同用户仅需要将需要交流的内容以其常用的方式展示出来，通过基于数据内容的转换，就可以让交流双方了解对方意图，进行便捷交流，增强了用户的使用体验。

Claims (18)

  1. 一种交流信息展示方法，包括：
    采集通过第一展示方式展示的第一交流信息；
    解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息；
    通过第二展示方式展示所述第二交流信息。
  2. 如权利要求1所述的交流信息展示方法，其中，所述第一展示方式包括语音方式，所述第二展示方式包括画面方式；
    所述采集通过第一展示方式展示的第一交流信息包括：通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取所述第一交流信息；
    所述通过第二展示方式展示所述第二交流信息包括：在画面上以字幕形式和/或手势形式，展示所述第二交流信息。
  3. 如权利要求2所述的交流信息展示方法，其中，还包括：若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。
  4. 如权利要求3所述的交流信息展示方法，其中，还包括：根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。
  5. 如权利要求1至4任一项所述的交流信息展示方法，其中，所述第一展示方式包括画面方式，所述第二展示方式包括语音方式；
    所述采集通过第一展示方式展示的第一交流信息包括：通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取所述第一交流信息；
    所述通过第二展示方式展示所述第二交流信息包括：使用扬声器，通过模拟语音方式，展示所述第二交流信息。
  6. 一种交流信息展示装置，包括：
    采集模块，设置为采集通过第一展示方式展示的第一交流信息；
    处理模块，设置为解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息；
    展示模块，设置为通过第二展示方式展示所述第二交流信息。
  7. 如权利要求6所述的交流信息展示装置，其中，所述第一展示方式包括语音方式，所述第二展示方式包括画面方式；所述采集模块设置为通过语音识别设备采集外界语音，和/或，通过对音频信道进行采集，获取所述第一交流信息；所述展示模块设置为在画面上以字幕形式和/或手势形式，展示所述第二交流信息。
  8. 如权利要求7所述的交流信息展示装置，其中，所述展示模块还设置为若通过两种及以上路径分别采集到多种第一交流信息，则通过多个画面分别展示各第一交流信息分别对应的第二交流信息。
  9. 如权利要求8所述的交流信息展示装置，其中，所述展示模块还设置为根据各第一交流信息的重要程度，确定展示各第一交流信息分别对应的第二交流信息的画面位置。
  10. 如权利要求6至9任一项所述的交流信息展示装置，其中，所述第一展示方式包括画面方式，所述第二展示方式包括语音方式；所述采集模块设置为通过图像识别发送采集外界手势和/或文字，和/或，通过对图像信道进行采集，获取所述第一交流信息；所述展示模块设置为使用扬声器，通过模拟语音方式，展示所述第二交流信息。
  11. 一种交流信息展示设备，包括：交互模块及处理器，其中，
    所述交互模块设置为采集通过第一展示方式展示的第一交流信息，并输出至所述处理器，还设置为通过第二展示方式展示所述处理器返回的第二交流信息；
    所述处理器设置为解析所述第一交流信息，获取所述第一交流信息对应的数据内容，获取与所述数据内容对应的第二交流信息，并传输至所述交互模块。
  12. 一种机顶盒，包括：手语数据库、相互连接的语音模块、手语转换模块及显示模块，其中，
    所述语音模块设置为获取音频数据，对所述音频数据进行识别处理修正后识别为语义；
    所述手语转换模块设置为根据所述语义，在所述手语数据库中匹配所述音频数据对应的待输出的手语；
    所述显示模块设置为显示所述待输出的手语。
  13. 如权利要求12所述的机顶盒，其中，所述显示模块还设置为显示所述音频数据的语义。
  14. 如权利要求12所述的机顶盒，其中，所述语音模块设置为分别获取直播电视节目的音频数据和正常人通过麦克风发出的音频数据。
  15. 如权利要求12至14任一项所述的机顶盒，其中，还包括图像模块；
    所述图像模块设置为采用用户的手势姿势，对所述手势姿势进行校对修正处理后，传输至所述手语转换模块；
    所述手语转换模块设置为根据处理后的手势姿势，在所述手语数据库中匹配对应的待输出的语义；
    所述显示模块设置为显示所述待输出的语义。
  16. 如权利要求15所述的机顶盒，其中，所述显示模块还设置为显示与采集到的用户手势姿势对应的标准手势姿势。
  17. 一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。
  18. 一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任一项所述的方法。
PCT/CN2017/088109 2016-06-30 2017-06-13 一种交流信息展示方法、装置及设备、机顶盒 WO2018001088A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610512638.2 2016-06-30
CN201610512638.2A CN107566863A (zh) 2016-06-30 2016-06-30 一种交流信息展示方法、装置及设备、机顶盒

Publications (1)

Publication Number Publication Date
WO2018001088A1 true WO2018001088A1 (zh) 2018-01-04

Family

ID=60785795

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/088109 WO2018001088A1 (zh) 2016-06-30 2017-06-13 一种交流信息展示方法、装置及设备、机顶盒

Country Status (2)

Country Link
CN (1) CN107566863A (zh)
WO (1) WO2018001088A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121097A (zh) * 2019-05-13 2019-08-13 深圳市亿联智能有限公司 具有无障碍功能的多媒体播放装置及方法
CN111327961A (zh) * 2020-03-30 2020-06-23 上海句石智能科技有限公司 一种视频字幕切换方法及***
CN113076967B (zh) * 2020-12-08 2022-09-23 无锡乐骐科技股份有限公司 一种基于图像和音频的乐谱双重识别***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
CN101502094A (zh) * 2006-06-15 2009-08-05 威瑞森数据服务公司 用于手语图形解释器的方法和***
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译***及手语语音互译方法
CN101594434A (zh) * 2009-06-16 2009-12-02 中兴通讯股份有限公司 移动终端的手语处理方法和手语处理移动终端
CN202652435U (zh) * 2012-06-29 2013-01-02 广西工学院 一种自动生成字幕的数字电视机顶盒
CN102984496A (zh) * 2012-12-21 2013-03-20 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及***
CN106254960A (zh) * 2016-08-30 2016-12-21 福州瑞芯微电子股份有限公司 一种用于沟通障碍的视频通话方法和***
CN106713974A (zh) * 2015-11-12 2017-05-24 中兴通讯股份有限公司 数据转换方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139138A (ja) * 2004-11-12 2006-06-01 Matsushita Electric Ind Co Ltd 情報端末及び基地局
CN101794528B (zh) * 2010-04-02 2012-03-14 北京大学软件与微电子学院无锡产学研合作教育基地 一种手语语音双向翻译***
CN102236986A (zh) * 2010-05-06 2011-11-09 鸿富锦精密工业（深圳）有限公司 手语翻译***、手语翻译装置及手语翻译方法
CN103188548A (zh) * 2011-12-30 2013-07-03 乐金电子(中国)研究开发中心有限公司 数字电视手语配音方法及装置
CN102708866A (zh) * 2012-06-01 2012-10-03 武汉大学 基于语义计算的听力或语言障碍人士交流***及其方法
US9697630B2 (en) * 2014-10-01 2017-07-04 Sony Corporation Sign language window using picture-in-picture

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
CN101502094A (zh) * 2006-06-15 2009-08-05 威瑞森数据服务公司 用于手语图形解释器的方法和***
CN101539994A (zh) * 2009-04-16 2009-09-23 西安交通大学 一种手语语音互译***及手语语音互译方法
CN101594434A (zh) * 2009-06-16 2009-12-02 中兴通讯股份有限公司 移动终端的手语处理方法和手语处理移动终端
CN202652435U (zh) * 2012-06-29 2013-01-02 广西工学院 一种自动生成字幕的数字电视机顶盒
CN102984496A (zh) * 2012-12-21 2013-03-20 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及***
CN106713974A (zh) * 2015-11-12 2017-05-24 中兴通讯股份有限公司 数据转换方法和装置
CN106254960A (zh) * 2016-08-30 2016-12-21 福州瑞芯微电子股份有限公司 一种用于沟通障碍的视频通话方法和***

Also Published As

Publication number Publication date
CN107566863A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
US11863806B2 (en) Systems and methods for correcting errors in caption text
WO2021068558A1 (zh) 一种同声字幕翻译方法、智能电视及存储介质
JP5564459B2 (ja) ビデオ会議に翻訳を追加するための方法及びシステム
US8515728B2 (en) Language translation of visual and audio input
US9558756B2 (en) Method and system for adjusting user speech in a communication session
US9282377B2 (en) Apparatuses, methods and systems to provide translations of information into sign language or other formats
US20160066055A1 (en) Method and system for automatically adding subtitles to streaming media content
JP6227459B2 (ja) 遠隔操作方法ならびにシステムならびにそのユーザ端末および視聴端末
JP2013521523A (ja) 聴覚障害者向けに音声言語を手話に翻訳するシステム
KR101899588B1 (ko) 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
JP2006215553A (ja) 放送・通信融合システムにおける手話ビデオデータの提供システム及びその方法
WO2018001088A1 (zh) 一种交流信息展示方法、装置及设备、机顶盒
JP2011065467A (ja) 会議中継装置及びコンピュータプログラム
JP2015115892A (ja) コメント作成装置およびその制御方法
US8913869B2 (en) Video playback apparatus and video playback method
KR101962126B1 (ko) 음성 인식 결과에 따라 데이터베이스에 액세스하는 멀티미디어 디바이스 및 그 제어 방법
JP6266330B2 (ja) 遠隔操作システムならびにそのユーザ端末および視聴機器
JP5213572B2 (ja) 手話映像生成システム、サーバ、端末装置、情報処理方法、及びプログラム
KR20200121603A (ko) 텍스트를 제공하는 전자 장치 및 그 제어 방법.
CN115359796A (zh) 数字人手语播报方法、装置、设备及存储介质
US8130318B2 (en) Method and audio/video device for generating response data related to selected caption data
KR101877430B1 (ko) 영상처리장치 및 그 제어방법, 영상처리 시스템
Ellis et al. Automatic closed captions and immersive learning in higher education
US11736773B2 (en) Interactive pronunciation learning system
TW201426342A (zh) 將文字翻譯為手語的系統及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17819085

Country of ref document: EP

Kind code of ref document: A1