一种多媒体播放器的应用方法
本申请是申请人为上海天统电子科技有限公司,发明名称为多媒体播放器,申请号为200810043654.7,申请日为2008年7月21日的发明专利申请的分案申请。
技术领域
本发明涉及一种多媒体播放器,尤其是一种具有网络搜索功能的多媒体播放器。
背景技术
随着网络技术和微电子技术的发展,越来越多的多媒体终端既可以观看多媒体内容,也可以访问互联网。这些设备包括基于个人电脑的数字电视终端、可以上网的手机、掌上电脑(PDA)、数字电视机顶盒、数字电视一体机等等。
当用户使用多媒体终端观看视音频内容的同时,会希望查找本地和互联网上的相关内容。通常的做法是打开终端上的浏览器,进入某个搜索服务页面,根据当前收看的多媒体信息总结出关键词,输入关键词、点击确定后得到搜索结果,在结果中浏览,找到需要的信息。由于搜索引擎给出的结果范围很大,用户往往要在搜索关键词或搜索引擎设置中进一步限定搜索的类型,如视频、图片、咨询、博客、BBS等,往往多次搜索后才能得到感兴趣的结果。
另一种情况是,每个用户在收看视音频内容时都有自己喜好和习惯,比如喜欢看某个频道的节目、喜欢看足球比赛节目、喜欢看音乐会等等。由此对某个频道、对足球比赛、对音乐会的相关信息会很感兴趣。这些相关信息也是要靠用户手工的搜索来完成。
多媒体终端界面上的绝大部分是视音频播放界面,如果搜索引擎的返回结果和视音频播放界面在同一屏幕上显示,如基于电脑的数字电视终端就是这种情况,留给搜索返回结果的显示空间将很有限,因此不能像普通浏览器中的搜索那样给出所有的结果,有必要对搜索引擎返回的结果进一步过滤,即给出少量最符合用户需求的URL链接和摘要。
在上述情况下,用户在使用多媒体终端时存在以下问题:
没有根据用户当前收看的多媒体内容自动产生搜索项,所有提交给搜索引擎的搜索项都要靠用户自己总结,***既不能自动产生搜索项也不会给出任何提示。
所有的搜索项都要采用终端上提供的输入方式手工输入。手机、掌上电脑和机顶盒在输入文字和浏览结果时和PC上的用法存在很大差异,无法达到PC上浏览器中进行搜索的方便程度。
没有根据用户的使用习惯、兴趣爱好,***无法自动地向用户提供一些“推荐”信息。这些“推荐”的信息可以多种来源,包括多媒体终端本地存储的信息、输入源中包含的信息(如数字电视的EPG信息)、互联网上的信息等等。
没有对搜索的结果进一步过滤,在一些多媒体终端上显示空间很有限,如果搜索返回的内容和普通PC浏览器中相当,包括成千上万条链接和摘要,同样的内容在多媒体终端上显示将非常拥挤,并且不利于用户对内容的查找。
发明内容
本发明所要解决的技术问题是提供一种多媒体播放器,能够使用户在多媒体终端上收看内容时获取与当前内容相关的信息,同时获得符合用户自己使用习惯和喜好的“推荐”内容,并且通过网络搜索获取用户感兴趣的信息。
为解决上述技术问题包括多媒体播放模块、关键词选择模块和数据搜索模块,所述关键词选择模块包括第一关键词选择模块和第二关键词选择模块中的至少一个,所述第一关键词选择模块从所述多媒体播放模块正在播放的数据中提取关键词,所述第二关键词选择模块记录所述多媒体播放模块播放的内容并制作历史记录,所述第二关键词选择模块从所述历史记录中提取关键词,所述数据搜索模块根据所提取的关键词的以“与”、“或”、“非”的逻辑关系结合的结果,在网络上、本地终端、正在播放的内容三处中的一处或多处搜索相关信息,并将该相关信息显示。
本发明通过关键词选择模块在播放的数据中提取关键词或者在历史记录中提取关键词的方式,使得关键词的输入不必过分依赖键盘,并且获得关键词的准确性也大大提高,方便了用户的使用。
附图说明
下面结合附图和实施例对本发明作进一步详细的说明:
图1为实现本发明多媒体播放器的硬件网络设备示意图;
图2为本发明多媒体播放器实施例中用户界面的示意图;
图3为视频画面中文本信息位置的示意图;
图4为应用本发明多媒体播放器的数字电视终端逻辑框架图;
图5为实现本发明多媒体播放器的搜索代理服务器的逻辑框架图。
具体实施方式
本发明公开了一种多媒体播放器,包括多媒体播放模块、关键词选择模块和数据搜索模块,所述关键词选择模块包括第一关键词选择模块和第二关键词选择模块中的至少一个,所述第一关键词选择模块从所述多媒体播放模块正在播放的数据中提取关键词,所述第二关键词选择模块记录所述多媒体播放模块播放的内容并制作历史记录,所述第二关键词选择模块从所述历史记录中提取关键词,所述数据搜索模块根据所提取的关键词在网络上、本地终端、正在播放的内容三处中的一处或多处搜索相关信息,并将该相关信息显示。
所述多媒体播放模块、关键词选择模块和数据搜索模块集成在同一个硬件设备上。这样可以使得设备的集成度更高,处理速度更快。
或者所述多媒体播放模块、关键词选择模块和数据搜索模块设置于不同的设备上,所述不同的设备间通过数据网络连接。例如数字电视机顶盒,其内部结构相对来说就比较简单,如果要完成关键词提取这样的工作,机顶盒的速度就会比较慢,并且一般也不会设置存储器,无法进行历史记录的存储。但是,如果机顶盒将播放的数据的信息通过网络传送给专门用于提取关键词的设备,例如图1中所示的智能搜索代理服务器,就可以大大的提高关键词搜索的速度。图1中所示的智能搜索代理服务器中还设置有存储器,机顶盒还可以将播放的数据的信息通过网络传送给智能搜索代理服务器,由所述智能搜索代理服务器完成关键词的提取。
所述关键词选择模块将所提取的关键词显示,用户在所列出的关键词中进行选择,所述数据搜索模块根据选择结果在网络上、本地终端、正在播放的内容三处中的一处或多处搜索相关信息,并将该相关信息显示。所述关键词选择模块所提取的关键词可能不完全符合用户的要求,因此将关键词列出后由用户选择,可以使得搜索更加具有针对性,提高搜索的效率。
所述第一关键词选择模块根据播放的多媒体音频中语音出现的频率,将该语音信息识别成文本信息作为关键词。
所述第二关键词选择模块根据播放的多媒体音频中语音出现的频率,将该语音信息识别成文本信息存储到所述历史记录中。
所述第一关键词选择模块根据播放的多媒体视频中文字出现的频率,将该文字作为关键词。
所述第二关键词选择模块根据播放的多媒体视频中文字出现的频率,将该文字存储到所述历史记录中。
用户预先设定关键词,所述第一关键词选择模块根据多媒体播放模块正在播放的数据与该预先设定的关键词的相关性从正在播放的数据中选择关键词。这样也可以提高关键词搜索的准确性。
所述关键词为多个,所述多个关键词以“与”、“或”、“非”的逻辑关系结合,所述数据搜索模块根据结合的结果在网络上、本地终端、正在播放的内容三处中的一处或多处搜索相关信息,并将该相关信息显示。
所述关键词选择模块从播放的内容或历史记录中提取关键词之后,与该提取的关键词相关词汇也作为关键词。所述第二关键词选择模块将播放内容的相关词汇也存入历史记录。这样可以提高关键词搜索的范围。
所述数据搜索模块由使用者触发并返回搜索结果,或者定时触发并返回搜索结果,或者不定时触发并返回搜索结果。
实现本发明多媒体播放器的硬件网络设备参见图1所示,数字电视终端进行多媒体数据的播放,智能搜索代理服务器进行关键词的提取,并且通过网络连接到搜索引擎服务器,获得相关搜索信息。
本发明多媒体播放器实施例中用户界面如图2所示,该界面中包含有多个“窗口”,所述“窗口”指的是终端界面上的一块显示区域,该区域可以通过快捷键、组合键、鼠标单击或双击、菜单选项、遥控器按键等方式打开和关闭。所述“窗口”可以拆分为多个不连贯的小“窗口”用于显示和提供该“窗口”所包含的内容和功能,“窗口”与“窗口”间可以采用AlphaBlending等方式重叠。“窗口”的功能触发也可以通过多种方式,如通过快捷按键、组合按键、鼠标单击或双击、菜单选项等方式触发,这里的按键包括PC的键盘、多媒体终端上的按键、遥控器按键。“窗口”的内容显示也可以通过多种方式,如上下拖动的滚动条、左右拖动的滚动条、上下翻页、自动滚动、定时自动翻页、鼠标拖拽等。
图2中101“窗口”为播放多媒体需要占有的显示区域,如果多媒体内容中包含视频,则为视频显示区域,如果多媒体内容只有音频,101“窗口”可以是现有多媒体终端显示的内容:如歌词、自动合成的动画、广告、新闻等等。
102“窗口”提供给用户产生搜索查询项的界面,在采用第一关键词选择模块的技术方案中,本发明可以通过如下方式产生搜索查询项:
关键词提示方式:终端将从当前播放的多媒体内容中自动提取出“关键词”,这些“关键词”将在102“窗口”上显示,用户手工选择这些“关键词”和“关键词”间的相互关系如“与”、“或”等,最后形成搜索查询项交付搜索引擎。
自动产生方式:终端将从当前播放的多媒体内容中自动提取出“关键词”,同时102“窗口”将提供一系列规则选项。***将根据缺省规则、用户预先设置的规则和当前的关键词自动产生搜索查询项。
关键词提示加上自动产生的方式:用户可以手工选取一些“关键词”作为搜索项的组成部分,而搜索项的其余部分将根据用户预先设置的规则和当前的关键词自动产生。
102“窗口”中的规则包括:“关键词”生成规则和产生搜索选项的规则。“关键词”生成规则示例如下:
启动语音识别功能,将语音中出现频率最高的词汇提取出来作为“关键词”;
启动字幕图像识别功能,将字幕中出现频率最高的词汇提取出来作为“关键词”;
如果EPG(电子节目指南)文本信息和视频图像文字识别信息中有词汇相同,则以此词汇作为“关键词”。
另外,用户对多媒体内容通常有个性化的偏好和习惯,常常希望根据用户日常的信息欣赏习惯、信息使用习惯进行自我学习,使用搜索工具,在网上及本地收集相关信息,定期或不定期地显示给用户。本发明提供实现此功能的界面显示方法、基本功能和操作方式。在采用第二关键词选择模块的技术方案中,“关键词”来源于对用户以往的欣赏习惯、使用习惯的历史记录。比如,通过对历史记录的分析发现用户看某一体育频道的频率较高,该体育频道的频道名就成为“关键词”。与第一关键词选择模块相比,第二关键词选择模块“关键词”的来源并非从当前播放内容中提取,而是从一段时间的历史记录中分析总结出来。由于历史记录需要存储,并非所有的多媒体终端都有存储功能(如没有硬盘的机顶盒)。这时候可以使用网络上的智能搜索代理服务器完成此项功能,对用户历史记录的存储、统计分析由智能搜索代理服务器完成,形成的分析结果“关键词”将定期或不定期地推送给多媒体终端,并在102“窗口”显示。
在采用上述两种技术方案得到“关键词”之后,就根据该“关键词”进行搜索。自动产生搜索选项的规则示例如下:
数字电视频道名作为搜索选项的第一关键词,节目标题作为第二关键词,其余部分随机组合;
图像中文字识别结果作为搜索选项的第一关键词,EPG信息作为第二关键词,其余部分随机组合;
EPG信息作为第一关键词、语音识别结果中频度最高的词汇作为搜索选项的第二关键词,其余部分随机组合。
103“窗口”显示搜索结果,搜索的结果包括网页超链接、网页摘要、类似网页、网页快照的链表。如果用户对某条搜索结果感兴趣,可以通过上述窗口功能的触发方式进入链接所指向的页面。该“窗口”提供“后退”功能,当用户希望返回搜索结果时,可以通过上述窗口功能的触发方式后退到搜索结果页面。103“窗口”还可用于显示未通过搜索而直接进入的页面,包括BBS、Blog、QQ论坛等。这些页面的超链接在102“窗口”中的规则中设置,包括手工输入和***提供给用户选择等方式。
自动提取出的“关键词”的来源包括数字电视频道名、节目标题、EPG、字幕Subtitle、图文信息Teletext、作为内容播放格式的信息(如BML)、语音识别结果、音频特征提取描述、图像中文字识别结果、视音频水印中提取出的信息等。
多媒体终端上播放的信息中包含着大量的文本内容,频道名、EPG信息、以文本方式提供的字幕信息。也有很多以其他媒体的形式存在,但可以转化成文本的内容,如电视剧的标题、以图像形式存在的字幕可以采用图像识别的方式转换成文本,语音可以通过语音识别转换成文本。图3中的黑色区域显示了数字电视图像中容易出现固定文字的区域(不包括左上角的频道标志区域),在这些区域中容易出现一段时间(10分钟以上)始终出现的文字如:电视剧名称、综艺节目名称、广告、新闻主题等等。这些文字虽然以图像方式存在,但具有节目播出时段固定不变、往往揭示当前节目主题的特点,通过定时计算这些区域中每个像素时域相关性的方法,可以容易地提取出图像中这些固定不变的文字并转换成文本,从而了解当前播放内容的主题信息。
视频是数字电视包含的主要媒体,包括丰富的内容特性,除了图像具有的视觉特性和空间特性外,还具有时间特性、视频对象特性和运动特性等。运用视频处理技术,可以将视频按照各种属性(如场景、视频对象或运动特性)进行分割,然后进行分类、聚类等操作,得到视频的结构模式。也可以从视频中提取视频对象,跟踪其运动,结合时间特性分析其模式以及与其他对象之间的关联,从而发现高层次的事件摘要、概念或模式。
音频是听觉媒体,其主要特征有基音、音调、韵律或旋律等。音频挖掘通常有两种途径:(1)运用语音识别技术将语音识别成文字,将音频挖掘转换成文本挖掘。由于数字电视的广播特性,语音的使用都较为规范,如普通话多,方言少,因此自然语音识别算法的精度高,识别时所须的训练样本容易收集。(2)直接从音频中提取声音特征,如音调、韵律等,运用聚类的方法分析声音模式。机器学习技术,包括粗糙集、人工神经网络和决策树技术能够用于分析音频的基频、能量分布及其他特征,从而获得音频事件和对象的结构,挖掘出隐含在音频流中的信息线索、规律和模式。如通过对海量语音数据库中语音特征的提取和学习,获得音调和韵律变化的模式,使得语音合成更加自然化和智能化。
在提取了“关键词”之后,有必要对搜索引擎返回的查询结果进一步处理,因为通常在返回的查询结果中很小的一部分才是用户真正感兴趣的内容,而且无论多媒体终端是基于PC平台的应用程序,还是手持终端或机顶盒应用,显示界面上视频将占据大多数面积,用于显示搜索结果的空间不大。查询结果的后处理包括:按照规则的后处理,如只返回前5项超链接;简化摘要,如只显示包含查询词的句子;去除内容基本相同的超链接。最后根据规则和相关的设置提供出最接近用户需求的一些超链接和摘要。
本发明如果应用于数字电视,其数字电视终端的逻辑框架如图4所示。所述数字电视终端接收到卫星数字电视信号、地面波数字电视信号或者电缆数字电视信号等信号之后,进行信道调谐、模数转换及信道解调制等处理,处理后的信号进行解复用,得到EPG数据信号、视频数据信号、字幕数据信号和音频数据信号,对所述EPG数据信号、视频数据信号、字幕数据信号和音频数据信号分别进行解码或者解析后,再进行预处理,并根据用户规则进行元数据合成,然后处理得到“关键词”,将该“关键词”发送到网络上进行搜索,返回的搜索结果向用户显示。
在进行“关键词”提取的时候,还需要智能搜索代理服务器完成一些工作。所述智能搜索代理服务器如图5所示,在接收数字电视终端处理的元数据之后,对该元数据进行数字电视多媒体数据挖掘,具体可以包括图像识别、语音识别、文本识别和用户操作习惯记录,这些数据被存储在存放用户历史操作、用户历史内容和用户规则的数据库中,对该数据库中的数据综合统计分析并生成用于自动搜索查询的数据,并将该用于自动搜索查询的数据发送到搜索引擎进行搜索。搜索引擎返回查询结果,所述智能搜索代理服务器结合存放用户历史操作、用户历史内容和用户规则的数据库中的内容对该查询结果进行处理,该处理包括广告信息***、摘要过滤、链接相关性过滤和用户规则过滤,处理后的查询结果也可以存放在专门的数据库中,并且该查询结果会被发送给数字电视终端,为用户显示。
综上所述,本发明通过关键词选择模块在播放的数据中提取关键词或者在历史记录中提取关键词的方式,使得关键词的输入不必过分依赖键盘,并且获得关键词的准确性也大大提高,方便了用户的使用。