CN102802048A - 一种多屏互动***和方法 - Google Patents

Abstract

本发明提供一种多屏互动***和方法，在屏幕切换时，第一终端向第二终端推送的视频切换信息，第二终端根据该视频切换信息进行协议解析，根据解析后的协议数据获取视频资源值；而后，第二终端向服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容。本发明可以实现多屏之间的视频同屏显示，更能根据各个终端配置不同，视频不同的播放码率，实现了交互的实时性，通过本地内网进行直连，减少了网络环境的拥塞、网络延时和网络抖动等，使交互信息及时的传送，用户体验更优。

Description

一种多屏互动***和方法

技术领域

本发明涉及一种多屏互动技术，包含机顶盒，pc，TV等终端，更具体地，涉及使用终端设备进行数据交换、共享和控制，属于家庭多媒体技术领域。

背景技术

随着互联网技术的不断发展，互联网电视迅速的崛起，各个终端产品已经很好的融合到互联网电视中，随着这一趋势的发展，实现终端对于互联网视频和信息的内容分享和互动已经迫在眉睫。根据这一现状多屏互动技术应运而生，多屏互动所指的是，基于DLNA协议或闪联协议，通过WIFI网络连接，在不同多媒体终端上，如常见基于Ios,Android,Symbian等不同操作***上的不同智能终端设备如手机，PAD，TV等之间，可进行多媒体（音频，视频，图片）内容的传输，解析，展示，控制等一系列操作，可以在不同平台终端上同时共享展示内容，丰富用户的多媒体生活。而应用最为广泛的三屏互动是电视屏，手机屏和电脑屏之间通过三屏互动的网络协议实现视频互相推送、手机模拟遥控器控制、手机模拟鼠标控制、三屏终端的数据共享。

现有的三屏互动技术，只能实现两屏的互动，即手机屏和电视屏，实现了遥控器功能和图片共享。另一方面，人们对于互联网电视的交互需求越来越强烈，对于传统的只接收模式已经无法忍受，并且普通单一的终端设备已经无法满足用户的交互需求，具体的表现在下面几个方面：首先.受到传统红外电视遥控器距离和角度的限制，给用户带来的操作性不便，无法做到远距离控制。其次视频终端的视频资源无法同时共享，对于记录的播放记录无法实现多用户间的交互共享，并无法实现电视终端的视频码率的适配。再次受到网络带宽的影响，多终端无法实时的进行互动和交流，导致用户无法及时得到相应的响应。

发明内容

鉴于以上的原因，本发明旨在解决目前互联网电视存在的不足，借助三屏互动实现最大化的用户互动和数据共享体验。具体地，本发明将解决如下问题：首先解决互联网电视中对于传统遥控器的距离和角度的限制，其次解决互联网电视中对于视频资源的分享和视频码率的适配，再次解决互联网电视终端交互实时性问题，使用用户得到更好的体验。为此，本发明提供的技术方案如下：

一种多屏互动***，包括一个服务器和多个终端，所述服务器负责记录了媒体资源，所述多个终端包括：至少一个带有显示屏幕的电脑、至少一个带有显示屏幕的移动通信终端、以及至少一个带有显示屏幕的电视；其特征在于：所述多个终端之间采用直接连接方式；所述服务器对各终端进行分类管理，对每一类终端都提供一个终端分类列表，同一时刻，每一终端都只处于一个分类列表中，服务器根据各终端的IP地址，或者物理空间标志来对终端进行分类。

进一步，终端登陆成功后，服务器向各登陆成功的终端下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态等信息；终端获取该终端列表后，将终端列表中的其他终端呈现在该终端的显示屏幕上，并与列表中的终端进行本地直连测试，并记录每个终端的直连状态；所述直接连接状态包括连接正常和连接失败；当直连正常时，该终端与其他终端通过udp协议通信；而当直连失败时，该终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

更进一步，终端每隔一定的时间间隔向服务器发送一次心跳报告，所述时间间隔为10-30分钟。

在一个优选的实施方式中，在屏幕切换时，第一终端向第二终端推送的视频切换信息，第二终端根据该视频切换信息进行协议解析，根据解析后的协议数据获取视频资源值；而后，

第二终端向服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容；或者，

服务器根据其与第二终端之间的网络状况选择最佳视频码率将视频资源发送至第二终端。

在一个可选的实施方式中，对于终端观看的视频，在未观看完的情况下，终端主动请求记录该播放地址、播放位置、终端标识，向服务器发送请求记录书签的通信协议数据，服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据，终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，用户根据需要可以使用终端列表中的任一终端来继续观看记录的视频，服务器情况最优码率。

本发明还提供一种多屏互动实现方法，包括以下步骤：

步骤1：终端登录服务器；

步骤2：终端登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态等信息；

步骤3：终端获取上述终端列表，与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直接连接状态包括连接正常和连接失败；

步骤4：终端根据直连状态与其他终端通信。

进一步，

所述步骤4进一步包括：

步骤4-1：当直连正常时，终端与其他终端通过udp协议通信，当直连失败时，执行步骤4-2：

步骤4-2：终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

 

在一个实施方式中，步骤4中所述的通信为屏幕切换通信；所述屏幕切换通信进一步包括：

步骤1）第一终端向第二终端发出屏幕内容切换的消息；

步骤2）：第二终端停止其屏幕的内容显示，根据屏幕内容切换的消息进行协议解析，根据解析后的协议数据获取第一终端发送的视频资源值；

步骤3）：第二终端向媒资服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容。

进一步，所述步骤1）中，第一终端向第二终端发出屏幕内容切换的消息的方法是：

第一终端向第二终端发送屏幕内容切换的请求，请求的内容包括：第一终端的标识，视频资源值；

或者：第一终端向第二终端发出屏幕内容切换的消息的方法是：第一终端直接将其屏幕内容推送到第二终端。

在另一个实施方式中，步骤4中所述的通信为书签通信；所述书签通信进一步包括：

步骤A：对于终端观看的视频，在未观看完的情况下，终端主动请求记录该播放地址、播放位置、终端标识，向服务器发送请求记录书签的通信协议数据；

步骤B：服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据；

步骤C：终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，并根据不同的码率需求向媒体资源服务器情况最优码率。

本发明可以实现多屏之间的视频同屏显示，更能根据各个终端配置不同，视频不同的播放码率；还可以实现在线视频的本地下载，使用本地下载后的时候进行播放，更加流畅；还实现了传统遥控器所不能及的功能，可以远程控制和远程共享视频资源；还实现了视频观看的记录功能，可以其他多屏或三屏终端继续观看，达到更好的交互效果；通过该发明更重要的是实现了交互的实时性，通过本地内网进行直连，减少了网络环境的拥塞、网络延时和网络抖动等，使交互信息及时的传送，用户体验更优。

附图说明

图1是本发明多屏互动***的连接关系图；

图2是本发明终端登陆服务器并建立通信直连的示意图；

图3是本发明多屏切换的示意图。

具体实施方式

以下将描述本发明的优选的实施方式，本领域的技术人员应当清楚这些实施方式并非限制性的。为了解决上述问题，本发明提供的具体实现方案如下。

附图1所示，本发明提供一种多屏互动***，包括一个服务器1和多个终端，所述多个终端至少包括：至少一个带有显示屏幕的电脑2-1至2-n、至少一个带有显示屏幕的移动通信终端3-1至3-n、以及至少一个带有显示屏幕的电视4-1至4-n。多屏互动***的各终端之间与服务器之间优选采用直接连接方式。优选地，所述服务器记录了媒体资源。

在交互过程中，首先，上述终端登录服务器。优选地，服务器对各终端进行分类管理，对每一类终端都提供一个终端分类列表，同一时刻，每一终端都只处于一个分类列表中，例如，在普通家庭中，手机、电脑、电视可以在物理位置上处于同一房间中（如图1所示的虚线框中的终端设备），服务器提供每一终端所出的终端分类的分类列表，例如处于该终端所在房间的终端列表。所述分类方式可以根据各终端的IP地址，或者物理空间标志来区分。

登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表。终端列表至少包括终端标识，终端分组，以及终端连接状态等信息。终端获取该终端列表后，将终端列表中的其他终端呈现在该终端的显示屏幕上，并与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直接连接状态包括连接正常和连接失败。该终端与其他终端通信时，根据连接状态来选择通信方式。在一个优选的实时方式中，当直连正常时，该终端与其他终端通过udp协议通信，能使交互更加实时；而当直连失败时，该终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

参见附图2，另一个可选的实施方式中，终端在连接服务器后，向服务器发送获取该终端所处的终端列表的消息，服务器在收到该消息后，查找该终端所处的终端列表，为了保证该终端列表的可用性，服务器在查找到该终端列表之后还将执行以下操作：向该列表中的终端设备发送本地直接连接测试数据包，发送方式可以是广播方式或者组播方式。服务器根据列表中每个终端设备对测试数据包的反馈状况，记录每个终端的直接连接状态，并对终端列表的内容进行更新。并将更新后的终端列表发送给请求的终端。请求的终端在与其他终端通信时，根据连接状态来选择通信方式，当直连正常时，该终端与其他终端通过udp协议通信，能使交互更加实时；而当直连失败时，该终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

在交互时，终端根据多屏互动的控制命令执行不同的处理操作。各个终端在进行交互时，选择最要的网络环境进行数据交互，策略为：首先使用直连方式进行交互，在直连方式是失败的情况下才通过服务器转发交互信息。

以下将描述本发明更为详细的一个实施方式。在该实施方式中，终端每隔一定的时间间隔向服务器发送一次心跳报告，以维护多屏服务的正常连接，申请人实验表明：为了不占用更多地带宽流量，每隔10-30分钟发送一次心跳报告，既可以判断终端的连接状况，又不影响互动效果。当终端与服务器之间使用TCP连接时，用send发，而使用UDP连接时，用sendto发，服务器收到后，就知道当前客户端还处于“活着”的状态，否则，如果隔一定时间未收到这样的包，则服务器认为客户端已经断开，进行相应的客户端断开逻辑处理。优选地，超过两次未进行连接，服务器主动断开终端连接，从终端列表中清除。

以下将结合附图3描述终端之间进行屏幕切换时的方法。如图3所示，A终端向B终端发送屏幕内容切换的请求，请求的内容包括：A终端的标识，视频资源值；或者直接将屏幕内容推送到B终端，优选地，所述屏幕内容为视频内容。

B终端接收到A终端发送的切换请求后停止B屏幕的内容显示，或者在其接收到A终端推送的视频切换信息后，根据该信息进行协议解析，根据解析后的协议数据获取A终端请求或推送的视频资源值，而后，B终端向媒资服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容；或者服务器根据其与终端B之间的网络状况选择最佳视频码率将视频资源发送至终端B。从而达到最优的播放效果。最佳视频码率与网络状况、终端处理能力、视频格式有关。根据网络状况不同、各个终端配置不同、和/或视频格式的不同选择不同的播放码率。

本发明还提供书签功能，以保障多屏互动的流畅性和连续性。对于多屏终端观看的视频，在未观看完的情况下，终端可以主动请求记录该播放地址、播放位置、终端设备标识，向服务器发送请求记录书签的通信协议数据，服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据，终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，用户根据需要可以使用终端来继续观看记录的视频，终端会根据不同的码率需求向媒体资源服务器情况最优码率，可以使用电视屏观看更加优质码率的视频，终端增加书签管理功能，对于添加的书签进行刷新书签列表，播放，删除，清除书签操作，后台触发播放器运行相应操作。

本发明中，电视终端可实现下载功能。其他终端向电视终端下发下载资源交互信息，电视终端接收到其他终端发送的交互命令进行解析，解析出下载数据，电视根据下载数据进行下载，电视下载功能模块为移动终端提供控制接口，可以将下载信息同步到移动终端，通过移动终端来控制下载功能，实现添加，删除，暂停，开始功能。实现移动终端到电视终端的视频下载推送。

多屏互动中，可以实现遥控控制互动。在移动终端遥控终端，选择控制对象终端，通过多屏控制协议，发送控制消息，主要控制消息有包括但不限于：1）遥控器的基本按键；2）视频播放时的播控按键；3）视频播放时的音量和seek进度按键。多屏终端实时接收消息，并根据不同的控制指令进行相应处理。

多屏互动中，还可以实现输入字符互动。所述手机终端设备远程输入字符，将字符数据通过多屏协议发送给其他终端，其它终端将接收到的输入字符的协议解析，并将解析的字符输入到输入框中，并将其显示在输入框中。

在上述***的基础上，本发明还提供一种多屏互动实现方法，包括以下步骤：

步骤1：终端登录服务器；

步骤2：终端登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态等信息；

步骤3：终端获取上述终端列表，与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直接连接状态包括连接正常和连接失败；

步骤4：终端根据直连状态与其他终端通信。

进一步，

所述步骤4进一步包括：

步骤4-1：当直连正常时，终端与其他终端通过udp协议通信，当直连失败时，执行步骤4-2：

步骤4-2：终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

 

在一个实施方式中，步骤4中所述的通信为屏幕切换通信；所述屏幕切换通信进一步包括：

步骤1）第一终端向第二终端发出屏幕内容切换的消息；

步骤2）：第二终端停止其屏幕的内容显示，根据屏幕内容切换的消息进行协议解析，根据解析后的协议数据获取第一终端发送的视频资源值；

步骤3）：第二终端向媒资服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容。

进一步，所述步骤1）中，第一终端向第二终端发出屏幕内容切换的消息的方法是：

第一终端向第二终端发送屏幕内容切换的请求，请求的内容包括：第一终端的标识，视频资源值；

或者：第一终端向第二终端发出屏幕内容切换的消息的方法是：第一终端直接将其屏幕内容推送到第二终端。

在另一个实施方式中，步骤4中所述的通信为书签通信；所述书签通信进一步包括：

步骤A：对于终端观看的视频，在未观看完的情况下，终端主动请求记录该播放地址、播放位置、终端标识，向服务器发送请求记录书签的通信协议数据；

步骤B：服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据；

步骤C：终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，并根据不同的码率需求向媒体资源服务器情况最优码率。

本发明通过多屏之间的视频通信共享，视频码率选择，书签记录共享；以及移动终端对于电视终端和pc终端的遥控器控制；和相应的多屏之间的交互方式，能起到以下有益的技术效果：可以实现多屏之间的视频同屏显示，更能根据各个终端配置不同，视频不同的播放码率；还可以实现在线视频的本地下载，使用本地下载后的时候进行播放，更加流畅；还实现了传统遥控器所不能及的功能，可以远程控制和远程共享视频资源；还实现了视频观看的记录功能，可以其他三屏终端继续观看，达到更好的交互效果；通过该发明更重要的是实现了交互的实时性，通过本地内网进行直连，减少了网络环境的拥塞、网络延时和网络抖动等，使交互信息及时的传送，用户体验更优。

Claims (10)

1.一种多屏互动***，包括一个服务器和多个终端，所述服务器负责记录了媒体资源，所述多个终端包括：至少一个带有显示屏幕的电脑、至少一个带有显示屏幕的移动通信终端、以及至少一个带有显示屏幕的电视；其特征在于：

所述多个终端之间采用直接连接方式；

所述服务器对各终端进行分类管理，对每一类终端都提供一个终端分类列表，同一时刻，每一终端都只处于一个分类列表中，服务器根据各终端的IP地址，或者物理空间标志来对终端进行分类。

2.如权利要求1所述的多屏互动***，其特征在于：终端登陆成功后，服务器向各登陆成功的终端下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态等信息；终端获取该终端列表后，将终端列表中的其他终端呈现在该终端的显示屏幕上，并与列表中的终端进行本地直连测试，并记录每个终端的直连状态；所述直接连接状态包括连接正常和连接失败；当直连正常时，该终端与其他终端通过udp协议通信；而当直连失败时，该终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

3.如权利要求2所述的多屏互动***，其特征在于：终端每隔一定的时间间隔向服务器发送一次心跳报告，所述时间间隔为10-30分钟。

4.如权利要求3所述的多屏互动***，其特征在于：在屏幕切换时，第一终端向第二终端推送的视频切换信息，第二终端根据该视频切换信息进行协议解析，根据解析后的协议数据获取视频资源值；而后，

第二终端向服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容；或者，

服务器根据其与第二终端之间的网络状况选择最佳视频码率将视频资源发送至第二终端。

5.如权利要求4所述的多屏互动***，其特征在于：对于终端观看的视频，在未观看完的情况下，终端主动请求记录该播放地址、播放位置、终端标识，向服务器发送请求记录书签的通信协议数据，服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据，终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，用户根据需要可以使用终端列表中的任一终端来继续观看记录的视频，服务器情况最优码率。

6.一种多屏互动实现方法，包括以下步骤：

步骤1：终端登录服务器；

步骤2：终端登陆成功后，服务器向各登陆成功的终端主动下发该终端所处的终端分类的终端列表，所述终端列表至少包括终端标识，终端分组，以及终端连接状态等信息；

步骤3：终端获取上述终端列表，与列表中的终端进行本地直连测试，并记录每个终端的直连状态，所述直接连接状态包括连接正常和连接失败；

步骤4：终端根据直连状态与其他终端通信。

7.如权利要求6所述的多屏互动***的实现方法，

所述步骤4进一步包括：

步骤4-1：当直连正常时，终端与其他终端通过udp协议通信，当直连失败时，执行步骤4-2：

步骤4-2：终端与其他终端通过tcp与服务器通信，并通过服务器转发通信协议。

8.如权利要求7所述的多屏互动***的实现方法，其特征在于：

步骤4中所述的通信为屏幕切换通信；所述屏幕切换通信进一步包括：

步骤1）第一终端向第二终端发出屏幕内容切换的消息；

步骤2）：第二终端停止其屏幕的内容显示，根据屏幕内容切换的消息进行协议解析，根据解析后的协议数据获取第一终端发送的视频资源值；

步骤3）：第二终端向媒资服务器请求视频本终端最优的视频码率的播放地址，并打开播放器播放该地址的视频内容。

9.如权利要求8所述的多屏互动***的实现方法，其特征在于：

步骤4中所述的通信为书签通信；所述书签通信进一步包括：

步骤A：对于终端观看的视频，在未观看完的情况下，终端主动请求记录该播放地址、播放位置、终端标识，向服务器发送请求记录书签的通信协议数据；

步骤B：服务器记录分析该书签协议后，将该书签数据记录在服务器数据库，其他终端向服务器请求该书签库时，服务器下发该终端所处终端列表中所有终端的书签库数据；

步骤C：终端解析书签库数据，根据解析的书签数据，将其显示所有终端屏幕上，并根据不同的码率需求向媒体资源服务器情况最优码率。

10.如权利要求8所述的多屏互动***的实现方法，其特征在于：所述步骤1）中，第一终端向第二终端发出屏幕内容切换的消息的方法是：

第一终端向第二终端发送屏幕内容切换的请求，请求的内容包括：第一终端的标识，视频资源值；

或者：第一终端向第二终端发出屏幕内容切换的消息的方法是：第一终端直接将其屏幕内容推送到第二终端。

Images