CN104777899A - 一种在计算机联网设备间进行视频流重定向的方法 - Google Patents

Abstract

本发明公开了一种在计算机联网设备间进行视频流重定向的方法。计算机设备通过网络获得其他设备输入的视频流，并结合自身的视频流，在界面上各以子窗口的形式同步显示。之后，计算机设备通过识别用户在其联接的摄像头前的手势趋势，确定用户所要重定向的视频流，并确定其将要重定向所至的信道，并执行重定向相应的操作。本方法通过非触控界面的简易操作实现了复杂的多路视频流的建立或关闭功能，提高了计算机设备跨网络环境的流数据分享能力。

Description

一种在计算机联网设备间进行视频流重定向的方法

技术领域

本发明主要涉及计算机人机交互及视频处理领域，具体来讲，涉及到通过手势操作的非触控方式，在计算机或智能设备的交互界面上选择视频流进行定向输出的方法。

背景技术

在多方视频通话的应用中，一个普遍的需求是将己方所获得的来自不同来源的画面中转输出到己方指定的会话方，或是录制输出端。特别地，随着移动设备的迅猛增长，在局域网内各种手机、平板的视频源也可以方便地同时投射到智能电视、会议***等设备作为额外的输入***以供切换使用。在目前的实际使用场景中，迫切地需要在交互上实现突破，以更便捷地给某指定的远端用户实时切换视频流，提供高效的视频信息共享能力。

在传统的专业视频通话***中，视频信道切换输出的功能是通过专门的物理遥控器上的按键组合来完成的。用户在使用前需要熟记不同信道对应的实际物理按键及选定的先后次序，操作复杂、繁琐，没有培训无法掌握。

而在用户对切换视频有高频次操作要求的场景中，目前的视频通话***往往通过集成通用鼠标、键盘，让用户在典型的桌面计算机界面下用窗口的点选、拖动来完成。但大量简易会议室环境下所进行的多人视频会议，往往无法放置鼠标、键盘；甚至在家用环境下，例如客厅、卧室等也不便配备专门的套件。同样地，使用鼠标、键盘也意味着需要对应用***进行学习。

目前，一个较为先进的解决方法，是利用改进的遥控器来模拟鼠标在界面上进行操作的所谓空鼠装置。这种遥控设备通过手持遥控器进行角度摆动的方式来模拟鼠标的移动。这种遥控方式的缺点在于，在显示屏幕端需要特别的传感器来检测此类遥控器发出的红外信号。更重要地，这种技术需要用户在没有依托的立体空间里进行精确的稳定操作以选中界面元素，容易出现感应点的抖动，极易造成用户的疲劳。

进一步地，从电视游戏应用领域发展而来的纯体感技术，已经不需要任何介质就能感应人体的行为并且执行交互，从这个技术路径出发，可以真正摆脱对遥控介质的需求。但实际使用中，体感或者明确地说，通过手势控制方式对较为复杂的视频***操作的界面交互方法，在本发明前还未出现。手势识别较为实用的场景也只是对翻页、起始、停止等特定指令进行了识别，无法组合完成全面的视频流操作功能。

综上所述，现有的主流交互技术或方法都无法有效解决在低成本、良好用户体验前提下的视频会议信道切换功能。

发明内容

有鉴于此，本发明的主要目的在于提供一种在计算机联网设备间进行视频流重定向的方法。通过计算机设备联接的普通摄像头来识别用户的手势的移动趋势或变形趋势，实现复杂的多路视频流的建立或关闭功能，以提高计算机设备跨网络环境的流数据分享能力。本方法包括以下步骤：

A、计算机设备同时显示自身及一个或多个其他联网设备所采集的视频流；

B、用户通过手势选择计算机设备所显示的视频流中的一个；

C、计算机设备将用户选定的视频流定向输出到指定信道。

所述步骤A中，联网设备间的联接方式既包括局域网内的无线联接，也包括互联网网际间的联接。特别地，所述局域网内的无线联接方式，其实现技术包括但不限于Miracast、AirPlay、DLNA等。而设备间传输的所述视频流，其视频编码标准兼容于H.264及H.265。

在界面方面，对于所述步骤A中，所述视频流在所述计算机设备上的显示方式为界面上的可交互的小型子窗口区域。所述步骤C中，所述信道可以为与互联网远端设备进行网际间视频传输的信道，也可为所述计算机内部I/O通信间的信道。当信道为前者时，远端信道在界面上存在监视子窗口；当信道为后者时，所述输出窗口为所述计算机设备的主背景窗口。

所述步骤B中，所述手势选择包括选定代表某特定视频流的子窗口的确定手势及选定代表定向输出方向的方向手势。

所述确定手势的操作包括以下步骤：

B1、保持手势的特定姿态在立体空间中进行全方向上的移动以使得手势在垂直于计算机设备的显示界面的二维空间的线性映射能重叠于代表某视频流的子窗口。

B2、保持手势的相对位置，改变手势的姿态以得到第二手势，通过手势改变的趋势来确定即将重定向的视频流的源。

所述方向手势的操作包括以下步骤：

B3、获得一个方向。该方向为手势在保持姿态的情况下在立体空间中的全方向上的移动，或在向第二手势姿态改变的过程中在立体空间内的全方向上的移动，二者之一所在垂直于计算机设备的显示界面的二维空间得到的线性映射的移动趋势的方向。

B4、获得所有输出信道所代表的窗口与所述确定的视频流的源的所对应的子窗口的相对方向。

B5、通过计算哪个方向更接近B3的方向，从而决定输出的目的信道。

本方法所描述的计算机设备，其检测手势趋势改变的方法为通过计算机设备所联接的一个或多个光学镜头，以普通CCD或CMOS感应器来获得图片流信息，通过图片帧序列的比对来获得。

进一步地，该计算机设备可以以机顶盒的形式通过高清媒体接口(HDMI)与电视、投影仪等设备进行联接，也可以通过嵌入式集成的方式与电视、投影仪等构成一体的智能电视、智能投影仪等。

本发明所述的方法，不需要借助任何特殊的手势传感设备或者物理遥控装置，有着很强的实用价值，为更广泛的视频通话、流信息传输应用打下了坚实的基础。

附图说明

图1为本发明的在计算机联网设备间进行视频流重定向的方法的一个较佳实施例的流程图；

图2为本发明的实施例中计算机设备的联网关系的示意图；

图3为本发明的实施例中计算机设备的视频流显示子窗口的一种排布可能的示意图；

图4为本发明的实施例中计算机设备对手势进行识别，确定定向输出的目的信道，并在界面上进行反馈的示意图；

图5为对图4所示手势的具体移动趋势及姿态变化可能的示意图。

具体实施方式

下面结合附图对所述方法进行更为详细的说明以体现本方法的优势。

图1所示为本发明所公开方法的一个较佳实施例的流程图。该流程包括以下步骤：

101计算机设备同时显示自身及一个或多个其他联网设备所采集的视频流。

102用户通过手势选择计算机设备所显示的视频流中的一个。

103计算机设备将用户选定的视频流定向输出到指定信道。

图2所示为101所示联网设备的一种可能的联网方案。

其中，201所示为移动终端在局域网内，通过AirPlay方式将镜像流投射至计算机设备。202所示为在局域网内，PC设备通过桌面投射方式将桌面投射至计算机设备。203所示为，在互联网中，移动终端通过视频通信应用与计算机设备建立会话。204所示为对等的计算机设备，通过视频通信协议维持视频通话。

在图2所示的联网场景中，计算机设备存在将201至204所示各源视频流输出到任意他方的可能。

图3所示为包括但不限于在201至204所示网络联接都建立情况下，计算机界面的一种视频流所对应子窗口的排布可能。

其中，301为通过Miracast方式投射至图示计算机设备的子窗口，可能的投射设备为基于Android操作***的智能手机、平板等，投射显示的视频可能为手机、平板的界面情况。302为通过AirPlay方式投射至图示计算机设备的子窗口，可能的投射来源为iPhone、iPad等，投射显示内容为终端的界面情况。303所示为PC或笔记本电脑通过Windows上的应用投射至计算机设备的显示子窗口。304所示为以特定视频会话应用获得的远方计算机设备的视频流的显示窗口。305所示为主视频信息的显示窗口，其源可能为301至304的任意一个的实际尺寸的输出。

图4为结合图3所示的界面的可能排布，来实施图1所示方法的一个示意图。

首先，如101所示，计算机设备显示多个其他联网设备所采集的视频流。然后，如401所示，用户通过手势401在界面上的映射来判断手势目前所对应的选中视频流。而计算机对手势的映射的获得，通过402所示的普通光学摄像头来实现。

当用户在通过确定手势选中403所示的子窗口，并做出方向手势之后。根据方向手势的趋势的不同。403所示子窗口所代表的视频流就可能会输出到不同的信道。

若手势方向为406剪头所示，则403所示视频流则输出到405所示的主背景窗口，并扩大到相应尺寸。若手势方向为407剪头所示，则403所示视频流则输出到404所示的输出窗口的监视区域。406、407所示方向，还代表着103所示输出过程的执行中，界面所反馈的视频窗口的动画移动的轨迹方向。

图5所示为401所示手势的移动及姿态变化的示意图。

其中，当用户在102所示的通过手势选择计算机设备所显示的视频流中的一个的过程中，可能的手势移动过程为501到502或者501到503。更具体地，用户的确定手势的一种实施可能为504到505的手势姿态变化，而方向手势为维持501所示的姿态时，在不同角度所进行的手势平移。

通过上述图示结合，可以看出本发明所提供的方法很好的做到了在多路视频显示的合理布局下，仍然可以无需借助其他介质就能实时切换任意一路共享给远端或显示于己方，同时用户体验良好、简单高效。因此兼具实用性与先进性。

根据本发明的示例性实施方式包括计算机可读介质，该计算机可读介质包括用于执行利用各种计算机实现的操作的程序命令。该计算机可读介质可以单独地或者组合地包括程序命令、文件数据和数据结构。该计算机可读介质中记录的程序命令是针对本发明特别设计和形成的，或者是计算机软件领域的普通技术人员已经知道的和已经使用的。

该计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质以及为了存储和执行程序命令而特别形成的诸如ROM、RAM和闪存的硬件设备。该程序命令的示例包括可以由计算机利用翻译器执行的高级语言代码以及由编译器形成的机器语言代码。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种在计算机联网设备间进行视频流重定向的方法，用于提高计算机设备跨网络环境的视频流分享能力，所述方法包括：

A、计算机设备同时显示自身及一个或多个其他联网设备所采集的视频流；

B、用户通过手势选择计算机设备所显示的视频流中的一个；

C、计算机设备将用户选定的视频流定向输出到指定信道。

2.根据权利要求1所述的视频流重定向方法，其特征在于：所述步骤A中，联网设备间的联接方式既包括局域网内的无线联接，也包括互联网网际间的联接。

3.根据权利要求2所述的方法，其特征在于：所述局域网内的无线联接方式，其实现技术包括但不限于Miracast、AirPlay、DLNA等。

4.根据权利要求3所述的方法，其特征在于：所述视频流在所述联网方式下的视频编码标准兼容于H.264及H.265。

5.根据权利要求4所述的方法，其特征在于：所述步骤A中，所述视频流在所述计算机设备上的显示方式包括在界面上提供可交互的小型子窗口区域。

6.根据权利要求5所述的方法，其特征在于：所述步骤C中，所述信道可以为与互联网远端设备进行网际间视频传输的信道，也可为所述计算机内部I/O通信间的信道，即当信道为前者时，远端信道在界面上存在监视子窗口，当信道为后者时，所述输出窗口为所述计算机设备的主背景窗口。

7.根据权利要求6所述的方法，其特征在于：所述步骤B中，所述手势选择包括选定代表某特定视频流的子窗口的确定手势及选定代表定向输出方向的方向手势。

8.根据权利要求7所述的方法，其特征在于：所述确定手势的操作包括以下步骤：

B1、保持手势的特定姿态在立体空间中进行全方向上的移动以使得手势在垂直于计算机设备的显示界面的二维空间的线性映射能重叠于代表某视频流的子窗口；

B2、保持手势的相对位置，改变手势的姿态以得到第二手势，通过手势改变的趋势来确定即将重定向的视频流的源。

9.根据权利要求7所述的方法，其特征在于：所述方向手势的操作包括以下步骤：

B3、获得一个方向，该方向为手势在保持姿态的情况下在立体空间中的全方向上的移动，或在向第二手势姿态改变的过程中在立体空间内的全方向上的移动，二者之一所在垂直于计算机设备的显示界面的二维空间得到的线性映射的移动趋势的方向；

B4、获得所有输出信道所代表的窗口与所述确定的视频流的源的所对应的子窗口的相对方向；

B5、通过计算哪个方向更接近B3的方向，从而决定输出的目的信道。

10.根据权利要求7所述的方法，其特征在于：所述步骤B中，其检测手势选择的方法为通过计算机设备所联接的一个或多个光学镜头，以普通CCD或CMOS感应器来获得图片流信息，通过图片帧序列的比对来获得。

11.根据权利要求1所述的计算机设备，其显示界面的物理载体，包括但不限于液晶屏幕、等离子屏幕、投影仪等。

12.一种计算机可读记录介质，该计算机可读记录介质上记录有用于执行根据权利要求1到10中的任意一项所述的方法的程序。