CN104219551A - 一种智能设备屏幕共享与远程控制的方法 - Google Patents

Abstract

本发明属于屏幕共享应用领域，提供一种智能设备屏幕共享与远程控制的方法，该方法包括设备发现、设备的连接以及格式的协商、远程遥控等步骤。本发明方法能够实现各设备连接方式兼容，传输画面流畅，并能同时满足远程控制的要求。

Description

一种智能设备屏幕共享与远程控制的方法

技术领域

本发明属于屏幕共享应用领域，特别涉及一种智能设备屏幕共享与远程控制的方法。

背景技术

汽车导航使人们的出行更加方便，但是导航地图不能及时升级更新也带来了极大的困扰，把手机、平板电脑等移动设备中的导航投射到车载***显示那么就可以很好的解决这个问题；车载***的娱乐功能以及网路功能都不完善，把手机、平板电脑中的娱乐应用投射到车载***中，那么就可以使用车载***体验与智能手机一样的娱乐享受；智能电视的出现方便了人们观看视频的步骤，可以直接使用智能电视搜索感兴趣的视频，但是匹配智能电视应用的匮乏以及电视遥控器的不人性化操作给智能电视的体验也带来了极大的影响，把智能手机的屏幕投射到电视端显示，在手机端操作的方式可以让智能电视带来更棒的操作体验；屏幕共享的实现会让人们的生活更加统一，更加精彩，人们可以只需要一部智能手机，在智能电视上享受手机内的娱乐，在车载上享受手机的导航...目前已经存在了一些屏幕共享的方案，但是大多效果达不到正常体验的需求，有的不能实现兼容其他设备。

目前屏幕共享技术，简单介绍以及优缺点分析如下：

1）Miracast技术：

Miracast是Wi-Fi Alliance于2012年9月19日宣布启动的Wi-Fi CERTIFIED Miracast™认证项目。Miracast设备提供简化发现和设置，用户可以迅速在设备间传输视频。Miracast建立在其他几项Wi-Fi联盟所发展的基础技术之上，包括无线传输技术802.11n(兼容于未来其他传输规格如802.11ac)、点对点连接技术的Wi-Fi Direct与TDLS(Tunneled DirectLink Setup)、安全性方面的WPA2(Wi-Fi Protected Access 2)加密、提供服务质量(QoS)及流量管理的WMM(Wi-Fi Multimedia)技术、省电相关机制的WMM Power Save技术，以及方便用户配置网络的WPS(Wi-Fi Protected Setup)技术，支持HDCP2.0。

在Miracast规格中，将设备分为两类，一类称为传送端(Source)，另一类称为接收端(Sink)。接收端又分为主接收端(Primary Sink)及次接收端(Secondary Sink)，差别在于主接收端能支持影像或声音的数据输出；而次接收端只支持声音的数据输出，这样的区别是由于Miracast提出配对接收端(Coupled Sink)的操作架构，使用者可选择将影音分流至不同设备并同时呈现影音信息。

Miracast技术着力与多媒体数据的共享，没有提供设备远程操作和控制的功能。依赖点对点连接技术，主要应用与局域网内。市面上已有的Miracast设备普遍存在卡顿，延迟等不流畅的现象。

2）DLNA技术：

DLNA(Digital Living Network Alliance) 由索尼、英特尔、微软等发起成立、旨在解决个人PC，消费电器，移动设备在内的无线网络和有线网络的互联互通，使得数字媒体和内容服务的无限制的共享和增长成为可能，目前成员公司已达280多家。 DLNA并不是创造技术，而是形成一种解决的方案，一种大家可以遵守的规范。所以，其选择的各种技术和协议都是目前所应用很广泛的技术和协议。

支持Ethernet(IEEE803.3u)与Wi-Fi(802.11 a/b/g)，采用UPnP标准 在各设备之间的相互侦测。而在媒体内容的发现方面，也同样是采用UPnP机制。支持HTTP标准协议，和RTP(Real-time Transport Protocol)传输协议。

DLNA使用时不需要复杂的设置和驱动的安装工作，即可完成多媒体文件内容的共享。但是它不支持点对点连接技术，不能镜像一个设备的屏幕到另外一个显示设备。

3）AirPlay：

AirPlay是苹果公司的在iOS4.2及OS X Mountain Lion中加入的一种播放技术，可以将iPhone、iPod touch、iPad及Mac（需要OS X Mountain Lion）上的视频镜像传送到支持Airplay的设备（如：音箱、Apple TV)中播放。使用Airplay需要iOS4.2版本的设备或Mac电脑上的iTunes10.1以上版本。视频镜像则需要iOS 5及OS X Mountain Lion。

AirPlay是苹果公司独家的技术。依赖wifi局域网环境，不支持点对点连接技术，支持屏幕镜像方式共享，不支持远程设备镜像方式操作控制。

4）WiDi：

WiDi(Intel Wireless Display)全称为无线高清技术，它是通过WiFi信号来实现电脑和显示设备的无线连接。必须使用在Intel的芯片平台上。同时要求使用Windows 7以上操作***，目前不支持移动设备，需要在电脑上安装专用的软件才能使用。

它能够传输1080p视频，保持60ms的信号延迟，有更低的屏幕刷新功耗，全面兼容Wi-Fi Aliancn Miracast协议，支持多任务（共享视频时，可以操作其他软件），与APPS实时互动等功能。

5）WHDI：

WHDI由领先的消费电子厂商组成的一家协会，旨在为采用无线家庭数字接口(WHDI™)技术的室内和多房间音频、视频和控制连接开发一项全面的新行业标准。新标准的目标是保证不同厂商制造的消费电子设备能够简便直接地实现互连。

它提供了一个高品质，无压缩的无线连接方式，使用5G频段，高达3Gbps的传送速率传输1080p的无损视频数据，支持7.1声道，传输距离达到30M，可穿墙，支持HDCP2.0。但是它只支持点对点的传输，需要硬件设备支持协议，适用范围不如wifi技术。

发明内容

本发明就是针对上述现有技术中的不足之处，而提出的一种智能设备屏幕共享与远程控制的方法，能够实现各设备连接方式兼容，传输画面流畅，并能同时满足远程控制的要求。

本发明的目的是通过如下技术措施来实现的。

一种智能设备屏幕共享与远程控制的方法，该方法包括以下步骤：

（一）设备发现

（1）在有路由器的条件下，有线方式或者无线方式接入局域网，确认网络连接正常，可以通过发送广播的形式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求进行回复来完成设备的发现功能。

（2）在没有路由器的条件下，可以使用wifi p2p的方式连接两台设备，通过发送广播的方式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求予以回复来完成设备的发现功能。

（二）设备的连接以及格式的协商

在设备连接后进行屏幕共享时，一端设备负责获取屏幕数据，经过一定的处理把数据发出去，该端设备称作source端；另一端设备负责接收数据，把接收的数据经过处理进行播放，该端设备称作sink端。

（1）在发现设备的列表中，可以选择一个设备发送连接请求，在连接请求中写明请求对方发送数据还是请求对方接收数据，即自己作为屏幕共享中source端还是sink端。

（2）被请求设备接收到连接请求后，根据设备当前的状态回复接受连接或者拒绝连接。

（3）发起连接请求设备收到对方拒绝连接的回复时，断开连接并提示错误。发起连接请求设备收到对方接受连接的回复时，确认本设备以及对方设备在屏幕共享中角色，即source端还是sink端。

（4）source端发起请求，获取sink端支持的格式。

（5）sink端收到source端获取支持格式的请求时，根据本设备的能力，回复其支持的格式，例如视频可支持原始数据，H264编码格式数据，音频支持MP3格式数据等信息。

（6）source端接收到sink端回复的支持格式后，根据本设备的特点选择一个合适的格式，并把选择的格式发送到sink确认。

（7）sink端在接收到source端发送的格式确认请求后，检查source端选择的格式是否支持，如果不支持，返回不支持回复，断开连接；如果支持，返回支持回复。

（8）source端收到支持回复后，请求sink设备准备接收数据并播放。

（9）sink端设备收到上述请求后，初始化播放器，准备接收数据播放，并返回准备结果。

（10）source端收到sink准备成功后，获取本设备屏幕数据，经过处理发送到sink端。

（11）sink端接收到source端发来的数据后，经过处理进行播放。

（三）远程遥控

（1）在设备连接成功后，sink端采集在屏幕共享过程中用户的操作，例如触摸屏幕等动作，采集后经过处理及时地发送到source端。

（2）source端接收到sink端发来的操作信息，把这些操作信息模拟成设备输入，让设备对这些操作信息做出响应。

本发明与传统的屏幕方式相比其优点在于:

1. 屏幕共享连接方式兼容，可以使用有线连接，无线连接，wifi P2P连接等方式。

2. 画面质量与传输延迟平衡设置，可以根据需求设置画面质量优先还是传输延迟优先。

3. 远程控制，可以把点击，鼠标，键盘控制信息传到远程设备进行操控。

附图说明

图1是本发明的应用场景图。

图2是本发明中两台设备进行连接时相互交换信息的流程图。

图3为使用Gstreamer框架实现的数据传输管道结构示意图。

具体实施方式

如图1所示，智能设备通过无线路由器接入同一个局域网或者两台智能设备之间通过wifi p2p技术连接，都可以通过本发明方法实现屏幕共享以及远程控制功能。下面结合附图及实施例对本发明作进一步的描述。

一 探索目标设备

在智能设备接入同一个局域网的前提下，通过广播的方式来实现探索设备，在广播包中包含目标设备的功能（输入设备即作为sink端或者输出设备即作为source端），在当前局域网内的满足条件设备会对该广播请求予以响应，具体过程如下：

（1）为了达到探测设备的目的，需要协商好端口才能保证目标设备可以接收到探测请求，同时为了防止某个端口被占用导致无法接收请求的情况，此处定义三个用于设备探测使用的端口：7294，9168，12369。

（2）智能设备选择局域网内可见（可以被其他设备探测）时，选择一个上述广播端口中可用的一个端口进行监听，收到数据时，通过验证其数据包头确认是否是探测请求，如果是探测设备请求，那么获取数据包内探测设备属性（输入设备或者输出设备），通过与本设备属性对比确认是否对其请求予以响应，设备探测请求包格式参见表1。

（3）智能设备调用扫描设备功能（指定输出设备或者输出设备）时，首先根据探测设备属性创建探测请求包，然后分别向三个广播端口发出该请求包。在收到响应时，首先检查响应数据包头，确认其是否是探测响应包，如果是探测响应包，那么记录该设备的IP地址以及端口供以后通信使用，设备探测请求/响应包格式参见表1。

二 设备连接格式协商

在发现了设备之后，可以选择其中的一个设备，根据其IP地址以及端口信息进行连接，当两台设备进行连接时，它们之间需要相互交换能力信息如图2所示。比如支持的视频，音频格式，支持的控制指令等，协商采用RTSP协议格式，按照以下的步骤开始协商：

（1）输出设备向输入设备发送RTSP OPTIONS请求，例如：

“OPTIONS * RTSP/1.0 CSeq: i Require: org.wfa.wfd1.0”，

输入设备需回应OK以及支持的操作，例如：

RTSP/1.0 200 OK CSeq: i Date: Sun, Aug 21 2011 04:20:53 GMT

Public: org.wfa.wfd1.0, GET_PARAMETER, SET_PARAMETER

（2）输入设备向输出设备发送RTSP OPTIONS 请求，例如：

“OPTIONS * RTSP/1.0 CSeq: j Require: org.wfa.wfd1.0”，

输出设备需回应OK以及支持的操作，例如：

RTSP/1.0 200 OK CSeq:j Date: Sun, Aug 21 2011 04:20:53 GMT

Public: org.wfa.wfd1.0, SETUP, TEARDOWN, PLAY, PAUSE,GET_PARAMETER, SET_PARAMETER

以上两步输出设备和输入设备相互交换了支持的操作。

（3）输出设备向输入设备发送RTSP GET_PARAMETER 请求, 报文中含有输出设备需要获得的参数列表，包括视频格式，音频格式，rtp接口等，详见wifi display Technical Specification section 6.1.例如：

GET_PARAMETER rtsp://localhost/wfd1.0 RTSP/1.0 CSeq: i+1 Content-Type: text/parameters

Content-Length: 141 wfd_video_formats wfd_audio_codecs wfd_content_protection

wfd_display_edid wfd_coupled_sink wfd_client_rtp_ports

输入设备response 报文包括输出设备查询的详细信息， 例如：

RTSP/1.0 200 OK CSeq: i+1 Content-Length: 290 Content-Type: text/parameters

wfd_video_formats: 00 00 01 01 00000001 00000000 00000000 000000 0000 00 none none

wfd_audio_codecs: LPCM 00000003 00 wfd_3d_video_formats: none

wfd_content_protection: none wfd_display_edid: none wfd_coupled_sink: none

wfd_client_rtp_ports: RTP/AVP/UDP;unicast 1028 0 mode=play

输出设备会根据自身支持的格式适配输入设备的能力，如果遇到无法适配的情况，协商失败。

（4）输出设备向输入设备发送SET_PARAMETER 请求，向输入设备设置参数。例如：

SET_PARAMETER rtsp://localhost/wfd1.0 RTSP/1.0 CSeq: i+2

Content-Type: text/parameters Content-Length: 302

wfd_video_formats: 00 00 01 01 00000001 00000000 00000000 000000 0000 00 none none wfd_audio_codecs: LPCM 00000002 00

wfd_presentation_URL: rtsp://10.82.24.140/wfd1.0/streamid=0 none wfd_client_rtp_ports: RTP/AVP/UDP;unicast 1028 0 mode=play

输入设备接受了所有的参数设置后返回ok，否则协商失败。

三 数据传输

（1）设备协商完成后，成功开始传输数据需要先建立一个会话：

输出设备通知输入设备已经准备好，可以开始传输数据，向输入设备发送一个SETUP的trigger，请求建立会话，例如：

SET_PARAMETER rtsp://localhost/wfd1.0 RTSP/1.0 CSeq: i+3 Content-Type: text/parameters

Content-Length: 27 wfd_trigger_method: SETUP

输入设备回复输出设备发来的SETUP trigger后，会向输出设备发出SETUP的请求，建立会话。

SETUP rtsp://10.82.24.140/wfd1.0/streamid=0 RTSP/1.0 CSeq: j+1

Transport: RTP/AVP/UDP;unicast;client_port=1028

Source的回复带有SessionId，Source负责维护会话，当前会话成功建立。

RTSP/1.0 200 OK CSeq: j+1 Session: 6B8B4567;timeout=30

Transport: RTP/AVP/UDP;unicast;client_port=1028;server_port=5000

（2）会话建立成功后，当收到输出设备带有SessionId的 RTSP ok的回复，输入设备应该开始主动请求输出设备开始传输数据：（发送PLAY的请求）

PLAY rtsp://10.82.24.140/wfd1.0/streamid=0 RTSP/1.0

CSeq: j+2 Session: 6B8B4567

输出设备收到请求后开始向协商好的端口传输数据。

以上是实现设备协商和数据传输的一整套流程。对整套方案我们制定了一些必须遵守的规则：视频或者是音频必须先用MPEG2-TS格式封装后通过RTP方式传输，输入设备和输出设备都必须支持MPEG2-TS包含一路视频和一路音频，或者是只有视频，或者是只有音频。例如使用Gstreamer框架实现的数据传输管道结构如图3所示。

四 远程控制实现方式

远程控制是指输入设备向输出设备发送控制信息，输出设备响应控制信息后屏幕相应产生变化，此时屏幕数据输出到输入设备，这样就达到输入设备控制输出设备的效果。

输入设备采集到鼠标、键盘、触屏等信息后，通过RTSP包发送到输出设备，例如：

INPUT_CONTROL rtsp://localhost/wfd1.0 RTSP/1.0

CSeq: i+1 Content-Type: text/parameters

Mouse: CLICK,194,170

综上所述，使用本发明方法实现屏幕共享可以跨平台，与网络连接方式无关，可以实现各种智能设备之间的屏幕共享。经过实践验证，对于720p的画面质量，屏幕共享的效果可达到延迟500ms，帧率25左右，优于当前市面上的大部分产品。本发明方法应用场景广泛，基于该屏幕共享技术可延伸一系列的应用，并可实现智能设备的远程控制。

Claims (2)

1.一种智能设备屏幕共享与远程控制的方法，其特征在于该方法包括以下步骤：

（一）设备发现

（1）在有路由器的条件下，有线方式或者无线方式接入局域网，确认网络连接正常，通过发送广播的形式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求进行回复来完成设备的发现功能；

（2）在没有路由器的条件下，可以使用wifi p2p的方式连接两台设备，通过发送广播的方式来发现和探索其他设备，在收到其他设备的发现和探索请求时，对该请求予以回复来完成设备的发现功能；

（二）设备的连接以及格式的协商

在设备连接后进行屏幕共享时，一端设备负责获取屏幕数据，经过一定的处理把数据发出去，该端设备称作source端；另一端设备负责接收数据，把接收的数据经过处理进行播放，该端设备称作sink端；

（1）在发现设备的列表中，选择一个设备发送连接请求，在连接请求中写明请求对方发送数据还是请求对方接收数据，即自己作为屏幕共享中source端还是sink端；

（2）被请求设备接收到连接请求后，根据设备当前的状态回复接受连接或者拒绝连接；

（3）发起连接请求设备收到对方拒绝连接的回复时，断开连接并提示错误；发起连接请求设备收到对方接受连接的回复时，确认本设备以及对方设备在屏幕共享中角色，即source端还是sink端；

（4）source端发起请求，获取sink端支持的格式；

（5）sink端收到source端获取支持格式的请求时，根据本设备的能力，回复其支持的格式；

（6）source端接收到sink端回复的支持格式后，根据本设备的特点选择一个合适的格式，并把选择的格式发送到sink确认；

（7）sink端在接收到source端发送的格式确认请求后，检查source端选择的格式是否支持，如果不支持，返回不支持回复，断开连接；如果支持，返回支持回复；

（8）source端收到支持回复后，请求sink设备准备接收数据并播放；

（9）sink端设备收到上述请求后，初始化播放器，准备接收数据播放，并返回准备结果；

（10）source端收到sink准备成功后，获取本设备屏幕数据，经过处理发送到sink端；

（11）sink端接收到source端发来的数据后，经过处理进行播放；

（三）远程遥控

（1）在设备连接成功后，sink端采集在屏幕共享过程中用户的操作，采集后经过处理发送到source端；

（2）source端接收到sink端发来的操作信息，把这些操作信息模拟成设备输入，让设备对这些操作信息做出响应。

2.根据权利要求1所述的智能设备屏幕共享与远程控制的方法，其特征在于：在设备连接之后，屏幕的传输支持多种格式，根据需求选择延迟优先或画面质量优先。