具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
参照图1,示出了本申请的一种基于SPICE协议的数据传输方法实施例的步骤流程图,所述方法应用于SPICE服务端,所述方法可以包括如下步骤:
步骤101、获取QEMU输出的视频数据,所述视频数据包括完整的桌面图像;
步骤102、根据编码器的配置信息初始化编码器,并利用所述编码器对所述视频数据进行编码,得到编码数据,所述配置信息包括编码类型,所述编码类型包括H264或者H265;
步骤103、根据修改后的SPICE协议,与SPICE客户端创建第一传输通道,所述第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据;
步骤104、通过所述第一传输通道将所述编码数据传输至所述SPICE客户端。
在本申请实施例中,SPICE服务端指的是spice-server,运行在服务器上。SPICE客户端指的是spice-gtk,用于与spice-server交互,显示虚拟机。
本申请实施例提供的基于SPICE协议的数据传输方法,对QEMU的显示驱动进行了修改,使得QEMU输出的一直是完整的桌面图像,而不是脏块,本申请实施例中的桌面指的是SPICE服务端的远程桌面。SPICE服务端的远程桌面图像数据是以视频方式传输,在SPICE客户端进行显示。
此外,本申请实施例提供的基于SPICE协议的数据传输方法,对原有的SPICE协议(spice-protocol)进行修改。根据修改后的SPICE协议,SPICE服务端与SPICE客户端可以创建第一传输通道。第一传输通道是SPICE服务端与SPICE客户端之间的通信通道,所述第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据。例如,SPICE服务端可以通过所述第一传输通道向SPICE客户端传输QEMU输出的视频数据,通过所述第一传输通道传输的视频数据是完整的桌面图像并且经过H264或者H265编码。
H264也即H.264,是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式。
H265也即H.265,是ITU-TVCEG继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264,保留原来的某些技术,同时对一些相关的技术加以改进。
根据修改后的SPICE协议,SPICE服务端与SPICE客户端还可以创建第二传输通道。第二传输通道是SPICE服务端与SPICE客户端之间的通信通道,所述第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据。例如,SPICE客户端可以通过所述第二传输通道向SPICE服务端传输自定义配置数据,以动态修改SPICE服务端的编码器配置参数,如编码类型和码率等。
进一步地,本申请实施例提供的基于SPICE协议的数据传输方法,对QEMU输出的视频数据进行编码压缩。具体地,SPICE服务端对QEMU输出的视频数据进行H264编码或者H265编码后,通过第一传输通道发送至SPICE客户端。
本申请实施例提供的基于SPICE协议的数据传输方法,由于QEMU输出的一直是完整的桌面图像,而不是脏块,因此,当桌面图像的画面变动较大时,不会因为脏块数量较多而影响处理效率,处理效率较高。此外,QEMU输出的完整的桌面图像经过H264或者H265编码后,占用带宽较小且稳定,即使带宽存在瓶颈时,也可以保证运行流畅,减少网络卡顿现象。再者,由于QEMU每次输出的都是完整的桌面图像,分辨率固定,经过编码压缩后大小相差较小,因此产生的带宽波动较小,可以提高网络的稳定性。
本申请实施例通过修改QEMU的显示驱动代码,使QEMU输出完整的桌面图像。QEMU的显示驱动指的是QEMU负责显示的程序。具体地,修改QEMU的显示驱动代码,通过获取远程桌面的宽和高,可以生成与远程桌面的分辨率大小对应的显示内容,即完整的桌面图像。
本申请实施例对原有的SPICE协议进行修改,SPICE服务端和SPICE客户端使用修改后的SPICE协议进行数据传输。本申请实施例中将第一传输通道传输的数据称为第一传输通道数据,将第二传输通道传输的数据称为第二传输通道数据。第一传输通道数据中包含SPICE服务端发送给SPICE客户端的视频编码数据。第二传输通道数据中包含SPICE客户端发送给SPICE服务端的自定义配置数据。
在本申请的一种可选实施例中,所述修改后的SPICE协议中定义有所述第一传输通道的数据传输格式,所述通过所述第一传输通道将所述编码数据传输至所述SPICE客户端,可以包括:按照所述第一传输通道的数据传输格式对所述编码数据进行封装后,通过所述第一传输通道传输至所述SPICE客户端。
本申请实施例对原有的SPICE协议进行修改,具体地,在spice.proto文件中增加第一传输通道的数据传输格式定义,以规定第一传输通道数据的协议格式。
SPICE服务端获取QEMU输出的视频数据,并按照配置信息中的编码类型进行编码后,得到编码数据;按照所述第一传输通道的数据传输格式对所述编码数据进行封装后,得到第一传输通道数据,发送至SPICE客户端。
可选地,定义第一传输通道数据的格式可以包括如下内容:分辨率、编码类型、数据长度、以及数据内容(也即编码数据)。其中,分辨率包括远程桌面的宽度和高度。SPICE客户端接收到SPICE服务端的第一传输通道数据后,可以解析得到其中的编码数据,根据该编码数据的编码类型确定解码器,进而对该编码数据进行解码并显示。
同理,修改后的SPICE协议中还定义有所述第二传输通道的数据传输格式,SPICE客户端将用户设置的自定义配置数据按照所述第二传输通道的数据传输格式对所述自定义配置数据进行封装后,通过所述第二传输通道传输至所述SPICE服务端。
本申请实施例对原有的SPICE协议进行修改,具体地,在spice.proto文件中增加第二传输通道的数据传输格式定义,以规定第二传输通道数据的协议格式。
SPICE客户端接收到用户设置的自定义配置数据后,按照所述第二传输通道的数据传输格式对所述自定义配置数据进行封装后,得到第二传输通道数据,发送至SPICE服务端。自定义配置数据可以包括但不限于编码类型和码率。SPICE服务端接收到SPICE客户端的第二传输通道数据后,可以解析得到其中的自定义配置数据,根据该自定义配置数据可以重新初始化编码器以使自定义配置数据生效。
在使用编码器进行编码之前,SPICE服务端根据配置信息对编码器进行初始化操作。本申请实施例对配置信息的具体形式不做限制,例如可以定义一个结构体用于记录配置信息。配置信息中包含编码器的配置参数,如编码类型、分辨率、以及码率等。编码类型可以包括H264或H265。分辨率包括远程桌面的宽度和高度。码率指视频码率,码率越高,每秒传送数据就越多,画质就越清晰。其中,编码类型和码率可以采用默认的编码类型和码率,还可以通过SPICE客户端自定义修改。例如,假设默认的编码类型为H264,用户通过SPICE客户端可以将编码类型自定义修改为H265。又如,默认的码率为5Mbps,用户通过SPICE客户端可以将码率自定义修改为7Mbps。分辨率可以根据用户的操作自动变更,例如,用户改变远程桌面显示窗口大小时可以自动更新分辨率。当然,配置参数不限于上述列举的编码类型、分辨率、以及码率,还可以包括帧率等其他参数。帧率是以帧称为单位的位图图像连续出现在显示器上的频率(速率)。
在本申请实施例中,SPICE服务端在接收到SPICE客户端发送的自定义配置数据或者在检测到视频数据的分辨率发生变化时,可以自动重新初始化编码器,以使变化的配置参数生效。
在本申请的一种可选实施例中,所述方法还可以包括:
步骤S11、根据修改后的SPICE协议,与所述SPICE客户端创建第二传输通道,所述第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据;
步骤S12、通过所述第二传输通道接收所述SPICE客户端发送的自定义配置数据,所述自定义配置数据包括自定义的编码类型和/或自定义的码率;
步骤S13、根据所述自定义配置数据更新所述配置信息;
步骤S14、根据更新后的配置信息重新初始化编码器。
本申请实施例对原有的SPICE协议(spice-protocol)进行修改,添加了H264编码类型的视频数据的宏定义和H265编码类型的视频数据的宏定义。
本申请实施例在SPICE协议的头文件enum.h中分别增加第一传输通道和第二传输通道的接口函数定义。第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据,如spice-server向spice-gtk传输H264/H265编码的视频数据。第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据,如spice-gtk向spice-server传输自定义配置数据。
在具体实施中,SPICE服务端第一次初始化编码器时,编码器的配置信息中可以为默认的配置参数,SPICE服务端根据默认的配置参数初始化编码器。
本申请实施例通过SPICE客户端可以设置自定义配置数据,如设置自定义的编码类型和/或自定义的码率等,SPICE客户端将用户设置的自定义配置数据按照第二传输通道的数据传输格式进行封装后,通过所述第二传输通道传输至所述SPICE服务端。SPICE服务端接收到SPICE客户端发送的第二传输通道数据后,通过解析所述第二传输通道数据可以获得SPICE客户端的自定义配置数据,并且将自定义配置数据(如自定义的编码类型和/或自定义的码率等)写入配置信息的结构体中,利用更新后的配置信息重新初始化编码器,使得自定义配置数据生效。由此,本申请实施例可以实现动态切换编码器的配置参数,如动态切换编码类型和/或码率等。
在本申请实施例中,用户可以通过SPICE客户端自定义所需要的编码类型,此外,用户还可以通过SPICE客户端手动调节码率等与带宽强相关的配置参数,在网络状况不好时,可以有效解决网络卡顿的问题。
在本申请的一种可选实施例中,所述利用所述编码器对所述视频数据进行编码之前,所述方法还可以包括:将所述视频数据从颜色空间格式转换为亮度空间格式;所述利用所述编码器对所述视频数据进行编码,可以包括:利用所述编码器对所述亮度空间格式的视频数据进行编码。
由于H264和H265编码不支持颜色空间格式(RGB),而支持亮度空间格式(YUV),因此,SPICE服务端获取QEMU输出的视频数据之后,先将所述视频数据从颜色空间格式(RGB)转换为亮度空间格式(YUV);然后从配置信息的结构体中读取编码类型等配置参数,根据读取的配置参数初始化编码器,利用初始化后的编码器对YUV格式的视频数据进行编码,得到编码数据。将编码数据填充至第一传输通道的数据结构中,通过第一传输通道发送至SPICE客户端。
进一步地,在第一传输通道数据发送完成后,可以释放第一传输通道数据占用的内存空间,以提高内存资源利用率。需要说明的是,由于发送第一传输通道数据的过程是异步调用的过程,因此,调用发送第一传输通道数据的命令后不应立刻释放对应的内存空间,否则会引起程序崩溃。本申请实施例通过解引用释放第一传输通道数据占用的内存空间,以解决该问题。解引用指的是返回内存地址中对应的对象。
在本申请的一种可选实施例中,所述方法还可以包括:
步骤S21、获取所述第一传输通道传输的数据;
步骤S22、若检测到所述第一传输通道传输的数据不符合预设的编码要求,则对所述第一传输通道传输的数据重新进行编码;其中,所述预设的编码要求包括:当所述第一传输通道传输的数据为视频数据时,编码类型为H264或者H265。
本申请实施例在SPICE服务端向SPICE客户端传输视频数据的过程中,增加异常处理机制。在SPICE协议中,视频数据的流通方向为:QEMU生成视频数据,通过调用marshall_qxl_drawable函数,将视频数据通过网络发送到SPICE客户端。marshall_qxl_drawable函数为SPICE服务端处理Qemu传过来的视频数据的接口,本申请实施例对SPICE服务端处理QEMU传过来的视频数据的接口进行修改,增加异常处理步骤。具体地,获取所述第一传输通道传输的数据,并检测第一传输通道传输的数据的数据类型和编码类型,当检测到第一传输通道传输的是视频数据时,判断编码类型是否为H264或H265,若编码类型不是H264也不是H265,则确定所述第一传输通道传输的数据不符合预设的编码要求,此时接管所述第一传输通道传输的数据并重新按照H264或H264编码后再发送。
在本申请的一种可选实施例中,所述方法还可以包括:
步骤S31、解析所述视频数据,得到所述桌面图像的当前分辨率;
步骤S32、在确定所述当前分辨率与存储的分辨率不一致时,根据所述当前分辨率重新初始化所述编码器;
步骤S33、将存储的分辨率更新为所述当前分辨率。
当远程桌面的分辨率发生变化时,SPICE服务端(spice-server)会调用display-channel.c文件中的display_channel_create_surface函数,因此,本申请实施例在该函数中添加代码实现步骤S31至S33,用于在检测到当前分辨率发生变化时,根据变化后的当前分辨率重新初始化编码器,并存储当前分辨率,用于下次判断分辨率是否发生变化。
在本申请的一种可选实施例中,所述方法还可以包括:接收SPICE客户端发送的自定义配置数据同步消息。SPICE客户端在每次启动后,可以向SPICE服务端发送自定义配置数据同步消息,也即,通过第二传输通道发送一次自定义配置数据,以同步两端的编码类型和码率等配置参数,使得SPICE服务端的编码器配置参数与SPICE客户端的解码器配置参数相匹配。
参照图2,示出了本申请实施例的一种视频数据传输流向示意图,如图2所示,QEMU输出视频数据至SPICE服务端(spice-server),SPICE服务端(spice-server)对QEMU输出的视频数据进行H264或H265编码后,通过第一传输通道发送至SPICE客户端(spice-gtk)。
参照图3,示出了本申请实施例的一种自定义配置数据传输流向示意图。如图3所示,SPICE客户端(spice-gtk)通过Spicy中的预置选项卡接收用户设置的自定义配置数据(如自定义的编码类型和/或自定义的码率等),SPICE客户端(spice-gtk)通过第二传输通道将所述自定义配置数据发送至SPICE服务端(spice-server),SPICE服务端(spice-server)根据接收到的自定义配置数据重新初始化编码器,以使所述自定义配置数据生效,并利用重新初始化后的编码器对QEMU输出的视频数据进行编码后,通过第一传输通道发送至SPICE客户端(spice-gtk)。
其中,Spicy是基于spice-gtk的一个客户端软件,用于连接spice-server上运行的虚拟机。本申请实施例可以在Spicy中添加预置选项卡,通过预置选项卡可以接收用户设置的自定义配置数据。示例性地,所述预置选项卡中包括用于设置编码类型的选项卡,以及用于设置码率的选项卡。
综上,本申请实施例提供的基于SPICE协议的数据传输方法,对原有的SPICE协议进行了修改,使得QEMU输出的一直是完整的桌面图像,而不是脏块,因此,当桌面图像的画面变动较大时,不会因为脏块数量较多而影响处理效率,处理效率较高。此外,SPICE服务端向SPICE客户端发送的是经过H264或者H265编码压缩后的视频数据,占用带宽较小且稳定,即使带宽存在瓶颈时,也可以保证运行流畅。再者,由于QEMU每次输出的都是完整的桌面图像,分辨率固定,经过编码压缩后大小相差较小,因此产生的带宽波动较小。
参照图4,示出了本申请的一种基于SPICE协议的数据传输方法实施例的步骤流程图,所述方法应用于SPICE客户端,所述方法可以包括如下步骤:
步骤401、根据修改后的SPICE协议,与SPICE服务端创建第一传输通道,所述第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据;
步骤402、通过所述第一传输通道接收所述SPICE服务端发送的编码数据,所述编码数据为所述SPICE服务端利用编码器对QEMU输出的视频数据进行编码得到,所述视频数据包括完整的桌面图像,所述编码器的编码类型包括H264或者H265。
本申请实施例通过修改QEMU的显示驱动代码,使得QEMU输出完整的桌面图像。SPICE服务端获取QEMU输出的视频数据,所述视频数据包括完整的桌面图像。SPICE服务端根据编码器的配置信息初始化编码器,并利用所述编码器对所述视频数据进行编码,得到编码数据,所述配置信息包括编码类型,所述编码类型包括H264或者H265。SPICE客户端使用修改后的SPICE协议(spice-protocol),与SPICE服务端创建第一传输通道,通过所述第一传输通道接收所述SPICE服务端发送的编码数据。
SPICE客户端侧的操作步骤已在前述实施例中说明,此处不再赘述。
此外,本申请实施例对SPICE协议的修改包括SPICE服务端和SPICE客户端两侧的SPICE协议的修改。两侧的修改方式相同,SPICE客户端(spice-gtk)的spice.proto文件与enums.h文件修改方式与SPICE服务端(spice-server)中修改方式相同,此处不再赘述,相互参照即可。
在本申请的一种可选实施例中,所述方法还可以包括:
步骤S41、解析所述编码数据,得到所述编码数据的编码类型;
步骤S42、根据所述编码类型初始化解码器,并利用所述解码器对所述编码数据进行解码,得到解码数据。
SPICE服务端通过第一传输通道发送过来的数据是经过编码的,SPICE客户端想要进行显示需要按照对应编码器的编码类型进行解码后才可以显示。
在本申请实施例中,第一传输通道数据的格式可以包括如下内容:分辨率、编码类型、数据长度、以及数据内容(也即编码数据)。
在SPICE协议中,channel-display.c文件中的channel_set_handlers函数是处理spice-server向spice-gtk传输数据的函数,本申请实施例在该函数中增加处理代码,用来解析所述第一传输通道数据。
具体地,本申请实施例在channel-display.c中创建一个结构体,用于存储spice-server传输过来的各种数据,如spice-gtk显示spice-server发送的ffmpeg视频数据需要的配置参数,包括:分辨率-宽度、分辨率-高度、编码类型、数据长度、编码数据等。
SPICE客户端通过解析SPICE服务端发送的第一传输通道数据,可以得到编码数据以及编码数据的编码类型、数据长度、分辨率-宽度和分辨率-高度。SPICE客户端使用修改后的SPICE协议,与SPICE服务端创建第一传输通道,通过第一传输通道接收SPICE服务端发送的编码数据。SPICE客户端解析所述编码数据,可以得到所述编码数据的编码类型,从而可以根据该编码类型初始化解码器,并利用所述解码器对所述编码数据进行解码,得到解码数据,从而可以渲染显示。
在本申请实施例的一个示例中,初始化解码器的过程可以包括:初始化解码器相关组件;根据编码类型确定解码器;通过传入的分辨率,设置初始化参数。
进一步地,在利用解码器进行解码时,本申请实施例还增加判断条件,在满足判断条件时,重新初始化解码器。所述判断条件包括:解码器未进行过初始化或者解码类型发生改变或者分辨率发生改变。其中,解码类型与SPICE服务端的编码类型相对应,例如,当SPICE服务端使用H264编码类型进行编码时,SPICE客户端使用H264解码类型对SPICE服务端通过第一传输通道发送的编码数据进行解码。SPICE客户端对编码数据解码后可以显示解码后得到的视频数据。
在spice-gtk中,通常使用canvas_base.c文件中的canvas_get_bits函数进行绘图,但是其他外部文件无法对canvas_get_bits函数进行访问,因此,本申请实施例将canvas_get_bits函数封装到目标结构体中,供外部函数调用,目标结构体如记为SpiceCanvasOps。具体地,首先创建一个专用绘图函数,用于对H264或H265编码的视频数据进行绘图;然后在SpiceCanvasOps结构体中新增一个函数指针成员,用于初始化时指向该专用绘图函数。在初始化时,将该专用绘图函数指针写入到SpiceCanvasOps结构体中新增的成员中,之后就可以在channel-display.c中显示H264或H265编码的视频数据。
在本申请的一种可选实施例中,所述修改后的SPICE协议中定义有所述第二传输通道的数据传输格式,所述通过所述第二传输通道向所述SPICE服务端发送所述自定义配置数据,可以包括:按照所述第二传输通道的数据传输格式对所述自定义配置数据进行封装后,通过所述第二传输通道传输至所述SPICE服务端。
在本申请的一种可选实施例中,所述方法还可以包括:
步骤S51、通过预置选项卡接收自定义配置数据,所述自定义配置数据包括自定义的编码类型和/或自定义的码率;
步骤S52、根据修改后的SPICE协议,与所述SPICE客户端创建第二传输通道,所述第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据;
步骤S53、通过所述第二传输通道向所述SPICE服务端发送所述自定义配置数据,以使所述SPICE服务端根据所述自定义配置数据更新编码器的配置信息,并重新初始化编码器。
Spicy是基于spice-gtk的一个客户端软件,用于连接spice-server上运行的虚拟机。本申请实施例可以在Spicy中添加预置选项卡,通过预置选项卡可以接收用户设置的自定义配置数据。示例性地,所述预置选项卡中包括用于设置编码类型的选项卡,以及用于设置码率的选项卡。
需要说明的是,本申请实施例对预置选项卡的种类不做限制,在具体实施中,还可以预留用于自定义其他配置参数的预置选项卡接口。
可选地,所述方法还可以包括:向SPICE服务端发送自定义配置数据同步消息。SPICE客户端在每次启动后,可以向SPICE服务端发送自定义配置数据同步消息,也即,通过第二传输通道发送一次自定义配置数据,以同步两端的编码类型和码率等配置参数,使得SPICE服务端的编码器配置参数与SPICE客户端的解码器配置参数相匹配。
综上,本申请实施例提供的基于SPICE协议的数据传输方法,对原有的SPICE协议进行了修改,使得QEMU输出的一直是完整的桌面图像,而不是脏块,因此,当桌面图像的画面变动较大时,不会因为脏块数量较多而影响处理效率,处理效率较高。此外,SPICE服务端向SPICE客户端发送的是经过H264或者H265编码压缩后的视频数据,占用带宽较小且稳定,即使带宽存在瓶颈时,也可以保证运行流畅,减少网络卡顿现象。再者,由于QEMU每次输出的都是完整的桌面图像,分辨率固定,经过编码压缩后大小相差较小,因此产生的带宽波动较小,可以提高网络的稳定性。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图5,示出了本申请的一种基于SPICE协议的数据传输装置实施例的结构框图,所述装置应用于SPICE服务端,所述装置可以包括:
视频数据获取模块501,用于获取QEMU输出的视频数据,所述视频数据包括完整的桌面图像;
视频数据编码模块502,用于根据编码器的配置信息初始化编码器,并利用所述编码器对所述视频数据进行编码,得到编码数据,所述配置信息包括编码类型,所述编码类型包括H264或者H265;
第一建立模块503,用于根据修改后的SPICE协议,与SPICE客户端创建第一传输通道,所述第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据;
视频数据发送模块504,用于通过所述第一传输通道将所述编码数据传输至所述SPICE客户端。
可选地,所述装置还包括:
第二建立模块,用于根据修改后的SPICE协议,与所述SPICE客户端创建第二传输通道,所述第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据;
配置数据接收模块,用于通过所述第二传输通道接收所述SPICE客户端发送的自定义配置数据,所述自定义配置数据包括自定义的编码类型和/或自定义的码率;
配置信息更新模块,用于根据所述自定义配置数据更新所述配置信息;
第一初始化模块,用于根据更新后的配置信息重新初始化编码器。
可选地,所述装置还包括:
分辨率获取模块,用于解析所述视频数据,得到所述桌面图像的当前分辨率;
第二初始化模块,用于在确定所述当前分辨率与存储的分辨率不一致时,根据所述当前分辨率重新初始化所述编码器;
分辨率保存模块,用于将存储的分辨率更新为所述当前分辨率。
可选地,所述装置还包括:
格式转换模块,用于将所述视频数据从颜色空间格式转换为亮度空间格式;
所述视频数据编码模块,具体用于利用所述编码器对所述亮度空间格式的视频数据进行编码。
可选地,所述修改后的SPICE协议中定义有所述第一传输通道的数据传输格式,所述视频数据发送模块,具体用于按照所述第一传输通道的数据传输格式对所述编码数据进行封装后,通过所述第一传输通道传输至所述SPICE客户端。
可选地,所述装置还包括:
数据截取模块,用于获取所述第一传输通道传输的数据;
数据接管模块,用于若检测到所述第一传输通道传输的数据不符合预设的编码要求,则对所述第一传输通道传输的数据重新进行编码;其中,所述预设的编码要求包括:当所述第一传输通道传输的数据为视频数据时,编码类型为H264或者H265。
参照图6,示出了本申请的一种基于SPICE协议的数据传输装置实施例的结构框图,所述装置应用于SPICE客户端,所述装置可以包括:
第三建立模块601,用于根据修改后的SPICE协议,与SPICE服务端创建第一传输通道,所述第一传输通道用于从所述SPICE服务端向所述SPICE客户端传输数据;
视频数据接收模块602,用于通过所述第一传输通道接收所述SPICE服务端发送的编码数据,所述编码数据为所述SPICE服务端利用编码器对QEMU输出的视频数据进行编码得到,所述视频数据包括完整的桌面图像,所述编码器的编码类型包括H264或者H265。
可选地,所述装置还包括:
视频数据解析模块,用于解析所述编码数据,得到所述编码数据的编码类型;
视频数据解码模块,用于根据所述编码类型初始化解码器,并利用所述解码器对所述编码数据进行解码,得到解码数据。
可选地,所述装置还包括:
配置数据获取模块,用于通过预置选项卡接收自定义配置数据,所述自定义配置数据包括自定义的编码类型和/或自定义的码率;
第四建立模块,用于根据修改后的SPICE协议,与所述SPICE客户端创建第二传输通道,所述第二传输通道用于从所述SPICE客户端向所述SPICE服务端传输数据;
配置数据发送模块,用于通过所述第二传输通道向所述SPICE服务端发送所述自定义配置数据,以使所述SPICE服务端根据所述自定义配置数据更新编码器的配置信息,并重新初始化编码器。
可选地,所述修改后的SPICE协议中定义有所述第二传输通道的数据传输格式,所述配置数据发送模块,具体用于按照所述第二传输通道的数据传输格式对所述自定义配置数据进行封装后,通过所述第二传输通道传输至所述SPICE服务端。
综上,本申请实施例提供的基于SPICE协议的数据传输装置,对原有的SPICE协议进行了修改,使得QEMU输出的一直是完整的桌面图像,而不是脏块,因此,当桌面图像的画面变动较大时,不会因为脏块数量较多而影响处理效率,处理效率较高。此外,SPICE服务端向SPICE客户端发送的是经过H264或者H265编码压缩后的视频数据,占用带宽较小且稳定,即使带宽存在瓶颈时,也可以保证运行流畅,减少网络卡顿现象。再者,由于QEMU每次输出的都是完整的桌面图像,分辨率固定,经过编码压缩后大小相差较小,因此产生的带宽波动较小,可以提高网络的稳定性。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供了一种用于基于SPICE协议的数据传输的装置,包括有存储器,以及一个以上的程序,其中一个以上程序存储于存储器中,且经配置以由一个以上处理器执行所述一个以上程序包含用于进行上述一个或多个实施例中所述的基于SPICE协议的数据传输方法。
图7是根据一示例性实施例示出的一种用于基于SPICE协议的数据传输的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/ O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音信息处理模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/ O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以搜索装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频信息处理(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图8是本申请的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(central processingunits,CPU)1922(例如,一个或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1922可以设置为与存储介质1930通信,在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926,一个或一个以上有线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以上键盘1956,和/或,一个或一个以上操作***1941,例如WindowsServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM等等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行图1所示的基于SPICE协议的数据传输方法。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行前文图1所对应实施例中基于SPICE协议的数据传输方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图1所对应实施例中基于SPICE协议的数据传输方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
以上对本申请所提供的一种基于SPICE协议的数据传输方法、一种基于SPICE协议的数据传输装置和可读存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。