CN109876434A - 一种云游戏图像编码方法和相关装置 - Google Patents

Abstract

本发明公开了一种云游戏图像编码方法，根据显卡属性配置输出桌面，输出桌面包括多个子游戏桌面，然后接收多个用户的游戏请求，并根据不同游戏请求中包含的游戏图像分辨率信息为游戏分配合适的子游戏桌面，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码，具体的预设编码规则指根据需要进行桌面有效游戏内容抓取，然后将不同子游戏桌面内容的编码数据发送给对应的请求用户，避免了带宽浪费，能够最大化利用云服务器的资源。

Description

一种云游戏图像编码方法和相关装置

技术领域

本发明涉及游戏视频编码领域，尤其是一种云游戏图像编码方法、控制设备、电子设备和存储介质以及一种云游戏图像编解码***。

背景技术

随着***的发展，手游爱好者越来越多，但是由于手机屏幕大小的限制，在手机上玩游戏视觉和操控体验都不是很好，因此有人选择在大屏幕电视机上用机顶盒玩手游，并通过游戏手柄控制游戏操作来提升整个体验，但是现在由于一些机顶盒硬件性能和存储空间的限制，所以不是所有的机顶盒都能安装和运行大型的***，因此需要在云服务器上运行***，捕获游戏过程中的音频和视频并编码传输到机顶盒，将音频和视频信号解码并显示，同时机顶盒将游戏手柄的控制指令传输到云服务器，云服务器将控制指令分发给运行中的***，从而实现游戏控制功能。

但是考虑到云服务器成本的问题，一台云服务器上会运行多个不同的***，进行桌面分配时，采用全部发送解码，然后遮盖非请求人的游戏画面，这种方法浪费带宽，不能最大化利用云服务器的CPU及GPU资源，因此需要提出一种在一台云端游戏服务器上同时运行多个***时，以一种高效节约的方法捕获游戏视频画面并编码成视频数据发送给用户的方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种高效节约的云游戏图像编码方法和相关装置。

本发明的另一个目的时提高一种高效的云游戏图像编解码***。

本发明所采用的技术方案是：

第一方面，本发明提供一种云游戏图像编码方法，包括步骤：

根据显卡属性配置多个输出桌面，所述输出桌面包括至少一个子游戏桌面；

接收至少一个游戏请求，并根据所述游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，所述游戏配置信息为游戏图像分辨率；

根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

进一步地，所述预设编码规则具体为：在输出桌面上抓取包含所有有效游戏内容的最小矩形桌面区域，并对所述最小矩形桌面区域进行编码。

进一步地，所述编码采用H.264编码标准或H.265编码标准。

进一步地，所述预设编码规则还包括：根据不同游戏请求分别修改编码后视频的SPS参数，使得不同的游戏请求只获得其对应的子游戏桌面显示的游戏内容。

进一步地，所述子游戏桌面的分辨率相同，且所有的子游戏桌面在所述输出桌面均匀分布。

第二方面，本发明还提供一种云游戏图像编码控制设备，包括：

桌面配置模块，用于根据显卡属性配置输出桌面，所述输出桌面包括至少一个子游戏桌面；

分配游戏桌面模块，用于接收至少一个游戏请求，并根据所述游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，用于显示游戏内容，所述游戏配置信息为游戏图像分辨率；

游戏图像抓取编码模块，用于根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

第三方面，本发明还提供一种云游戏图像编解码***，包括云服务器和至少一个客户端，所述云服务器包括游戏管理服务模块、桌面图像捕获模块、编码模块和传输模块，所述客户端包括游戏播放器模块；

所述游戏管理服务模块接收所述游戏播放器模块发送的游戏请求，并根据所述游戏请求为游戏分配匹配的子游戏桌面；所述桌面图像捕获模块用于利用预设编码规则进行子游戏桌面上游戏内容的抓取，并将抓取的游戏内容发送给编码模块进行编码；所述编码模块用于对抓取的游戏内容进行编码，并根据不同的游戏请求修改编码后视频的SPS参数；所述传输模块用于将编码后的数据根据所述游戏请求发送给对应客户端的游戏播放器模块；

所述游戏播放器模块用于接收所述传输模块发送的编码后的数据，并对其进行解码进行播放显示，所述游戏播放器模块还用于发送对应的游戏控制指令至所述云服务器的游戏管理服务模块。

进一步地，所述客户端包括机顶盒和手机，当所述客户端为机顶盒时，所述游戏控制指令由对应的游戏手柄生成。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

第五方面，本发明还提供一种电子设备，与第四方面所述的计算机可读存储介质连接，所述电子设备通过调用所述计算机可读存储介质中存储的计算机程序，用于执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明首先根据显卡属性配置输出桌面，输出桌面包括多个子游戏桌面，然后接收多个用户的游戏请求，并根据不同游戏请求中包含的游戏图像分辨率信息为游戏分配合适的子游戏桌面，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码，具体的预设编码规则指根据需要进行桌面有效游戏内容抓取，然后将不同子游戏桌面内容的编码数据发送给对应的请求用户，避免了带宽浪费，能够最大化利用云服务器的资源。

附图说明

图1是本发明一种实施方式的云游戏图像编码方法的实现流程图；

图2是本发明一种实施方式的云游戏图像编码方法的输出桌面的一种可能情况示意图；

图3是本发明一种实施方式的云游戏图像编码方法的最小矩形桌面区域的一种情况；

图4是本发明一种实施方式的云游戏图像编码方法的最小矩形桌面区域的另一种情况；

图5是本发明一种实施方式的云游戏图像编码方法的最小矩形桌面区域的另一种情况；

图6是本发明一种实施方式的云游戏图像编码方法的最小矩形桌面区域的另一种情况；

图7是本发明一种实施方式的云游戏图像编码控制设备结构框图；

图8是本发明一种实施方式的云游戏图像编解码***组成框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明提出一种在一台云端游戏服务器上同时运行多个***时，以一种高效节约的方法捕获游戏视频画面并编码成视频数据发送给用户的方法，如实施例一提供的一种云游戏图像编码方法，图1为本发明实施例提供的一种云游戏图像编码方法的实现流程图，如图1所示，该方法可以包括以下步骤：

S1：配置输出桌面，指根据显卡属性配置多个输出桌面，输出桌面包括至少一个子游戏桌面，具体的过程是：云服务器根据其配备的显卡输出口的个数和预设的输出分配方案，将每个显示输出口强制输出成一个输出桌面。

如图2所示，为本实施例中步骤S1中，输出桌面的一种可能情况示意图，这种情况下，例如有4个输出口，可以配置的多个输出桌面包括：3个1920x1080分辨率的子游戏桌面(定义为桌面0、桌面1和桌面2)和1个2560x1440分辨率的子游戏桌面(定义为桌面3)，另外，如果还可以将输出桌面再进行细分，划分成多个小的子游戏桌面，如图中将桌面2(分辨率1920x1080)划分成四个均匀分布的，分辨率为960x540的子游戏桌面，或者将桌面3(分辨率2560x1440)划分成四个均匀分布的，分辨率为1280x720的子游戏桌面，同一个输出桌面的子游戏桌面共用一个输出桌面，其分辨率相同。

S2：根据游戏请求分配桌面，指云服务器接收至少一个游戏请求，并根据游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，其中游戏配置信息为游戏图像分辨率，这里指不同的用户可以像一个云服务器发送不同的游戏请求，由于每个用户要运行的游戏对分辨率的要求不同，因此需要为不同分辨率的游戏分配不同的子游戏桌面进行显示。

如图2中，例如用户请求信息如下：

游戏0：需要的分辨率为1920x1080，则分配一个单独的输出桌面，如桌面0或者桌面1。

游戏1～游戏4：需要的分辨率为1280x720，则分配桌面3的子游戏桌面，即游戏1～游戏4共用桌面3。

游戏5～游戏8：需要的分辨率为960x540，则分配桌面2的子游戏桌面，即游戏5～游戏8共用桌面2。

S3：进行游戏内容抓取编码，指根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

步骤S3中预设编码规则具体为：在输出桌面上抓取包含所有有效游戏内容的最小矩形桌面区域，对最小矩形桌面区域进行编码，最小矩形桌面区域包括以下几种情况。

Windows平台常用的抓屏技术有MirrorDriver和Desktop Duplication API，本实施例采用的是Desktop Duplication API技术获取最小矩形桌面区域。

如图3所示，为本实施例中最小矩形桌面区域的一种情况，其中游戏0的分辨率与桌面0的分辨率一致，此时最小矩形桌面区域即为桌面0的全屏区域，整个卓面都属于有效游戏内容，因此抓取整个桌面内容。

如图4所示，为本实施例中最小矩形桌面区域的另一种情况，其中桌面2(1920x1080)上只运行一个游戏5(960x540)，位于区域5，且游戏5的分辨率小于桌面2的分辨率，此时最小矩形桌面区域即为游戏5的全屏，有效游戏内容为游戏5所在的子游戏桌面区域，此时抓取的是游戏5所在区域5的桌面内容。

如图5所示，为本实施例中最小矩形桌面区域的另一种情况，其中桌面2(1920x1080)上运行游戏5(960x540)，位于区域5和游戏7(960x540)，位于区域7，游戏的分辨率均小于桌面2的分辨率，此时的有效游戏内容即为区域5+区域7的总区域，抓取这个有效区域。

如图6所示，为本实施例中最小矩形桌面区域的另一种情况，其中当桌面2(1920x1080)上运行相同分辨率的游戏5(960x540)～游戏7时，分别位于区域5～区域7，包含有效游戏内容的最小矩形区域为整个桌面2的全屏区域，当桌面2(1920x1080)上运行相同分辨率的游戏5(960x540)～游戏8时，分别位于区域5～区域8，包含有效游戏内容的最小矩形区域也是整个桌面2的全屏区域，因此这两种情况下，均需要抓取整个桌面2的全屏区域。

上述几种最小矩形桌面区域仅仅作为示例，并不做具体情况限定。

根据抓取的游戏内容进行编码，如果只包含一个游戏请求对应的游戏内容，即一个输出桌面只抓取一个游戏的游戏内容时，直接对图像进行编码。如果一个输出桌面包含多个游戏请求对应的游戏内容时，如图5或图6对应的情况，则首先将图像进行编码，然后不同游戏请求对应的不同游戏内容在抓取的图像中的位置信息分别修改编码后视频的SPS参数，例如：frame_cropping_flag，用于判断解码器是否要将图像裁剪后输出，如果需要剪裁后输出，则修改剪裁参数，如：

如H.264编码标准中参数：

1)frame_cropping_flag；

2)frame_crop_left_offset(剪裁图像位置的左边偏移宽度)；

3)frame_crop_right_offset(剪裁图像位置的右边偏移宽度)；

4)frame_crop_top_offset(剪裁图像位置的上边偏移宽度)；

5)frame_crop_bottom_offset(剪裁图像位置的下边偏移宽度)；

如H.265编码标准中参数：

1)conformance_window_flag，用于指示是否要将图像裁剪后输出；

2)conf_win_left_offset(剪裁图像窗口的左边偏移宽度)；

3)conf_win_right_offset(剪裁图像窗口的右边偏移宽度)；

4)conf_win_top_offset(剪裁图像窗口的上边偏移宽度)；

5)conf_win_bottom_offset(剪裁图像窗口的下边偏移宽度)等。

使视频数据在解码后只显示需要的区域，即不同的游戏请求只获得其对应的子游戏桌面显示的游戏内容，如图6中，游戏5只显示区域5,游戏8只显示区域8，考虑到传输实时性，可以采用硬件编码，编码方式为H.264编码标准或者H.265编码标准。

实施例二：

如图7所示，为本发明实施例二提供的一种云游戏图像编码控制设备结构框图，包括：

桌面配置模块，用于根据显卡属性配置输出桌面，输出桌面包括至少一个子游戏桌面；

分配游戏桌面模块，用于接收至少一个游戏请求，并根据游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，用于显示游戏内容，游戏配置信息为游戏图像分辨率；

游戏图像抓取编码模块，用于根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

实施例三：

本发明实施例三提供一种云游戏图像编解码***，如图8所示，为本实施例的云游戏图像编解码***组成框图，图中可见，本***包括云服务器和至少一个客户端，云服务器包括游戏管理服务模块、桌面图像捕获模块、编码模块和传输模块，客户端包括游戏播放器模块；

其中游戏管理服务模块接收游戏播放器模块发送的游戏请求，并根据游戏请求为游戏分配匹配的子游戏桌面；桌面图像捕获模块用于利用预设编码规则进行子游戏桌面上游戏内容的抓取，并将抓取的游戏内容发送给编码模块进行编码；编码模块用于对抓取的游戏内容进行编码，并根据不同的游戏请求修改编码后视频的SPS参数；传输模块用于将编码后的数据根据游戏请求发送给对应客户端的游戏播放器模块。

客户端的游戏播放器模块用于接收传输模块发送的编码后的数据，并对其进行解码进行播放显示，具体的，每个客户端解码自身当前发送的游戏请求对应的游戏内容，并且游戏播放器模块还用于发送对应的游戏控制指令至云服务器的游戏管理服务模块，实现对游戏的操作，客户端可以为机顶盒和手机，当客户端为机顶盒时，游戏控制指令由与机顶盒对应的游戏手柄生成。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

另外，本发明还提供一种电子设备，包括：与上述计算机可读存储介质连接，通过调用上述计算机可读存储介质中存储的计算机程序，执行如实施例一所述的方法。

本发明首先根据显卡属性配置输出桌面，输出桌面包括多个子游戏桌面，然后接收多个用户的游戏请求，并根据不同游戏请求中包含的游戏图像分辨率信息为游戏分配合适的子游戏桌面，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码，具体的预设编码规则指根据需要进行桌面有效游戏内容抓取，然后将不同子游戏桌面内容的编码数据发送给对应的请求用户，避免了带宽浪费，能够最大化利用云服务器的资源。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种云游戏图像编码方法，其特征在于，包括步骤：

根据显卡属性配置多个输出桌面，所述输出桌面包括至少一个子游戏桌面；

接收至少一个游戏请求，并根据所述游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，所述游戏配置信息为游戏图像分辨率；

根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

2.根据权利要求1所述的一种云游戏图像编码方法，其特征在于，所述预设编码规则具体为：在输出桌面上抓取包含所有有效游戏内容的最小矩形桌面区域，并对所述最小矩形桌面区域进行编码。

3.根据权利要求2所述的一种云游戏图像编码方法，其特征在于，所述编码采用H.264编码标准或H.265编码标准。

4.根据权利要求3所述的一种云游戏图像编码方法，其特征在于，所述预设编码规则还包括：根据不同游戏请求分别修改编码后视频的SPS参数，使得不同的游戏请求只获得其对应的子游戏桌面显示的游戏内容。

5.根据权利要求1所述的一种云游戏图像编码方法，其特征在于，所述子游戏桌面的分辨率相同，且所有的子游戏桌面在所述输出桌面均匀分布。

6.一种云游戏图像编码控制设备，其特征在于，包括：

桌面配置模块，用于根据显卡属性配置输出桌面，所述输出桌面包括至少一个子游戏桌面；

分配游戏桌面模块，用于接收至少一个游戏请求，并根据所述游戏请求中包含的游戏配置信息为游戏分配子游戏桌面，用于显示游戏内容，所述游戏配置信息为游戏图像分辨率；

游戏图像抓取编码模块，用于根据接收到的游戏请求不同，利用预设编码规则进行子游戏桌面上游戏内容抓取并编码。

7.一种云游戏图像编解码***，其特征在于，包括云服务器和至少一个客户端，所述云服务器包括游戏管理服务模块、桌面图像捕获模块、编码模块和传输模块，所述客户端包括游戏播放器模块；

所述游戏管理服务模块接收所述游戏播放器模块发送的游戏请求，并根据所述游戏请求为游戏分配匹配的子游戏桌面；所述桌面图像捕获模块用于利用预设编码规则进行子游戏桌面上游戏内容的抓取，并将抓取的游戏内容发送给编码模块进行编码；所述编码模块用于对抓取的游戏内容进行编码，并根据不同的游戏请求修改编码后视频的SPS参数；所述传输模块用于将编码后的数据根据所述游戏请求发送给对应客户端的游戏播放器模块；

所述游戏播放器模块用于接收所述传输模块发送的编码后的数据，并对其进行解码进行播放显示，所述游戏播放器模块还用于发送对应的游戏控制指令至所述云服务器的游戏管理服务模块。

8.根据权利要求7所述的一种云游戏图像编解码***，其特征在于，所述客户端包括机顶盒和手机，当所述客户端为机顶盒时，所述游戏控制指令由对应的游戏手柄生成。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的方法。

10.一种电子设备，其特征在于，与权利要求9所述的计算机可读存储介质连接，所述电子设备通过调用所述计算机可读存储介质中存储的计算机程序，用于执行如权利要求1至5任一项所述的方法。