CN113015021B - 云游戏的实现方法、装置、介质及电子设备 - Google Patents
云游戏的实现方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN113015021B CN113015021B CN202110271819.1A CN202110271819A CN113015021B CN 113015021 B CN113015021 B CN 113015021B CN 202110271819 A CN202110271819 A CN 202110271819A CN 113015021 B CN113015021 B CN 113015021B
- Authority
- CN
- China
- Prior art keywords
- target
- resolution
- image
- terminal
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000009877 rendering Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000003860 storage Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 31
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供一种云游戏的实现方法、装置、介质及电子设备,涉及云行业应用技术领域。该方法包括:在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率;将采集到的图像的分辨率设置为目标分辨率,得到目标图像;基于目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;将目标视频流发送至目标终端,以实现云游戏的运行。本技术方案能够避免云端服务器渲染时显示分辨率与终端渲染时显示分辨率不一致的情况,从而节省了将显示分辨率调整为终端所需的分辨率的过程所需的算力资源。
Description
技术领域
本公开涉及云行业应用技术领域,具体而言,涉及一种云游戏的实现方法、云游戏的实现装置,以及实现上述方法的计算机可读存储介质和电子设备。
背景技术
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。
但是,在云端服务器进行渲染处理的显示分辨率与终端进行渲染时所需的分辨率不一致时,需将显示分辨率调整为终端进行渲染时所需的分辨率。然而,上述过程将造成算力资源的浪费。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种云游戏的实现方法、云游戏的实现装置、电子设备以及计算机可读存储介质,在一定程度上节省算力资源。
根据本公开的一个方面,提供一种云游戏的实现方法,应用于云端服务器,该方法包括:在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率;将采集到的图像的分辨率设置为上述目标分辨率,得到目标图像;基于上述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;将上述目标视频流发送至上述目标终端,以实现上述云游戏的运行。
根据本公开的一个方面,提供一种云游戏的实现装置,配置于云端服务器,该装置包括:分辨率确定模块、分辨率设置模块、视频流确定模块以及视频流发送模块。
其中,上述分辨率确定模块,被配置为:在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率;上述分辨率设置模块,被配置为:将采集到的图像的分辨率设置为上述目标分辨率,得到目标图像;上述视频流确定模块,被配置为:基于上述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;上述视频流发送模块,被配置为:将上述目标视频流发送至上述目标终端,以实现上述云游戏的运行。
在示例性的实施例中,基于前述方案,上述分辨率确定模块,被具体配置为:接收上述目标终端发送的包含目标分辨率的画面显示请求,得到上述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块,被具体配置为:根据当前游戏场景确定画质影响因子,并根据上述画质影响因子确定上述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块,包括:第一确定单元。
其中,上述第一确定单元被配置为:获取当前游戏场景对应的场景标识和显示上述当前游戏场景的目标终端的终端标识;根据上述场景标识获取上述当前游戏场景对应的游戏标识;根据上述终端标识获取上述目标终端的以下信息中的一种或几种:上述目标终端的显示屏信息、上述目标终端相关的网络延迟因素以及上述目标终端的蓝牙信息;将上述场景标识、上述游戏标识以及根据上述终端标识所获取的上述目标终端的信息确定为上述画质影响因子。
在示例性的实施例中,基于前述方案,上述装置还包括:模型训练模块。
其中,上述模型训练模块被配置为:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示上述第i游戏场景的终端的标识,以及终端显示上述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;根据上述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过上述分辨率预测模型确定上述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块还包括:第二确定单元。
其中,上述第二确定单元被配置为:将上述画质影响因子输入训练后的上述分辨率预测模型,根据上述分辨率预测模型的输出确定上述当前游戏场景对应的目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率设置模块,被具体配置为:从图像处理单元的显存采集关于游戏画面的图像,并获取上述图像的原始分辨率;在上述原始分辨率与上述目标分辨率不一致的情况下,更改上述图像的分辨率为上述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率设置模块,还被具体配置为:在上述原始分辨率与上述目标分辨率一致的情况下,保持上述图像的分辨率不变。
在示例性的实施例中,基于前述方案,上述分辨率设置模块,根据上述云端服务器所属的操作***,确定目标接口;根据上述目标接口将上述初始分辨率的图像调整为上述目标分辨率的目标图像。
在示例性的实施例中,基于前述方案,上述视频流确定模块,被具体配置为:基于图像处理单元对上述目标图像进行渲染处理,并基于图像处理单元对渲染处理之后的目标图像进行编码得到目标视频流。
根据本公开的一个方面,提供一种云游戏的实现方法,应用于终端,该方法包括:在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使上述云端服务器将采集到的图像的分辨率设置为上述目标分辨率,得到目标图像,并使上述云端服务器基于上述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;接收上述云端服务器发送的上述目标视频流,以实现上述云游戏的运行。
根据本公开的一个方面,提供一种云游戏的实现装置,配置于终端,该装置包括:发送模块和接收模块。
其中,上述发送模块,被配置为:在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使上述云端服务器将采集到的图像的分辨率设置为上述目标分辨率,得到目标图像,并使上述云端服务器基于上述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;上述接收模块,被配置为:接收上述云端服务器发送的上述目标视频流,以实现上述云游戏的运行。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任意实施例所述的云游戏的实现方法,以及实现上述第三方面所述的云游戏的实现方法。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面中任意实施例所述的云游戏的实现方法,以及实现上述第三方面所述的云游戏的实现方法。
根据本公开的一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各个实施例中提供的云游戏的实现方法。
本公开示例性实施例可以具有以下部分或全部有益效果:
在本公开的一示例实施方式所提供的资源配置方案中,云端服务器进行图像渲染处理之前,先确定确定目标终端的显示画面对应的分辨率(记作,目标分辨率)。并将采集到的图像的分辨率设置为该目标分辨率,得到目标图像。然后再基于上述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流。最终将目标视频流发送至上述目标终端实现该云游戏的运行。本技术方案能够避免云端服务器渲染时显示分辨率与终端渲染时显示分辨率不一致的情况,从而节省了将显示分辨率调整为终端所需的分辨率的过程所需的算力资源。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开一实施例的云游戏的实现方案的示例性应用环境的***架构的示意图。
图2示意性示出了根据本公开的一实施例的云游戏的实现方法的流程示意图。
图3示意性示出了本公开一示例性实施例中云游戏实现过程中云端服务器与终端的交互示意图。
图4示意性示出了本公开另一示例性实施例中云游戏实现过程中云端服务器与终端的交互示意图。
图5示意性示出了根据本公开的另一实施例的云游戏的实现方法的流程示意图。
图6示出本公开一示例性实施例中目标分辨率的确定方法的流程示意图。
图7示意性示出了根据本公开的又一实施例的云游戏的实现方法的流程示意图。
图8示意性示出了根据本公开的再一实施例的云游戏的实现方法的流程示意图。
图9示出了可以应用本公开一实施例的云游戏的实现装置的结构示意图。
图10示出了可以应用本公开另一实施例的云游戏的实现装置的结构示意图。
图11示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。
云游戏是以云计算为基础的游戏方式,在云游戏的运行模式下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,进行编码压缩之后通过网络传输给玩家游戏终端。相关的云游戏实现方案中,云端服务器在进行图像渲染时,显示分辨率一般是固定配置的(如,1920×1080、4096×2160等)。玩家游戏终端不需要任何高端处理器和显卡,即无需拥有强大的图形运算与数据处理能力,只需要基本的视频解压能力以及基本的流媒体播放能力即可。相关的云游戏实现方案中,游戏终端对接收到的压缩音视频流进行解码之后,在游戏终端进行图像渲染时显示分辨率也一般是固定的,具体的终端会根据情况自适应地选择如480×320、720×350或1024×768等的显示分辨率。
可见,云端服务器进行渲染处理的显示分辨率与终端进行渲染时的显示分辨率存在不一致的问题。
针对上述问题,相关技术采用的技术方案如下:在云端服务器进行渲染处理的显示分辨率与终端进行渲染时的显示分辨率不一致时,通过云端服务器在编码压缩时进行上采样或下采样来适配游戏终端渲染时的显示分辨率。例如,在云端服务器进行渲染处理的显示分辨率高于终端进行渲染时所需的分辨率时,则需通过上采用的方式降低显示分辨率;又例如,在云端服务器进行渲染处理的显示分辨率低于终端进行渲染时所需的分辨率时,则需通过上采用的方式提高显示分辨率。
具体的,对于一幅图像I尺寸为M×N,M和N均为正整数,分别表示图像在水平方向上的像素数和垂直方向上的像素数。对图像I进行s倍下采样,即得到(M/s)×(N/s)尺寸的得分辨率图像。对图像I进行s倍上采样,即得到(M*s)×(N*s)尺寸的得分辨率图像。s为大于1的值。其中,上述上采样、下采样主要用的算法有最近邻插值、双线性插值、均值插值、中值插值等方法。
显然,相关技术提供的方案一方面要将消耗云端服务器的算力,另一方面上下采样算法也会丢失部分屏幕显示分辨率像素值,直接影响屏幕游戏画面画质效果。
针对相关技术中存在的上述问题,本技术方案提供一种云游戏的实现方法、云游戏的实现装置,计算机可读存储介质及电子设备,以在一定程度上解决上述问题。
示例性的,图1示出了可以应用本公开一实施例的云游戏的实现方案的示例性应用环境的***架构的示意图。
如图1所示,***架构100可以包括终端110、网络120以及云端服务器130。其中,终端110、网络120以及云端服务器130之间通过网络120连接。
示例性的,终端110为可以承载游戏(例如云游戏)运行的终端设备,具体可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。网络120可以是能够在终端110和云端服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路、无线通信链路或者光纤电缆等等,本申请在此不做限制。云端服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云端服务器。
本公开实施例所提供的云游戏的实现方法可以由云端服务器130中的任何一个节点执行。相应地,云游戏的实现装置一般设置于云端服务器130中。但本领域技术人员容易理解的是,本公开实施例所提供的云游戏的实现方法也可以由终端110执行,相应的,云游戏的实现装置也可以设置于相应的终端中,本示例性实施例中对此不做特殊限定。
示例性的,云端服务器130在进行图像渲染处理之前,若没有确定终端110的显示画面对应的分辨率,则可能存在云端服务器130进行渲染处理的显示分辨率与终端110进行渲染时的显示分辨率很大概率不一致。则云端服务器130在进行渲染处理之后进行编码时,则需通过上采样或者下采样的方式使得发送至终端110的显示分辨率满足终端110的需求。这种情况下,一方面要将消耗云端服务器的算力,另一方面上采样算法也会丢失部分屏幕显示分辨率像素值,直接影响屏幕游戏画面画质效果。
举例而言,在本技术方案的一种示例性云游戏的实现实施例中,云端服务器130在进行图像渲染处理之前,确定终端110(本实施例记作“目标终端”)的显示画面对应的目标分辨率。从而,云端服务器130在进行图像渲染处理之前,将采集到的图像的分辨率设置为上述目标分辨率。然后再进行渲染处理以及编码处理得到目标视频流,并将目标视频流发送至终端110,以实现云游戏的运行。
以下先对本公开提供的云游戏的实现方法实施例的进行详细阐述:
其中,图2出本公开一示例性实施例中云游戏的实现方法的流程示意图,应用于云端服务器。参考图2该方法包括:
步骤S210,在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率;
步骤S220,将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像;
步骤S230,基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;以及,
步骤S240,将所述目标视频流发送至所述目标终端,以实现所述云游戏的运行。
在本图2所示实施例所提供的云游戏的实现方案中,云端服务器进行图像渲染处理之前,先确定确定目标终端的显示画面对应的目标分辨率。并将采集到的图像的分辨率设置为该目标分辨率,然后再对目标分辨率的图像进行渲染处理。从而,云端服务器渲染时显示分辨率与终端渲染所需分辨率是一致,避免了在云端服务器渲染图像之后再通过上下采样等方式调整图像的分辨率,进而节省了将显示分辨率调整为终端所需的分辨率的过程所需的算力资源。同时,也避免了上采样算法而导致的部分屏幕显示分辨率像素值的丢失,有利于提升游戏画面的画质。
在对图2所示实施例中各个步骤的具体实施方式进行详细说明之前,先介绍云游戏实现过程中云端服务器与终端之间的交互。参考图3,云游戏可以分为云端服务器31向终端发送信息的下行过程以及终端32向云端游戏发送数据的上行过程。
其中,下行过程包括:游戏进程运行在云端服务器31,具体的,云端服务器31渲染处理后的音视频画面,经过编码处理之后以压缩后音视频流33的形式传送到终端32。
在示例性的实施例中,结合图4进行说明:为了减少网络传输和多级转发带来的宽度和时延损耗,云游戏的游戏进行运行在带有GPU的边缘计算节点410。其中,边缘节点指在靠近用户的网络边缘侧构建的业务平台,提供存储、计算、网络等资源,将部分关键业务应用下沉到接入网络边缘。
示例性的,一方面边缘计算节点410通过声音采集(步骤S41),声音渲染(步骤S42)以及音频编码(步骤S43),将游戏声音转换为音频流数据,音频流数据的格式如silk/opus/aac等。另一方面,边缘计算节点410通过图像采集(步骤S44),例如,采用定时帧率从显存的帧缓冲区buffer里取出当前最新帧数据,然后经过图像渲染(步骤S45)以及视频编码(步骤S46),将GPU生成的游戏图像转换为视频流数据,视频流数据的格式如VP8/VP9/H.264/H265/AV1等。
在示例性的实施例中,为了提高处理效率及降低延时,云游戏视频处理过程中从GPU显存采集游戏画面,然后传到GPU编码模块进行编码输出;云游戏视频处理过程为从声卡获取游戏声音数据进行编码输出。
从而得到压缩后的音视频流33,基于实时时钟传到终端32,终端32接收到上述音视频流之后,通过解封装处理将音视频流分离成为音频流压缩编码数据和视频流压缩编码数据。然后,分别对音频流压缩编码数据和视频流压缩编码数据进行解码。得到非压缩的视频数据和音频数据。通过解码,压缩编码的视频数据输出成为非压缩的颜色数据,例如YUV420P、RGB等;压缩编码的音频数据输出成为非压缩的音频抽样数据,例如PCM数据。然后,将解码出来的视频和音频数据送至***的显卡和声卡,以使得音视频同步。从而玩家可以通过显示出的画面以及播放处的声音进行游戏过程。
参考图3和图4,云游戏的上行过程包括:终端32通过键盘、鼠标、手柄、触摸屏等设备将操作指令和坐标位置等控制信令34上行传输到云端服务器(如边缘计算节点410)。云端服务器实例再把接收到的操作指令映射成相应的游戏鼠标按键,再通过键盘鼠标驱动发送给真正的游戏服务器完成整个游戏服务体验。
可见,在云游戏的运行模式下,所有游戏进程都在云端服务器31运行,并将渲染完毕后的游戏音视频数据压缩后通过网络传送给用户终端32。然而,针对云端服务器31进行图像渲染(步骤S45)时显示分辨率与终端进行图像渲染(步骤S45’)时的分辨率不一致的情况,本技术方案提供如下解决方案(如图4所示):在云端服务器进行图像渲染(步骤S45)处理之前,确定目标分辨率,以根据目标分辨率设置显示分辨率(步骤S47)。其中,上述目标分辨率为终端32的显示画面对应的分辨率。
在示例性的实施例中,参考图5示出的本公开另一示例性实施例中云游戏的实现方法的流程示意图。
作为步骤S210的一种具体实施方式,执行步骤S510:在进行图像渲染处理之前,接收所述目标终端发送的包含目标分辨率的画面显示请求,得到所述目标分辨率。
在本示例性的实施例中,上述目标分辨率可以是终端根据当前网络情况以及自身设置而自适应选择的分辨率。
在本示例性的实施例中,上述目标分辨率还可以是玩家根据实际需求,在上述目标终端设置的分辨率。如,通过对话框输入或者选择相关分辨率控件的方式进行设置。具体可以是在游戏开始前进行设置,也可以在游戏进行过程中进行该设置。本实施例能够为用户提供一种自主确定终端游戏画面分辨率的方式,用户可以根据自身或实际需求决定当前游戏画面的清晰度,从而满足游戏用户的个性化需求。
作为步骤S210的一种具体实施方式,执行步骤S510’:在进行图像渲染处理之前,根据当前游戏场景确定画质影响因子,并根据所述画质影响因子确定所述目标分辨率。
本示例性的实施例提供了一种基于大数据,根据当前终端、当前游戏以及当前游戏场景,而自适应地确定终端显示画面的分辨率的方案。具体的,作为步骤S510’的一种具体实施方式,图6示出的本公开一示例性实施例中目标分辨率的确定方法的流程示意图。
一方面,该方法通过步骤S610-步骤S640,确定画质影响因子。具体的:
在步骤S610中,获取当前游戏场景对应的场景标识和显示所述当前游戏场景的目标终端的终端标识;在步骤S620中,根据所述场景标识获取所述当前游戏场景对应的游戏标识;在步骤S630中,根据所述终端标识获取所述目标终端的以下信息中的一种或几种:所述目标终端的显示屏信息、所述目标终端相关的网络延迟因素以及所述目标终端的蓝牙信息;在步骤S640中,将所述场景标识、所述游戏标识以及根据所述终端标识所获取的所述目标终端的信息确定为所述画质影响因子。
示例性的,上述当前游戏场景为“xx游戏”中的“yy场景”,则其中场景标识为“yy”、游戏标识为“xx”,其中不同类型游戏或同一游戏中的不同场景均可能在终端显示的分辨率不同。因此,画质影响因子中包含场景标识和游戏标识。同时,终端的相关信息也可能影响终端游戏画面的显示清晰度(分辨率)。因此根据当前显示上述游戏的终端的标识(如终端型号),进一步地,根据该型号获取终端中的显示屏信息,如:显示屏的分辨率、显示屏的尺寸等。还可以获取目标终端相关的网络延迟因素以及蓝牙信息。以上信息均可能影响终端显示画面的清晰度,因此可以作为画质影响因子。从而获取到上述当前游戏场景的画质影响因子。
另一方面。图6所示方法通过步骤S610’和步骤S620’确定分辨率预测模型。具体的:
在步骤S610’中,获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;在步骤S620’中,根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标。
进一步地,在步骤S650中,将所述画质影响因子输入训练后的所述分辨率预测模型,根据所述分辨率预测模型的输出确定所述当前游戏场景对应的目标分辨率。
本技术方案采用人工智能技术来获取当前游戏场景对应的目标分辨率(在游戏终端显示画面的分辨率),以有利于自适应地确定终端显示画面的分辨率的方案。
继续参考图5,在确定上述目标分辨率之后,执行步骤S520:从图像处理单元(Graphical Processing Unit,GPU)的显存采集关于游戏画面的图像,并获取所述图像的原始分辨率。
在示例性的实施例中,为了提高数据处理效率及降低延时,云游戏视频处理过程中直接从GPU显存采集关于游戏画面的图像,以后续传输到GPU编码模块进行编码输出,以减少GPU与CPU之间拷贝导致的性能损失以及减少延时。本实施例中,对于从GPU显存采集到的关于游戏画面的图像,获取这些图像的原始分辨率。
进一步地,执行步骤S530:确定所述原始分辨率与所述目标分辨率是否一致。
在所述原始分辨率与所述目标分辨率不一致的情况下,执行步骤S540:更改所述图像的分辨率为所述目标分辨率。在所述原始分辨率与所述目标分辨率一致的情况下,执行步骤S540’:保持所述图像的分辨率不变。
在示例性的实施例中,在所述原始分辨率与所述目标分辨率不一致的情况下,将采集到的图像的分辨率设置为上述目标分辨率的具体实施方式(作为步骤S220的一种具体实施方式),如下:根据该云端服务器所属的操作***确定目标接口,进而根据目标接口将所述始分辨率的图像调整为上述目标分辨率的目标图像。具体地,如操作***为windows则对应的目标接口为ChangeDisplaySettings、ChangeDisplaySettingsEX;若操作***为nvdia则目标接口为GPU的NvAPI_DISP_SetDisplayConfig等。
继续参考图5,在步骤S550中,基于图像处理单元对所述目标图像进行渲染处理,并基于图像处理单元对渲染处理之后的目标图像进行编码得到目标视频流。
在示例性的而实施了中,同前所述,为了提高数据处理效率及降低延时,减少GPU与CPU之间拷贝导致的性能损失,云游戏视频处理过程中直接从GPU显存采集关于游戏画面的图像,基于图像处理单元GPU对上目标图像进行渲染处理,并基于图像处理单元GPU的编码模块对渲染处理之后的目标图像进行编码得到目标视频流。
在步骤S560中,将所述目标视频流发送至所述目标终端,以实现所述云游戏的运行。
在目标终端对目标视频流进行解压缩处理以及解码处理等步骤之后,对目标分辨率的图像进行渲染及展示。其中,目标终端进行解压缩处理以及解码处理等步骤的实施方式以在前述实施例中进行了介绍在此不再赘述。
在示例性的实施例中,图7示出本公开再一示例性实施例中云游戏的实现方法的流程示意图,应用于终端。参考图7该方法包括:
步骤S710,在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使所述云端服务器将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像,并使所述云端服务器基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;以及,
步骤S720,接收所述云端服务器发送的所述目标视频流,以实现所述云游戏的运行。
鉴于步骤S710和步骤S720的具体实施方式在前述实施例中进行了相关介绍,因此在此不再赘述。
本技术方案提供的云游戏实现方案,云端服务器在对采集的图像进行渲染处理之间,先基于终端的显示画面对应的目标分辨率对采集的图像进行分辨率设置,从而保证云端屏幕显示渲染的分辨率和用户请求分辨率一致,进而一方面没有浪费屏幕显示分辨率不一致产生的渲染算力,另一方面也不用对实时采集的屏幕画面进行图像上下采样影响画面画质和计算算力。
相较于相关技术,基于本技术方案优化后,云游戏在终端的画面每秒传输帧数(Frames Per Second,FPS)能够上升至少5帧(参考图8)。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由处理器(包含CPU和GPU)执行的计算机程序。在该计算机程序被处理器执行时,执行本公开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
以下对本技术方案提供的配置于云端服务器的云游戏的实现装置进行介绍:
参考图9所示,该云游戏的实现装置900包括:分辨率确定模块901、分辨率设置模块902、视频流确定模块903以及视频流发送模块904。
其中,上述分辨率确定模块901,被配置为:在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率;上述分辨率设置模块902,被配置为:将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像;上述视频流确定模块903,被配置为:基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;上述视频流发送模块904,被配置为:将所述目标视频流发送至所述目标终端,以实现所述云游戏的运行。
在示例性的实施例中,基于前述方案,上述分辨率确定模块901,被具体配置为:接收所述目标终端发送的包含目标分辨率的画面显示请求,得到所述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块901,被具体配置为:根据当前游戏场景确定画质影响因子,并根据所述画质影响因子确定所述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块901,包括:第一确定单元9011。
其中,上述第一确定单元9011被配置为:获取当前游戏场景对应的场景标识和显示所述当前游戏场景的目标终端的终端标识;根据所述场景标识获取所述当前游戏场景对应的游戏标识;根据所述终端标识获取所述目标终端的以下信息中的一种或几种:所述目标终端的显示屏信息、所述目标终端相关的网络延迟因素以及所述目标终端的蓝牙信息;将所述场景标识、所述游戏标识以及根据所述终端标识所获取的所述目标终端的信息确定为所述画质影响因子。
在示例性的实施例中,基于前述方案,上述装置还包括:模型训练模块905。
其中,上述模型训练模块905被配置为:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过所述分辨率预测模型确定所述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率确定模块901还包括:第二确定单元9012。
其中,上述第二确定单元9012被配置为:将所述画质影响因子输入训练后的所述分辨率预测模型,根据所述分辨率预测模型的输出确定所述当前游戏场景对应的目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率设置模块902,被具体配置为:从图像处理单元的显存采集关于游戏画面的图像,并获取所述图像的原始分辨率;在所述原始分辨率与所述目标分辨率不一致的情况下,更改所述图像的分辨率为所述目标分辨率。
在示例性的实施例中,基于前述方案,上述分辨率设置模块902,还被具体配置为:在所述原始分辨率与所述目标分辨率一致的情况下,保持所述图像的分辨率不变。
在示例性的实施例中,基于前述方案,上述分辨率设置模块902,根据所述云端服务器所属的操作***,确定目标接口;根据所述目标接口将所述初始分辨率的图像调整为所述目标分辨率的目标图像。
在示例性的实施例中,基于前述方案,上述视频流确定模块903,被具体配置为:基于图像处理单元对所述目标图像进行渲染处理,并基于图像处理单元对渲染处理之后的目标图像进行编码得到目标视频流。
以下对本技术方案提供的配置于终端的云游戏的实现装置进行介绍:
参考图10所示,该云游戏的实现装置1000包括:发送模块1001和接收模块1002。
其中,上述发送模块1001,被配置为:在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使所述云端服务器将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像,并使所述云端服务器基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;以及,上述接收模块1002,被配置为:接收所述云端服务器发送的所述目标视频流,以实现所述云游戏的运行。
上述云游戏的实现装置中各模块或单元的具体细节已经在对应的云游戏的实现方法中进行了详细的描述,因此此处不再赘述。
图11示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。
需要说明的是,图11示出的电子设备的计算机***1100仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示,计算机***1100包括处理器1101,其中处理器1101可以包含:图形处理单元(Graphics Processing Unit,GPU)、中央处理单元(Central Processing Unit,CPU),其可以根据存储在只读存储器(Read-Only Memory,ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory,RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中,还存储有***操作所需的各种程序和数据。处理器(GPU/CPU)1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output,I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被处理器(GPU/CPU)1101执行时,执行本申请的***中限定的各种功能。在一些实施例中,计算机***1100还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (15)
1.一种云游戏的实现方法,其特征在于,应用于云端服务器,所述方法包括:
在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,其中,确定目标终端的显示画面对应的目标分辨率的方法包括:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;
根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过所述分辨率预测模型确定所述目标分辨率;
将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像;
基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;
将所述目标视频流发送至所述目标终端,以实现所述云游戏的运行。
2.根据权利要求1所述的方法,其特征在于,确定目标终端的显示画面对应的目标分辨率,包括:
接收所述目标终端发送的包含目标分辨率的画面显示请求,得到所述目标分辨率。
3.根据权利要求1所述的方法,其特征在于,确定目标终端的显示画面对应的目标分辨率,包括:
根据当前游戏场景确定画质影响因子,并根据所述画质影响因子确定所述目标分辨率。
4.根据权利要求3所述的方法,其特征在于,根据当前游戏场景确定画质影响因子,包括:
获取当前游戏场景对应的场景标识和显示所述当前游戏场景的目标终端的终端标识;
根据所述场景标识获取所述当前游戏场景对应的游戏标识;
根据所述终端标识获取所述目标终端的以下信息中的一种或几种:所述目标终端的显示屏信息、所述目标终端相关的网络延迟因素以及所述目标终端的蓝牙信息;
将所述场景标识、所述游戏标识以及根据所述终端标识所获取的所述目标终端的信息确定为所述画质影响因子。
5.根据权利要求3所述的方法,其特征在于,根据所述画质影响因子确定所述目标分辨率,包括:
将所述画质影响因子输入训练后的所述分辨率预测模型,根据所述分辨率预测模型的输出确定所述当前游戏场景对应的目标分辨率。
6.根据权利要求1至3中任意一项所述的方法,其特征在于,将采集到的图像的分辨率设置为所述目标分辨率,包括:
从图像处理单元的显存采集关于游戏画面的图像,并获取所述图像的原始分辨率;
在所述原始分辨率与所述目标分辨率不一致的情况下,更改所述图像的分辨率为所述目标分辨率。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述原始分辨率与所述目标分辨率一致的情况下,保持所述图像的分辨率不变。
8.根据权利要求6所述的方法,其特征在于,将采集到的图像的分辨率设置为所述目标分辨率,包括:
根据所述云端服务器所属的操作***,确定目标接口;
根据所述目标接口将所述原始分辨率的图像调整为所述目标分辨率的目标图像。
9.根据权利要求1至3中任意一项所述的方法,其特征在于,基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流,包括:
基于图像处理单元对所述目标图像进行渲染处理,并基于图像处理单元对渲染处理之后的目标图像进行编码得到目标视频流。
10.一种云游戏的实现方法,其特征在于,应用于终端,所述方法包括:
在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使所述云端服务器将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像,并使所述云端服务器基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;
其中,确定目标终端的显示画面对应的目标分辨率的方法包括:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过所述分辨率预测模型确定所述目标分辨率;
接收所述云端服务器发送的所述目标视频流,以实现所述云游戏的运行。
11.一种云游戏的实现装置,其特征在于,配置于云端服务器,所述装置包括:
分辨率确定模块,被配置为:在进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,其中,确定目标终端的显示画面对应的目标分辨率的方法包括:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过所述分辨率预测模型确定所述目标分辨率;
分辨率设置模块,被配置为:将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像;
视频流确定模块,被配置为:基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;
视频流发送模块,被配置为:将所述目标视频流发送至所述目标终端,以实现所述云游戏的运行。
12.根据权利要求11所述的装置,其特征在于,所述分辨率确定模块,包括:第一确定单元,所述第一确定单元被配置为:
获取当前游戏场景对应的场景标识和显示所述当前游戏场景的目标终端的终端标识;
根据所述场景标识获取所述当前游戏场景对应的游戏标识;
根据所述终端标识获取所述目标终端的以下信息中的一种或几种:所述目标终端的显示屏信息、所述目标终端相关的网络延迟因素以及所述目标终端的蓝牙信息;
将所述场景标识、所述游戏标识以及根据所述终端标识所获取的所述目标终端的信息确定为画质影响因子。
13.一种云游戏的实现装置,其特征在于,配置于终端,所述装置包括:
发送模块,被配置为:在云端服务器进行图像渲染处理之前,确定目标终端的显示画面对应的目标分辨率,以使所述云端服务器将采集到的图像的分辨率设置为所述目标分辨率,得到目标图像,并使所述云端服务器基于所述目标图像进行渲染处理,并对渲染后的目标图像进行编码得到目标视频流;
其中,确定目标终端的显示画面对应的目标分辨率的方法包括:获取N组样本数据,第i组样本数据包括:第i游戏场景对应的场景标识、显示所述第i游戏场景的终端的标识,以及终端显示所述第i游戏场景时的分辨率,N为正整数,i为不大于N的正整数;根据所述N组样本数据训练分辨率预测模型,以使训练后的分辨率预测模型满足预设的模型评价指标,并通过所述分辨率预测模型确定所述目标分辨率;
接收模块,被配置为:接收所述云端服务器发送的所述目标视频流,以实现所述云游戏的运行。
14.一种计算机可读存储介质,其特征在于,其上存储有计算机程序;
所述计算机程序被处理器执行时实现如权利要求1至9中任意一项所述的云游戏的实现方法,以及执行时实现如权利要求10所述的云游戏的实现方法。
15.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述的云游戏的实现方法,以及执行时实现如权利要求10所述的云游戏的实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271819.1A CN113015021B (zh) | 2021-03-12 | 2021-03-12 | 云游戏的实现方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271819.1A CN113015021B (zh) | 2021-03-12 | 2021-03-12 | 云游戏的实现方法、装置、介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113015021A CN113015021A (zh) | 2021-06-22 |
CN113015021B true CN113015021B (zh) | 2022-04-08 |
Family
ID=76406439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271819.1A Active CN113015021B (zh) | 2021-03-12 | 2021-03-12 | 云游戏的实现方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113015021B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113535105B (zh) * | 2021-06-30 | 2023-03-21 | 北京字跳网络技术有限公司 | 媒体文件处理方法、装置、设备、可读存储介质及产品 |
CN113655975B (zh) * | 2021-08-10 | 2022-12-02 | 北京百度网讯科技有限公司 | 图像显示方法、装置、电子设备和介质 |
CN113778589A (zh) * | 2021-08-20 | 2021-12-10 | 广州虎牙科技有限公司 | 屏幕适配方法、服务器、智能终端、电子设备及存储介质 |
CN114125135B (zh) * | 2021-11-08 | 2023-07-04 | 北京百度网讯科技有限公司 | 一种视频内容呈现方法、装置、电子设备和存储介质 |
CN114501062B (zh) * | 2022-01-27 | 2023-02-21 | 腾讯科技(深圳)有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
CN114466212A (zh) * | 2022-02-07 | 2022-05-10 | 百度在线网络技术(北京)有限公司 | 一种直播方法、装置、电子设备和介质 |
CN114554284B (zh) * | 2022-02-22 | 2023-08-11 | 网易(杭州)网络有限公司 | 画质信息处理方法、装置、计算机设备及存储介质 |
CN116777739A (zh) * | 2022-03-10 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 图像处理方法、游戏渲染方法、装置、设备及存储介质 |
CN115086696B (zh) * | 2022-06-07 | 2023-11-10 | 北京蔚领时代科技有限公司 | 一种视频播放控制方法、装置、电子设备及存储介质 |
CN114745570B (zh) * | 2022-06-09 | 2022-11-11 | 荣耀终端有限公司 | 图像的渲染方法、电子设备及存储介质 |
CN115984119B (zh) * | 2023-03-20 | 2023-06-20 | 中科星图维天信(北京)科技有限公司 | 气象数据处理方法、装置、电子设备及存储介质 |
CN116440501B (zh) * | 2023-06-16 | 2023-08-29 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和*** |
CN116567296B (zh) * | 2023-07-11 | 2023-10-03 | 中国电信股份有限公司 | 视频画面处理方法、装置、计算机设备和存储介质 |
CN116828215B (zh) * | 2023-08-30 | 2023-11-14 | 湖南马栏山视频先进技术研究院有限公司 | 一种降低本地算力负荷的视频渲染方法及*** |
CN117138352B (zh) * | 2023-10-30 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 应用程序的运行方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888485A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 云计算资源的分配方法、装置及*** |
CN110368689A (zh) * | 2019-07-19 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 游戏界面的显示方法、***、电子设备及存储介质 |
US10537799B1 (en) * | 2018-03-23 | 2020-01-21 | Electronic Arts Inc. | User interface rendering and post processing during video game streaming |
CN111544886A (zh) * | 2020-04-30 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 一种画面显示的方法以及相关装置 |
CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 画质调整方法和装置、存储介质及电子设备 |
CN111966311A (zh) * | 2020-07-15 | 2020-11-20 | 北京视博云信息技术有限公司 | 云游戏的显示设置方法、装置、可读存储介质及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9609275B2 (en) * | 2015-07-08 | 2017-03-28 | Google Inc. | Single-stream transmission method for multi-user video conferencing |
-
2021
- 2021-03-12 CN CN202110271819.1A patent/CN113015021B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103888485A (zh) * | 2012-12-19 | 2014-06-25 | 华为技术有限公司 | 云计算资源的分配方法、装置及*** |
US10537799B1 (en) * | 2018-03-23 | 2020-01-21 | Electronic Arts Inc. | User interface rendering and post processing during video game streaming |
CN110368689A (zh) * | 2019-07-19 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 游戏界面的显示方法、***、电子设备及存储介质 |
CN111544886A (zh) * | 2020-04-30 | 2020-08-18 | 腾讯科技(深圳)有限公司 | 一种画面显示的方法以及相关装置 |
CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 画质调整方法和装置、存储介质及电子设备 |
CN111966311A (zh) * | 2020-07-15 | 2020-11-20 | 北京视博云信息技术有限公司 | 云游戏的显示设置方法、装置、可读存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113015021A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113015021B (zh) | 云游戏的实现方法、装置、介质及电子设备 | |
CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
AU2011317052B2 (en) | Composite video streaming using stateless compression | |
WO2021068598A1 (zh) | 共享屏幕的编码方法、装置、存储介质及电子设备 | |
CN112533059B (zh) | 图像渲染方法、装置、电子设备以及存储介质 | |
CN105191321A (zh) | 分发控制***、分发控制方法和计算机可读存储介质 | |
CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
CN110827380B (zh) | 图像的渲染方法、装置、电子设备及计算机可读介质 | |
WO2021190229A1 (zh) | 三维视频的处理方法、装置、可读存储介质和电子设备 | |
CN105122224A (zh) | 分发控制***、分发控制方法和计算机可读存储介质 | |
CN114245209B (zh) | 视频分辨率确定、模型训练、视频编码方法及装置 | |
CN112843676A (zh) | 数据处理方法、装置、终端、服务器及存储介质 | |
CN114554211A (zh) | 内容自适应视频编码方法、装置、设备和存储介质 | |
CN110572673B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN113973224B (zh) | 媒体信息的传输方法、计算设备及存储介质 | |
CN113327303B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110891195B (zh) | 花屏图像的生成方法、装置、设备和存储介质 | |
CN110572677B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN112422876A (zh) | 图像处理方法和服务器 | |
CN113839829A (zh) | 云游戏延时测试方法、装置、***及电子设备 | |
WO2023024832A1 (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
JP2014075737A (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
WO2023104186A1 (zh) | 一种高效低成本的云游戏*** | |
CN106658070B (zh) | 视频重定向的方法和装置 | |
CN116980392A (zh) | 媒体流处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046443 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |