CN111617466A - 编码格式的确定方法、装置及云游戏的实现方法 - Google Patents

编码格式的确定方法、装置及云游戏的实现方法 Download PDF

Info

Publication number
CN111617466A
CN111617466A CN202010397724.XA CN202010397724A CN111617466A CN 111617466 A CN111617466 A CN 111617466A CN 202010397724 A CN202010397724 A CN 202010397724A CN 111617466 A CN111617466 A CN 111617466A
Authority
CN
China
Prior art keywords
terminal
game
current period
determining
maximum available
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010397724.XA
Other languages
English (en)
Other versions
CN111617466B (zh
Inventor
聂国梁
徐嵩
林鹏
张秋芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202010397724.XA priority Critical patent/CN111617466B/zh
Publication of CN111617466A publication Critical patent/CN111617466A/zh
Application granted granted Critical
Publication of CN111617466B publication Critical patent/CN111617466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供一种编码格式的确定方法、装置及云游戏的实现方法；包括：确定终端在当前周期的缓冲情况以及信道质量情况；确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。本发明实施例能够根据中间通信节点所能提供的通信资源以及终端的缓冲情况，预测终端的最大可用通信速率，从而自动调整编码格式。

Description

编码格式的确定方法、装置及云游戏的实现方法
技术领域
本发明涉及通信技术领域，尤其涉及一种编码格式的确定方法、装置及云游戏的实现方法。
背景技术
云游戏(Cloud gaming)是一种以云计算和高效视频编解码技术为基础的在线游戏技术。在云游戏场景下，游戏在云端服务器中运行，服务器通过渲染生成游戏图像，并将游戏图像实时编码为音视频流，然后通过网络传输给玩家游戏终端。玩家游戏终端仅需拥有基本的音视频流解码能力即可运行游戏。云游戏技术让运算能力相对有限的各类低价终端设备也能够运行各类高品质游戏。
云游戏与传统游戏相比的一个主要区别在于：传统游戏的渲染工作全部由游戏终端完成，对游戏终端性能要求较高；而云游戏的渲染工作全部由游戏服务器完成，对游戏终端性能要求较低。
云游戏固然降低了对游戏终端的性能要求，但也增加了对网络传输的带宽要求。而网络带宽(特别是无线带宽)会受到游戏终端所在小区、小区内位置、同一小区接入用户数等多种因素的影响。一旦网络带宽发生变化，将会影响云游戏渲染后所生成的音视频流的传输，进而影响用户在游戏终端的体验。
为了克服由于网络带宽的变化所带来的不利影响。现有技术中，一般由用户根据主观感受，手工调节游戏服务器所输出的音视频流的编码格式，以使得音视频流的传输需求能够与网络带宽相匹配。但这种方法无法实现对网络带宽的预测，只能根据现有的网络带宽进行被动调节，影响用户体验。
发明内容
本发明实施例提供一种编码格式的确定方法、装置及云游戏的实现方法，用以解决现有技术中无法实现对网络带宽的预测，只能根据现有的网络带宽被动调节编码格式的缺陷。
本发明第一方面实施例提供一种编码格式的确定方法，包括：
确定终端在当前周期的缓冲情况以及信道质量情况；
确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；
根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；
根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
上述技术方案中，所述根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率包括：
根据终端在当前周期的缓冲情况、信道质量情况、中间通信节点在当前周期的并发用户数以及预先已知的中间通信节点的最大可用速率计算终端在当前周期可用的中间通信节点通信速率；
根据终端在前一周期测量得到的通信速率、终端在当前周期可用的中间通信节点通信速率、终端在当前周期的缓冲情况、周期长度以及调整参数预测终端在当前周期的预测的最大可用通信速率；其中，
所述调整参数是根据终端在前一周期可用的中间通信节点通信速率、终端在前一周期的缓冲情况以及终端在前一周期之前的一个周期测量得到的通信速率所确定的。
上述技术方案中，所述根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式包括：
当第一编码格式的码率最接近并且不大于所述终端在当前周期的预测的最大可用通信速率，则将所述第一编码格式确定为视频流所采用的编码格式。
本发明第二方面实施例提供了一种云游戏的实现方法，包括：
按照所述的编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
上述技术方案中，还包括：
当游戏终端在当前周期的预测的最大可用通信速率无法匹配最小码率的编码格式时，向游戏终端发送切换到本地渲染的指令，并向游戏终端发送游戏的最新增量进展，以使得游戏终端根据所接收到的游戏的最新增量进展恢复本地游戏上下文，并在游戏终端进行游戏渲染。
上述技术方案中，在向游戏终端发送切换到本地渲染的指令之前，还包括：
向游戏终端推送游戏的静态信息以及游戏增量进展信息。
上述技术方案中，在向游戏终端发送切换到本地渲染的指令之后，还包括：
当测量得到的游戏终端在当前周期的通信速率能够匹配最小码率的编码格式时，向游戏终端发送切换到云渲染的指令；其中，所述云渲染为在服务器端进行游戏渲染。
本发明第三方面实施例提供一种编码格式的确定装置，包括：
终端数据确定模块，用于确定终端在当前周期的缓冲情况以及信道质量情况；
中间通信节点数据确定模块，用于确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；
最大可用通信速率确定模块，用于根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；
编码格式确定模块，用于根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
本发明第四方面实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述编码格式的确定方法，或实现如本发明第二方面实施例所述云游戏的实现方法的步骤。
本发明第五方面实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述编码格式的确定方法，或实现如本发明第二方面实施例所述云游戏的实现方法的步骤。
本发明实施例提供的编码格式的确定方法、装置及云游戏的实现方法，能够根据中间通信节点所能提供的通信资源以及终端的缓冲情况，预测终端的最大可用通信速率，从而自动调整编码格式，提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的编码格式的确定方法的流程图
图2为本发明实施例提供的编码格式的确定装置的示意图；
图3为本发明实施例所示例的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的编码格式的确定方法能应用于云游戏、视频或音频网络传输服务等多个领域。
在以下的实施例中，将以云游戏为例，对本发明实施例提供的编码格式的确定方法予以说明。为了便于理解，首先对云游戏的网络架构进行说明。
云游戏的运行需要服务器端与游戏终端的协同配合。服务器端通过渲染生成游戏图像，并将游戏图像实时编码为音视频流，然后通过网络传输给游戏终端。游戏终端接收并解码音视频流，运行游戏。其中，在服务器端完成渲染生成游戏图像的过程也被称为云渲染。
服务器端可以是一台单独的游戏服务器，也可以是多台游戏服务器。对于用户分布范围广泛、延时要求高的云游戏而言，服务器端一般包括多个游戏服务器，其中一个游戏服务器是主游戏服务器，其余游戏服务器作为游戏服务器代理部署在距离终端用户较近的地方。例如，在5G网络环境下，可在MEC(Mobile Edge Computing,移动边缘计算)节点上部署游戏服务器代理，这能极大的减少端到端网络时延。
无论是主游戏服务器，还是游戏服务器代理，在实现本发明实施例提供的方法时并无本质上的区别，因此在本发明实施例中，将主游戏服务器和游戏服务器代理都统一称为服务器端。
游戏终端是指能够接收游戏音视频流并运行游戏的终端设备。游戏机、电脑、智能手机等都可以作为游戏终端。
服务器端与游戏终端之间进行网络通信一般需要有中间通信节点，在无线通信领域，所述中间通信节点可以为基站，在有线通信领域，所述中间通信节点可以为路由器。
目前，服务器端将渲染后所生成的音视频流发送到游戏终端时会受到网络带宽的限制。现有技术中，用户根据主观感受手动调节游戏音视频流编码模式的方法无法实现对网络带宽的预测，只能根据现有的网络带宽进行被动调节，影响用户体验。另外，用户迫于网络带宽在游戏终端使用低品质云游戏图像时，并不能即时感知网络带宽的改善情况，常常会出现网络带宽已经提高但用户依然使用低品质云游戏图像的情况。此外，一旦出现网络带宽恶化，无法实时传输云渲染产生的游戏音视频流的极端情况，现有技术中的用户手动调节游戏音视频流编码模式的方法对此也无能为力。
为此，本发明实施例提供了一种编码格式的确定方法，图1为本发明实施例提供的编码格式的确定方法的流程图，如图1所示，该方法应用于服务器端，包括：
步骤101、确定游戏终端在当前周期的缓冲情况以及信道质量情况。
周期是本发明实施例中所设定的一个时间长度单位。在一个周期内需要完成多个操作，如在本步骤中所涉及的确定游戏终端的缓冲情况、确定游戏终端的信道质量情况以及后续步骤中所涉及的确定中间通信节点的并发用户数、预测游戏终端的最大可用通信速率等。在本发明实施例中，周期的大小为秒级，如2秒，在本发明的其它实施例中，周期的具体取值也可以是其他可能。
游戏终端的缓冲情况反映了游戏终端预先保存的游戏音视频数据的多少，具体定义为周期内的累计缓冲时间(单位为秒)。游戏终端在当前周期的缓冲情况为游戏终端在当前周期内的累计缓冲时间。
游戏终端的缓冲情况可由服务器端直接从游戏终端获取。
游戏终端的信道质量情况反映了游戏终端信道质量的高低，在本发明实施例中采用信道质量指示(CQI，channel quality indication)来描述信道质量。CQI的取值范围会根据通信协议的不同而有所差异，在本发明实施例中，CQI的取值范围设定为0～15，在本发明其他实施例中，CQI的取值范围还可以有其他选项，如0～31。无论CQI的取值范围是多少，在同一通信协议下，CQI值越大表示调制解调效率越高。
根据本领域技术人员的公知常识，具有网络通信功能的终端设备产生信道质量指示后，周期性地上报给中间通信节点(如基站)，中间通信节点会根据信道质量指示选择调制解调方式，从而决定终端设备的可用通信速率。在本发明实施例中，游戏终端同样会将自身的信道质量指示周期性地上报给中间通信节点，服务器端可从中间通信节点获取游戏终端的信道质量指示，例如，服务器端设置一个用于获取信道质量指示的接口。
游戏终端的信道质量情况是实时变化的，因此周期性的获取游戏终端的信道质量情况。游戏终端在当前周期的信道质量情况就是在当前周期所确定的游戏终端的信道质量情况。
步骤102、确定与所述游戏终端通信连接且在游戏服务器通信范围内的中间通信节点在当前周期的并发用户数。
显而易见，在本发明实施例中提到的中间通信节点是指与游戏终端存在直接通信连接且在云游戏服务器通信范围内的中间通信节点，如与一运行云游戏的智能手机存在直接通信连接且在云游戏服务器通信范围内的基站。
接入中间通信节点的用户未必都在执行业务，因此在本发明实施例中获取中间通信节点的并发用户数。所述的并发用户数是指同时利用带宽执行业务的用户的数量。
中间通信节点的并发用户数是实时变化的，因此需要周期性的获取中间通信节点的并发用户数。中间通信节点在当前周期的并发用户数是在当前周期所获取的中间通信节点的并发用户数。
步骤103、确定游戏终端在当前周期的预测的最大可用通信速率。
游戏终端的最大可用通信速率反映了游戏终端在接收数据时的最大潜力。确定游戏终端在当前周期的预测的最大可用通信速率具体包括：
步骤1031、计算游戏终端在当前周期可用的中间通信节点通信速率。
游戏终端通过与中间通信节点的通信来获取数据，因此中间通信节点通信速率会对游戏终端的通信能力产生影响。在本步骤中，计算中间通信节点在当前周期理论上可以为游戏终端提供的可用通信速率。
在计算这一通信速率时，需要根据中间通信节点最大可用速率、中间通信节点在当前周期的并发用户数、当前周期的信道质量指示对应的编码效率以及最佳信道质量指示对应的编码效率计算得到。
将游戏终端在当前周期可用的中间通信节点通信速率记为AvailBi，相应的计算公式为：
AvailBi＝(中间通信节点最大可用速率)/(中间通信节点在当前周期的并发用户数)*(当前周期的信道质量指示对应的编码效率/最佳信道质量指示对应的编码效率)。
其中，中间通信节点最大可用速率是基于单用户最理想情况下计算出来的中间通信节点能够提供的最大通信速率。该值是一个理论值，大小固定不变，可通过本领域技术人员的公知常识获得。
中间通信节点在当前周期的并发用户数在之前的步骤中已经得到。
游戏终端在当前周期的信道质量指示在之前的步骤中已经得到。最佳信道质量指示是指最高的CQI值，如CQI取值范围为0～15，那么最佳信道质量指示就是CQI值为15。
游戏终端在当前周期的信道质量指示对应的编码效率以及最佳信道质量指示对应的编码效率都可以根据信道质量指示查询相关的表格获得。
信道质量指示对应的编码效率如下面的表1所示：
表1
Figure BDA0002488206150000081
步骤1032、确定游戏终端在当前周期的预测的最大可用通信速率。
在计算得到游戏终端在当前周期可用的中间通信节点通信速率以后，根据该值并结合游戏终端在前一周期测量得到的通信速率、游戏终端在当前周期的缓冲时间、周期长度以及调整参数，可计算游戏终端在当前周期的预测的最大可用通信速率。
具体的计算公式为：
游戏终端在当前周期的预测的最大可用通信速率Bi＝Bi-1+α*(AvailBi–Bi-1)–2*α*(Bfti/T–0.01)*Bi-1。
其中，Bi-1为游戏终端在前一周期测量得到的通信速率；AvailBi为游戏终端在当前周期可用的中间通信节点通信速率；Bfti为游戏终端在当前周期的缓冲时间；T代表周期长度，在本发明实施例中定义为2秒；α为调整参数，其计算公式为：
α＝(Bi-1–Bi-2)/(AvailBi-1–(2*Bfti-1/T+0.98)*Bi-2)。
其中，AvailBi-1为游戏终端在前一周期可用的中间通信节点通信速率；Bfti-1为游戏终端在前一周期的的缓冲时间；Bi-2为游戏终端在前一周期之前的一个周期测量得到的通信速率。
α初始值可设置为0.25，后续可根据上次结果结合公式计算得到。
初次计算时，B0可取值为计算得到的AbailB0的值。
步骤104、根据游戏终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
在计算得到游戏终端在当前周期的预测的最大可用通信速率后，根据该预测值可选择合适的编码格式。具体的选取原则为：
当第一编码格式的码率最接近并且不大于所述游戏终端在当前周期的预测的最大可用通信速率，则将所述第一编码格式确定为视频流所采用的编码格式。
在下面的表2中列举了编码格式的相关参数表。本领域技术人员应当理解，该表格仅作为示例之用，实际使用中，编码格式并不局限于该表中的内容。
表2
码率(Mbps) 分辨率 帧率
0.6 480 25
1.4 720 25
4 1080 25
40 4K 50
以上是对本发明实施例提供的编码格式的确定方法的基本步骤的描述。本领域技术人员应当了解，虽然在上述实施例中，以云游戏为例做了相应的说明。但本发明实施例提供的编码格式的确定方法同样适用于视频或音频网络传输服务等其他领域。
本发明实施例提供的编码格式的确定方法能够根据中间通信节点所能提供的通信资源以及终端的缓冲情况，预测终端的最大可用通信速率，从而自动调整编码格式，提升用户的体验。
基于上述任一实施例，本发明实施例提供了一种云游戏的实现方法，包括：
按照所述的编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
在之前的本发明实施例中，已经结合云游戏的背景对如何确定游戏所采用的编码格式做了详细的说明。在本发明实施例中，一旦确定游戏所采用的编码格式，就可以按照该编码格式渲染游戏并编码生成游戏音视频流数据。所生成的游戏音视频流数据可推送到游戏终端，并在游戏终端播放。
本发明实施例提供的云游戏的实现方法能够根据中间通信节点所能提供的通信资源以及终端的缓冲情况，预测游戏终端的最大可用通信速率，从而自动调整编码格式，提升用户的游戏体验。
基于上述任一实施例，在本发明实施例中，云游戏的实现方法还包括：
当游戏终端在当前周期的预测的最大可用通信速率无法匹配最小码率的编码格式时，向游戏终端发送切换到本地渲染的指令，并向游戏终端发送游戏的最新增量进展，以使得游戏终端根据所接收到的游戏的最新增量进展恢复本地游戏上下文，并在游戏终端进行游戏渲染。
在本发明的前一实施例中，已经描述了根据游戏终端在当前周期的预测的最大可用通信速率选取编码格式的场景。在实际应用中，存在游戏终端在当前周期的预测的最大可用通信速率非常小，甚至无法满足最小码率的编码格式要求的情形。在本发明实施例中，对于这一情形，将云渲染转换为本地渲染，从而保证了游戏的持续运行。
将云渲染转换为本地渲染需要有一定的预设条件，包括游戏终端的配置能够满足本地渲染的要求，游戏终端在做本地渲染之前已经完成了对游戏静态数据(例如游戏地图)以及游戏增量进展信息。在本发明实施例中，假设上述预设条件均已满足。
为了避免云渲染模式与本地渲染模式之间的频繁变换，在本发明实施例中，并非一旦计算到游戏终端的预测的最大可用通信速率无法匹配最小码率的编码格式就马上进行切换，而是在连续多次发生这一情形后(如连续3个周期，每个周期2秒)才触发切换操作。
一旦切换成功，服务器端将不再做视频渲染，仅执行接收指令、推送指令等对带宽要求较低的操作。
本发明实施例提供的云游戏的实现方法在确定游戏终端的预测的最大可用通信速率无法满足最小码率的编码格式的要求后，将渲染操作由云渲染模式切换成本地渲染模式，保证了游戏在游戏终端的正常运行。
基于上述任一实施例，在本发明实施例中，在向游戏终端发送切换到本地渲染的指令之前，云游戏的实现方法还包括：
向游戏终端推送游戏的静态信息以及游戏增量进展信息。
游戏要实现本地渲染需要一些基础的信息，例如游戏地图等静态信息。因此在将云渲染切换到本地渲染之前，需要将游戏的静态信息推送到游戏终端。为了避免对正在进行云渲染的游戏造成影响，可以周期性地推送游戏的静态信息。该周期可以与之前预测游戏终端的最大可用通信速率时的周期不一致，如在本发明实施例中，将推送游戏静态信息的周期设定为5秒。
游戏在运行过程中会不断产生与游戏进展有关的数据，将这些数据称为游戏增量进展信息。游戏增量进展信息需要周期性的推送给游戏终端，一旦将云渲染切换到本地渲染，游戏终端可以根据游戏的最新增量进展恢复本地游戏上下文，并在本地进行渲染。其中，推送游戏增量进展信息的周期可以与之前预测游戏终端的最大可用通信速率时的周期不一致，如在本发明实施例中，将推送游戏增量进展信息的周期设定为5秒。
本发明实施例提供的云游戏的实现方法在将云渲染切换到本地渲染之前，预先向游戏终端推送游戏的静态信息以及游戏增量进展信息，为游戏终端实现本地渲染提供了必要的条件，保证了游戏在游戏终端的正常运行。
基于上述任一实施例，在本发明实施例中，云游戏的实现方法还包括：
当测量得到的游戏终端在当前周期的通信速率能够匹配最小码率的编码格式时，向游戏终端发送切换到云渲染的指令，以使得游戏终端在本地停止渲染。
在将云游戏的渲染模式由云渲染切换到本地渲染后，对游戏终端在当前周期的通信速率进行测量，当测量得到的游戏终端在当前周期的通信速率能够匹配最小码率的编码格式后，将云游戏的渲染模式从本地渲染模式重新切换到云渲染的模式。
为了避免云渲染模式与本地渲染模式之间的频繁变换，在本发明实施例中，并非一旦测量得到的游戏终端在当前周期的通信速率能够匹配最小码率的编码格式就马上进行切换，而是在连续多次发生这一情形后(如连续5个周期，每个周期2秒)才触发切换操作。
本发明实施例提供的云游戏的实现方法在测量得到的游戏终端的通信速率能够匹配最小码率的编码格式后，将渲染操作由本地渲染模式切换成云渲染模式，能够减少游戏终端的负担。
基于上述任一实施例，图2为本发明实施例提供的编码格式的确定装置的示意图，如图2所示，本发明实施例提供的编码格式的确定装置包括：
终端数据确定模块201，用于确定终端在当前周期的缓冲情况以及信道质量情况；
中间通信节点数据确定模块202，用于确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；
最大可用通信速率确定模块203，用于根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；
编码格式确定模块204，用于根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
本发明实施例提供的编码格式的确定装置能够根据中间通信节点所能提供的通信资源以及终端的缓冲情况，预测终端的最大可用通信速率，从而自动调整编码格式，提升用户的体验。
图3为本发明实施例所示例的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：确定终端在当前周期的缓冲情况以及信道质量情况；确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。或执行如下方法：按照编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图3所示的处理器310、通信接口320、存储器330和通信总线340，其中处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，且处理器310可以调用存储器330中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：确定终端在当前周期的缓冲情况以及信道质量情况；确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。或例如包括：按照编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定终端在当前周期的缓冲情况以及信道质量情况；确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。或例如包括：按照编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种编码格式的确定方法，其特征在于，包括：
确定终端在当前周期的缓冲情况以及信道质量情况；
确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；
根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；
根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
2.根据权利要求1所述的编码格式的确定方法，其特征在于，所述根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率包括：
根据终端在当前周期的缓冲情况、信道质量情况、中间通信节点在当前周期的并发用户数以及预先已知的中间通信节点的最大可用速率计算终端在当前周期可用的中间通信节点通信速率；
根据终端在前一周期测量得到的通信速率、终端在当前周期可用的中间通信节点通信速率、终端在当前周期的缓冲情况、周期长度以及调整参数预测终端在当前周期的预测的最大可用通信速率；其中，
所述调整参数是根据终端在前一周期可用的中间通信节点通信速率、终端在前一周期的缓冲情况以及终端在前一周期之前的一个周期测量得到的通信速率所确定的。
3.根据权利要求1所述的编码格式的确定方法，其特征在于，所述根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式包括：
当第一编码格式的码率最接近并且不大于所述终端在当前周期的预测的最大可用通信速率，则将所述第一编码格式确定为视频流所采用的编码格式。
4.一种云游戏的实现方法，其特征在于，包括：
按照权利要求1至3任一项所述的编码格式的确定方法确定游戏所采用的编码格式，按照所采用的编码格式渲染游戏并编码生成游戏音视频流数据。
5.根据权利要求4所述的云游戏的实现方法，其特征在于，还包括：
当游戏终端在当前周期的预测的最大可用通信速率无法匹配最小码率的编码格式时，向游戏终端发送切换到本地渲染的指令，并向游戏终端发送游戏的最新增量进展，以使得游戏终端根据所接收到的游戏的最新增量进展恢复本地游戏上下文，并在游戏终端进行游戏渲染。
6.根据权利要求5所述的云游戏的实现方法，其特征在于，在向游戏终端发送切换到本地渲染的指令之前，还包括：
向游戏终端推送游戏的静态信息以及游戏增量进展信息。
7.根据权利要求5所述的云游戏的实现方法，其特征在于，在向游戏终端发送切换到本地渲染的指令之后，还包括：
当测量得到的游戏终端在当前周期的通信速率能够匹配最小码率的编码格式时，向游戏终端发送切换到云渲染的指令；其中，所述云渲染为在服务器端进行游戏渲染。
8.一种编码格式的确定装置，其特征在于，包括：
终端数据确定模块，用于确定终端在当前周期的缓冲情况以及信道质量情况；
中间通信节点数据确定模块，用于确定与所述终端通信连接且在服务器通信范围内的中间通信节点在当前周期的并发用户数；
最大可用通信速率确定模块，用于根据终端在当前周期的缓冲情况、信道质量情况以及中间通信节点在当前周期的并发用户数，确定终端在当前周期的预测的最大可用通信速率；
编码格式确定模块，用于根据终端在当前周期的预测的最大可用通信速率，确定视频流所采用的编码格式。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的编码格式的确定方法，或实现如权利要求4至7任一项所述的云游戏的实现方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述的编码格式的确定方法，或实现如权利要求4至7任一项所述的云游戏的实现方法的步骤。
CN202010397724.XA 2020-05-12 2020-05-12 编码格式的确定方法、装置及云游戏的实现方法 Active CN111617466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397724.XA CN111617466B (zh) 2020-05-12 2020-05-12 编码格式的确定方法、装置及云游戏的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397724.XA CN111617466B (zh) 2020-05-12 2020-05-12 编码格式的确定方法、装置及云游戏的实现方法

Publications (2)

Publication Number Publication Date
CN111617466A true CN111617466A (zh) 2020-09-04
CN111617466B CN111617466B (zh) 2023-04-28

Family

ID=72255037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397724.XA Active CN111617466B (zh) 2020-05-12 2020-05-12 编码格式的确定方法、装置及云游戏的实现方法

Country Status (1)

Country Link
CN (1) CN111617466B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113543262A (zh) * 2021-06-07 2021-10-22 中国联合网络通信集团有限公司 一种降低云游戏网络时延的方法及装置
CN115022629A (zh) * 2022-08-08 2022-09-06 海马云（天津）信息技术有限公司 云游戏视频的最优编码模式确定方法与装置
WO2023151030A1 (en) * 2022-02-11 2023-08-17 Huizhou Tcl Mobile Communication Co., Ltd. Base station, user equipment, and wireless communication method for extended reality traffic

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及***
US20090010211A1 (en) * 2005-02-02 2009-01-08 Matsushita Electric Industrial Co., Ltd. Base station apparatus and resource assigning method
CN101510998A (zh) * 2009-02-24 2009-08-19 山东大学 用于无线视频监控***数据传输的自适应流量控制方法
US20100166062A1 (en) * 2002-12-10 2010-07-01 Perlman Stephen G System and Method for Selecting a Video Encoding Format Based on Feedback Data
CN102428697A (zh) * 2009-03-23 2012-04-25 生命力有限公司 用于将前向纠错与视频压缩一起使用的***和方法
CN103338393A (zh) * 2013-06-13 2013-10-02 西安交通大学 一种hspa***下用户体验驱动的视频码率选择方法
CN103905836A (zh) * 2012-12-27 2014-07-02 辉达公司 通过帧率控制实现网络自适应时延降低
US20140281023A1 (en) * 2013-03-18 2014-09-18 Nvidia Corporation Quality of service management server and method of managing quality of service
CN104394952A (zh) * 2012-07-02 2015-03-04 科乐美数码娱乐株式会社 通信目的地判定装置、游戏***、通信目的地判定方法、通信目的地判定程序
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏***的自适应流适配和资源优化方法
CN104618690A (zh) * 2015-01-29 2015-05-13 广东迅通科技股份有限公司 一种高清视频实时点播和历史回放的方法及***
CN104661050A (zh) * 2015-02-13 2015-05-27 海信集团有限公司 一种流媒体数据传输方法、装置及***
US20150196841A1 (en) * 2014-01-15 2015-07-16 Electronics And Telecommunications Research Institute Load balancing system and method for rendering service in cloud gaming environment
US20150375112A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Data center management of multimode servers
CN106686409A (zh) * 2015-11-09 2017-05-17 ***通信集团公司 一种流媒体码率自适应方法及装置、服务器、终端
CN107509120A (zh) * 2017-09-15 2017-12-22 上饶市中科院云计算中心大数据研究院 一种基于缓冲区下溢概率估计的流媒体自适应传输方法
CN108079578A (zh) * 2017-10-26 2018-05-29 咪咕互动娱乐有限公司 一种基于云游戏的码率调整方法、装置及存储介质
CN108370378A (zh) * 2016-01-07 2018-08-03 微软技术许可有限责任公司 对音频流进行编码
CN109040855A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种无线dash流媒体码率平滑自适应传输方法
CN110180166A (zh) * 2019-07-16 2019-08-30 南昌黑鲨科技有限公司 基于云游戏场景的控制***及方法
CN110996125A (zh) * 2019-11-18 2020-04-10 腾讯科技（深圳）有限公司 一种视频流的生成方法、装置、电子设备及存储介质
CN111107440A (zh) * 2019-12-26 2020-05-05 腾讯科技（深圳）有限公司 视频传输控制方法及装置、设备、存储介质

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166062A1 (en) * 2002-12-10 2010-07-01 Perlman Stephen G System and Method for Selecting a Video Encoding Format Based on Feedback Data
US20090010211A1 (en) * 2005-02-02 2009-01-08 Matsushita Electric Industrial Co., Ltd. Base station apparatus and resource assigning method
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及***
CN101510998A (zh) * 2009-02-24 2009-08-19 山东大学 用于无线视频监控***数据传输的自适应流量控制方法
CN102428697A (zh) * 2009-03-23 2012-04-25 生命力有限公司 用于将前向纠错与视频压缩一起使用的***和方法
CN104394952A (zh) * 2012-07-02 2015-03-04 科乐美数码娱乐株式会社 通信目的地判定装置、游戏***、通信目的地判定方法、通信目的地判定程序
CN103905836A (zh) * 2012-12-27 2014-07-02 辉达公司 通过帧率控制实现网络自适应时延降低
US20140189091A1 (en) * 2012-12-27 2014-07-03 Nvidia Corporation Network adaptive latency reduction through frame rate control
CN110460496A (zh) * 2012-12-27 2019-11-15 辉达公司 通过帧率控制实现网络自适应时延降低
US20140281023A1 (en) * 2013-03-18 2014-09-18 Nvidia Corporation Quality of service management server and method of managing quality of service
CN103338393A (zh) * 2013-06-13 2013-10-02 西安交通大学 一种hspa***下用户体验驱动的视频码率选择方法
US20150196841A1 (en) * 2014-01-15 2015-07-16 Electronics And Telecommunications Research Institute Load balancing system and method for rendering service in cloud gaming environment
US20150375112A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Data center management of multimode servers
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏***的自适应流适配和资源优化方法
CN104618690A (zh) * 2015-01-29 2015-05-13 广东迅通科技股份有限公司 一种高清视频实时点播和历史回放的方法及***
CN104661050A (zh) * 2015-02-13 2015-05-27 海信集团有限公司 一种流媒体数据传输方法、装置及***
CN106686409A (zh) * 2015-11-09 2017-05-17 ***通信集团公司 一种流媒体码率自适应方法及装置、服务器、终端
CN108370378A (zh) * 2016-01-07 2018-08-03 微软技术许可有限责任公司 对音频流进行编码
CN107509120A (zh) * 2017-09-15 2017-12-22 上饶市中科院云计算中心大数据研究院 一种基于缓冲区下溢概率估计的流媒体自适应传输方法
CN108079578A (zh) * 2017-10-26 2018-05-29 咪咕互动娱乐有限公司 一种基于云游戏的码率调整方法、装置及存储介质
CN109040855A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种无线dash流媒体码率平滑自适应传输方法
CN110180166A (zh) * 2019-07-16 2019-08-30 南昌黑鲨科技有限公司 基于云游戏场景的控制***及方法
CN110996125A (zh) * 2019-11-18 2020-04-10 腾讯科技（深圳）有限公司 一种视频流的生成方法、装置、电子设备及存储介质
CN111107440A (zh) * 2019-12-26 2020-05-05 腾讯科技（深圳）有限公司 视频传输控制方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周宣锐: "一种基于瘦客户端的云游戏***优化方法", 《电子测试》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113543262A (zh) * 2021-06-07 2021-10-22 中国联合网络通信集团有限公司 一种降低云游戏网络时延的方法及装置
WO2023151030A1 (en) * 2022-02-11 2023-08-17 Huizhou Tcl Mobile Communication Co., Ltd. Base station, user equipment, and wireless communication method for extended reality traffic
CN115022629A (zh) * 2022-08-08 2022-09-06 海马云（天津）信息技术有限公司 云游戏视频的最优编码模式确定方法与装置

Also Published As

Publication number Publication date
CN111617466B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN107683600B (zh) 用于响应于客户端的视频缓冲器特性来管理abr比特率递送的***和方法
CN105163134B (zh) 直播视频的视频编码参数设置方法、装置及视频编码设备
Xu et al. PROTEUS: network performance forecast for real-time, interactive mobile applications
EP2767039B1 (en) Quality of user experience testing for video transmissions
CN111617466B (zh) 编码格式的确定方法、装置及云游戏的实现方法
CN110049357B (zh) 一种带宽预估方法、装置、设备及存储介质
CN105765925B (zh) 在由网络设备运行的进行中业务会话之间分布网络的可用带宽的方法以及相应设备
CN106688239A (zh) 视频下载方法、装置及***
JP5673538B2 (ja) 配信システム
CN113747194B (zh) 远程视频传输方法、传输装置、存储介质及电子设备
CN108184152A (zh) 一种dash传输***两阶段客户端码率选择方法
KR20190122830A (ko) 비디오 프레임 코딩 방법, 단말기 및 저장 매체
CN103973662B (zh) 流媒体请求方法及控制器
CN107135411B (zh) 一种调整视频码率的方法及电子设备
Nguyen et al. A new adaptation approach for viewport-adaptive 360-degree video streaming
CN113891175B (zh) 直播推流方法、装置及***
Nguyen et al. A client-based adaptation framework for 360-degree video streaming
CN110012324A (zh) 一种嵌入式无线视频传输的码率自适应方法及***
CN112929704A (zh) 数据传输方法、装置、电子设备以及存储介质
CN114173160A (zh) 直播推流方法及装置
CN115278289B (zh) 一种云应用渲染视频帧处理方法与装置
CN104427383A (zh) 一种信息处理方法以及电子设备
KR102421436B1 (ko) 클라우드 스트리밍 서비스 지원방법 및 장치
CN114945097A (zh) 视频流处理方法及装置
CN113207011A (zh) 一种短视频处理用预加载方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant