TW201440507A - 透過圖框率控制之網路適應性的遲延降低 - Google Patents

透過圖框率控制之網路適應性的遲延降低 Download PDF

Info

Publication number
TW201440507A
TW201440507A TW102147432A TW102147432A TW201440507A TW 201440507 A TW201440507 A TW 201440507A TW 102147432 A TW102147432 A TW 102147432A TW 102147432 A TW102147432 A TW 102147432A TW 201440507 A TW201440507 A TW 201440507A
Authority
TW
Taiwan
Prior art keywords
frame rate
network
computing device
delay
video
Prior art date
Application number
TW102147432A
Other languages
English (en)
Inventor
Tony Tamasi
Xun Wang
Franck Diard
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of TW201440507A publication Critical patent/TW201440507A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/0858—One way delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明提供一種創新的解決方案用於雲端遊戲系統中的穩定服務品質，其可藉由使用圖框率最高上限來調節顯像的圖框率以適應性及動態地補償不良的網路狀況，以最佳化網路遲延補救(或剩餘)。在其它具體實施例中，對於該用戶端之編碼/傳送圖框率亦可做額外的管理，或做為另一種方式來做為該等顯像圖框率的最高限度。該等主張的具體實施例不僅可維持該使用者之穩定的服務品質(QoS)，亦可用於利用良好效能的網路來降低運作成本。

Description

透過圖框率控制之網路適應性的遲延降低
本申請案概略關於雲端遊戲系統，更特定而言係關於使用圖框率來最佳化網路遲延補救(或剩餘)。
雲端運算提供了依照需要的處理、能力與儲存。典型的雲端運算服務允許一使用者由一共享的運算資源之集用場依照需要存取與取得一虛擬上無限制的運算資源數量。這些資源通常可以包含實際電腦硬體系統(例如伺服器)之虛擬實例。
雲端運算提供商可包括許多不同型態的雲端服務。雲端運算中日漸普遍的一個領域為雲端遊戲。雲端遊戲亦稱之為依需遊戲，其為一種線上遊戲，其可允許直接與依需的遊戲串流化到一電腦或其它電子裝置上，其基本上係經由一網路，例如網際網路。以往由一雲端遊戲營運商提供的一視訊遊戲將該視訊遊戲的軟體儲存在一或多個伺服器上。當一使用者存取該等伺服器時，其基本上係透過一網路連接，該軟體即被執行，且該所得到的圖形輸出被串流化到該使用者的電腦或顯示裝置。
一般而言，構成顯示給該使用者的該圖形內容之該等影像之實際顯像與處理在被編碼(壓縮)然後傳送(串流)到該使用者的裝置之前，亦皆在該等伺服器中執行，其中該經編碼的視訊流隨後被解碼與顯示。使用者控制輸入，其基本上係回應於所顯示之影像的進度，即自該使用者接收， 並直接傳送回到該伺服器，在其上該輸入被記錄，且一組新的影像可被處理、顯像、編碼，然後串流回到該使用者或「用戶端」裝置。此程序可針對每一使用者連續地執行，且大致上經常用於該視訊遊戲正在被該使用者玩的整段時間。
雲端遊戲允許使用者存取遊戲而不需要一專屬的遊戲主機或遊戲系統，並大量排除使用者之電腦系統的較高硬體需求，其係藉由擷取來自該使用者的裝置之大部份的記憶體與處理需求而到該伺服器上。再者，因為該軟體已經預先載入到該遊戲的營運商之該等伺服器上，即可排除下載與安裝該視訊遊戲在該使用者的本地裝置所需要的時間。
可惜地是，雲端遊戲亦對傳統的本地化遊戲解決方案帶來了一些新的挑戰。例如，其需要額外的步驟來預備該圖形輸出來顯示，例如連續即時性地壓縮該視訊，在該使用者的用戶端裝置解壓縮該視訊，並透過一網路連接連續地串流資料。要能夠足夠快速與有效率地執行這些步驟，而不會明顯地影響到使用者的經驗，同時又得包容該網路基礎設施的限制是一巨大挑戰。
此效率的一種可量化的度量為該使用者可經歷到的遲延。遲延為該使用者的輸入至該伺服器之來回的回應性之度量，其可受到許多變數的影響，其中包括該伺服器運行地多快、該伺服器上的軟體與硬體之運行效能、該網路基礎設施、及該網路必須行進到該用戶端側上該使用者的裝置之距離等。例如，該使用者的裝置與該伺服器距離越遠，或是網路跳躍或網路品質差距越大等，則能帶入更多的遲延，其是由於更長的傳輸或路由時間。長的遲延時常被視訊遊戲者稱之為「落後」，其並不受歡迎，特別是在當玩競爭性遊戲及/或遊戲中對時間較敏感的互動時，並且對於使用者經驗有顯著的負面影響。
可惜地是，許多傳統的雲端遊戲系統完全不負責網路導致的遲延，並將它們視為無法避免或不可避免。雲端遊戲營運商頂多可以藉由 在該伺服器端供應額外的資源之加速處理來嘗試管理遲延。但是，即便盡可能地避免，此解決方案還是會增加遊戲營運商的資本費用成本，且既沒有效率也看不見成效。又有一些其它的雲端遊戲營運商可能嘗試藉由限制所要提供的應用、藉由限制要顯像的該等影像之複雜度，以及該等資料傳輸的大小及/或頻率，僅提供為非同步及/或無關於時間的機制之遊戲等來完全避免遲延。可惜地是，此亦限制了使用者對於那些視訊遊戲的選擇，並可能防止使用者取用更完整的軟體娛樂程式庫。
此發明內容說明係用來介紹在以簡化型式中所選出的觀念，其在以下的實施方式中會進一步說明。此發明內容並非要提出本發明的關鍵特徵或基本特徵，也並非要做為限制本發明的範圍。
本發明之具體實施例係關於方法與系統當中藉由使用圖框率上限來調節顯像的圖框率來允許針對雲端顯像能夠傳遞關於遲延的更為一致性的服務品質，以最佳化網路遲延補救(或剩餘)。在其它具體實施例中，對於該用戶端之編碼/傳送圖框率亦可做額外的管理，或做為另一種方式來做為該等顯像圖框率的最高限度。該等主張的具體實施例不僅可維持該使用者之穩定的服務品質(QoS,“Quality of Service”)，亦可用於利用良好效能的網路來降低運作成本。
根據本發明一種態樣，提供一種雲端遊戲系統，其可實作一種用於調節顯像圖框率來最佳化網路遲延的方法。在一具體實施例中，一網路的遲延被監視，並基於該監視的遲延，該影像顯像器的圖框率可被增加來補償相對較差的網路遲延或是被降低來利用一高效能網路，使其在可維持該使用者的穩定遲延經驗之下降低電力消耗位準。該網路遲延的監視可以即時地進行，且該顯像圖框率的修正可以動態地隨著網路及/或遊戲條件變化來進行。
因為雲端顯像之遲延中很大一部份可歸屬於一使用者與該雲端遊戲資料中心之間的網路基礎設施(其由於與該雲端資料中心的距離而可能有高度變化性)，即可利用增加顯像圖框率來補償不良網路狀況，藉以提供更為一致性的服務品質。同樣地，對於具有較高效能的網路連接之使用者，該顯像圖框率可被放寬(降低)到最小值或接近最小圖框率，而仍可確保一穩定的顯示圖框率。
基本上，視訊遊戲以一固定及預定的圖框率進行顯示。以往此速率對應於在該使用者的用戶端裝置上每秒所顯示之圖框數目(通常簡寫為「fps」)，並通常設定為每秒30、60或75個圖框，雖然圖框率100到200fps或更高者尚非未知。當網路狀況較佳時，也就是當由於該網路所造成遲延相對較低時，該等影像可在該伺服器處以低於該伺服器的能力之速率，或甚至以該預設顯像速率進行處理與顯像，只要該等影像在編碼並透過該網路串流之後被連續地以該預定的圖框率來顯示。當以一較低圖框率顯像時，該伺服器需要較低的電力來運作，因此隨著時間即可感受到運作成本之顯著的下降。
100‧‧‧雲端存取模型
101‧‧‧雲端資料中心
103‧‧‧伺服器
105‧‧‧虛擬伺服器
107‧‧‧路由器(數據機)
109‧‧‧用戶端裝置
199‧‧‧網際網路
200‧‧‧雲端遊戲伺服器架構
201‧‧‧伺服器
203‧‧‧顯像組件
205‧‧‧伺服器控制模組
207‧‧‧串流組件
209‧‧‧用戶端裝置
211‧‧‧用戶端控制模組
299‧‧‧網際網路
300‧‧‧流程圖
301,303,305,307,309‧‧‧步驟
400‧‧‧流程圖
401,403,405,407,409‧‧‧步驟
500‧‧‧示範性電腦系統
501‧‧‧處理單元
502‧‧‧隨機存取記憶體(揮發性)
503‧‧‧唯讀記憶體(非揮發性)
504‧‧‧資料儲存裝置
505‧‧‧圖形子系統
506‧‧‧文數字輸入
507‧‧‧游標控制
508‧‧‧輸入/輸出裝置
509‧‧‧通訊介面
510‧‧‧顯示裝置
511‧‧‧視訊纜線
附屬圖面係加入到本說明書中，並形成為其一部份，其例示本發明之具體實施例，並連同該說明用於解釋本發明的特徵：
圖1為根據本發明之多種具體實施例的一種雲端遊戲存取模型的方塊圖。
圖2為根據習用的實例之一種雲端遊戲伺服器架構的方塊圖。
圖3例示根據本發明之多種具體實施例中在一雲端遊戲伺服器中動態地調整顯像圖框率的流程圖。
圖4例示根據本發明之多種具體實施例中利用動態調整的 顯像圖框率來顯示圖形輸出的流程圖。
圖5為根據本發明之多種具體實施例的一種示例性運算系統之方塊圖。
現在將詳細參照本發明之具體實施例中用於管理應用以避免在一雲端資料中心中較低及/或妥協的頻寬，其示例將例示於該等附屬圖面中。本發明將配合該等揭示的具體實施例做說明，將可瞭解到它們並非要限制於這些具體實施例。相反地，本發明係要涵蓋選擇、修改及均等者，其皆包括在由該等附屬申請專利範圍所定義之精神與範圍之內。
再者，在以下本發明之具體實施例的詳細說明中，為了提供對於本發明之詳盡瞭解，其中提出許多特定細節。但是，本技術專業人士將可瞭解到本發明可以不利用這些特定細節來實施。在其它實例中，並未詳細說明熟知的方法、程序、組件及電路，藉以避免不必要地混淆本發明之態樣。
接下來的該等詳細說明之一些部份係以程序、步驟、邏輯方塊、處理，以及其它可在電腦記憶體上執行對於資料位元之作業的符號表示。這些說明及表示為在資料處理技術中那些專業人士所使用的手段來最有效地傳遞他們工作的實質內容到本技術中其他專業人士。概言之，在此處的程序、電腦產生的步驟、邏輯方塊及程序等，其應視為可達到所想要結果之步驟或指令的一自我符合的順序。該等步驟為那些需要實體數量的實體操縱。通常但非必要，這些數量可採取電子或磁性信號之型式，其能夠被儲存、轉換、組合、比較，及另可在一電腦系統中操縱。其已隨時間證明了主要為了慣常用法的理由，可方便地稱這些訊號為位元、數值、元件、符號、字元、術語、數目或類似者。
但是應要注意到所有這些及類似術語係要關聯於該等適當 實體數量，並僅為應用到這些數量的便利標記。除非在以下討論中可瞭解者之外特定地陳述，其將可瞭解到在本發明討論中所利用的術語，例如「儲存」、「產生」、「保護」、「接收」、「加密」、r解密」、「破壞」或類似者，皆代表包括有一嵌入式系統的一電腦系統或積體電路或類似的電子運算裝置之作業及處理，其可操縱及轉換表示成該電腦系統之暫存器及記憶體內實體(電子)數量的資料成為類似地表示成在電腦系統記憶體、或暫存器、或其它像是資訊儲存器、傳輸或顯示裝置內的實體數量之其它資料。
雲端存取模型
圖1例示根據本發明多種具體實施例的一示例性雲端存取模型100。如圖1所示，雲端存取模型100可包括具有複數伺服器103的一雲端資料中心101，以及經由網際網路199通訊式耦接於一用戶端裝置109。根據多種具體實施例，一或多個伺服器103可包含複數實例化的虛擬伺服器105。伺服器103可設置成包含對應於該等虛擬伺服器的多個邏輯區隔，在其上可主控一或多個軟體應用(例如遊戲)，並由其執行。使用者可藉由連接至該等虛擬伺服器(例如透過網際網路199)存取該等遊戲，即使該圖形輸出的實際處理與顯像可在該實體伺服器本身之上進行。
用戶端裝置109可包含多種消費者與個人電子裝置。用戶端裝置109的該等示例包括但不限於：個人桌上型或膝上型電腦、行動電話(例如智慧型手機)、平板電腦裝置、機上盒、(攜帶式)視訊遊戲主機裝置、若任何其它能夠顯示預先顯像的圖形內容與接收使用者輸入的裝置。用戶端裝置109可屬於一區域網路(LAN,“Local area network”)，並經由一路由器及/或數據機107連接至網際網路199的一或多個閘道器。根據一些具體實施例，用戶端裝置109可包括及/或通訊式耦接於一顯示裝置，例如一螢幕，或是通訊式耦接的監視器。
在一具體實施例中，用戶端裝置109的一使用者可以藉由在用戶端裝置109上執行軟體的一部份來產生在雲端資料中心101中一相對 應伺服器103的一網路連接而可存取一雲端遊戲軟體應用。在一些實例中，可以產生與顯示一圖形化使用者介面，其可提示該使用者登入到該遊戲營運商的伺服器(例如經由一認證程序)。一旦經認證之後，即啟始一遊戲會期，而圖形內容於該遊戲會期期間經由用戶端裝置109與雲端資料中心101中的一伺服器103之間的網路連接被連續地傳送。該圖形內容可包含一或多個系列的影像，其係以一或多個可變的顯像圖框率在伺服器103中所包含的一或多個圖形處理器(GPU)中做處理與顯像。一旦顯像後，該等影像可被壓縮成一編碼視訊，經過緩衝化，然後串流為複數資料封包。根據其它具體實施例，該等資料封包自該緩衝器串流的速率(即該串流圖框率)亦可被監視，並變化地管理。
一旦該編碼資料被用戶端裝置109接收，該資料被解碼(解壓縮)，並以一顯示的圖框率顯示給該使用者(例如在該顯示裝置上)。該顯示圖框率可表示成每秒量測到多少圖框(「fps」)，例如30、60、90。經由一圖形化使用者介面或其它硬體輸入裝置，例如滑鼠、鍵盤或控制器等，在用戶端裝置109上接收的使用者輸入被直接傳送到伺服器103，且回應於使用者輸入的在一序列中該等下一個系列的影像或是一新的系列的影像可被處理、顯像、編碼，並串流回到用戶端裝置109。
根據本發明一種態樣，該使用者所經歷到的遲延會被固定地監視，該遲延也就是在用戶端裝置109上收到該使用者輸入與在該顯示裝置上顯示該等下一系列的影像之間的時間長度。遲延會受到多種因素的影響，包括在該伺服器端顯像圖框率及/或串流圖框率，雲端資料中心101與用戶端裝置109之間的網路基礎設施的效率，及在該網路中雲端資料中心101與用戶端裝置109之間的距離(可為實際距離或「邏輯」距離)。較高的遲延可以顯示為使用者動作與圖形回應之間的一延遲(例如「落後」)，且通常並不需要。根據多種具體實施例，該顯像圖框率與該串流圖框率其中一者或兩者在當遲延被偵測到高於某一臨界值時被動態地增加。
藉由增加該顯像及/或串流圖框率，在該伺服器內產生與顯像每個圖框的時間長度即減少，即可降低該伺服器對於整體遲延中的貢獻。每個顯像圖框有數毫秒的減少即可補償在該傳輸迴路中它處相等的時間長度。例如，以30fps地顯像(對應於例如用戶端裝置109的顯示圖框率)大約每33毫秒產生一個圖框。增加該顯像率到60fps而維持相同的顯示圖框率可降低一圖框的產生時間到大約每16毫秒一個圖框。每個圖框的「額外」16到17毫秒可用於補償在該網路基礎設施、網路距離或於用戶端裝置109中解碼造成的延遲。
同樣地，當網路造成的遲延並非一個問題時，由於鄰近於該資料中心及/或高效能基礎設施，以比該顯示速率要高的速率被接收與解碼的經編碼視訊資料即可能在該用戶端裝置處被緩衝化。為了避免使得該緩衝器成為過度填滿，當不需要額外的產生來補償該網路遲延時，即可調節該顯像圖框率，即是降低。藉由降低該顯像圖框率，負責處理與顯像該等圖框之該等組件(例如該等圖形處理單元)可設置在一較低電力的狀態，因此可用一較低的速率來消耗電力。基本上，一雲端遊戲營運商的成本中一大部份為運作該資料中心的成本，而且由操作一資料中心所引致的最大單一因素為所需要的電力使用量。因此，利用高效能網路連接來增加電力消耗的效率即可對於雲端遊戲營運商有顯著的電力節省效果。
雲端存取模型
圖2例示根據本發明多種具體實施例的一示例性雲端遊戲伺服器架構200。如圖2所示，雲端遊戲伺服器架構200可包括經由網際網路299通訊式地耦接於一用戶端裝置209的一雲端遊戲伺服器201。如圖2所述，雲端遊戲伺服器201包括一影像顯像組件203(例如一或多個圖形處理器)，其用於自一記憶體(未示出)接收並處理程式化指令，並根據該等指令顯像圖形影像。雲端遊戲伺服器201亦描述成包括一伺服器控制模組205，其耦接於顯像組件203，並設置成監視在與用戶端裝置209的網路連 接上串流的資料遲延，並基於該監視到的遲延來動態地調整由顯像組件203所顯像之影像的速率。
在一具體實施例中，於一遊戲會期期間，在用戶端裝置209中一用戶端控制模組211與伺服器201中一串流組件207之間透過網際網路299建立一網路連接。在顯像組件203中顯像的圖框可於伺服器控制模組205中接收，並傳送到串流組件207。串流組件207可將該收到的影像資料編碼及壓縮成編碼視訊，然後由串流組件207當做複數封包隨著時間傳送到用戶端裝置209中的用戶端控制模組211。然後，於對應於該使用者輸入的程式化指令被參照，且一新的或下一序列之影像被處理與顯像之前，在用戶端裝置209中接收的使用者輸入(例如控制輸入)被轉送回到伺服器201，並被記錄。該遊戲會期之遲延(包括該網路所造成的遲延及產生該等編碼視訊流造成的遲延)對應於在用戶端裝置209中收到使用者輸入，及回應於該使用者輸入而在用戶端裝置209中顯示新的或下一序列之影像之間的時間長度。根據多種具體實施例，該遲延可由伺服器控制模組205或用戶端控制模組211進行監視，然後通知伺服器控制模組205該偵測到的遲延。
當遲延為高時，例如高於一預定的臨界值，伺服器控制模組205可動態地調高顯像組件203的電力狀態，並增加顯像組件203的顯像圖框率，以降低造成該遊戲伺服器的遲延。同樣地，串流組件205亦可單獨地增加該串流速率，或是額外的增加顯像組件203的該顯像圖框率。當遲延為低時，低於例如一第二預定的臨界值，伺服器控制模組205能夠調低顯像組件203的電力狀態，有效地限制顯像組件203的最高顯像圖框率，以增加造成該遊戲伺服器的遲延，但降低顯像組件203所消耗的電力速率。基於該用戶端與伺服器之間的頻寬與遲延，該等遊戲的影像可在顯像組件203中以速率N fps進行顯像，並由串流組件207以速率X進行串流。根據一些具體實施例，該遲延的監視可即時地進行，且該圖框率與編碼/解碼速率其中一者或兩者可被動態地調整。根據又其它具體實施例，於一啟用遊 戲會期期間所執行的伺服器201與用戶端裝置209之間的資料傳輸可根據即時傳輸協定(RTP,“Real-time Transport Protocol”)來進行。在即時傳輸協定之下，遲延與封包損失(由於頻寬下降)被固定地測量。此資料被傳送到串流組件207，並轉送到伺服器控制模組205，然後將依此修改該遊戲的顯像圖框率。在又其它具體實施例中，包括該顯像、串流及/或顯示圖框率的數值之一預設輪廓/啟發法會被針對每一遊戲產生與儲存。
在雲端遊戲伺服器中動態調整顯像圖框率
圖3例示根據一具體實施例在一雲端遊戲伺服器中動態地調整顯像圖框率的流程圖300。特定而言，該方法描述了要執行的該等步驟以回應於偵測到的遲延狀況動態地調整圖形影像的產生速率。步驟301-309描述的該等步驟包含在圖3之流程圖300中所描述的該程序。在一具體實施例中，流程圖300由在一雲端資料中心中一伺服器來執行。
在步驟301，一序列的圖形影像被當做圖框進行處理與顯像。例如該等圖形影像可由一雲端資料中心的一伺服器中一專屬的圖形處理器來顯像，例如一圖形處理器。在一具體實施例中，該等圖形影像可用一預定的顯像圖框率，並根據在一本地記憶體中經程式化的指令來顯像。在又另外的具體實施例中，該等圖形影像可用該圖形處理器可能最高的顯像圖框率及/或對應於該圖形處理器之目前的電力狀態來顯像。一旦顯像之後，在步驟303，該等序列的圖框被編碼成一壓縮格式的視訊，並在透過一網路連接做為視訊來串流。在一具體實施例中，在步驟305，該視訊以一第二預定圖框率(例如該串流圖框率)被串流，並可在對應於多種具體實施例的多種網際網路協定上被串流。這些協定包括例如即時協定(Real-time Protocol(RTP))、即時串流協定(Real-time Streaming Protocol(RTSP))、會期啟始協定(session initiation protocol(SIP))、超文本傳輸協定(Hyper-Text Transport Protocol(HTTP))等等。串流可於由這些協定其中一或多者所啟始的一遊戲會期期間來進行，並在經由一網路(例如網際網路)通訊式耦接於該 伺服器的一用戶端裝置中接收。
在步驟307，於該玩遊戲會期期間資料傳輸的該遲延被連續地監視。監視可在定期區間連續地執行以伴隨事件(例如成功或不成功傳輸)，及/或回應於經常觸發的事件。當該監視的遲延被判斷係在正常邊界內，也就是不超過一或多個預定的臨界值，步驟301-307即在該玩遊戲會期的持續時間當中重複進行。當該監視的遲延被判斷為超過一預定臨界值時，即當該遲延高於代表一可接受遲延量的上限的一第一臨界值時，該預定的顯像圖框率被動態地調整，使得該等下一序列的影像以一較高的圖框率進行顯像。如上所述，增加該顯像及/或串流圖框率可降低在該伺服器中產生與顯像每個圖框所需要的時間長度，藉此降低該伺服器對於整體遲延中的貢獻。另一方面，如果該遲延低於另一個代表在處理速度中存在有剩餘的臨界值，該顯像圖框率可針對該等下一序列的影像做動態地調整，使得該等圖框以一較慢的速率產生，並增加該伺服器對於該整體遲延的貢獻。在這種狀況下，該顯像圖框率可被避免下降成低於維持該使用者的一穩定服務品質所需要的一最低圖框率(例如以一最低30fps做顯示)。在其它具體實施例中，該顯像圖框率可被降低到仍可提供一前後一致的QoS之最低圖框率。在其它具體實施例中，執行該顯像的該圖形處理器及/或該伺服器本身的電力狀態可被調整(降低)成對應於該經調整的顯像圖框率。
一旦調整之後(即增加或降低)，該等下一序列的圖框利用該經調整的圖框率進行顯像，並重複步驟301到307。在其它具體實施例中，該等顯像圖框的顯示可伴隨對應於使用者控制的該使用者輸入。根據這些具體實施例，該等下一序列的圖框可回應於該使用者輸入並以該經調整的顯像圖框率來顯像。在又其它的具體實施例中，在步驟305執行之該編碼視訊之串流速率亦可為了與調整該顯像圖框率相同的目的而在步驟309中做調整。
利用動態調整的顯像圖框率顯示圖形輸出
圖4例示根據一具體實施例中利用動態調整的顯像圖框率來顯示圖形輸出的流程圖400。特定而言，該方法描述了在一用戶端裝置中所執行的該等步驟以顯示利用動態調整的顯像圖框率所顯像的影像。步驟401-409描述的該等步驟包含圖4之流程圖400中所描述的該程序。在一具體實施例中，流程圖400在一具有實體上加入顯示螢幕及(無線式)網路能力的一用戶端裝置中執行，其中可包括(但不限於)：行動式智慧型手機、膝上型或平板電腦、個人數位助理、掌上型視訊遊戲主機。在又其它具體實施例中，流程圖400在一具有一通訊式耦接的顯示裝置之一用戶端裝置中執行。在這些具體實施例之下，該用戶端裝置可包括(但不限於)：個人電腦、機上盒、媒體播放器、與視訊遊戲主機，其皆具有通訊式耦接的監視器、電視、投影螢幕、或其它能夠顯示圖形輸出的裝置。
在步驟401，使用者輸入於一用戶端裝置中接收。使用者輸入可於一使用者輸入裝置接收，其包括(但不限於)：一控制器、滑鼠、或鍵盤；或例如經由實體輸入裝置，像是按鈕、類比式控制板或扳機等。該使用者輸入可回應於例如由一位在遠端的雲端資料中心的一伺服器顯像，並在一網路連接上傳送之圖形輸出。在一具體實施例中，在該用戶端裝置中該使用者輸入的接收可被追蹤，例如做為一個訊號來啟始(或恢復)該網路遲延的監視。在步驟403，該使用者輸入被傳送到一連接的遊戲伺服器。傳輸可透過一網路連接，並根據一或多種資料傳輸協定來完成。根據一些具體實施例，當該使用者輸入於該遊戲伺服器中接收時，回應於收到該輸入可以顯像一序列的影像。然後該等序列的影像被編碼成一視訊，並在該網路連接上串流，其中在步驟405由該用戶端裝置接收。該經編碼的資料在後續於步驟407被解碼，最終於步驟409顯示在該顯示裝置上。一旦該接收的資料被解碼與顯示，自該使用者輸入被收到的時間長度可被測量，並傳遞到該遊戲伺服器做為該決定的遲延。基於該傳遞的遲延，該遊戲伺服器可以判斷該遲延中那一部份歸歸咎於該網路連接，並可依此調整多種內部 產生或通訊速率，如前所述。
運算裝置
如圖5所示，在其上可實作本發明之具體實施例的一種系統包括一通用運算系統環境，例如運算系統500。在一具體實施例中，一遊戲伺服器，例如以上參照圖1與2所說明的伺服器103與201，即可實作為運算系統500。在其它具體實施例中，一用戶端裝置，例如同樣以上參照圖1與2所說明的用戶端裝置109或209，即可實作在該遊戲伺服器之外或取代之為運算系統500。在其最基本的組態中，運算系統500基本上包括至少一處理單元501與記憶體，及一位址/資料匯流排509(或其它介面)用於傳輸資訊。根據運算系統環境之實際組態及種類，記憶體可為揮發性(例如RAM 502)、非揮發性(例如ROM 503、快閃記憶體等)或兩者的某種組合。
電腦系統500亦可包含一選用的圖形子系統505，用於呈現資訊給該電腦使用者，例如藉由由一視訊纜線511連接的一附加的顯示裝置510上顯示資訊。根據本發明之具體實施例，該顯示裝置可為實際上安裝在運算系統500上，並耦接於圖形子系統505。另外，圖形子系統505可經由視訊纜線511或間接地經由無線式手段來直接耦接於顯示裝置510。實作成一遊戲伺服器的運算系統500可以根據儲存在記憶體(502、503)中並在處理單元501中被處理的程式化指令來在圖形子系統505中處理與顯像圖形影像。由一遊戲伺服器產生的該圖形輸出可在一被實作成一第二電腦系統500的一用戶端裝置中接收、在第二電腦系統500的處理單元501中解碼，並在顯示裝置510上顯示給該使用者。
此外，運算系統500亦可具有額外的特徵/功能。例如，運算系統500亦可包括額外的儲存器(可移除及/或不可移除式)，其包括但不限於磁碟或光碟或磁帶。這些額外的儲存器在第5圖中例示為資料儲存裝置507。電腦儲存媒體包括揮發性與非揮發性、可移除式與不可移除式之以任何方式或技術實作成的媒體用於資訊儲存，像是電腦可讀取指令、資料 結構、程式模組或其它資料。RAM 502、ROM 503與資料儲存裝置507皆為電腦儲存媒體的示例。
電腦系統500亦包含一選用的文數字輸入裝置506、一選用的游標控制或導向裝置507，及一或多個訊號通訊介面(輸入/輸出裝置，例如一網路介面卡)509。選用的文數字輸入裝置506可傳遞資訊及命令選擇到中央處理器501。選用的游標控制或導向裝置507耦接至匯流排509，用於傳遞使用者輸入資訊及命令選擇到中央處理器501。訊號通訊介面(輸入/輸出裝置)509，其亦耦接至匯流排509，其可為一序列埠。通訊介面509亦可包括無線通訊機制。使用通訊介面509，電腦系統500可在一通訊網路上通訊式地耦接至其它電腦系統，例如網際網路或企業內網路(例如區域網路),或可接收資料(例如一數位電視訊號)。
如上所述，本發明之具體實施例係提供用於藉由使用動態圖框率調整監視與調節顯像圖框率來允許針對雲端遊戲服務能夠傳遞關於遲延的一致性服務品質，以最佳化網路遲延補救(或剩餘)。根據多種具體實施例，對於該用戶端之編碼/串流圖框率亦可一併管理或用於管理該等顯像圖框率之另一方式。該等主張的具體實施例不僅可維持該使用者之穩定的服務品質(QoS,“Quality of Service”)，亦可用於利用良好效能的網路來降低運作成本。雖然本發明已經以特定於結構化特徵及/或方法性動作的語言來描述，應可瞭解到在附於申請專利範圍中所定義的發明內容並不必要地限制於上述之特定特徵或動作。而是上述的特定特徵與動作係以實施該等申請專利範圍之範例型式來揭示。

Claims (20)

  1. 一種提供一種訊號的方法，該方法包含：在一運算系統的一處理器中以一第一圖框率顯像複數影像圖框；將該等複數影像圖框編碼成視訊資訊；透過一網路的一連接串流該視訊資訊到一運算裝置；監視對應於該網路連接的一網路遲延；及基於該被監視的網路遲延，動態地調整該第一圖框率；其中該運算裝置係遠端地位於該運算系統外，並經由該網路連接通訊式地耦接於該運算系統，另外，其中該視訊資訊設置成在該運算裝置中被解碼，並以一第二圖框率在關聯於該運算裝置的一顯示裝置中顯示。
  2. 如申請專利範圍第1項之方法，其中該監視對應於該網路連接的該網路遲延包含比較該網路遲延與一第一預定遲延。
  3. 如申請專利範圍第2項之方法，其中該動態地調整該第一圖框率包含如果該網路遲延超過該第一預定遲延時，動態地增加該第一圖框率。
  4. 如申請專利範圍第3項之方法，其中該動態地調整該第一圖框率包含於動態地增加第一圖框率，以補償所監視而超過該第一預定遲延的網路遲延。
  5. 如申請專利範圍第2項之方法，其中該監視對應於該網路連接的該網路遲延包含比較該網路遲延與一第二預定遲延。
  6. 如申請專利範圍第5項之方法，另包含如果該網路遲延低於該第二預 定遲延時，動態地降低該第一圖框率。
  7. 如申請專利範圍第6項之方法，其中該動態地減少該第一圖框率對應於該處理器的一較低的電力消耗率。
  8. 如申請專利範圍第1項之方法，其中當該第一圖框率被動態地調整時，該第二圖框率被維持固定。
  9. 如申請專利範圍第1項之方法，其中該第二圖框率對應於一服務品質(QoS)條件。
  10. 如申請專利範圍第1項之方法，另包含：經由該網路連接於該運算系統中接收來自該運算裝置之一使用者輸入；在該處理器中顯像包含一視覺回饋的一第二複數影像圖框以回應該收到的使用者輸入；編碼該等第二複數影像圖框為一第二視訊資訊；透過該網路連接串流該第二視訊資訊到該運算裝置，其中該第二視訊資訊設置成在該運算裝置中被解碼，並在關聯於該運算裝置的該顯示裝置中顯示。
  11. 如申請專利範圍第10項之方法，其中該監視該網路遲延包含追蹤在該運算裝置中該使用者輸入的接收與在關聯於該運算裝置的該顯示裝置上該第二視訊資訊的顯示之間的一時間長度，該網路遲延對應於該被追蹤的時間長度。
  12. 一種系統，該系統包含：複數運算系統，其中該等複數運算系統之一運算系統包含：一記憶體儲存複數程式化的指令；複數處理器根據該等複數程式化指令顯像複數圖形影像，並編碼該等複數圖形影像成一編碼視訊；一串流化模組透過在一遠端運算裝置與該運算系統之間的一網路連接，傳送對應於該編碼視訊的一視訊流至該遠端運算裝置；及一網路監視器監視該網路連接的狀況，其中該等複數圖形影像被該等複數處理器以一顯像圖框率顯像；另外其中該顯像圖框率回應於網路遲延而被動態地調整。
  13. 如申請專利範圍第12項之系統，其中該遠端運算裝置另解碼自該串流化模組接收的該視訊流。
  14. 如申請專利範圍第13項之系統，其中該遠端運算裝置包含一顯示裝置顯示該解碼的視訊流予該遠端運算裝置的一使用者。
  15. 如申請專利範圍第12項之系統，其中該顯像圖框率回應於該網路遲延下降低於一第一預先定義的臨界值，而被動態地降低。
  16. 如申請專利範圍第12項之系統，其中該顯像圖框率回應於該網路遲延超過一第二預先定義的臨界值。而被動態地增加。
  17. 如申請專利範圍第12項之系統，其中在該遠端運算裝置上接收的使用者輸入被傳送到該運算系統。
  18. 如申請專利範圍第17項之系統，其中回應於該使用者輸入，一第二複數圖形影像該等複數處理器中一處理器上被顯像，該等第二複數圖形影像被編碼成一第二視訊，並串流到該遠端運算裝置。
  19. 如申請專利範圍第18項之系統，其中該網路遲延對應於在該遠端運算裝置中該使用者輸入的接收與在該遠端運算裝置的一顯示裝置中該第二視訊的顯示之間的一持續時間。
  20. 如申請專利範圍第12項之系統，其中該等複數運算系統係包含在一雲端資料中心當中。
TW102147432A 2012-12-27 2013-12-20 透過圖框率控制之網路適應性的遲延降低 TW201440507A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/728,927 US10616086B2 (en) 2012-12-27 2012-12-27 Network adaptive latency reduction through frame rate control

Publications (1)

Publication Number Publication Date
TW201440507A true TW201440507A (zh) 2014-10-16

Family

ID=50928594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147432A TW201440507A (zh) 2012-12-27 2013-12-20 透過圖框率控制之網路適應性的遲延降低

Country Status (4)

Country Link
US (4) US10616086B2 (zh)
CN (2) CN110460496A (zh)
DE (1) DE102013114633B4 (zh)
TW (1) TW201440507A (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US9201487B2 (en) * 2013-03-05 2015-12-01 Intel Corporation Reducing power consumption during graphics rendering
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US9474967B2 (en) * 2013-08-02 2016-10-25 Activision Publishing, Inc. Internet distance-based matchmaking
JP5411386B1 (ja) * 2013-08-12 2014-02-12 株式会社 ディー・エヌ・エー ゲームを提供するサーバ及び方法
US10158868B2 (en) * 2013-10-15 2018-12-18 Nvidia Corporation Systems and methods to limit lag between a client and a server for remote computing
JP5545687B1 (ja) * 2013-11-07 2014-07-09 株式会社 ディー・エヌ・エー ゲームを提供するサーバ及び方法
US20150148965A1 (en) * 2013-11-22 2015-05-28 Honeywell International Inc. Method to control a communication rate between a thermostat and a cloud based server
JP5878938B2 (ja) * 2014-01-29 2016-03-08 株式会社ソニー・コンピュータエンタテインメント 配信システム、配信方法、配信プログラム
US9503775B2 (en) * 2014-03-18 2016-11-22 Vixs Systems, Inc. Content access device with polling processor and methods for use therewith
US10813043B2 (en) 2014-05-16 2020-10-20 Huawei Technologies Co., Ltd. System and method for communicating wireless transmissions spanning both licensed and un-licensed spectrum
US10873941B2 (en) 2014-05-16 2020-12-22 Huawei Technologies Co., Ltd. System and method for joint transmission over licensed and unlicensed bands using fountain codes
US10536386B2 (en) 2014-05-16 2020-01-14 Huawei Technologies Co., Ltd. System and method for dynamic resource allocation over licensed and unlicensed spectrums
US10548071B2 (en) * 2014-05-16 2020-01-28 Huawei Technologies Co., Ltd. System and method for communicating traffic over licensed or un-licensed spectrums based on quality of service (QoS) constraints of the traffic
CN104159079B (zh) * 2014-08-13 2018-01-30 上海航天电子通讯设备研究所 一种图像实时解码显示方法
CN105611316B (zh) * 2014-11-21 2019-05-03 华为终端（东莞）有限公司 一种调整帧率的方法、装置及***
CN104598292B (zh) * 2014-12-15 2017-10-03 中山大学 一种应用于云游戏***的自适应流适配和资源优化方法
JP6525576B2 (ja) * 2014-12-17 2019-06-05 キヤノン株式会社 制御装置、制御システム、制御方法、医用画像撮影装置、医用画像撮影システム、撮影制御方法およびプログラム
CN105791735B (zh) * 2014-12-24 2018-11-27 中国电信股份有限公司 用于视频通话码流动态调整的方法和***
US9984653B1 (en) * 2015-02-11 2018-05-29 Synaptics Incorporated Method and device for reducing video latency
US10135890B2 (en) * 2015-03-06 2018-11-20 Sony Interactive Entertainment LLC Latency-dependent cloud input channel management
US10207185B2 (en) * 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
US10530824B2 (en) * 2015-09-25 2020-01-07 Microsoft Technology Licensing, Llc Real-time end-to-end latency monitoring
US9904974B2 (en) 2015-11-11 2018-02-27 Amazon Technologies, Inc. Placement optimization for virtualized graphics processing
WO2017138950A1 (en) 2016-02-12 2017-08-17 Hewlett Packard Enterprise Development Lp Keyboard data
CN105871916B (zh) * 2016-06-08 2019-04-12 浙江宇视科技有限公司 视频流送显处理方法、装置及***
JP6288882B1 (ja) * 2016-12-12 2018-03-07 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲームシステム、及びプログラム
AU2018254591B2 (en) * 2017-04-21 2021-01-07 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
EP3503569A1 (en) * 2017-12-19 2019-06-26 Thomson Licensing Method of transmitting video frames from a video stream to a display and corresponding apparatus
US10924525B2 (en) * 2018-10-01 2021-02-16 Microsoft Technology Licensing, Llc Inducing higher input latency in multiplayer programs
CN109302637B (zh) * 2018-11-05 2023-02-17 腾讯科技(成都)有限公司 图像处理方法、图像处理装置和电子设备
CN111694625B (zh) * 2019-03-14 2023-05-19 阿里巴巴集团控股有限公司 一种车盒向车机投屏的方法和设备
WO2020253871A1 (zh) * 2019-06-21 2020-12-24 广州虎牙科技有限公司 一种线上的视频数据输出方法、***及云平台
US11731043B2 (en) * 2019-11-19 2023-08-22 Sony Interactive Entertainment Inc. Adaptive graphics for cloud gaming
US10904606B1 (en) * 2020-01-23 2021-01-26 Roku, Inc. Using non-audio data embedded in an audio signal
CN113556261B (zh) * 2020-04-26 2024-02-13 阿里巴巴集团控股有限公司 数据通信方法、装置、电子设备及计算机可读存储介质
US11446571B2 (en) 2020-04-30 2022-09-20 Intel Corporation Cloud gaming adaptive synchronization mechanism
EP3903896B1 (en) * 2020-04-30 2023-12-27 INTEL Corporation Cloud gaming adaptive synchronization mechanism
CN111617466B (zh) * 2020-05-12 2023-04-28 咪咕文化科技有限公司 编码格式的确定方法、装置及云游戏的实现方法
CN111901635A (zh) * 2020-06-17 2020-11-06 北京视博云信息技术有限公司 一种视频处理方法、装置、存储介质及设备
CN111836104B (zh) * 2020-07-09 2022-01-28 海信视像科技股份有限公司 显示设备及显示方法
CN111882626B (zh) * 2020-08-06 2023-07-14 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及介质
CN113521729B (zh) * 2021-07-02 2023-10-20 咪咕互动娱乐有限公司 云游戏延迟检测方法、服务器、客户端、***及介质
CN117716209A (zh) 2021-08-05 2024-03-15 微芯片技术股份有限公司 感应角位置传感器以及相关设备、***和方法
CN114338550B (zh) * 2022-03-14 2022-06-21 杭州子默网络科技有限公司 一种减低带宽的云电脑实时编码方法及***
CN114827104B (zh) * 2022-05-17 2024-02-23 咪咕文化科技有限公司 时延调整方法、装置、设备及计算机可读存储介质
US11776507B1 (en) 2022-07-20 2023-10-03 Ivan Svirid Systems and methods for reducing display latency
CN115278288B (zh) * 2022-09-23 2022-12-20 腾讯科技（深圳）有限公司 一种显示处理方法、装置、计算机设备及可读存储介质
WO2024107192A1 (en) * 2022-11-17 2024-05-23 Hyland Software, Inc. Systems, methods, and devices for hub, spoke and edge rendering in a picture archiving and communication system (pacs)
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和***
CN116828215B (zh) * 2023-08-30 2023-11-14 湖南马栏山视频先进技术研究院有限公司 一种降低本地算力负荷的视频渲染方法及***

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995518A (en) * 1997-05-01 1999-11-30 Hughes Electronics Corporation System and method for communication of information using channels of different latency
US6259733B1 (en) * 1998-06-16 2001-07-10 General Instrument Corporation Pre-processing of bit rate allocation in a multi-channel video encoder
WO2000013418A1 (en) * 1998-08-26 2000-03-09 Sony Corporation Video data processor and processing method, video data encoder and encoding method
US6182125B1 (en) * 1998-10-13 2001-01-30 3Com Corporation Methods for determining sendable information content based on a determined network latency
US6665751B1 (en) * 1999-04-17 2003-12-16 International Business Machines Corporation Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state
US6801947B1 (en) * 2000-08-01 2004-10-05 Nortel Networks Ltd Method and apparatus for broadcasting media objects with guaranteed quality of service
US7266704B2 (en) * 2000-12-18 2007-09-04 Digimarc Corporation User-friendly rights management systems and methods
US6763244B2 (en) * 2001-03-15 2004-07-13 Qualcomm Incorporated Method and apparatus for adjusting power control setpoint in a wireless communication system
US7116636B2 (en) * 2001-05-15 2006-10-03 Northrop Grumman Corporation Data rate adjuster using transport latency
EP1301041A1 (en) * 2001-10-05 2003-04-09 Matsushita Electric Industrial Co., Ltd. Video data transmission method and apparatus
GB2393617A (en) * 2002-09-24 2004-03-31 Mitel Knowledge Corp Adaptive predictive playout scheme for packet voice applications
US7245608B2 (en) * 2002-09-24 2007-07-17 Accton Technology Corporation Codec aware adaptive playout method and playout device
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US7225267B2 (en) * 2003-01-27 2007-05-29 Microsoft Corporation Reactive bandwidth control for streaming data
US7352952B2 (en) * 2003-10-16 2008-04-01 Magix Ag System and method for improved video editing
US20050132264A1 (en) * 2003-12-15 2005-06-16 Joshi Ajit P. System and method for intelligent transcoding
US7701884B2 (en) * 2004-04-19 2010-04-20 Insors Integrated Communications Network communications bandwidth control
US20060077902A1 (en) * 2004-10-08 2006-04-13 Kannan Naresh K Methods and apparatus for non-intrusive measurement of delay variation of data traffic on communication networks
US7536469B2 (en) * 2004-12-10 2009-05-19 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a limited number of supported coding bit rates
EP1844612B1 (en) * 2005-02-04 2017-05-10 Barco NV Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
US20060184697A1 (en) 2005-02-11 2006-08-17 Microsoft Corporation Detecting clock drift in networked devices through monitoring client buffer fullness
WO2006096104A1 (en) * 2005-03-07 2006-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Multimedia channel switching
US7516255B1 (en) * 2005-03-30 2009-04-07 Teradici Corporation Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network
US20060230171A1 (en) * 2005-04-12 2006-10-12 Dacosta Behram M Methods and apparatus for decreasing latency in A/V streaming systems
US20070024705A1 (en) * 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
US20070067480A1 (en) * 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
US7620716B2 (en) * 2006-01-31 2009-11-17 Dell Products L.P. System and method to predict the performance of streaming media over wireless links
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
BRPI0709260A2 (pt) * 2006-03-31 2011-06-28 Koninkl Philips Electronics Nv método para renderizar conteúdo de imagem, aplicativo incorporado em um meio legìvel por computador, processador para renderizar conteúdo de imagem, sinal de imagem auxiliar, e, método para gerar dados auxiliares para exibir elementos em um mostrador secundário em uma vizinhança de um mostrador primário
WO2007119236A2 (en) * 2006-04-13 2007-10-25 Yosef Mizrachi Method and apparatus for providing gaming services and for handling video content
CN101467184B (zh) * 2006-04-13 2013-03-13 Igt公司 用于在游戏设备上集成远程主机和本地显示内容的方法和装置
US20080043643A1 (en) * 2006-07-25 2008-02-21 Thielman Jeffrey L Video encoder adjustment based on latency
US8606966B2 (en) * 2006-08-28 2013-12-10 Allot Communications Ltd. Network adaptation of digital content
US20080055311A1 (en) * 2006-08-31 2008-03-06 Ati Technologies Inc. Portable device with run-time based rendering quality control and method thereof
US9154395B2 (en) * 2006-10-05 2015-10-06 Cisco Technology, Inc. Method and system for optimizing a jitter buffer
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US20080165280A1 (en) * 2007-01-05 2008-07-10 Deever Aaron T Digital video stabilization with manual control
US8305914B2 (en) 2007-04-30 2012-11-06 Hewlett-Packard Development Company, L.P. Method for signal adjustment through latency control
US9498714B2 (en) 2007-12-15 2016-11-22 Sony Interactive Entertainment America Llc Program mode switching
EP2073552A1 (en) 2007-12-21 2009-06-24 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for controlling a media consumption rate of a receiver
JP5039921B2 (ja) * 2008-01-30 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮システム、プログラムおよび方法
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US8015310B2 (en) * 2008-08-08 2011-09-06 Cisco Technology, Inc. Systems and methods of adaptive playout of delayed media streams
US8386560B2 (en) * 2008-09-08 2013-02-26 Microsoft Corporation Pipeline for network based server-side 3D image rendering
US8446452B2 (en) * 2008-11-07 2013-05-21 Magor Communications Corporation Video rate adaptation for congestion control
WO2010111261A1 (en) * 2009-03-23 2010-09-30 Azuki Systems, Inc. Method and system for efficient streaming video dynamic rate adaptation
US9426502B2 (en) * 2011-11-11 2016-08-23 Sony Interactive Entertainment America Llc Real-time cloud-based video watermarking systems and methods
US9585062B2 (en) * 2010-07-15 2017-02-28 Dejero Labs Inc. System and method for implementation of dynamic encoding rates for mobile devices
US20110058554A1 (en) * 2009-09-08 2011-03-10 Praval Jain Method and system for improving the quality of real-time data streaming
WO2011068784A1 (en) * 2009-12-01 2011-06-09 Azuki Systems, Inc. Method and system for secure and reliable video streaming with rate adaptation
JP5587435B2 (ja) * 2010-02-12 2014-09-10 トムソン ライセンシング コンテンツ再生の同期方法及び同期装置
CN102882845B (zh) 2010-04-07 2016-07-13 苹果公司 实时或准实时流传输
US8606071B2 (en) * 2010-04-15 2013-12-10 Leonid Remennik Method and apparatus for presenting interactive multimedia using storage device interface
WO2011139305A1 (en) * 2010-05-04 2011-11-10 Azuki Systems, Inc. Method and apparatus for carrier controlled dynamic rate adaptation and client playout rate reduction
US9781477B2 (en) * 2010-05-05 2017-10-03 Cavium, Inc. System and method for low-latency multimedia streaming
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
WO2012078640A2 (en) 2010-12-06 2012-06-14 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network bandwidth constraints
CN102571900B (zh) * 2010-12-08 2015-01-14 中国电信股份有限公司 一种实现远端实时操控的***和方法
US8675577B2 (en) 2010-12-20 2014-03-18 Intel Corporation Signaling techniques for a multimedia-aware radio and network adaptation
US8489760B2 (en) * 2011-03-31 2013-07-16 Juniper Networks, Inc. Media file storage format and adaptive delivery system
US8619612B2 (en) 2011-05-02 2013-12-31 Intel Corporation Measurement and feedback calculation for wireless communication network
WO2012154152A1 (en) * 2011-05-06 2012-11-15 Google Inc. Apparatus and method for rendering video with retransmission delay
WO2012159640A1 (en) * 2011-05-20 2012-11-29 Dream Chip Technologies Gmbh Method for transmitting digital scene description data and transmitter and receiver scene processing device
US20150026309A1 (en) * 2011-09-29 2015-01-22 Avvasi Inc. Systems and methods for adaptive streaming control
US10320951B2 (en) * 2011-10-31 2019-06-11 Hurricane Electric Systems and methods for establishing a virtual local area network
US9014321B2 (en) 2011-10-31 2015-04-21 Texas Instruments Incorporated Clock drift compensation interpolator adjusting buffer read and write clocks
US9288248B2 (en) * 2011-11-08 2016-03-15 Adobe Systems Incorporated Media system with local or remote rendering
US9503497B2 (en) * 2011-12-10 2016-11-22 LogMeln, Inc. Optimizing transfer to a remote access client of a high definition (HD) host screen image
JP5899897B2 (ja) * 2011-12-20 2016-04-06 富士通株式会社 情報処理装置、情報処理方法及びプログラム
CN104160708B (zh) * 2012-03-09 2018-12-11 汤姆逊许可公司 同步内容的分布式控制
JP5920006B2 (ja) * 2012-05-14 2016-05-18 富士通株式会社 画面更新制御プログラム、画面更新制御方法、および情報処理装置
US10063606B2 (en) * 2012-06-12 2018-08-28 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
US20150340009A1 (en) * 2012-06-22 2015-11-26 Universitaet Des Saarlandes Method and system for displaying pixels on display devices
US9060183B2 (en) * 2012-10-25 2015-06-16 Cambridge Silicon Radio Limited Reduced latency media distribution system
US8782122B1 (en) * 2014-01-17 2014-07-15 Maximilian A. Chang Automated collaboration for peer-to-peer electronic devices
US10250658B2 (en) * 2017-03-17 2019-04-02 The Directv Group, Inc. Hybrid media stream delivery using multiple network connections
US11077364B2 (en) * 2018-04-02 2021-08-03 Google Llc Resolution-based scaling of real-time interactive graphics
EP4141781B1 (en) * 2018-04-10 2024-03-20 Google LLC Memory management in gaming rendering

Also Published As

Publication number Publication date
DE102013114633B4 (de) 2019-12-05
US20200195541A1 (en) 2020-06-18
US11683253B2 (en) 2023-06-20
US20210226877A1 (en) 2021-07-22
CN103905836A (zh) 2014-07-02
US20200244559A1 (en) 2020-07-30
US20140189091A1 (en) 2014-07-03
US10999174B2 (en) 2021-05-04
US11012338B2 (en) 2021-05-18
CN110460496A (zh) 2019-11-15
DE102013114633A1 (de) 2014-07-03
US10616086B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
US11683253B2 (en) Network adaptive latency reduction through frame rate control
CN111135569A (zh) 云游戏处理方法、装置、存储介质与电子设备
US9549152B1 (en) Application content delivery to multiple computing environments using existing video conferencing solutions
US10855742B2 (en) Buffering in HTTP streaming client
US11792451B2 (en) Method and system for low latency high frame rate streaming
US9942556B2 (en) Altering streaming video encoding based on user attention
US9363187B2 (en) Jitter buffering system and method of jitter buffering
CN114867537A (zh) 用于云游戏的自适应图形
US20130013671A1 (en) System and method for providing interactive content to non-native application environments
EP2905963A1 (en) Encoding control device and encoding control method
US10158868B2 (en) Systems and methods to limit lag between a client and a server for remote computing
US9079106B2 (en) Server and method for providing a video game
TW201443662A (zh) 動態修改到用戶端裝置與執行於代表用戶端裝置的資料伺服器上的應用程式相關聯的資料傳輸之訊框率
JP2014075735A (ja) 画像処理装置および画像処理方法
JP2014075737A (ja) 画像処理装置、画像処理方法及び画像処理システム
Nguyen et al. A delay-aware adaptation framework for cloud gaming under the computation constraint of user devices
WO2019058111A1 (en) CONTINUOUS DIFFUSION OF GRAPHIC ELEMENTS
Alhilal et al. FovOptix: Human Vision-Compatible Video Encoding and Adaptive Streaming in VR Cloud Gaming
CN115623248B (zh) 数据处理方法、帧率调整方法、装置，设备及计算机介质
KR102359367B1 (ko) 게임 스트리밍을 위한 방법 및 장치
WO2023095307A1 (ja) 配信装置、配信方法、及びプログラム
US20160323336A1 (en) Optimal settings for application streaming
Cai et al. Cloud Gaming
Stensland et al. Using a commodity hardware video encoder for interactive applications
Han Implementation of a Playout Buffer for a Cloud-based Game Client