TW201642942A - 針對輸出裝置及網路品質的雲遊戲資料流動態調整 - Google Patents

Abstract

本揭示案之態樣係關於用於動態調整經由一網路串流傳輸之資料的系統及方法，該資料隨後顯示於一輸出裝置上。詳言之，本揭示案之態樣係關於用於判定一輸出裝置之顯示能力且隨後格式化經組配來顯示於該輸出裝置上之兩個或兩個以上資料流的系統及方法，其中使用者介面及視訊資料包含於單獨的流中，以使得以與該輸出裝置之顯示能力一致之方式顯示內容。隨後可基於裝置定向及網路品質來調整或優先排序該輸出。

Description

針對輸出裝置及網路品質的雲遊戲資料流動態調整

本揭示案係關於經由網路串流傳輸之資料之動態調整。詳言之，本揭示案之態樣係關於用於判定輸出裝置之顯示能力且隨後格式化經組配來顯示於輸出裝置上之兩個或兩個以上資料流的系統及方法。

隨著數位串流傳輸服務及各種基於雲的計算解決方案之日益流行，在遠程裝置之間快速且準確地傳送大量資料之能力係關鍵任務。當前，資料串流傳輸服務不考慮意欲在上面顯示資料之裝置的規格。因此，裝置之間的縮放及像素變化可產生不合需要的顯示情境，例如，文本在較小螢幕上不可讀或顯示器之縱橫比可能不適合於特定媒體片段。

另外，當利用對延時敏感的諸如視訊遊戲之應用程式時，數位串流傳輸服務及基於雲的計算解決方案可在網路之品質及頻寬方面經受限制，該等網路係在遠程 裝置之間傳送資料期間建立或使用的。此等限制可引起資料傳輸中的延遲並且可因此導致延時，延時通常在使用應用程式期間產生不一致性。儘管用戶端裝置將試圖經由多種方法達成最低延時，但不可避免地，歸因於諸如所傳輸資料之解碼速度、呈現速率、輸入輪詢或甚至用戶端網路連接之因素的差異，每一用戶端裝置將經受不同量的延時。在一些形式的媒體中，諸如文本或使用者介面(UI)資料之特定媒體的延時顯示(latent display)可對使用者之享樂更不利，從而導致使用者挫敗感且或許甚至導致完全放棄標題或平台。

此外，在對消費者可用之多種媒體播放裝置上，顯示器之定向可取決於使用者之需求而快速改變。某些裝置定向可能使得對媒體標題之觀察幾乎不可能，該媒體標題在替代定向中本來將正常可見。因此，此項技術中需要找到用於調整及顯示經由網路串流傳輸之媒體的替代措施，該替代措施考慮到網路延時、顯示器定向及多種裝置之特定顯示能力。

根據本揭示案之某些態樣，非暫時性電腦可讀媒體可含有體現於其中之電腦可讀指令。該等指令可經組配來在執行時實現一種方法。該方法可包括：判定輸出裝置之顯示能力。可建立並格式化經組配來顯示於輸出裝置上的兩個或兩個以上資料流。資料流可包括用於視訊資 料及使用者介面(UI)資料之單獨的流。隨後可將資料流輸送至輸出裝置。

根據本揭示案之某些實行方案，一種用於將資料串流傳輸至輸出裝置的方法可包括判定輸出裝置之顯示能力。可建立並格式化經組配來顯示於輸出裝置上的兩個或兩個以上資料流。資料流可含有用於視訊資料及使用者介面(UI)資料之單獨的資訊。隨後可將資料流輸送至輸出裝置。

根據本揭示案之某些實行方案，一種計算系統可包括至少一個處理器單元及耦接至該至少一個處理器單元之至少一個記憶體單元。至少一個處理器單元及至少一個記憶體單元可經組配來進行一種方法。該方法可包括：判定輸出裝置之顯示能力。可建立並格式化經組配來顯示於輸出裝置上之兩個或兩個以上資料流。資料流可含有用於視訊資料及使用者介面(UI)資料之單獨的資訊。隨後可將資料流輸送至輸出裝置。

10、100‧‧‧網路

12、103、104‧‧‧輸出裝置

14‧‧‧視訊資料

16‧‧‧文本

18‧‧‧地圖資料

102‧‧‧伺服器

120、120’‧‧‧串流傳輸資料

140、140’、190‧‧‧流

150、150’‧‧‧優先排序流

182‧‧‧請求

183‧‧‧裝置資訊

184、184’‧‧‧顯示能力資訊

186‧‧‧能力

188‧‧‧資料流

200‧‧‧方塊圖

206、206’、206”‧‧‧使用者介面

231、231’、231”‧‧‧處理器

232、232’、232”‧‧‧記憶體單元

233、233’、233”‧‧‧程式

234、234’、234”‧‧‧大容量儲存裝置

236、236’、236”‧‧‧資料

237、237’、237”‧‧‧顯示單元

239、239’、239”‧‧‧網路介面

240、240’、240”‧‧‧支援電路

241、241’、241”‧‧‧輸入/輸出(I/O)電路

242、242’、242”‧‧‧電源供應器(P/S)

243、243’、243”‧‧‧時鐘

244、244’、244”‧‧‧快取記憶體

245’、245”‧‧‧控制器

250、250’、250”‧‧‧匯流排

260‧‧‧電信網路

370‧‧‧伺服器側指令之集合

372、374、376、378‧‧‧伺服器指令

480‧‧‧輸出裝置指令之集合

482、484、486、488‧‧‧輸出裝置指令

藉由結合隨附圖式考慮以下詳細描述，可容易地理解本揭示案之教示，在圖式中： 圖1為顯示於輸出裝置上之媒體標題之一部分的螢幕截圖之實例，該媒體標題係由經由網路串流傳輸之資料導出的，並且圖1意欲例示顯示標題之各種組件。

圖2為根據本揭示案之某些態樣的示例性系統之流程 圖。

圖3為根據本揭示案之某些態樣的示例性系統之方塊圖。

圖4為根據本揭示案之某些態樣的自伺服器側之示例性資產管理技術的流程圖。

圖5為根據本揭示案之某些態樣的自輸出裝置側之示例性資產管理技術的流程圖。

儘管以下詳細描述出於例示之目的含有許多特定細節，但是任何一個一般熟習此項技術者將瞭解，對以下細節之許多變化及變更在本發明之範疇內。因此，以下所述本揭示案之例示性實行方案係在對所請求發明沒有任何一般性損失的情況下且對所請求發明不強加限制的情況下闡述。

介紹

本揭示案之態樣係關於用於回應於不同的裝置類型、定向及網路品質來動態調整UI及視訊串流傳輸資料之系統及方法。

根據某些態樣，經組配來在網路上操作之用戶端裝置可為使用者提供可向進行提供的使用者借來之一或多個數位資產之清單。可隨後能夠請求使用可向進行提供的使用者借來的資產。使用者可隨後自進行提供的使用 者接收某些權利，諸如對應用程式或應用程式特徵之存取。替代實施例提供一種方法，在該方法中，進行提供的使用者可在不首先接收請求的情況下將資產權利授予給另一使用者。

實行方案細節

在圖1中，提供顯示於輸出裝置上的媒體標題之螢幕截圖之實例，該媒體標題係由經由網路10串流傳輸之資料導出的。此實例意欲例示串流傳輸標題之各種組件。例如，在輸出裝置12上，取決於裝置之定向或網路連接之品質，顯示器之各種部分可在品質及清晰度方面變化。例如，諸如14之視訊資料在獨立於裝置來顯示時可為清晰的，其中在該裝置上顯示視訊資料14。然而，諸如文本16及地圖資料18之UI資料可能難以適當地顯示於較小螢幕上，或可在經格式化來適合較小顯示器時呈現為不可讀或不可用的。

現在轉至圖2，提供可如何自經由網路100串流傳輸之資料將媒體標題顯示於各種裝置上之例示性實例。詳言之，圖2描繪根據本揭示案之某些實行方案的用於為不同的輸出裝置提供若干資料流之示例性方法流程。應注意，圖2中之提供應用程式資產之示例性方法可具有與圖4及5中所指示之方法共有的一或多個態樣。亦重要的是應注意，圖2之實例僅為簡化實例，其目的在於例示根據本揭示案可如何提供資料流之僅某些態樣。

最初，重要的是應注意，在此實例中，將資料流提供至向含有媒體資訊之伺服器請求流的輸出裝置，但可向替代源請求資料且可由替代源輸送資料。在此實例中，如圖2所示，利用輸出裝置103之使用者向伺服器102請求媒體標題之流。伺服器接收此請求182並且判定來自相容裝置之清單的輸出裝置103之能力186。相關能力可包括諸如以下參數：以像素為單位之螢幕大小、實體螢幕尺寸、螢幕解析度、色彩格式(例如，8位元、15位元、16位元、24位元、30位元、36位元或48位元色彩)及類似參數。

可使用之參數的額外實例包括但不限於以下實例：像素縱橫比(通常假定像素係方形，具有相同的寬度及高度。尤其對於舊SD電視訊號而言，未必如此)；色彩空間資訊(RGB、YUV等)、伽馬校正資訊、螢幕定向、顯示器背光等級(『亮度等級』)、顯示器再新速率。關於再新速率，可能有用的是知道最大再新速率(60Hz)，但裝置亦可支援更低的或甚至可變的再新速率。

此等參數中之一些可隨時間變化。例如，對於諸如平板電腦及智慧型電話之手持式裝置而言，定向可改變。在串流傳輸至在本端連接至不同顯示裝置之一個裝置時，亦可能顯示能力會改變。例如，正在將視訊串流傳輸至諸如平板電腦或電話之裝置的使用者可突然將該裝置連接至4K顯示器。此舉可改變該等能力中之一些。

亦可存在一些其他的相關圖形處理單元(GPU) 參數。例如，一些GPU(尤其是嵌入式平台上的GPU)支援視訊覆疊。具體而言，圖框可具有多個圖層，在將圖框輸出至顯示器之前，以某種方式組合(『複合』)該等圖層。此舉可允許視訊及UI之獨立呈現。例如，視訊流可呈現於與UI不同的層上。UI及視訊流可具有不同更新頻率且均不必彼此『等待』。例如，數位電視使用覆疊來將系統選單系統分層於『TV影像』之上。

在替代實施例中，伺服器可在顯示能力未知時向輸出裝置請求裝置資訊183，且輸出裝置可繼而將該資訊輸送至伺服器184。例如，輸出裝置可包括一或多個感測器，例如慣性感測器及/或面向使用者的攝影機，該一或多個感測器允許輸出裝置感測顯示器螢幕相對於使用者之定向。顯示器螢幕可為矩形但具有非方形縱橫比(寬度與高度之比)。伺服器102可請求輸出裝置指示該輸出裝置相對於使用者處於水平定向還是垂直定向，以便可最佳地格式化將要串流傳輸之資料以便以該定向來呈現。

關於裝置能力之資訊(例如裝置是否支援480p、720p...)給出伺服器資訊，該伺服器資訊係關於在技術上的可能。將亦有用的是，伺服器知道裝置之諸如定向及輸出解析度的某些當前設定。諸如色彩深度之其他資訊可為次要的，例如，因為可在用戶端裝置處調整該資訊，或伺服器將出於壓縮效率原因或為減少所要求之頻寬而規定此資訊。

伺服器102亦可請求關於介於伺服器與輸出 裝置103之間的網路100之品質之資訊。此種資訊可包括諸如網路延時、可利用的網路頻寬、封包丟失或網路協定之參數。此資訊可用於格式化資料流188。例如，例如統一資料報協定(UDP)之一些網路協定係高度不可靠的。若伺服器102知道網路100使用UDP，則流188可經組配來包括輸出裝置103可用來尋回丟失的資料封包之前向誤差校正(FEC)封包。

串流傳輸技術常常使用FEC技術。在開始串流傳輸至用戶端裝置之前，伺服器設定用於串流傳輸之頻寬預算，例如8Mbps。為設定頻寬預算，有用的是，伺服器選取(pick)諸如視訊解析度、圖框速率及壓縮設定之一些用戶端裝置設定。

在串流傳輸期間，伺服器可監測頻寬，且基於諸如頻寬及封包丟失之網絡參數，並且相應地調整視訊解析度、圖框速率及壓縮設定。可針對音訊串流傳輸調整類似的設定，該調整可變得更重要。知道音訊設定允許使伺服器針對例如六通道環場音效設置(例如，5.1環場音效)或立體聲設置來最佳化音訊流。

某種串流傳輸技術稍微粗糙地減小圖框速率或解析度。例如，一些視訊遊戲串流傳輸系統自HDMI擷取視訊，因此若遊戲產生60fps且串流傳輸速率需要減小至30fps，則串流傳輸伺服器直接將圖框丟棄。此外，若解析度需要減小，則伺服器可僅僅縮放自遊戲接收到之視訊框。藉由實例之方式，遊戲可以720P產生視訊，且若 伺服器102需要以540P串流傳輸，則僅僅在軟體中縮放圖框。

用於諸如線上視訊遊戲之一些應用程式的伺服器常常在與用來處置視訊至用戶端裝置之串流傳輸之硬體不同的硬體上運行應用程式軟體。串流傳輸伺服器及應用程式硬體可位於資料中心並且藉由區域網路連接起來。根據本揭示案之態樣，可使用產生用於視訊流之視訊框的應用程式來完成將視訊資料格式化。藉由實例之方式而非藉由限制之方式，串流傳輸伺服器可通知運行應用程式之硬體，該硬體需要減小圖框速率或顯示器解析度。該應用程式隨後可調整圖框速率或解析度或以其他方式調整視訊格式化以用於輸出裝置103。產生視訊框之應用程式常常可在調整圖框速率、顯示器解析度或其他視訊格式化參數方面表現更好。此外，以此方式格式化視訊甚至可節省少許電功率(較低的解析度或圖框速率對伺服器而言強度較小且因此使用較少功率)。

一旦判定了裝置顯示能力資訊，則伺服器可創建用於視訊及UI資訊之單獨的流188。進行此步驟以便可在輸出裝置103上單獨地格式化UI及視訊資料資訊，從而允許UI及視訊資料之單獨縮放以確保串流傳輸的標題之所有態樣清晰且可用。此等經格式化的流被輸送190至輸出裝置103，在輸出裝置103中以與該輸出裝置之顯示能力一致之方式接收並顯示該等流140。在替代實施例中，輸出裝置可優先排序該等流之顯示150。藉由實 例之方式而非限制之方式，若UI資料之每一態樣包含於單獨流中，則輸出裝置可按(文本資料、視訊資料、地圖資料等的)次序優先排序該等流之顯示，以使得顯示之某些態樣在網路延時的時間期間維持清晰而其他態樣變得不太清楚。

作為實例，用於線上視訊遊戲之『遊戲』流可為壓縮視訊流。用於遊戲之UI流可能未必為視訊流，而是如上所述可為文本、位元映像資料、向量化圖形及其他類型之資料。可與輸出裝置103共用此等類型之資料。在一些實行方案中，輸出裝置103可能已在本端具有資料中之一些，例如作為記憶體232’或快取記憶體244’中之資料236’之部分。例如，用來呈現文本之字體可能已在用戶端上可用。在一些實行方案中，輸出裝置103可能能夠基於使用者設定來組配UP。在此種實行方案中，使用者可例如使用已儲存於輸出裝置103上之任何資料來超控位元映像或字體，以創建如同常常在大型多玩家線上遊戲(MMO)中使用的遊戲『mod』之產物。

圖2中之例示亦提供第二用戶請求自伺服器串流傳輸媒體標題之實例，並且被提供來展示可將資料串流傳輸至各自具有其自身的相應資料流之各種裝置，以使得以與大量輸出裝置之顯示能力一致之方式接收並顯示資料140’。

應強調的是，僅出於例示目的提供圖2所描繪之實例，以便突出本揭示案之某些態樣。實際上，本揭 示案之實行方案可將圖2之實例並未描繪之額外或替代的考慮因素包括在內，且可比圖2中所描繪之簡化方案更複雜。

本揭示案之態樣之某些實行方案包括經組配用於動態調整串流傳輸的內容之系統。藉由實例之方式而非藉由限制之方式，圖3描繪包括三個裝置102、103及104之分散式計算系統，且計算系統102、103及104經組配來根據本揭示案之某些態樣經由網路傳送資料。在某些實行方案中，裝置102可經組配來執行具有與參考圖2及/或圖4所描述之彼等態樣共有的一或多個態樣之指令。在某些實行方案中，裝置103及104可經組配來執行具有與以上參考圖2或以下參考圖5所描述之彼等態樣中之一或多者共有的一或多個態樣之指令。裝置102、103及104中之每一者可經組配有適合的軟體及/或硬體以實現本文中所述之方法的各種態樣。裝置102、103及104中之每一者可為伺服器、嵌入式系統、行動電話、個人電腦、膝上型電腦、平板電腦、便攜式遊戲裝置、工作站、遊戲控制台、諸如智慧型手錶之隨身裝置、「伺服器鑰(dongle)」裝置及類似者。如本文中所使用，術語「伺服器鑰裝置」指代***至諸如電腦或電視之其他設備中以向該設備添加功能之裝置。此種功能可包括為僅當伺服器鑰經附接時才可利用的複製保護、音訊服務、視訊服務、遊戲服務、資料服務或其他服務。伺服器鑰裝置之實例包括但不限於可用於「智慧型」行動電話之網際網路內容串流 傳輸裝置及紅外遠程控制配接器。輸出裝置103、104具有與伺服器102共有之某些組件。在圖3中，伺服器102之組件表示為無撇號之參考數字，輸出裝置103之對應組件表示為有撇號(’)之相同的參考數字，且輸出裝置104之對應組件表示為有雙撇號(”)之相同的參考數字。

根據某些實行方案，裝置102可為經組配來格式化並提供媒體串流傳輸資料之伺服器，且裝置103及104可為想要顯示媒體標題之使用者所利用之輸出裝置。伺服器102可經組配來創建並格式化媒體188，並且例如使用網際網路連接或區域網路連接將資料經由網路260輸送190至輸出裝置103或104。應注意，網路260不需要為網際網路連接。在一些實行方案中，可經由區域網路自位於給定位置處之一個裝置至位於該位置中之另一裝置發生串流傳輸。此外，即使網路260為廣域網路，亦可藉由不同於網際網路的技術來實現該網路，該技術諸如電纜網路。

即使所請求之媒體標題係相同的，亦可針對相應裝置103或104單獨地格式化資料流188，因為相應輸出裝置之裝置能力186可變化。藉由實例之方式而非限制之方式，資料流188可包括用於視訊資料、UI資料、文本、庫存資料、地圖資料或音訊資料之流。在一些實行方案中，可壓縮某些類型之資料流以減少需要在流中傳輸的資料之位元數。詳言之，視訊資料及音訊資料通常在傳輸之前加以壓縮。

裝置102、103及104中之每一者可包括一或多個處理器單元231、231’、231”，該一或多個處理器單元231、231’、231”可根據熟知的架構來組配，該等架構諸如像單核心、雙核心、四核心、多核心、處理器-共處理器、單元處理器及類似者。裝置102、103及104中之每一者亦可包括一或多個記憶體單元232、232’、232”(例如，RAM、DRAM、ROM及類似者)。處理器單元231、231’、231”可執行可儲存於記憶體232中之一或多個程式233、233’、233”，且處理器231、231’、231”可例如藉由經由資料匯流排250、250’、250”存取記憶體而操作性地耦接至記憶體232、232’、232”。記憶體單元232、231’、231”可包括資料236、236’、236”，且處理器單元231、231’、231”可利用資料236、236’、236”來實現程式233、233’、233”。根據本揭示案之各種態樣，用於裝置102、103及104中之每一者之資料236、236’、236”可包括例如自輸出裝置103或104傳輸至伺服器102之對串流傳輸資料之請求120，以及用於自伺服器102輸送140至輸出裝置103或104之特別格式化的資料流188之集合。程式233、233’、233”可以視需要包括指令，該等指令在由處理器執行時進行與以下各項相關聯的一或多個操作：請求串流傳輸用於媒體標題之資料120，判定自其接收到請求之輸出裝置的能力186，創建並格式化分別含有視訊及UI資料之兩個或兩個以上視訊流188以便顯示於輸出裝置103或104上，或接收並顯示140經格式化來最好地 利用輸出裝置103或104之顯示能力的資料流；例如，一種具有與圖2、圖4及/或圖5之方法共有的一或多個特徵之方法。例如，伺服器102之程式233、233’、233”可包括指令，該等指令在由處理器231、231’、231”執行時致使伺服器根據圖2中所描繪的方法及/或串流傳輸資料的發送之伺服器側之態樣來將串流傳輸資料格式化並輸送至至少一個接收裝置103或104。在替代實施例中，伺服器102之程式233、233’、233”可包括指令，該等指令在由處理器231、231’、231”執行時致使伺服器根據圖2中所描繪的方法及/或串流傳輸資料的發送之伺服器側之態樣來向至少一個接收裝置103或104請求顯示能力資訊。輸出裝置103或104之程式233、233’、233”可包括指令，該等指令在由處理器231、231’、231”執行時致使輸出裝置根據圖2中所描繪的方法及/或串流傳輸資料的發送之輸出裝置側之態樣來請求串流傳輸資料120，隨後可由伺服器102提供該串流傳輸資料。在替代實施例中，輸出裝置103或104之程式233、233’、233”可包括指令，該等指令在由處理器231、231’、231”執行時致使輸出裝置根據圖2中所描繪的方法及/或串流傳輸資料的發送之輸出裝置側之態樣來將顯示能力資訊輸送184至伺服器102。

裝置102、103及104中之每一者亦可包括熟知的支援電路240、240’、240”，諸如可例如經由匯流排250、250’、250”與系統之其他組件通信之輸入/輸出(I/O)電路241、241’、241”(在輸出裝置103、104的情況下可 耦接至控制器245’、245”)；電源供應器(P/S)242、242’、242”；時鐘(CLK)243、243’、243”；及快取記憶體244、244’、244”。裝置102、103及104中之每一者可以視需要包括大容量儲存裝置234、234’、234”，諸如磁碟機、CD-ROM碟機、磁帶機、快閃記憶體或類似者，且大容量儲存裝置234、234’、234”可儲存程式及/或資料。裝置102、103及104中之每一者亦可視需要包括顯示單元237、237’、237”。顯示單元237、237’、237”可呈以下形式：陰極射線管(CRT)、平板螢幕、觸控螢幕，或顯示文本、數字、圖形符號或其他視覺物件之其他裝置。裝置102、103及104中之每一者亦可包括使用者介面206、206’、206”以促進該裝置102/103或104與使用者之間的互動。使用者介面206、206’、206”可包括鍵盤、滑鼠、光筆、遊戲控制墊、觸控介面或其他裝置。使用者介面亦可包括諸如揚聲器及/或麥克風之音訊I/O裝置。

使用者可經由使用者介面206、206’、206”與電腦系統中之任一者互動。藉由實例之方式，伺服器102可為雲遊戲伺服器，且輸出裝置103或104可為雲遊戲用戶端，且視訊遊戲使用者可經由使用者介面206、206’、206”與視訊遊戲互動，該視訊遊戲係由伺服器102執行並且串流傳輸至輸出裝置104。使用者介面206、206’、206”之部分可包括可顯示於顯示單元237、237’、237”上之圖形使用者介面(GUI)以便促進與系統102/103或104之使用者互動。系統102/103或104可包括網路介面 239、239’、239”，該網路介面239、239’、239”經組配來允許使用Wi-Fi、乙太網路埠或其他通信方法。網路介面239、239’、239”可併入適合的硬體、軟體、韌體或其某種組合，以促進經由電信網路260的通信，且可根據本揭示案之某些態樣來支援使用不可靠的協定之資料傳送。網路介面239、239’、239”可經組配來經由區域網路及諸如網際網路之廣域網路來實現有線通信或無線通信。

如圖4所示，可例如藉由伺服器102實現伺服器側指令370之集合。伺服器指令370可形成於諸如記憶體232、232’、232”或大容量儲存裝置234、234’、234”之非暫時性電腦可讀媒體上。伺服器側指令370亦可為過程控制程式233、233’、233”之部分。如在372處所指示，伺服器指令370可包括用於請求輸出裝置資訊183之指令，該輸出裝置資訊183視需要包括將要經由網路260自一或多個用戶端裝置103或104接收之輸出裝置顯示能力。指令370可包括用於基於輸出裝置之能力來格式化兩個或兩個以上內容資料流188的指令374。其後，在376處，指令可包括用於將資料流輸送190至輸出裝置103或104之指令，且隨後，在378處可包括用於將資料流格式化或優先權資訊輸送至相應輸出裝置之指令。

如圖5所示，可例如藉由輸出裝置103或104實現輸出裝置指令480之集合。輸出裝置指令480可形成於諸如記憶體232、232’、232”或大容量儲存裝置234、234’、234”之非暫時性電腦可讀媒體上。輸出裝置指令 480亦可為過程控制程式233、233’、233”之部分。如在482處所指示，指令480可包括用於輸送輸出裝置資訊之指令，該輸出裝置資訊視需要包括將要經由網路260由一或多個用戶端裝置103或104輸送之輸出裝置顯示能力183。指令470可包括用於基於輸出裝置之能力來接收140兩個或兩個以上內容資料流188的指令474。其後，在476處，指令可包括用於優先排序150資料流在輸出裝置103或104上之顯示的指令，且隨後，在478處可包括用於格式化文本或其他使用者介面(UI)以使得以與輸出裝置103或104之顯示能力一致之方式顯示串流傳輸之內容的指令。

以上組件可以硬體、軟體、韌體或其某種組合來實現。

儘管以上所述實例採用在用戶端上加以組合之遊戲流及UI流，但亦可包括額外的流，例如視訊聊天流。此類額外的流可點對點來自其他使用者之用戶端裝置並且可由該等用戶端裝置加以組合。在一些實行方案中，伺服器102上之程式233可得知在輸出裝置103與104之間存在視訊聊天流並且可保留資源以用於處置此流。由於延時原因，伺服器102可協調點對點(p2p)工作階段以使用戶端裝置103、104將視訊聊天流與其他流組合。可能有多個類型之本端內容可由用戶端裝置加以複合。

本揭示案之態樣允許格式化及串流傳輸不同格式的資料，該等不同格式的資料得以一起顯示以最佳地 顯示於不同裝置上。

雖然以上為本發明之較佳實施例之完整描述，但是有可能使用各種替代方案、修改及等效物。因此，本發明之範疇不應參考以上描述來判定，而是應參考隨附申請專利範圍以及申請專利範圍之等效物之完整範疇來判定。本文所述的任何特徵(無論是否較佳)均可與本文所述的任何其他特徵(無論是否較佳)組合。在以下申請專利範圍中，不定冠詞「一」係指接在該冠詞後面的項目中之一或多者之數量，除非另有明確說明。隨附申請專利範圍不應解釋為包括構件加功能限制，除非在給定請求項中使用用語「用於...之構件」明確地敘述此種限制。

100‧‧‧網路

102‧‧‧伺服器

103、104‧‧‧輸出裝置

120、120’‧‧‧串流傳輸資料

140、140’、190‧‧‧流

150、150’‧‧‧優先排序流

182‧‧‧請求

183‧‧‧裝置資訊

184、184’‧‧‧顯示能力資訊

186‧‧‧能力

Claims (31)

1. 一種非暫時性電腦可讀媒體，其具有體現於其中之處理器可執行指令，其中藉由一處理器執行該等指令致使該處理器實現一方法，該方法包含：a)判定一輸出裝置之顯示能力；b)格式化經組配來顯示於該輸出裝置上之兩個或兩個以上資料流，以使得以與該輸出裝置之該等顯示能力一致之方式顯示內容，其中該兩個或兩個以上資料流包括用於使用者介面資料之一資料流及用於視訊資料之一單獨資料流；以及c)將該兩個或兩個以上內容資料流輸送至該輸出裝置。
2. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上資料流包括含有壓縮資料之一資料流。
3. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上內容流包括含有將要顯示為文本之資料的一資料流。
4. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上內容流包括含有將要顯示為一抬頭顯示(HUD)之資料的一資料流。
5. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上內容流包括含有將要顯示為庫存資訊之資料的一資料流。
6. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上資料包括含有將要顯示為地圖資訊之資料的一資料流。
7. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中使一個資料流之顯示優先於另一資料流之顯示。
8. 如申請專利範圍第7項之非暫時性電腦可讀媒體，其中藉由網路連接之品質來判定顯示之優先排序。
9. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中藉由一伺服器將顯示指令輸送至與該輸出裝置組合使用之一用戶端裝置平台。
10. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一遊戲控制台。
11. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一電腦。
12. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一蜂巢式電話。
13. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一平板電腦。
14. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一手持式計算裝置。
15. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一機上盒。
16. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一電話系統。
17. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置平台為一伺服器鑰裝置。
18. 如申請專利範圍第9項之非暫時性電腦可讀媒體，其中該用戶端裝置經組配來查詢該輸出裝置以判定該輸出裝置之該等顯示能力並且將此資訊輸送至該伺服器。
19. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該顯示能力資訊亦包括該輸出裝置之一圖片定向。
20. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該內容資料包括一視訊遊戲之一視訊部分。
21. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該內容資料為在一遠程機器上運行之一電腦程式工作階段之一流。
22. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該輸出裝置為一電視。
23. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該輸出裝置為一投影儀。
24. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該輸出裝置及該用戶端裝置平台為同一裝置。
25. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中b)包括用一應用程式來格式化該視訊資料，該應用程式用來產生用於該視訊資料之資料流的視訊框。
26. 如申請專利範圍第1項之非暫時性電腦可讀媒體，其中該兩個或兩個以上流包括一遊戲流及一使用者介 面流。
27. 如申請專利範圍第26項之非暫時性電腦可讀媒體，其中該兩個或兩個以上流包括一遊戲流、一使用者介面流及一或多個額外的流。
28. 如申請專利範圍第26項之非暫時性電腦可讀媒體，其中該兩個或兩個以上流包括一遊戲流、一使用者介面流及在一第一用戶端裝置與一第二用戶端裝置之間的一視訊聊天流。
29. 如申請專利範圍第26項之非暫時性電腦可讀媒體，其中該兩個或兩個以上流包括一遊戲流、一使用者介面流及在一第一用戶端裝置與一第二用戶端裝置之間的一視訊聊天流，其中該方法進一步包含：協調該第一用戶端裝置與該第二用戶端裝置之間的一點對點工作階段，以使該第一用戶端裝置及該第二用戶端裝置將該視訊聊天流與該遊戲流及該使用者介面流組合。
30. 一種在經組配來在一網路上操作之一伺服器上的方法，該方法包含：a)判定一輸出裝置之顯示能力；b)格式化經組配來顯示於該輸出裝置上之兩個或兩個以上資料流，以使得以與該輸出裝置之該等顯示能力一致之方式顯示內容，其中該兩個或兩個以上資料流包括用於使用者介面資料之一資料流及用於視訊資料之一單獨資料流。
31. 一種系統，其包含： 一處理器，以及一記憶體，其耦接至該處理器；其中該處理器經組配來進行一方法，該方法包含：a)判定一輸出裝置之顯示能力；b)格式化經組配來顯示於該輸出裝置上之兩個或兩個以上資料流，以使得以與該輸出裝置之該等顯示能力一致之方式顯示內容，其中該兩個或兩個以上資料流包括用於使用者介面資料之一資料流及用於視訊資料之一單獨資料流；以及c)將該兩個或兩個以上內容資料流輸送至該輸出裝置。