TW201142701A - Decomposed multi-stream (DMS) techniques for video display systems - Google Patents

Description

201142701 六、發明說明： 本專利申請案請求於2009年12月14曰提出申請的美 國臨時申請第61/286,287號的權益，該申請的全部内容以 引用方式併入本文。 【發明所屬之技術領域】 本案係關於視訊顯示器，特定言之係關於用於產生、傳 達和呈現分解式多串流（DMS )的視訊顯示系統。 【先前技術】 視訊顯示器被用在各種設備中。此類設備包括但不限於 數位電視、無線通訊設備、個人數位助理（PDas )、膝上 型或桌上型電腦、卫作站、數位相機、攝像機、數位媒體 播放器、視訊遊戲設備、可攜式電影播放器、電子閱讀器、 平板電腦、蜂巢或衛星無線電電話、智慧型電話、以及類 似設備。 。視訊顯示系統常常包括產生給客戶端設備（諸如顯示 器）的視訊内容串流的主機設備（諸如電腦）。在許多情 形中，主機設備可包括其自 ^仿丹目己的顯不器，但是仍向可包括 比主機設備的顯示器更大的海+ _ 又人的顯不器的客戶端設備傳達視 訊資料。不同的技術和標準 知早正在被開發以允許在高速無線 鏈路上將此類視訊内容從主機抓 攸土機叹備傳達給客戶端設備，以 使得主機設備和客戶端設備比一 兩者a能夠顯示該視訊内容。

一些視訊顯示系統產生祜躲A 破稱為6唬合成串流（SCS)的 視訊内容串流。SCS包括星相^日_^丄 單個視訊串流，儘管視訊内容仍 4 201142701 可包括有時可呈現為不同争流的不同區域。在此情形中， 主機設備可產生SCS，並且客戶端設備可從主機設備接收 SCS並呈現該信號視訊串流以顯示該内容。實質上，藉由 SCS，主機設備發送「螢幕截圖」訊框（例如，顯示缓衝 器的全部内容）。該等螢幕截圖可能包括不同的内容視 窗，但是SCS中的不同内容視窗不是分開的串流，而僅是 該等螢幕截圖的一部分。 與產生SCS的系統形成對比，其他類型的視訊顯示系統 產生被稱為分解式多串流（DMS )的視訊内容串流。DMS 包括兩個或兩個以上不同的視訊内容串流，該等視訊内容 串流可對應於可觀看區域中分開的區劃，或者可能地對應 於可觀看區域内的交疊區劃。在此情形中，主機設備可產 生包括該兩個或兩個以上不同視訊内容串流的dms，並且 客戶端設備可從主機設備接收該DMS並在顯示螢幕上呈 現包括納入到該DMS中的該兩個或兩個以上不同視訊内 容串流的視訊。主機設備可在螢幕的不同區域中呈現dms 的不同串流’並且在-些情形中’ DMS内的不同串流的不 同區域可能交疊。 【發明内容】 本案描述能夠改善由視訊顯示系 統的主機設備來產生 分解式多串流（DMS )和由視訊顯 顯示DMS的技術。該等技術可對 不同的訊框率，並且該等訊框率可取決於 不系統的客戶端設備來 DMS内的不同串流應用 不同串流内的 内 201142701 二°例如’ DMS内的-料流可包括可用相對較高的訊框 率（諸如通常在視訊播放中使用的每秒10-120訊框）來呈 現的全運動視訊資訊序列。然而，DMS内的另一個串流可 以與顯示的背景、各種圖形使用者介面控制視窗或元素、 或者包括非視訊内容（諸如電子郵件或文件）的顯示視窗 相關聯。可以用比用於全運動視訊資訊序列的訊框率慢得 多的訊框率來呈現DMS中的第二串流。另外，若該等不 同的串流與顯示螢幕的可觀看區域内的交疊區域相關 聯則諸技術可用來減少一個或兩個串流在交疊區劃中的 資料。 亦描述了能夠改善DMS的其他技術。主機設備可包括 電腦設備（諸如膝上型電腦、智慧型電話或其他電腦設 備），並且客戶端設備可包括被用來呈現與電腦設備相同 的輸出的無線顯示器。DMS可被用來在高速無線鏈路上傳 達資料，以使得主機設備（例如，電腦設備）和客戶端設 備（例如，無線顯示器）兩者皆能夠顯示類似的内容。在 給定内容本身可以在不同的串流中有所不同或者可以在 顯示器的可觀看區域内交疊的條件下，本案描述了用於改 善DMS的技術。為了在主機設備處產生DMS，主機設備 不僅可以存取該主機設備處的顯示緩衝器，而且還可以從 產生内容的應用存取内谷。當例如由於不能從產生内容的 應用存取内容而使DMS不可能或者不合需時，可實現信 號合成串流（SCS )技術作為用於從主機設備向客戶端設 備傳達資料的回退技術。 201142701 在一個實例中，本案描述一 1 M + h认 方法，該方法包括經由視 ㈣=統的主機設備產生_，其中該 視窗的第一區域中的坌.^ 疋我頸丁 0 _域中的第-内容和顯示視窗的第二區域中 τ内容，其中第-内容定義DMS中的第一訊框率並 且第二顯示内容定彡卿中的第二訊框率，第—訊框率 不同於第—訊框率。該方沐介6 > 亦匕括從該主機設備向視訊顯 不系統的客戶端設備傳達該DMS。 在另-個實例中’本案描述一種方法，該方法包括在視 訊顯示系統的客戶端處接收來自視訊顯示系統的主機設 備的DMS S中該DMS定義顯示視窗的第—區域中的第 ::容和顯示視窗的第二區域中的第二内容，纟中第一内 谷疋義DMS中的第一訊框率並且第二顯示内容定義應$ 中的第-訊框率’第—訊框率不同於第二訊框率。該方法 亦i括在客戶端设備上呈現第一顯示内容和第二顯示内 容0 在另一個實例中，本案描述一種視訊顯示系統的主機設

備，該主機設備包括產生DMS的DMS產生器，其中該DMS 定義顯示視窗的第一區域中的第一内容和顯示視窗的第 一區域中的第二内容，其中第一内容定義DMS中的第一 訊框率並且第二顯示内容定義DMS中的第二訊框率，第 一訊框率不同於第二訊框率。該主機設備亦包括從該主機 没備向視訊顯示系統的客戶端設備傳達該DMS的傳輸單 元。 在另一個實例中，本案描述一種視訊顯示系統的客戶端 201142701 设備’該客戶端設備包括從主機設備接收DMS的傳輸單 兀’其中該DMS定義顯示視窗的第一區域中的第一内容 和顯不視窗的第二區域中的第二内容，其中第-内容定義 DMS中的第-訊框率並且第二顯示内容定義dms中的第 二訊框率，第一却** 讯框率不同於第二訊框率。該客戶端設備 亦包：顯示單元和DMS呈現單元該DMS呈現單元在該 顯不單70上呈現第—顯示内容和第二顯示内容。 在另個實例中，本案描述一種視訊顯示系統的主機設 2，該主機設備包括用於產生麵的構件，其中該趣 :義顯不視由的第一區域中的第一内容和顯示視窗的第 一區域中的第二内容，其中第-内容定義DMS中的第- 訊框率並且笛-as - i 第一顯不内容定義DMS中的第二訊框率，第 一訊框率不同於笛- 十 15 ^ 、第一訊框率；及用於從該主機設備向視訊 顯不系統的客戶端設備傳達該細的構件。 另二實：中，本案描述一種視訊顯示系統的客戶端 :-戶端設備包括用於從視訊顯示系統的主機設備 接收DMS的裝構件，其中 域中的第… 義顯示視窗的第-區 中第一内一顯示視窗的第二區域中的第二内容，其 定中的第一訊框率並且第二顯示内容 率.及用W 框率不同於第二訊框 年，及用於在客戶端設備 内容的構件。 i見第_不内容和第二顯示 ==述的技術可心少部分地在硬體中實現，可 使用軟體_體的諸態樣與硬體組合實現。若在軟體或 201142701 勃體中實現，則可以在諸如微處理it、特殊應用積體電路 (ASIC)、現場可程式閘陣列（FpGA)或數位信號處理器 (DSP) <類的—或多個處理器中執行該軟體絲體。執 行該等技術的軟體可以最㈣存在電腦可讀取媒體中並 且載入處理器以及在處理器中執行。 相應地本案亦構想了一種包括指令的電腦可讀取儲存 媒體，該等指令—旦在視訊顯示系統的主機設備的處理器 中被執行就使該主機設備產生職，其_該刪定義顯 示視窗的第一區域中的第一内容和顯示視窗的第二區域 中的第二内容，其中第一内容定$簡中的第一訊框率 並且第二顯示内容定義職中的第二訊框率，第一訊框 率不同於第二訊框率；及從該主機設備向視訊顯示系統的 客戶端設備傳達該DMS。 在另-個實例中，本案描述—種包括指令的電腦可讀取 儲存媒體’該等指令—旦在視訊顯示系統的客戶端設備的 處理器中被執行就使該客戶&設備從視訊顯示系統的主 機設備接收DMS，其中該DMS定義顯示視窗的第一區域 中的第一内容和顯示視窗的第二區域中的第二内容其中 第一内容定義DMS中的第一訊框率並且第二顯示内容定 義DMS中的第二訊框率，第一訊框率不同於第二訊框率； 及在客戶端設備上呈現第一顯示内容和第二顯示内容。 在附圖及以下說明中閣述本案的一或多個實例的詳 情。本案的其他特徵、目的、以及優勢將可從此說明和附 圖、以及從所附申請專利範圍變明白。 201142701 【實施方式】 本案描述能夠改善由視訊海 $ 优巩顯不系統的主機設備來產生 分解式多串流（DMS )和由葙印Ss _么“ 不7田視訊顯不系統的客戶端設備來 顯示DMS的技術。DMS代表用於__怒&， η·衣用於顯不器的資料串流，該 資料串流本身包括可與可顴砉 』硯看&域的分開區劃對應的或 者可能與可觀察區域内的交暴F责丨丨祉虚k ;父瑩Q劃對應的兩個或兩個以 上不同内容串流4機設備可產生包括兩個或兩個以上不 同内容串流的DMS，並且客戶端設備可從主機設備接收該 DMS並在顯示螢幕上呈現包括納人到該_中的該兩個 或兩個以上不同視訊内容率流的視訊。主機設備可在螢幕 的不同區域中呈現DMS的不同串流，並且在一些情形中， 不同DMS串流的不同區域可能交疊。 與DMS串流形成對比，一些視訊顯示系統產生被稱為 信號合成串流（SCS )的視訊内容串流。scs包括可在主 機设備中作為螢幕截圖來觀看的單個視訊串流。實質上， 藉由scs，主機設備向客戶端設備發送其顯示緩衝器中的 全部内容。該等所謂的「螢幕截圖」可能包括不同的内容 視窗，但是SCS中的不同内容視窗不是分開的串流，而僅 是該等螢幕截圖的一部分。若主機設備顯示兩個分開的視 窗（一個視窗顯示全運動視訊並且另一個視窗顯示相對靜 態的内容）’則SCS典型情況下將以對應於全運動視訊的 訊框率來發送螢幕截圖escs技術可能是連同全運動視訊 起發送相對靜態的内容的一種非常效率低下的方式。 10 201142701 該等技術可對DMS ^ 内的不同串流應用不同的訊框率，

並且該等訊框率可取決於不同串流内的内容。例如，DMS 内的個串流可包括可用相對較高的訊框率（諸如通常在 視訊播放中使用的每秒丨 可办10-120訊框）來呈現的視訊資訊序 列。然而，DMS内的又 士 + ^ 另—串〜可以與顯示的背景、各種圖 形使用者介面控制福I窑+ - ^ , 窗或7〇素、或者包括非視訊内容（諸 如電子郵件或文件）的顯示視窗相關聯。可以用比用於全 運動視訊資訊序列的訊框率慢得多的訊框率來呈現Ο· 中的第二串流（例包括相對靜態的内容的串流）。另 外，若該等不同的串流與顯示螢幕的可觀看區域内的交疊 區域相關聯，則諸技術可用來減少一個或兩個串流在交叠 區劃中的資料。亦描述了能夠改善DMS的許多其他技術。 作為實例，第一訊框率可以是每秒丨〇_丨2〇訊框並且每秒 約30訊框對於許多串流傳送視訊應用而言可以是足夠 的與之對比，第二訊框率可以為每秒1 - 1 0訊框之間，並 且每秒約4訊框對於一般不包括全運動視訊的應用而言可 以是足夠的。 主機設備可包括電腦設備（諸如膝上型電腦或智慧型電 話）’並且客戶端設備可包括被用來呈現與電腦設備相同 的輸出的無線顯示器。DMS可被用來在高速無線鏈路上傳 達資料，以使得主機設備（例如，電腦設備）和客戶端設 備（例如’無線顯示器）兩者皆能夠顯示類似的内容。在 給定内容本身可以在不同的串流中有所不同或者可以在 顯示器的可觀看區域内交疊的條件下，本案提供用於改善 201142701

DMS的技術。為了在主機設備處產生dMS，主機設備不 僅可以存取該主機設備處的顯示緩衝器，而且還可以從產 生内容的應用存取内容。當例如由於不能從產生内容的應 用存取内容而使DMS不可能或者不合需時，可實現SCS 技術作為用於從主機設備向客戶端設備傳達資料的回退 技術。 圖1是圖示可被用來實現本案的技術的示例性視訊顯示 系統的方塊圖。圖1的系統包括主機設備1〇和客戶端設 備20。在說明性實例中，主機設備1〇可包括膝上型設備 或智慧型電話，並且客戶端設備2〇可包括分開的被用來 呈現與在主機設備上所呈現的内容相同的内容的外部顯 不設備。主機設備10和客戶端設備2〇可以經由短程高速 無線協定來傳達資料U，此實例僅是示例性的。主機 設備1〇和客戶端設備2〇可或者包括經由DMS技術來傳 達資料的任何兩個電腦設備。主機設備10與客戶端設備 2〇之間的通訊鏈路典型情況下是短程無線鏈路、然而，在 其他實例中，主機設備1〇與客戶端設備2〇之間的鏈路可 遵循任何有線或無線協^，並且可包括諸如路由器、交換 機或其他組網設備之類的中間設備。 主機設備10可存取不同的内容（例如，内容1 12A、内 容2 12B和內交w。、 , 谷N 12N)。内谷12可經由顯示緩衝器供主 機設備存取，彳日a + 用來分別存& 從呈現該内容的—或多個特定應 播放應用…作為—個實例’内容12A可包括來自視訊 ’·、内谷，而内容12B可包括來自電子郵件應用或 12 201142701 文字處理應用的内容。 主機設備ίο包括產生分解式多♦流（DMS)的dms產 生器14，其中該DMS定義顯示視窗的第一區域中的第一 内容和顯示視窗的第二區域中的第二内容，其中第—内容 定義DMS中的第—訊框率並且第二顯示内容定義_s中 的第一訊框率’第一訊框率不同於第二訊框率。例如，若 内容12A包括來自視訊播放應用的内容並且内容包括 來自電子郵件應用或文字處理應用的内容，則内容12A可 被編碼成DMS的第—串流，該第_串流具有比用於㈣ 12B的訊框率更高的訊框率。 圖2是對顯示螢幕的概念圖示，該顯示營幕包括對應灰 DMS的不同視訊串流的兩個分開顯示内容區域。如圖2中 所示，可觀看區域202包括第_呈現區域2()4和第二呈項 區域2〇6。另外’在此實例中’第-呈現區域204和第二 2區域咖兩者均包括交疊區域加。卿可包括兩個 =的用於傳達第-呈現區域2〇4和第二呈現區域薦的 谷的串流。刪亦可包括附加串流，亦即，大於兩個串 第一呈現區域204可句；么.苗*^

運動視訊序列並可在D]V T以每秒3〇訊框或類似訊框率 可白扛也 平采編碼。第二呈現區域2( 了匕括與諸如電子郵件 庙田4 處應用之類的更靜，離白 應用相關聯的視窗。第二呈現 ^ 括背旦^ 呈現£域206可另外或替代地έ 中^〜 （諸㈣第-呈現區滅 宁的内容的控制）。 13 201142701 再次參照圖1，主機今 端設備2。傳達DMS的多媒2括從。主機設備10向客戶 包括與不同呈現區域（諸第_輸早凡16。同樣，DMS 區域叫相關聯的兩個二—呈現區域2〇4和第二呈現 備2〇同樣包括用於從主機 客戶端設 “ „ 两1 υ接收dms的吝拔躺你 輸单元22。在從主機設備1〇向客 媒體傳

時，該通訊可用於以在形成 叹 傳達DMS 仕$成該DMS時所定義的如+广办七 發送該等串流。亦即，可以 ’ § 1 ; 处王機叹備1〇向客 20發送DMS，使得第—内 端°又備 疋以第一訊框率發送的，第 =容是以第二訊框率發送的，第-訊框率不同於第二訊 傳輸單元16和22可包括能夠彼此無線地通訊的益線單 元。傳輸單元16和22可在用於無線通訊的任何無線頻率 上進行通訊，傳輸單元丨6和22中的在 、 π“中的任—者可使用用於此 類通訊的各種無線技術或標準中的任一，一 程無線標準、蜂巢式電話標準、心、超寬；通:程= 空間通訊、或者類似技術或標準。若空白空間或者經授權 電視τν頻帶被用於通訊’則傳輸單元16可包括感測能力 (或者使用諸如全球定位之類的其他技術）以確保諸頻率 可供使用。 在客戶端處’DMS呈現單元24可被引動以在顯示單元 26上呈現DMS的不同串流。如以下更詳細地描述的，dms 呈現單元24可將不同的緩衝技術和不同的潛時規則用於 DMS中的不同内容串流。例如’相對於與諸如電子郵件之 14 201142701 類的其他應用相關聯的串、流^，全運動視訊可能需要較 多緩衝以確保視訊無中斷地顯示，但是可能在呈現全運動 視訊之前容許較多的潛時或延遲。電子郵件或其他應用可 能，（由於使用較慢的訊框㈣）+需要全運純訊所需要 的緩衝程度，但疋可能在顯示螢幕的任何變化中不容許潛 時或延遲。出於該等或其他原因，DMS呈現單元24可以 不同於第二内容地緩衝第一内容，並且可對由顯示單元％ 進行的對第-内容的顯示和對第二内容的顯示應用不同 的潛時規則。 根據本案，主機設備10的DMS產生器14可動態地調 整DMS中與第一呈現區域2〇4相關聯的第—訊框率，並 動〜、地調整DMS中與第二呈現區域2〇6相關聯的第二訊 框率。對第一和第二訊框率中的一或兩者的該等動態調整 可以基於第一内容和第二内容。如以下更詳細地描述的， DMS產生器14可從應用截取第一内容，但是簡單地從主 機設備ίο的顯示緩衝器擷取第二内容。在此操作時，dms 產生器14亦可控制（並且可動態地增大或減小）與從顯 示緩衝器擁取第二内容相關聯的棟取率。產生器14 可任選地包括用於編碼DMS中的—或多個串流的編碼 器，在此情形中，DMS呈現單元24將包括互逆的解碼器。 如所提及的，第一呈現區域2〇4和第二呈現區域2〇6可 包括交疊區域205 (亦被稱為交叠區劃）。為了促成DMS 中的資料減少和解碼的簡化，DMS產生器14可在一些實 例中在DMS中產生標識第_内容或第二内容中的哪一者 15 201142701 在交疊區域中處於頂屏&眘1 “ 頂層的資訊（例如，語法資訊）。此任 二：：可包括可允許DMS呈現單元24查明第一内容或第 谷中的哪—者在交疊區域2〇5中處於頂層的z 標。在此情形中’…亦可減少或消除第—内 二！：Γ在交疊區域2°5中的資料，其中所減少或消 矛、的貝料在交疊區域中處於其他資料以下。 在-些情形巾，例如，若從特定應職取内容是不可能 的或者不切實際的，則DMS產 繮榭哭座生器“可包括直接從顯示 I括第—内容和第二内容的SCS的能力。在此 .月形中’DMS產生器可歧從應用截取第—内 容是不可能的，並且可回應於決定從應用截取第 =内谷是不可能的而直接從主機設帛1G處的顯示緩衝 :包括第一内容和第二内容的SCS。使用者輸入亦可 =:義_。例如，產生器14可被配置成回應 於使用者輸人而㈣DMS以便僅包括第—内容或第 容中的一者。 另外，DMS產生器14可決定在主機設備與客戶端設 備2〇之間可用的頻寬。該可用頻寬可定義在任何給定的 時間可用的資料傳輸率。議產生器14可在一些實例中 基於可用頻寬來調整第一訊框率和第二訊框率中的一或 兩者。另外或替代地，DMS產生器14可基於可用頻寬來 動態地編碍第—内容和第二内容中的-或兩者。DMS產生 器二亦可基於正在被傳達的内容的類型來動態地編碼第 内合和第二内容中的一或兩者。在許多情形中，可能希 16 201142701 望如本文中所描述編碼從顯示緩衝器擷取到的内容。從應 用截取的内容可能已被編碼。在一些情形中，從應用截取 的内谷可以疋經轉碼的（亦即，被解媽並且隨後以不同的 編碼格式來重新編碼）。 一般而言，用語「單個合成串流」（scs)在本文中被用 來代表以壓縮或未壓縮的形式端對端（例如，從主機設備 10向客戶端設備20)地傳送整個顯示緩衝器的技術。藉 由SCS，亦可按壓縮或未壓縮的形式端對端地傳送部分顯 示更新。與之對比，用語「分解式多串流」（DMS)代表 除了來自顯示緩衝器的其餘顯示内容之外亦傳遞直接來 自應用（例如，媒體播放器應用）的預壓縮内容（例如， 視訊）的技術。針肖DMS技術的數種標準化的規範目前 正在開發中’包括「VESA Net2Display」和「顯示」。 支援SCS方法的規範可包括VESA Net2Display、Usb_if 顯不和其他商業VNC系統。 万法可定義許 -…分叼而質保 ^及與主機設備1〇相關聯的主機平臺上的資源和功率 ’、；而DMS具有數個缺點。該等缺點可包括 端設備20強加附加要求的實情，該等附加要 :設備-支援_的附加要求可包括同時解碼= =視訊串流的能力以及合成並呈現兩個或二1 τ流的經解碼輸出的能力。合成並呈現兩個或兩個-個串流的經解碼輸出的能力可在-些情形中要』 17 201142701 作為多個顯示表面的合成的—部分來執行色度鍵控孝"混 合的能力。另外，當其他内容動態地覆蓋在正呈現全運動 視訊的區域之上時，對色度鍵控和α混合的要求可以變重 要。㈣動態内容的實例可包括由使用者動作產生的下拉 式選項單、由主機設備10Jl的作業系統產生的對話方塊 和警報。有時’例如’該等或其他條目可由主機設備ι〇 和客戶端設備20直接在正呈現影片的區域之上呈現。本 案的技術可藉由簡單地使用語法資訊標識哪個呈現區域 在交疊區域中處於頂層來簡化該等實例M dms並避免 對色度鍵控及/或α混合的需要。 即使在可能不必祿取和編碼背景顯示表面的情況下許 多主機設備實現亦可依賴高級應用帛式介φ ( Apis)(例 如，圖形驅動程式介面（GDI))來週期性地擷取背景表面。 例如，可⑽DMS ;肖除被覆蓋的全運動視訊部分地（或 全部地）隱藏的區域’以便減少主機設備資源的使用並且 減少在主機設備10與客戶端設備20之間傳送的資料量。 另外，對於無線觸控螢幕實現，在客戶端設備2〇處對 觸摸事件的擷取可以在整個顯示螢幕上是合意的，從而跨 越DMS中所有收到串流的呈現位置。另外，當客戶端設 備20不支援特定媒體類型的預壓縮内容時，dms可能失 效。若客戶端設備20不支援該媒體類型，則該媒體類型 的許多態樣（諸如解析度、所使用的特定編碼類型、所使 用的色彩空間、取向、縱橫比、或其他因素）可能使DMS 失效。 201142701 當主機設備ίο不能例如從媒體播放器應用截取預壓縮 内容時’ DMS亦可能失效。此可能發生在媒體播放器是以 單片形式實現的並且沒有在使用有助於截取的熟知媒體 框架的情況下。另外，當（分開的串流的）組合傳輸量要 求超過主機設備1〇與客戶端設備2〇之間可用的傳輸鏈路 容量（亦即，可用頻寬）時，DMS可能失效。通道狀況可 倉b在無線顯示通信期開始時出現，或者在無線顯示通信期 期間的任何時間點動態地出現。本案的技術可提供對上述 伴隨DMS的該等議項和問題的解決方案。 僅使用SCS技術的系統可能被迫將整個顯示區域作為單 個單元來對待。由此，在此情形中，客戶端設備2〇可以 藉由實現用於播放的共用信號干擾緩衝器來針對潛時統 一地對待不同的顯示區4。此可提供為了較靜態應用的生 產率和回應性而使潛時最小化（並且因此使信號干擾緩衝 最小化）肖（藉由增加信號干擾緩衝來）增強全運動視訊 播放應用的平滑度之間的折衷。另外，在折衷諸如壓缩資 料傳輸對未壓縮資料傳輸之類的品質參數時，僅使用scs 技術的系統可被迫對整個顯示區域應用統-的處理。在此 情形中，動態可適性可能是受約束的並且可能被要求跨整 個顯示區域統一地應用。

眘在與本發明一致的情況下’例如’對於低成本的客戶端 實現而言，可以放寬對DM 各戶端（亦即，客戶端設備 時解摄“-/ ^備20冑可能仍需要同 野解碼兩個或兩個以上視訊串 甲浞的此力，但是背景表 19 201142701 編碼訊框率可被顯著減小以便使總解碼訊框率最小化。以 下更詳細地討冑麵内的各串流中的—個串流的訊框率 可以在客戶端設備20處藉由僅要求對交疊呈現區域中 的内容的相對簡單的z排序來簡化合成並呈現兩個或兩個 以上串流個串流的經解碼輸出的能力。此舉可避免客戶端 設備20處的混合操作和色度鍵控應用。該方案可被如下 補：以處置需要在正呈現全運動視訊的區域之上顯示的 内容。在一個實例中，主機設備1〇可偵測要在全運動視 訊覆蓋表面之上顯示的内容的存在（或者後續的移除八 此偵測可以由主機設備10以數種方式達成，例如，經由 對提供更新的矩形座標的顯示驅動程式更新的截取，或者 經由在知道全運動視訊覆蓋表面的座標的情況下在戰略 性位置處掃描全圖形驅動程式介面（GDI)擷取緩衝器。 另外，主機設備10可經由控制訊息（或者其他語法元素） 來訊號傳遞客戶端設備20,以便向該客戶端設備通知此類 Z排序。一旦接收到來自主機設備1〇的控制訊息客戶端 設備20就可以控制（在一些情形中交換）兩個分開的串 流的z排序。此可能使全運動視訊内容在有使用者介面警 報要顯示時被臨時隱藏，但是此對於低成本且相對簡單的 客戶端設備實現而言可以是可接受的限制。 對於依賴高級API (例如，GDI)來週期性地擷取背景 表面的主機設備實現，可以按數種不同的方式來使用於擷 取和編碼背景顯示表面的主機平臺管理負擔最小化。在一 20 201142701 個實例中’當有全運動視訊覆蓋表面有效時，GDI擷取率 可被顯著減小（例如’減小彥'! 4 Hz)。此降低的擷取率的 影響可減小訊框率，但是在大多數境況中可能是不可察覺 的，因為周圍的顯示區域通常是靜態的（或者典型情況下 以相對於任何全運動視訊覆蓋表面而言低得多的速率變 化）另外’當全運動視訊覆蓋表面區域由GDI擷取掩蓋 時（如在主機設備上有硬體加速解碼時就可以是此情 形）’減小的訊框率（和減小的擷取率）的此類益處可以 甚至更加顯著。在GDI擷取期間，可以用空資料或「黑色」 來填充交疊區劃内的被掩蓋區域，此可在降低的擷取率下 改善編碼效率。此對被掩蓋的交疊區劃的「塗黑」可以與 較低的GDW取率相互促進，因為在正呈現全運動視訊的 「黑色」㈣中不產生運動，並且在一些情形巾，任何編 :器位元預算可以花在周圍區域中以關於給定的位元預 算改善視訊品質。 極端實例申，若主機設備10偵測到全運動視訊覆蓋 表面佔據整個顯示區域（此可能發生在媒體播放器應用處 於全屏」模式時），則GDI摘取率可降格到〇 Hz。當主 機設備媒體播放器應用；^處於全屏模式時，例如，若:用 者選擇不在客戶端設備的無線顯示器上使全部使用者介 :視覺化’則亦可任選地模擬此Gm操取率降格到0Hz。 若客戶端設備的無線顯示器是電視（τν)螢幕，在此情況 中希望在客戶端上僅使全運動覆蓋表面視覺化，則此可以 是合適的選擇3 21 201142701 對於無線觸控螢幕實現，在客戶端設備2〇處對觸摸事 件的擷取可以在整個顯示螢幕上達成，從而跨越所有收到 DMS串流的呈現位置。客戶端設備2〇可以呈現與整個顯 示區域一致的附加虛擬視窗表面。此虛擬視窗表面可以是 對於使用者而言透明的視窗，以使得該虛擬視窗表面不= 藏任何接收到並呈現的實際顯示串流。（使用標準作業系 統介面的）觸控螢幕擷取可以在客戶端設備2〇處的此虛 擬表面上被執行，並且可被合適地縮放到主機設備顯示螢 幕大小。 在實現本案中所描述的技術時，主機設備1〇可以在客 戶端設備20不支援預壓縮内容的媒體類型時回退到scs 模式。媒體類型的諸態樣可包括解析度、所使用的編碼、 色彩空間、取向、縱橫比、或者其他因素。另外，在實現 本案中所描述的技術時，主機設備10可在該主機設備1〇 不能從被用來呈現内容的應用（諸如媒體播放器應用）截 取預壓縮内容時回退到SCS模式。例如，此可能發生在應 用（諸如媒體播放器應用）不使用主機設備10已知的媒 體框架或者媒體不利於由主機設備1〇截取的情況下。 當主機設備10偵測到（所有DMS串流的）組合傳輸量 要求超過主機設備10與客戶端設備2〇之間的可用傳輸鏈 路容量（例如，可用頻寬）時，主機設備可以執行各 種操作。在一個此類實例中，主機設備1〇可以藉由適應 性調整諸如在編碼中使用的量化參數、訊框率、位元率或 其他參數之類的一或多個參數來降低用於背景表面的傳 22 201142701 輸里預算。若此仍不足以使兩個串流容適在主機設備1〇 與客戶端設備20之間的可用傳輸鏈路容量内，則客戶端 設備20可以回返到SCS模式，其中適當地使量化參數、 甙框率、位70率或其他元素降格。不足的通道容量狀況可 能在無線顯不通信期開始時出現，或者在無線顯示通信期 期間動態地出現。 客戶端设備20可以針對潛時不同地對待收到串流中的 每個串流。例如，相對於用於全運動視訊的信號干擾緩衝 器，客戶端設帛20可以為背景表面串流實現較小的信號 干擾緩衝器°客戶端設備亦可應用不同的潛時規則以確保 不，背景表面串流引人潛時。潛時對於全運動視訊而言可 乂疋較為谷許的’並且可能最初是合意的以幫助避免稍後 在視訊序列中的視訊播放中斷。與用於背景表面_流的較 J信號干擾緩衝器形成對比，客戶端設備Μ彳以實現相 對較大的用於全運動浦却薄焚主, 勃視訊覆羞表面的信號干擾緩衝器以 改善視訊播放應用的平滑度。 關於DMS的特定狂遲的香日.__ _ 遲的實現亦可以由主機設備10例如 經由為D M S内的每個由、4 ,央 母個串流添加呈現時間戳來控制，每個 串流可由主機設備1〇唯一，卜 ^性地補償。主機設備10亦可取 決於DMS狀態（亦即，曰此曰π 士 士 、 Ρ目刖疋否有全運動視訊覆蓋表面 有效）和傳輸鍵路容量的可 用阻采在對背景表面的傳輸的 塵縮模式與未壓縮模式間 两八之間進仃選擇。例如，每當 動視訊覆蓋表面有效時，主機机 G可以選取較低訊框 率下的未壓縮模式。在此情 對#景表面的未壓縮模 23 201142701 式傳輪可以是全表面螢幕截圖，或者是部分更新以修改已 由客戶端設備2〇接收到的先前螢幕截圓。在任一情形中， 可以例如使用色度亞取樣、游程編碼或其他技街來輕微地 磨縮該等螢幕截圖或更新。 圖3是可對應於圖i的主機設備】〇的主機設備则的 方塊圖。在此實例中，主機設備3〇〇包括主機應用單元 逝，該主機應用單元3〇2彳包括在處理器上操作的主機 作業系統。主機設備300亦包括主機顯示系統3〇4,該主 機顯示系、統304可包括顯示器和用於在主機設備则上顯 不的軟體驅動程式。顯示緩衝器3〇6亦可構成主機顯示系 統3 04的一部分，但是被分開圖示，因為作為dms產生 的-部分，該等顯示緩衝器可由DMS產生器3〇8存取。 DMS產生器308可對應於圖j的DMS產生器12。主 備300亦包括可對應於圖1的多媒體傳輸單元14的多媒 體傳輪單元310。傳輸介面316可包括主機設備3⑼上的 -或多個天線’以及用於無線通訊的空中介面。主機設備 3〇〇可包括媒體播放器單元312，並且DMs產生器3〇8可 以能夠（諸如經由中斷）直接從媒體播放器單元312獲得 内谷以納入到DMS中。主機設備3〇〇可任選地包括用於 編碼包括在DMS中的—或多個串流的編碼器3 14。編碼器 314可包括任何視訊編碼器，諸如遵循ιτυ_Η 263、 ITU H_264 ITU-H.265、或者其他公共或專有視訊編碼標 準或技術的編碼器。在許多情形中，可能希望引動編碼器 314來編碼從顯示緩衝器3〇6擷取到的内容。從媒體播放 24 201142701 器單元312截取的内容可能已被編碼。在一些情形中，從 媒體播放器單元312截取的内容可以由編碼器314轉碼 (亦即，解碼並且隨後以不同的編碼格式來重新編碼 DMS產生器308產生DMS，該DMS定義顯示視窗的第 一區域中的第一内容和顯示視窗的第二區域中的第二内 容，其中第一内容定義DMS中的第一訊框率並且第二顯 示内容定義DMS中的第二訊框率，第一訊框率不同於第 二訊框率。與第一訊框率相關聯的第一内容可包括直接從 媒體播放器單元312接收到的視訊資訊。在此情形中，s 產生器308可向媒體播放器單元312發佈中斷以指示媒體 播放器單元312將其視訊串流直接提供給DMS產生器。 媒體播放器單元3 12亦可將其視訊串流提供給主機顯示系 統3 04以由與主機設備300相關聯的顯示設備進行顯示。 除了直接從媒體播放器單元3 12接收到的此第一串流之 外，DMS產生器308亦可從顯示緩衝器3〇6接收實質上為 SCS的第二串流。DMS產生器308可產生包括第一和第: 串流兩者的DMS，並可產生DMS的具有不同訊框率的: 同串流。例如’直接從媒體播放器單元3 12接收到的第一 串流可定義在視訊播放情況下常見的相對較高的訊框率 (諸如每秒10-30訊框）。從顯示緩衝器3〇6接收到的第一 串流可定義相對較慢的訊框率（諸如每秒丨到1〇訊框 若第一内容和第二内容的區域交疊，則DMS產生器3⑽ 可以使用本案的技術來避免發送該兩個串流在交疊區域 中的資料。取而代之的是，DMS產生器308可以產生標識 25 201142701 :個串流在頂層的DMS資訊，並可消除來自在底層的串 具體而吕在交疊區域中）的資料。在此情形中，產生 可包括減少或消除第一内容或第二内容在交疊區域 中的資料，其中所減少或消除的資料在交疊區域中處於其 他資料以下。 在-些情形中，DMS產生器烟亦可動態地減小或動態 地增大其與操取來自顯示緩衝器3〇6的第二内容相關聯的 擷取率，並且該等調整可以基於第一内容及/或第二内容。 編碼器3 14可被引動以編碼Dms的第一内容、麵的第 二内容、或者第-和第二内容兩者。編碼II 3M可根據 ITU-H.263、ITU-H.264、ITU.H.265 或其他公共或專有視 訊編碼標準或技術來編碼資料。 -在_ it形中’ DMS產生器3〇8可決定從媒體播放器單 -截取第内谷是不可能的，並且在此情形中，可以 回應於決定從應用截取第一内容或第二内容是不可能的 而直接從顯示緩衝器3〇6產生包括第一内容和第二内容的 SCS。在此情形中，π、 s可被認為是在内容不可從應用得 到而僅可從顯示緩衝器306得到的情形中回退到願。 在不同的實例中’第一内容包括視訊序列並且第二内容 包括非視訊應用的齡Ψ * ,,.. π输出。在一些情形中，第二内容可包括 在第-内容的視訊序列關形成框架的圖形使用者介面 元素。在其他情形中，第二内容可包括圖形使用者介面控 制元素或者可與 内谷父叠的分開的圖形使用者介面 視窗。在另一些情形Φ，梦-咖― 中第一内各可包括與諸如電子郵件 26 201142701 或文字處理應用之類的不同應用相關聯的分開的視窗。若 希望，則DMS可以回應於使用者輸入而被調整成僅包括 第一内谷或第二内容中的一者。 在另一些實例中’ DMS產生器308可以在產生DMS時 考慮其他因素（諸如可用頻寬）。例如’DMS產生器308 可決定在主機設備3〇〇與客戶端設備之間可用的頻寬，並 可基於可用的頻寬來調整第一訊框率和第二訊框率中的 或兩者。若作為DMS產生程序的一部分，編碼器314 由DMS產生器308引動以在DMS中產生經編碼内容，則 作為DMS產生程序的一部分，DMS產生器3〇8亦可調整 編碼參數。作為—個實例，DMS產生器308可決定在主機 設備300與客戶端設備之間可用的頻寬，並可基於可用的 頻寬來使編碼器314動態地編碼第一内容和第二内容中的 一或兩者。 DMS可被轉發給主機設備3〇〇的多媒體傳輸單元31〇以 經由傳輸介面316向客戶端設備（未圖示）進行傳達。多 媒體傳輸單元3 10和傳輸介面316可將各種無線技術或標 準中的任一者用於此類通訊，包括短程或長程無線標準、 蜂巢式電話標準、wi_fi、超寬頻通訊、空白空間通訊、或 者類似技術或標準。若空白空間或者經授權電視τν頻帶 被用於通訊，則多媒體傳輸單元3 10可包括感測能力（或 者使用諸如全球定位之類的其他技術）以確保諸頻率在傳 輸介面316上可用。 圖4是可對應於圖1的客戶端設備20的客戶端設備4〇〇 27 201142701 :方：圖。在此實例中，客戶端設備4。。包括客戶端應用 举几402,該客戶端應用單元3〇2可包括在處理器上 的客戶端作業系統。客戶端設備4〇〇亦包括客戶端顯示系 統J04’該客戶端顯示系統3〇4彳包括顯示器和用於客戶 端认備400上的顯示器的軟體驅動程式。DMS呈現„ _ 偏可對應於圖！的_呈現單元24。客戶端設備^ ^包括可對應於圖i的多媒體傳輸單元22的多媒體傳輸 408。傳輸介面412可包括客戶端設備_上的—或 線以及用於來自主機設備（圖4中未圖示）的無 線通訊的空中介面。客戶端設備400可任選地包括用於解 碼包括在DMS中的-或多個串流的解碼器41〇。解碼器 可包括遵循 ΙΤυ·Η.263、ITU_H 2M、itu h 如或其 他公共或專有視訊編碼標準或技術的解碼器。 /、 戶端叹備4GG經由傳輸介面412和多媒體傳輸單元 彻從主機設備接收編串流。如本案中所解釋的，DMS :義顯不視曲的第—區域中的第一内容和顯示視窗的第 0〇口域中的第—内容，其中第一内容定義中的第一 訊框率並且第二顯示内容定義麵中的第二訊框率，第 訊框率不同於第二訊框率。DMS呈現單元傷在客戶端 設備_的客戶端顯示系統綱上呈現第一顯示内容和第 二顯示内容。同樣’在一個實例中，第一内容包括視訊序 列並且第二内容包括非視訊應用的輸出。在另—個實例 中’第-内容包括視訊序列並且第二内容包括圖形使用者 介面疋素在該等實例中，第—訊框率可以大於第二訊框 28 201142701 率 ο 在一些情形中，可能希望DMS呈現單元406及/或客戶 端顯示系統404為DMS中的不同内容實現不同類型的緩 衝和潛時規則。例如’客戶端顯示系統4〇4可包括顯示緩 衝器，並且可不同於第二内容地緩衝第一内容。另外，客 戶端顯示系統404可對第—内容的顯示和第二内容的顯示 應用不同的潛時規則。例如，相對於與諸如電子郵件之類 的其他應用相關聯的串流，全運動視訊可能要求較多緩衝 以確保視訊被無中斷地顯示，但是可能在呈現全運動視訊 之前容許較多的潛時或延遲。電子郵件或其他應用可能 (由於使用較慢的訊框率而）不需要全運動視訊所需要的 緩衝程度，但是可能在顯示螢幕的任何變化中不容許潛時 或延遲。出於該等或其他原目，DMS $現單元4〇6及/或 客戶端顯示系統404可以不同於第二内容地緩衝第一内 谷’並且可對由客戶端顯示系統4〇4進行的對第一内容的 顯不和對第二内容的顯示應用不同的潛時規則。 圖5是圖示用於產生DMS的技術的流程圖。將從主機 設備的角度來描述圖5’儘管類似的技術亦可由其他 設備應用。如圖5中所示，主機設備3⑽的卿產生器 3〇8從媒體播放器單元3丨2存取第一内容（5〇ι)並從顯牙 緩衝器306存取第二内容（5〇2)。·產生器3〇8產生包 括為不同的訊框率的第一内容和第二内容的dms(5〇3), 並諸如經由多媒體傳輸單元31〇和傳輸介面3i6來向客戶 端設借傳達該DMS (5G4)。在—些情形中，附加内容（亦 29 201142701 即’附加串流）亦可被包括在dMS中。 圖6是圖示用於產生DMS的技術的另一個流程圖。亦 將從主機設備300的角度來描述圖6，儘管類似的技術亦 可由其他設備應用。如圖6中所示，主機設備3〇〇的DMS 產生器308從媒體播放器單元312存取第一内容（6〇ι) 並從顯示緩衝器306存取第二内容（6〇2), DMS產生器 產生包括為不同訊框率的第—内容和第二内容的麗§ (6〇3)。另外，DMS產生器3〇8產生DMs資訊（6〇4)， 該DMS資訊可包括指示客戶端設備如何重構第一内容和 第二内容的語法資m (例如，元資料）。例如，在第一内 容與第二内容之間有交疊的情形中，肖卿資訊可包括 關於該交疊區域的z座標資訊。在此情形中，刪内在該 父疊區域中處於其他串流之下的串流可被編碼為空資料 :色資料以減少在其中有些東西被其他串流覆蓋的區 域中的資料量。主機設備3GG隨後諸如經由多媒體傳輸單 :310和傳輸介面316來向客戶端設備傳達該刪和则 圖7是圖示用於產生咖的技術的另一個流程圖" 將從主機設備300的角度來矜.f園7 ^ 可由其他儘管類似的技則 產生、/ '，如圓7 _所示，主機設傷300的DM: 並從辟〇8從媒體播放器單元312存取第一内容（7〇1) 並從顯示緩衝器3〇6存取 ,Λβ Α 取第—内谷（ 702 )。DMS產生器 308基於内容本身動態 器 (叫例如，DMS產生器丄:第二内容的訊框率 8可向任何視訊資訊指派較 30 201142701 高的訊框率’而向較靜態的串流指派較慢的訊柜率。在一 些情形中，訊框率可由存取位置來決定。例如，來自媒體 播放器單A 312 &視訊資訊可被指派比來自顯示緩衝器 3〇6的任何資料的訊框率更高的訊框率。諸如來自電子郵 件應用或文字處理應用之類的其他應用的資料可同樣地 被指派比來自媒體播放器單元312或另—個源的視訊資料 的訊框率更低的訊框率。在任何情形中，產生器3 〇 8 產生包括為該等動態定義的不同訊框率的第一内容和第 二内容的DMS(7〇4)。不同的速率可以在速率可以隨内容 的變化而改變的意義上是動態的◦在任何給定情況下，此 類變化可以基於内容的源或者内容的實際類型。 圖8是圖示用於在不同的情景中產生DMS或scs的技 術的流程圖。亦將從主機設備300的角度來描述圖8，儘 管類似的技術亦可由其他設備應用。如圖8中所示，主機 tx備300的DMS產生器308決定是否可從與媒體播放器 單元312相關聯的應用得到視訊内容（8〇1)。若否（「否」 801 )，則DMS產生器可預設使用ScS技術。在此情形中 (「否」801 )’ DMS產生器從顯示緩衝器306存取内容 (806) ’並以一個恆定的訊框率產生包括顯示緩衝器3〇6 的整個内容的SCS ( 807 )。主機設備300隨後諸如經由多 媒體傳輸單元310和傳輸介面316來向客戶端設備傳達該 SCS ( 808 )。 若主機設備300的DMS產生器308決定可從與媒體播 放器單元3 12相關聯的應用得到視訊内容（「是」801 )， 31 201142701 則DMS產生器可實現DMS技術。在此情形中（「是」8〇1)， DMS產生器308從與媒體播放器單元312相關聯的應用存 取視訊内容（ 802 )，並分開地從顯示緩衝器3〇6存取非視 訊内容（803)。DMS產生器3〇8產生包括為不同訊框率的 不同内容的DMS (8〇4),並諸如經由多媒體傳輸單元31〇 和傳輸介面316來向客戶端設備傳達該DMS ( 8〇5)。 圖9是圖示用於在客戶端設備上處理dms的技術的流 程圖。將從客戶端設備400的角度來描述圖9,儘管類似 的技術亦可由其他設備應用。如圖9中所示，dms呈現單 兀406接收DMS ( 901 )。例如，DMS可以是從主機設備 傳達並在客戶端設備400處經由傳輸介面412和多媒體傳 輸單元408接收的。多媒體傳輸單元4〇8將dms轉發給 DMS呈現單元406 e DMS呈現單元4〇6基於該dms產生 第=谷（902 )並基於該dms產生第二内容（9〇3 )。dms 呈現單元406使客戶端顯示系統4〇4以可由dms定義的 不同訊框率來顯示第一和第二内纟（9〇4)。此對該兩個或 兩個以上串流串流的顯示可任選地包括本文中所描述的 其他技術中的任何一種技術，諸如用於處置不同串流在交 疊區域中的覆蓋的技術。 圖1〇是圖示用於在客戶端設備上處理DMS的技術的流 程圖。亦將從客戶端設備4〇〇的角度來描述圖10,儘管類 A的技術亦可由其他設備應用。如圖中所示，麵s呈 現單元406接收DMS (1〇〇1)，並且亦接收可包括與 相關聯的7°資料或其他邊資訊或語法資訊的DMS資訊 32 201142701

DMS和DMS資訊可以是從主機設備傳達並在客戶端設 備400處經由傳輸介面412和多媒體傳輸單元4〇8接收 的。多媒體傳輸單元408將該DMS和DMS資訊轉發給DMS 呈現單元406。DMS呈現單元406基於該DMS產生第一 内谷（ιο〇3)並基於該DMS產生第二内容（1〇〇4)。 呈現單元406使客戶端顯示系統4〇4以不同的訊框率並基 於DMS資訊來顯示第—和第二内容（1〇〇5)。不同的訊框 率可以由DMS本身來定義。DMS資訊可包括定義第—和 第-串流的互動的資訊。例如，DMS資訊可包括定義謂S 串肌内的帛和第二内容中的哪個内容覆蓋在另一個内 容之上的2座標（亦即’深度）資訊。該Z座標（亦即， 冰度）《訊可疋義不5 _流的相對深度以便定義對於任何 交豐區域而言哪個内容在頂層以及哪個内容在下層。在交 疊區域中處於其他内容下面的内容可以在串流中留 空或塗黑，以便改基值於θ 吾傳輸置。由於該資料在其他資料以 下，因而該資料無論

，如何皆會被阻止查看，所以將DMS 串流中的此類資料留（Λί·+、 二或塗黑將不會被客戶端設備400處 的使用者觀察到。 圖11是圖示用於在宏 仕各戶端設備上處理DMS的技術的流 程圖。亦將從客戶端畔供“a t ~ ^備400的角度來描述圖11，儘管類 似的技術亦可由其他設借庙 又備應用。如圖n中所示，DMS呈 現單元406接收包括坌— 第和第二内容的DMS ( 1101 )。例 如，DMS可以是從主機 例叹備傳達並在客戶端設備4〇〇處經 33 201142701 由傳輸介面412和多媒體傳輸單元408接收的。多媒體傳 輸單元408將該DMS轉發給DMS呈現單元406。DMS呈 現單兀406使客戶端顯示系統4〇4緩衝來自該DMS的第 内谷（1102)並緩衝來自該Dms的第二内容（11〇3)。 由客戶端顯示系統404使用的緩衝器可取決於内容。例 如，較大的緩衝器可被用於即時視訊資料，而較小的緩衝 器（可忐疋義比較大的緩衝器的潛時少的潛時）可被用於 其他類型的資料，諸如圖形資料或與諸如電子郵件應用或 文字處理應用之類的其他類型的應用相關聯的資料。相應 地，客戶端顯示系統4〇4根據對不同的内容所應用的緩衝 和潛時規則來以不同的訊框率顯示第一和第二内容 (1104)。該等緩衝和潛時規則可以因此類不同内容類型而 不同以便改善對全運動視訊資訊的呈現，相對於來自其他 類型的應用的圖形元素或資料，對全運動視訊資訊的呈現 可以容許較長的潛時並需要較多的緩衝以確保輸出視訊 的平滑度。例如，圖形元素串流或來自其他類型的應用的 資料串流可能需要較短的潛時（亦即，較多的響應性）但 疋可旎不需要全運動視訊序列所希望的較大的緩衝程度。 在另一些實例中，在DMS的第-串流中包括即時^訊 時，與背景資#(例如，第二串流中的資料）相關聯的訊 框率可被特別地減小。此技術可改善客戶端設備中的有限 資源的使用並改善資源有限的此類情形中的視訊呈現。為 了實現此類技術，當DMS的第一串流中包括即時視訊時， 主機設備處與為DMS的第二串流而擷取顯示緩衝器中的 34 201142701 資料相關聯的GDI擷取率可被減小。 在另一些實例中’資料可被包括在DMS中作為另一個 串流（例如’第三串流）以提供跨越DMS串流中的第一 和第一内容的觸控螢幕覆蓋。在此情形中，觸控螢幕覆蓋 可包括用於在客戶端設備處提供觸控螢幕擷取或回饋的 透明視窗。亦可使用用於在顯示系統的主機和客戶端設備 中促成觸控螢幕擷取的其他技術。 應當注意’以上討論專注於包括兩個串流的。然 而’本案的技術可被擴展到包括附加串流（亦即，多於兩 個串流的）DMS。該DMS可包括第一串流、第二串流、 第三串流、第四串流等。DSM中的不同串流中的一些或全 部的訊框率可以按動態方式來定義，如本文中所描述。各 種其他技術亦可被用來解決關於兩個以上串流的交疊問 題或其他特徵。 本案中所描述的技術可至少部分地在硬體、軟體、韌體 或其任何組合中實現。例如，所描述的技術的各種態樣可 乂在或多個處理器内實現，包括一或多個微處理器、數 位化號處理器（DSPs )、特殊應用積體電路（ASICs )、現 場可程式閘陣列（FPGAs )、或任何其他等效的積體電路或 個別邏輯電路系統以及此類元件的任何組合。術語「處理 器」或「處理電路系統」可以一般而言代表單獨的或者與 其他邏輯電路系統相組合的上述邏輯電路系統中的任一 者，或者諸如執行處理的個別硬體之類的任何其他等效的 電路系統。 35 201142701 此類硬體、軟體和韌體可在相同的設備内或者在分開的 設備内實現以支援本案中所描述的各種操作和功能。另 外，所描述的單元、模組或元件中的任一者可被一起實現 或者被分開地實現為個別的但是可互操作的邏輯設備。將 不同的特徵描述為模組或單元意欲突出不同的功能態樣 並且未必暗示此類模組或單元必須由分開的硬體或軟體 兀件來實現。更確切而t，與一或多個模組或單元相關聯 的功能性可由分開的硬體、韌體及/或軟體元件來執行，或 者被整合在共用的或分開的硬體或軟體元件中。 本案所描述的技術亦可被儲存、實施或編碼在諸如儲存 指令的電腦可讀取儲存媒體之類的電腦可讀取媒體中。嵌 入在或編碼在電腦可讀取媒體中的指令可在例如該等指 令由一或多個處理器執行時使該一或多個處理器執行本 文中所描述的技術。電腦可讀取儲存媒體可包括隨機存取 記憶體（RAM )、唯讀記憶體（R0M )、可程式唯讀記憶體 (PR〇M )、可抹除可程式唯讀記憶體（EPROM )、電子可 抹除可程式唯讀記憶體（EEPR〇M )、快閃記憶體、硬碟、 CD-ROM、軟碟、磁帶、磁性媒體、光學媒體、或其他有 形的電腦可讀取儲存媒體。 電腦可讀取媒體可包括對應於諸如以上所列出的彼等 有形儲存媒體的電腦可讀取儲存媒體。電腦可讀取媒體亦 可包括通訊媒體，通訊媒體包括例如根據通訊協定來促成 從一地到另一地的電腦程式轉送的任何媒體。以此方式， 用語「電腦可讀取媒體」一般而言可對應於（1)非揮發 36 201142701 性的有形電腦可讀取儲在拔辦 買取储存媒體以及⑴肖如暫態信 載波之類的非有形電腦可讀通訊媒體。 一 可以對本案的結構或 的範圍。 已描述了各種態樣和實例。然而， 技術作出修改而不會脫離所附請求項 【圖式簡單說明】 圖1疋圖不可被用來實現本案的技術的示例性系統的方 塊圖。 圖2是對顯示螢幕的概念圖示，該顯示螢幕可包括對應 於分解式多串流（DMS)的不同視訊串流的兩個分開顯示 内容區域。 圖3是與本案的一個實例一致的主機設備的示例性方塊 圖。 圖4是與本案的一個實例一致的客戶端設備的示例性方 塊圖。 圖5-圖8是圖示與本案一致的可由主機設備實現的技術 的流程圖。 圖9-圖11是圖示與本案一致的可由客戶端設備實現的 技術的流程圖。 【主要元件符號說明】

10 主機設備 12A 内容1 12B 内容2 12N 内容N 37 201142701 14 DMS產生器 16 多媒體傳輸單元 20 客戶端設備 22 多媒體傳輸單元 24 DMS呈現單元 26 顯示單元 202 可觀看區域 204 第一呈現區域 205 交疊區域 206 第二呈現區域 300 主機設備 302 主機應用單元 304 主機顯不系統 306 顯示緩衝器 308 DMS產生器 310 多媒體傳輸單元 312 媒體播放器單元 314 編碼.器 316 傳輸介面 400 客戶端設備 402 客戶端應用單元 404 客戶端顯示系統 406 DMS呈現單元 408 多媒體傳輸單元 38 201142701 410 解碼器 412 傳輸介面 501 步驟 502 步驟 503 步驟 504 步驟 601 步驟 602 步驟 603 步驟 604 步驟 605 步驟 701 步驟 702 步驟 703 步驟 704 步驟 801 步驟 802 步驟 803 步驟 804 步驟 805 步驟 806 步驟 807 步驟 808 步驟 901 步驟 201142701 902 步驟 903 步驟 904 步驟 1001 步驟 1002 步驟 1003 步驟 1004 步驟 1005 步驟 1101 步驟 1102 步驟 1103 步驟 1104 步驟

Claims (2)

1. 201142701 七、申請專利範圍： 1. 一種方法，包括以下步驟： 經由一視訊顯示系統的一主機設備產生—八紅』户由* 刀解式爹串流 ' (DMS )，其中該DMS定義一顯示視窗的—第―區域中的 第一内容和該顯示視窗的一第二區域中的—第_内容其 中該第一内容定義該DMS中的一第一訊框率並且該第^ 顯示内容定義該DMS中的一第二訊框率，該第一訊梧率 不同於該第二訊框率；及 從該主機s又備向該視訊顯不系統的一客戶端備傳達兮 DMS。 2·如請求項！之方法，進一步包括以下步驟：基於該第 一内容和該第二内容來動態地調整該DMs中的該第一訊 框率和該第二訊框率。 3.如請求項丨之方法，其中產生該DMS之步驟包括以下 步驟：從一應用截取該第一内容以及從該主機設備中的一 顯示緩衝器擷取該第二内容。 吞月$ $ • /外·丞於該 一内容和該第二内容來動態地減小盥從 一 從忑顯不緩衝器： 取該第二内容之步驟相關聯的擷取率。 41 201142701 5 _如請求項1 $ 士，+ e i 步驟.編·6¾ 八產生該DMS之步驟包括以下 步驟.編碼該第二内容。 / 6.如請求項1之方法，其中 ^ ^工息 具中該第—區域和該第二區域皆 包括-父叠區域，該方法進 — 少巴括以下步驟： 在該DMS中產生栌碑〜 ^ ^ ^以 内各或該第二内容中的哪一 者在該父疊區域中處於頂層的資訊。 St項6之方法，其中產生該DMS之步驟包括以下 中…4消除該第一内容或該第二内容在該交疊區域 貝’，其中被減少或消除的資料在該交疊區域中處於 其他資料以下。 8舟如請求項1之方法，其中產生該DMS之步驟包括以下 ，驟.從—應用截取該第一内容或者該第二内容。 9·.如睛求項8之方法，進一步包括以下步驟： 決定從該應用截取㈣—内容或者㈣二内容是不可能 的；及 回應於決定從該應用截取該第一内容或者該第二内容是 不可能的而直接從該主機設備處的—顯示緩衝器產生包 括該第-内容和該第二内容的_信號合成串流（s⑻。 1〇.如請求項丨之方法，其中該第一内容包括一視訊序列 42 201142701 非視訊應用的輪出 並且該第二内容包括_ 訊框率大於該第二訊 11.如請求項彳n夕士、本 ’ 10之方法，其中該第 框率。 12. 如請求項丨之 並且該第二…第—内容包括-視訊序列 一内谷包括一圖形使用者介面元素。 13. 如請求項1 m ，進一步包括以下步驟：回應於使 内容中的一者。 ％登成僅包括該第-内容或該第二 ^如請求項1之方法，進—步包括以下步驟： :二：?機設備與該客戶端設備之間可用的-頻寬；及 :'用的頻寬來調整該第-訊框率和該第二訊框率 中的一或兩者。 15 一如請求項1之方法，進-步包括以下步驟： 決疋該主機堍備與該客戶端設備之間可用的一頻寬；及 ;I可用的頻寬來動態地編碼該第一内容和該第二内 容中的一或兩者。 步驟：動態地編 16.如請求項1之方法，進-步包括以下 碼該第—内容和該第二内容中的-或兩者 43 201142701 11'種方法，包括以下步驟： :一：：顯不系統的一客戶端設備處從該視訊顯示系統 定義-1設備接收—分解式多串流（DMS)，其中該麵 ^ 第—區域令的第—内容和該顯示視 南的-第二區域中的第 的一笛—- 谷其中該第一内容定義該 中的 訊框率並且該第二顯示内容定義該DMS 节的—第二訊框率， 及 ^第—訊框率不同於該第二訊框率； 在該客戶端設備上呈現該第 容。 顯 示内容和該第二顯示内 1 8.如請求項 並且該第二内容，括、，其中該第—内容包括一視訊序列 匕括—非視訊應用的輸出。 19.如請求項18 框率。 、，其中該第—訊框率大於該第二訊 2〇·如請求項j 並且該第^ : 其中該第—内容包括-視訊序列 〜内容包括-圖形使用者介面元素。 °月求項17之方法 在該客戶” ^匕括以下步驟·. 同於該第一内容地緩衝該第一内容。 44 201142701 22·如請求項21之方法，進—步包括以 戶端設備進杆的斜兮贫 __ 對由該客 仃的對該第一内容的顯示和由該 進行的對兮n w第—内谷的顯示應用不同的潛時規則。 23· —種〜支目—曰 一 一八… 系統的主機設備，該主機設備包括： 刀"多串流(DMS)產生器，其產生— 干視窗：—視窗的一第一區域中的第-内容和該顯 該DM/中第的1域中的第二内容’其中該第一内容定義 麵中的框率並且該第二顯㈣容定義該 率；及 第一訊框率，該第一訊框率不同於該第二訊框 傳：單7L，該傳輸單元從該主機設備向該視訊顯示系統 戶蠕設備傳達該DMS。
2. 2 -XJs 第-内1項23之主機設備’其中該譲8產生器基於該 各和該第二内容來動態地調整該DMS 一 訊框率和該第二訊框率。 第 <項23之主機設備’其中該DMS產生器從一應 用截取該笫—& + U 内谷並且從該主機設備中的一顯示缓衝器 擷取該第二内容。 26.如請求項25 第一内容和該第 之主機設備’其中該DMS產生器基於該 一内容來動態地減小與從該顯示緩衝器 45 201142701 糊取該第二内容相關聯的擷取率。 27. 如吻求項25之主機設備，其中該dms產生器使用一 編碼器來蝙碼該DMS中的該第二内容。 28. 如吻求項23之主機設備，其中該第一區域和該第二區 域皆包括—交疊區域，其中該DMS產生器： 在該DMS中產生標識該第一内容或該第二内容中的哪一 者在該交疊區域中處於頂層的資訊。 29. 如請求項28之主機設備，其中該DMS產生器減少或 消除該第一内容或該第二内容在該交疊區域中的資料，其 中被減少或消除的資料在該交疊區域中處於其他資料以 下。 30·如請求項23之主機設備，其中該DMS產生器從一應 用截取該第一内容或者該第二内容。 31.如請求項30之主機設備，其中該DMS產生器·· 決定從該應用截取該第一内容或者該第二内容是不可能 的；及 回應於決定從該應用截取該第一内容或者該第二内容是 不可能的而直接從該主機設備處的一顯示緩衝器產生包 括該第一内容和該第二内容的一信號合成串流（SCS)。 46 201142701 32. 如請求項23之主機設備，其中該第一内容包括一視訊 序列並且該第二内容包括一非視訊應用的輪出。 33. 如請求項32之主機設備，其中該第一訊框率大於該第 二訊框率。 Μ.如請求項23之主機設備，其中該第一内容包括一視訊 序列並且該第二内容包括一圖形使用者介面元素。 35.如請求項23之主機設備，其中該DMS產生器回應於 用者輸入而將該DMS調整成僅包括該第一内容或該第 二内容中的一者。 3 6.如請求項23之主機設備，其中該產生器： 決定該主機設備與該客戶端設備之間可用的一頻寬；及 基於該可用的頻寬來調整該第一訊框率和該第二訊框率 中的一或兩者。 37.如請求項23之主機設備，其中該DMS產生器： 決定該主機設備與該客戶端設備之間可用的一頻寬；及 基於該可用的頻寬來動態地編碼該第一内容和該第二内 容中的一或兩者。 47 201142701 38.如請求項23之主機設備，其中該DMS產生器動態地 編碼該第一内容和該第二内容中的一或兩者。 39.種視訊顯示系統的客戶端設備，該客戶端設備包 括： 一傳輸單元，該傳輸單元從一 流（DMS )，其中該DMS定義 的第一内容和該顯示視窗的一 中該第一内容定義該DMS中 顯示内容定義該DMS中的一 不同於該第二訊框率； 一顯示單元；及 主機設備接收一分解式多串 —顯示視窗的一第一區域中 第二區域中的第二内容，其 的一第一訊框率並且該第二 第二訊框率，該第一訊框率 - DMS呈現單元，該_呈現單元在該顯示單元上呈現 該第一顯示内容和該第二顯示内容。 内各包括一視 輪出。 40.如請求項39之客戶端設備，其中該第一 訊序歹JJ1 a該第二内容包括一非視訊應用的 端設備’其中該第-訊框率大於該 4 1 ·如請求項40之客戶 第二訊框率。 42.如凊求項39之客戶端設備，其中該第—内容 一、 訊序列並且該第二内容包括一圖形使用者介面元視 化素。 48 201142701 43. 如凊求項39之客戶端設備，其中該顯示單元包括被配 置成不同於該第二内容地緩衝該第一内容的緩衝器。 44. 如請求項39之客戶端設備，其中該呈現單元被配置成 對由該顯示單元進行的對該第一内容的顯示和由該顯示 單疋進行的對該第二内容的顯示應用不同的潛時規則。 45. —種包括指令的電腦可讀取儲存媒體，該等指令—旦 在一視訊顯示系統的一主機設備的處理器中執行就使該 主機設備： 產生一分解式多串流（DMS )，其中該DMs定義一顯示視 囪的第一區域中的第一内容和該顯示視窗的—第二區 域中的第二内容中該第一内容定義豸臟中的一第 一訊框率並且該第二顯示内容定義該Dms中的—第二訊 框率，該第一訊框率不同於該第二訊框率；及 從一主機設備向該視訊顯示系統的一客戶端設備傳達該 DMS。 46. —種包括指令的電腦可讀取儲存媒體’該等指令一旦 在一視訊顯示系統的一客戶端設備的—處理器中執行就 使該客戶端設備： 從該視訊顯示系統的一主機設備接收一分解式多串流 (DMS )，其中該DMS定義一顯示視窗的一第一區域中的 第一内容和該顯示視窗的一第二區域中的第二内容，其中 49 201142701 該第—内容定義該DMS中的一第一訊框率並且該第二顯 示内容定義該DMS中的一第二訊框率，該第一訊框率不 同於該第二訊框率， 在該客戶端設備上呈現該第一顯示内容和該第二顯示内 容。 47· —種一視訊顯示系統的主機設備，該主機設備包括： 用於產生—分解式多串流（DMS )的構件，其中該DMS 定義一顯示視窗的一第一區域中的第一内容和該顯示視 囪的—第二區域中的第二内容，其中該第一内容定義該 DMS中的—第一訊框率並且該第二顯示内容定義該dms 中的一第二訊框率，該第一訊框率不同於該第二訊框率； 及 用於從該主機設備向該視訊顯示系統的一客戶端設備傳 達該DMS的構件。 48. —種一視訊顯示系統的客戶端設備，該客戶端設備包 括： 用於從該視訊顯示系統的一主機設備接收—分解式多串 流（DMS )的構件，其中該DMS定義一顯示視窗的一第 一區域中的第一内容和該顯示視窗的一第二區域中的第 一内谷’其中該第一内容定義該DMS中的一第一訊框率 並且該第二顯示内容定義該DMS中的一第二訊框率，該 第一訊框率不同於該第二訊框率；及 50 201142701 用於 示内 在該客戶端設備上 容的構件。 現該第一顯示内容和該第二顯 51