TWI610564B - 用於接收端顯示器之靜態圖框影像品質改善技術 - Google Patents

用於接收端顯示器之靜態圖框影像品質改善技術 Download PDF

Info

Publication number
TWI610564B
TWI610564B TW105101376A TW105101376A TWI610564B TW I610564 B TWI610564 B TW I610564B TW 105101376 A TW105101376 A TW 105101376A TW 105101376 A TW105101376 A TW 105101376A TW I610564 B TWI610564 B TW I610564B
Authority
TW
Taiwan
Prior art keywords
frame
image
display
representation
image frame
Prior art date
Application number
TW105101376A
Other languages
English (en)
Other versions
TW201703538A (zh
Inventor
席恩J 勞倫斯
拉格文卓拉 安加迪瑪尼
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201703538A publication Critical patent/TW201703538A/zh
Application granted granted Critical
Publication of TWI610564B publication Critical patent/TWI610564B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4408Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/127Updating a frame memory using a transfer of data from a source area to a destination area
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/18Use of a frame buffer in a display terminal, inclusive of the display panel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述用於改善靜態影像圖框之品質的一或多種系統、設備、方法及電腦可讀媒體,該等靜態影像圖框在一接收端裝置上之一圖框緩衝器中具有一相對長的駐留時間。在一經壓縮資料通道鏈接一來源及接收端的情況下,該來源可編碼額外圖框資料以改善藉由一接收端顯示器所呈現之一靜態圖框的品質。一顯示源可以一標稱品質編碼圖框資料,且傳輸該經壓縮圖框資料之一分封化串流。在不存在一及時圖框緩衝器更新之情況下,該顯示源編碼額外資訊以改善現在靜態圖框之表示的影像品質。一顯示接收端裝置以標稱影像品質呈現該圖框之一第一表示,且在隨後接收到圖框品質改善資料後即以經改善影像品質呈現該圖框的一第二表示。

Description

用於接收端顯示器之靜態圖框影像品質改善技術
本發明係有關於用於接收端顯示器之靜態圖框影像品質改善技術。
發明背景
在無線或有線資料通道具有不足的頻寬來及時地以未壓縮格式發送圖框資料之情況下,影像圖框可得以編碼。取決於可利用的通道位元率,給定圖框可經壓縮以提供較高或較低品質表示。
隨著行動裝置之增加及無線網路連接之盛行,無線顯示性能正經歷迅速生長。在無線顯示技術中,源裝置與接收端顯示裝置之間的無線鏈路取代電腦與監視器之間的典型資料纜線。無線顯示協定通常為同級間的或「直接的」,且使用最多的模型具有行動裝置,該行動裝置傳輸將要藉由一或多個外部顯示器或監視器接收且顯示之媒體內容。在例如典型螢幕錄製(screencasting)應用中,智慧型電話以無線方式耦接至一或多個外部監視器、顯示面板、電視、投影儀等。
無線顯示規範(例如,藉由Intel Corporation之 WiDi v3.5,及來自Wi-Fi Alliance之Miracast程式的Wi-Fi Display v1.0或WFD)已針對經壓縮圖形/視訊資料及音訊資料串流經由具有足夠頻寬之無線區域網路的傳輸得到發展。舉例而言,利用WiFi技術(例如,2.4GHz及5GHz無線電頻帶)之當前無線顯示技術能夠串流傳輸經編碼全HD視訊資料以及高逼真度音訊資料(例如,5.1環繞聲)。
在許多應用及使用狀況中,自來源至接收端之圖框更新可以叢集到達,其中隨可變之顯示緩衝器更新頻率而變,一些圖框在顯示緩衝器中與在其他裝置中相比持續更長時間。舉例而言,在源裝置上為作用中之GUI經螢幕錄製至接收端顯示裝置的情況下,若在源裝置上執行之圖形堆疊僅按需將GUI之新圖框呈現至顯示緩衝器以適應場景改變(例如,游標移動等),則可節約源裝置電力。給定圖框可接著在顯示緩衝器中持續多個螢幕再新循環。因此,來源將此等靜態圖框提供至接收端顯示裝置之方式可影響使用者藉由源裝置及接收端裝置之感知及體驗。
依據本發明之一實施例,係特地提出一種影像圖框顯示源設備,其包含:一影像圖框處理管線,其產生一影像圖框以供顯示;一傳輸器,其耦接於該影像圖框處理管線之下游以將該第一影像圖框之一經編碼第一表示串流傳輸至一顯示裝置;及一靜態影像品質改善模組,其在一第二影像圖框未在一預定時間內產生之情況下起動編碼該影像圖框之額外資料的串流傳輸。
102‧‧‧無線顯示系統
104‧‧‧使用者介面(UI)
105‧‧‧源裝置/來源
106‧‧‧作業系統(OS)
107‧‧‧圖框緩衝器控制器
108‧‧‧圖形堆疊
109‧‧‧靜態圖框品質改善模組
110‧‧‧圖框緩衝器/顯示緩衝器/CM
114、115‧‧‧面板自我再新(PSR)控制模組
116、184‧‧‧顯示面板
120‧‧‧傳輸協定堆疊
122‧‧‧圖框資料編碼器/圖形(視訊)圖框編碼器
124‧‧‧解碼器及圖像緩衝器
126‧‧‧多工器
128‧‧‧無線傳輸器或收發器(Tx/Rx)
130‧‧‧PSR改善品質(IQ)模組
132‧‧‧PSR-IQ策略
140‧‧‧經壓縮圖框資料有效負載
150‧‧‧接收端裝置/接收端顯示裝置/接收端/顯示面板
160‧‧‧接收協定堆疊
162、726‧‧‧無線收發器
164‧‧‧解多工器
166‧‧‧解碼器
182‧‧‧圖框緩衝器
201、202‧‧‧方法
204、206、208、210、211、212、213、214、215、216、218、220、221、222、223、225、250、255、260、265、270、505、510、515、520‧‧‧操作
205‧‧‧正常模式/無線顯示源平台
207‧‧‧PSR模式
401、402‧‧‧復原GOP
415‧‧‧最後圖框/靜態圖框
420、425‧‧‧P圖框
501‧‧‧方法/圖形處理器/PSR更新策略
610‧‧‧主記憶體
615‧‧‧子系統驅動器
620‧‧‧電子記憶體
650、702‧‧‧處理器
700‧‧‧資料處理系統
704‧‧‧快取記憶體
706‧‧‧暫存器檔案
707‧‧‧處理器核心
708‧‧‧圖形處理器
709‧‧‧指令集
710‧‧‧處理器匯流排
712‧‧‧外部圖形處理器
716‧‧‧記憶體控制器集線器
720‧‧‧記憶體裝置/記憶體
721‧‧‧指令
722‧‧‧資料
724‧‧‧資料儲存裝置
728‧‧‧韌體介面
730‧‧‧輸入輸出(I/O)控制器集線器
734‧‧‧網路控制器
742‧‧‧通用串列匯流排(USB)控制器
744‧‧‧鍵盤及滑鼠
746‧‧‧音訊控制器
800‧‧‧超低功率系統
802‧‧‧裝置平台
805‧‧‧晶片集
810‧‧‧中央處理器
812‧‧‧記憶體/儲存體
815‧‧‧視訊處理器
816‧‧‧應用程式
818‧‧‧無線電
820‧‧‧人性化介面裝置(HID)
850‧‧‧導航控制器
860‧‧‧網路
900‧‧‧行動手機裝置
901‧‧‧前部
902‧‧‧後部
904‧‧‧顯示器
906‧‧‧輸入/輸出(I/O)裝置
908‧‧‧整合式天線
910‧‧‧相機模組
912‧‧‧導航特徵
本文所述之材料係以實例之方式而非以限制之方式例示於隨附諸圖中。出於例示之簡單性及清晰性,諸圖中所例示之元件未必按比例繪製。舉例而言,一些元件之尺寸可出於清晰性而相對於其他元件誇示。此外,在認為適當的情況下,已在諸圖當中重複參考標號來指示對應或相似元件。在諸圖中:圖1A為描繪根據一些實施例的包括靜態圖框品質改善模組之源裝置的示意圖;圖1B為描繪根據一些實施例的包括與接收端顯示裝置無線鏈接之源裝置的無線顯示系統之示意圖;圖2A為描繪根據一些實施例的用於靜態圖框品質改善之方法的流程圖;圖2B為描繪根據一些實施例的用於藉由編碼一或多個額外P圖框反復地改善靜態圖框品質之方法的流程圖;圖3A、圖3B、圖3C及圖3D為例示根據一些實施例的圖框產生、源呈現、壓縮及接收端呈現之圖表;圖4A及圖4B為例示根據一些實施例的在PSR-IQ及正常模式期間自源裝置傳輸或藉由接收端裝置接收之一系列影像圖框的示意圖
圖5為例示根據一些實施例的用於自PSR-IQ模式返回至正常源/接收端模式之方法的示意圖;圖6為根據實施例的可在PSR-IQ模式下操作之源裝置 的功能方塊圖;圖7為根據一些實施例的資料處理系統之方塊圖;圖8為根據一些實施例的包括PSR-IQ模組之示範性超低功率系統的圖式;及圖9為根據一些實施例配置之示範性行動手機平台的圖式。
較佳實施例之詳細說明
參考附圖描述一或多個實施例。儘管詳細地描繪並論述特定組態及配置,但應理解,此僅出於例示性目的而進行。熟習相關技術者將認識到,其他組態及配置在不脫離本描述之精神及範疇的情況下係可能的。熟習相關技術者將顯而易見,本文所述之技術及/或配置亦可使用於除本文詳細描述之系統及應用之外的多種其他系統及應用中。
在以下詳細描述中參考隨附圖式,該等圖式形成描述之一部分且例示示範性實施例。此外,應理解,在不脫離所主張之標的物之範疇的情況下,可利用其他實施例且可進行結構及/或邏輯改變。因此,不以限制性意義來考慮以下詳細描述,且所主張之標的物的範疇係僅藉由所附申請專利範圍及其等效物來界定。
在以下描述中,闡述眾多細節,然而,熟習此項技術者將顯而易見,可在無此等特定細節之情況下實踐實施例。熟知之方法及裝置係以方塊圖形式而非以細節形式 展示,以避免混淆更重要的態樣。遍及本說明書對「實施例」或「一實施例」之引用意味,結合實施例所述之特定特徵、結構、功能或特性包括於至少一實施例中。因此,短語「在實施例中」或「在一實施例中」在遍及本說明書之各處的出現未必指代同一實施例。此外,在實施例之情形下所述的特定特徵、結構、功能或特性可在一或多個實施例中以任何合適的方式組合。舉例而言,第一實施例可與第二實施例組合,只要與該等兩個實施例相關聯之特定特徵、結構、功能或特性並不相互排斥。
如在示範性實施例之描述及所附申請專利範圍中所使用,單數形式「一」及「該」意欲亦包括複數形式,除非上下文清楚地另有指示。亦應理解,如本文所使用之術語「及/或」指代且涵蓋相關聯之所列項目中之一或多者的任何及所有可能組合。
如遍及本描述所使用,且在申請專利範圍中,藉由術語「......中之至少一者」或「......中之一或多者」所結合之項目的清單可意味所列術語之任何組合。舉例而言,短語「A、B或C中之至少一者」可意味A;B;C;A及B;A及C;B及C;或A、B及C。
術語「耦接」及「連接」連同其派生詞可在本文中用以描述組件之間的功能或結構關係。應理解,此等術語並非意欲作為用於彼此之同義詞。實情為,在特定實施例中,「連接」可用以指示兩個或兩個以上元件處於彼此直接實體接觸、光學接觸或電接觸狀態中。「耦接」可用以指 示兩個或兩個以上元件處於彼此直接抑或間接(在其間具有其他介入元件)實體、光學或電接觸狀態中,及/或該兩個或兩個以上元件彼此合作或相互作用(例如,如處於因果關係中)。
本文所提供之詳細描述的一些部分依據對電腦記憶體內的資料位元之操作的演算法及符號表示來呈現。除非另有特定規定,否則如自以下論述顯而易見,應瞭解遍及本描述,利用諸如「計算」、「運算」、「判定」、「估計」、「儲存」、「收集」、「顯示」、「接收」、「合併」、「產生」、「更新」或其類似者之術語的論述涉及電腦系統或類似電子計算裝置的行動及處理程序,該系統或裝置對表示為電腦系統之電路(包括暫存器及記憶體)內之物理(電子)量的資料進行操縱並變換為類似地表示為電腦系統記憶體或暫存器或其他此等資訊儲存、傳輸或顯示裝置內之物理量的其他資料。
儘管以下描述闡述可在諸如系統單晶片(SoC)架構之架構方面得到證明的實施例,但本文所述之技術及/或配置的實行方案不局限於特定架構及/或計算系統,且可藉由用於類似目的之任何架構及/或計算系統來實施。使用例如多個積體電路(IC)晶片及/或封裝之各種架構,及/或諸如機上盒、智慧型電話等之各種計算裝置及/或消費型電子(CE)裝置可實施本文所述的技術及/或配置。此外,儘管以下描述可闡述諸如邏輯實行方案、系統組件之類型及相互關係、邏輯分割/整合選擇等之眾多特定細節,但可在無此 等特定細節的情況下實踐所主張之標的物。此外,可能並未詳細地展示諸如控制結構及全軟體指令序列之一些材料,以便不會混淆本文所揭示的材料。
本文所揭示之材料的某些部分可以硬體實施,例如作為影像處理器中的邏輯電路。某些其他部分可以硬體、韌體、軟體或其任何組合來實施。本文所揭示之材料中的至少一些亦可實施為儲存於機器可讀媒體上之指令,該等指令可藉由一或多個處理器(圖形處理器及/或中央處理器)讀取及執行。機器可讀媒體可包括用於儲存或傳輸呈可藉由機器(例如,計算裝置)讀取之形式之資訊的任何媒體及/或機構。舉例而言,機器可讀媒體可包括唯讀記憶體(ROM);隨機存取記憶體(RAM);磁碟儲存媒體;光學儲存媒體;快閃記憶體裝置;電學、光學、聲學或其他類似之非暫時性有形媒體。
源裝置常常具有進入面板自我再新(PSR)模式之能力,在該模式中,源顯示螢幕將在不存在影像圖框緩衝器更新之情況下在多個再新循環內重複地表示靜態圖框。同樣,當來源藉由使資料壓縮成為必需之通道鏈接至接收端時,該通道諸如但不限於無線鏈路(例如,WiDi),來源可進入PSR模式且在不存在進一步影像圖框緩衝器更新之情況下暫停去往接收端的經編碼圖框傳輸。在來源停止圖框傳輸之情況下,接收端可繼續呈現及/或顯示藉由來源發送至其之最後圖框(例如,接收端顯示最後圖框之自我再新)。然而,因為接收端接收經編碼圖框資料,所以任何給定圖 框之表示的品質可具有在延伸圖框持續之情況下對於使用者而言易於顯而易見的相對低的影像品質。
下文描述用於改善在接收端顯示圖框緩衝器中具有相對長的駐留時間之靜態影像(圖形)圖框之品質的示範性系統、方法及電腦可讀媒體。在經壓縮資料通道鏈接來源及接收端的情況下,來源可編碼額外圖框資料以改善藉由接收端顯示器所呈現之靜態圖框的品質。如本文所使用,接收端上之「靜態」圖框表示藉由來源所產生及/或儲存的單一圖框(例如,儲存於源圖框緩衝器中)。根據本文之一些實施例,自使用者之立場,在圖框藉由接收端裝置呈現之持續時間內對靜態圖框進行的漸進式改善保持靜態圖框之持久本質(例如,接收端顯示圖框具有為源裝置上靜態保持之同一場景的外觀)。然而,來源與接收端之間的場景改變資料傳輸之瞬間停止至少部分地藉由對接收端之靜態圖框之品質改善的傳輸來回填。因而,使用者可感知接收端顯示器上更緊密地匹配源顯示器上所呈現之未壓縮表示的靜態場景。
在一些實施例中,顯示源以標稱影像品質編碼圖框,且傳輸包括經壓縮圖框資料之有效負載的分封化串流。在不存在及時圖框緩衝器更新之情況下,顯示源編碼額外資訊以改善現在靜態圖框之表示的品質。顯示接收端裝置以標稱影像品質呈現靜態圖框之第一表示,且在隨後接收到圖框品質改善資料後即以經改善影像品質呈現靜態圖框的第二表示。藉由恰當地補充源裝置處之最後編碼圖框的 資料,接收裝置僅需要順應標準化編解碼器,從而使顯示裝置能夠獨立於藉由源裝置所實施之靜態影像品質改善演算法。
圖1A為描繪根據一些實施例的包括靜態圖框品質改善模組109之源裝置105的示意圖。源裝置105進一步包括耦接至圖框緩衝器110之圖框緩衝器控制器107。圖框緩衝器110可具有任何已知的圖框緩衝器架構,諸如但不限於雙重(乒乓)緩衝器、三重緩衝器等。圖框緩衝器控制器107將輸出螢幕改變通知,或「翻轉」至圖框緩衝器110。源裝置105進一步包括圖框資料編碼器122。編碼器122將自圖框緩衝器108接收或取得數位影像或圖形圖框。編碼器122將輸出表示輸入圖框之原始經壓縮(經寫碼)數位影像(圖形)圖框資料串流。串流之分封化產生經壓縮圖框資料有效負載140以供傳輸至接收端裝置150。
編碼器122繼續處於「正常」操作模式,直至靜態圖框品質改善模組109判定或偵測到圖框已在圖框緩衝器110中持續了足夠長的時間以便具有資格作為「靜態」圖框為止。在一些實施例中,圖框之持續性藉由監視所輸出之螢幕改變通知來量化。舉例而言,若螢幕改變通知尚未在臨界持續時間內出現,則當前儲存於圖框緩衝器110中之圖框被認為係靜態圖框。不論所使用之靜態圖框偵測技術為何,在偵測到靜態圖框條件的情況下,靜態圖框品質改善模組109進入「經改善品質」(IQ)操作模式。在處於IQ模式下之同時,模組109將控制信號輸出至編碼器122,以使 編碼靜態圖框之表示的額外資料在來源處產生及/或發送至接收端裝置作為額外經壓縮圖框有效負載140。
源裝置105因此在兩種模式下有效:在圖框緩衝器更新滿足預定頻率臨界值之同時,正常模式有效;及在圖框緩衝器更新未能滿足該臨界值時,IQ模式有效。在處於IQ模式下之同時,藉由編碼器122所輸出之品質改善資料用以增加編碼靜態圖框之表示的位元之數目。在於正常模式期間所輸出之一或多個經壓縮圖框有效負載140在圖框經判定為靜態之前提供具有標稱品質的初始圖框表示的示範性實施例中,一或多個額外經壓縮圖框有效負載140在IQ模式期間輸出以在圖框經判定為靜態之後提供具有更高品質的後續圖框表示。
圖1B為描繪根據一些實施例的包括與接收端顯示裝置150無線鏈接之源裝置105之一示範性實行方案的無線顯示系統102之示意圖。可針對經由導線管在源顯示器與接收端顯示器之間發送經壓縮視訊圖框資料的替代性系統使用類似架構。在系統102中,源裝置105經由以虛線例示之無線鏈路直接耦接或「配對」至顯示(接收端)裝置150。源裝置105可為可操作來以無線方式編碼及傳輸資料之任何裝置。在例示性實施例中,源裝置105執行可操作以實施使用者介面(UI)104之作業系統(OS)106,使用者輸入可經由使用者介面104來接收。OS 106以通訊方式耦接至圖形堆疊108。圖形堆疊108可包括一或多個圖形管線模組,圖形物件可藉由該一或多個圖形管線模組使用此項技術中已知的 任何技術呈現於圖形圖框中。舉例而言,圖形堆疊108可藉由源裝置105執行以產生圖形基元及/或頂點,執行頂點著色、鑲嵌、紋理化及/或像素著色。在一些實施例中,圖形堆疊108進一步包括圖框緩衝器控制器。圖形堆疊108可將所呈現圖形圖框輸出至圖框緩衝器110。
在例示性實施例中,圖框緩衝器110之輸出端耦接至顯示面板116之輸入端,顯示面板116在一實施例中為源裝置105的嵌入式顯示器。寫入至圖框緩衝器110之更新在正常操作模式期間輸出至顯示面板116。源裝置進一步包括面板自我再新(PSR)控制模組114,模組114可在源PSR模式期間操作以回應於自圖形堆疊108所輸出之圖形圖框的暫停藉由儲存於圖框緩衝器110中之靜態圖框再新顯示面板116的輸出。舉例而言,在正常抑或PSR模式下,顯示面板116可以某顯示再新率再新,該再新率可在30Hz與1kHz之間變化。
圖框緩衝器110之輸出端進一步耦接至編碼器122。在例示性實施例中,編碼器122為傳輸協定堆疊120之部分,傳輸協定堆疊120可操作以實施及/或遵守一或多個無線高清晰度媒體介面(HDMI)協定,諸如但不限於無線家庭數位介面(WHDI)、無線顯示器(WiDi)、Wi-Fi Direct、Miracast、WirelessHD,或無線十億位元聯盟(WiGig)憑證程式。
編碼器122將輸出經壓縮圖形圖框資料串流,作為藉由圖形堆疊108所產生之圖框的表示。編碼器122可實 施已知執行變換、量化、運動補償預測、回圈濾波等中之一或多者的任何編解碼器。在一些實施例中,編碼器122遵守藉由運動圖像專家組(MPEG)所維持之一或多個規範,諸如但不限於MPEG-1(1993)、MPEG-2(1995)、MPEG-4(1998),以及相關聯的國際化標準組織/國際電工委員會(ISO/IEC)規範。在一些示範性實施例中,編碼器122遵守以下各者中之一或多者:H.264/MPEG-4 AVC標準、HEVC標準、VP8標準、VP9標準規範。
編碼器122之輸出端耦接至局域解碼回圈,該回圈包括將重建構及儲存參考圖框表示之解碼器及圖像緩衝器124。編碼器122之輸出端進一步耦接至多工器126之輸入端,以將藉由編碼器122所產生之一或多個經寫碼基本串流處理為較高階分封化串流。在一些實施例中,多工器126將分封化基本串流寫碼為MPEG程式串流(MPS),或更有利地,寫碼為MPEG運輸串流(MTS)。在其他實施例中,根據即時協定(RTP)、使用者資料報協定(UDP)及網際網路協定(IP)中之一或多者囊封MTS,此係由於實施例在此情形下並不受限。舉例而言,在一些RTP實施例中,網路抽象層(NAL)編碼器(未描繪)接收MTS,且產生適於無線傳輸之網路抽象層單元(NAL單元)。
多工器126之輸出端耦接至無線傳輸器(Tx)或收發器(Tx/Rx)128,無線傳輸器(Tx)或收發器(Tx/Rx)128經耦接以接收經寫碼串流資料且輸出代表去往接收端裝置之經寫碼串流資料的無線信號。無線收發器128可利用已知適用 於直接輸送(例如,同級間)資料串流以供在接收端裝置上即時呈現之目的的任何頻帶。在一些示範性實施例中,無線收發器105可在2.4GHz及/或5GHz頻帶(例如,Wi-Fi 802.11n)下操作。在一些其他示範性實施例中,無線收發器可在60GHz頻帶下操作。
在源裝置105處於正常模式之時段內,傳輸協定堆疊120亦將在正常模式下操作。在正常模式期間,輸出至顯示緩衝器110且翻轉至傳輸協定堆疊120之圖形圖框資料將得以編碼、分封化及傳輸。源裝置105進一步包括PSR改善品質(IQ)模組130,模組130可實施為傳輸協定堆疊120之部分或實施為離散控制器。在一些實施例中,PSR-IQ模組130將在源裝置105處於「PSR」模式之時間的至少一部分內實施PSR-IQ策略132中所定義之參數及/或演算法。在PSR-IQ策略132正在實行之同時,傳輸協定堆疊120在本文中稱為「PSR-IQ」模式之模式下操作。在處於PSR-IQ模式之同時,傳輸協定堆疊120將藉由編碼、分封化及輸出額外圖形圖框資料而改善已在正常模式下傳輸之最後圖框的品質,該額外圖形圖框資料在本文中被稱為「靜態圖框IQ資料」。在源裝置105處於PSR模式之任何時段內,但PSR-IQ策略132並非正在實行時,傳輸協定堆疊120在本文中簡稱為「PSR」模式之模式下操作。在PSR模式期間,無圖形圖框資料藉由傳輸協定堆疊120編碼、分封化或傳輸。
在一些實施例中,回應於源裝置105進入PSR模式,PSR-IQ策略132藉由PSR-IQ模組130實施。在實施例中, PSR-IQ策略132可經實施,直至源裝置105退出PSR模式,從而返回至正常模式為止(亦即,圖形堆疊108將新圖框輸出至圖框緩衝器110以供呈現)。在其他實施例中,PSR-IQ策略132可經實施,直至源裝置105退出PSR模式為止抑或直至最後正常傳輸之圖框之品質的改善被認為完成且傳輸協定堆疊120相應地進入PSR模式為止。
如圖1B中進一步例示,接收端顯示裝置150在無線串流傳輸工作階段期間經由無線收發器1621通訊耦接至源裝置105。無線收發器162可利用與收發器128之頻帶及無線通訊協定相容的任何頻帶及無線通訊協定。來自無線收發器162之輸出耦接至解多工器164之輸入端,解多工器164將會將經囊封之分封化串流處理為傳遞至解碼器166的經壓縮資料輸入。解多工器164包括解囊封及自分封化A/V串流提取音訊及視訊有效負載之邏輯。解碼器166可利用與編碼器122之編解碼器相容的任何編解碼器,以產生傳遞至接收端顯示管線之圖框資料的表示。在所例示實施例中,接收端顯示管線包括圖框緩衝器182及顯示面板184,顯示面板184可為接收端裝置150之嵌入式顯示器。
在正常操作模式期間,圖框緩衝器182係以藉由接收協定堆疊160所輸出之螢幕改變通知來更新。在一些實施例中,接收端裝置150進一步包括可在接收端PSR模式期間操作之PSR控制模組115。在自接收協定堆疊160所輸出之圖形圖框暫停的情況下,PSR控制模組115將藉由儲存於圖框緩衝器182中之靜態圖框再新顯示面板184的輸出。舉例 而言,在正常抑或PSR模式下,顯示面板184可以某顯示再新率再新,該再新率可在30Hz與120Hz之間變化。
圖2A為描繪根據一些實施例的用於無線顯示靜態圖框品質改善之方法201的流程圖。在所例示實施例中,方法201係藉由無線顯示系統102(圖1B)執行。然而,在其他實施例中,方法201係藉由具有替代性架構之源裝置及/或接收端裝置實施。方法201以在操作204處來源105產生圖形圖框開始,此操作例如回應於誘發場景改變計算之使用者活動來進行。在操作206處,源顯示面板顯示在操作204處所產生之圖框。在操作208處,將此等相同圖框中之一或多者翻轉至傳輸協定堆疊以供編碼。在一些實施例中,多個圖框使用任何已知的技術編碼為圖像群組(GOP)。又,在操作208(圖2A)處,再次根據已知技術,將經壓縮圖框進一步編碼為運輸串流及/或即時串流。在操作210處,經由鏈路(例如,無線的)將表示GOP之封包串流傳輸至接收端150。操作204、206、208、210均在來源105處於正常模式205之同時執行。在操作211處,接收端150解碼所接收封包有效負載,且在操作213處顯示對應於GOP的經重建構圖框。圖4A為例示根據一些實施例的在PSR-IQ及正常模式期間自源裝置傳輸及/或藉由接收端裝置接收之一系列影像圖框的示意圖。圖4A中之示範性GOP包括框內編碼圖框(I圖框),繼之以八個框間預測圖框(P圖框)。
返回至圖2A,方法201以在操作212處源顯示器執行靜態再新且來源105進入PSR模式207來繼續。在一實例 中,源OS偵測到螢幕閒置且停止將螢幕改變通知發送至圖形驅動器。圖形驅動器又停止將螢幕改變通知發送至顯示緩衝器傳輸協定堆疊。在靜態再新操作212期間,在操作204處所產生之最後圖框繼續駐留於顯示緩衝器中。在一些實施例中,PSR模式207係基於超過預定臨界持續時間之螢幕改變通知的暫停。作為回應,傳輸協定堆疊在操作214處進入PSR模式,且無其他圖框資料經編碼、分封化,及/或自源裝置105傳輸。在無額外圖框之傳輸的情況下,接收端裝置150執行靜態再新操作215,其中在操作213處所顯示之最後圖框保持於接收端顯示緩衝器中且用以以某標稱速率週期性地再新接收端顯示面板,直至來源處之場景改變且來源切換出PSR模式207並返回至正常模式205為止。
方法201以在操作216處傳輸協定堆疊進入PSR-IQ模式來繼續。在一些實施例中,PSR-IQ模式係回應於源裝置105保持處於PSR模式207歷時某預定時段(例如,源圖框緩衝器尚未更新歷時50-100毫秒)而得以進入。一旦處於PSR-IQ模式,則在操作218處編碼靜態圖框IQ資料。靜態圖框IQ資料可包括與發送至接收端之最後構成圖框相關聯、可藉由接收端150解碼,且可改善最後圖框之影像品質的任何額外資料。在一些實施例中,靜態圖框IQ資料包括進一步編碼與藉由最後構成圖框所編碼之場景相同的場景之一或多個P圖框。圖2B為描繪根據一些實施例的用於藉由編碼一或多個額外P圖框反復地改善靜態圖框品質之方法202的流程圖。方法202在操作250處開始,其中自局域圖框 緩衝器存取或接收靜態圖框F(例如,藉由圖形管線所輸出)。在操作255處將最後編碼圖框傳遞通過局域解碼回圈,以產生最後圖框表示Fi。接著比較非編碼圖框F與圖框表示Fi,且使用任何已知的技術在操作260處判定殘餘物。預定準則可接著應用於判定是否將在操作265處執行額外P圖框編碼,或是否替代地方法202將結束。舉例而言,若在品質上存在足夠差異,則在操作265處,以包括較高頻率成分之方式編碼靜態圖框F及/或殘餘物F-Fi。接著在操作270處將此後續編碼圖框Fi+1輸出至傳輸堆疊。方法202可重複,直至最終準則得以滿足為止。
在圖4A中進一步例示之示範性實施例中,最後圖框415為P圖框,且靜態圖框IQ資料包括另一P圖框420。值得注意地,P圖框420具有在正常模式期間最後輸出之同一影像圖框。換言之,P圖框420與儲存於源顯示緩衝器中藉由最後圖框415所表示之靜態圖形圖框相關聯。在一些實施例中,P圖框420包括並不存在於最後圖框415中之高頻成分。舉例而言,P圖框415可包括較低頻率成分之粗糙影像資料,而P圖框420包括較高頻率之精細影像資料。高頻成分可藉由任何已知的技術來判定。在一實例中,包括於P圖框420中之高頻資料與在最後圖框415之編碼期間丟棄的變換係數相關聯。在一些實施例中,在P圖框420中編碼之資料係呈基於如下兩者之比較所編碼之殘餘物的形式:最後圖框415之重建構(例如,局域地解碼且儲存於圖1B中之圖像緩衝器124中)與儲存於源顯示緩衝器(例如,圖1B中之 圖框緩衝器110)中的靜態圖框。
返回至圖2A,方法201在操作220處繼續,其中將靜態圖框IQ封包串流傳輸至接收端150。在操作221處解碼經串流傳輸之封包,且將具有改善品質之經更新最後圖框輸出至接收端顯示緩衝器且在操作223處顯示該最後圖框。具有改善品質之此經更新最後圖框接著駐留於接收端顯示緩衝器中,且在操作225處靜態地再新該最後圖框。
在一些實施例中,靜態圖框IQ資料經發送多次,其中靜態圖框IQ資料之每一額外集合漸進地改善接收端裝置處之靜態圖框表示的品質。舉例而言,在方法201中,在操作222處,編碼額外靜態圖框IQ資料。在一些實施例中,靜態圖框IQ資料傳輸之每一反復包含發送最後構成圖框之一額外P圖框以進一步改善接收端靜態影像的品質。因此,在圖4A中進一步例示之示範性實施例中,靜態圖框IQ資料進一步包括P圖框425。值得注意地,P圖框425又為在正常模式期間最後輸出之影像圖框的表示。換言之,P圖框425亦與儲存於源顯示緩衝器中藉由最後圖框415所表示之靜態影像圖框相關聯。在一些實施例中,P圖框425包括並不存在於最後圖框415及P圖框420中之高頻成分。此高頻資料可例如與在靜態圖框415之編碼期間丟棄的變換係數相關聯,且亦不存在於P圖框420之編碼中。在一些實施例中,在P圖框425中編碼之資料係呈基於如下兩者之比較所編碼之殘餘物的形式:最後圖框415之重建構與儲存於顯示緩衝器中的靜態圖框。
在一些實施例中,在進入PSR-IQ模式後,一叢集之最後圖框IQ封包即得以發送以針對給定頻寬或功率約束盡可能迅速地改善靜態影像的品質。舉例而言,在圖4A中,P圖框420及425可以叢集來發送。在一些其他實施例中,在進入PSR-IQ模式後,即在PSR-IQ模式在作用中的同時週期性地發送最後圖框IQ封包(例如,P圖框420及425可在其間具有預定延遲的情況下連續地發送)。對靜態圖框之週期性品質改善可在時間上隔開來以對使用者透明之方式改善靜態圖框品質,及/或計量傳輸品質改善所需之頻寬及/或功率,及/或簡化靜態圖框品質改善邏輯的實行方案。在一些實施例中,靜態圖框IQ資料以叢集或週期性地發送,直至接收端顯示器上之所要品質得以達成為止,或直至來源退出PSR模式為止,無論首先滿足哪一條件皆可。
在一些實施例中,靜態圖框IQ封包獨立地再編碼在正常模式期間所傳輸之最後圖框。在PSR-IQ模式期間所執行之再編碼操作係藉由不同於在正常模式操作期間所使用之編碼器參數的編碼器參數來執行。已知影響圖框表示品質之任何編碼器參數可經修改,以便改善發送至接收端作為靜態圖框IQ封包之靜態圖框表示的品質。進一步參看圖2A,在操作208處,以第一位元率編碼GOP,且在操作218處,以第二位元率(例如,較高)再編碼至少靜態圖框。在一個此實施例中,在操作208處使用第一量化參數(QP)值,且在操作218處,藉由第二QP值(例如,低於在操作208處所使用之QP值)再編碼至少靜態圖框以保持更大的空間細節及 高頻成分。諸如但不限於量化表、運動分割參數、解區塊參數及變換參數之其他編碼器參數可在正常模式圖框編碼與靜態圖框之PSR-IQ模式再編碼之間變化。
在一些實施例中,傳輸/接收協定堆疊經組配來執行可縮放視訊寫碼(SVC)。舉例而言,源裝置之編碼器可順應H.264/MPEG-4壓縮標準之附錄G。在一些SVC實施例中,高品質圖框位元串流經編碼,且該高品質串流之僅一或多個子集位元串流藉由源裝置在正常操作模式期間隨在正常操作期間在來源與接收端之間可利用的位元率而變來傳輸。舉例而言,進一步參看圖2A,在操作208處,將GOP編碼為多層SVC順應串流。在操作210處,將位元串流的提供標稱位準之品質的至少基本層傳輸至接收端裝置150。取決於標稱品質位準,亦可在操作210處傳輸一或多個增強層。接著在操作211、213處解碼及顯示該一或多個層。在一些實施例中,在操作208處所產生之多層SVC順應串流在源裝置處儲存於例如循環緩衝器中。在於操作212處進入PSR模式(或於操作216處進入PSR-IQ模式)後,即處理經緩衝之SVC編碼串流且在操作220處傳輸一或多個額外增強層位元串流作為靜態圖框IQ封包。在一些此等實施例中,在操作220處傳輸編碼自GOP最後發送之至少靜態圖框的基本層及一或多個額外增強層兩者。因此,在一些實施例中,在操作220處所發送之靜態圖框IQ封包與在操作210處所發送者相比攜載更增強版本(具有更大數目個階層式層)的多層SVC順應串流。因此,在來源處之新圖框更新之暫停導 致來源105與接收端150之間的頻寬要求停止的情況下,最後傳輸之SVC位元串流之尾端可以較高品質位準重新傳輸以改善接收端處的靜態圖框表示。
圖3A、圖3B、圖3C及圖3D為進一步例示根據一些實施例的圖框產生、源呈現、壓縮及接收端呈現之時序的圖表。圖3A至圖3D中所例示之圖框可得自實踐方法201(圖2A)。首先參看圖3A,第一圖框n-3及n-2藉由源裝置圖形管線以高圖框速率(「Hi FR」)產生。接下來的圖框n-1及n藉由源裝置以低圖框速率產生。圖框產生在圖框n與n+1之間暫停。在此時間期間,圖形管線可為閒置的及/或處於待命模式。在暫停之後,影像圖框n+1及n+m得以產生。
接下來參看圖3B,在藉由虛線所表示之潛時時段之後,源顯示器呈現第一影像圖框n-3及n-2。在示範性實施例中,源顯示器再新率追蹤圖框產生率,使得圖框n-3及n-2與高再新率(「Hi RR」)相關聯。接下來,圖框n=1及n藉由源顯示器以較低、標稱再新率輸出。回應於圖框產生之暫停,圖框n接著在來源處於PSR模式的同時重複地再新。在圖框緩衝器更新恢復後,即退出PSR模式且輸出最後圖框n+1。
圖3C進一步例示在正常模式207(圖2A)期間受控至第一位元率之第一圖框n-3及n-2的壓縮。因為圖框產生係以相對高的圖框速率進行,所以針對圖框n-3及n-2中之一或多者的位元率可為相對低的以維持目標平均位元率。接下來的圖框n-1及n可回應於相對低的圖框速率具有較高的位 元率。在PSR-IQ模式期間,圖框n IQ資料在退出PSR-IQ模式之前經編碼至少一次,以在正常模式中恢復編碼最後圖框n+1。圖3C中例示圖框n之兩種編碼(n'及n")。
圖3D進一步例示藉由接收端顯示面板所呈現之圖框。如所示,顯示面板能夠具有可變再新率,該可變再新率經設定例如以匹配顯示緩衝器更新且避免圖框斷裂及/或不順暢。圖框n-3及n-2以第一高再新率顯示,繼之以圖框n-1及n以較低再新率顯示。在某時段之後,在靜態圖框n藉由接收端顯示器自我再新之前或之後,圖框n PSR-IQ資料到達接收端。圖框n PSR-IQ資料經解碼,且接收端顯示緩衝器藉由與圖框n具有相同場景(影像)但具有較高品質表示之圖框n'更新。隨後,若任何額外圖框n PSR-IQ資料到達接收端,則其再次被解碼,且寫出至接收端顯示緩衝器(例如,作為圖框n")從而提供同一場景的甚至更高品質之表示。某時間之後,圖框n+1在源圖框產生復原之後在接收端處得以解碼。在靜態圖框持續時間相當長(例如,在企業背景下之呈現期間)之一些實施例中。使用者可容易地感知高品質靜態影像n'(n")。
在圖4A及圖4B兩者中,展示GOP傳輸機制。在PSR-IQ模式期間,圖框420、425經傳輸以改善接收端上所顯示之靜態影像的品質。在正常模式中,示範性GOP包含I圖框,繼之以八個P圖框。靜態圖框PSR-IQ資料以P圖框之形式發送,從而繼續在正常模式結束之前所發送到最後不完全GOP。因此,在接收端解碼器處,可根據在正常模式 期間所使用之同一GOP結構容易地解碼靜態圖框PSR-IQ資料。圖4A例示一些實施例,其中在恢復正常模式操作後,I圖框即作為第一圖框在復原GOP 401中發送。藉由I圖框更新接收端,不拘最後圖框在最後GOP內之位置,確保可能已觸發在來源上返回至正常模式之任何場景改變將在接收端顯示器上充分地表示。取決於PSR-IQ模式之持續時間,藉由另一I圖框復原可能會或可能不會對來源與接收端之間的網路鏈路強加增大位元率要求。若是,則如必要地根據已知技術,源編碼器速率控制器可限制復原GOP 401中之I圖框及/或其他圖框的影像品質。圖4B例示替代性實施例,其中在恢復正常模式操作後,P圖框即作為第一圖框在復原GOP 402中發送。藉由另一P圖框更新接收端以完成最後GOP確保:將不存在藉由發送靜態圖框PSR-IQ資料所強加之任何品質/位元率限制。然而,當實踐此復原模式時,在場景改變情形之接收端呈現中可能存在限制。
在一些實施例中,自PSR-IQ模式之「I圖框先」或「P圖框先」復原之選擇取決於靜態影像與在來源返回至正常模式時將發送至接收端之新圖形(影像)圖框之間的場景改變之量。圖5為例示根據一些實施例的用於自PSR-IQ模式返回至正常源模式之方法501的示意圖。在一實例中,方法501藉由源裝置,且更特定地藉由傳輸協定堆疊實施。在其他實施例中,PSR-IQ模組310(圖1B)將執行方法501。
方法501以在操作505處產生新的源圖框資料開始。舉例而言,在一實施例中,圖形管線自待命或閒置時 段喚醒,且開始以標稱圖框速率將圖框輸出至源圖框緩衝器。作為回應,PSR-IQ模式結束。在操作510處,判定將要傳輸至接收端之第一新圖框與靜態圖框之間的改變之量。可在操作510處應用任何已知的場景改變量化,此係由於實施例並未在此方面受限。改變之量與預定臨界值比較。回應於改變滿足臨界值,在操作515處將新資料編碼為至少一I圖框。亦可在操作515處利用任何已知的場景改變圖框編碼演算法,例如以選擇足夠低的QP。回應於改變不滿足臨界值,在操作520處將新圖框資料編碼為P圖框。
圖6為進一步例示根據實施例之無線顯示源平台205的功能方塊圖。源平台205包括圖形處理器501。在示範性實施例中,圖形處理器501實施圖形(視訊)圖框編碼器122及圖形堆疊108。平台205進一步包括處理器650,處理器650可包括一或多個邏輯處理器核心。在一些有利的SOC實施例中,處理器605及圖形處理器501整合至單一晶片上。在一些異質實施例中,處理器605經由子系統驅動器615與圖形處理器501介接。平台205進一步包括例如使用任何LCD或LED技術之顯示面板150。
在示範性實施例中,處理器650實施PSR-IQ模組130,例如作為傳輸協定堆疊之模組(未描繪)。處理器650進一步實施多工器126(例如,亦作為傳輸協定堆疊之部分)。藉由圖形堆疊108所輸出之圖框可藉由編碼器122回應於藉由PSR-IQ模組130所發出的命令而處理為經壓縮形式。PSR-IQ資料結合進入面板自我再新模式之顯示面板150的 編碼及發送可經由軟體抑或硬體,或藉由軟體與硬體兩者之組合來實施。針對純硬體實行方案,PSR-IQ模組130可藉由固定功能邏輯來實施。針對軟體實行方案,諸如處理器650之核心的任何已知的可規劃處理器可用以實施邏輯PSR-IQ模組130。取決於實施例,PSR-IQ模組130及多工器126係以在處理器650之使用者或內核空間中執行個體化的軟體來實施。或者,具有固定或半可規劃邏輯電路之數位信號處理器/向量處理器可實施PSR-IQ模組130及多工器126中之一或多者,以及實施傳輸協定堆疊的任何其他模組。
在一些實施例中,處理器650包括一或多個(可規劃)邏輯電路來執行用於改善經由即時無線協定所串流傳輸之靜態圖框之品質的方法之一或多個階段,該協定諸如但不限於WFD或WiDi。舉例而言,處理器650可根據上文所述之一些實施例執行方法201(圖2A)。在一些實施例中,處理器650將存取儲存於主記憶體610中之PSR更新策略501,且將基於最後發送至接收端之靜態圖框的表示與藉由來源所呈現之靜態圖框的差異判定PSR-IQ資料。在一些實施例中,處理器650在經執行個體化軟體堆疊之內核空間中執行一或多個編碼圖框分封化演算法。在一些實施例中,處理器650使用包括於子系統驅動器615中之圖形處理器驅動器來觸發影像圖框產生及/或圖框編碼。在一些實施例中,處理器650藉由儲存於電腦可讀媒體上之指令規劃,以使處理器執行一或多個靜態圖框品質改善方法,例如本文別處所 述之方法中的任一者。
如圖6中進一步例示,PSR-IQ資料圖框可藉由無線收發器128輸出。在一示範性實施例中,所輸出之PSR-IQ資料圖框寫入至電子記憶體620(例如,DDR等)。記憶體620可為單獨的或為主記憶體610之一部分。無線收發器128可實質上如本文別處所述,輸送(例如,根據即時串流傳輸協定)所輸出之PSR-IQ資料圖框至接收接收端150。
圖7以方塊圖表示可用以產生及編碼圖框以輸送PSR-IQ資料之資料處理系統700。資料處理系統700包括一或多個處理器702及一或多個圖形處理器708,且可實施於單處理器桌上型系統、多處理器工作台系統,或具有大量處理器702或處理器核心707之伺服器系統中。在另一實施例中,資料處理系統700為供在行動、手持型或嵌入式裝置中使用之系統單晶片(SoC)積體電路。
資料處理系統700之實施例可包括基於伺服器之遊戲平台、遊戲控制台或併入於其內,包括遊戲及媒體控制台、行動遊戲控制台、手持型遊戲控制台或線上遊戲控制台。在一些實施例中,資料處理系統700為行動電話、智慧型電話、平板計算裝置或行動網際網路裝置。資料處理系統700亦可包括可佩戴裝置、與其耦接或整合於其內,諸如智慧型腕表可佩戴裝置、智慧型眼鏡裝置、強化實境裝置或虛擬實境裝置。在一些實施例中,資料處理系統700為具有一或多個處理器702及藉由一或多個圖形處理器708所產生之圖形介面的電視或機上盒裝置。
在一些實施例中,該一或多個處理器702各自包括一或多個處理器核心707以處理指令,該等指令在被執行時執行用於系統及使用者軟體之操作。在一些實施例中,該一或多個處理器核心707中之每一者經組配來處理特定指令集709。在一些實施例中,指令集709可促進複雜指令集計算(CISC)、精簡指令集計算(RISC),或經由極長指令字(VLIW)的計算。多個處理器核心707可各自處理不同指令集709,指令集709可包括指令以促進其他指令集之仿真。處理器核心707亦可包括其他處理裝置,諸如數位信號處理器(DSP)。
在一些實施例中,處理器702包括快取記憶體704。取決於架構,處理器702可具有單一內部快取記憶體或多個層級之內部快取記憶體。在一些實施例中,快取記憶體在處理器702之各種組件當中共用。在一些實施例中,處理器702亦使用外部快取記憶體(例如,層級-3(L3)快取記憶體或最後層級快取記憶體(LLC))(未圖示),該外部快取記憶體可使用已知的快取一致性技術在處理器核心707當中共用。暫存器檔案706另外包括於處理器702中,處理器702可包括用於儲存不同類型之資料的不同類型之暫存器(例如,整數暫存器、浮點暫存器、狀態暫存器及指令指標暫存器)。一些暫存器可為通用暫存器,而其他暫存器對處理器702之設計可為特定的。
在一些實施例中,處理器702耦接至處理器匯流排710以在處理器702與系統700中之其他組件之間傳輸資 料信號。系統700具有『集線器』系統架構,包括記憶體控制器集線器716及輸入輸出(I/O)控制器集線器730。記憶體控制器集線器716促進在記憶體裝置與系統700之其他組件之間的通訊,而I/O控制器集線器(ICH)730經由局域I/O匯流排提供對I/O裝置之連接。
記憶體裝置720可為動態隨機存取記憶體(DRAM)裝置、靜態隨機存取記憶體(SRAM)裝置、快閃記憶體裝置,或具有合適效能以充當處理程序記憶體的某其他記憶體裝置。記憶體720可儲存資料722及指令721以供在處理器702執行處理程序時使用。記憶體控制器集線器716亦與任擇的外部圖形處理器712耦接,外部圖形處理器712可與處理器702中之該一或多個圖形處理器708通訊以執行圖形及媒體操作。
在一些實施例中,ICH 730使周邊裝置能夠經由高速I/O匯流排連接至記憶體720及處理器702。I/O周邊裝置包括音訊控制器746、韌體介面728、無線收發器726(例如,Wi-Fi、藍牙)、資料儲存裝置724(例如,硬碟驅動機、快閃記憶體等),及用於將舊版(例如,個人系統2(PS/2))裝置耦接至系統之舊版I/O控制器。一或多個通用串列匯流排(USB)控制器742連接輸入裝置,諸如鍵盤及滑鼠744組合。網路控制器734亦可耦接至ICH 730。在一些實施例中,高效能網路控制器(未圖示)耦接至處理器匯流排710。
圖8為根據一或多個實施例的示範性超低功率系統800之圖式。系統800可為行動裝置,但系統800不限於此 情形。系統800可併入至可佩戴計算裝置、膝上型電腦、平板電腦、觸控板、手持型電腦、掌上型電腦、蜂巢式電話、智慧型裝置(例如,智慧型電話、智慧型平板電腦或行動電視)、行動網際網路裝置(MID)、訊息傳遞裝置、資料通訊裝置等等中。系統800亦可為基礎結構裝置。舉例而言,系統800可併入至大格式電視、機上盒、桌上型電腦,或其他家庭或商業網路裝置中。
系統800包括裝置平台802,裝置平台802可實施上文在圖1至圖6之情形下所述的圖框編碼、分封化及無線傳輸方法之全部或子集。在各種示範性實施例中,中央處理器810執行PSR-IQ資料流控制及MTS多工,例如如本文別處所述。處理器801包括實施PSR-IQ模組130之邏輯電路,例如如本文別處所述。在一些實施例中,一或多個電腦可讀媒體可儲存指令,該等指令在藉由CPU 810及/或視訊處理器815執行時使該(等)處理器執行本文別處所述之影像資料產生、編碼及/或PSR-IQ資料圖框傳輸中的一或多者。藉由視訊處理器815所輸出之一或多個影像資料圖框可接著藉由無線電818傳輸。
在實施例中,裝置平台802耦接至人性化介面裝置(HID)820。平台802可藉由CM 110收集原始影像資料,該資料經處理且輸出至HID 820。包括一或多個導航特徵之導航控制器850可用以與例如裝置平台802及/或HID 820互動。在實施例中,HID 820可包括經由無線電818及/或網路860耦接至平台802之任何監視器或顯示器。HID 820可包括例 如電腦顯示螢幕、觸控螢幕顯示器、視訊監視器、電視類裝置,及/或電視。
在實施例中,裝置平台802可包括CM 110,晶片集805,處理器810、815,記憶體/儲存體812,應用程式816,及/或無線電818之任何組合。晶片集805可在處理器810、815,記憶體812,視訊處理器815,應用程式816或無線電818當中提供相互通訊。
處理器810、815中之一或多者可實施為一或多個複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器;x86指令集相容性處理器、多核心,或任何其他微處理器或中央處理單元(CPU)。
記憶體812可實施為依電性記憶體裝置,諸如但不限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。記憶體812亦可實施為非依電性儲存裝置,諸如但不限於快閃記憶體、蓄電池備用SDRAM(同步DRAM)、磁性記憶體、相變記憶體,及其類似者。
無線電818可包括能夠使用各種合適的無線通訊技術傳輸及接收信號的一或多個無線電。此等技術可涉及跨於一或多個無線網路上之通訊。實例無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、蜂巢式網路,及衛星網路。在跨於此等網路上通訊時,無線電618可根據呈任何型式之一或多個適用標準而操作。
在實施例中,系統800可實施為無線系統、有線系統,或兩者之組合。當實施為無線系統時,系統800可包括適於經由無線共用媒體通訊之組件及介面,諸如一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯,等等。無線共用媒體之實例可包括無線頻譜之多個部分,諸如RF頻譜等等。當實施為有線系統時,系統800可包括適於經由有線通訊媒體通訊的組件及介面,諸如輸入/輸出(I/O)配接器、用以連接I/O配接器與對應的有線通訊媒體之實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器,及其類似者。有線通訊媒體之實例可包括導線、纜線、金屬引線、印刷電路板(PCB)、底板、交換組構、半導體材料、雙絞線、同軸纜線、光纖,等等。
如上文所述,系統800可以變化之實體型式或形狀因子體現。圖9進一步例示可體現平台802及/或系統800之行動手機裝置900的實施例。在實施例中,舉例而言,裝置900可實施為具有無線性能之行動計算手機裝置。如圖9中所示,行動手機裝置900可包括具有前部901及後部902之外殼。裝置900包括顯示器904、輸入/輸出(I/O)裝置906,及整合式天線908。裝置900亦可包括導航特徵912。顯示器904可包括用於顯示適用於行動計算裝置之資訊的任何合適的顯示單元。I/O裝置906可包括用於將資訊輸入至行動計算裝置中之任何合適的I/O裝置。用於I/O裝置906之實例可包括文數字鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、麥克風、揚聲器、語音辨識裝置及軟體,等等。資 訊亦可藉由麥克風(未圖示)輸入至裝置900中,或可藉由語音辨識裝置數位化。實施例在此情形下並不受限。整合至至少前部901及/或後部902中的係相機模組910(例如,包括一或多個透鏡、光圈及成像感測器)。
如上文所示範,可使用硬體元件、軟體元件或兩者之組合來實施本文所述之實施例。硬體元件或模組之實例包括:處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、電感器,等等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、場可規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片集,等等。軟體元件或模組之實例包括:應用程式、電腦程式、應用程式程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦程式碼、程式碼區段、電腦程式碼區段、資料字、值、符號,或其任何組合。判定是否使用硬體元件及/或軟體元件來實施實施例可根據針對設計之選擇所考慮的任何數目個因素而變化,該等因素諸如但不限於:所要的計算速率、功率位準、耐熱性、處理循環預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
與本文所述之示範性實施例一致的無線顯示靜態圖框品質改善及PSR-IQ資料傳輸方法可以各種硬體架構、小區設計或「IP核心」來實施。
至少一實施例之一或多個態樣可藉由儲存於機器可讀儲存媒體上之代表性指令來實施。此等指令可在其藉由機器執行期間完全地或至少部分地駐留於主記憶體內及/或處理器內,儲存該等指令之主記憶體及處理器部分接著亦構成機器可讀儲存媒體。可規劃邏輯電路可具有藉由實施電腦可讀媒體之處理器組配的暫存器、狀態機等。此等邏輯電路如所規劃可接著理解為實體變換為屬本文所述之至少一些實施例之範疇的系統。表示處理器內之各種邏輯的指令,該等指令在藉由機器讀取時亦可使機器製造黏附至本文所述之架構的邏輯及/或執行本文所述的技術。此等表示(被稱為小區設計或IP核心)可儲存於有形的機器可讀媒體上,且供應給各種客戶或製造設施以載入至實際上製造該邏輯或處理器的製造機中。
儘管已參考實施例描述本文所闡述之某些特徵,但此描述不欲以限制性意義來解釋。因此,熟習本揭示案所屬之技術者顯而易見的對本文所述之實行方案以及其他實行方案的各種修改被認為在本揭示案之精神及範疇內。
以下段落簡要地描述一些示範性實施例:在一或多個第一實施例中,一種影像圖框顯示源設備,其包含:一影像圖框處理管線,其產生一影像圖框以供顯示;一傳輸器,其耦接於該影像圖框處理管線之下游以將該第一影像圖框之一經編碼第一表示串流傳輸至一顯示裝置;及一靜態影像品質改善模組,其在一第二影像圖框並未在一預定時間內產生之情況下起動編碼該影像圖 框之額外資料的串流傳輸。
為促進第一實施例,該額外資料編碼用於該影像圖框之一第二表示的資訊,該第二表示具有高於該第一經編碼表示之品質的品質。
為促進緊接上文之實施例,該設備進一步包含:一顯示緩衝器,其耦接至該圖框處理管線之一輸出端,該顯示緩衝器在一面板自我再新(PSR)模式期間儲存該影像圖框;且該額外資料編碼存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分。
為促進緊接上文之實施例,該設備進一步包含:一源顯示面板,其在該PSR模式期間靜態地再新該第一影像圖框;及一影像圖框編碼器,其耦接至該品質改善模組及該顯示緩衝器,該影像圖框編碼器編碼儲存在該顯示緩衝器中之該影像圖框與該第一經編碼表示之間的一殘餘物。
為促進第一實施例,該第一經編碼表示包含一第一I圖框或P圖框,且該額外資料包含一第二P圖框。
為促進緊接上文之實施例,該第二P圖框編碼存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分,該額外資料進一步包含在該第二P圖框之後傳輸之一第三P圖框,該第三P圖框編碼存在於該影像圖框中但並不存在於該第二經編碼表示中之高頻成分。
為促進第一實施例,其中該影像圖框處理管線產生一第二影像圖框,且該品質改善模組回應於該第二影像圖框之輸出而終止該額外資料的串流傳輸。
為促進第一實施例,其中該品質改善模組迫使該第二影像圖框編碼為一I圖框或場景改變圖框,而不論該影像圖框在一圖像群組(GOP)內之一位置。
為促進第一實施例,該額外資料包含該第一影像圖框之一再編碼。
為促進第一實施例,其中該第一經編碼表示包含一可縮放視訊寫碼(SVC)串流之一基本層,且該額外資料包含針對該SVC串流之一或多個增強層。
在一或多個第二實施例中,一種無線顯示系統,其包含:第一實施例中之任一者的源設備,其經由一無線傳輸協定進行串流傳輸;及一接收端設備,其:在一接收端顯示面板上呈現該影像圖框之該第一表示;解碼該額外資料;及至少基於該額外資料在該接收端顯示面板上呈現該影像圖框之一第二表示。
為促進第二實施例,該接收端顯示面板自我再新該影像圖框之該第二表示,直至一第二影像圖框自該源設備接收到為止。
在一或多個第三實施例中,一種用於改善呈現於一接收端顯示器上之一靜態影像之品質的方法包含:產生一影像圖框以供顯示;將該第一影像圖框之一經編碼第一表示串流傳輸至一顯示裝置;及在一第二影像圖框並未在一預定時間內產生之情況下串流傳輸編碼該影像圖框之額外資料。
為促進第三實施例,該方法進一步包含在一面板 自我再新(PSR)模式期間儲存該影像圖框,且該額外資料編碼存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分。
為促進緊接上文之第三實施例,該方法進一步包含:在該PSR模式期間靜態地再新該第一影像圖框;及編碼儲存在顯示緩衝器中之該影像圖框與該第一經編碼表示之間的一殘餘物。
為促進緊接上文之第三實施例,該第一經編碼表示包含一第一I圖框或P圖框,且該額外資料包含一第二P圖框,該第二P圖框編碼存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分;且該方法進一步包含在該第二P圖框之後傳輸一第三P圖框,該第三P圖框編碼存在於該影像圖框中但並不存在於第二經編碼表示中之高頻成分
為促進第三實施例,該方法進一步包含:將該第一經編碼表示至少編碼為一可縮放視訊寫碼(SVC)串流之一基本層;及將該額外資料編碼為該SVC串流之一或多個增強層。
在一或多個第四實施例中,一或多個電腦可讀媒體上面儲存有指令,該指令在藉由一處理系統執行時使該系統執行第三實施例中之任一者。
在一或多個第五實施例中,一種設備包含執行第三實施例中之任一者的構件。
在一或多個第六實施例中,一或多個電腦可讀媒體上面儲存有指令,該指令在藉由一處理系統執行時使該 系統執行一方法,該方法包含:產生一影像圖框以供顯示;將該第一影像圖框之一經編碼第一表示串流傳輸至一顯示裝置;及在一第二影像圖框並未在一預定時間內產生之情況下串流傳輸編碼該影像圖框之額外資料。
為促進第六實施例,該媒體進一步包括儲存於其上之指令,該等指令在藉由該處理系統執行時使該系統執行一方法,該方法包含:在一面板自我再新(PSR)模式期間儲存該影像圖框;在該PSR模式期間靜態地再新該第一影像圖框;及編碼儲存在顯示緩衝器中之該影像圖框與該第一經編碼表示之間的一殘餘物,其中該殘餘物包含存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分。
應認識到,實施例不限於如此描述之示範性實施例,而可在不脫離所附申請專利範圍之範疇的情況下藉由修改及更改來實踐。舉例而言,以上實施例可包括特徵之特定組合。然而,以上實施例在此方面不受限,且在實施例中,以上實施例可包括承擔此等特徵之僅一子集、承擔此等特徵之不同次序、承擔此等特徵之不同組合,及/或承擔相較於明確地列出之該等特徵的額外特徵。因此,範疇應參考所附申請專利範圍連同等效物之全範疇來判定,此等請求項授予該等等效物權利。
102‧‧‧無線顯示系統
104‧‧‧使用者介面(UI)
105‧‧‧源裝置/來源
106‧‧‧作業系統(OS)
108‧‧‧圖形堆疊
110‧‧‧圖框緩衝器/顯示緩衝器/CM
114、115‧‧‧面板自我再新(PSR)控制模組
116、184‧‧‧顯示面板
120‧‧‧傳輸協定堆疊
122‧‧‧圖框資料編碼器/圖形(視訊)圖框編碼器
124‧‧‧解碼器及圖像緩衝器
126‧‧‧多工器
128‧‧‧無線傳輸器或收發器(Tx/Rx)
130‧‧‧PSR改善品質(IQ)模組
132‧‧‧PSR-IQ策略
140‧‧‧經壓縮圖框資料有效負載
150‧‧‧接收端裝置/接收端顯示裝置/接收端/顯示面板
160‧‧‧接收協定堆疊
162‧‧‧無線收發器
164‧‧‧解多工器
166‧‧‧解碼器
182‧‧‧圖框緩衝器

Claims (14)

  1. 一種影像圖框顯示源設備,其包含:一或多個處理器,其產生影像圖框以供顯示;一傳輸器,其將該等影像圖框的一第一影像圖框之一第一經編碼表示串流傳輸至一顯示裝置;一顯示緩衝器,其在一面板自我再新(PSR)模式期間儲存該第一影像圖框;一源顯示面板,其在該PSR模式期間靜態地再新該第一影像圖框;一影像圖框編碼器,其編碼儲存在該顯示緩衝器中之該第一影像圖框與該第一經編碼表示之間的一殘餘物,其中該殘餘物包括存在於該第一影像圖框中但並不存在於該第一經編碼表示中之高頻成分;且其中該等處理器要使該傳輸器在該等影像圖框的一第二影像圖框未在一預定時間內被產生之情況下起動編碼資訊之額外資料的串流傳輸,該資訊關於該第一影像圖框之一第二表示具有高於該第一經編碼表示之品質的品質,其中該額外資料包含該經編碼殘餘物。
  2. 如請求項1之設備,其中該第一經編碼表示包含一第一I圖框或P圖框,且該額外資料包含一第二P圖框。
  3. 如請求項2之設備,其中:該第二P圖框編碼該等高頻成分;該額外資料進一步包含在該第二P圖框之後傳輸之一第 三P圖框;及該第三P圖框編碼存在於該第一影像圖框中但並不存在於該第二經編碼表示中之高頻成分。
  4. 如請求項1之設備,其中:該等處理器要產生該第二影像圖框;及該等處理器要回應於該第二影像圖框之產生而終止該額外資料的串流傳輸。
  5. 如請求項4之設備,其中該等處理器要使該第二影像圖框被編碼為一I圖框或場景改變圖框,而不論該影像圖框在一圖像群組(GOP)內之位置。
  6. 如請求項1之設備,其中該額外資料包含該第一影像圖框之一再編碼。
  7. 如請求項1之設備,其中:該第一經編碼表示包含一可縮放視訊寫碼(SVC)串流之一基本層;及該額外資料包含針對該SVC串流之一或多個增強層。
  8. 一種無線顯示系統,其包含:如請求項1之源設備,其經由一無線傳輸協定串流傳輸;以及一接收端設備,其用以:在一接收端顯示面板上呈現該第一影像圖框之該第一表示;解碼該額外資料;及 至少基於該額外資料在該接收端顯示面板上呈現該第一影像圖框之該第二表示。
  9. 如請求項8之顯示系統,其中該接收端顯示面板要自我再新該第一影像圖框之該第二表示,直至自該源設備接收到該第二影像圖框為止。
  10. 一種用於改善呈現於一接收端顯示器上之一靜態影像的品質之方法,該方法包含:產生一影像圖框以供顯示;將該影像圖框之一第一經編碼表示串流傳輸至一顯示裝置;在一面板自我再新(PSR)模式期間儲存該影像圖框於一顯示緩衝器中;在該PSR模式期間再新該影像圖框;編碼儲存在該顯示緩衝器中之該影像圖框與該第一經編碼表示之間的一殘餘物,其中該殘餘物包括存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分;及在一第二影像圖框並未在一預定時間內被產生之情況下串流傳輸編碼該影像圖框之額外資料,其中該額外資料編碼關於該影像圖框之一第二表示具有高於該第一經編碼表示之品質的品質之資訊,且其中該額外資料包含該經編碼殘餘物。
  11. 如請求項10之方法,其中:該第一經編碼表示包含一第一I圖框或P圖框,且該額外資料包含一第二P圖框,該第二P圖框編碼存在於該影像 圖框中但並不存在於該第一經編碼表示中之高頻成分;且其中該方法進一步包含在該第二P圖框之後傳輸一第三P圖框,該第三P圖框編碼存在於該影像圖框中但並不存在於第二經編碼表示中之高頻成分。
  12. 如請求項10之方法,其進一步包含:將該第一經編碼表示編碼為一可縮放視訊寫碼(SVC)串流之至少一基本層;及將該額外資料編碼為該SVC串流之一或多個增強層。
  13. 一種包括指令儲存於其上之一或多個非暫態電腦可讀媒體,該指令在藉由一處理系統執行時使該系統之一或多個處理器執行一方法,該方法包含:產生一影像圖框以供顯示;將該影像圖框之一第一經編碼表示串流傳輸至一顯示裝置;在一面板自我再新(PSR)模式期間儲存該影像圖框於一顯示緩衝器中;在該PSR模式期間再新該影像圖框;編碼儲存在該顯示緩衝器中之該影像圖框與該第一經編碼表示之間的一殘餘物,其中該殘餘物包括存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分;及在一第二影像圖框並未在一預定時間內被產生之情況下串流傳輸編碼該影像圖框之額外資料,其中該額外資料編碼關於該影像圖框之一第二表示具有高於該第一經編碼表示之品質的品質之資訊,且其中該額外資料包含該經編碼殘餘 物。
  14. 如請求項13之媒體,其中:該第一經編碼表示包含一第一I圖框或P圖框,且該額外資料包含一第二P圖框,該第二P圖框編碼存在於該影像圖框中但並不存在於該第一經編碼表示中之高頻成分;且該媒體進一步包含指令使該系統在該第二P圖框之後傳輸一第三P圖框,該第三P圖框編碼存在於該影像圖框中但並不存在於第二經編碼表示中之高頻成分。
TW105101376A 2015-03-18 2016-01-18 用於接收端顯示器之靜態圖框影像品質改善技術 TWI610564B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/661,991 2015-03-18
US14/661,991 US9589543B2 (en) 2015-03-18 2015-03-18 Static frame image quality improvement for sink displays

Publications (2)

Publication Number Publication Date
TW201703538A TW201703538A (zh) 2017-01-16
TWI610564B true TWI610564B (zh) 2018-01-01

Family

ID=56920230

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105101376A TWI610564B (zh) 2015-03-18 2016-01-18 用於接收端顯示器之靜態圖框影像品質改善技術

Country Status (4)

Country Link
US (1) US9589543B2 (zh)
CN (1) CN107258086B (zh)
TW (1) TWI610564B (zh)
WO (1) WO2016148823A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
CN104683713A (zh) * 2015-03-20 2015-06-03 北京京东方多媒体科技有限公司 视频信号无线发射器、接收器、传输***和显示***
US20170092210A1 (en) * 2015-09-25 2017-03-30 Apple Inc. Devices and methods for mitigating variable refresh rate charge imbalance
US10629165B2 (en) * 2016-05-23 2020-04-21 Razer (Asia-Pacific) Pte. Ltd. Wearable devices and methods for manufacturing a wearable device
US10523867B2 (en) * 2016-06-10 2019-12-31 Apple Inc. Methods and apparatus for multi-lane mapping, link training and lower power modes for a high speed bus interface
US20180130443A1 (en) * 2016-11-04 2018-05-10 Nausheen Ansari Techniques for managing transmission and display of a display data stream
US10613814B2 (en) * 2018-01-10 2020-04-07 Intel Corporation Low latency wireless display
US11164287B2 (en) 2018-09-10 2021-11-02 Lumileds Llc Large LED array with reduced data management
US11107386B2 (en) 2018-09-10 2021-08-31 Lumileds Llc Pixel diagnostics with a bypass mode
US11083055B2 (en) * 2018-09-10 2021-08-03 Lumileds Llc High speed image refresh system
US11091087B2 (en) 2018-09-10 2021-08-17 Lumileds Llc Adaptive headlamp system for vehicles
US10643572B2 (en) * 2018-09-11 2020-05-05 Apple Inc. Electronic display frame pre-notification systems and methods
TWI826530B (zh) 2018-10-19 2023-12-21 荷蘭商露明控股公司 驅動發射器陣列之方法及發射器陣列裝置
US10955903B2 (en) * 2018-12-21 2021-03-23 Intel Corporation Low power advertising mode for sequential image presentation
CN112717370B (zh) * 2019-03-18 2023-07-14 荣耀终端有限公司 一种控制方法和电子设备
US10863183B2 (en) 2019-06-27 2020-12-08 Intel Corporation Dynamic caching of a video stream
US11062674B2 (en) 2019-06-28 2021-07-13 Intel Corporation Combined panel self-refresh (PSR) and adaptive synchronization systems and methods
EP4203325A4 (en) * 2020-08-20 2024-07-24 Jianghong Yu DATA PROCESSING PROCEDURES AND SYSTEM
CN113066139B (zh) * 2021-03-26 2024-06-21 西安万像电子科技有限公司 图片处理方法和装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161398A1 (en) * 2002-02-21 2003-08-28 Meir Feder Improving static picture quality in compressed video
US20100020868A1 (en) * 2005-07-19 2010-01-28 International Business Machines Corporation Transitioning compression levels in a streaming image system
TW201119405A (en) * 2009-03-23 2011-06-01 Onlive Inc System and method for multi-stream video compression using multiple encoding formats
TW201503665A (zh) * 2013-06-11 2015-01-16 Qualcomm Inc 於多層視訊寫碼中關於層間預測類型之處理位元流限制

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781196A (en) * 1990-10-19 1998-07-14 Eidos Plc Of The Boat House Video compression by extracting pixel changes exceeding thresholds
JPH07322252A (ja) * 1994-05-23 1995-12-08 Canon Inc 画像符号化装置
US6108447A (en) * 1998-03-26 2000-08-22 Intel Corporation Method and apparatus for estimating frame rate for data rate control
WO2002007440A2 (en) * 2000-07-15 2002-01-24 Filippo Costanzo Audio-video data switching and viewing system
AUPR212600A0 (en) * 2000-12-18 2001-01-25 Canon Kabushiki Kaisha Efficient video coding
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US7092002B2 (en) * 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
US8139090B2 (en) * 2005-03-10 2012-03-20 Mitsubishi Electric Corporation Image processor, image processing method, and image display device
JP2008211379A (ja) 2007-02-23 2008-09-11 Fujitsu Ltd 表示制御プログラムおよび携帯端末装置
TWI354979B (en) * 2007-07-06 2011-12-21 Au Optronics Corp Over-driving device
DE102008059028B4 (de) 2008-10-02 2021-12-02 Rohde & Schwarz GmbH & Co. Kommanditgesellschaft Verfahren und Vorrichtung zur Erzeugung eines Transportdatenstroms mit Bilddaten
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US8704732B2 (en) 2010-09-29 2014-04-22 Qualcomm Incorporated Image synchronization for multiple displays
CN103561268A (zh) * 2010-12-29 2014-02-05 ***通信集团公司 视频监控图像编码方法及装置
US20120183039A1 (en) * 2011-01-13 2012-07-19 Qualcomm Incorporated Coding static video data with a baseline encoder
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US20120206461A1 (en) * 2011-02-10 2012-08-16 David Wyatt Method and apparatus for controlling a self-refreshing display device coupled to a graphics controller
CN102543023B (zh) * 2012-01-10 2014-04-02 硅谷数模半导体(北京)有限公司 接收设备、视频刷新频率的控制方法、装置及***
TWI508041B (zh) * 2013-01-18 2015-11-11 Novatek Microelectronics Corp 時序控制電路、影像驅動裝置、影像顯示系統及顯示驅動方法
KR102057502B1 (ko) * 2013-03-07 2020-01-22 삼성전자주식회사 디스플레이 드라이브 집적회로 및 영상 표시 시스템
US9620064B2 (en) * 2013-03-13 2017-04-11 Apple Inc. Compensation methods for display brightness change associated with reduced refresh rate
US9836437B2 (en) 2013-03-15 2017-12-05 Google Llc Screencasting for multi-screen applications
US9826015B2 (en) 2013-09-04 2017-11-21 Qualcomm Incorporated Dynamic and automatic control of latency buffering for audio/video streaming
US9786255B2 (en) * 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161398A1 (en) * 2002-02-21 2003-08-28 Meir Feder Improving static picture quality in compressed video
US20100020868A1 (en) * 2005-07-19 2010-01-28 International Business Machines Corporation Transitioning compression levels in a streaming image system
TW201119405A (en) * 2009-03-23 2011-06-01 Onlive Inc System and method for multi-stream video compression using multiple encoding formats
TW201503665A (zh) * 2013-06-11 2015-01-16 Qualcomm Inc 於多層視訊寫碼中關於層間預測類型之處理位元流限制

Also Published As

Publication number Publication date
US9589543B2 (en) 2017-03-07
TW201703538A (zh) 2017-01-16
WO2016148823A1 (en) 2016-09-22
CN107258086A (zh) 2017-10-17
CN107258086B (zh) 2021-07-30
US20160275919A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
TWI610564B (zh) 用於接收端顯示器之靜態圖框影像品質改善技術
US10951914B2 (en) Reliable large group of pictures (GOP) file streaming to wireless displays
KR101634500B1 (ko) 미디어 작업부하 스케줄러
US9532099B2 (en) Distributed media stream synchronization control
TWI513316B (zh) 轉碼視頻資料之技術
CN107660280B (zh) 低延迟屏幕镜像
JP5882547B2 (ja) シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化
KR101646958B1 (ko) 변경된 영역들을 이용한 매체 인코딩
US20130050254A1 (en) Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
CN106664407B (zh) 用于无线显示器的并行编解码的方法、***、装置及可读介质
JP6621827B2 (ja) 無線リンク状態に基づくビデオ復号化待ち時間調整、並びにビデオ復号化誤りの隠蔽のための、古いパケットのリプレイ
US20160088298A1 (en) Video coding rate control including target bitrate and quality control
CN107077313B (zh) 用于非媒体内容的远程显示的改进延迟和效率
JP6060394B2 (ja) クロスレイヤー・クロスチャネル残差予測
JP6273383B2 (ja) 超高精細度ディスプレイを用いてワイヤレスドックのビデオ性能を最適化するためのシステムおよび方法
KR20150070313A (ko) 다수의 독립 코딩 스트림들 사이에서 공유된 모션 추정을 포함하는 비디오 코딩
US20230091518A1 (en) Video Transmission Method, Apparatus, and System

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees