TWI618029B - 圖形處理裝置 - Google Patents
圖形處理裝置 Download PDFInfo
- Publication number
- TWI618029B TWI618029B TW106124312A TW106124312A TWI618029B TW I618029 B TWI618029 B TW I618029B TW 106124312 A TW106124312 A TW 106124312A TW 106124312 A TW106124312 A TW 106124312A TW I618029 B TWI618029 B TW I618029B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- image layer
- prompt
- area
- memory
- Prior art date
Links
- 230000008859 change Effects 0.000 claims description 21
- 239000000872 buffer Substances 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一種圖形處理裝置,用以產生多個混合畫面,每個混合畫面包含多個影像層,且每個影像層包含多個區域,該圖形處理裝置包含:影像產生電路,包含多個影像產生器,該多個影像產生器用以產生該多個影像層;一記憶體,用以儲存該多個影像層;以及顯示硬體,耦接於該影像產生電路與該記憶體,該顯示硬體可執行以下操作:從該記憶體中獲取一目前畫面中之一給定影像層;至少基於為該目前畫面中之該給定影像層而在該顯示硬體上所產生之至少一內容提示,來決定是否跳過存取該記憶體以獲取緊隨該目前畫面之下一畫面中每個影像層之每個區域;以及根據一決定結果,為該下一畫面而存取該記憶體。
Description
本發明係關於對重疊影像層(overlay image layers)進行圖形處理以產生一混合影像(blended image),更具體地,係有關於一種混合畫面之產生方法及圖形處理裝置。
市場上之行動裝置通常配備有一圖形系統,如一圖形處理單元(Graphics Processing Unit,GPU)及用於產生多個影像層之其它圖形產生單元,其中,一組合器(compositor)可以將該多個影像層進行重疊以形成一混合畫面(blended frame)。傳統上,當產生該混合影像時,從一畫面緩衝器(buffer)中獲取該多個重疊影像層之所有像素,因而需要大量記憶體帶寬。
相應地,也需要一圖形系統及相關方法,用以使用有效之記憶體存取來產生一混合影像。
有鑒於此,本發明提供至少一種混合畫面之產生方法及圖形處理裝置。
根據本發明一實施例之混合畫面之產生方法,適用於一圖形處理裝置,每個混合畫面包含多個影像層,且每個影像層包含多個區域(region),該混合畫面之產生方法包括:
使用該圖形處理裝置之顯示(display)硬體從一記憶體中獲取一目前畫面中之一給定影像層;至少基於為該目前畫面中之該給定影像層而在該顯示硬體上所產生之至少一內容提示(content hint),來決定是否跳過存取該記憶體以獲取緊隨該目前畫面之下一畫面中每個影像層之每個區域;以及根據一決定結果,使用該顯示硬體為該下一畫面而存取該記憶體。
根據本發明一實施例之圖形處理裝置,用以產生多個混合畫面,每個混合畫面包含多個影像層,且每個影像層包含多個區域,該混合畫面之產生裝置包含:影像產生電路,包含多個影像產生器,該多個影像產生器用以產生該多個影像層;一記憶體,用以儲存該多個影像層;以及顯示硬體,耦接於該影像產生電路與該記憶體,該顯示硬體可執行以下操作:從該記憶體中獲取一目前畫面中之一給定影像層;至少基於為該目前畫面中之該給定影像層而在該顯示硬體上所產生之至少一內容提示,來決定是否跳過存取該記憶體以獲取緊隨該目前畫面之下一畫面中每個影像層之每個區域;以及根據一決定結果,為該下一畫面而存取該記憶體。
本發明之所提供之混合畫面之產生方法及圖形處理裝置,其優點之一在於能夠減少記憶體之存取帶寬。
100‧‧‧系統
110‧‧‧處理單元
120‧‧‧系統互聯件
130‧‧‧GPU
140‧‧‧記憶體單元
141‧‧‧揮發性記憶體
142‧‧‧非揮發性記憶體
150‧‧‧顯示單元
151‧‧‧組合器
155‧‧‧顯示引擎
160‧‧‧多媒體處理單元
210‧‧‧分析器
220‧‧‧相機
230‧‧‧多媒體解碼器
240‧‧‧畫面緩衝器
250‧‧‧內容提示緩衝器
280‧‧‧影像產生器
310、320、330‧‧‧影像層
310A、320A、330A‧‧‧內容提示
500‧‧‧方法
510~530‧‧‧步驟
RA1、RA2、RB1、RB2、RC1、RC2‧‧‧區域
第1圖為根據本發明一實施例之一系統100之示意圖。
第2圖為根據一實施例之系統100中耦接於一分析器210並用於產生多個內容提示之顯示引擎155之示意圖。
第3A圖為根據本發明一實施例之多個影像層及其各自內容提示之舉例示意圖。
第3B圖為根據本發明一實施例之三個影像層310、320和330之合成示意圖。
第4A圖至第4D圖為使用多個內容提示(特別是,透明度提示及/或變化提示)來減少記憶體帶寬之一實施例之示意圖。
第5圖為適用於一裝置之產生混合畫面之方法500之流程圖。
在說明書及申請專利範圍當中使用了某些詞彙來指稱特定之元件。所屬領域具有通常知識者應可理解,硬體製造商可能會用不同名詞來稱呼同一個元件。本說明書及申請專利範圍並不以名稱之差異來作為區分元件之方式,而是以元件在功能上之差異來作為區分之準則。在通篇說明書及申請專利範圍當中所提及之「包含」及「包括」為一開放式之用語,故應解釋成「包含但不限定於」。「大致」是指在可接受之誤差範圍內,所屬領域具有通常知識者能夠在一定誤差範圍內解決所述技術問題,基本達到所述技術效果。此外,「耦接」一詞在此包含任何直接及間接之電性連接手段。因此,若文中描述一第一裝置耦接於一第二裝置,則代表該第一裝置可直接電性連接於該第二裝置,或透過其它裝置或連接手段間接地電性連接至該第二裝置。「連接」一詞在此包含任何直接及間接、有線及無線之連接手段。以下所述為實施本發明之較佳方式,目的在於說明本發明之精神而非用以限定本發明之保護範圍,本發
明之保護範圍當視後附之申請專利範圍所界定者為准。
第1圖為根據本發明一實施例之一系統100之示意圖。系統100可以是一行動裝置(例如,一平板電腦、一智能手機或一可穿戴式計算裝置)、一膝上型電腦、或者能夠產生或獲取影像及顯示(display)影像之任意計算或圖形裝置。系統100可以實施為多個晶片(chips)或一單晶片,例如一系統單晶片(System-on-a-Chip,SoC)。在一實施例中,系統100包括一處理單元110、一圖形處理單元(Graphics Processing Unit,GPU)130、一記憶體單元140、一顯示單元150及一多媒體處理單元160(例如,相機、影像解碼器、視頻解碼器及其類似),其中處理單元110可進一步包括一個或多個處理器或核心。系統100也可包含一系統互聯件(interconnect)120,用以將上述多個單元110、130、140、150和160相互連接。應當理解,系統100可以包括額外之元件,例如數位信號處理器(Digital Signal Processors,DSPs)、天線及其它輸入/輸出單元,簡潔起見,此處加以省略說明。
處理單元110可以包括但不僅限於一個或多個通用處理器(例如,中央處理單元CPU)。舉例而言,記憶體單元140可以包括一揮發性記憶體141和一非揮發性記憶體142。揮發性記憶體141可以是一動態隨機存取記憶體(DRAM)或一靜態隨機存取記憶體(SRAM),以及非揮發性記憶體142可以是一閃存記憶體、一硬碟(hard disk)、一固態碟片(Solid-State Disk,SSD)等。舉例而言,系統100中所使用之多個應用之程式代碼可以預先儲存於非揮發性記憶體142中。處理器110可以將
多個應用之程式代碼從非揮發性記憶體142加載至揮發性記憶體141中,並執行該多個應用之程式代碼。請注意,儘管揮發性記憶體141與非揮發性記憶體142顯示為一個記憶體單元,它們也可以實施為相互分離之幾個記憶體單元。另外,不同數量之揮發性記憶體141及/或非揮發性記憶體142也可實施為不同實施例。
系統100可以包括多個影像產生器,包括但不僅限於:處理單元110、GPU 130及多媒體處理單元160。處理器單元110可以產生圖形資料,該圖形資料將由顯示單元150所顯示,且處理器單元110也可以命令GPU 130產生待顯示之圖形資料。另外,多媒體處理單元160可以獲取及/或產生待顯示之多媒體資料流。這些影像產生器中之一些有可能能夠產生內容提示,以及這些影像產生器中之一些有可能不會產生內容提示,下文將進行詳細說明。
顯示單元150可以包括顯示引擎(display engine)155,顯示引擎155為一硬體部件,用於控制一驅動電路(圖中未示)與顯示畫面之一顯示螢幕(圖中未示)。顯示引擎155也控制對記憶體單元140之存取。顯示單元150可以進一步包括一組合器151。組合器151為一硬體部件,可以配置為根據多個影像或圖形資料來產生一作為結果之混合畫面(也稱為「畫面」),例如多個重疊之影像層(也稱為「影像層」)。
每個影像層可以被劃分為多個區域(region),該多個區域可以例如多個圖塊(tiles),以及每個影像層之每個區域包括至少一像素(pixel)。一影像層之多個區域可以尺寸相等或
者尺寸不等。該多個影像層可以以相同或不同方式劃分為多個區域,換言之,每個影像層可以劃分為不同之區域集合(sets)(R1,R2,R3,...,RN),其中,每個區域在作為結果之混合畫面中可以在使用其位置來識別。
在一實施例中,一影像層之一區域之內容提示可以包括一個或多個類型,包括但不僅限於:一透明度(alpha)提示、一變化(dirtiness)提示、一恒定(constant)提示及指示該區域特定之其它提示。若一影像產生器(例如,一CPU或一GPU)能夠產生內容提示,則該內容提示可以由該影像產生器來產生。若一影像層之一影像產生器無法產生多個內容提示或一些類型之內容提示,則顯示引擎155可以為該影像層之每個區域產生一內容提示(包括一個或多個類型)。
第2圖為根據一實施例之系統100中耦接於一分析器210並用於產生多個內容提示之顯示引擎155之示意圖。分析器210可以實施為軟體、硬體或軟體與硬體之組合。儘管在第2圖中分析器210與顯示引擎155顯示為兩個分離之單元,在一些實施例中,分析器210可以是顯示引擎155之一部分。分析器210可以接收來自影像產生器280之多個像素值,並提供分析結果及/或一些類型之內容提示給顯示引擎155。系統100可以包括兩種類型之影像產生器280。第一種類型之影像產生器280(例如,處理器單元110和GPU 130)可以為其所產生之多個影像層(「第一影像層」)產生多個內容提示,並將該多個第一影像層之多個像素值及該多個第一影像層各自之內容提示儲存於記憶體單元140中。第二種類型之影像產生器280(例如相機220
和多媒體解碼器230),可能無法為其所產生之多個影像層(「第二影像層」)產生多個內容提示,或者至少一些類型之內容提示。儘管圖中顯示了一個相機和一個多媒體解碼器,應當理解,系統100可以包括任意數量之相機和多媒體解碼器。第二種類型之影像產生器280也將多個第二影像層之像素值儲存於記憶體單元140中。該多個第二影像層之該多個內容提示或至少一些類型之內容提示,可以由顯示引擎155根據分析器210之分析結果來產生。也可以是由分析器210產生一些類型之內容提示。系統100可以包括額外之影像產生器,這些額外之影像產生器不產生至少一些類型之內容提示。
在一實施例中,對於沒有內容提示或至少一些類型之內容提示之影像層,分析器210可以產生缺少之內容提示,並將這些內容提示進行儲存,以用於後續自身之使用。舉例而言,若一給定影像層從畫面N至畫面(N+1)沒有改變,則分析器210從畫面N之該給定影像層所產生之該多個內容提示(例如,透明度提示和恒定提示)可以用於畫面(N+1)(即,下一畫面)。顯示引擎155也可以為系統100中之其它組件儲存多個內容提示,以實施這些其它組件之多種操作。
在一實施例中,對於沒有內容提示或者至少一些類型之內容提示之影像層,分析器210可以產生缺少之內容提示,並將這些內容提示提供給顯示引擎155。舉例而言,分析器210從畫面N之一給定影像層所產生之該多個內容提示(例如,變化提示和恒定提示)可以用於統一畫面N。分析器210也可以為系統100中之其它組件儲存多個內容提示,以實施這
些其它組件之多種操作。
為了為一影像層之一區域產生一內容提示,顯示引擎155首先從記憶體單元140(例如,一畫面緩衝器240)中獲取該影像層之該區域之多個像素值。根據分析器210所產生之分析結果,分析器210或顯示引擎155為該影像層之該區域產生一內容提示。若在下一畫面中沒有對該影像層進行更新,則可以用於從一當前畫面之整個影像層所產生之該多個內容提示,以減少對該下一畫面之該影像層之記憶體存取。若在下一畫面中之該影像層有所更新,則顯示引擎155可以使用多個影像層間之不同類型之內容提示之組合來減少記憶體存取,如第4D圖之實施例所示。
在一實施例中,待顯示之影像層可以被儲存在記憶體單元140中之畫面緩衝器240中,且與這些影像層有關之該多個內容提示可以被儲存於記憶體單元140中之一內容提示緩衝器250中。根據該多個內容提示,顯示引擎155可以從畫面緩衝器240中獲取所需之每個影像層之多個像素值,以及組合器151可以使用這些像素資料產生一混合影像。儘管僅顯示了一個畫面緩衝器與一個內容提示緩衝器,應當理解,記憶體單元140可以包括用於儲存多個影像層之任意數量之畫面緩衝器,及用於儲存多個內容提示之任意數量之內容提示緩衝器。在一些實施例中,該多個影像層及其各自之內容提示可以儲存於記憶體單元140中之同一緩衝器。
接下來,請理解,「獲取一記憶體層之一區域」與「獲取一記憶體層」分別指「獲取一記憶體層之一區域之多個
像素值」與「獲取一記憶體層之多個像素值」。此外,若第一影像層之第一區域與第二影像層之第二區域在一作為結果之混合畫面中占據相同位置,則該第一影像層之該第一區域「共位(co-located)」於該第二影像層之該第二區域。因此,第二影像層之第二區域可以稱為該第一影像層之該第一區域之一「共位區域(co-located region)」。另外,若該第一影像層在作為結果之混合畫面中位於該第二影像層之上,則該第二影像層之該共位區域(即該第二區域)也稱為直接位於第一影像層之該第一區域之後。
如上所述,一種類型之內容提示為透明度提示。透明度提示是一個值,例如,值為1指示不透明(opaqueness)、值為0指示透明(transparency),以及介於0和1之間之值指示半透明度(translucency)。當一給定影像層之一區域之透明度提示指示該區域為一不透光區域,則顯示引擎155可跳過獲取直接位於該給定影像層之該不透明區域後面之影像層之該共位區域之多個像素值。若在該給定影像層之後存在多個影像層,則顯示引擎155可跳過獲取該多個影像層中每個影像層之共位區域之像素值。
另一種類型之內容提示為變化提示。當一給定影像層之一區域之該變化提示指示在畫面N上該區域為無變化(non-dirty),意味著畫面N之給定影像層之該區域之像素值與畫面(N-1)(即前一畫面)之給定影像層之該區域之像素值相同。因此,對於儲存於記憶體中或用於其它處理或分析(例如,運動估計與圖像品質處理)之作為結果之混合畫面,若所有共
位區域均為無變化,或多個內容提示之組合指示這種可能性,則顯示引擎155可跳過獲取該給定影像層之該無變化區域。當一給定影像層之一區域之變化提示指示該區域在畫面N為有變化(dirty),意味著畫面N之該給定影像層之該區域之至少一像素值與畫面(N-1)之該給定影像層之該區域之像素值不同。相應地,顯示引擎155無法跳過獲取畫面N之該給定影像層之該區域。
另有一種類型之內容提示為恒定提示。當一畫面之一給定影像層之一區域之該恒定提示指示一恒定區域,意味著該給定影像層之該區域中之多個像素值相同。因此,顯示引擎155可以為每個區域獲取一個像素值,並跳過獲取該給定影像層之該區域中之其它像素值。相反,當一給定影像層之一區域之恒定提示指示一非恒定區域時,意味著該給定影像層之該區域中之多個像素值不同。
請注意,在一些實施例中,多種類型之內容提示可以被儲存以用於每個影像層之每個區域。舉例而言,一影像層之一給定區域之該內容提示可以記錄透明度提示、變化提示及恒定提示之任意組合。在一實施例中,可以透過使用多種類型之內容提示之組合,來決定是否獲取一畫面中之任意影像層之任意區域。
第3A圖為根據本發明一實施例之多個影像層及其各自內容提示之舉例示意圖。在該實施例中,存在三個影像層,包括影像層310、影像層320及影像層330。應當理解,可以使用與多個內容提示及影像合成(image composition)有關之
任意數量之影像層。影像層310為頂層(topmost)影像層,影像層330為底層(bottom)影像層。如第3A圖所示,影像層310、320和330中之每個方塊代表一個區域。影像層310、320和330(更具體地,這些影像層之像素值)可以儲存於畫面緩衝器240中。
內容提示310A、320A和330A分別與影像層310、320和330有關。如第3A圖所示,內容提示310A、320A和330A中之每個方塊分別代表一區域之內容提示,這些區域分別對應於影像層310、320和330之各個區域。內容提示310A、320A和330A(更具體地,各影像層310、320和330之多個內容提示值)可以儲存於內容提示緩衝器250中。可選擇地,對於分析器210或顯示引擎155所產生之至少一內容提示,也可以內部存儲於分析器210或顯示引擎155之中,以備分析210或顯示引擎155之立即使用。
第3B圖為根據本發明一實施例之三個影像層310、320和330之合成示意圖。在本實施例中,多個內容提示中只顯示了透明度提示。在從記憶體單元140中獲取一影像層以形成一混合畫面之前,顯示引擎155可以獲取已儲存之透明度提示以決定是否可以跳過從記憶體單元140中獲取該影像層之一個或多個區域。該決定可以根據該影像層之每個區域之透明度提示而作出。
在一實施例之情形下,頂層影像層310之區域RA1(由相鄰之兩個區域組成)之透明度提示指示這些區域RA1為不透明區域。因此,區域RA1之像素值可以完全覆寫(overwrite)影像層320和330之共位區域RB1和RC1,其中,影像層320和330
直接位於影像層310之後。相應地,顯示引擎155在產生混合影像時可以跳過從記憶體單元140中對區域RB1和RC1之記憶體存取,因而減少了所需之記憶體帶寬。
在另一實施例之情形下,頂部兩影像層310和320之區域RA2和RB2之透明度提示指示區域RA2與RB2為透明區域。這意味著在作為結果之混合畫面中可以允許不產生區域RA2和RB2之影像內容。相應地,顯示引擎155可以跳過從記憶體單元140中對區域RA2和RB2之記憶體存取,因而可以減少所需之記憶體帶寬。
以下說明關注於第二類影像產生器,這類影像產生器為其所產生之多個影像層不產生至少一些類型之內容提示。在下文中,透明度提示作為內容提示之一非限制性實施例,該內容提示不是由第二類影像產生器所產生。
在一實施例中,當從記憶體中獲取該影像層之後,顯示引擎155可為當前畫面中之一影像層產生多個透明度提示。若該影像層在下一畫面中未被更新,則同一透明度提示可以用於為下一畫面中之影像層減少記憶體存取。若下一畫面中之影像層僅在少數區域內有所更新,則為當前畫面中之該影像層所產生之透明度提示可以用於減少對無變化(即:未被更新)區域之記憶體存取。與下一畫面中之該影像層之一給定區域有關之變化提示指示在下一畫面中之該給定區域是否存在更新。因此,當前畫面之透明度提示可以與下一畫面之變化提示結合使用,以便顯示引擎155為每個影像層決定是否跳過獲取下一畫面中該影像層之一些像素值。
第4A圖至第4D圖為使用多個內容提示(特別是,透明度提示及/或變化提示)來減少記憶體帶寬之一實施例之示意圖。此處所使用之「記憶體帶寬減少」可以使用「記憶體存取減少」來相互替換。第4A圖顯示三個相互重疊之影像層:Layer-1(頂層)、Layer-2和Layer-3(背景/底層),這三個影像層將被重疊以形成一混合畫面。對於以下作為舉例之包括六個畫面之一序列(sequence),Layer-1中之95%之區域為透明區域(由第4B圖之表410中之「T」所指示),Layer-2中80%之區域為透明區域,Layer-2中15%之區域為不透明區域(由表410中之「O」所指示),以及Layer-3沒有透明區域。為了簡化說明,在本實施例中,每個影像層中透明區域和不透明區域之各自所占百分比在六個畫面中保持不變。
第4B圖為表410之示意圖,表410顯示當顯示引擎155所產生之透明度提示與第4A圖之實施例結合使用時之記憶體帶寬(BW)減少。通常,當一影像層被更新時,顯示引擎155接收一信號(例如,從軟體子系統),該信號即層更新(Layer Update)信號。該信號指示該影像層中之至少一個像素值發生改變。如前所述,顯示引擎155所產生之透明度提示具有一個畫面之延遲,這是因為顯示引擎155需要獲取畫面N之一影像層以計算該影像層之該透明度提示。然後,從畫面N之該影像層計算得到之該透明度提示被準備好,以便有機會減少畫面(N+1)上之記憶體帶寬。第4B-4D圖分別顯示Layer-1每間隔一畫面更新一次、Layer-2在畫面1和畫面5有更新、以及Layer-3只在畫面1有更新之場景。該影像層之透明度提示被準備好,
以用於對該影像層進行更新後之一個畫面,並可繼續被使用直至該影像層再次發生更新。
在一實施例中,顯示引擎155產生並使用透明度提示以減少記憶體存取,第4B圖之表410顯示,對於Layer-1,透明度提示在畫面2、4和6處被準備好(Layer-1被更新後之一個畫面)。Layer-1之多個透明度提示指示Layer-1之95%是透明的,0%是不透明的。由於透明區域之緣故,Layer-1在畫面2、4和6處之記憶體帶寬為一完整層存取之5%。對於Layer-2,透明度提示在畫面2、3、4和6處被準備好(在Layer-2更新後至少一個畫面)。Layer-2之這些透明度提示指示Layer-2之80%是透明的,15%是不透明的。由於透明區域的緣故,Layer-2在畫面2、3、4和6處之記憶體帶寬為一完整層存取之20%。對於Layer-3,其透明度提示在畫面2-6處被準備好(在Layer-3更新後至少一個畫面)。Layer-3之透明度提示指示Layer-3之0%為透明的,0%是不透明的。由於Layer-2在畫面2、3、4和6處之透明度提示顯示Layer-2中15%之區域為不透明,因此,Layer-3在畫面2、3、4和6處之記憶體帶寬為一完整層存取之85%。
第4C圖為表420之示意圖,表420顯示當變化提示與第4A圖之實施例結合使用時之記憶體帶寬減少。在本實施例中,需要顯示引擎155只更新作為結果之混合畫面之變化區域。變化提示可以由軟體(例如,第2圖中之分析器210)或其它影像產生器(例如,第2圖中之GPU 130)來產生。相較于顯示引擎155所產生之透明度提示,在畫面N進行更新之一影像層之變化提示可以在畫面N即準備好被使用。與表410有關之上述
層更新(Layer Update)信號僅指示一完整影像層中至少一像素值被更新。變化提示在一影像層之一區域之水平上具有較精細之間隔尺寸(granularity)。舉例而言,對於畫面3和5處之Layer-1,變化提示指示Layer-1中只有3%之區域被更新。對於畫面5處之Layer-2,變化提示指示Layer-2中只有10%之區域被更新。在該實施例中,假設透明度提示未被使用或者不可使用。因而,當一影像層之一區域被更新時,需要獲取所有其它影像層中之各個共位區域以形成一混合畫面。舉例而言,在畫面4處,Layer-1有3%之更新,Layer-2有10%之更新。畫面4之三個影像層,每個有(3%+10%=13%)之記憶體存取,意味著各個影像層中13%之區域需要記憶體存取。相較於對每個影像層之100%完整層存取,這是一顯著減少。
第4D圖為表430之示意圖,表430顯示當透明度提示和變化提示與第4A圖之實施例結合使用時之記憶體帶寬減少。可以看出,假設在本實施例中Layer-2中10%之更新落入Layer-1之透明區域內下,在畫面5處,顯示引擎155只需要存取Layer-1之3%。因此,使用透明度提示和變化提示可以進一步減少記憶體存取。
當產生一混合畫面時,顯示引擎155可使用可用之資訊以決定是否獲取或跳過對每個影像層之每個區域之記憶體存取。一混合畫面可以包括具有各個影像產生器所產生之多個內容提示之一個或多個影像層、具有顯示引擎155所產生之多個內容提示之一個或多個影像層、及/或具有分析器210所產生之多個內容提示之一個或多個影像層。顯示引擎155和分析
器210可以補充缺少之內容提示或非影像產生器所產生之多種類型之內容提示,以及顯示引擎155結合不同之內容提示以減少記憶體存取。
第5圖為適用於一裝置之產生混合畫面之方法500之流程圖。每個混合畫面由多個影像層所組成,且每個影像層由多個區域組成。在一實施例中,方法500可以由一處理系統來執行,如第1圖之系統100。在一實施例中,方法500可以由第1圖之顯示引擎155來執行。在方法500中,用語「顯示引擎所產生之內容提示」意味著包括顯示引擎155及/或分析器210所產生之內容提示。
方法500一開始可以以顯示引擎155從一記憶體中獲取一當前畫面中之一給定影像層(步驟510)。當該給定影像層之一產生器無法產生該內容提示時,顯示引擎155或分析器210為該當前畫面中之該給定影像層之每個區域產生一內容提示。至少基於顯示硬體155(即顯示引擎)為當前畫面中之該給定影像層所產生之內容提示,顯示引擎155作出決定結果,以決定是否跳過存取記憶體以獲取緊隨當前畫面後之下一畫面中每個影像層之每個區域(步驟520)。根據該決定結果,顯示引擎155為該下一畫面存取記憶體(步驟530)。
第5圖之流程圖之操作已結合第1圖之實施例進行說明。然而,應當理解,第5圖之流程圖之多個操作可以透過本發明之多個實施例(第1圖所討論之實施例除外)來實施,而結合第1圖所討論之實施例可以執行之操作與第5圖之流程圖所執行之操作不同。雖然第5圖之流程圖顯示本發明某些實
施例所執行之操作之特定順序,應當理解,該順序僅為較佳舉例說明(例如,多個實施例變形可以以不同順序來執行這些操作,將某些操作進行組合,或者重疊某些操作,等)。
此處記載了多種功能組件或區塊,所屬領域具有通常知識者能夠了解,這些功能模組較佳地可以透過多種電路來實施(例如,專屬電路,或者通用電路,運作在一個或多個處理器及編碼指令之控制下),這些功能模組通常包含多個電晶體,這些電晶體進行配置以根據此處所述多種功能及操作來控制電路之操作。
雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何所屬領域具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為准。
100‧‧‧系統
110‧‧‧處理單元
130‧‧‧GPU
140‧‧‧記憶體單元
155‧‧‧顯示引擎
210‧‧‧分析器
220‧‧‧相機
230‧‧‧多媒體解碼器
240‧‧‧畫面緩衝器
250‧‧‧內容提示緩衝器
280‧‧‧影像產生器
Claims (11)
- 一種圖形處理裝置,用以產生多個混合畫面,每個混合畫面包含多個影像層,且每個影像層包含多個區域,該圖形處理裝置包含:影像產生電路,包含多個影像產生器,該多個影像產生器用以產生該多個影像層;一記憶體,用以儲存該多個影像層;以及顯示硬體,耦接於該影像產生電路與該記憶體,該顯示硬體可執行以下操作:從該記憶體中獲取一目前畫面中之一給定影像層;至少基於為該目前畫面中之該給定影像層而在該顯示硬體上所產生之至少一內容提示,來決定是否跳過存取該記憶體以獲取緊隨該目前畫面之下一畫面中每個影像層之每個區域;以及根據一決定結果,為該下一畫面而存取該記憶體。
- 根據申請專利範圍第1項之圖形處理裝置,其中,至少部分基於該顯示硬體所接收之一指示,該顯示硬體***作以跳過存取該記憶體,其中該指示表示該下一畫面中之該給定影像層相較於該目前畫面無更新。
- 根據申請專利範圍第1項之圖形處理裝置,其中,每個影像層之每個區域之一內容提示包含一透明度提示,該透明度提示指示該影像層之該區域之透明度或不透明度。
- 根據申請專利範圍第3項之圖形處理裝置,其中,根據該顯示硬體所產生之該透明度提示,該顯示硬體***作以跳過 為該下一畫面中之該給定影像層之一給定區域而存取該記憶體,其中,該透明度提示指示該目前畫面中之該給定影像層之該給定區域是透明的。
- 根據申請專利範圍第3項之圖形處理裝置,其中,根據該顯示硬體所產生之該透明度提示,該顯示硬體***作以跳過為該下一畫面中之一下一影像層之一共位區域而存取該記憶體,其中,該透明度提示指示在該目前畫面中之該給定影像層之該給定區域是不透明的,其中,該下一影像層之該共位區域直接位於該給定影像層之該給定區域之後面。
- 根據申請專利範圍第1項之圖形處理裝置,其中,每個影像層之每個區域進一步使用一變化提示來描述,該變化提示指示該下一畫面中每個影像層之每個區域相較于該目前畫面是否有所更新。
- 根據申請專利範圍第6項之圖形處理裝置,其中,基於每個影像層之每個區域之一透明度提示和該變化提示中之一個或全部,該顯示硬體***作以跳過存取該記憶體,其中,該透明度提示由該顯示硬體之一顯示硬體所產生。
- 根據申請專利範圍第1項之圖形處理裝置,其中,每個影像層之每個區域進一步使用一恒定提示來描述,其中,該恒定提示指示該下一畫面中之每個影像層之每個區域是否包含跨越一整個區域之恒定像素值。
- 根據申請專利範圍第1項之圖形處理裝置,其中,基於該顯示硬體所產生之該至少一內容提示及軟體所產生之其它內容提示,該顯示硬體***作以跳過存取該記憶體。
- 根據申請專利範圍第1項之圖形處理裝置,其中,該顯示硬體***作以儲存該至少一內容提示,以使得該至少一內容提示可用於該裝置中之該顯示硬體及其它硬體組件之後續使用。
- 根據申請專利範圍第1項之圖形處理裝置,其進一步包括:一分析器,耦接於該顯示硬體,當該給定影像層之一產生器不產生該內容提示時,該分析器***作以分析該多個影像層之多個像素值,以產生該目前畫面中之該給定影像層之每個區域之一內容提示。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662366647P | 2016-07-26 | 2016-07-26 | |
US62/366,647 | 2016-07-26 | ||
US15/630,252 | 2017-06-22 | ||
US15/630,252 US20170287106A1 (en) | 2015-05-05 | 2017-06-22 | Graphics system and method for generating a blended image using content hints |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201804431A TW201804431A (zh) | 2018-02-01 |
TWI618029B true TWI618029B (zh) | 2018-03-11 |
Family
ID=61127638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106124312A TWI618029B (zh) | 2016-07-26 | 2017-07-20 | 圖形處理裝置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107657598A (zh) |
TW (1) | TWI618029B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021072626A1 (en) * | 2019-10-15 | 2021-04-22 | Qualcomm Incorporated | Methods and apparatus to facilitate regional processing of images for under-display device displays |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201347554A (zh) * | 2012-03-20 | 2013-11-16 | Samsung Electronics Co Ltd | 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 |
TW201505424A (zh) * | 2013-07-17 | 2015-02-01 | Thomson Licensing | 將影像序列的可調串流表示解碼之方法及裝置與對應之編碼方法及裝置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050162435A1 (en) * | 2004-01-22 | 2005-07-28 | Electronic Arts Inc. | Image rendering with multi-level Z-buffers |
US8018472B2 (en) * | 2006-06-08 | 2011-09-13 | Qualcomm Incorporated | Blending multiple display layers |
KR101611913B1 (ko) * | 2009-12-18 | 2016-04-14 | 엘지디스플레이 주식회사 | 액정 표시 장치의 로컬 디밍 구동 방법 및 장치 |
US9058522B2 (en) * | 2013-03-15 | 2015-06-16 | Arris Technology, Inc. | Logo presence detection based on blending characteristics |
GB2517185B (en) * | 2013-08-14 | 2020-03-04 | Advanced Risc Mach Ltd | Graphics tile compositing control |
-
2017
- 2017-07-20 TW TW106124312A patent/TWI618029B/zh not_active IP Right Cessation
- 2017-07-21 CN CN201710598737.1A patent/CN107657598A/zh not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201347554A (zh) * | 2012-03-20 | 2013-11-16 | Samsung Electronics Co Ltd | 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 |
TW201505424A (zh) * | 2013-07-17 | 2015-02-01 | Thomson Licensing | 將影像序列的可調串流表示解碼之方法及裝置與對應之編碼方法及裝置 |
Also Published As
Publication number | Publication date |
---|---|
CN107657598A (zh) | 2018-02-02 |
TW201804431A (zh) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160328871A1 (en) | Graphics system and associated method for displaying blended image having overlay image layers | |
CN109547662B (zh) | 非模态视频和静态帧捕获 | |
US20170287106A1 (en) | Graphics system and method for generating a blended image using content hints | |
US9883137B2 (en) | Updating regions for display based on video decoding mode | |
US20150193906A1 (en) | Method and device for generating graphical user interface (gui) for displaying | |
CN110036628B (zh) | 动态配置用于图像产生的存储器带宽 | |
US8711170B2 (en) | Edge alphas for image translation | |
US11790583B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN112804410A (zh) | 多显示屏同步显示方法及装置、视频处理设备和存储介质 | |
US8711173B2 (en) | Reproducible dither-noise injection | |
TWI618029B (zh) | 圖形處理裝置 | |
JP5707402B2 (ja) | 画面合成装置及び画面合成方法 | |
US10152295B2 (en) | Methods for displaying image data in a computer system supporting multiple displays | |
JP6783362B2 (ja) | 映像処理装置及びその映像処理方法 | |
TW201812692A (zh) | 為由多個訊框組成的圖像資料生成髒資訊的方法及圖形系統 | |
KR101102171B1 (ko) | 캐스케이딩된 메모리들을 활용하여 처리 성능들을 평가하기 위한 미디어 캡쳐 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체 | |
CN109214977B (zh) | 图像处理装置及其控制方法 | |
US9241144B2 (en) | Panorama picture scrolling | |
US20170039676A1 (en) | Graphics system and associated method for generating dirtiness information in image having multiple frames | |
CN108124195B (zh) | 一种多层图像复合处理方法、装置及显示*** | |
WO2021035643A1 (zh) | 监视图像生成方法、装置、设备和***、图像处理设备 | |
US9934550B2 (en) | Method and device for composing a multilayer video image | |
TWI428017B (zh) | 用於管理第一儲存單元與第二儲存單元的方法及視頻播放裝置 | |
JP2007298796A (ja) | Osdデータ処理システム、プロジェクタおよびosdデータ処理方法 | |
KR20130091104A (ko) | 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 비디오 디코딩 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |