TWI843642B - 圖像處理器執行的操作方法 - Google Patents

Abstract

提供一種圖像處理器執行的操作方法，包含以下操作：接收包含輸入圖像和第一螢幕顯示圖案的混合圖像；以及基於混合圖像產生不同於第一螢幕顯示圖案的第二螢幕顯示圖案。第二螢幕顯示圖案包含輸入圖像的多個保護區域，以及保護區域緊鄰第一螢幕顯示圖案。操作方法更包含對輸入圖像的不同於保護區域的多個其餘區域執行圖像處理的操作以及產生輸出圖像的操作。輸出圖像包含第二螢幕顯示圖案和被執行圖像處理的輸入圖像的其餘區域。

Description

圖像處理器執行的操作方法

本揭示案是關於圖像處理器執行的操作方法。更具體地，本揭示案是關於一種涉及圖像處理的經優化之螢幕顯示（on-screen-display，OSD）解析度的圖像處理器執行的操作方法。

現有的螢幕顯示位元不是非常準確，原因在於這些OSD位元被設計成以區塊為單位運作，這可能導致圖像處理中的一些問題。OSD位元的低精準度造成使用者介面邊緣的不必要的保護，一旦背景經過圖像處理，就會產生不自然和不連續的區域。此外，由於是區塊採樣，有可能會失去一些小的使用者介面元素。如複數的伽馬函數（igamma）、串接卷積編碼-解碼(concatenating convolutional encoder-decoder，CCE)、超解析度成像（Super-resolution imaging，SR）、三維查找表（3D LUT）等方法就需要像素等級的精準度，而失去OSD資料或產生冗餘的OSD資料可能導致嚴重的誤差。

本揭示案提供一種圖像處理器執行的操作方法，包含以下操作：接收包含輸入圖像和第一螢幕顯示圖案的混合圖像；以及基於混合圖像產生不同於第一螢幕顯示圖案的第二螢幕顯示圖案。第二螢幕顯示圖案包含輸入圖像的多個保護區域，以及保護區域緊鄰第一螢幕顯示圖案。操作方法更包含對輸入圖像的不同於保護區域的多個其餘區域執行圖像處理的操作以及產生輸出圖像的操作。輸出圖像包含第二螢幕顯示圖案和被執行圖像處理的輸入圖像的其餘區域。

應該理解的是，透過實例來說明前述的一般描述和以下的詳細描述，以及這些描述的目的是為了進一步解釋本揭示案的專利要求。

現在將詳細參考本揭示案的當前實施例，其示例在附圖中示出。只要有可能，在附圖和說明書中使用相同的附圖標記來指代相同或相似的部分。

現在參考第1圖。第1圖的電子裝置10包含應用處理器（application processor，AP）110和圖像處理器120。在一些實施例中，應用處理器110用以透過混合螢幕顯示（OSD）圖案、經設計的中間層和輸入影像的圖像來產生混合圖像（mixed images），並且進一步將混合圖像提供給圖像處理器120。圖像處理器120用以基於與OSD圖案及融合圖像（blending images）相關聯的經分析的OSD圖產生輸出圖像以包含逐像素（pixel-wise）的OSD圖案，其中OSD圖案與融合圖像是根據混合圖像解碼而產生。由於OSD圖案逐像素的準確性，其可應用於廣泛的圖像處理效果保護的場景，與缺乏相同精準度的替代方法相比具有顯著優勢。

現在參考第2圖。第2圖是根據本揭示案的一些實施例的對應於第1圖的電子裝置10的操作方法20的流程圖的示意圖。應當理解，對於該方法的另外的實施例，可以在第2圖所示的過程之前、期間和之後提供另外的操作，並且可以替換或消除下面描述的一些操作。操作/過程的順序可以互換。在各種視圖和說明性實施例中，相同的附圖標記用於表示相同的元件。操作方法20包含以下參考第1圖和第3圖至第10圖的電子裝置10描述的部分210和220。

根據一些實施例，在部分210中，電子裝置10的應用處理器110透過在操作214之中將初始OSD圖案（initial OSD pattern）211及輸入圖像213與中間層212融合來產生混合圖像215。換句話說，混合圖像215包含初始OSD圖案211和輸入圖像213。

例如，如第3圖所示，其示出了根據本揭示案的一些實施例對應於第2圖的操作方法20中的操作214的示意圖，由OSD圖案資料211a和阿爾法通道（alpha channel）資料211b融合的初始OSD圖案211進一步與中間層212的圖像資料及輸入圖像213的圖像資料組合，以取得混合圖像215。在一些實施例中，初始OSD圖案211包含覆蓋在輸入圖像213上的使用者介面（user interface，UI）資訊，並且也被稱為UI層。

在一些實施例中，OSD圖案資料211a和輸入圖像213中的每一者都包含顏色通道的資料（例如紅色（R）、綠色（G）和藍色（B））。阿爾法通道資料211b用於透過灰階值定義透明度。中間層212也包含阿爾法通道資料和顏色通道資料。因此，在具有RGB通道的混合圖像215的一些實施例中，混合圖像215中的每個像素的一個顏色通道的像素值由下面的等式（1）表示: …（1） 其中 對應於輸入圖像213中一個相應像素的一個顏色通道的值， 對應於中間層212中一個相應像素的一個顏色通道的值， 對應於中間層212中一個相應像素的阿爾法通道的阿爾法值（alpha value）， 對應於初始OSD圖案211中一個相應像素的一個顏色通道的值，以及 對應於初始OSD圖案211中一個相應像素的阿爾法通道的阿爾法值。

所給出的顏色通道的配置是為說明的目的。各種實現的配置都在本揭示案的預期範圍內。例如，在一些實施例中，色彩模型可以包含CMYK（C（Cyan）青色、M（Magenta）品紅色、Y（Yellow）黃色和B（Black）黑色）模型、HSV（H（Hue）色調、S（Saturation）飽和度和V（Value）值）模型、YUV（Y（Luminance）亮度和U和V（兩個色度（chrominance）分量））或其他合適的色彩模型。

現在參考第4圖至第5圖。根據本揭示案的一些實施例，第4圖是輸入圖像413的示意圖，第5圖是混合圖像415的示意圖。在一些實施例中，輸入圖像413相對於例如輸入圖像213來配置，混合圖像415相對於例如混合圖像215來配置。

說明而言，混合圖像415包含OSD圖案411、中間層412以及輸入圖像413，中間層412包含由點（dots）示意性符號化的參考點。

在產生混合圖像之後，再次參考第2圖，在部分220中，圖像處理器120接收混合圖像215（例如，第5圖中的混合圖像415）並產生原始OSD映像222和融合圖像223。

具體而言，在操作221中，圖像處理器120解碼混合圖像215以提取OSD資訊和彩色圖像資訊。例如，圖像處理器120調整阿爾法值 使其在等式（1）中具有值（例如，「1」），並且每個像素的像素值表示如下: 其中 對應於原始OSD映像222中一個對應像素的值（例如，第8圖示意性示出了基於混合圖像415產生的原始OSD映像822）。

在一些實施例中，如第6圖所示，示出了原始OSD映像222的一部分，原始OSD映像222包含多個區塊601，每個區塊601由8個像素組成，長度為4個像素，寬度為2個像素。根據一些實施例，一個區塊601中的參考像素611（位於一個區塊601的左上（LT ））的像素值（例如，L_ROSD）包含OSD資訊，並表示同一區塊601中的其他像素612的OSD資訊。換句話說，區塊601中的其餘像素612擁有與參考像素611相同的像素值。需注意的是，區塊內的所有像素共同擁有相同的阿爾法值。說明而言，當混合圖像415中具有與參考像素611相同的像素座標的像素在OSD圖案（例如，OSD圖案411）內時，參考像素611的一位元（1-bit）像素值可以是「1」。因此，整個區塊601被渲染為「亮的」，如第8圖的各種實施例中呈現的原始OSD映像822所描繪。相反地，當混合圖像415中的像素在OSD圖案之外時，參考像素611的一位元像素值可以是「0」。因此，整個區塊601被渲染為「暗的」，如第8圖所示。

此外，圖像處理器120調整阿爾法值 以在等式（1）中具有零值，並且每個像素的像素值表示如下: 其中 對應於融合圖像223（例如，基於混合圖像415產生的第9圖的融合圖像823）中的一個顏色通道的像素值。在一些實施例中，不包含OSD資訊（即， 等於0）的融合圖像223中的區域具有與輸入圖像213中的對應區域相同的像素值。例如，參考第4圖和第9圖，輸入圖像413中的對應區域和融合圖像823中不包含OSD資訊的區域具有相同的像素值。

再次參考第2圖，在操作224中，圖像處理器120進一步基於原始OSD映像222和融合圖像223產生精細OSD映像225。在一些實施例中，將融合圖像223中正被驗證的像素的像素值與原始OSD映像222中的相鄰區塊（例如，六個區塊）中的像素的像素值進行比較，以便為在精細OSD映像225中具有相同像素座標的像素產生值，該些相鄰區塊中的像素在融合圖像223中將被驗證的像素的周圍並且對應於原始OSD映像222中的參考像素。在一些實施例中，精細OSD映像225中具有非零值的像素指示融合圖像223中具有相同像素座標的像素屬於精細OSD圖案（例如，第10圖示意性地示出了基於混合圖像415產生的精細OSD映像825）。

具體來說，例如，參考示出了融合圖像223的一部分的第7圖，位於每個區塊701的最左上方的像素被稱為參考像素，並且關鍵像素（圈起來的像素）711-714經由原始OSD映像222識別為屬於OSD圖案（例如，OSD圖案411）。在一些實施例中，原始OSD映像222中的關鍵像素711-714的像素值是「1」，而原始OSD映像222中的非關鍵像素（無被圈的像素）715-716的像素值是「0」。

圖像處理器120基於兩個規則來識別該像素是否屬於OSD圖案。在一些實施例中，融合圖像223（和/或混合圖像215）中滿足規則的像素具有相似的顏色。第一規則指示關鍵像素的像素值的最大值與非關鍵像素的像素值的最大值之間的差值在自適應範圍（adaptive range）內，例如，小於預定值（例如，220。）第二規則指示關鍵像素711-714的像素值的最大值與正被驗證的像素（例如，像素721）的像素值之間的差在自適應範圍內，例如，小於關鍵像素的像素值的最大值和非關鍵像素的像素值的最大值的一半。

例如，如第7圖所示，關於第一規則，圖像處理器120比較關鍵像素711-714的像素值的最大值和非關鍵像素715-716的像素值的最大值以取得差值。關鍵像素711-714的像素值的最大值和非關鍵像素715-716的像素值的最大值之間的差值等於110（即，關鍵像素714的像素值「120」減去非關鍵像素715的像素值「10」），其小於預定值「220」。因此，滿足了第一條規則。

關於第二規則，關鍵像素711-714的像素值的最大值是120，非關鍵像素715-716的像素值的最大值是10。關鍵像素711-714的像素值的最大值（即「120」）與像素721的像素值（即「100」）之差值等於20，此差值小於關鍵像素711-714的像素值的最大值與非關鍵像素715-716的像素值的最大值之差的一半（即「55」）。因此，滿足了第二條規則。

基於以上討論，當像素721的像素值滿足第一和第二規則時，像素721被驗證為包含在OSD圖案中。因此，與像素721相對應的在精細OSD映像225中的像素具有非零值，並且被渲染為「亮的」，如第9圖中呈現的精細OSD映像225的各種實施例中所示。換句話說，精細OSD映像225指示融合圖像223中的像素位置，其中融合圖像223中的該些像素的像素值與關鍵像素711-714的最大像素值之間的差值在自我調整範圍內。

此外，在一些實施例中，如第9圖和第10圖所示，利用本揭示案的配置，緊鄰OSD圖案411並且具有與OSD圖案411相似的顏色的像素（例如，字母「S」周圍的像素）被識別為屬於OSD圖案並且被稱為保護區域。相反，對於不滿足第一規則和第二規則的像素被稱為其餘區域。例如，當最大值與像素721的像素值之間的差值超出自適應範圍時，例如，大於關鍵像素711-714和非關鍵像素715-716的像素值之間的最大差和最小差的一半。像素721屬於其餘區域。

自適應範圍的配置是為說明的目的而提供。各種實施方案都在本揭示案的預期範圍內。

在取得精細OSD映像225之後，圖像處理器120執行操作226以基於融合圖像223和精細OSD映像225產生包含保護區域的精細OSD圖案，並進一步執行操作227以對融合圖像223的其餘區域執行圖像處理以產生輸出圖像228。在一些實施例中，執行圖像處理包含對其餘區域執行顏色改變處理。在不同實施例中，圖像處理包含圖像風格化、顏色校正、圖像過濾或其他合適的處理。

例如，參考第9圖至第11圖，根據第9圖的融合圖像823和第10圖的精細OSD映像825，產生包含在第11圖的輸出圖像828中的精細OSD圖案829。在一些實施例中，精細OSD圖案829不同於OSD圖案411。在不同實施例中，包含在精細OSD圖案829中的像素的數量不同於包含在OSD圖案411中的像素的數量。

具體而言，如第11圖中說明性地示出的，精細OSD圖案829包含OSD圖案411和與OSD圖案411的一部分非常接近的保護區域830。包含在精細OSD圖案829中的像素的數量大於包含在OSD圖案411中的像素的數量。在第11圖中，保護區域830被OSD圖案411包圍。保護區域830的像素的像素值與融合圖像823中具有相同像素座標的像素的像素值相同。在輸入圖像413中的對應區域和融合圖像823中不包含具有相同像素值的OSD資訊的區域的實施例中，保護區域830的像素的像素值與輸入圖像413中具有相同像素座標的像素的像素值相同。換句話說，輸入圖像413的對應於保護區域830的一些區域被「保護」，並且其圖像資料被保留在輸出圖像828中。

在一些實施例中，輸出圖像828包含由圖像處理執行的其餘區域831。如第9圖和第11圖所示，除了對應於精細OSD圖案829的區域之外，第9圖中的其餘區域變暗，並且在第11圖中顯現為其餘區域831。

在一些方法中，傳輸使用者介面（UI）資訊包含OSD（螢幕顯示）資訊，這些OSD資訊被整合到4×2區塊中。這種整合方法並不是很準確，因為只要在4x2區塊的左上角有UI資訊，就會標記其餘的7個點亦具有UI資訊。此外，用於整合的採樣方法於每4x2區塊僅執行一次，如此可能會忽略微細的UI資訊。因此，其餘的7個點是基於OSD左上角是否存在UI來確定的，這導致有很高的可能性產生冗餘資料或造成資訊遺失。

與一些方法相比，本揭示案涉及優化OSD映像並將其與彩色圖（例如，輸入圖像）融合。透過利用原始OSD映像的區塊的左上角包含準確的OSD資訊這一事實並比較彩色圖像資料，每個像素都由對應於OSD圖案的相鄰關鍵像素來驗證，因此提供了具有優良準確性的逐像素OSD圖案。

儘管已經參照本揭示案的某些實施例相當詳細地描述了本揭示案，但是亦有其他可能的實施例。因此，所附專利範圍的精神和範圍不應限於本文包含的實施例的描述。

對於本領域通常知識技術人員來說，顯而易見的是，在不脫離本揭示案的範圍或精神的情況下，可以對本揭示案的結構進行各種修改和變化。鑒於前述內容，本揭示案旨在涵蓋落入以下專利範圍內之本揭示案的修改和變化。

10:電子裝置 110:應用處理器 120:圖像處理器 20:操作方法 210:部分 211:初始OSD圖案 211a:OSD圖案資料 211b:阿爾法通道資料 212:中間層 213:輸入圖像 214:操作 215:混合圖像 220:部分 221:操作 222:原始OSD映像 223:融合圖像 224:操作 225:精細OSD映像 226:操作 227:操作 411:OSD圖案 412:中間層 413:輸入圖像 415:混合圖像 601:區塊 611:參考像素 612:像素 701:區塊 711-714:關鍵像素 715-716:非關鍵像素 721:像素 822:原始OSD映像 823:融合圖像 825:精細OSD映像 828:輸出圖像 829:精細OSD圖案 830:保護區域 831:其餘區域

為讓本揭示之上述和其他目的、特徵、優點與實施例能夠更明顯易懂，所附圖式之說明如下： 第1圖是根據本揭示案的一些實施例的採用螢幕顯示（on screen display，OSD）技術的電子裝置的示意圖。 第2圖是根據本揭示案的一些實施例的對應於第1圖的電子裝置的操作方法的流程圖的示意圖。 第3圖是根據本揭示案的一些實施例的對應於第2圖的操作方法中的操作的示意圖。 第4圖是根據本揭示案的一些實施例的輸入圖像的示意圖。 第5圖是根據本揭示案的一些實施例的混合圖像的示意圖。 第6圖繪示根據本揭示案的一些實施例的原始OSD映像（raw OSD map）的一部分。 第7圖繪示根據本揭示案的一些實施例的混合圖像的一部分。 第8圖是根據本揭示案的一些實施例的原始OSD映像的示意圖。 第9圖是根據本揭示案的一些實施例的混合圖像的示意圖。 第10圖是根據本揭示案的一些實施例的精細OSD映像（refined OSD map）的示意圖。 第11圖是根據本揭示案的一些實施例的輸出圖像的示意圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

20:操作方法

210:部分

211:初始OSD圖案

212:中間層

213:輸入圖像

214:操作

215:混合圖像

220:部分

221:操作

222:原始OSD映像

223:融合圖像

224:操作

225:精細OSD映像

226:操作

227:操作

228:輸出圖像

Claims (15)

1. 一種圖像處理器執行的操作方法，包含： 接收包含一輸入圖像和一第一螢幕顯示圖案的一混合圖像； 基於該混合圖像產生不同於該第一螢幕顯示圖案的一第二螢幕顯示圖案，其中該第二螢幕顯示圖案包含該輸入圖像的複數個保護區域，其中該些保護區域緊鄰該第一螢幕顯示圖案； 對該輸入圖像的不同於該些保護區域的複數個其餘區域執行一圖像處理；以及 產生一輸出圖像，其中該輸出圖像包含該第二螢幕顯示圖案和被執行該圖像處理的該輸入圖像的該些其餘區域。
2. 如請求項1所述之操作方法，其中該輸出圖像中的該第二螢幕顯示圖案包含該第一螢幕顯示圖案，並且該輸出圖像中的該些保護區域被該輸出圖像中的該第一螢幕顯示圖案包圍。
3. 如請求項1所述之操作方法，其中該些保護區域中的複數個第一像素值與該第一螢幕顯示圖案中的複數個第二像素值的一最大值之間的複數個差值在一自適應範圍內。
4. 如請求項3所述之操作方法，其中該些其餘區域中的複數個第三像素值與該第一螢幕顯示圖案中的該些第二像素值中的該最大值之間的複數個差值在該自適應範圍之外。
5. 如請求項3所述之操作方法，其中具有該些第一像素值的複數個第一像素和具有該些第二像素值的複數個第二像素被包含在複數個區塊中，其中該些第二像素中的每一者被佈置在該些區塊中相應的一者的一角落中。
6. 如請求項1所述之操作方法，其中該輸入圖像的該些保護區域的複數個像素值和該輸出圖像的該些保護區域的複數個像素值相同。
7. 如請求項1所述之操作方法，其中包含在該第二螢幕顯示圖案中的複數個像素的一數量不同於包含在該第一螢幕顯示圖案中的複數個像素的一數量。
8. 如請求項7所述之操作方法，其中包含在該第二螢幕顯示圖案中的該些像素的該數量大於包含在該第一螢幕顯示圖案中的該些像素的該數量。
9. 如請求項1所述之操作方法，其中對該些其餘區域執行該圖像處理包含： 對該些其餘區域進行一變色處理。
10. 如請求項1所述之操作方法，其中該些保護區域中的複數個第一像素值與該第一螢幕顯示圖案中的複數個第二像素值之間的複數個第一差值小於該些其餘區域中的複數個第三像素值與該第一螢幕顯示圖案中的該些個第二像素值之間的複數個第二差值。
11. 如請求項1所述之操作方法，進一步包含： 基於該混合圖像產生一第一螢幕顯示映像和一融合圖像；以及 基於該第一螢幕顯示映像的複數個第一像素值和該融合圖像的複數個第二像素值產生一第二螢幕顯示映像， 其中產生該第二螢幕顯示圖案包含基於該第二螢幕顯示映像和該融合圖像產生該第二螢幕顯示圖案。
12. 如請求項11所述之操作方法，其中該第二螢幕顯示映像指示該融合圖像中該些第二像素值和該些第一像素值中的一最大值之間的複數個差值在一自適應範圍內的複數個像素的位置。
13. 如請求項11所述之操作方法，其中產生該第一螢幕顯示映像和該融合圖像包含： 透過將該混合圖像中的複數個第三像素值中的複數個阿爾法值調整為具有一第一值來產生該第一螢幕顯示映像，以及 透過調整該些阿爾法值以具有不同於該第一值的一第二值來產生該融合圖像。
14. 如請求項11所述之操作方法，其中產生該第二螢幕顯示映像包含： 將複數個第一像素值的一第一部分的一最大值與該些第一像素值的一第二部分的一最大值進行比較，以取得一第一差值， 其中該些第一像素值的該第一部分對應於該第一螢幕顯示映像中的複數個關鍵像素，並且該些第一像素值的該第二部分對應於該第一螢幕顯示映像中的複數個非關鍵像素； 將該第一差值與一第一預定值進行比較； 將一第二預定值與一第二差值進行比較，其中該第二差值是該些第一像素值的該第一部分的該最大值和對應於在該融合圖像中一正被驗證像素的該些第二像素值中的一者之間的差值；以及 響應於比較，產生該第二螢幕顯示映像的複數個第三像素值。
15. 如請求項14所述之操作方法，其中該第二預定值等於該第一差值的一半。