TWI626841B - 具有減少色彩解析度的視訊流之自適應處理 - Google Patents

具有減少色彩解析度的視訊流之自適應處理 Download PDF

Info

Publication number
TWI626841B
TWI626841B TW104105893A TW104105893A TWI626841B TW I626841 B TWI626841 B TW I626841B TW 104105893 A TW104105893 A TW 104105893A TW 104105893 A TW104105893 A TW 104105893A TW I626841 B TWI626841 B TW I626841B
Authority
TW
Taiwan
Prior art keywords
pixels
component
digital image
luminance component
reordering
Prior art date
Application number
TW104105893A
Other languages
English (en)
Other versions
TW201540045A (zh
Inventor
勞倫斯 亞倫 湯普森
Original Assignee
美商萊迪思半導體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商萊迪思半導體公司 filed Critical 美商萊迪思半導體公司
Publication of TW201540045A publication Critical patent/TW201540045A/zh
Application granted granted Critical
Publication of TWI626841B publication Critical patent/TWI626841B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在此說明一具有減少色彩解析度之自適應處理數位影像之方法。一來源裝置藉由重新對映視訊框之亮度分量與色度分量來預先處理具有減少色彩解析度之一視訊框，並編碼該預先處理之視訊框。來源裝置將視訊框之一掃描線上之一半之亮度分量重新對映至一來源線之資料通道至一編碼器，並將該掃描線上該視訊框之另一半亮度分量重新對映至該來源線之另一資料通道。該來源裝置將該對應之色度分量重新對映至一來源線之一第三資料通道。藉由同樣方式地使用一資料通道去傳輸色度分量，該解析度使一視訊編/解碼器(codec)，不需在編碼前轉換該數位影像至全彩解析度，能自適應編碼一具有減少色彩解析度之數位影像。

Description

具有減少色彩解析度的視訊流之自適應處理
本發明之實施例大體上係有關於數位媒體之內容處理的領域，特定而言係有關於具有減少色彩解析度的視訊流之自適應處理。
在現代數位語音/視訊介面系統中透過一視訊通道傳輸視訊資料一般來說是受到一些儲存與傳輸的限制，例如：網路頻寬。為提供高解析度視訊內容，正發展新的電視與視訊格式。然而，因為對支援高資料率(data rate)的需求，這樣的發展帶出語音/視訊介面標準的新挑戰。視訊壓縮工具(也稱為視訊編/解碼器(video codecs))，例如編碼器與解碼器，通常使用在語音/視訊介面標準以藉由壓縮視訊資料之訊號來減少傳輸於一語音/視訊通道上之資料率。
另一資料減量技術是藉由色度子取樣(chroma subsampling)去減少視訊資料之訊號中比亮度(明亮)資訊低的色度(色彩)資訊之解析度。色度子取樣的範例包含YCbCr色彩空間的4：2：2與4：2：0。色度子取樣在編碼視訊資料之訊號時使用較全色度解析度(例如：4：4：4取樣比例)視訊資料之訊號更少之位元，在維持可接受之視覺品質時使視訊傳輸更有效率。然而，目前已存在的視訊壓縮編/解碼器之編碼程序通常只接受在全解析度(例如：4：4：4抽樣比例)上之視訊資料訊號。換言之，若一視訊訊號使用其他取樣比例，例如：4：2：2或4：2：0，該訊號在編碼前必須轉換至4：4：4，如此可能會增加計算複雜度與效能延遲。
在此描述一種在一視訊介面環境(video interface environment)中自適應處理一具有減少色彩解析度之數位影像之方法，例如：在YCbCr色彩空間的4：2：0子取樣比例。藉由一般配置以使用一資料通道去傳輸色度像素，該解決方法使一視訊編/解碼器，不需在編碼前轉換該數位影像至全彩解析度，能自適應編碼一具有減少色彩解析度之數位影像。
上述解決方法之一來源裝置藉由重新對映視訊框之亮度分量與 色度分量來預先處理具有減少色彩解析度之一視訊框，並編碼該預先處理之視訊框。在一實施例中，該來源裝置具有一預先處理模組與一編碼器。預先處理模組將視訊框分成多重子畫面並重新對映視訊框之每一子畫面內之色度分量與亮度分量。舉例而言，預先處理模組將在視訊框之一子畫面之一掃描線上之亮度分量重新對映至一編碼器之一資料通道，並將在掃描線上之另一半亮度分量重新對映至編碼器之另一資料通道。來源裝置將對應之色度分量重新對映至編碼器之一第三資料通道。
上述解決方法之一接收裝置(sink device)隨後處理一具減少色彩解析度之一已編碼視訊框。在一實施例中，接收裝置具有一解碼器與一後處理模組。該後處理模組接收已解碼視訊框並根據資料結構之重新對映方式重新對映該已解碼視訊框之亮度分量與色度分量。依據該重新對映，該後處理重建一具有適當格式化之減少色彩解析度視訊框。
100‧‧‧來源裝置
102‧‧‧影像來源
104‧‧‧預先處理模組
105‧‧‧接收裝置
106‧‧‧編碼器
108‧‧‧資料傳輸通道
110‧‧‧解碼器
112‧‧‧後處理模組
114‧‧‧顯示模組
202‧‧‧4：2：0格式化影像/視訊框
204‧‧‧4：2：0格式化影像/視訊框
302‧‧‧視訊框
304a-304h‧‧‧子畫面
410a‧‧‧線0
410b‧‧‧線1
410c‧‧‧線2
410d‧‧‧線3
420a‧‧‧來源線0
420b‧‧‧來源線1
420c‧‧‧來源線2
510-570‧‧‧步驟
602‧‧‧子畫面
604‧‧‧子畫面
810-870‧‧‧步驟
本發明各種實施例藉由實例所闡明，而非用以限制本發明。後附圖示中之圖片如標號，係指類似之元件。
方塊圖一係根據一實施例闡明一視訊介面環境。
方塊圖二係根據一實施例闡明一視訊介面環境具有以4：2：0取樣比例格式之輸入資料。
方塊圖三係根據一實施例闡明一視訊介面框分為多個子畫面。
圖四A闡明在預先處理前一視訊框之亮度分量。
圖四B係根據一實施例闡明在預先處理後，已闡明於圖四A視訊框之亮度分量。
圖五係根據一實施例闡明在一接收裝置上對於後處理一視訊框像素之亮度分量與色度分量之一方法流程圖。
圖六係根據一實施例顯示一視訊框之對應之色度分量後處理之一範例。
圖七係根據一實施例顯示一資料結構之一範例，該資料結構呈現一具有預先處理之亮度分量與對應之色度分量。
圖八係根據一實施例闡明在一來源裝置上對於一視訊框像素之預先處理亮度分量與色度分量之一方法流程圖。
本發明提供一方法允許只接受全彩解析度視訊，例如：4：4：4取樣比例，之一視訊壓縮編/解碼器，去處理具有減少色彩解析度之視訊，例如：4：2：0取樣比例。本發明實施例藉由將該視訊框像素之亮度與色度分量重新對映至一壓縮編碼器之三個輸入通道上，在視訊框每一部分內重新對映之前維持該色度與亮度分量空間關係，來預先處理一4：2：0取樣視訊框。
在此所使用之“網路”或“通訊網路”意指在使用任何各式技術，例如串線ATA(Serial ATA,SATA)、訊框資訊結構(Frame Information Structure,FIS)等，於各裝置間用以傳遞數位媒體內容(包括音樂、語音/視訊、遊戲、照片/圖片，與其他)之互連網。一網路包含一區域網路(Local Area Network,LAN)、廣域網路(Wide Area Network,WAN)、都會區域網路(Metropolitan Area Network,MAN)、內部網路，網際網路等。在一網路內，某些網路裝置可為媒體內容之一來源，例如一數位電視調諧器(digital television tuner)、纜線式機上盒(cable set-top box)、手持裝置(例如：個人數位助理(personal device assistant,PDA)、視訊儲存伺服器、和其他來源裝置。這類裝置在此歸類為“來源裝置(source devices)”或“傳輸裝置(transmitting devices)”。其他裝置可接收、顯示、使用、或儲存媒體內容，例如一數位電視、家用劇場系統、遊戲系統、視訊與語音儲存伺服器，諸如此類。此類裝置在此歸類為“接收裝置(sink devices or receiving devices)”。
在此所使用之一“視訊介面環境”指的是一環境包含耦合至一視訊通道之一來源裝置與一接收裝置。一視訊介面環境之一例係為一高畫質多媒體介面(High-Definition Multimedia Interface,HDMI)，在HDMI環境，一來源裝置(例如一DVD撥放器)係配置以根據在一HDMI通道上或一MHL3通道上而提供根據HDMI協定編碼之媒體內容至一來源裝置(例如電視或其他顯示器)。
應注意的是，一些裝置可執行多重媒體功能，例如一纜線式機上盒，其可以作為一接收器(從一纜線頭尾端接受資訊)以及作為一傳輸器(傳輸資訊至一電視)，反之亦然。在一些實施例中，來源裝置與接收裝置可共同置於一單一區域網路。在其他實施例中，這些裝置可跨越多重網路段，例如藉由在區域網路間穿隧之方式。應注意，雖然預先處理具有減少色彩解析度之一視訊框與後處理該視訊框係在此敘述於一視訊介面環境之內容中，在此描述之預先處理與後處理技術仍可應用於在一來源裝置與一接受裝置間的其他資料轉換類 型，例如在一網路環境內之網路資料，諸如此類。
圖一係根據一實施例闡明一視訊介面環境之方塊圖。圖一所述之環境包含一來源裝置100，藉由一資料傳輸通道108耦合至一接收裝置105。來源裝置100包含一影像來源102、一預先處理模組104以及一編碼器106。接收裝置包含一後處理模組112以及一顯示模組114。圖一之環境之其他實施例能包含與在此闡明不同的及/或附加的元件。舉例而言，資料傳輸通道108能為視訊之任一適合類型或通訊通道，例如一HDMI通道、一MHL3通道或其他串聯式通道。
該影像來源102可以為一非暫態電腦可讀取儲存媒體，例如一記憶體，加以配置以儲存一或多個視訊及/或數位影像，用來傳輸至接收裝置105。影像來源102也能加以配置以存取儲存於來源裝置100外部之視訊。舉例而言，藉由網際網路或一些其他類型之網路，從一外部視訊伺服器通信地耦合至來源裝置100。在此處所揭露之“數位內容”或“數位媒體內容”，一般來說係指為任何機器可讀取與機器可儲存之事物。數位內容能包含，舉例而言，視訊、語音或一語音與視訊之組合。可替代地，數位內容可為一靜態影像，例如一JPEG或GIF或一文字檔案。為了簡化與說明一實施例，來自影像來源102之數位內容將以一“視訊”或“視訊檔案”為代表，而並非限制能加以處理之數位內容型態之專門用語。因此，在此描述用以預先處理與後處理一視訊框像素之操作，能加以應用至任一數位內容之類型，包括視訊與其他數位內容之合適類型例如語音檔案(例如：音樂、廣播、語音書，諸如此類)。
預先處理模組104從影像來源102接收在YCbCr色彩空間上具有全彩解析度(例如：4：4：4取樣比例)或減少色彩解析度(例如：4：2：0取樣比例)之一輸入視訊框。對於具有減少色彩解析度之該視訊框，預先處理模組104根據一資料結構之重新排序方式，重新排序視訊框之亮度與色度像素，將視訊框之亮度與色度像素重新對映至編碼器106之三個輸入通道。編碼器106編碼已預先處理視訊框，且只接受具有全彩解析度4：4：4子取樣比例之視訊框。下圖二、圖四A、圖四B、圖五以及圖六進一步說明預先處理模組104。
編碼器106係配置以編碼已經由預先處理模組104預先處理過之視訊框。在一實施例中，編碼器106只接受以4：4：4子取樣比例之全彩解析度視訊框。編碼器106可具有一記憶體或儲存媒體，配置以緩衝部分或全部視訊框， 其中視訊框由編碼器106所編碼。編碼器106能執行任何合適型態之編碼，舉例而言，編碼意圖去減少傳輸視訊框之品質，例如視訊電子標準協會(Video Electronics Standards Association,VESA)的顯示串流壓縮標準(Display Stream Compression,DSC)及其他諸如此類，編碼意圖去保護視訊資料免於非法複製或截取，例如高畫質內容保護(High-Definition Content Protection,HDCP)及其他諸如此類，或是以上兩種之任意組合。編碼器106之實施例可以使用任何已知於此領域中之一般技術之視訊壓縮方案，包含，舉例而言，離散餘弦轉換(Discrete Cosine Transform,DCT)、小波轉換(wavelet transform)、量化(quantization)，以及熵編碼(entropy encoding)。編碼器106根據一語音/視訊介面協定，例如：一HDMI協定，加以配置以傳輸已編碼視訊資料，通過傳輸通道108，傳送至接收裝置105之解碼器110。
解碼器係配置以用來解碼從編碼器106接收之一已編碼視訊框。在一實施例中，解碼器110可以具有一記憶體或儲存媒體，用來配置以緩衝部分或全部視訊框，其中視訊框由解碼器110所解碼。解碼器110所執行之解碼過程係為由編碼器106所執行編碼過程之每一階段之反向(除了在有損壓縮(lossy compression)之量化階段(quantization stage))。舉例而言，解碼器110執行逆DCT/小波轉換、逆量化以及熵解碼，以解碼一已編碼框來重建原來輸入視訊框。對於另一例來說，相對於編碼器106根據該VESA/DSC編碼標準來編碼視訊框，解碼器110根據VESA/DSC編碼標準執行解碼程序。
後處理模組112從解碼器110接收一已解碼視訊框並判定是否去重組該已解碼視訊框之像素。為響應一已解碼之具有減少色彩解析度視訊框，後處理模組112執行與預先處理模組104相同之動作一但以反向之順序。舉例而言，後處理模組112在傳輸視訊框之像素至顯示模組114之前，根據一資料結構之重新排序方式，重新排序視訊框之像素。
顯示模組114係配置以用來顯示後處理模組112所處理之視訊框。可替代地，顯示模組能儲存從後處理模組112所接收之視訊框，或能輸出視訊框至(舉例而言)一外部顯示器、儲存器或裝置(例如一手機裝置)。
圖二係根據一實施例闡明一視訊介面環境具有以4：2：0取樣比例格式化輸入資料之方塊圖。圖二之環境包含藉由一傳輸通道108耦合至一接收裝置105之一來源裝置100。來源裝置100包括一預先處理模組104與一編碼器 106。接收裝置105包含一視訊解碼器110與一後處理模組112。來源裝置100接收一4：2：0格式影像/視訊框202，例如：具有以4：2：0子取樣比例之一減少色彩的解析解析度之一視訊串流之一視訊框，預先處理視訊框並編碼視訊框。已編碼視訊框係通過傳輸通道108傳輸至接收裝置105。接收裝置105解碼所接收之視訊框並後處理已解碼框，以重建一4：2：0格式化視訊框204以顯示。
以4：2：0子取樣比例格式之該視訊框202具有多重數量之像素，其視訊框之大小為解析度所決定。視訊框202之每一像素由一亮度訊號和色度訊號所組成。注意到，亮度訊號較色度訊號更顯著地重要，所以能使用較低解析度的色度訊號去達成更有效的資料減量。在圖二中闡明之實施例，在一像素之亮度與色度訊號之間的子取樣比例係儲存在三個資料通道Y、Cb以及Cr之Y：Cb：Cr格式中，其中Y代表亮度訊號而Cb與Cr代表色度訊號。4：2：0子取樣比例指出色度訊號(由Cb與Cr表示)對照於亮度訊號具有一一半水平解析度以及一一半垂直解析度。
預先處理模組104接收4：2：0格式化視訊框202，將亮度像素與色度像素分開並重新對映亮度像素與色度像素至三個像素資料通道，也就是通道1、通道2以及通道3。預先處理模組104能使用任何已知關於色彩空間轉換與將像素之亮度訊號分離自像素之色度訊號之技術。現有方法之一視訊壓縮編/解碼器方法正常來說接受在Y、Cb、Cr格式中以4：4：4子取樣比例之視訊資料，其中編/解碼器將亮度像素對應至Y通道，色度Cb像素映至Cb通道，以及色度Cr映至Cr通道。為了使編碼器106去編碼4：2：0格式視訊框，預先處理模組104將亮度像素重新對映至兩資料通道與將色度資訊(Cb與Cr)重新對映至第三通道，並以資料結構(代表已預先處理視訊框)所定義之一特定順序，來表示重新排序之像素之亮度與色度分量(如下圖七所顯示)。
編碼器106接收由預先處理模組104預先處理之視訊框202，編碼視訊框202並傳輸已編碼視訊框經過傳輸通道108至接收裝置105。解碼器110解碼已接收之視訊框，接著傳送已解碼視訊框至該後處理模組112，根據從來源裝置100所接收並重新排序之資料結構，重建一4：2：0格式化視訊框204以顯示。
一視訊框之像素在掃描線上之Y、Cr，與Cb資料通道具有一以位置為依據的相對空間關係，定義了一像素位置相對於視訊框的其他像素位 置。為了編碼一4：2：0格式視訊框，預先處理模組104在重新排序像素後，保存了像素間的原始空間關係。在一實施例中，預先處理模組104將一視訊框分為多重的子畫面，其中每一個子畫面皆為視訊框之一部分。圖三係根據一實施例闡明一視訊框分為許多相等大小子畫面之方塊圖。預先處理模組104將視訊框302分為四個子畫面，304a-304h。每一子畫面有一具多重像素之矩型框且每一子畫面在預先處理及後處理時係獨立於其他子畫面。子畫面的數量及子畫面之大小可為配置所設定，換言之，不同實施例依圖三所闡明方式，可能有不同數目之子畫面與其不同的大小。為了編碼一4：2：0格式化視訊框，預先處理模組104將每一個子畫面內之4：2：0格式化視訊框重新對映至三個輸入通道到達編碼器106，並在重新排序每一子畫面之像素後保存像素之原始空間關係。
圖四A闡明預先處理前之一視訊框之亮度分量。在圖四A，水平亮度分量之解析度(Y分量)以參數h代表分量的數量。圖四A顯示Y分量的四線，線0(410a)、線1(410b)、線2(410c)，線3(410d)。在每一線之該Y分量根據一掃描光柵視訊框之一掃描線來固定位置，所以在掃描線上第一個分量係為Y0，掃描線上最後一個分量為Yh-1。
圖四B係根據一實施例闡明在預先處理後，已闡明於圖四A視訊框之亮度分量。在圖四B之例子顯示三來源線，420a、420b、420c，其中每一列對映至兩個編碼處理通道，Y通道與Cb通道，以用來輸入Y分量之掃描線(顯示於圖四A)至一編碼器，例如：圖二之編碼器106。預先處理模組104將掃描線上Y分量之一半對映至一編碼器之Y處理輸入，一半對映至一編碼器之一Cb通道輸入。如圖4A顯示之全部水平解析度，每一個資料通道有一半水平解析度。舉例而言，假設在圖4B之來源線420a係為了輸入圖4A線410a之Y分量，預先處理模組104將在線410a左半部Y分量(也就是分量Y0至Yh/2-1)對映至編碼器420a之Y通道，並將在線410a右半部Y分量(也就是分量Y2/h至Yh)對映至編碼器420a之Cb通道。預先處理模組104將掃描線上Y分量***成兩個串流而沒有改變一子畫面範圍內兩個串流中每一個分量之相對空間位置。在對映後，掃描線上Y分量中原始空間關係維持著Y分量之每一半。預先處理模組104同樣地對映至Y分量的其他線，例如：Y分量之410b線對映至來源線420b與Y分量之410c線對映至來源線420c。
為了對映一視訊框之一子畫面之對應色度分量至一資料通道，預 先處理模組104使用一來源線之一第三資料通道。Cb與Cr分量代表色度分量，在一實施例中，預先處理模組104將色度分量之第一型態，例如：Cb分量，對映至一來源線之第三資料通道，並且將色度分量之第二型態，例如：Cr分量，對映至下一來源線之一第三資料通道。
圖六係根據一實施例顯示一視訊框之對應色度分量後處理之一範例。在圖六所闡明之範例顯示一視訊框之兩色度子畫面，子畫面602與子畫面604。每一個子畫面有一水平解析度與一垂直解析度，其為8-像素高(亦即具有8列像素分量)。如上所述，該子畫面之高度典型上地可程式化。色度分量被預先處理之兩子畫面之順序係從子畫面602之第一來源線(來源線0)至子畫面604之最後來源線(來源線15)。
如圖六所顯示，預先處理模組104重新排序所***之色度分量至八個連續線已用於的度分量之每一型態。舉例而言，所有***之Cb分量在一子畫面602重新排序，所有***之Cr分量同樣地在一子畫面604重新排序，如上所述，預先處理模組104從其他子畫面之處理獨立地產生每一子畫面。因為一子畫面內色度分量之所有線皆具有相通色度分量，例如，在子畫面內602所有Cb分量與在子畫面內604所有Cr分量，所以此獨立性可使在子畫面內色度分量之空間關係能保存。
圖七係根據一實施例顯示一視訊框像素具有已預先處理之亮度分量與對應之色度分量之範例。在圖七中之範例，Y分量代表之亮度分量係根據圖四B闡明之實施例加以預先處理；Cb與Cr分量代表之色度分量係根據圖六闡明之實施例加以預先處理。相似於圖六之該子畫面，在圖七之子畫面高度為8。預先處理模組104從第一個輸入視訊框之16線建立第一個兩子畫面之編碼器之通道1、2與3。對於第一個子畫面，在通道1之資料(也就是Y通道)來自於輸入線0至7之左半部，在通道2之資料(也就是Cb通道)來自於於該輸入列0至7之右半部。而在通道3之資料(也就是Cr通道)來自於輸入框之第一個前8個偶數色度線，且皆為Cb分量。對於第二個子畫面，在通道1之資料來自於輸入線8至15之左半部，在通道2之資料來自於於輸入線8至15之右半部。而在通道3之資料來自於輸入框之第一個前8個奇數之色度線，且皆為Cb分量。後處理器模組112執行與預先處理模組在此所描述之相同動作，但以反向之順序。
在圖七之範例具有三資料輸入單元。每一資料輸入單元具有三資料通道，Y通道、Cb通道以及Cr通道，以輸入預先處理模組104所重新排序之分量至一編碼器，例如：圖二中編碼器106。Cb通道依慣例地被設計用以輸入Cb色度成分，為預先處理模組104所使用，用來輸入在一掃描線上一第二半部Y分量，例如：來源線0之Cb通道。預先處理模組104重新對映對應之色度分量至一來源線之一第三資料通道，例如：來源線0之Cr通道與來源線2之Cr通道。預先處理模組104更跨過兩子畫面重新排序相同類型之色度像素，例如：在一子畫面之所有Cb分量與在其他子畫面所有Cr分量。
在一實施例中，預先處理模組104產生一資料結構以紀錄一4：2：0格式化視訊框像素之亮度與色度分量之重新排序。用於視訊框之資料結構可包含將一亮度分量之掃描線資訊對映至其對應亮度分量之來源線，例如：掃描線(0，Yleft-half)映至掃描線(0，Cb)。同樣地，用於視訊框之資料結構也可以包含將一色度分量之掃描線之資訊對於色度像素與色度分量之型態(例如：Cb像素或Cr分量)對映至其對映來源線。為因應視訊框分為子畫面以及在子畫面上執行重新對映，資料結構紀錄每個子畫面之重新排序資訊。紀錄對映之資料結構可以與已編碼視訊一起傳輸或藉由編碼器分開而傳輸至接收裝置105。
圖八係根據一實施例闡明在一來源裝置上對於一視訊框像素之預先處理亮度分量與色度分量之一方法之流程圖。首先，一來源裝置之一預先處理模組，例如：在圖二上來源裝置100之預先處理模組104，在步驟810中，接收一影像，例如：以4：2：0子取樣比例之一視訊框，並在步驟820中，提取視訊框之亮度訊號與色度訊號。在一實施例中，預先處理模組104可將視訊框分為多重子畫面並在多個單位之子畫面上處理視訊像素之亮度與色度分量。接收之視訊框之每一子畫面代表視訊框之一部份並具有以像素分量之數量來表示之一可配置高度。
在步驟830中，預先處理模組將在視訊框掃描線上亮度分量重新排序至一編碼器之兩資料通道。編碼器之兩個資料通道各接受原始來源線之一半亮度分量；其中一個資料通道包含在掃描線上另一半之亮度分量，資料通道慣例地加以使用以輸入色度分量，例如：對應之Cb分量，至一編碼器。
在步驟840中，預先處理模組也重新排序對映之色度分量。在一實施例中，當藉由群集同樣類型之色度成分，例如：Cb或Cr分量，至他們各自 的子畫面來維持在相關的掃描線上色度分量之原始空間關係，預先處理模組104將該色度分量重新對映至編碼器之一第三資料通道。在步驟850中，預先處理模組104產生一資料結構以記錄亮度成分與色度成分之重新排序資訊。資料結構能為框基(frame based)或子畫面基(subpicture based)。來源裝置之一編碼器，例如：圖二中之來源裝置106之編碼器106，在步驟860中，根據產生之資料結構編碼該框並傳輸已編碼框至一接收裝置，例如：圖二中之接收裝置105。
圖五係根據一實施例闡明在一接收裝置上對於後處理一視訊框像素之亮度分量與色度分量之一方法流程圖。首先，一來源裝置之解碼器，例如：在圖二中之接收裝置105之解碼器110，在步驟510中，從來源裝置接收一已編碼影像並在步驟520中解碼已接收之影像。將已解碼影樣之分量經由三資料通道傳輸至一後處理模組，例如：在圖二中後處理模組112。在步驟530中，後處理模組112擷取一資料結構，此資料結構係為亮度分量與色度分量之對映方式，在步驟540中，後處理模組112並從解碼器接收亮度分量與色度分量。
在步驟550中，後處理模組112根據接收之資料結構，重新排序映在解碼器之兩資料通道上亮度分量對映之一掃描線上一Y通道上之亮度分量。在步驟560中，後處理模組112重新排序在資料通道上對應之色度分量之兩色度線，一為Cb分量，一為Cr分量。在步驟570中，後處理模組112在重新排序後重建570該影像，其中重建影像係顯示為一適當的4：2：0格式。
對於上述實施例之先前描述已為闡明之目的而呈現出來；在此無意以精確形式揭露來概括而論或限制該實施例。在此相關領域之技術人員能領會依照上述揭露之許多的修正與延伸係為可行。
此說明一些部分以在資訊系統上操作之演算法或符號表示來描述實施例。這些演算法的描述與表示常見地使用於在該資料處理領域之技術，以有效率地傳達他們的工作本質至此領域之其他技術。這些操作，以功能地、運算地或邏輯地描述，藉由電腦程式或對等之電子電路、微指令(microcode)，諸如此類，可合理實施。此外，有時為了提供方便，將這些操作的安排模組化，而並不失去普及性。所描述之操作與它們相關的模組可加以實施在軟體上、韌體、硬體或其中任何組合。在此領域之其一尋常技術者將可知該硬體、所述模組之實施，包含至少一處理器與一記憶體，該記憶體包含用以執行所描述該模組功能之指令。
在此描述之任一步驟、操作或方法，可與一或多硬體或軟體模組，隨著其他裝置或與其他裝置組合，加以執行或實施。在一實施例中，一軟體模組與一電腦程式產品加以實施，該電腦程式包含一具有電腦程式碼之一電腦可讀取媒體，且能藉由一電腦處理器加以執行任何或所有步驟、操作，或所敘述之程序。
實施例也可對應到一裝置，用來執行在此之操作。該裝置可為所需之用途特別地建設，及/或應包含一通常用途之運算裝置，該運算裝置藉由一儲存在電腦裡之電腦程式選擇性地啟動或重新配置。此電腦程式應儲存在一非暫態、有形體電腦可讀取儲存媒體，或是任何合適之媒體總類，以儲存電子指令，而上述所提及之媒體可耦合至一電腦系統匯流排。此外，任何運算系統之規格應包含一單一處理器或可為一內部結構，該內部結構使用多重處理器設計來增加運算能力。
實施例也可對應至一產品，由在此敘述之一運算處理所生產。此一產品可包含一運算處理產生之資訊，該資訊可儲存在一非暫態、實體電腦可讀取儲存媒體並可包含一電腦程式產品之任何實施例或其他在此敘述之資料組合。
最後，使用在規格之語言基本上以可讀性與指導性的用途作為選擇，且不應選擇來描述或限制發明性的主體事實。本實施例之範圍不為在此敘述性之描述所限制，也不為在此應用之任何範圍所限制。因此，本實施例之揭露意圖在於說明而非限制。

Claims (18)

  1. 一種編碼一數位影像之方法，該方法包含：接收一複數個像素之該數位影像，其每一像素具有一亮度分量與兩個對應的色度分量；從該複數個像素中擷取亮度分量與色度分量；重新排序從該複數個像素中擷取的該亮度分量與重新排序從該複數個像素中擷取的該色度分量，其中重新排序該亮度分量與重新排序該色度分量之步驟包括：對於在該數位影像之每一掃描線上所接收之該複數個像素：從三個資料通道中之一第一資料通道上提供該亮度分量之第一半量，該三個資料通道是配置以傳輸該掃描線之該複數個像素之該亮度分量與該色度分量；從該三個資料通道中之一第二資料通道上提供該亮度分量之第二半量；以及從該三個資料通道中之一剩餘資料通道上提供該兩個對應的色度分量；以及依據亮度分量之重新排序與色度分量之重新排序，產生一資料結構以表示該數位影像。
  2. 如請求項1所述之編碼一數位影像之方法，更包含根據該資料結構以編碼該數位影像。
  3. 如請求項1所述之編碼一數位影像之方法，其中該複數個像素中之每一個係為一樣本格式，該像素之兩色度分量在水平和垂直方向以該像素之亮度分量之一半樣本率來取樣。
  4. 如請求項1所述之編碼一數位影像之方法，其中該數位影像之該複數個像素 以根據該複數個像素之一掃描線之一順序接收，而每一掃描線具有一預先決定之水平解析度。
  5. 如請求項1所述之編碼一數位影像之方法，其中該亮度分量之重新排序包含：對於在該數位影像之每一掃描線上所接收之該複數個像素：分離掃描線上該複數個像素之複數個亮度分量為兩部分，其中每一部分具有在該掃描線上該複數個像素之該複數個亮度分量之一半。
  6. 如請求項1所述之編碼一數位影像之方法，其中該數位影像係劃分為一複數個子畫面，每一子畫面具有該數位影像上對應至水平解析度之一局部水平解析度，且每一子畫面具有該數位影像上對應至垂直解析度之一局部垂直解析度。
  7. 如請求項1所述之編碼一數位影像之方法，其進一步包含在重新排序後，在一子畫面內維持每一像素分量之空間關係，使得該子畫面內之獨立像素分量之該空間關係與子畫面內對應之獨立分量之空間關係相等。
  8. 一種解碼一已編碼之數位影像之方法，該方法包含：接收一複數個像素之該已編碼數位影像，每一像素具有一亮度分量與兩個對應的色度分量；從該複數個像素中擷取亮度分量與色度分量；根據一資料結構敘述之一重新排序，以重新排序從該複數個像素中擷取的該亮度分量與重新排序從該複數個像素中擷取的該色度分量，其中重新排序該亮度分量與重新排序該色度分量之步驟包括：從三個資料通道中之兩個資料通道上提供該複數個像素之該亮度分量，該三個資料通道是配置以傳輸一掃描線之該複數個像素之該亮度分量與該色度分量，其中該兩個資料通道中之每一資料通道具有在該掃描線上之該複數個像素之該亮度分量之一半；以及 從該三個資料通道中之一剩餘資料通道上提供該兩個對應的色度分量；以及依據該數位影像之該複數個亮度分量與該複數個色度分量之該重新排序，重新建構一具有減少色彩解析度之一數位影像。
  9. 如請求項8所述之解碼一已編碼之數位影像之方法，其中該亮度分量之重新排序包含：根據該資料結構敘述之重新排序，重新排序在該掃描線上該所選擇的亮度分量。
  10. 一種非暫態電腦可讀取媒體，儲存可執行性電腦程式指令，以編碼一數位影像，該電腦程式指令包含執行時使得一電腦處理器：接收一複數個像素之該已編碼數位影像，每一像素具有一亮度分量與兩個對應的色度分量；從該複數個像素中擷取亮度分量與色度分量；重新排序從該複數個像素中擷取的該亮度分量與重新排序從該複數個像素中擷取的該色度分量，其中該電腦程式指令執行時使得該電腦處理器重新排序該亮度分量與該色度分量更包含指令以：對於在每一掃描線上所接收之該複數個像素：從三個資料通道中之一第一資料通道上提供該亮度分量之第一部分，該三個資料通道是配置以傳輸該掃描線之該複數個像素之該亮度分量與該色度分量；從該三個資料通道中之一第二資料通道上提供該亮度分量之第二部分；以及從該三個資料通道中之一剩餘資料通道上提供該兩個對應的色度分量；以及 依據亮度分量之重新排序與色度分量之重新排序，產生一資料結構以表現該數位影像。
  11. 如請求項10所述之電腦可讀取媒體，更包含電腦程式指令執行時使得一電腦處理器根據該資料結構以編碼該數位影像。
  12. 如請求項10所述之電腦可讀取媒體，其中該複數個像素中之每一個係為一樣本格式，該像素之兩色度分量在水平和垂直方向以該像素之亮度分量之一半樣本率來取樣。
  13. 如請求項10所述之電腦可讀取媒體，其中該數位影像之該複數個像素以根據該複數個像素之一掃描線之一順序接收，而每一掃描線具有一預先決定之水平解析度。
  14. 如請求項10所述之電腦可讀取媒體，其中該電腦程式指令係用來重新排序該亮度分量，該亮度分量包含該指令執行時使得一電腦處理器：對於在每一掃描線上所接收之該複數個像素：分離在掃描線上該像素之亮度分量為兩個部分，其中每一部分具有在該掃描線上該複數個像素之該複數個亮度分量之一半。
  15. 如請求項10所述之電腦可讀取媒體，其中該數位影像係劃分為一複數個子畫面，每一子畫面具有該數位影像上對應至水平解析度之一局部水平解析度，且每一子畫面具有該數位影像上對應至垂直解析度之一局部垂直解析度。
  16. 如請求項10所述之電腦可讀取媒體，其進一步包含電腦程式指令，用來在重新排序後，在一子畫面內維持每一像素分量之空間關係，使得該子畫面內之獨立像素分量之該空間關係與子畫面內對應之獨立分量之空間關係相等。
  17. 一種非暫態電腦可讀取媒體，儲存可執行性電腦程式指令，以解碼一已編碼之數位影像，該電腦程式指令包含執行時使得一電腦處理器：接收一複數個像素之該已編碼數位影像，每一像素具有一亮度分量與兩個對 應的色度分量；從該複數個像素中擷取亮度分量與色度分量；根據一資料結構敘述之一重新排序，以重新排序從該複數個像素中擷取的該亮度分量與重新排序從該複數個像素中擷取的該色度分量，其中用於重新排序該亮度分量與重新排序該色度分量的該電腦程式指令包含執行指令時使得該電腦處理器：從三個資料通道中之兩個資料通道上提供該複數個像素之該亮度分量，該三個資料通道是配置以傳輸一掃描線之該複數個像素之該亮度分量與該色度分量，其中該兩個資料通道中之每一資料通道具有在該掃描線上之該複數個像素之該亮度分量之一半；以及從該三個資料通道中之一剩餘資料通道上提供該兩個對應的色度分量；以及依據該數位影像之該複數個亮度分量與該複數個色度分量之該重新排序，重新建構一具有減少色彩解析度之數位影像。
  18. 如請求項17所述之電腦可讀取媒體，其中該電腦程式指令用來重新排序該亮度分量，包含執行時使得該電腦處理器：根據該資料結構敘述之重新排序方式，重新排序在掃描線上該所選擇的亮度分量。
TW104105893A 2014-02-21 2015-02-24 具有減少色彩解析度的視訊流之自適應處理 TWI626841B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461943267P 2014-02-21 2014-02-21
US61/943,267 2014-02-21

Publications (2)

Publication Number Publication Date
TW201540045A TW201540045A (zh) 2015-10-16
TWI626841B true TWI626841B (zh) 2018-06-11

Family

ID=53883525

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105893A TWI626841B (zh) 2014-02-21 2015-02-24 具有減少色彩解析度的視訊流之自適應處理

Country Status (4)

Country Link
US (1) US9699469B2 (zh)
CN (1) CN106031168B (zh)
TW (1) TWI626841B (zh)
WO (1) WO2015134198A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133712A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치
WO2018118925A1 (en) * 2016-12-19 2018-06-28 Modulus Media Systems, LLC Method for capturing and recording high definition video and audio output as broadcast by commercial streaming providers
US10861302B2 (en) * 2017-08-17 2020-12-08 Bossa Nova Robotics Ip, Inc. Robust motion filtering for real-time video surveillance
CN108897513B (zh) * 2018-07-11 2021-06-08 深圳市东微智能科技股份有限公司 分布式显示设备及其节点备份方案生成方法和装置
CN111756963B (zh) * 2019-03-29 2022-01-14 华为技术有限公司 图像摄取模组及电子终端
US20230186435A1 (en) * 2021-12-14 2023-06-15 Netflix, Inc. Techniques for component-based image preprocessing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133683A1 (en) * 2004-12-17 2006-06-22 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US20070036443A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US20070046684A1 (en) * 2005-08-23 2007-03-01 Eric Jeffrey Methods and Apparatus for Efficiently Accessing Reduced Color-Resolution Image Data
US20080159641A1 (en) * 2005-07-22 2008-07-03 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
TW201244490A (en) * 2011-03-08 2012-11-01 Qualcomm Inc Coding of transform coefficients for video coding

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440345A (en) * 1992-07-17 1995-08-08 Kabushiki Kaisha Toshiba High efficient encoding/decoding system
US6427025B1 (en) * 1992-08-14 2002-07-30 Canon Kabushiki Kaisha Image processing with selection between reversible and irreversible compression
KR940026915A (ko) * 1993-05-24 1994-12-10 오오가 노리오 디지탈 비디오신호 기록장치 및 재생장치 및 기록방법
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6563513B1 (en) * 2000-05-11 2003-05-13 Eastman Kodak Company Image processing method and apparatus for generating low resolution, low bit depth images
US6961063B1 (en) * 2000-06-30 2005-11-01 Intel Corporation Method and apparatus for improved memory management of video images
US6989837B2 (en) * 2002-12-16 2006-01-24 S3 Graphics Co., Ltd. System and method for processing memory with YCbCr 4:2:0 planar video data format
US8428349B2 (en) * 2003-05-21 2013-04-23 Broadcom Corporation Method and apparatus for DRAM 2D video word formatting
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7944423B2 (en) * 2004-07-01 2011-05-17 Sony Corporation Image processing unit with black-and-white line segment pattern detection, image processing method, image display device using such image processing unit, and electronic apparatus using such image display device
CN101589625B (zh) 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
JP5195032B2 (ja) * 2008-05-28 2013-05-08 富士通株式会社 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
US8363969B1 (en) * 2008-08-01 2013-01-29 Marvell International Ltd. Systems and methods for image coding and processing
US8180165B2 (en) * 2008-12-19 2012-05-15 Microsoft Corp. Accelerated screen codec
US8406569B2 (en) 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
JP2013021408A (ja) * 2011-07-07 2013-01-31 Sony Corp 信号送信装置、信号送信方法、信号受信装置、信号受信方法及び信号伝送システム
US9077943B2 (en) * 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133683A1 (en) * 2004-12-17 2006-06-22 Microsoft Corporation Reversible transform for lossy and lossless 2-D data compression
US20080159641A1 (en) * 2005-07-22 2008-07-03 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20070036443A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US20070046684A1 (en) * 2005-08-23 2007-03-01 Eric Jeffrey Methods and Apparatus for Efficiently Accessing Reduced Color-Resolution Image Data
TW201244490A (en) * 2011-03-08 2012-11-01 Qualcomm Inc Coding of transform coefficients for video coding

Also Published As

Publication number Publication date
TW201540045A (zh) 2015-10-16
US9699469B2 (en) 2017-07-04
CN106031168A (zh) 2016-10-12
US20150245042A1 (en) 2015-08-27
WO2015134198A1 (en) 2015-09-11
CN106031168B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
US11228754B2 (en) Hybrid graphics and pixel domain architecture for 360 degree video
CN108141505B (zh) 用于高位深医学灰度图像的压缩和解压缩方法
CN111316625B (zh) 用于从第一图像生成第二图像的方法和设备
US20170111661A1 (en) Method and system of video coding with post-processing indication
US11115691B2 (en) Custom data indicating nominal range of samples of media content
JP2012508485A (ja) Ｇｐｕ加速を伴うソフトウエアビデオトランスコーダ
JP2017184250A (ja) 係数圧縮を用いて復号するための装置及び方法
EP2892233A1 (en) Fitting RGB and transparency information into 24 bits of just RGB
US20170238003A1 (en) Method and apparatus for decoding a progressive jpeg image
USRE48740E1 (en) Adaptive processing of video streams with reduced color resolution
US8355057B2 (en) Joint scalar embedded graphics coding for color images
US20200269133A1 (en) Game and screen media content streaming architecture
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
CN106954073B (zh) 一种视频数据输入和输出方法、装置与***
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
KR20160020797A (ko) 고정 비트 레이트로 부화면 영상을 압축하는 부화면 처리 장치 및 방법
KR102113759B1 (ko) 다채널 부화면 처리장치 및 처리방법
KR20170032605A (ko) 영상 칼라성분 샘플링 위치 정보 전송을 통한 비디오 신호 복호화 방법 및 장치