TWI472232B - 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介 - Google Patents

利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介 Download PDF

Info

Publication number
TWI472232B
TWI472232B TW100121021A TW100121021A TWI472232B TW I472232 B TWI472232 B TW I472232B TW 100121021 A TW100121021 A TW 100121021A TW 100121021 A TW100121021 A TW 100121021A TW I472232 B TWI472232 B TW I472232B
Authority
TW
Taiwan
Prior art keywords
color
component
grayscale
video frame
video
Prior art date
Application number
TW100121021A
Other languages
English (en)
Other versions
TW201204059A (en
Inventor
Chein-I Chang
Yang Lang Chang
Han Jieh Chang
Original Assignee
Richwave Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Richwave Technology Corp filed Critical Richwave Technology Corp
Publication of TW201204059A publication Critical patent/TW201204059A/zh
Application granted granted Critical
Publication of TWI472232B publication Critical patent/TWI472232B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Description

利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介
本發明係有關於一種傳輸數位視訊的方法及其裝置，尤指一種在傳輸彩色數位視訊時，利用色彩解耦減少所需頻寬的方法及其裝置。
在先前技術中，彩色數位視訊畫面可用不同的色彩空間或色彩模型表示，例如使用紅綠藍(RGB)成分，色相(hue,H)、飽和度(saturation,S)及強度(Intensity,I)成分，或亮度(Y)和色度(UV/CbCr/PbPr)成分等。可根據設計限制或是在一色彩空間和另一色彩空間之間任意作為相對容易執行的轉換成分，選擇一個色彩空間。而彩色數位視訊畫面的像素可藉由相對應色彩空間的成分用數位數值表示之。在數位數值傳送至一顯示裝置之前，這些數位數值可先行做數位處理，例如量化或壓縮，然後封包進入動態影像壓縮標準(Motion Picture Experts Group,MPEG)傳送流裡。
特定的色彩空間(像是YUV色彩空間和HSI色彩空間)具有從它們的色彩成分(UV/HS)分離出來的灰階成分(Y/I)。當對彩色數位視訊畫面的像素作數位處理和採樣時，具有分離的灰階成分和色彩成分之色彩空間必須考慮人類的感知。因為當一螢幕或顯示裝置顯示一影像時，比起色彩成分，人類的大腦更為依賴灰階成分，或黑色與白色。
當從一照相機接收複數個色彩視訊畫面時，萃取對應於該複數個色彩視訊畫面的複數個灰階成分，以得到複數個灰階視訊畫面，以一第一傳輸速率傳輸該複數個灰階視訊畫面，週期性地將被選擇的複數個色彩視訊畫面中的複數個色彩成分和被選擇的複數個灰階視訊畫面融合，以得到被融合的複數個色彩視訊畫面，以及以一第二傳輸速率傳輸該被融合的複數個彩色視訊畫面時，穿插以該第一傳輸速率傳送的該複數個灰階視訊畫面。
請參照第1圖，第1圖係為說明數種色彩空間的示意圖。如第1圖所示，在彩色立方體100中，紅綠藍(RGB)色彩模型運用各種不同比例混和紅、綠、藍三原色，以合成出各種顏色，其中紅綠藍(RGB)色彩模型可應用在各式各樣的領域之中，但最常見的還是應用在彩色電視和電腦螢幕。可縮放以及標準化彩色立方體100，使其邊長範圍介於0與1間，例如(1,0,0)代表紅色、(0,1,0)代表綠色、(0,0,1)代表藍色、(0,0,0)代表黑色以及(1,1,1)係為白色。另外，在彩色立方體100中，代表灰階的細虛線從黑色(0,0,0)延伸至白色(1,1,1)。
當紅綠藍色彩模型中的紅、綠、藍三原色用數位化表示時，係用一組位元表示紅、綠、藍三原色從0至1的比例。例如，如果係用8位元表示紅、綠、藍三原色從0至1的比例，則0至1之間可分成256等份，以表示紅、綠、藍三原色中的每一色彩的比例。因為紅、綠、藍三原色中的每一色彩有256種可能性，所以當紅、綠、藍三原色組合在一起時，則可得出總數16,777,216種組合的數位色彩(2563)。另外，用以表示半8位元時，則0至1之間可分成127等份。如果係用16位元表示紅、綠、藍三原色從0至1的比例，則0至1之間可分成65535(216-1)等份，以表示紅、綠、藍三原色中的每一色彩的比例。另外，可基於人類的視覺以及紅、綠、藍三原色的加權平均，以計算出紅綠藍色彩的灰階。一般係根據30%的紅色、59%的綠色以及11%的藍色，計算紅綠藍色彩的灰階。此外，值得注意的是不同的縮放因子(scaling factor)和校正因子(correction factor)，例如伽馬校正因子γ，可被利用在處理不同原色的情況。
HSI圓平面110被描述在第1圖的右上角，其中H表示係從HSI圓平面110的紅色開始旋轉的弳度，其表示色相(hue)或主波長(dominant wavelength)、S表示距離原點的距離(0,0,0)，其表示飽和度(saturation)或色度(colorfulness)。I表示垂直於HSI圓平面110的距離，其表示強度(Intensity)或亮度(brightness)。HSI圓平面110的三種成分(H、S、I)形成一想像中的色圓柱。另外值得注意的是主波長(dominant wavelength)、色度(colorfulness)及亮度(brightness)係為比色法(colorimetry)或色彩理論(color theory)的基本組成，並不必分別等於色相(hue)、飽和度(saturation)及強度(Intensity)。另外，用數位化表示色相(hue)、飽和度(saturation)及強度(Intensity)的方法和彩色立方體100的方法相同，在此不再贅述。
YUV色彩平面120被描述在第1圖的右下角，YUV色彩平面120係伴隨著彩色電視機的出現而發展出來。因為黑白電視訊號已經存在，所以將色彩成份(U和V成份)加入黑白訊號Y(亦即灰階訊號)。U和V係為不同的色彩訊號，其中U等於藍色成份減去Y，V等於紅色成份減去Y以及綠色係為Y、U及V的組合。
請參照第2圖，第2圖係為說明利用不同YUV色彩採樣比例處理視訊畫面的示意圖。YUV色彩採樣比例通常係為L：M：N的形式，且可對應參照一L×2的像素區塊(亦即二列L個水平像素)，其中L係為一2的整數次方，例如，2，4，8，16，...等。但本發明並不受限於L係為2的整數次方，L亦可為任何整數。M係為在L×2的像素區塊中第一列的UV樣本數，而N係為在L×2的像素區塊中第二列的UV樣本數。因為每一列的UV樣本數係為Y的比例，所以每一像素都有一Y成分。如第2圖所示，每一圓圈代表一像素。空白圓圈代表像素僅具有一Y值，而斜線圓圈代表像素具有Y、U及V值。
在像素陣列200中，視訊畫面具有的YUV色彩採樣比例係為4:4:4(L=4、M=4及N=4)。為了清楚說明第2圖中的視訊畫面具有的YUV色彩採樣比例，每一色彩採樣比例的第一4×2(L=4)像素區塊係被虛線矩形所強調，視訊畫面中的其餘4×2的像素區塊的操作原理皆和第一4×2像素區塊相同，在此不再贅述。在色彩採樣比例4:4:4的色彩採樣方案中，第一4×2像素區塊的第一列的四個像素皆有U和V的樣本，所以M係為4；第一4×2像素區塊的第二列的四個像素亦皆有U和V的樣本，所以N係為4。在像素陣列210中，視訊畫面具有的YUV色彩採樣比例係為4:2:2(L=4、M=2及N=2)。在色彩採樣比例4:2:2的色彩採樣方案中，第一4×2像素區塊的第一列有二個像素有U和V的樣本，所以M係為2；第一4×2像素區塊的第二列有二個像素有U和V的樣本，所以N係為2。在像素陣列220中，視訊畫面具有的YUV色彩採樣比例係為4:1:1，亦即第一4×2像素區塊的每一列僅有一像素具有U和V的樣本。在像素陣列230中，視訊畫面具有的YUV色彩採樣比例係為4:2:0。在色彩採樣比例4:2:0的色彩採樣方案中，第一4×2像素區塊的第一列有二個像素有U和V的樣本，以及第一4×2像素區塊的第二列有零個像素有U和V的樣本。在一些色彩採樣比例4:2:0的色彩採樣方案中，U和V的值係為兩列像素中U和V的平均值。雖然第2圖係用YUV色彩採樣做說明，但第2圖的色彩採樣比例亦可適用於其他色彩空間，例如HSI色彩空間。
請參照第3圖，第3圖係為說明具有色彩採樣比例2:1:0的採樣視訊畫面300及序列傳輸採樣視訊畫面331的示意圖。如第3圖所示，在採樣視訊畫面300中包含簡化的視訊畫面310-330。視訊畫面310係為描述具有色彩採樣比例2:1:0的畫面的最簡單形式。視訊畫面310有四個像素Y1-Y4僅有Y值，以及一標示U1和V1的UV色彩樣本。但視訊畫面310並不受限於2×2像素區塊的樣本，亦即視訊畫面310可為4×4、8×8、8×16等像素區塊的樣本，或其他可資代表完整視訊畫面的像素區塊的樣本。在序列傳輸採樣視訊畫面331中，簡化的視訊畫面310-330係以色彩影像管道(color image pipeline)的方式傳輸。在序列傳輸採樣視訊畫面331中，係先傳輸視訊畫面中的Y成分，再傳輸UV色彩成分。但序列傳輸採樣視訊畫面331並不受限於先傳輸視訊畫面中的Y成分，再傳輸UV色彩成分，亦可先傳輸視訊畫面中的UV色彩成分，再傳輸Y成分，或者Y成分和UV色彩成分可交錯傳輸、壓縮及/或錯誤更正。
請參照第4圖，第4圖係為本發明的一實施例說明藉由色彩解耦過程分開處理一彩色視訊畫面的灰階和色彩成分的功能方塊的示意圖。第4圖、第5圖和第6圖係為概略描述色彩解耦過程700，第7圖係為詳盡說明色彩解耦過程700。簡單地說，色彩解耦過程700係對彩色視訊畫面分開處理灰階和色彩成分，以及週期性地融合色彩成分回到色彩影像管道，而未使用的色彩資訊將被拋棄。在彩色視訊畫面400中，影像處理裝置接收彩色視訊畫面具有的灰階和色彩成分。當彩色視訊畫面被接收後，從色彩成分420和430中分離或萃取出灰階成分410。在灰階影像處理440中，利用影像處理技術，例如量化(quantization)或四元樹聚合(quad-tree pyramiding)，選擇性地處理灰階成分，以降低傳遞視訊畫面時灰階成分數據的量。
在融合視訊450中，色彩成分420和430被週期性或選擇性地融合已被灰階影像處理440處理的灰階成分。融合色彩成分的週期或速率係基於預定的原則或固定的速率，例如每一畫面、每五個畫面或每十個畫面等。融合過程將詳細描述在第7圖，在這裡僅簡單地說明在融合過程中，所選擇的彩色視訊畫面中的色彩成分被週期性地融合回相關的灰階成分，也就是說，被選擇的色彩成分短暫地和被融合的灰階成分相關。在傳輸視訊460中，傳輸融合視訊畫面至一顯示裝置。
請參照第5圖，第5圖係為本發明的一實施例說明具有解耦色彩成分的彩色視訊畫面500的示意圖。如第5圖所示，彩色視訊畫面500具有色彩採樣比例2:1:0，且已根據色彩解耦過程700處理過。在視訊畫面510中，顯示出色彩影像管道的第一畫面。視訊畫面510除了已藉由第4圖的色彩解耦過程700解耦、處理和融合過之外，係類似於第3圖的視訊畫面310。如同視訊畫面310，視訊畫面510亦可為4×4、8×8、8×16等像素區塊的樣本，或其他可資代表完整視訊畫面的像素區塊的樣本。視訊畫面510有四個像素Y1-Y4僅有Y值，以及一標示U1和V1的UV色彩樣本。視訊畫面520、530類似於視訊畫面510但是沒有UV色彩成分，亦即視訊畫面520、530僅有灰階的畫面。在這個例子中，視訊畫面520、530不會被選擇以融合各自的色彩成分。因此，視訊畫面520、530的色彩成分將被拋棄掉。
如第5圖所示，視訊畫面520、530後面跟隨著一串灰階畫面。視訊畫面540係為已選取用以融合各自色彩成分的一個視訊畫面。視訊畫面540後面亦跟隨著一串灰階畫面。視訊畫面540可基於預定的原則或預定的時間間隔被選取用以融合，例如每一畫面、每五個畫面或每十個畫面等。在序列傳輸採樣視訊畫面550中，在色彩影像管道中傳送簡化的彩色視訊畫面500。首先被傳送的是Y成分，再來傳送的是UV色彩成分。
如第5圖所示，色彩解耦過程700的優點是傳送的色彩資訊遠少於第3圖所傳送的色彩資訊。如此，本發明對於任何給定的頻寬所傳輸的色彩資訊量係少於先前技術對於任何給定的頻寬所傳輸的色彩資訊量。然而，當不論是視訊場景內的移動或是照相機本身的移動造成視訊場景更動時，色彩成分皆和用以融合畫面的灰階成分同步。因此，直到下一次色彩成分融合灰階成分之前，色彩陰影都將存在於顯示幕上視訊場景更動的部分。對於一些應用而言，視訊場景變化緩慢，例如，車輛後視鏡、備份照相機(backup cameras)、嬰兒監控照相機(baby monitoring cameras)、或用以局部監控病患的照相機，色彩陰影僅是一個小問題，因此系統可以被設計成具有較小的傳輸頻帶。
請參照第6圖，第6圖係為本發明的一實施例說明藉由色彩解耦過程700執行視訊傳輸的系統600的功能方塊的示意圖。系統600包含一照相機650、一影像處理裝置605和耦接於一無線接收器660的一顯示幕670。影像處理裝置605包含一資料處理裝置610、一界面模組630、一記憶體620和一無線發射器640。在記憶體620內儲存一用以執行色彩解耦過程700的軟體。影像處理裝置605和色彩解耦過程700亦可完全由軟體實現，以及執行在商用現成的計算裝置上。
資料處理裝置610係為一微處理器、微控制器、晶片系統(systems on a chip,SOC)或其他固定或是可編程邏輯電路。記憶體620可以是任何型式的隨機存取記憶體(random access memory,RAM)，或是其他可用以儲存本發明所使用的資料的資料儲存區塊。記憶體620可獨立於資料處理裝置610之外，或是資料處理裝置610的部分。藉由資料處理裝置610處理色彩解耦過程700的指令儲存於記憶體620。界面模組630致能影像處理裝置605和照相機650之間的通訊，以及提供連結至其他包含在系統600的網路裝置(未繪示於第6圖)的介面。
資料處理裝置610的功能可藉由一具有編碼指令的有形可讀取媒介的處理器，或藉由在一或多個邏輯編碼的有形媒介實現，例如，嵌入式邏輯像是特定用途積體電路(application specific integrated circuit,ASIC)、數位訊號處理器(digital signal processor,DSP)指令或是可藉由處理器執行的軟體等，其中記憶體620儲存資料處理裝置610所需用以計算及執行功能的資料及/或用以執行計算及執行功能的軟體或處理器的指令。如此，色彩解耦過程700將可藉由固定或可程式化邏輯實現，而固定或可程式化邏輯可以是由處理器或是元件可編程邏輯閘陣列(field programmable gate array,FPGA)所執行的軟體或是電腦指令。
彩色視訊畫面係從照相機650傳送至影像處理裝置605。影像處理裝置605處理彩色視訊畫面，以產生灰階畫面和融合視訊畫面。灰階畫面和融合視訊畫面藉由無線發射器640傳送至無線接收器660。然後藉由顯示幕670顯示灰階畫面和融合視訊畫面。當傳遞視訊時，發生封包遺失或是資料毀損將導致解碼視訊畫面遺失視訊資訊。遺失的視訊資訊可藉由從先前解碼視訊畫面複製受影響區域或是藉由無線發射器640再次傳送遺失的視訊資訊復原。無線接收器660和顯示幕670可包含控制器或是處理器，用以處理所接收的灰階畫面和融合視訊畫面以顯示在顯示幕670。
請參照第7圖，第7圖係為本發明的另一實施例說明色彩解耦過程700處理彩色視訊畫面的方法的流程圖。在步驟710中，一影像處理裝置(例如影像處理裝置605)接收具有灰階成分和色彩成分的彩色視訊畫面。在步驟720中，從影像處理裝置所接收的彩色視訊畫面中，萃取或分離出對應於每一彩色視訊畫面的灰階成分，以得到灰階視訊畫面。一但由影像處理裝置所接收的彩色視訊畫面中分離灰階視訊畫面後，灰階視訊畫面將額外經歷第4圖的處理。在本發明的另一實施例中，可由YUV或HIS照相機接收已分離成灰階視訊畫面和彩色視訊畫面的視訊畫面。而在本發明的另一實施例中，可由RGB源接收視訊畫面，但由RGB源所接收的視訊畫面必須轉換成YUV或HIS。
RGB的訊號可根據式(1)轉換成YUV的訊號：
Y=0.299R+0.587G+0.114B
U=0.492(B-Y)　(1)
V=0.877(R-Y)
本發明並不受限於式(1)的係數，且式(1)的係數和所使用的設備以及設計條件高度相依。
RGB的訊號可根據式(2)轉換成HSI的訊號：
I=(R+G+B)/3
S=1-(3/(R+G+B))×a,where a=min(R,G,B)　(2)
H=cos-1 ((0.5×((R-G)+(R-B)))/((R-G)2 +(R-B)×(G-B))1/2 )
If(B/I)>(G/I),then H=360-H，H係為弳度。
H可被標準化後介於0與1之間，也就是說H=H/360，或是可根據用以數位表示H的位元數目予以標準化。同理，S和I亦可根據用以數位表示S和I的位元數目予以標準化。
如第7圖所示，在步驟730中，係以一第一傳輸速率傳送灰階視訊畫面。因為人類大腦非常依賴灰階成分，所以灰階視訊畫面係被連續地傳送。另外，傳送畫面的畫面速率要大於10赫茲(Hz)以避免顯示器出現閃爍的現象，但第一傳輸速率並不一定要和傳送彩色視訊畫面被提供的頻率相同，例如，照相機650所提供的彩色視訊畫面的頻率。舉例來說，照相機650可提供的彩色視訊畫面的頻率係為30赫茲或60赫茲，然而影像處理裝置605係以15赫茲、24赫茲或30赫茲傳輸灰階視訊畫面。
在步驟740中，被選擇的彩色視訊畫面的色彩成分週期性地和被選擇的灰階視訊畫面融合以得到融合的彩色視訊畫面。在步驟750中，以一第二傳輸速率傳送融合的彩色視訊畫面，以及以第一傳輸速率傳送灰階視訊畫面。在本發明的另一實施例中，色彩成分被週期性地加在流向外的視訊流。另外，色彩成分被融合的速率可以是變動的或是根據事先預定的標準或是一些固定的速率，例如每一畫面、每五個畫面或每十個畫面等。事先預定的標準可包含超過一閥值的動態補償、在二連續彩色視訊畫面之間的一或多灰階成分的改變超過一閥值及/或在二連續彩色視訊畫面之間的一或多灰階成分一速率的改變超過一閥值。例如，如果一或多像素區塊的動態補償向量或是一畫面超過一閥值，則以一較高速率將色彩成分加至一或多像素區塊或是畫面，以降低色彩陰影。
在本發明的另一實施例中，灰階成分可另經影像處理技術處理。影像處理可包含利用畫面間累贅技術(inter-frame redundancy technique)、降低灰階解析度(grayscale resolution)及/或降低空間解析度(spatial resolution)。畫面間累贅技術包含不同的畫面處理、邊緣影像偵測(edge map detection)及區段長度編碼法(run length coding)。而位元層編碼(bit-plane coding)、脈衝編碼調變(pulse code modulation)及/或影像量化可用以降低灰階解析度。空間解析度可藉由計算一影像金字塔(image pyramid)及/或計算一小波轉換(wavelet transform)降低。另外，本發明上述提及的實施例可藉由其他先前技術已知的影像處理技術處理。
綜上所述，本發明提供利用色彩解耦的影像傳輸的方法及其裝置。利用色彩解耦的影像傳輸的方法及其裝置係利用影像處理裝置接收包含複數個灰階成分和複數個色彩成分的複數個彩色視訊畫面，然後萃取對應於每一彩色視訊畫面的複數個灰階成分，以得到複數個灰階視訊畫面，以第一傳輸速率傳輸複數個灰階視訊畫面，週期性地將被選擇的複數個彩色視訊畫面中的複數個色彩成分和被選擇的複數個灰階視訊畫面融合，以得到被融合的複數個彩色視訊畫面，及以一第二傳輸速率傳輸該被融合的複數個彩色視訊畫面，以及以該第一傳輸速率傳送該複數個灰階視訊畫面。因此，本發明對於任何給定的頻寬所傳輸的色彩資訊量係少於先前技術對於任何給定的頻寬所傳輸的色彩資訊量。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100．．．彩色立方體
110．．．HSI圓平面
120．．．YUV色彩平面
200、210、220、230．．．像素陣列
300．．．採樣視訊畫面
310、320、330、510、520、530、540．．．視訊畫面
331、550．．．序列傳輸採樣視訊畫面
400、500．．．彩色視訊畫面
410．．．灰階成分
420、430．．．色彩成分
440．．．灰階影像處理
450．．．融合視訊
460．．．傳輸視訊
600．．．系統
605．．．影像處理裝置
610．．．資料處理裝置
620．．．記憶體
630．．．界面模組
640．．．無線發射器
650．．．照相機
660．．．無線接收器
670．．．顯示幕
700．．．色彩解耦過程
Y1-Y4．．．像素
U1．．．UV色彩樣本
V1．．．UV色彩樣本
710至750．．．步驟
第1圖係為說明數種色彩空間的示意圖。
第2圖係為說明利用不同YUV色彩採樣比例處理視訊畫面的示意圖。
第3圖係為說明具有色彩採樣比例2:1:0的採樣視訊畫面及序列傳輸採樣視訊畫面的示意圖。
第4圖係為本發明的一實施例說明藉由色彩解耦過程分開處理彩色視訊畫面的灰階和色彩成分的功能方塊的示意圖。
第5圖係為本發明的一實施例說明具有解耦色彩成分的彩色視訊畫面的示意圖。
第6圖係為本發明的一實施例說明藉由色彩解耦過程執行視訊傳輸的系統的功能方塊的示意圖。
第7圖係為本發明的另一實施例說明色彩解耦過程處理彩色視訊畫面的方法的流程圖。
710至750．．．步驟

Claims (20)

  1. 一種利用色彩解耦的視訊傳輸的方法，包含：一視訊處理裝置依序接收一第一彩色視訊畫面(video frame)與一第二彩色視訊畫面，其中該第一彩色視訊畫面包含一第一灰階成分和一第一色彩成分，且該第二視訊畫面包括一第二灰階成分與一第二色彩成分；將該第一色彩成分與該第二色彩成分其中之一、該第一灰階成分及該第二灰階成分融合，以得到一傳輸採樣視訊畫面資料；及以一傳輸速率傳輸該傳輸採樣視訊畫面資料。
  2. 如請求項1所述之方法，其中該傳輸速率係為固定或隨一預定的標準改變。
  3. 如請求項2所述之方法，其中該預定的標準包含超過一閥值的動態補償、在二連續彩色視訊畫面之間的一或多灰階成分的改變超過一閥值或在二連續彩色視訊畫面之間的一或多灰階成分一速率的改變超過一閥值。
  4. 如請求項1所述之方法，另包含利用一畫面間累贅技術(inter-frame redundancy technique)處理該第一灰階成分與該第二灰階成分。
  5. 如請求項4所述之方法，其中該畫面間累贅技術包含不同的畫面處理、一邊緣影像偵測(edge map detection)或一區段長度編碼法(run length coding)。
  6. 如請求項1所述之方法，另包含處理該第一灰階成分與該第二灰階成分以降低一灰階解析度。
  7. 如請求項6所述之方法，其中處理該第一灰階成分與該第二灰階成分以降低該灰階解析度包含藉由執行一位元層編碼(bit-plane coding)、一脈衝編碼調變(pulse code modulation)或一影像量化(image quantization)以降低該灰階解析度。
  8. 如請求項1所述之方法，另包含處理該第一灰階成分與該第二灰階成分以降低一空間解析度。
  9. 如請求項8所述之方法，其中處理該第一灰階成分與該第二灰階成分以降低該空間解析度包含藉由計算一影像金字塔(image pyramid)或計算一小波轉換(wavelet transform)以降低該灰階解析度。
  10. 如請求項1所述之方法，其中係由一照相機接收該第一彩色視訊畫面與該第二彩色視訊畫面。
  11. 如請求項1所述之方法，其中傳輸該傳輸採樣視訊畫面資料包含以一無線傳輸方式傳輸該傳輸採樣視訊畫面資料；該方法另包含：利用耦接於一顯示幕的一無線接收器接收該傳輸採樣視訊畫面資料；及在該顯示幕上根據該傳輸採樣視訊畫面資料顯示畫面。
  12. 一種利用色彩解耦的視訊傳輸的之裝置，包含：一界面模組，用以接收包含一第一灰階成分和一第一色彩成分的一第一彩色視訊畫面及包含一第二灰階成分和一第二色彩成分的一第二彩色視訊畫面；及一資料處理裝置，用以將該第一色彩成分與該第二色彩成分其中之一、該第一灰階成分及該第二灰階成分融合，以得到一傳輸採樣視訊畫面資料及以一傳輸速率傳輸該傳輸採樣視訊畫面資料。
  13. 如請求項12所述之裝置，其中該資料處理裝置係基於一預定的標準改變該傳輸速率。
  14. 如請求項13所述之裝置，其中該預定的標準包含：超過一閥值的動態補償、在二連續彩色視訊畫面之間的一或多灰階成分的改變超過一閥值或在二連續彩色視訊畫面之間的一或多灰階成分一速率的改變超過一閥值。
  15. 如請求項12所述之裝置，其中該資料處理裝置另用以利用一畫面間累贅技術處理該第一灰階成分與該第二灰階成分。
  16. 如請求項12所述之裝置，其中該資料處理裝置另用以處理該第一灰階成分與該第二灰階成分以降低一灰階解析度。
  17. 如請求項12所述之裝置，其中該資料處理裝置另用以處理該第一灰階成分與該第二灰階成分以降低一空間解析度。
  18. 如請求項12所述之裝置，另包含一照相機，其中該界面模組係由該照相機接收該第一彩色視訊畫面與該第二彩色視訊畫面。
  19. 如請求項12所述之裝置，另包含：一無線發射機，其中該資料處理裝置係利用該無線發射機傳送該傳輸採樣視訊畫面資料；一無線接收機，用以接收該傳輸採樣視訊畫面資料；及一顯示幕，耦接於該無線接收機，用以根據該傳輸採樣視訊畫面資料顯示畫面。
  20. 一種具有編碼指令的處理器之可讀取媒介，當該處理器執行該編碼指令時，該處理器的動作包含： 透過一界面模組接收包含一第一灰階成分和一第一色彩成分的一第一彩色視訊畫面及包含一第二灰階成分和一第二色彩成分的一第二彩色視訊畫面；將該第一色彩成分和該第二色彩成分其中之一、該第一灰階成分及該第二灰階成分融合，以得到一傳輸採樣視訊畫面資料；及以一傳輸速率傳輸該傳輸採樣視訊畫面資料。
TW100121021A 2010-06-28 2011-06-16 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介 TWI472232B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/824,498 US8798171B2 (en) 2010-06-28 2010-06-28 Video transmission by decoupling color components

Publications (2)

Publication Number Publication Date
TW201204059A TW201204059A (en) 2012-01-16
TWI472232B true TWI472232B (zh) 2015-02-01

Family

ID=45352222

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121021A TWI472232B (zh) 2010-06-28 2011-06-16 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介

Country Status (3)

Country Link
US (1) US8798171B2 (zh)
CN (1) CN102300102B (zh)
TW (1) TWI472232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710892B2 (en) * 2015-10-21 2017-07-18 Chunghwa Picture Tubes, Ltd. Image enhancement method and image processing apparatus thereof
KR20210132708A (ko) * 2019-03-07 2021-11-04 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체
JP2022522860A (ja) * 2019-03-07 2022-04-20 オッポ広東移動通信有限公司 インループフィルタリングの実現方法、装置及びコンピュータ記憶媒体
CN111095919B (zh) * 2019-12-17 2021-10-08 威创集团股份有限公司 一种视频融合方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4651208A (en) * 1985-03-18 1987-03-17 Scientific Atlanta, Inc. Compatibility of widescreen and non-widescreen television transmissions
US4701783A (en) * 1982-09-14 1987-10-20 New York Institute Of Technology Technique for encoding and decoding video with improved separation of chrominance and luminance
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
US20040213457A1 (en) * 2003-04-10 2004-10-28 Seiko Epson Corporation Image processor, image processing method, and recording medium on which image processing program is recorded
US6895052B2 (en) * 2000-08-18 2005-05-17 Hideyoshi Tominaga Coded signal separating and merging apparatus, method and computer program product

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347321A (en) * 1993-09-30 1994-09-13 Texas Instruments Incorporated Color separator for digital television
JP3364074B2 (ja) * 1995-06-05 2003-01-08 株式会社リコー ビットプレーン符号化装置
JP3413721B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6553153B1 (en) 1998-12-03 2003-04-22 Chips And Technologies, Llc. Method and apparatus for reducing video data
US20030002582A1 (en) 2001-06-13 2003-01-02 Pere Obrador Multi-resolution boundary encoding applied to region based still image and video encoding
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
US20080123739A1 (en) 2003-09-25 2008-05-29 Amimon Ltd. Wireless Transmission of High Quality Video
KR100596706B1 (ko) * 2003-12-01 2006-07-04 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US7369661B2 (en) 2004-01-30 2008-05-06 Intel Corporation Method and apparatus for detection of loss of cipher synchronization
US20050207495A1 (en) * 2004-03-10 2005-09-22 Jayaram Ramasastry Methods and apparatuses for compressing digital image data with motion prediction
JP4357356B2 (ja) 2004-05-10 2009-11-04 株式会社東芝 映像信号受信装置及び映像信号受信方法
US7664184B2 (en) 2004-07-21 2010-02-16 Amimon Ltd. Interpolation image compression
US7499462B2 (en) 2005-03-15 2009-03-03 Radiospire Networks, Inc. System, method and apparatus for wireless delivery of content from a generalized content source to a generalized content sink
US8559525B2 (en) 2005-10-21 2013-10-15 Amimon Ltd. Apparatus and method for uncompressed, wireless transmission of video
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
JP2009290662A (ja) * 2008-05-30 2009-12-10 Panasonic Corp 画像送信装置および画像受信装置
US8094931B2 (en) * 2008-12-09 2012-01-10 Himax Technologies Limited Method of color components compression
US8891610B2 (en) * 2010-05-05 2014-11-18 Samsung Electronics Co., Ltd. Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701783A (en) * 1982-09-14 1987-10-20 New York Institute Of Technology Technique for encoding and decoding video with improved separation of chrominance and luminance
US4651208A (en) * 1985-03-18 1987-03-17 Scientific Atlanta, Inc. Compatibility of widescreen and non-widescreen television transmissions
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
US6895052B2 (en) * 2000-08-18 2005-05-17 Hideyoshi Tominaga Coded signal separating and merging apparatus, method and computer program product
US20040213457A1 (en) * 2003-04-10 2004-10-28 Seiko Epson Corporation Image processor, image processing method, and recording medium on which image processing program is recorded

Also Published As

Publication number Publication date
CN102300102B (zh) 2013-12-18
US20110317073A1 (en) 2011-12-29
US8798171B2 (en) 2014-08-05
CN102300102A (zh) 2011-12-28
TW201204059A (en) 2012-01-16

Similar Documents

Publication Publication Date Title
US20170323617A1 (en) Rgb to yuv format conversion and inverse conversion method and circuit for depth packing and depacking
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
KR100782818B1 (ko) Ｙｕｖ에서 ｒｇｂ로 휘도 보존 컬러 변환 방법 및 시스템
US11032579B2 (en) Method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
US11615734B2 (en) Method and apparatus for colour imaging
TWI486053B (zh) 立體影像傳輸方法及立體影像傳輸電路
JP2011527862A (ja) 色域スケーラビリティ技術
TWI472232B (zh) 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介
EP4036841A1 (en) Image processing method and apparatus
US8559529B2 (en) Display system, image output device and image display device
US8139079B2 (en) Color gamut component analysis apparatus, method of analyzing color gamut component, and color gamut component analysis program
CN110719484B (zh) 图像处理方法
US7724305B2 (en) Video data conversion method and system for multiple receivers
US10757426B2 (en) Method and apparatus for processing image data
TWI410953B (zh) 色彩空間轉換電路及方法
Dumic et al. Image quality of 4∶ 2∶ 2 and 4∶ 2∶ 0 chroma subsampling formats
CN109618144B (zh) 识别四原色图像信号中yuv信号来源的方法
JPH06342269A (ja) Ｌｅｄ表示装置
CN102025936A (zh) 视频宽高比转换方法及装置
CN101729912B (zh) 图像序列色彩空间转换的方法
US8854490B2 (en) Method and apparatus for compensating a black level of an image signal
TWI633791B (zh) 景深圖框包裝及解包裝之rgb格式的調整與重建方法及電路
TW200813925A (en) Storage structure for overdrive image data and the method thereof
CN100356798C (zh) 三维梳型滤波视讯解码器中移动侦测的方法
GB2539760A (en) HDR compression method and application to viewers