TWI629892B - 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路 - Google Patents

景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路 Download PDF

Info

Publication number
TWI629892B
TWI629892B TW106115031A TW106115031A TWI629892B TW I629892 B TWI629892 B TW I629892B TW 106115031 A TW106115031 A TW 106115031A TW 106115031 A TW106115031 A TW 106115031A TW I629892 B TWI629892 B TW I629892B
Authority
TW
Taiwan
Prior art keywords
pixel
value
values
pixels
calculated
Prior art date
Application number
TW106115031A
Other languages
English (en)
Other versions
TW201740718A (zh
Inventor
楊家輝
Original Assignee
國立成功大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立成功大學 filed Critical 國立成功大學
Publication of TW201740718A publication Critical patent/TW201740718A/zh
Application granted granted Critical
Publication of TWI629892B publication Critical patent/TWI629892B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明提出的轉換方法包括：分別取得RGB格式的四像素中具有交錯位置的二個R、二個G及二個的B次像素值；以及依據取得的該些次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，YUV格式的第一像素、第二像素、第三像素及第四像素的Y亮度值分別是由RGB格式之第一像素的R、第二像素的G、第三像素的G與第四像素的B次像素值經計算而得到，第一像素的U色度值是由第一像素的B、第一像素的R與第三像素的G次像素值經計算而得，第一像素的V色度值是由第四像素的R、第二像素的G與第四像素的B次像素值經計算而得。

Description

景深包裝及解包裝之RGB格式與YUV格式的轉換與反轉換的方法及電路
本發明係關於一種應用於景深包裝及解包裝之RGB格式與YUV格式的轉換與反轉換的方法及其電路。
人類可見的色彩都可用紅、綠、藍(R、G、B)三種顏色來加以混和而成。然而，人類的視覺系統對於亮度(luminance)比較敏感，而對於彩度比較不敏感，況且，三原色所構成的向量空間無法對影像強度(亮度)做處理，例如柔和化、銳利化等等。同時，由RGB格式構成的影像資料也在傳輸時佔用較大頻寬、儲存時佔用較多的記憶體。因此，有必要將RGB格式的影像資料轉換成YUV格式，以達到高效率的影像傳輸。
於習知技術中，視訊或影像壓縮系統會將RGB次像素的相鄰四個像素轉換為YUV的相鄰四個像素(又稱YUV 444格式)後進行壓縮傳輸，接收端再將YUV格式轉換回RGB格式。
在習知技術的一實施例中，如圖11A與圖11B所示，其分別顯示RGB與YUV格式中，次像素的景深(depth)垂直與景深水平像素之間的轉換示意圖。在圖11A中，配合以下表一的矩陣方程式，排除計算的誤差外，景深像素對應在RGB格式的與YUV 444格式之間的轉換及反轉換並不會產生失真。
另外，在圖11B中，配合以下表二的矩陣方程式，排除計算的誤差外，景深像素對應在RGB格式的與YUV 444格式之間的轉換及反轉換也不會產生失真。
然而，為達到高效率的視訊壓縮傳輸，在一些實施例中，視訊或影像壓縮系統會保留YUV格式的四個像素的四個亮度值(Y，luminance)，但對四個色度值(U，V，chrominance)則採次取樣(Subsampling)的方式，僅保留二個像素的U、V色度值(又稱YUV 422格式)，或一個像素的U、V色度值(又稱YUV 420格式)，藉此，使利用YUV422或420格式傳輸影像資料時可佔用較少頻寬、儲存時可佔用較少的記憶體，以達到高效率的視訊壓縮與傳輸。
請參照圖12A與圖12B所示，其分別顯示景深垂直與景深水平包裝的YUV444格式、YUV422格式及YUV420格式的示意圖。在這兩個圖示中的圓圈內顯示有剖面線的UV色度值已依取樣的不同而被捨 去。由於YUV 420格式會佔用最少的頻寬與記憶體，因此，視訊或影像壓縮系統最常被採用的格式正是YUV 420格式。
當接收端的影像解壓縮系統接收到YUV420(或YUV 422)格式的影像資料時，會先將缺少的U、V色度值以保留的U、V色度值填入，以近似為YUV444格式之後再轉換成RGB格式的影像資料。例如，在YUV 420格式中，解壓縮系統會將第一像素的U色度值(U1)分別填入第二像素、第三像素及第四像素的U色度(U2、U3、U4)的位置內，並將第一像素的V色度值(V1)分別填入第二像素、第三像素及第四像素的V色度(V2、V3、V4)的位置內，再將YUV格式的四個像素轉換回RGB格式。由於是將缺少的U、V色度值以保留的U、V色度值填入，因此，轉換回的RGB格式的影像資料於景深落差的劇變區將會產生嚴重失真的現象。
上述習知技術的RGB格式與YUV格式的轉換與反轉換的方式已經長久被業界所採用，雖然參數值略有變化，但是在轉換與反轉換的做法上都是以上述的矩陣方式以及RGB或YUV三個變數去做轉換，而且都只是強調傳輸的效率佳，並不考慮其他層面的問題。
發明人於過去提出的專利技術中，提出了一種彩色圖框(color frame)與景深圖框(depth frame)的包裝(packing)與解包裝(unpacking)技術(Centralized Texture Depth Packing,CTDP)，可以將包裝後的彩色圖框與景深圖框一併傳送，其中RGB次像素即分別代表三個景深次像素。但是在轉換的過程中卻發現，應用於景深圖框的壓縮與傳輸時，若採用YUV 420格式(或422格式)重新補回YUV 444格式之後，再轉換回RGB格式時，在景深落差劇變區的位置上，景深像素將產生相當大的失真現象。
有鑑於上述，本發明之目的為提供一種應用於景深包裝及解包裝之RGB格式與YUV格式的轉換與反轉換的方法及其電路。
本發明的轉換方法與其轉換電路與習知技術的做法不同，並不是以RGB或YUV的三個變數去做轉換，但是同樣可具有壓縮效率較高、 資料量較少及傳輸效率較高的優點，同樣可有效降低現有傳輸設備及傳輸頻寬之負擔。
另外，相較於習知反轉換的做法而言，本發明的反轉換方法與其反轉換電路可以還原成較佳原始的景深圖框，因此可以改善在景深落差劇變區位置上的失真現象。
本發明提出一種應用於景深圖框包裝之RGB格式轉換至YUV格式的方法，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的景深圖框至少包含四像素，每一個四像素的R次像素、G次像素、B次像素分別為垂直排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該方法包括以下步驟：分別取得四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後經計算而得。
本發明更提出一種應用於景深圖框包裝之RGB格式轉換至YUV格式的電路，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的景深圖框至少包含四像素，每一個四像素的R次像素、G次像素、B次像素分別為垂直排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像 素及第三像素相鄰排列，該電路包括一像素取得單元以及一像素轉換單元。像素取得單元分別取得四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值。像素轉換單元依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後經計算而得。
本發明又提出一種應用於景深圖框包裝之RGB格式轉換至YUV格式的方法，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的景深圖框至少包含四像素，每一個四像素的R次像素、G次像素、B次像素分別為水平排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該方法包括以下步驟：分別取得四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第三像素的G次像素值與第四像素的B次像素值的平均值 後經計算而得。
本發明又提出一種應用於景深圖框包裝之RGB格式轉換至YUUV格式的電路，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的景深圖框至少包含四像素，每一個四像素的R次像素、G次像素、B次像素分別為水平排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該電路包括一像素取得單元以及一像素轉換單元。像素取得單元分別取得四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值。像素轉換單元依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第三像素的G次像素值與第四像素的B次像素值的平均值後經計算而得。
本發明又提出一種應用於景深圖框解包裝之YUV格式轉換至RGB格式的方法，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的景深圖框至少包含四像素，每一個四像素的Y亮度、U色度、V色度分別為垂直排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該方法包括以下步驟：分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值；以及依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素 值是由第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第三像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
本發明又提出一種應用於景深圖框解包裝之YUV格式轉換至RGB格式的電路，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的景深圖框至少包含四像素，每一個四像素的Y亮度、U色度、V色度分別為垂直排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該電路包括一像素取得單元以及一像素轉換單元。像素取得單元分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值。像素轉換單元依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第三像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
本發明又提出一種應用於景深圖框解包裝之YUV格式轉換至RGB格式的方法，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的景深圖框至少包含四像素，每一個四像素的Y亮度、U色度、V色度分別為水平排列， 四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該方法包括以下步驟：分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值；以及依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第二像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
本發明又提出一種應用於景深圖框解包裝之YUV格式轉換至RGB格式的電路，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的景深圖框至少包含四像素，每一個四像素的Y亮度、U色度、V色度分別為水平排列，四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列，該電路包括一像素取得單元以及一像素轉換單元。像素取得單元分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值。像素轉換單元依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第二像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的 V色度值及第三像素的G次像素值與第四像素的B次像素值的平均值經計算而得
承上所述，本發明之應用於景深包裝之RGB格式與YUV格式的轉換方法及其電路與習知轉換技術的做法不同，並不是以RGB或YUV的三個變數去做轉換，但是同樣可具有壓縮效率較高、資料量較少及傳輸效率較高的優點，亦可有效降低現有傳輸設備及傳輸頻寬之負擔。
另外，本發明之應用於景深解包裝之RGB格式與YUV格式的反轉換的方法及其電路中，可以還原成較佳原始的景深圖框，因此，可以改善在景深落差劇變區位置上的失真現象。
1、1a‧‧‧轉換電路
11、11a‧‧‧像素取得單元
12、12a‧‧‧像素轉換單元
B1~B4、B’1~B’4、B”1~B”4、B'''1~B'''4‧‧‧藍次像素值
DB、DL、DR、DT、DX、IB、IL、IR、IT、IX‧‧‧次像素
G1~G4、G’1~G’4、G”1~G”4、G'''1~G'''4‧‧‧綠次像素值
R1~R4、R’1~R’4、R”1~R”4、R'''1~R'''4‧‧‧紅次像素值
P01、P02、Q01、Q02、R01、R02、S01、S02、T01~T06‧‧‧步驟
U1~U4、U’1~U’4、V1~V4、V’1~V’4‧‧‧色度值
Y1~Y4、Y’1~Y’4‧‧‧亮度值
圖1A為本發明較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換方法的流程示意圖。
圖1B為本發明較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換電路之功能方塊示意圖。
圖2A為一實施例的影像資料由RGB格式轉換為YUV420格式的示意圖。
圖2B為一實施例的影像資料由RGB格式轉換為YUV422格式的示意圖。
圖2C為一實施例的影像資料由RGB格式轉換為YUV444格式的示意圖。
圖2D為影像資料由RGB格式轉換為YUV420格式的另一示意圖。
圖3為本發明另一較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換方法的流程示意圖。
圖4A為一實施例的影像資料由RGB格式轉換為YUV420格式的示意圖。
圖4B為一實施例的影像資料由RGB格式轉換為YUV422格式的示意圖。
圖4C為一實施例的影像資料由RGB格式轉換為YUV444格式的示意圖。
圖5A為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換方法的流程示意圖。
圖5B為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換電路之功能方塊示意圖。
圖6A為一實施例的影像資料由YUV422格式轉換為RGB格式的示意圖。
圖6B為一實施例之景深圖框與彩色圖框的對應示意圖。
圖6C為一實施例的影像資料由YUV420格式轉換為RGB格式的示意圖。
圖7為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換方法的另一流程示意圖。
圖8A為一實施例的影像資料由YUV422格式轉換為RGB格式的示意圖。
圖8B為一實施例的影像資料由YUV420格式轉換為RGB格式的示意圖。
圖9A與圖10A分別為習知技術由RGB格式轉換YUV420格式，再由YUV420格式轉換為RGB格式後之景深圖框示意圖。
圖9B、圖9C與圖10B、圖10C分別為本發明由RGB格式轉換YUV420格式，再由YUV420格式轉換為RGB格式後之景深圖框示意圖。
圖11A與圖11B分別顯示RGB與YUV格式中，次像素的景深垂直與景深水平像素之間的轉換示意圖。
圖12A與圖12B分別顯示景深垂直與景深水平包裝的YUV444格式、YUV422格式及YUV420格式的示意圖。
圖13為一實施例之3D影像及景深系統包裝技術的步驟流程圖。
以下將參照相關圖式，說明依本發明應用於景深包裝及解包 裝之RGB格式與YUV格式的轉換與反轉換的方法及其電路，其中相同的元件將以相同的參照符號加以說明。
本發明之轉換、反轉換方法與其電路是應用於3D景深系統的包裝(packing)與解包裝(unpacking)技術上。另外，本技術之轉換、反轉換方法與電路可應用於灰階影像訊號的壓縮與傳輸上。本發明較佳是應用於發明人在美國專利申請號第14/504,901、14/504,936、14/505,117與14/505,153號中所提出的3D影像系統的包裝與解包裝技術中。上述專利申請號均透過引用方式納入本說明書全文之中。
發明人提出的3D影像及景深系統包裝技術可參照圖13所示。該步驟流程包含：分別重調彩色圖框(color frame)與景深圖框(depth frame)的尺寸(Downscaling)(步驟T01、步驟T02)；將重調後的景深圖框進行像素重排列(Pixel Rearrangement)成RGB次像素格式(步驟T03)、RGB格式與YUV格式轉換(Format Conversion)(步驟T04)、分割及反轉(Splitting & Filpping)(步驟T05)，再與重調後的彩色圖框組合(步驟T06)，之後再進行傳輸；接收端接收後再進行反轉換工作，以得到原來的彩色圖框與景深圖框。本發明提出的RGB格式與YUV格式的轉換就是使用於上述的YUV格式轉換步驟；反之，本發明提出的RGB格式與YUV格式的反轉換就是使用於接收端的格式反轉換步驟。
在圖13的步驟中，若跳過像素重排列，該RGB次像素格式排列亦可為直接表示為依對應位置之三個連續景深圖素。該YUV格式亦可稱為YCbCr，即Cb以U表示，Cr以V表示之。
換言之，本發明基於發明人於過去提出的彩色圖框與景深圖框的包裝與解包裝技術，更進一步提出將景深圖框的格式轉換(由RGB格式轉換成YUV格式)與反轉換(由YUV格式轉換成RGB格式)的詳細技術內容，包括轉換與反轉換的方法與其電路，以解決於在景深圖框在轉換格式時，景深有落差的區域會有失真現象的問題。尤其是相鄰的位置之間具有大景深落差時(即景深落差劇變區)。本發明所指的轉換就是將RGB格式轉換成YUV格式的過程，而本發明所指的反轉換就是將YUV格式還原成RGB格式的過程。
請參照圖1A及圖1B所示，其中，圖1A為本發明較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換方法的流程示意圖，而圖1B為本發明較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換電路1之功能方塊示意圖。
灰階影像資料例如但不限於為景深圖框，可包裝為RGB格式，經本技術的轉換方法與轉換電路1轉換後可得到YUV格式的影像資料，於YUV格式中，尤其是YUV420或422格式的影像資料應用於訊號傳輸時可佔用較少頻寬、儲存時可佔用較少的記憶體，藉此達到高效率的視訊壓縮與傳輸。其中，RGB格式包括R次像素、G次像素與B次像素，而YUV格式包括Y亮度、U色度與V色度。在本實施例中，具RGB格式的影像資料包含四個相鄰像素的群組，亦即每一個群組具有四個相鄰的像素。因此，以下是將影像資料中所有群組的四像素都由RGB格式轉換成YUV格式。其中，每一群組的四個像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列。另外，每一個像素的R次像素、G次像素、B次像素分別為垂直排列。換言之，每一個像素的R次像素、G次像素、B次像素是位於同一行中。
如圖1A所示，將影像資料由RGB格式轉換為YUV格式的轉換方法包括步驟S01至步驟S02。步驟S01為：分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，而步驟S02為：依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第二像素的G次像素值與第四像素的B次 像素值的平均值後經計算而得。
另外，如圖1B所示，轉換電路1包括一像素取得單元11及一像素轉換單元12，像素取得單元11與像素轉換單元12電性連接。其中，像素取得單元11可由影像資料的每一群組中分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，而像素轉換單元12可依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值。於此，像素取得單元11與像素轉換單元12是應用硬體電路或韌體的方式來實現其功能。在一實施例中，轉換電路1可包含例如可以加/減法器及乘/除法器。
像素取得單元11可依據轉換需求分別取得每一群組轉換時對應所需的R次像素值、G次像素值與B次像素值，且像素轉換單元12可將取得的R次像素值、G次像素值與B次像素值轉換而得到YUV格式。在一些實施例中，像素轉換單元12可將一個群組的四像素轉換得到YUV格式後就儲存至同一群組的第一像素、第二像素、第三像素及第四像素的對應位置中；或者，在另一些實施例中，像素轉換單元12也可將所有的群組的四像素全部轉換而得到YUV格式後，再全部儲存至對應群組的第一像素、第二像素、第三像素及第四像素的對應位置中，並不限定。此外，一記憶單元(圖未示)可分別與像素取得單元11及像素轉換單元12電性連接，並可儲存轉換前與轉換後的影像資料。以下將以實施例來說明上述的轉換方法。
請參照圖2A所示，其為一實施例的影像資料由RGB格式轉換為YUV420格式的示意圖。於此，各像素之次像素的數量分別為三個，其為紅、綠、藍三個次像素(以R、G、B表示)，每一像素的R、G、B次像素分別為垂直排列(位於同一行中)，而轉換後的YUV格式的影像資料之各次像素的數量亦分別為三個，其為一個Y亮度與二個U、V色度所構成，且亦分別為垂直排列。
以下係以對應的代號來表示每一個次像素的位置及其次像素值。例如圖2A的R1代表第一像素的R次像素位置與R次像素值，G1 代表第一像素的G次像素位置與G次像素值，B1代表第一像素的B次像素位置與B次像素值。同樣的，Y1、U1、V1對應代表第一像素的Y亮度位置與Y亮度值、第一像素的U色度位置與U色度值、第一像素的V色度位置與V色度值，以此類推。不過，若圖示中的整個圓圈顯示有斜線面的色度U、V是表示，該位置的U、V色度值為不存在。舉例來說，在圖2A的YUV420格式中，只有Y1~Y4亮度位置有對應的亮度值，及U1、V1色度位置有對應的色度值，而U2~U4、V2~V4的位置則不存在。另外，於圖2A中，RGB或YUV格式的第一像素為左上角垂直排列的三個次像素(以1表示)，第二像素為右上角垂直排列的三個次像素(以2表示)，第三像素為左下角垂直排列的三個次像素(以3表示)，第四像素為右下角垂直排列的三個次像素(以4表示)，然並不以此為限。不過，在一些實施例中，第一像素~第四像素的位置也可以互換，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
在本實施例中，將影像資料由RGB格式轉換為YUV420格式的轉換方法，係透過像素取得單元11分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，且依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV420格式的四個Y亮度值、一個U色度值及一個V色度值。在一實施例的四像素中，像素取得單元11是分別取得第一像素與第四像素的R次像素值、第二像素與第三像素的G次像素值及第一像素與第四像素的B次像素值，且依據取得的第一像素與第四像素的R次像素值、第二像素與第三像素的G次像素值及第一像素與第四像素的B次像素值得到YUV格式的四個Y亮度值(Y1~Y4)、一個U色度值(U1)及一個V色度值(V1)。
其中，第一像素的Y亮度值是等於0.8588乘以第一像素的R次像素值後加16，第二像素的Y亮度值等於0.8588乘以第二像素的G次像素值後加16，第三像素的Y亮度值等於0.8588乘以第三像素的G次像素值後加16，第四像素的Y亮度值等於0.8588乘以第四像素的B次像素值後加16，第一像素的U色度值等於第一像素的B次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後乘以0.4392加128，第一 像素的V色度值等於第四像素的R次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後乘以0.4392加128。換言之，Y1=0.8588×R1+16 (1)；Y2=0.8588×G2+16 (2)；Y3=0.8588×G3+16 (3)；Y4=0.8588×B4+16 (4)；U1=0.4392×(B1-0.5×(R1+G3))+128 (5)；V1=0.4392×(R4-0.5×(G2+B4))+128 (6)；上述的方程式(1)~(6)可稱為第一階段轉換。其中，方程式(1)~(6)中包含四個線性Y亮度值(Y1~Y4)轉換編碼(稱為線性映射/linear mapping)：將原RGB值域{0,255}轉至Y的值域{16,235}，及二個UV色度值(U1、V1)預測線性差值轉換編碼(稱為DPCM)：將原DPCM值域{-255,255}轉至U及V的值域{16,240}；線性映射可將各個Y值與UV值轉換為與傳統YUV值有相同分布，而預測線性差值則可使保有的UV值與傳統UV值的特性相同，以確保原有壓縮系統之壓縮品質，並同時亦有較佳景深解包裝的品質，其中，公式(5)及(6)中的預測差值分別為D=B1-0.5×(R1+G3)及D=R4-0.5×(G2+B4)。由於轉換後的YUV420格式的影像資料中捨去了U2~U4、V2~V4，因此，當利用YUV420格式的影像資料進行影像傳輸時可佔用較少的頻寬，儲存時也可佔用較少的記憶體，藉此達到高效率的視訊壓縮與傳輸。
上述的方程式(5)~(6)，得依預測差值D之分布採用線性或非線性轉換編碼(稱為非線性映射/nonlinear mapping)差值，一般性預測差值轉換公式為：U1=f(B1-0.5×(R1+G3))+128 (7)；V1=f(R4-0.5×(G2+B4))+128. (8)；若採用線性函數轉換，則為：f(D)=0.4392×D (9)；方程式(7)~(8)即為方程式(5)~(6)。若採用非線性轉換，轉換公式可為片段線性(piece-wise linear)函數： 另外，請參照圖2B所示，其為一實施例的影像資料由RGB格式轉換為YUV422格式的示意圖。
將影像資料由RGB格式轉換為YUV422格式的方法中，除了得到圖2A的YUV420的Y1~Y4、U1與V1之外，像素取得單元11更分別取得四像素中的另一個R次像素值(R2)及另一個B次像素值(B3)，且像素轉換單元12更依據取得的R次像素值、G次像素值與B次像素值得到YUV格式的第二像素的U色度(U2)值與第二像素的V色度(V2)值。其中，Y1~Y4的計算式可參照上述的方程式(1)~(4)、而U1與V1轉換的計算式可參照上述的方程式(7)~(8)，其中若轉換為線性轉換的計算式可參照函數方程式(9)；若為非線性轉換則可參照函數方程式(10)。而第二像素的U色度值是由第二像素的R次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後經計算而得，第二像素的V色度值是由第三像素的B次像素值減去第三像素的G次像素值與第四像素的B次像素值的平均值後經計算而得。
在一實施例中，第二像素的U色度值等於第二像素的R次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後之預測差值D經函數f(D)轉換再加128，第二像素的V色度值等於第三像素的B次像素值減去第三像素的G次像值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換再加128。換言之，U2=f(R2-0.5×(R1+G2))+128； (11)；V2=f(B3-0.5×(G3+B4))+128； (12)；其中，方程式(11)及(12)之預測差值分別以D=R2-0.5×(R1+G2)及D=B3-0.5×(G3+B4)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
上述的方程式(11)~(12)可稱為第二階段轉換。因此，於 YUV422格式的轉換過程中，除了第一階段的轉換程序(YUV420格式)之外，更包含第二階段轉換程序。其中，方程式(1)~(4)中包含四個表示線性Y值(Y1~Y4)轉換編碼(線性映射/linear mapping)，及方程式(7)、(8)、(11)、(12)表示四個UV值(U1,U2,V1,V2)預測線性差值轉換編碼(DPCM)。於此，轉換後的YUV422格式的影像資料捨去了U3、U4、V3、V4。
另外，請參照圖2C所示，其為一實施例的影像資料由RGB格式轉換為YUV444格式的示意圖。
將影像資料由RGB格式轉換為YUV444格式的方法中，除了得到上述的YUV422的Y1~Y4、U1、U2與V1、V2之外，像素取得單元11更取得四像素的其餘的R次像素值、其餘的G次像素值及其餘的B次像素值，即R3、G1、G4、B2，且像素轉換單元12更依據取得的R次像素值、G次像素值與B次像素值得到YUV格式的另二個U色度值(U3、U4)及另二個V色度值(V3、V4)，也就是四像素的YUV亮彩及色度值均得到。其中，Y1~Y4、U1、U2與V1、V2的計算式可參照上述的方程式(1)~(12)。另外，第三像素的U色度值是由第一像素的G次像素值減去第一像素的R次像素值與第一像素的B次像素值的平均值後之預測差值D經函數轉換計算而得，第三像素的V色度值是由第四像素的G次像素值減去第四像素的R次像素值與第四像素的B次像素值的平均值後之預測差值D經函數轉換計算而得，第四像素的U色度值是由第三像素的R次像素值減去第一像素的B次像素值與第三像素的G次像素值的平均值後之預測差值D經函數轉換計算而得，而第四像素的V色度值是由第二像素的B次像素值減去第二像素的G次像素值與第四像素的R次像素值的平均值後之預測差值D經函數轉換計算而得。
在一實施例中，第三像素的U色度值等於第一像素的G次像素值減去第一像素的R次像素值與第一像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128，第三像素的V色度值等於第四像素的G次像素值減去第四像素的R次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128，第四像素的U色度值等於第三像素的R次像素值減去第一像素的B次像素值與第三像素的G次像素值的平 均值後之預測差值D經函數f(D)轉換加128，第四像素的V色度值等於第二像素的B次像素值減去第二像素的G次像素值與第四像素的R次像素值的平均值後之預測差值D經函數f(D)轉換加128。換言之，U3=f(G1-0.5×(R1+B1))+128； (13) V3=f(G4-0.5×(R4+B4))+128； (14) U4=f(R3-0.5×(B1+G3))+128； (15) V4=f(B2-0.5×(G2+R4))+128； (16)其中方程式(13)、(14)、(15)及(16)之預測差值分別以D=G1-0.5×(R1+B1)，D=G4-0.5×(R4+B4)，D=R3-0.5×(B1+G3)及D=B2-0.5×(G2+R4)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
因此，於YUV444格式的轉換過程中，除了第一階段與第二階段的轉換程序之外，更包含上述方程式(U3、U4、V1、V2)的第三階段轉換程序，其中包含了四個線性Y值(Y1~Y4)轉換編碼(線性映射/linear mapping)及八個UV值(U1~U4、V1~V4)預測線性差值轉換編碼(差值預測/DPCM)。
另外，再特別說明的是，請參照圖2A及圖2D所示，其中，圖2D為影像資料由RGB格式轉換為YUV420格式的另一示意圖。
於圖2A中，RGB或YUV格式的第一像素為左上角垂直排列的三個次像素(以1表示)，第二像素為右上角垂直排列的三個次像素(以2表示)，第三像素為左下角垂直排列的三個次像素(以3表示)，第四像素為右下角垂直排列的三個次像素(以4表示)，但於圖2D中，RGB或YUV格式的第一像素為右上角垂直排列的三個次像素，第二像素為左上角垂直排列的三個次像素，第三像素為右下角垂直排列的三個次像素，第四像素為左下角垂直排列的三個次像素。
於圖2D中，同樣地，第一像素的Y亮度值等於0.8588乘以第一像素的R次像素值後加16，第二像素的Y亮度值等於0.8588乘以第二像素的G次像素值後加16，第三像素的Y亮度值等於0.8588乘以第三像素的G次像素值後加16，第四像素的Y亮度值等於0.8588乘以第四像 素的B次像素值後加16，第一像素的U色度值等於第一像素的B次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後之預測差值D經函數f(D)轉換加128，第一像素的V色度值等於第四像素的R次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128。換言之，在圖2D的本實施例中，第一階段的轉換為：Y2=0.8588×R2+16； (17) Y1=0.8588×G1+16； (18) Y4=0.8588×G4+16； (19) Y3=0.8588×B3+16； (20) U2=f(B2-0.5×(R2+G4))+128； (21) V2=f(R3-0.5×(G1+B3))+128； (22)其中，方程式(21)及(22)之預測差值分別以D=B2-0.5×(R2+G4)及D=R3-0.5×(G1+B3)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
因此，於RGB格式轉換成YUV格式的過程中，本發明的取樣方式是採取交錯取樣的方式(如圖2A與圖2D中的虛線所示)，以得到對應的YUV格式的次像素值；另外，本發明並不限定第一像素、第二像素、第三像素或第四像素是群組的四像素中的哪一個位置，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
另外，請再參照圖1B並配合圖3所示，其中，圖3為本發明另一較佳實施例之一種將影像資料由RGB格式轉換為YUV格式的轉換方法的流程示意圖。
在本實施例中，具RGB格式的影像資料一樣包含四個相鄰像素的複數群組，亦即每一個群組具有四個相鄰的像素。其中，每一群組的四個像素分別為第一像素、第二像素、第三像素及第四像素，第一像素分別與第二像素及第三像素相鄰排列，第四像素分別與第二像素及第三像素相鄰排列。另外，本實施例之影像資料的每一個像素的R次像素、G次 像素、B次像素分別為水平排列。換言之，每一個像素的R次像素、G次像素、B次像素是位於同一列中。
如圖3所示，將影像資料由RGB格式轉換為YUV格式的轉換方法包括步驟P01至步驟P02。步驟P01為：分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，而步驟P02為：依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的四像素中，第一像素的Y亮度值是由RGB格式之第一像素的R次像素值經計算而得到，第二像素的Y亮度值是由第二像素的G次像素值經計算而得，第三像素的Y亮度值是由第三像素的G次像素值經計算而得，第四像素的Y亮度值是由第四像素的B次像素值經計算而得，第一像素的U色度值是由第一像素的B次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後經計算而得，第一像素的V色度值是由第四像素的R次像素值減去第三像素的G次像素值與第四像素的B次像素值的平均值後經計算而得。
另外，像素取得單元11可由影像資料的每一群組中分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，而像素轉換單元12將依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值。以下，將以實施例來說明圖3的轉換方法。
請參照圖4A所示，其為一實施例的影像資料由RGB格式轉換為YUV420格式的示意圖。
在本實施例中，RGB格式之各像素之次像素分別為水平排列，而轉換後的YUV格式的影像資料之各次像素的數量亦分別為水平排列。其中，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列。於圖4A中，RGB或YUV格式的第一像素為左上角水平排列的三個次像素(以1表示)，第二像素為右上角水平排列的三個次像素(以2表示)，第三像素為左下角水平排列的三個次像素(以3表示)，第四像素為右下角水平排列的三個次像素(以4表示)，然 並不以此為限。不過，在一些實施例中，第一像素~第四像素的位置也可以互換，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
將影像資料由RGB格式轉換為YUV420格式的轉換方法，係透過像素取得單元11分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值，且依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值。在一實施例的YUV420格式四像素、中，像素取得單元11是分別取得第一像素與第四像素的R次像素值(R1、R4)、第二像素與第三像素的G次像素值(G2、G3)及第一像素與第四像素的B次像素值(B1、B4)，且像素轉換單元12依據取得的第一像素與第四像素的R次像素值、第二像素與第三像素的G次像素值及第一像素與第四像素的B次像素值得到YUV格式的四個Y亮度值(Y1~Y4)、一個U色度值(U1)及一個V色度值(V1)。
在YUV格式的四像素中，第一像素的Y亮度值等於0.8588乘以第一像素的R次像素值後加16，第二像素的Y亮度值等於0.8588乘以第二像素的G次像素值後加16，第三像素的Y亮度值等於0.8588乘以第三像素的G次像素值後加16，第四像素的Y亮度值等於0.8588乘以第四像素的B次像素值後加16，第一像素的U色度值等於第一像素的B次像素值減去第一像素的R次像素值與第二像素的G次像素值的平均值後之預測差值D經函數f(D)轉換加128，第一像素的V色度值等於第四像素的R次像素值減去第三像素的G次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128。換言之，Y1=0.8588×R1+16 (22)；Y2=0.8588×G2+16 (23)；Y3=0.8588×G3+16 (24)；Y4=0.8588×B4+16 (25)；U1=f(B1-0.5×(R1+G2))+128 (26)；V1=f(R4-0.5×(G3+B4))+128 (27)； 其中，方程式(26)及(27)之預測差值分別以D=B1-0.5×(R1+G2)及D=R4-0.5×(G3+B4)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
上述的方程式(22)~(27)可稱為第一階段轉換。其中，同樣包含四個線性Y值(Y1~Y4)轉換編碼(線性映射/linear mapping)及二個UV值(U1、V1)預測線性差值轉換編碼(差值預測/DPCM)。由於轉換後的YUV420格式的影像資料捨去了U2~U4、V2~V4，因此，當利用YUV420格式的影像資料進行傳輸時可佔用較少頻寬，儲存時也可佔用較少的記憶體，藉此達到高效率的視訊壓縮與傳輸。
另外，請參照圖4B所示，其為一實施例的影像資料由RGB格式轉換為YUV422格式的示意圖。
將影像資料由RGB格式轉換為YUV422格式的方法中，除了上述得到YUV420的Y1~Y4、U1與V1之外，像素取得單元11更分別取得四像素中的另一個R次像素值(R3)及另一個B次像素值(B2)，且像素轉換單元12更依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的第二像素的U色度(U2)與第二像素的V色度(V2)。其中，Y1~Y4可參照上方程式(22)~(25)，U1與V1的計算式可參照上述方程式(26)~(27)，而第二像素的U色度值是由第三像素的R次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後之預測差值D經函數f(D)轉換經計算而得，第二像素的V色度值是由第二像素的B次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換經計算而得。
在一實施例中，第二像素的U色度值等於第三像素的R次像素值減去第一像素的R次像素值與第三像素的G次像素值的平均值後之預測差值D經函數f(D)轉換加128，第二像素的V色度值等於第二像素的B次像素值減去第二像素的G次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128。換言之，U2=f(R3-0.5×(R1+G3))+128 (28)；V2=f(B2-0.5×(G2+B4))+128 (29)； 其中，方程式(28)及(29)之預測差值分別以D=R3-0.5×(R1+G3)及D=B2-0.5×(G2+B4)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
上述的方程式(28)~(29)可稱為第二階段轉換。上述的方程式(9)~(16)中同樣包含四個線性Y值(Y1~Y4)轉換編碼(線性映射/linear mapping)及四個UV值(U1~U2、V1~V2)預測線性差值轉換編碼(差值預測/DPCM)。由於轉換後的YUV422格式的影像資料捨去了U3~U4、V3~V4，因此，當利用YUV422格式的影像資料進行影像傳輸時亦可佔用較少頻寬，儲存時也可佔用較少的記憶體，藉此也可達到高效率的視訊壓縮與傳輸。
另外，請參照圖4C所示，其為一實施例的影像資料由RGB格式轉換為YUV444格式的示意圖。
將影像資料由RGB格式轉換為YUV444格式的方法中，除了上述得到YUV422的Y1~Y4、U1、U2與V1、V2之外，像素取得單元11更分別取得四像素的其餘的R次像素值、其餘的G次像素值及其餘的B次像素值，即R2、G1、G4、B3，且像素轉換單元12更依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的另二個U色度值及另二個V色度值，即U3、U4、V3、V4，也就是四像素的YUV格式的次像素值均全部得到。其中，Y1~Y4、U1、U2與V1、V2的計算式可參照上述方程式(22)~(29)。另外，第三像素的U色度值是由第一像素的G次像素值減去第一像素的R次像素值與第一像素的B次像素值的平均值後之預測差值D經函數f(D)轉換經計算而得，第三像素的V色度值是由第四像素的G次像素值減去第四像素的R次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換經計算而得，第四像素的U色度值是由第二像素的R次像素值減去第一像素的B次像素值與第二像素的G次像素值的平均值後之預測差值D經函數f(D)轉換經計算而得，第四像素的V色度值是由第三像素的B次像素值減去第三像素的G次像素值與第四像素的R次像素值的平均值之預測差值D經函數f(D)轉換後經計算而得。
在一實施例中，第三像素的U色度值等於第一像素的G次 像素值減去第一像素的R次像素值與第一像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128，第三像素的V色度值等於第四像素的G次像素值減去第四像素的R次像素值與第四像素的B次像素值的平均值後之預測差值D經函數f(D)轉換加128，第四像素的U色度值等於第二像素的R次像素值減去第一像素的B次像素值與第二像素的G次像素值的平均值後之預測差值D經函數f(D)轉換加128，第四像素的V色度值等於第三像素的B次像素值減去第三像素的G次像素值與第四像素的R次像素值的平均值後之預測差值D經函數f(D)轉換加128。換言之，U3=f(G1-0.5×(R1+B1))+128； (30) V3=f(G4-0.5×(R4+B4))+128； (31) U4=f(R2-0.5×(B1+G2))+128； (32) V4=f(B3-0.5×(G3+R4))+128； (33)其中，方程式(30)、(31)、(32)及(33)之預測差值分別以D=G1-0.5×(R1+B1)，D=G4-0.5(R4+B4)，D=R2-0.5×(B1+G2)、及D=B3-0.5×(G3+R4)表示之。若採用線性轉換，則該函數f(D)為公式(9)；若採用非線性轉換，則該函數f(D)為公式(10)。
因此，於YUV444格式的轉換過程中，除了第一階段與第二階段的轉換程序之外，更包含上述方程式(U3、U4、V3、V4)的第三階段轉換程序，其中包含了四個線性Y值(Y1~Y4)轉換編碼(線性映射/linear mapping)及八個UV值(U1~U4、V1~V4)預測線性差值轉換編碼(差值預測/DPCM)。
此外，於上述三階段編碼程序中，若只需要YUV420格式時，只要執行完第一階段編碼程序即可，若需要YUV422格式時，則需執行完第一階段與第二階段編碼程序即可，若需要YUV424格式時，則要執行完三個階段的編碼程序。
另外，請參照圖5A及圖5B所示，其中，圖5A為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換方法的流程示意圖，而圖5B為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換電路1a之功能方塊示意圖。於此，圖5A的轉換方 法可稱為圖1A由RGB格式轉換為YUV格式的反轉換方法或還原方法。
相同的，影像資料例如但不限於為景深圖框，並具有YUV格式，經本技術的轉換方法與轉換電路1a轉換後可得到RGB格式的影像資料。其中，YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素。在本實施例中，具YUV格式的影像資料包含四個相鄰像素的複數群組，亦即每一個群組具有四個相鄰的像素。因此，以下是將影像資料中所有群組的四像素都由YUV格式轉換成RGB格式。其中，每一群組的四個像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列。另外，每一個像素的Y亮度值、U色度值、V色度值分別為垂直排列。換言之，每一個像素的Y亮度值、U色度值、V色度值是位於同一行中。
如圖5A所示，將影像資料由YUV格式轉換為RGB格式的轉換方法包括步驟Q01至步驟Q02。步驟Q01為：分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值，而步驟Q02為：依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的該四像素中，該第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，該第二像素的G次像素值是由該第二像素的Y亮度值經計算而得，該第三像素的G次像素值是由該第三像素的Y亮度值經計算而得，該第四像素的B次像素值是由該第四像素的Y亮度值經計算而得，該第一像素的B次像素值是由該第一像素的U色度值及該第一像素的R次像素值與該第三像素的G次像素值的平均值經計算而得，該第四像素的R次像素值是由該第一像素的V色度值及該第二像素的G次像素值與該第四像素的B次像素值的平均值經計算而得。
另外，如圖5B所示，轉換電路1a包括一像素取得單元11a及一像素轉換單元12a，像素取得單元11a與像素轉換單元12a電性連接。其中，像素取得單元11a可由影像資料的每一群組中分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值，而像素轉換單元12a可依 據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值。
像素取得單元11a可依據轉換需求分別取得每一群組轉換時對應所需的Y亮度值、U色度值與V色度值，且像素轉換單元12a將取得的Y亮度值、U色度值與V色度值轉換而得到RGB格式。在一些實施例中，像素轉換單元12a可將一個群組的四像素轉換得到RGB格式後就儲存至同一群組的第一像素、第二像素、第三像素及第四像素的對應位置中；或者，在另一些實施例中，像素轉換單元12a也可將所有的群組的四像素全部轉換而得到RGB格式後，再全部儲存至對應群組的第一像素、第二像素、第三像素及第四像素的對應位置中，並不限定。此外，一記憶單元(圖未示)可分別與像素取得單元11a及像素轉換單元12a電性連接，並可儲存轉換前與轉換後的影像資料。將以以下的實施例來說明上述的轉換方法。
請參照圖6A所示，其為一實施例的影像資料由YUV422格式轉換為RGB格式的示意圖。
在YUV422格式的本實施例中，各群組之各像素的Y亮度值、U色度值及V色度值分別為垂直排列(位於同一行中)，而轉換後的RGB格式的影像資料之各像素的R、G、B次像素亦分別為垂直排列。於圖6A中，RGB或YUV格式的第一像素為左上角垂直排列的三個次像素(以1表示)，第二像素為左上角垂直排列的三個次像素(以2表示)，第三像素為左下角垂直排列的三個次像素(以3表示)，第四像素為左下角垂直排列的三個次像素(以4表示)，然並不以此為限。不過，在一些實施例中，第一像素~第四像素的位置也可以互換，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
由於本實施例是由YUV422格式轉換為RGB格式，因此在圖6A的YUV422格式中，各群組的四像素只有Y1~Y4、U1、V1、U2、V2等次像素位置有對應的次像素值，U3~U4、V3~V4的位置並不存在有次像素值(缺，以整個圓圈顯示有斜線面表示)。
在本實施例中，將影像資料由YUV422格式轉換為RGB格 式的轉換方法，係透過像素取得單元11a分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值，且像素轉換單元12a依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值。
在一實施例的YUV422格式的四像素中，像素取得單元11a是分別取得第一像素至第四像素的Y亮度值(Y1~Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)，且像素轉換單元12a依據取得的第一像素至第四像素的Y亮度值(Y1~Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)得到第一像素與第四像素的R次像素值(R1、R4)、第二像素與第三像素的G次像素值(G2、G3)及第一像素與第四像素的B次像素值(B1、B4)。其中，在RGB格式的該四像素中，第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第三像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第二像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
在一實施例中，第一像素的R次像素值等於第一像素的Y亮度值減去16後乘以1.1644，第二像素的G次像素值等於第二像素的Y亮度值減去16後乘以1.1644，第三像素的G次像素值等於第三像素的Y亮度值減去16後乘以1.1644，第四像素的B次像素值等於第四像素的Y亮度值減去16後乘以1.1644，第一像素的B次像素值等於第一像素的U色度值減去128後乘以2.2768，再加上第一像素的R次像素值與第三像素的G次像素值的平均值，第四像素的R次像素值等於第一像素的V色度值減去128後乘以2.2768，再加上第二像素的G次像素值與第四像素的B次像素值的平均值。換言之，R1=1.1644×(Y1-16)； (34) G2=1.1644×(Y2-16)； (35) G3=1.1644×(Y3-16)； (36) B4=1.1644×(Y4-16)； (37) B1=2.2768×(U1-128)+0.5×(R1+G3)； (38) R4=2.2768×(V1-128)+0.5×(G2+B4)； (39)於此稱為第一階段反轉換，其包含四個線性反轉換編碼(R1、G2、G3、B4)，即線性映射(linear mapping)，以及二個預測線性差值反轉換編碼(B1、R4)，即差值預測(DPCM)。因此，由YUV420格式反轉換成RGB格式時，需完成第一階段反轉換程序。
上述的方程式(38)~(39)之預測線性差值線性反轉換中，反轉換可依原預測差值線性或非線性轉換編碼且採用對應於線性或非線性的反轉換編碼，其中，反轉換可用一般性反轉換編碼公式如下所示：B1=g(U1)+0.5×(R1+G3)； (40) R4=g(V1)+0.5×(G2+B4)； (41)其中，g(C)為色度值C之一般性反轉換編碼函數。若原包裝程序採預測差值為公式(9)之線性轉換，則色度值C之解包裝必須採用以下的線性反轉換編碼函數：g(C)=2.2769×(C-128)， (42)此時方程式(40)~(41)即為方程式(38)~(39)。若原包裝程序採預測差值為公式(10)之非線性轉換，則其解包裝必須採用非線性反轉換編碼，其色度值C之反轉換編碼公式則為片段線性(piece-wise linear)反函數： 另外，在本實施例中，像素取得單元11a更分別取得各群組的四像素中的另一個U色度值及另一個V色度值，且像素轉換單元12a更依據取得的該另一個U色度值、該另一個V色度值及得到的R次像素值、G次像素值與B次像素值得到另一個R次像素值及另一個B次像素值。於此，像素取得單元11a更取得第二像素的U色度值(U2)及第二像素的V 色度值(V2)，且像素轉換單元12a更依據取得的第二像素的U色度值(U2)、第二像素的V色度值(V2)及之前得到的第一像素的R次像素值(R1)、第二像素與第三像素的G次像素值(G2、G3)與第四像素的B次像素值(B4)，得到第二像素的R次像素值(R2)及第三像素的B次像素值(B3)。
其中，第二像素的R次像素值是由第二像素的U色度值及第一像素的R次像素值與第二像素的G次像素值的平均值經計算而得，第三像素的B次像素值是由第二像素的V色度值及第三像素的G次像素值與第四像素的B次像素值的平均值經計算而得。具體而言，第二像素的R次像素值等於第二像素的U色度值取反函數g(U2)，再加上第一像素的R次像素值與第二像素的G次像素值的平均值，第三像素的B次像素值等於第二像素的V色度值取反函數g(V2)，再加上第三像素的G次像素值與第四像素的B次像素值的平均值。換言之，R2=g(U2)+0.5×(R1+G2)； (44) B3=g(V2)+0.5×(G3+B4)； (45)若原包裝程序之預測差值D採公式(9)之線性轉換f(D)，則解包裝必須將色度值C等於U2或V2且以公式(42)之線性反函數g(C)計算線性反轉換。若原包裝程序之預測差值D採公式(10)之非線性轉換f(D)，則解包裝必須將色度值C以公式(43)之非線性反函數g(C)以計算非線性反轉換。
於此稱為第二階段反轉換，其包含二個預測線性差值反轉換編碼(R2、B3)。因此，由YUV422格式反轉換成RGB格式時，需完成第一階段與第二階段反轉換程序。
不過，由於YUV422格式中沒有U3~U4、V3~V4，因此，透過上述的方程式轉換成RGB格式後，如圖6A所示，各群組四像素的RGB格式中將缺少G1、B2、R3、G4等次像素。因此，為了補齊各群組的四像素中的G1、B2、R3、G4次像素值，在一實施例中，像素轉換單元12a更使用了一種平均內插解碼方法求出四個未知值(G1、B2、R3、G4)(於此稱為第一種)。其中，第一像素的G次像素值等於與第一像素的G次像素值相鄰的所有次像素值的平均值，第二像素的B次像素值等於與第二像素的B次 像素值相鄰的所有次像素值的平均值，第三像素的R次像素值等於與第三像素的R次像素值相鄰的所有次像素值的平均值，第四像素的G次像素值等於與第四像素的G次像素值相鄰的所有次像素值的平均值。
具體而言，若該未知的次像素為影像資料邊緣的次像素時，則該未知的次像素為相鄰三個次像素位置之次像素值的平均；若該未知的次像素為影像資料邊的內部次像素(非位於邊緣位置的群組)時，則該未知的次像素為相鄰四個次像素位置之次像素值的平均。例如圖6A所示，G1=0.3333(R1+G2+B1) (46)；B2=0.250(B1+R4+B’1+G2) (47)；R3=0.3333(B1+R4+G3) (48)；G4=0.250(R4+G3+B4+G’3) (49)；G’1=0.250(R’1+G2+B’1+G’2) (50)；以此類推。
藉由上述的平均內插解碼方式可補齊RGB格式中，每一群組四像素中所有缺少的次像素值(G1、B2、R3、G4)，使得RGB格式的影像資料可完整。
另外，在另一實施例中，像素轉換單元12a更可使用另一種平均內插解碼方法求出四個未知值(G1、B2、R3、G4)(於此稱為第二種)。其中，3D影像生成系統可透過彩色圖框(2D影像資料)產生與該彩色圖框對應的景深圖框，因此，景深圖框與一彩色圖框為對應關係，亦即景深圖框中的某一位置的次像素可對應至彩色圖框對應位置的次像素。如圖6B所示，景深圖框中的次像素DX可對應至彩色圖框的次像素IX，景深圖框中的次像素DT可對應至彩色圖框的次像素IT、…。
因此，在另一實施例中，第一像素的G次像素值是依據景深圖框中與第一像素的G次像素值相鄰的所有次像素值，以及彩色圖框中與第一像素的G次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第二像素的B次像素值是依據景深圖框中與第二像素的B次像素值相鄰的所有次像素值，以及彩色圖框中與第二像素的B次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第三像素的R次像素值是依據景深圖框中與第三像素的R次像素值相鄰的所有次像素值，以及彩 色圖框中與第三像素的R次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第四像素的G次像素值是依據景深圖框中與第四像素的G次像素值相鄰的所有次像素值，以及彩色圖框中第四像素的G次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到。
請再參照圖6A所示，以G1為例(G1為邊緣的次像素)，其計算過程如下所示：G1相鄰次像素R1、B1、G2的中位數為D，即D=median(R1，B1，G2)；而Cost_color定義為[|IR1-IG1|，|IB1-IG1|，|IG2-IG1|]，其中，I為彩色圖框中，對應於景深圖框位置的次像素值，假設Cost_color得到的值依序為1a、1b、1c；另Cost_depth定義為[|R1-D|，|B1-D|，|G2-D|]，假設Cost_depth得到的值依序為2a、2b、2c，再將Cost_color的值對應加上Cost_depth的值，可得到三個值，即(1a+1b)、(2a+2b)、(3a+3b)，再取這三個值的中位數而得到D’；其中，若(1a+1b)≦D’，則保留次像素值R1，否則捨去R1；若(2a+2b)≦D’，則保留次像素值B1，否則捨去B1；若(3a+3b)≦D’，則保留次像素值G2，否則捨去G2；再取保留的次像素值的平均值作為G1的次像素值。
再以B2為例(B2為內部的次像素)，其計算過程如下所示：B2相鄰次像素G2、R4、B1、B1’的中位數為D，即D=median(G2，R4，B1，B1’)；Cost_color定義為[|IG2-IB2|，|IR4-IB2|，|IB1-IB2|，|IB1’-IB2|]，假設Cost_color得到的值依序為1a、1b、1c、1d；而Cost_depth定義為[|G2-D|，|R4-D|，|B1-D|，|B1’-D|]，假設Cost_depth得到的值依序為2a、2b、2c、2d，再將Cost_color的值對應加上Cost_depth的值，可得到四個值：(1a+1b)、(2a+2b)、(3a+3b)、(4a+4b)，再取這四個值的中位數而得到D’；同樣地，若(1a+1b)、(2a+2b)、(3a+3b)或(4a+4b)≦D’時，則保留該次像素值，否則就捨去，再取保留次像素值的平均值作為B2的次像素值。此外，未知的次像素R3、G4的值可以此類推而得到。藉此可得到四個未知值(G1、B2、R3、G4)。
另外，請參照圖6C所示，其為一實施例的影像資料由YUV420格式轉換為RGB格式的示意圖。
在VUV420格式的本實施例中，各群組之各像素的Y亮度值、U色度值及V色度值分別為垂直排列(位於同一行中)，而轉換後的 RGB格式的影像資料之各像素的R、G、B次像素亦分別為垂直排列。另外，在一些實施例中，第一像素~第四像素的位置也可以互換，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
由於本實施例是由YUV420格式轉換為RGB格式，因此在圖6C的YUV420格式中，只有Y1~Y4亮度及U1、V1色度位置有對應的次像素值，U2~U4、V2~V4的位置並不存在有色度值(缺)。因此，除了各群組四像素中將缺少上述的G1、B2、R3、G4等次像素外，更缺少R2、B3等次像素。因此，除了上述利用二種平均內插解碼方式求出四個未知值(G1、B2、R3、G4)等次像素(例如上述方程式(46)~(50))外，更可利用與上述方法相同的二種平均內插解碼方式求出另二個未知值：R2、B3。
在一實施例之第一種平均內插解碼方法中，第二像素的R次像素值等於與第二像素的R次像素值相鄰的所有次像素值的平均值，第三像素的B次像素值等於與第三像素的B次像素值相鄰的所有次像素值的平均值。
同樣的，若該未知的次像素為影像資料邊緣的次像素時，則該未知的次像素為相鄰的次像素值的三點平均；若該未知的次像素為影像資料邊的內部次像素(非位於外側邊緣)時，則該未知的次像素為的相鄰次像素值的四點平均。例如圖6C所示，R2=0.3333(R1+G2+R’1)；B3=0.3333(G3+B4+R”1)；B’3=0.250(G’3+B4+R'''1+B’4)；以此類推。
或者，在另一實施例之第二種平均內插解碼方法中，第二像素的R次像素值是依據景深圖框中與第二像素的R次像素值相鄰的所有次像素值，以及彩色圖框中與第二像素的R次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第三像素的B次像素值是依據景深圖框中與第三像素的B次像素值相鄰的所有次像素值，以及彩色圖框中與第三像素的B次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到。其計算方法可參照上述，於此不再贅述。
因此，為了補齊各群組的四像素中的R、G、B次像素值，本案的像素轉換單元12a可使用二種平均內插解碼方式求出六個未知值(G1、B2、R3、G4、R2、B3)。
另外，在另一實施例中，若要將YUV444格式的影像資料轉換成RGB格式時，由於YUV444格式的影像資料的每一群組的四像素的Y亮度值、U色度值、V色度值都有，因此，除了上述YUV422格式中轉換得到的R1、G2、G3、B4、B1、R4、R2與B3等次像素之外(完成上述的第一階段與第二階段反轉換程序)，像素取得單元11a更分別取得四像素其餘的U色度值(U3、U4)及其餘的V色度值(V3、V4)，且像素轉換單元12a更依據取得的該些U色度值、該些V色度值及得到的R次像素值、G次像素值與B次像素值，得到其餘的R次像素值(R3)、其餘的G次像素值(G1、G4)及其餘的B次像素值(B2)；其中，第一像素的G次像素值是由第三像素的U色度值及第一像素的R次像素值與第一像素的B次像素值的平均值經計算而得，第四像素的G次像素值是由第三像素的V色度值及第四像素的R次像素值與第四像素的B次像素值的平均值經計算而得，第三像素的R次像素值是由第四像素的U色度值及第一像素的B次像素值與第三像素的G次像素值的平均值經計算而得，第二像素的B次像素值是由第四像素的V色度值及第二像素的G次像素值與第四像素的R次像素值的平均值經計算而得。
在一實施例中，第一像素的G次像素值等於第三像素的U色度值取反函數g(U3)，再加上第一像素的R次像素值與第一像素的B次像素值的平均值，第四像素的G次像素值等於第三像素的V色度值取反函數g(V3)，再加上第四像素的R次像素值與第四像素的B次像素值的平均值，第三像素的R次像素值等於第四像素的U色度值取反函數g(U4)，再加上第一像素的B次像素值與第三像素的G次像素值的平均值，第二像素的B次像素值等於第四像素的V色度值取反函數g(V4)，再加上第二像素的G次像素值與第四像素的R次像素值的平均值。具體而言，G1=g(U3)+0.5×(R1+B1)；G4=g(V3)+0.5×(R4+B4)； R3=g(U4)+0.5×(B1+G3)；B2=g(V4)+0.5×(G2+R4)；若原包裝程序之預測差值D採公式(9)之線性轉換f(D)，則解包裝必須將色度值C等於U3、V3、U4或V4以公式(42)之線性反函數g(C)計算線性反轉換。若原包裝程序之預測差值D採公式(10)之非線性轉換f(D)，則解包裝必須將色度值C以公式(43)之非線性反函數g(C)以計算非線性反轉換。
於此稱為第三階段反轉換，其包含四個預測線性差值反轉換編碼(G1、G4、R3、B2)。因此，由YUV444格式反轉換成RGB格式時，需完成上述的第一階段、第二階段與第三階段反轉換程序。
另外，請再參照圖5B及圖7所示，其中，圖7為本發明較佳實施例之一種將影像資料由YUV格式轉換為RGB格式的轉換方法的另一流程示意圖。
影像資料例如但不限於為景深圖框的影像資料，並具有YUV格式，經轉換電路1a轉換後可得到RGB格式的影像資料。在本實施例中，具YUV格式的影像資料包含四個相鄰像素的複數群組，亦即每一個群組具有四個相鄰的像素。因此，以下是將影像資料中所有群組的四像素都由RGB格式轉換成YUV格式。其中，每一群組的四個像素分別為一第一像素、一第二像素、一第三像素及一第四像素，第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列。另外，每一個像素的Y亮度值、U色度值、V色度值分別為水平排列。換言之，每一個像素的Y亮度值、U色度值、V色度值是位於同一列中(水平方向)。
如圖7所示，將影像資料由YUV格式轉換為RGB格式的轉換方法包括步驟R01至步驟R02。步驟R01為：分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值，而步驟R02為：依據取得的該些Y亮度值、U色度值與V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值經計算而得，第二像素的G次 像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第二像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
另外，像素取得單元11a可由影像資料的每一群組中分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值，而像素轉換單元12a依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值。在一實施例中，轉換電路1a可包含例如可以加/減法器及乘/除法器。
像素取得單元11a可依據轉換需求分別取得每一群組轉換時對應所需的Y亮度值、U色度值與V色度值，且像素轉換單元12a將取得的Y亮度值、U色度值與V色度值轉換而得到RGB格式。以下，將以實施例來說明上述的轉換方法。
請參照圖8A所示，其為一實施例的影像資料由YUV422格式轉換為RGB格式的示意圖。於此，在YUV422的格式中，各群組之各像素的Y亮度值及U色度值、V色度值分別為水平排列(位於同一列中)，而轉轉換後的RGB格式的影像資料之各像素的R、G、B次像素亦分別為水平排列。不過，在一些實施例中，第一像素~第四像素的位置也可以互換，只要符合第一像素分別與第二像素及第三像素相鄰排列，且第四像素分別與第二像素及第三像素相鄰排列即可。
由於本實施例是由YUV422格式轉換為RGB格式，因此在圖8A的YUV422格式中，只有Y1~Y4亮度值及U1、V1、U2、V2等色度值的位置有對應的次像素值，U3~U4、V3~V4的位置並不存在有色度值(缺)。
在本實施例中，將影像資料由YUV格式轉換為RGB格式的轉換方法，係透過像素取得單元11a分別取得四像素的四個Y亮度值、一個U色度值及一個V色度值，且像素轉換單元12a依據取得的該些Y亮 色度值、U色度值與V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值。在一實施例的YUV422格式的四像素中，像素取得單元11a是分別取得第一像素至第四像素的Y亮度值(Y1~Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)，且像素轉換單元12a依據取得的第一像素至第四像素的Y亮度值(Y1~Y4)、第一像素的U色度值(U1)及第一像素V色度值(V1)得到第一像素與第四像素的R次像素值(R1、R4)、第二像素與第三像素的G次像素值(G2、G3)及第一像素與第四像素的B次像素值(B1、B4)。其中，在RGB格式的四像素中，第一像素的R次像素值是由第一像素的Y亮度值經計算而得，第二像素的G次像素值是由第二像素的Y亮度值經計算而得，第三像素的G次像素值是由第三像素的Y亮度值經計算而得，第四像素的B次像素值是由第四像素的Y亮度值經計算而得，第一像素的B次像素值是由第一像素的U色度值及第一像素的R次像素值與第二像素的G次像素值的平均值經計算而得，第四像素的R次像素值是由第一像素的V色度值及第三像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
在一實施例中，第一像素的R次像素值等於第一像素的Y亮度值減去16後乘以1.1644，第二像素的G次像素值等於第二像素的Y亮度值減去16後乘以1.1644，第三像素的G次像素值等於第三像素的Y亮度值減去16後乘以1.1644，第四像素的B次像素值等於第四像素的Y亮度減去16後乘以1.1644，第一像素的B次像素值等於第一像素的U色度值取反函數g(U1)，再加上第一像素的R次像素值與第二像素的G次像素值的平均值，第四像素的R次像素值等於第一像素的V色度值取反函數g(V1)，再加上第三像素的G次像素值與第四像素的B次像素值的平均值。換言之，R1=1.1644×(Y1-16)；G2=1.1644×(Y2-16)；G3=1.1644×(Y3-16)；B4=1.1644×(Y4-16)；B1=g(U1)+0.5×(R1+G2)； R4=g(V1)+0.5×(G3+B4)；若原包裝程序之預測差值D採公式(9)之線性轉換f(D)，則解包裝必須將色度值C等於U2或V2以公式(42)之線性反函數g(C)計算線性反轉換。若原包裝程序之預測差值D採公式(10)之非線性轉換f(D)，則解包裝必須將色度值C以公式(43)之非線性反函數g(C)以計算非線性反轉換。
於此亦稱為第一階段反轉換，其包含四個線性反轉換編碼(R1、G2、G3、B4)及二個預測線性差值反轉換編碼(B1、R4)。因此，由YUV420格式反轉換成RGB格式時，需完成第一階段反轉換程序。
另外，在本實施例中，像素取得單元11a更分別取得各群組的四像素中的另一個U色度值及另一個V色度值，且像素轉換單元12a更依據依據取得的該另一個U色度值、該另一個V色度值及上述得到的R次像素值、G次像素值與B次像素值，得到另一個R次像素值及另一個B次像素值。於此，像素取得單元11a更取得第二像素的U色度值(U2)及第二像素的V色度值(V2)，且像素轉換單元12a更依據取得的第二像素的U色度值(U2)、第二像素的V色度值(V2)及之前得到的第一像素的R次像素值(R1)、第二像素與第三像素的G次像素值(G2、G3)與第四像素的B次像素值(B4)，得到第三像素的R次像素值(R3)及第二像素的B次像素值(B2)。其中，第三像素的R次像素值是由第二像素的U色度值及第一像素的R次像素值與第三像素的G次像素值的平均值經計算而得，第二像素的B次像素值是由第二像素的V色度值及第二像素的G次像素值與第四像素的B次像素值的平均值經計算而得。
具體而言，第三像素的R次像素值等於第二像素的U色度值取反函數g(U2)，再加上第一像素的R次像素值與第三像素的G次像素值的平均值，第二像素的B次像素值等於第二像素的V色度值取反函數g(V2)，再加上第二像素的G次像素值與第四像素的B次像素值的平均值。換言之，R3=g(U2)+0.5×(R1+G3)；B2=g(V2)+0.5×(G2+B4)；若原包裝程序之預測差值D採公式(9)之線性轉換f(D)，則 解包裝必須將色度值C等於U2或V2以公式(42)之線性反函數g(C)計算線性反轉換。若原包裝程序之預測差值D採公式(10)之非線性轉換f(D)，則解包裝必須將色度值C以公式(43)之非線性反函數g(C)以計算非線性反轉換。
於此稱為第二階段反轉換程序，其包含二個預測線性差值反轉換編碼(R3、B2)。因此，由YUV422格式反轉換成RGB格式時，需完成第一階段與第二階段反轉換程序。
不過，由於YUV422格式的影像資料缺少U3~U4、V3~V4，因此，透過上述的方程式轉換成RGB格式後，各群組四像素中將缺少G1、B3、R2、G4等次像素。因此，為了補齊各群組的四像素中的R、G、B次像素值，在一實施例中，像素轉換單元12a更使用第一種平均內插解碼方式求出四個未知值(G1、B3、R2、G4)。其中，第一像素的G次像素值等於與第一像素的G次像素值相鄰的所有次像素值的平均值，第三像素的B次像素值等於與第三像素的B次像素值相鄰的所有次像素值的平均值，第二像素的R次像素值等於與第二像素的R次像素值相鄰的所有次像素值的平均值，第四像素的G次像素值等於與第四像素的G次像素值相鄰的所有次像素值的平均值。
具體而言，若該未知的次像素為影像資料邊緣的次像素時，則該未知的次像素為相鄰的次像素值的三點平均；若該未知的次像素為影像資料邊的內部次像素(非位於外側邊緣)時，則該未知的次像素為相鄰四次像素值的四點平均。例如圖8A所示，G1=0.3333(R1+G3+B1)；B3=0.250(B1+G3+B’1+R4)；R2=0.3333(B1+G2+R4)；G4=0.250(R4+G’2+B4+G2)；G’1=0.250(R’1+G’3+B’1+G3)；以此類推。
藉由上述的平均內插解碼方式可補齊RGB格式中，每一群組四像素所缺少的次像素(G1、B3、R2、G4)，以得完整的RGB格式的影像資料。
另外，在另一實施例中，像素轉換單元12a更使用第二種平 均內插解碼方法求出四個未知值(G1、B3、R2、G4)。其中，3D影像生成系統可透過彩色圖框(2D影像資料)產生與該彩色圖框對應的景深圖框，因此，景深圖框與一彩色圖框為對應關係，亦即景深圖框中的某一位置的次像素可對應至彩色圖框對應位置的次像素。
因此，於像素轉換單元12a中，第一像素的G次像素值是依據景深圖框中與第一像素的G次像素值相鄰的所有次像素值，以及彩色圖框中與第一像素的G次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第三像素的B次像素值是依據景深圖框中與第三像素的B次像素值相鄰的所有次像素值，以及彩色圖框中與第三像素的B次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第二像素的R次像素值是依據景深圖框中與第二像素的R次像素值相鄰的所有次像素值，以及彩色圖框中與第二像素的R次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第四像素的G次像素值是依據景深圖框中與第四像素的G次像素值相鄰的所有次像素值，以及彩色圖框中第四像素的G次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到。其計算方法可參照上述，於此不再贅述。
另外，請參照圖8B所示，其為一實施例的影像資料由YUV420格式轉換為RGB格式的示意圖。
由於本實施例是由YUV420格式轉換為RGB格式，因此在圖8B的YUV420格式中，只有Y1~Y4亮度值及U1色度值、V1色度值的位置有對應的次像素值，U2~U4、V2~V4的位置並不存在有次像素值(缺)。因此，除了各群組四像素中將缺少圖8A的G1、B3、R2、G4等次像素外，更缺少R3、B2。因此，除了上述利用二種平均內插解碼方式求出四個未知值(G1、B3、R2、G4)等次像素，更可利用與上述方法相同的二種平均內插解碼方式求出另二個未知值(R3、B2)等次像素。在一實施例的第一種平均內插解碼方法中，第三像素的R次像素值等於與第三像素的R次像素值相鄰的所有次像素值的平均值，第二像素的B次像素值等於與第二像素的B次像素值相鄰的所有次像素值的平均值。例如圖8B所示，R3=0.3333(R1+G3+R’1)； B2=0.3333(G2+B4+R”1)；B’2=0.250(G’2+B”4+R'''1+B4)；以此類推。
或者，在另一實施例的第二種平均內插解碼方法中，第三像素的R次像素值是依據景深圖框中與第三像素的R次像素值相鄰的所有次像素值，以及彩色圖框中與第三像素的R次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到，第二像素的B次像素值是依據景深圖框中與第二像素的B次像素值相鄰的所有次像素值，以及彩色圖框中與第二像素的B次像素值對應位置之次像素的相鄰的所有次像素值經計算而得到。其計算方法亦可參照上述，於此不再贅述。
因此，為了補齊各群組的四像素中的R、G、B次像素值，本案的像素轉換單元12a可使用二種平均內插解碼方式求出六個未知值(G1、B3、R2、G4、R3、B2)。
另外，在另一實施例中，若要將YUV444格式的影像資料轉換成RGB格式時，由於YUV444格式的影像資料的每一群組的四像素的Y亮度值及U色度值、V色度值都有，因此，除了上述YUG422格式中轉換得到的次像素之外(R1、G2、G3、B4、B1、R4、R3與B2，即完成上述的第一階段與第二階段反轉換程序)，像素取得單元11a更分別取得四像素其餘的U色度值(U3、U4)及其餘的V色度值(V3、V4)，且像素轉換單元12a更依據取得的該些U色度值、該些V色度值及得到的R次像素值、G次像素值與B次像素值得到其餘的R次像素值(R2)、其餘的G次像素值(G1、G4)及其餘的B次像素值(B3)；其中，第一像素的G次像素值是由第三像素的U色度值及第一像素的R次像素值與第一像素的B次像素值的平均值經計算而得，第四像素的G次像素值是由第三像素的V色度值及第四像素的R次像素值與第四像素的B次像素值的平均值經計算而得，第二像素的R次像素值是由第四像素的U色度值及第一像素的B次像素值與第二像素的G次像素值的平均值經計算而得，第三像素的B次像素值是由第四像素的V色度值及第三像素的G次像素值與第四像素的R次像素值的平均值經計算而得。
在一實施例中，第一像素的G次像素值等於第三像素的U 色度值取反函數g(U3)，再加上第一像素的R次像素值與第一像素的B次像素值的平均值，第四像素的G次像素值等於第三像素的V色度值取反函數g(V3)，再加上第四像素的R次像素值與第四像素的B次像素值的平均值，第二像素的R次像素值等於第四像素的U色度值取反函數g(U4)，再加上第一像素的B次像素值與第二像素的G次像素值的平均值，第三像素的B次像素值等於第四像素的V色度值取反函數g(V4)，再加上第三像素的G次像素值與第四像素的R次像素值的平均值。具體而言，G1=g(U3)+0.5×(R1+B1)；G4=g(V3)+0.5×(R4+B4)；R2=g(U4)+0.5×(B1+G2)；B3=g(V4)+0.5×(G3+R4)；若原包裝程序之預測差值D採公式(9)之線性轉換f(D)，則解包裝必須將色度值C等於U3、V3、U4或V4以公式(42)之線性反函數g(C)計算線性反轉換。若原包裝程序之預測差值D採公式(10)之非線性轉換f(D)，則解包裝必須將色度值C以公式(43)之非線性反函數g(C)以計算非線性反轉換。
於此稱為第三階段反轉換，其包含四個預測線性差值反轉換編碼(G1、G4、R2、B3)。因此，由YUV444格式反轉換成RGB格式時，需完成上述的第一階段、第二階段與第三階段反轉換程序。
此外，應用習知技術與本技術分別將一景深圖框的影像資料由RGB格式轉換YUV420格式，再由YUV420格式轉換為RGB格式後，在一實施例，習知技術所得到景深圖框的峰值信號雜訊比(Peak Signal to Noise Ratio,PSNR)與本技術以第一種平均內插解碼或第二種平均內插解碼後得到的PSNR較差，明顯地，本技術的PSNR比較高，影像品質比較好。
另外，請參照圖9A至圖10C所示，其中，圖9A與圖10A分別為習知技術由RGB格式轉換YUV420格式，再由YUV420格式轉換為RGB格式後之景深圖框示意圖，而圖9B、圖9C與圖10B、圖10C分別為本技術由RGB格式轉換YUV420格式，再由YUV420格式轉換為RGB格式後之景深圖框示意圖。於此，圖9B與圖10B是利用上述第一種平均內插 解碼方式補齊每一群組的六個未知次像素值，而圖9C與圖10C是利用上述第二種平均內插解碼方式補齊每一群組的六個未知次像素值。
如圖9A與圖10A所示，在大景深落差的地方(即景深落差劇變區位置)，例如人的右臂邊緣處，圖9A與圖10A有明顯的白點及鋸齒狀，而圖9B與圖10B、圖9C與圖10C的相同位置都沒有白點而且線條也比較平滑，相對的失真較少。因此，本技術的轉換與反轉換方法與電路是以漸次預測解碼方式及平均內插解碼填入方式求得未知的損失點，相較習知技術而言，可以獲得較佳RGB格式的轉換以還原較佳原始的景深圖框，因此，可以改善習知在景深落差劇變區位置上的失真現象。
綜上所述，本發明應用於景深包裝之RGB格式與YUV格式的轉換方法及其電路與習知轉換技術的做法不同，並不是以RGB或YUV中的三個變數去做轉換，但是同樣可具有壓縮效率較高、資料量較少及傳輸效率較高的優點，亦可有效降低現有傳輸設備及傳輸頻寬之負擔。
另外，本發明應用於景深解包裝之RGB格式與YUV格式的反轉換的方法及其電路中，可以還原成較佳原始的景深圖框，因此，可以改善在景深落差劇變區位置上的失真現象。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

Claims (12)

  1. 一種將景深圖框包裝之RGB格式轉換至YUV格式的方法，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的該景深圖框至少包含一組四像素，每一組該四像素的R次像素、G次像素、B次像素分別為垂直排列，該四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，該第一像素分別與該第二像素及該第三像素相鄰排列，且該第四像素分別與該第二像素及該第三像素相鄰排列，該方法包括以下步驟：分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的該四像素中，該第一像素的Y亮度值是由RGB格式之該第一像素的R次像素值經計算而得到，該第二像素的Y亮度值是由該第二像素的G次像素值經計算而得，該第三像素的Y亮度值是由該第三像素的G次像素值經計算而得，該第四像素的Y亮度值是由該第四像素的B次像素值經計算而得，該第一像素的U色度值是由該第一像素的B次像素值-1/2(該第一像素的R次像素值+該第三像素的G次像素值)後經計算而得，該第一像素的V色度值是由該第四像素的R次像素值-1/2(該第二像素的G次像素值+該第四像素的B次像素值)後經計算而得。
  2. 如申請專利範圍第1項所述的方法，其中該第一像素的Y亮度值等於0.8588乘以該第一像素的R次像素值後加16，該第二像素的Y亮度值等於0.8588乘以該第二像素的G次像素值後加16，該第三像素的Y亮度值等於0.8588乘以該第三像素的G次像素值後加16，該第四像素的Y亮度值等於0.8588乘以該第四像素的B次像素值後加16，該第一像素的U色度值等於第一像素的B次像素值-1/2(該第一像素的R次像素值+該第三像素的G次像素值)後乘以0.4392加128，該第一像素的V色度值等於該第四像素的R次像素值-1/2(該第二像素的G次像素值+該第四像素的B次像素值)後乘以0.4392加128。
  3. 一種電路，應用於執行如申請專利範圍第1項至第2項中任一項所述之將景深圖框包裝之RGB格式轉換至YUV格式的方法，該電路包括：一像素取得單元，分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及一像素轉換單元，依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的該四像素中，該第一像素的Y亮度值是由RGB格式之該第一像素的R次像素值經計算而得到，該第二像素的Y亮度值是由該第二像素的G次像素值經計算而得，該第三像素的Y亮度值是由該第三像素的G次像素值經計算而得，該第四像素的Y亮度值是由該第四像素的B次像素值經計算而得，該第一像素的U色度值是由該第一像素的B次像素值-1/2(該第一像素的R次像素值+該第三像素的G次像素值)後經計算而得，該第一像素的V色度值是由該第四像素的R次像素值-1/2(該第二像素的G次像素值+該第四像素的B次像素值)後經計算而得。
  4. 一種將景深圖框包裝之RGB格式轉換至YUV格式的方法，其中RGB格式包括R次像素、G次像素與B次像素，YUV格式包括Y亮度、U色度與V色度，具有RGB格式的該景深圖框至少包含一組四像素，每一組該四像素的R次像素、G次像素、B次像素分別為水平排列，該四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，該第一像素分別與該第二像素及該第三像素相鄰排列，且該第四像素分別與該第二像素及該第三像素相鄰排列，該方法包括以下步驟：分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度；其中，在YUV格式的該四像素中，該第一像素的Y亮度值是由RGB格式之該第一像素的R次像素值經計算而得到，該第二像素的Y亮度值是由該第二像素的G次像素值經計算而得，該第三像素的Y亮度值是由該第三像素的G次像素值經計算而得，該第四像素的Y亮度值是由該第四像素的B次像素值經計算而得，該第一像素的U色度值是由該第一像素的B次像素值-1/2(該第一像素的R次像素值+該第二像素的G次像素值)後經計算而得，該第一像素的V色度值是由該第四像素的R次像素值-1/2(該第三像素的G次像素值+該第四像素的B次像素值)後經計算而得。
  5. 如申請專利範圍第4項所述的方法，其中該第一像素的Y亮度值等於0.8588乘以該第一像素的R次像素值後加16，該第二像素的Y亮度值等於0.8588乘以該第二像素的G次像素值後加16，該第三像素的Y亮度值等於0.8588乘以該第三像素的G次像素值後加16，該第四像素的Y亮度值等於0.8588乘以該第四像素的B次像素值後加16，該第一像素的U色度值等於第一像素的B次像素值-1/2(該第一像素的R次像素值+該第二像素的G次像素值)後之預測差值經函數轉換加128，該第一像素的V色度值等於該第四像素的R次像素值-1/2(該第三像素的G次像素值+該第四像素的B次像素值)後之預測差值經函數轉換再加128。
  6. 一種電路，應用於執行如申請專利範圍第4項至第5項中任一項所述的將景深圖框包裝之RGB格式轉換至YUV格式的方法，該電路包括：一像素取得單元，分別取得該四像素中具有交錯位置的二個R次像素值、二個G次像素值及二個的B次像素值；以及一像素轉換單元，依據取得的該些R次像素值、該些G次像素值與該些B次像素值得到YUV格式的四個Y亮度值、一個U色度值及一個V色度值；其中，在YUV格式的該四像素中，該第一像素的Y亮度值是由RGB格式之該第一像素的R次像素值經計算而得到，該第二像素的Y亮度值是由該第二像素的G次像素值經計算而得，該第三像素的Y亮度值是由該第三像素的G次像素值經計算而得，該第四像素的Y亮度值是由該第四像素的B次像素值經計算而得，該第一像素的U色度值是由該第一像素的B次像素值-1/2(該第一像素的R次像素值+該第二像素的G次像素值)後經計算而得，該第一像素的V色度值是由該第四像素的R次像素值-1/2(該第三像素的G次像素值+該第四像素的B次像素值)後經計算而得。
  7. 一種將景深圖框解包裝之YUV格式轉換至RGB格式的方法，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的該景深圖框至少包含一組四像素，每一組該四像素的Y亮度、U色度、V色度分別為垂直排列，該四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，該第一像素分別與該第二像素及該第三像素相鄰排列，且該第四像素分別與該第二像素及該第三像素相鄰排列，該方法包括以下步驟：分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值；以及依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的該四像素中，該第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，該第二像素的G次像素值是由該第二像素的Y亮度值經計算而得，該第三像素的G次像素值是由該第三像素的Y亮度值經計算而得，該第四像素的B次像素值是由該第四像素的Y亮度值經計算而得，該第一像素的B次像素值是由該第一像素的U色度值及該第一像素的R次像素值與該第三像素的G次像素值的平均值經計算而得，該第四像素的R次像素值是由該第一像素的V色度值及該第二像素的G次像素值與該第四像素的B次像素值的平均值經計算而得。
  8. 如申請專利範圍第7項所述的方法，其中該第一像素的R次像素值等於該第一像素的Y亮度值減去16後乘以1.1644，該第二像素的G次像素值等於該第二像素的Y亮度值減去16後乘以1.1644，該第三像素的G次像素值等於該第三像素的Y亮度值減去16後乘以1.1644，該第四像素的B次像素值等於該第四像素的Y亮度值減去16後乘以1.1644，該第一像素的B次像素值等於第一像素的U色度值減去128後乘以2.2768，再加上該第一像素的R次像素值與該第三像素的G次像素值的平均值，該第四像素的R次像素值等於第一像素的V色度值減去128後乘以2.2768，再加上該第二像素的G次像素值與該第四像素的B次像素值的平均值。
  9. 一種電路，應用於執行如申請專利範圍第7項至第8項中任一項所述的將景深圖框解包裝之YUV格式轉換至RGB格式的方法，該電路包括：一像素取得單元，分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值；以及一像素轉換單元，依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的該四像素中，該第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，該第二像素的G次像素值是由該第二像素的Y亮度值經計算而得，該第三像素的G次像素值是由該第三像素的Y亮度值經計算而得，該第四像素的B次像素值是由該第四像素的Y亮度值經計算而得，該第一像素的B次像素值是由該第一像素的U色度值及該第一像素的R次像素值與該第三像素的G次像素值的平均值經計算而得，該第四像素的R次像素值是由該第一像素的V色度值及該第二像素的G次像素值與該第四像素的B次像素值的平均值經計算而得。
  10. 一種將景深圖框解包裝之YUV格式轉換至RGB格式的方法，其中YUV格式包括Y亮度、U色度與V色度，RGB格式包括R次像素、G次像素與B次像素，具有YUV格式的該景深圖框至少包含一組四像素，每一組該四像素的Y亮度、U色度、V色度分別為水平排列，該四像素分別為一第一像素、一第二像素、一第三像素及一第四像素，該第一像素分別與該第二像素及該第三像素相鄰排列，且該第四像素分別與該第二像素及該第三像素相鄰排列，該方法包括以下步驟：分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值；以及依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的該四像素中，該第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，該第二像素的G次像素值是由該第二像素的Y亮度值經計算而得，該第三像素的G次像素值是由該第三像素的Y亮度值經計算而得，該第四像素的B次像素值是由該第四像素的Y亮度值經計算而得，該第一像素的B次像素值是由該第一像素的U色度值及該第一像素的R次像素值與該第二像素的G次像素值的平均值經計算而得，該第四像素的R次像素值是由該第一像素的V色度值及該第三像素的G次像素值與該第四像素的B次像素值的平均值經計算而得。
  11. 如申請專利範圍第10項所述的方法，其中該第一像素的R次像素值等於該第一像素的Y亮度值減去16後乘以1.1644，該第二像素的G次像素值等於該第二像素的Y亮度值減去16後乘以1.1644，該第三像素的G次像素值等於該第三像素的Y亮度值減去16後乘以1.1644，該第四像素的B次像素值等於該第四像素的Y亮度值減去16後乘以1.1644，該第一像素的B次像素值等於第一像素的U色度值取其反函數，再加上該第一像素的R次像素值與該第二像素的G次像素值的平均值，該第四像素的R次像素值等於第一像素的V色度值取其反函數，再加上該第三像素的G次像素值與該第四像素的B次像素值的平均值。
  12. 一種電路，應用於執行如申請專利範圍第10項至第11項中任一項所述的將景深圖框解包裝之YUV格式轉換至RGB格式的方法，該電路包括：一像素取得單元，分別取得該四像素的四個Y亮度值、一個U色度值及一個V色度值；以及一像素轉換單元，依據取得的該些Y亮度值、該U色度值與該V色度值得到RGB格式的二個R次像素值、二個G次像素值及二個B次像素值；其中，在RGB格式的該四像素中，該第一像素的R次像素值是由該第一像素的Y亮度值經計算而得，該第二像素的G次像素值是由該第二像素的Y亮度值經計算而得，該第三像素的G次像素值是由該第三像素的Y亮度值經計算而得，該第四像素的B次像素值是由該第四像素的Y亮度值經計算而得，該第一像素的B次像素值是由該第一像素的U色度值及該第一像素的R次像素值與該第二像素的G次像素值的平均值經計算而得，該第四像素的R次像素值是由該第一像素的V色度值及該第三像素的G次像素值與該第四像素的B次像素值的平均值經計算而得。
TW106115031A 2016-05-09 2017-05-05 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路 TWI629892B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662333502P 2016-05-09 2016-05-09
US62/333,502 2016-05-09

Publications (2)

Publication Number Publication Date
TW201740718A TW201740718A (zh) 2017-11-16
TWI629892B true TWI629892B (zh) 2018-07-11

Family

ID=60243600

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115031A TWI629892B (zh) 2016-05-09 2017-05-05 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路

Country Status (3)

Country Link
US (1) US10242646B2 (zh)
CN (1) CN107360429B (zh)
TW (1) TWI629892B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656664B1 (ko) * 2016-10-06 2024-04-12 삼성디스플레이 주식회사 표시장치
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
CN107948652B (zh) * 2017-11-21 2021-04-13 海信视像科技股份有限公司 一种进行图像转换的方法和设备
CN108200420B (zh) * 2018-01-16 2020-05-19 奇酷互联网络科技（深圳）有限公司 图像调节方法、装置、可读存储介质及终端
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
TWI673684B (zh) * 2018-04-12 2019-10-01 國立成功大學 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路
US11017566B1 (en) * 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US20220245862A1 (en) * 2020-04-28 2022-08-04 Shenzhen Sitan Technology Co., Ltd. Image processing method and device, camera apparatus and storage medium
CN111526366B (zh) * 2020-04-28 2021-08-06 深圳市思坦科技有限公司 图像处理方法、装置、摄像设备和存储介质
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
WO2022125500A1 (en) 2020-12-08 2022-06-16 E Ink Corporation Methods for driving electro-optic displays
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200740250A (en) * 2006-04-12 2007-10-16 Arcadyan Technology Corp Method for transforming color space of image
TW200822723A (en) * 2006-07-26 2008-05-16 Sony Corp Image processor and method, program, and recording medium
TW200904206A (en) * 2007-07-05 2009-01-16 Inventec Corp Improved RGB images scaling or resizing method
EP2222087A1 (en) * 2009-02-19 2010-08-25 Thomson Licensing Bit depth upscaling in RGB colour space for reducing propagation of errors due to transformation to YUV colour space
CN103489427A (zh) * 2012-06-14 2014-01-01 深圳深讯和科技有限公司 Yuv转换成rgb以及rgb转换成yuv的方法和***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
TWI602144B (zh) 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
TWI603290B (zh) 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
TWI602145B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝圖框之解包裝方法、裝置及系統
TWI503788B (zh) 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
US9854201B2 (en) * 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200740250A (en) * 2006-04-12 2007-10-16 Arcadyan Technology Corp Method for transforming color space of image
TW200822723A (en) * 2006-07-26 2008-05-16 Sony Corp Image processor and method, program, and recording medium
TW200904206A (en) * 2007-07-05 2009-01-16 Inventec Corp Improved RGB images scaling or resizing method
EP2222087A1 (en) * 2009-02-19 2010-08-25 Thomson Licensing Bit depth upscaling in RGB colour space for reducing propagation of errors due to transformation to YUV colour space
CN103489427A (zh) * 2012-06-14 2014-01-01 深圳深讯和科技有限公司 Yuv转换成rgb以及rgb转换成yuv的方法和***

Also Published As

Publication number Publication date
TW201740718A (zh) 2017-11-16
US10242646B2 (en) 2019-03-26
US20170323617A1 (en) 2017-11-09
CN107360429A (zh) 2017-11-17
CN107360429B (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
TWI629892B (zh) 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路
JP7356478B2 (ja) カラー・ピクチャを符号化および復号する方法および装置
US7286136B2 (en) Display and weighted dot rendering method
CN106101708B (zh) 用于广色域视频编码的感知颜色变换
JP4773966B2 (ja) ビデオ圧縮の方法と装置
US11006151B2 (en) Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
JP2012511870A5 (zh)
CN107465939B (zh) 视频图像数据流的处理方法及装置
CN102118624A (zh) 一种从rgb色彩空间到yuv色彩空间的图像转换方法
CN108476325A (zh) 高动态范围颜色转换校正
US20100165078A1 (en) Image compression using checkerboard mosaic for luminance and chrominance color space images
US9858889B2 (en) Color compensation circuit, display apparatus, and color compensation method
US8055069B2 (en) Image data sampling method
TWI472232B (zh) 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介
CN109326251B (zh) 影像数据压缩方法以及时序控制器
Takeuchi et al. A gamut-extension method considering color information restoration using convolutional neural networks
TWI633791B (zh) 景深圖框包裝及解包裝之rgb格式的調整與重建方法及電路
JP2018507618A (ja) カラー・ピクチャを符号化および復号する方法および装置
TWI673684B (zh) 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路
KR100726067B1 (ko) 이미지 포멧 변환 방법
US20170223358A1 (en) Method and device for encoding a multidimensional digital signal, in particular an image signal, and corresponding method and device for decoding
CN115063325A (zh) 一种视频信号处理方法、装置、计算机设备和存储介质
Kwak et al. 53‐2: Wide‐Color‐Gamut and High‐Dynamic‐Range Color‐Image Encoding Scheme based on CIECAM02
CN103546731B (zh) 一种将Bitmap转成YUV格式的文件的方法
US9918096B2 (en) Method for selecting a pixel positioning solution to obtain an optimal visual rendition of an image