CN109672839B - 景深图框包装及解包装的rgb格式的调整与重建方法及电路 - Google Patents

景深图框包装及解包装的rgb格式的调整与重建方法及电路 Download PDF

Info

Publication number
CN109672839B
CN109672839B CN201711323484.3A CN201711323484A CN109672839B CN 109672839 B CN109672839 B CN 109672839B CN 201711323484 A CN201711323484 A CN 201711323484A CN 109672839 B CN109672839 B CN 109672839B
Authority
CN
China
Prior art keywords
pixel
sub
pixel value
rgb format
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711323484.3A
Other languages
English (en)
Other versions
CN109672839A (zh
Inventor
杨家辉
陈冠丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109672839A publication Critical patent/CN109672839A/zh
Application granted granted Critical
Publication of CN109672839B publication Critical patent/CN109672839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提出的转换方法包括：分别取得调整前RGB格式的四个像素中具有交错位置的次像素值；依据取得的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值；以及依据取得的次像素及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值得到第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。

Description

景深图框包装及解包装的RGB格式的调整与重建方法及电路
技术领域
本发明涉及一种应用于景深图框包装及解包装的RGB格式的调整与重建的方法及电路。
背景技术
人类可见的色彩都可用红、绿、蓝(R、G、B)三种颜色来加以混合而成。然而，人类的视觉***对于亮度(luminance)比较敏感，而对于彩度比较不敏感，况且，三原色所构成的向量空间无法对影像强度(亮度)做处理，例如柔和化、锐利化等等。同时，由RGB格式构成的影像数据也在传输时占用较大带宽、储存时占用较多的存储器。因此，有必要将RGB格式的影像数据转换成YUV格式，以达到高效率的影像传输。
在公知技术中，视频或影像压缩***会将RGB次像素的相邻四个像素转换为YUV的相邻四个像素(又称YUV 444格式)后进行压缩传输，接收端再将YUV格式转换回RGB格式。
在公知的H.265视频压缩***中，如图1A与图1B所示，其分别显示RGB与YUV格式中，次像素的景深(depth)垂直与景深水平像素之间的转换示意图。在图1A与图1B中，配合以下表一与表二的转换的矩阵与反矩阵方程式，排除计算的误差外，景深像素对应在RGB格式的与YUV 444格式之间的转换及反转换并不会产生失真。
Figure BDA0001505185080000011
表一：RGB转换YUV
Figure BDA0001505185080000012
表二：YUV反转换RGB
然而，为达到高效率的视频压缩传输，在一些实施例中，视频或影像压缩***会保留YUV格式的四个像素的四个亮度值(Y，luminance)，但对四个色度值(U，V，chrominance)则采用次取样(Subsampling)的方式，仅保留两个像素的U、V色度值(又称YUV 422格式)，或仅保留一个像素的U、V色度值(又称YUV 420格式)，由此，使利用YUV 422或YUV 420格式传输影像数据时可占用较少带宽、储存时可占用较少的存储器，以达到高效率的视频压缩与传输。
请参照图2A与图2B所示，其分别显示景深垂直与景深水平包装传送YUV 444格式、YUV 422格式及YUV 420格式的示意图。在这两个图标中的圆圈内显示有剖面线的UV色度值已根据取样的不同而被舍去。由于YUV 420格式会占用最少的带宽与存储器，因此，视频或影像压缩***最常被采用的格式正是YUV 420格式。
当接收端的影像解压缩***接收到YUV 420(或YUV 422)格式的影像数据时，会先将缺少的U、V色度值以保留的邻近U、V色度值取代，以近似为YUV 444格式之后再转换成RGB格式的影像数据。例如，如果是YUV 420格式，解压缩***会先将U1值填入U2、U3及U4位置，并将V1值填入V2、V3及V4位置，再以上述YUV反转换为RGB公式(2)，将四组YUV值转换回四组RGB值。其中，仅有第一组R1、G1、B1可完全回复外，其他三组反转回的RGB值由于填入U1及V1值而有不同程度的失真。
另外，如果是YUV 422格式，解压缩***会先将U1值填入U2，并将U3值填入U4位置，且将V1值填入V2，V3值填入V4位置，再以上述YUV反转为RGB公式(2)，将四组YUV值转换回四组RGB值。其中，仅有第一组R1、G1、B1及第三组R3、G3、B3可完全回复，第二组因彩度值填入U1及V1值，将无法保证R2、G2、B2的正确性，而第四组因彩度值填入U3及V3值，也无法保证R4、G4、B4的正确性。
由于RGB格式分别表示相对位置的景深值，如果在景深包装，经压缩及解压缩***的RGB格式与YUV格式的转换，如果编码与译码***采用YUV 420格式或YUV 422格式，由于补回UV值的不同，再转换回RGB格式时会在景深较大落差附近产生无法控制的景深误差。
上述公知技术的RGB格式与YUV格式的转换与反转换的方式已经长久被业界所采用，虽然表一、二的参数值略有变化，但是在转换与反转换的做法上都是以上述的矩阵方式以及RGB或YUV三个变量去做转换，而且都只是强调传输的效率佳，并不考虑其他层面的问题。
发明内容
本发明的目的为提供一种可应用于先前技术的视频压缩与解压缩***的景深图框包装及解包装的RGB格式的调整与重建的方法及电路。
将本发明的景深图框包装及解包装的RGB格式的调整与重建程序应用于RGB格式转换成YUV格式的转换与反转换的过程时，可以获得较佳的RGB转换以还原成较佳原始的景深像素值，因此可以改善在景深落差剧变区位置上的失真现象。
本发明提出一种应用于景深图框包装及解包装的RGB格式的调整方法，其中RGB格式包括R次像素、G次像素与B次像素，调整前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得调整前RGB格式的四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；依据取得的两个R次像素值、两个G次像素值与两个B次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值；以及依据取得的两个R次像素值、两个G次像素值、两个B次像素及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。
本发明还提出一种应用于景深图框包装及解包装的RGB格式的调整方法的电路，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得调整前RGB格式的四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值。像素转换单元依据取得的两个R次像素值、两个G次像素值与两个B次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值；其中，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且像素转换单元进一步依据取得的两个R次像素值、两个G次像素值、两个B次像素及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。
本发明还提出一种应用于景深图框包装及解包装的RGB格式的调整方法，其中RGB格式包括R次像素、G次像素与B次像素，调整前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为垂直排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得调整前RGB格式的四个像素中八个选择位置的次像素值；依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第四像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第三像素的B次像素值；以及依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。
本发明还提出一种应用于景深图框包装及解包装的RGB格式的调整方法的电路，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得调整前RGB格式的四个像素中八个选择位置的次像素值。像素转换单元依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，且像素转换单元进一步依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值；其中，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第四像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第三像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的调整方法，其中RGB格式包括R次像素、G次像素与B次像素，调整前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为水平排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得调整前RGB格式的四个像素中八个选择位置的次像素值；依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第四像素的R次像素值；以及依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的调整方法的电路，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得调整前RGB格式的四个像素中八个选择位置的次像素值。像素转换单元依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，且像素转换单元进一步依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值；其中，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第四像素的R次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法，其中RGB格式包括R次像素、G次像素与B次像素，重建前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值；以及依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值，其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第一像素的G次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法的电路，电路包括像素取得单元以及像素转换单元。像素取得单元分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值。像素转换单元依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第一像素的G次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法，其中RGB格式包括R次像素、G次像素与B次像素，重建前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值；以及依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值，其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的R次像素值等于重建前RGB格式的第二像素的R次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法的电路，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值。像素转换单元依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的R次像素值等于重建前RGB格式的第二像素的R次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法，其中RGB格式包括R次像素、G次像素与B次像素，重建前RGB格式的景深图框至少包含四个像素，四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，四个像素分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列，该方法包括：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值；以及依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值，其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第二像素的B次像素值等于重建前RGB格式的第二像素的B次像素值，第三像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
本发明又提出一种应用于景深图框包装及解包装的RGB格式的重建方法的电路，该电路包括像素取得单元以及像素转换单元。像素取得单元分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值。像素转换单元依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第二像素的B次像素值等于重建前RGB格式的第二像素的B次像素值，第三像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
如上所述，在本发明的应用于景深图框包装及解包装的RGB格式的调整与重建的方法及电路中，并不改变公知的视频压缩传输***将RGB格式转换成YUV格式的转换与反转换的过程，而且本发明的RGB格式的调整与重建方法及其电路应用于RGB格式与YUV格式的包装及解包装过程中，可在不直接接触或调整YUV值的情况下，获得较佳的RGB转换以还原成较佳原始的景深像素值，因此可以改善在景深落差剧变区位置上的失真现象。
附图说明
图1A与图1B分别显示RGB与YUV格式中，次像素的景深垂直与景深水平像素之间的转换示意图。
图2A与图2B分别显示景深垂直与景深水平包装传送YUV 444格式、YUV422格式及YUV 420格式的示意图。
图3A为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的调整方法的流程示意图。
图3B为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的转换电路的功能方块示意图。
图4A与图4B分别为实施例的影像数据由调整前RGB格式转换为调整后RGB格式的示意图。
图5与图6分别为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的调整方法的另一流程示意图。
图7A为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的重建方法的流程示意图。
图7B为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的转换电路的功能方块示意图。
图8A与图8B分别为实施例的影像数据由重建前RGB格式转换为重建后RGB格式的示意图。
图9与图10分别为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的另一重建方法的流程示意图。
具体实施方式
以下将参照相关附图说明根据本发明应用于景深图框包装及解包装的RGB格式的调整与重建的方法及电路，其中相同的元件将以相同的附图标记加以说明。
本发明的调整与重建方法与其电路可应用于3D景深***的包装(packing)与解包装(unpacking)技术上。另外，本案技术的调整与重建方法与其电路可应用于灰阶影像信号的压缩与传输上。此外，本发明除了可应用于先前技术所提到的高效率的视频压缩与解压缩***，优选地可应用于发明人在美国专利申请号第14/504,901、14/504,936、14/505,117与14/505,153号中所提出的3D影像***的包装与解包装技术中。上述专利申请号均通过引用方式纳入本说明书全文之中。
在先前技术提到的高效率的视频压缩与解压缩***中，需先将RGB格式转换成YUV422格式或YUV 420格式后传输，接收端接收到YUV 420或YUV 422格式的影像数据后，再转换回RGB格式，本发明并不改变上述的包装与解包装过程，但是，为了达到较佳的RGB转换以还原成较佳原始的景深像素值，本发明先将景深图框的像素中的原始的RGB格式(可称为调整前RGB格式)调整(转换)成新的RGB格式(可称为调整后RGB格式)后，再将调整后的RGB格式转换成YUV 422格式或YUV 420格式后传输，接收端接收到YUV 420格式或YUV 422格式的影像数据后，再解压缩并转换回RGB格式(可称为重建前RGB格式)，再利用本发明的重建(反转换)方法进行次像素重建以得到重建后RGB格式，由此达到改善景深落差剧变区位置上的失真现象的目的。因此，本发明所指的调整方法就是将调整前RGB格式调整(转换)成调整后RGB格式的过程，而本发明所指的重建方法就是将重建前RGB格式重建(反转换)成重建后RGB格式的过程。
请再参照图2A、图2B、表一与表二所示，在YUV 420格式下，第一组{Y1,U1,V1}可利用YUV格式反转换RGB格式的公式(2)，将{R1,G1,B1}完全重建而回复，而第二组{Y2,U2,V2}、第三组{Y3,U3,V3}及第四组{Y4,U4,V4}仅可经重调次像素值以选择一个次像素完全重建。其中，因为第二组{Y2,U1,V1}无法将全部{R2,G2,B2}可完全重建回复，如果经重调Y2值则可选择一个适当的次像素使其可以完全重建，再根据重调后的Y2值对应调整第二组{R2,G2,B2}的值。
假设第二组的G2被选为已完全重建次像素，由YUV格式反转换RGB格式的公式(2)中，G2可以表示为：
G2＝1.1644×(Y2－16)－0.3917×(U1－128)－0.8130×(V1－128) (3)
而由RGB格式转换YUV格式的公式(1)中，U1与V1可分别表示为：
U1＝－0.1482×R1－0.2910×G1+0.4392×B1+128 (4)
V1＝0.4392×R1－0.3678×G1－0.0714×B1+128 (5)
在此，将G2设为已知的完全重建值，并将上述公式(4)的U1与公式(5)的V1代入公式(3)中，整理后即可求得重调Y2为(以Y2’表示)：
Y2’＝0.8588×(G2+0.2290×R1－0.4130×G1+0.1140×B1)+16 (6)
但是实际上，由RGB格式转换YUV格式的公式(1)中，重调后的Y2’可用重调的R2、G2、B2来表示(以R2’、G2’、B2’表示)：
Y2’＝0.2568×R2’+0.5041×G2’+0.0979×B2’+16 (7)
为了满足公式(6)的Y2’，其相对应的R2’、G2’、B2’可以选择相等(如此，可使后续的计算式较简单)，其重调值可为：
R2’＝G2’＝B2’＝G2+0.2990×R1－0.4130×G1+0.1140×B1 (8)
同理，如果第三组的G3被选为已完全重建次像素，其对应的R3’、G3’、B3’可以重调为：
R3’＝G3’＝B3’＝G3+0.2990×R1－0.4130×G1+0.1140×B1 (9)
同理，如果第四组的B4被选为已完全重建次像素，则B4可以表示为：
B4＝1.1644×(Y4－16)+2.0173×(V1－128)－0.0001×(U1－128) (10)
因此，可求得重调Y4为(以Y4’表示)：
Y4’＝0.8588×(B4+0.2290×R1+0.5870×G1－0.8860×B1)+16 (11)
同理，其对应重调后的R4’、G4’、B4’可以选择相等，其重调值可为：
R4’＝G4’＝B4’＝B4+0.2990×R1+0.5870×G1－0.8860×B1 (12)
如此，当压缩与解压缩***中采用YUV 420格式时，在四个像素共十二个次像素中，有六个交错位置的RGB次像素可完成重建，而另外六个损失的RGB次像素可由邻近已重建完成的次像素利用内差法补缀而回复。
同理，当压缩与解压缩***中采用YUV 422格式下，在四个像素共十二个次像素中，根据上述RGB值的调整方法，可以保证获得完全回复的八个RGB次像素(其中6个位于交错位置，2个位于外侧)，另外四个损失的RGB次像素也可由邻近已重建完成的次像素利用内差法补缀而回复。由此，在不需取得或接触YUV格式的Y、U、V次像素值的情形下，可获得较佳RGB格式转换以还原较佳原始的景深像素值。
本发明的调整方法与重建方法将利用上述的公式结果。特别说明的是，上述的公式(1)与公式(2)的矩阵参数只是举例，在不同的视频压缩传输***中，矩阵内的参数可能不同，使用者可依据上述原理计算出不同的重建算式(3)～(12)。例如下表三与表四所示，其为不同视频压缩传输***的RGB格式与YUV 444格式的转换矩阵与反矩阵方程式，通过下表三与表四的转换算式，使用者可依照上述的推导得到不同的算式(3)～(12)的内容，在此不再赘述。
Figure BDA0001505185080000121
表三：RGB转换YUV
Figure BDA0001505185080000122
表四：YUV反转换RGB
以下利用不同实施例来说明本发明应用于景深图框包装及解包装的RGB格式的调整与重建的方法及其电路内容。
请参照图3A及图3B所示，其中，图3A为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的调整方法的流程示意图，而图3B为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的转换电路1的功能方块示意图。在此，调整方法也可称为转换方法。
灰阶影像数据可为景深图框(depth frame)，其可具有原始的RGB格式(可称为调整前RGB格式)，RGB格式包括R次像素、G次像素与B次像素。其中，具RGB格式的影像数据可包含四个相邻像素的群组，也就是说每一个群组具有四个相邻的像素。因此，可将影像数据中所有群组的四个像素都由调整前RGB格式转换成调整后RGB格式。每一群组的四个像素分别可为垂直排列或水平排列，并可分别为第一像素、第二像素、第三像素及第四像素(共有十二个次像素)，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。在此，四个像素共有十二个次像素，每一个像素的R次像素、G次像素、B次像素分别为垂直排列表示每一个像素的R次像素、G次像素、B次像素位于同一直行中，而每一个像素的R次像素、G次像素、B次像素分别为水平排列表示每一个像素的R次像素、G次像素、B次像素位于同一横列中。
如图3A所示，应用于景深图框包装及解包装的RGB格式的调整方法可包括步骤S01至步骤S03。其中，步骤S01为：分别取得调整前RGB格式的四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；步骤S02为：依据取得的两个R次像素值、两个G次像素值与两个B次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值；而步骤S03为：依据取得的两个R次像素值、两个G次像素值、两个B次像素及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。图3A的调整方法适用于四个像素为垂直排列或水平排列且编码与译码***采用YUV 420格式。
另外，如图3B所示，本实施例的转换电路1可包括像素取得单元11及像素转换单元12，像素取得单元11与像素转换单元12电性连接。其中，像素取得单元11可由影像数据中分别取得调整前RGB格式的四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值，而像素转换单元12可依据取得的两个R次像素值、两个G次像素值与两个B次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且像素转换单元12进一步可依据取得的两个R次像素值、两个G次像素值、两个B次像素及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。在此，像素取得单元11与像素转换单元12可应用硬件电路或固件的方式来实现其功能。在实施例中，转换电路1可包含例如为加/减法器及乘/除法器。
在一些实施例中，像素转换单元12可将一个群组的四个像素的调整前RGB格式转换得到调整后RGB格式后就储存至同一群组的第一像素、第二像素、第三像素及第四像素的对应位置中；或者，在另一些实施例中，像素转换单元12也可将所有的群组的四个像素的调整前RGB格式全部转换而得到调整后RGB格式后，再一次全部储存至对应群组的第一像素、第二像素、第三像素及第四像素的对应位置中，并不限定。此外，转换电路1也可包括存储单元(图未示)，其可分别与像素取得单元11及像素转换单元12电性连接，并可储存转换前与转换后的影像数据。
请参照图4A与图4B所示，其分别为实施例的影像数据由调整前RGB格式转换为调整后RGB格式的示意图。
在此，各像素的次像素的数量分别为三个，其为红、绿、蓝三个次像素(以R、G、B表示)，每一像素的R、G、B次像素分别为垂直排列(如图4A所示)或水平排列(如图4B所示)，而调整后RGB格式的影像数据的各次像素的数量也分别为三个，且也分别为垂直排列(如图4A所示)或水平排列(如图4B所示)。
以下以对应的代号来表示每一个次像素的位置及其次像素值。例如图4A的R1代表调整前RGB格式的第一像素的R次像素位置与R次像素值，G1代表调整前RGB格式的第一像素的G次像素位置与G次像素值，B1代表调整前RGB格式的第一像素的B次像素位置与B次像素值。同样的，R1’、G1’、B1’对应代表调整后RGB格式的第一像素的R次像素位置与R次像素值、调整后第一像素的G次像素位置与G次像素值、调整后第一像素的B次像素位置与B次像素值，以此类推。另外，在图4A中，RGB格式的第一像素为左上角垂直排列的三个次像素(以1表示)，第二像素为右上角垂直排列的三个次像素(以2表示)，第三像素为左下角垂直排列的三个次像素(以3表示)，第四像素为右下角垂直排列的三个次像素(以4表示)，而在图4B中，RGB格式的第一像素为左上角水平排列的三个次像素(以1表示)，第二像素为右上角水平排列的三个次像素(以2表示)，第三像素为左下角水平排列的三个次像素(以3表示)，第四像素为右下角水平排列的三个次像素(以4表示)，然而并不以此为限。在一些实施例中，第一像素～第四像素的位置也可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
如果编码与译码***采用YUV 420格式，则应用于景深图框包装及解包装的RGB格式的调整方法通过像素取得单元11分别取得调整前RGB格式的四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值。在本实施例的四个像素中，如图4A与图4B所示，像素取得单元11分别取得调整前RGB格式的第一像素与第四像素的R次像素值、第二像素与第三像素的G次像素值及第一像素与第四像素的B次像素值，也就是说取得四个像素水平或垂直排列中，交错位置的六个次像素：R1、G2、B1、R4、G3及B4。
之后，像素转换单元12可依据取得的交错位置的六个次像素：R1、G2、B1、R4、G3及B4得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值(R1’＝R1)，第一像素的G次像素值等于调整前RGB格式的第四像素的R次像素值(G1’＝R4)，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值(B1’＝B1)。换言之，第一组的R1’、G1’及B1’为可完全重建的三个次像素。
另外，像素转换单元12进一步可依据取得的交错位置的六个次像素：R1、G2、B1、R4、G3及B4及调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值(R1’、G1’、B1’)得到调整后RGB格式的第二像素、第三像素与第四像素的R次像素值、G次像素值、B次像素值。在此，第二组为可重建G2次像素为主的调整，且在调整后RGB格式的四个像素中，第二像素的所有次像素值彼此相等，且调整后RGB格式的第二像素的每一个次像素值(R2’、G2’、B2’)均满足以下算式：
R2’＝G2’＝B2’＝G2+0.2990×R1’－0.4130×G1’+0.1140×B1’。
另外，第三组为可重建G3次像素为主的调整，且在调整后RGB格式的四个像素中，第三像素的所有次像素值(R3’、G3’、B3’)彼此相等，且第三像素的每一个次像素值均满足以下算式：
R3’＝G3’＝B3’＝G3+0.2990×R1’－0.4130×G1’+0.1140×B1’。
此外，第四组为可重建B4次像素为主的调整，且在调整后RGB格式的四个像素中，第四像素的所有次像素值彼此相等，且第四像素的每一个次像素值满足以下算式：
R4’＝G4’＝B4’＝B4+0.2990×R1’+0.5870×G1’－0.8860×B1’。
因此，可得到调整后RGB格式的十二个次像素值。
请参照图5所示，其为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的调整方法的另一流程示意图。
如图5所示，应用于景深图框包装及解包装的RGB格式的另一调整方法可包括步骤T01至步骤T03。其中，步骤T01为：分别取得调整前RGB格式的四个像素中八个选择位置(selected positions)的次像素值；步骤T02为：依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第四像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第三像素的B次像素值；步骤T03为：依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。图5的调整方法适用于四个像素为垂直排列且编码与译码***采用YUV422格式。
另外，像素取得单元11可由影像数据的每一群组中分别取得调整前RGB格式的四个像素中八个选择位置的次像素值，而像素转换单元12可依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，且像素转换单元12进一步可依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值；其中，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第四像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第三像素的B次像素值。
因此，如果译码***采用YUV 422格式且调整前RGB格式的景深图框的四个像素分别为垂直排列，则应用于景深图框包装及解包装的RGB格式的调整方法通过像素取得单元11分别取得调整前RGB格式的四个像素中三个R次像素值、两个G次像素值与三个B次像素值。在本实施例的四个像素中，如图4A所示，像素取得单元11分别取得调整前RGB格式的八个选择位置包括：第一像素的R次像素值与B次像素值、第二像素的R次像素值与G次像素值、第三像素的G次像素值与B次像素值、第四像素的R次像素值与B次像素值(三个R次像素值、两个G次像素值与三个B次像素值)，即取得四个像素中六个交错位置的次像素值：R1、G2、B1、R4、G3及B4外，另两个取得的选择位置为R2、B3(右上左下位置)。
之后，像素转换单元12可依据取得的八个选择位置的次像素值(R1、G2、B1、R4、G3、B4、R2、B3)得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值(R1’＝R1)，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值(G1’＝G2)，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值(B1’＝B1)，且第三像素的R次像素值等于调整前RGB格式的第四像素的R次像素值(R3’＝R4)，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值(G3’＝G3)，第三像素的B次像素值等于调整前RGB格式的第三像素的B次像素值(B3’＝B3)。换言之，第一组的R1’、G1’、B1’与第三组的R3’、G3’、B3’分别为可完全重建的三个次像素的调整。
另外，像素转换单元12进一步可依据取得的八个选择位置的次像素值(R1、G2、B1、R4、G3、B4、R2、B3)及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值(R1’、G1’、B1’、R3’、G3’、B3’)得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。在此，第二组为可重建R2次像素为主的调整，且在调整后RGB格式的四个像素中，第二像素的所有次像素值彼此相等，且调整后RGB格式的第二像素的每一个次像素值(R2’、G2’、B2’)均满足以下算式：
R2’＝G2’＝B2’＝R2－0.7010×R1’+0.5870×G1’+0.1140×B1’。
此外，第四组为可重建B4次像素为主的调整，且在调整后RGB格式的四个像素中，第四像素的所有次像素值彼此相等，且第四像素的每一个次像素值满足以下算式：
R4’＝G4’＝B4’＝B4+0.2990×R3’+0.5870×G3’－0.8860×B3’。
因此，可得到调整后RGB格式的十二个次像素值。
请参照图6所示，其为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的调整方法的又一流程示意图。
如图6所示，应用于景深图框包装及解包装的RGB格式的又一调整方法可包括步骤U01至步骤U03。其中，步骤U01为：分别取得调整前RGB格式的四个像素中八个选择位置的次像素值；步骤T02为：依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第四像素的R次像素值；步骤T03为：依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。图6的调整方法适用于四个像素为水平排列且编码与译码***采用YUV 422格式。
另外，像素取得单元11可由影像数据的每一群组中分别取得调整前RGB格式的四个像素中八个选择位置的次像素值，而像素转换单元12可依据取得的八个选择位置的次像素值得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，且像素转换单元12进一步可依据取得的八个选择位置的次像素值及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值；其中，第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值，且第三像素的R次像素值等于调整前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于调整前RGB格式的第四像素的R次像素值。
因此，如果编码与译码***采用YUV 422格式且调整前RGB格式的景深图框的四个像素分别为水平排列，则应用于景深图框包装及解包装的RGB格式的调整方法通过像素取得单元11分别取得调整前RGB格式的四个像素中三个R次像素值、两个G次像素值与三个B次像素值。在本实施例的四个像素中，如图4B所示，像素取得单元11分别取得调整前RGB格式的八个选择位置包括：第一像素的R次像素值与B次像素值、第二像素的G次像素值与B次像素值、第三像素的R次像素值与G次像素值、第四像素的R次像素值与B次像素值，即取得四个像素中六个交错位置的次像素：R1、G3、B1、R4、G2及B4外，另两个取得的选择位置为B2、R3(右上左下位置)。
之后，像素转换单元12可依据取得的八个选择位置的次像素值(R1、G3、B1、R4、G2、B4、B2、R3)得到调整后RGB格式的第一像素的R次像素值、G次像素值与B次像素值，以及第三像素的R次像素值、G次像素值与B次像素值，其中第一像素的R次像素值等于调整前RGB格式的第一像素的R次像素值(R1’＝R1)，第一像素的G次像素值等于调整前RGB格式的第二像素的G次像素值(G1’＝G2)，第一像素的B次像素值等于调整前RGB格式的第一像素的B次像素值(B1’＝B1)，且第三像素的R次像素值等于调整前RGB格式的第三像素的R次像素值(R3’＝R3)，第三像素的G次像素值等于调整前RGB格式的第三像素的G次像素值(G3’＝G3)，第三像素的B次像素值等于调整前RGB格式的第四像素的R次像素值(B3’＝R4)。换言之，第一组的R1’、G1’、B1’与第三组的R3’、G3’、B3’分别为可完全重建的三个次像素的调整。
另外，像素转换单元12进一步可依据取得的八个选择位置的次像素值(R1、G3、B1、R4、G2、B4、B2、R3)及调整后RGB格式的第一像素与第三像素的R次像素值、G次像素值与B次像素值(R1’、G1’、B1’、R3’、G3’、B3’)得到调整后RGB格式的第二像素与第四像素的R次像素值、G次像素值、B次像素值。在此，调整后RGB格式的第二组为可重建B2次像素为主的调整，且在调整后RGB格式的四个像素中，第二像素的所有次像素值彼此相等，且调整后RGB格式的第二像素的每一个次像素值(R2’、G2’、B2’)均满足以下算式：
R2’＝G2’＝B2’＝B2+0.2990×R1’+0.5870×G1’－0.8860×B1’。
此外，调整后RGB格式的第四组为可重建B4次像素为主的调整，且在调整后RGB格式的四个像素中，第四像素的所有次像素值彼此相等，且第四像素的每一个次像素值(R4’、G4’、B4’)均满足以下算式：
R4’＝G4’＝B4’＝B4+0.2990×R3’+0.5870×G3’－0.8860×B3’。
因此，可得到调整后RGB格式的十二个次像素值。
请参照图7A及图7B所示，其中，图7A为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的重建方法的流程示意图，而图7B为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的转换电路1a的功能方块示意图。在此，重建方法也可称为反转换方法。
灰阶影像数据可为景深图框，其可具有重建前RGB格式。在此，重建前RGB格式已经过公知技术的视频压缩与解压缩***，而本案技术的重建方法是将重建前RGB格式转换成重建后RGB格式。其中，重建前RGB格式的影像数据可包含四个相邻像素的群组，也就是说每一个群组具有四个相邻的像素。每一群组的四个像素可分别为垂直排列或水平排列，并且可以分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。
如图7A所示，应用于景深图框包装及解包装的RGB格式的重建方法可包括步骤V01至步骤V02。其中，步骤V01为：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值；而步骤V02为：依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第一像素的G次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。图7A的重建方法适用于四个像素为垂直排列或水平排列，且编码与译码***采用YUV 420格式，且图7A的重建(反转换)方法对应于上述图3A的调整(转换)方法。
另外，如图7B所示，本实施例的转换电路1a可包括像素取得单元11a及像素转换单元12a，像素取得单元11a与像素转换单元12a电性连接。其中，像素取得单元11a可由影像数据的每一群组中分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值，而像素转换单元12可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第一像素的G次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。在此，像素取得单元11a与像素转换单元12a可应用硬件电路或固件的方式来实现其功能。在实施例中，转换电路1a可包含例如为加/减法器及乘/除法器。
在一些实施例中，像素转换单元12a可将一个群组的四个像素的重建前RGB格式转换得到重建后RGB格式后就储存至同一群组的第一像素、第二像素、第三像素及第四像素的对应位置中；或者，在另一些实施例中，像素转换单元12a也可将所有的群组的四个像素的重建前RGB格式全部转换而得到重建后RGB格式后，再一次全部储存至对应群组的第一像素、第二像素、第三像素及第四像素的对应位置中，并不限定。此外，转换电路1a进一步可包括存储单元(图未示)，其可分别与像素取得单元11a及像素转换单元12a电性连接，并可储存转换前与转换后的影像数据。以下将以实施例来说明上述的重建方法。
请参照图8A与图8B所示，其分别为实施例的影像数据由重建前RGB格式(以R’、G’、B’表示)转换为重建后RGB格式(以R、G、B表示)的示意图。在此，每一像素的R、G、B次像素可分别为垂直排列(如图8A所示)或水平排列(如图8B所示)，而重建后RGB格式的影像数据的各次像素的数量也分别为三个，且也分别为垂直排列(如图8A所示)或水平排列(如图8B所示)。在一些实施例中，第一像素～第四像素的位置可以互换，只要符合第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列即可。
如果编码与译码***采用YUV 420格式，则应用于景深图框包装及解包装的RGB格式的重建方法通过像素取得单元11a分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值。在本实施例的四个像素中，如图8A与图8B所示，像素取得单元11a分别取得重建前RGB格式的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值，即取得五个次像素值：R1’、B1’、G1’、G3’、B4’。
之后，像素转换单元12a可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第三像素的G次像素值及第四像素的B次像素值(R1’、B1’、G1’、G3’、B4’)得到重建后RGB格式的六个交错位置的次像素值；其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值(R1＝R1’)，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值(B1＝B1’)，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值(G2＝G1’)，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值(G3＝G3’)，第四像素的R次像素值等于重建前RGB格式的第一像素的G次像素值(R4＝G1’)，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值(B4＝B4’)。换言之，在Y420格式中，不管像素垂直或水平排列，均仅先重建六个主次像素：R1、B1、G2、G3、R4及B4。上述六个主次像素：R1、B1、G2、G3、R4及B4可视为六个交错位置的主要重建的景深值。
其他六个重建前RGB格式的次像素：G1’、R2’、B2’、R3’、B3’及G4’将直接舍去不用。而其他重建后RGB格式的景深值：G1、R2、B2、R3、B3及G4将以上述六个交错位置的主要重建的景深值利用内差法来取得。因此，在实施例中，像素转换单元12a进一步可使用了一种平均内插法求出六个重建后RGB格式的景深值：G1、R2、B2、R3、B3及G4。其中，重建后RGB格式的第一像素的G次像素值等于与其相邻的所有次像素值的平均值，第二像素的R次像素值等于与其相邻的所有次像素值的平均值，第二像素的B次像素值等于与其相邻的所有次像素值的平均值，第三像素的R次像素值等于与其相邻的所有次像素值的平均值，第三像素的B次像素值等于与其相邻的所有次像素值的平均值，第四像素的G次像素值等于与其相邻的所有次像素值的平均值。
具体而言，如果重建后RGB格式的未知次像素(G1、R2、B2、R3、B3及G4)为影像数据边缘的次像素，则该未知的次像素：G1、R2、B2、R3、B3及G4分别为其相邻三个主要重建次像素位置的次像素值的平均值；如果该未知的次像素为影像数据边的内部次像素(非位于边缘位置的群组)，则该未知的次像素值为其相邻四个主要重建次像素位置的次像素值的平均值。
如上所述，在公知技术中，如果视频压缩的编码与译码***采用YUV 420格式，则四个像素中的十二个次像素值中只有三个次像素值可完全重建而回复，也就是说只有第一组的R1、G1、B1可完全重建而回复，但是，利用本案技术的调整方法与其对应的重建方法则有六个交错位置的主要次像素可被完全重建，因此，相比于只利用公知视频压缩传输进行压缩与解压缩而言，本案技术可以在不直接接触或调整YUV值的情况下，可获得较佳的RGB格式转换以还原成较佳原始的景深像素值，因此可以改善在景深落差剧变区位置上的失真现象。
请参照图9所示，其为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的另一重建方法的流程示意图。在此，每一群组的四个像素可分别为垂直排列，并可分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。
如图9所示，应用于景深图框包装及解包装的RGB格式的重建方法可包括步骤W01至步骤W02。其中，步骤W01为：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值；而步骤W02为：依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的R次像素值等于重建前RGB格式的第二像素的R次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。图9的重建方法适用于四个像素为垂直排列且编码与译码***采用YUV 422格式，且图9的重建(反转换)方法对应于上述图5的调整(转换)方法。
另外，像素取得单元11a可由影像数据的每一群组中分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值，而像素转换单元12可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的R次像素值等于重建前RGB格式的第二像素的R次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第三像素的B次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
请再参照图8A所示，每一像素的R、G、B次像素可分别为垂直排列，而重建后RGB格式的影像数据的各次像素的数量也分别为三个，且也分别为垂直排列。如果编码与译码***采用YUV 422格式，则本实施例应用于景深图框包装及解包装的RGB格式的重建方法可通过像素取得单元11a分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值，如图8A所示，取得八个次像素值：R1’、G1’、B1’、R2’、R3’、G3’、B3’及B4’。
之后，像素转换单元12a可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的R次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值(R1’、G1’、B1’、R2’、R3’、G3’、B3’及B4’)得到重建后RGB格式的八个次像素值；其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值(R1＝R1’)，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值(B1＝B1’)，第二像素的R次像素值等于重建前RGB格式的第二像素的R次像素值(R2＝R2’)，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值(G2＝G1’)，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值(G3＝G3’)，第三像素的B次像素值等于重建前RGB格式的第三像素的B次像素值(B3＝B3’)，第四像素的R次像素值等于重建前RGB格式的第三像素的R次像素值(R4＝R3’)，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值(B4＝B4’)。
换言之，在编码与译码***采用YUV 422格式且四个像素为垂直排列时，可先重建八个主次像素值：R1、B1、R2、G2、G3、B3、R4及B4。上述八个主次像素值可包含六个交错位置的主要重建的景深值：R1、G2、B1、R4、G3及B4，以及两个位于右上左下的次像素：R2、B3。
其他四个重建前RGB格式的次像素：B2’、G2’、R4’及G4’将直接舍去不用。而其他重建后RGB格式的景深值：G1、B2、R3及G4将以上述六个交错位置的主要重建的景深值利用内差法来取得。因此，在实施例中，像素转换单元12a进一步可使用了一种平均内插法求出四个重建后RGB格式的景深值：G1、B2、R3及G4。其中，重建后RGB格式的第一像素的G次像素值等于与其邻的所有次像素值的平均值，第二像素的B次像素值等于与其相邻的所有次像素值的平均值，第三像素的R次像素值等于与其相邻的所有次像素值的平均值，第四像素的G次像素值等于与其相邻的所有次像素值的平均值。
具体而言，如果重建后RGB格式的未知次像素(G1、B2、R3及G4)为影像数据边缘的次像素，则该未知的次像素值：G1、B2、R3及G4分别为其相邻三个主要重建次像素位置的次像素值的平均值；如果该未知的次像素为影像数据边的内部次像素(非位于边缘位置的群组)，则该未知的次像素值为其相邻四个主要重建次像素位置的次像素值的平均值。
请参照图10所示，其为本发明优选实施例的一种应用于景深图框包装及解包装的RGB格式的又一重建方法的流程示意图。在此，每一群组的四个像素可分别为水平排列，并可分别为第一像素、第二像素、第三像素及第四像素，第一像素分别与第二像素及第三像素相邻排列，且第四像素分别与第二像素及第三像素相邻排列。
如图10所示，应用于景深图框包装及解包装的RGB格式的重建方法可包括步骤X01至步骤X02。其中，步骤X01为：分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值；而步骤X02为：依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第二像素的B次像素值等于重建前RGB格式的第二像素的B次像素值，第三像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。图10的重建方法适用于四个像素为水平排列且编码与译码***采用YUV 422格式，且图10的重建(反转换)方法对应于上述图6的调整(转换)方法。
另外，像素取得单元11a可由影像数据的每一群组中分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值，而像素转换单元12可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值得到重建后RGB格式的八个次像素值；其中，第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值，第二像素的B次像素值等于重建前RGB格式的第二像素的B次像素值，第三像素的R次像素值等于重建前RGB格式的第三像素的R次像素值，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值，第四像素的R次像素值等于重建前RGB格式的第三像素的B次像素值，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值。
请再参照图8B所示，每一像素的R、G、B次像素可分别为水平排列，而重建后RGB格式的影像数据的各次像素的数量也分别为三个，且也分别为水平排列。如果编码与译码***采用YUV 422格式，则本实施例应用于景深图框包装及解包装的RGB格式的重建方法可通过像素取得单元11a分别取得重建前RGB格式的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值，如图8B所示，取得八个次像素值：R1’、G1’、B1’、B2’、R3’、G3’、B3’及B4’。
之后，像素转换单元12a可依据取得的四个像素的第一像素的R次像素值、G次像素值与B次像素值、第二像素的B次像素值、第三像素的R次像素值、G次像素值与B次像素值及第四像素的B次像素值(R1’、G1’、B1’、B2’、R3’、G3’、B3’及B4’)得到重建后RGB格式的八个次像素值；其中第一像素的R次像素值等于重建前RGB格式的第一像素的R次像素值(R1＝R1’)，第一像素的B次像素值等于重建前RGB格式的第一像素的B次像素值(B1＝B1’)，第二像素的G次像素值等于重建前RGB格式的第一像素的G次像素值(G2＝G1’)，第二像素的B次像素值等于重建前RGB格式的第二像素的B次像素值(B2＝B2’)，第三像素的R次像素值等于重建前RGB格式的第三像素的R次像素值(R3＝R3’)，第三像素的G次像素值等于重建前RGB格式的第三像素的G次像素值(G3＝G3’)，第四像素的R次像素值等于重建前RGB格式的第三像素的B次像素值(R4＝B3’)，第四像素的B次像素值等于重建前RGB格式的第四像素的B次像素值(B4＝B4’)。换言之，在编码与译码***采用YUV 422格式且次像素为水平排列时，可先重建八个主次像素：R1、B1、G2、B2、R3、G3、R4及B4。上述八个主次像素可包含六个交错位置的主要重建的景深值：R1、G3、B1、R4、G2及B4，以及两个位于左下右上的次像素：R3、B2。
其他四个重建前RGB格式的次像素：R2’、G2’、R4’及G4’将直接舍去不用。而其他重建后RGB格式的景深值：G1、R2、B3及G4将以上述六个交错位置的主要重建的景深值利用内差法来取得。因此，在实施例中，像素转换单元12a进一步可使用一种平均内插法求出四个重建后RGB格式的景深值：G1、R2、B3及G4。其中，重建后RGB格式的第一像素的G次像素值等于与其相邻的所有次像素值的平均值，第二像素的R次像素值等于与其相邻的所有次像素值的平均值，第三像素的B次像素值等于与其相邻的所有次像素值的平均值，第四像素的G次像素值等于与其相邻的所有次像素值的平均值。
具体而言，如果重建后RGB格式的未知次像素(G1、R2、B3及G4)为影像数据边缘的次像素，则该未知的次像素值：G1、R2、B3及G4分别为其相邻三个主要重建次像素位置的次像素值的平均值；如果该未知的次像素为影像数据边的内部次像素(非位于边缘位置的群组)，则该未知的次像素值为相邻四个主要重建次像素位置的次像素值的平均值。
如上所述，在公知技术中，如果视频压缩的编码与译码***采用YUV 422格式，则四个像素中的十二个次像素值中只有六个次像素值可完全重建而回复，也就是说只有第一组的R1、G1、B1与第三组的R3、G3、B3可完全重建而回复，但是，利用本案技术的调整方法与其对应的重建方法则有八个主要次像素可被完全重建(R1、B1、R2、G2、G3、B3、R4及B4，或R1、B1、G2、B2、R3、G3、R4及B4)，因此，相比于只利用公知视频压缩传输进行压缩与解压缩而言，本案技术可以在不直接接触或调整YUV值的情况下，可获得较佳的RGB格式转换以还原成较佳原始的景深像素值，因此可以改善在景深落差剧变区位置上的失真现象。
综上所述，在本发明的应用于景深图框包装及解包装的RGB格式的调整与重建的方法及电路中，并不改变公知的视频压缩传输***将RGB格式转换成YUV格式的转换与反转换的过程，而且本发明的RGB格式的调整与重建方法及其电路应用于RGB格式与YUV格式的包装及解包装过程中，可在不直接接触或调整YUV值的情况下，获得较佳的RGB转换以还原成较佳原始的景深像素值，因此可以改善在景深落差剧变区位置上的失真现象。
以上所述仅为举例性而非为限制性。任何未脱离本发明的精神与范畴而对其进行的等效修改或变更均应包含在随附的权利要求中。

Claims (5)

1.一种应用于景深图框包装及解包装的RGB格式的调整方法，其中RGB格式包括R次像素、G次像素与B次像素，调整前RGB格式及调整后RGB格式的所述景深图框至少包含四个像素，所述四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，所述四个像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，所述方法包括：
分别取得调整前RGB格式的所述四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；
依据取得的所述两个R次像素值、所述两个G次像素值与所述两个B次像素值得到调整后RGB格式的所述第一像素的R次像素值、G次像素值与B次像素值，其中调整后RGB格式的所述第一像素的R次像素值等于调整前RGB格式的所述第一像素的R次像素值，调整后RGB格式的所述第一像素的G次像素值等于调整前RGB格式的所述第四像素的R次像素值，调整后RGB格式的所述第一像素的B次像素值等于调整前RGB格式的所述第一像素的B次像素值；以及
依据取得的所述两个R次像素值、所述两个G次像素值、所述两个B次像素值及调整后RGB格式的所述第一像素的R次像素值、G次像素值与B次像素值，得到调整后RGB格式的所述第二像素、所述第三像素与所述第四像素的R次像素值、G次像素值、B次像素值，
其中，调整后RGB格式的所述第二像素的所有次像素值彼此相等，且所述第二像素的每一个次像素值满足以下算式：
R2’＝G2’＝B2’＝G2+0.2990×R1’－0.4130×G1’+0.1140×B1’；
其中，调整后RGB格式的所述第三像素的所有次像素值彼此相等，且所述第三像素的每一个次像素值满足以下算式：
R3’＝G3’＝B3’＝G3+0.2990×R1’－0.4130×G1’+0.1140×B1’；
其中，调整后RGB格式的所述第四像素的所有次像素值彼此相等，且所述第四像素的每一个次像素值满足以下算式：
R4’＝G4’＝B4’＝B4+0.2990×R1’+0.5870×G1’－0.8860×B1’；
其中，R1’、G1’、B1’分别为调整后RGB格式的所述第一像素的R次像素值、G次像素值与B次像素值，R2’、G2’、B2’分别为调整后RGB格式的所述第二像素的R次像素值、G次像素值与B次像素值，R3’、G3’、B3’分别为调整后RGB格式的所述第三像素的R次像素值、G次像素值与B次像素值，R4’、G4’、B4’分别为调整后RGB格式的所述第四像素的R次像素值、G次像素值与B次像素值，G2为调整前RGB格式的所述第二像素的G次像素值，G3为调整前RGB格式的所述第三像素的G次像素值，B4为调整前RGB格式的所述第四像素的B次像素值。
2.一种电路，应用于执行根据权利要求1所述的应用于景深图框包装及解包装的RGB格式的调整方法，所述电路包括：
像素取得单元，分别取得调整前RGB格式的所述四个像素中具有交错位置的两个R次像素值、两个G次像素值及两个B次像素值；以及
像素转换单元，依据取得的所述两个R次像素值、所述两个G次像素值与所述两个B次像素值得到调整后RGB格式的所述第一像素的R次像素值、G次像素值与B次像素值；
其中，调整后RGB格式的所述第一像素的R次像素值等于调整前RGB格式的所述第一像素的R次像素值，调整后RGB格式的所述第一像素的G次像素值等于调整前RGB格式的所述第四像素的R次像素值，调整后RGB格式的所述第一像素的B次像素值等于调整前RGB格式的所述第一像素的B次像素值，且所述像素转换单元进一步依据取得的所述两个R次像素值、所述两个G次像素值、所述两个B次像素及调整后RGB格式的所述第一像素的R次像素值、G次像素值与B次像素值，得到调整后RGB格式的所述第二像素、所述第三像素与所述第四像素的R次像素值、G次像素值、B次像素值。
3.一种应用于景深图框包装及解包装的RGB格式的重建方法，其中RGB格式包括R次像素、G次像素与B次像素，重建前RGB格式及重建后RGB格式的所述景深图框至少包含四个像素，所述四个像素的R次像素、G次像素、B次像素分别为垂直排列或水平排列，所述四个像素分别为第一像素、第二像素、第三像素及第四像素，所述第一像素分别与所述第二像素及所述第三像素相邻排列，且所述第四像素分别与所述第二像素及所述第三像素相邻排列，所述方法包括：
分别取得重建前RGB格式的所述四个像素的所述第一像素的R次像素值、G次像素值与B次像素值、所述第三像素的G次像素值及所述第四像素的B次像素值；以及
依据取得的所述四个像素的所述第一像素的R次像素值、G次像素值与B次像素值、所述第三像素的G次像素值及所述第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值，其中重建后RGB格式的所述第一像素的R次像素值等于重建前RGB格式的所述第一像素的R次像素值，重建后RGB格式的所述第一像素的B次像素值等于重建前RGB格式的所述第一像素的B次像素值，重建后RGB格式的所述第二像素的G次像素值等于重建前RGB格式的所述第一像素的G次像素值，重建后RGB格式的所述第三像素的G次像素值等于重建前RGB格式的所述第三像素的G次像素值，重建后RGB格式的所述第四像素的R次像素值等于重建前RGB格式的所述第一像素的G次像素值，重建后RGB格式的所述第四像素的B次像素值等于重建前RGB格式的所述第四像素的B次像素值。
4.根据权利要求3所述的方法，其中，重建后RGB格式的所述第一像素的G次像素值等于与其相邻的所有次像素值的平均值，重建后RGB格式的所述第二像素的R次像素值等于与其相邻的所有次像素值的平均值，重建后RGB格式的所述第二像素的B次像素值等于与其相邻的所有次像素值的平均值，重建后RGB格式的所述第三像素的R次像素值等于与其相邻的所有次像素值的平均值，重建后RGB格式的所述第三像素的B次像素值等于与其相邻的所有次像素值的平均值，重建后RGB格式的所述第四像素的G次像素值等于与其相邻的所有次像素值的平均值。
5.一种电路，应用于执行根据权利要求3或4所述的应用于景深图框包装及解包装的RGB格式的重建方法，所述电路包括：
像素取得单元，分别取得重建前RGB格式的所述四个像素的所述第一像素的R次像素值、G次像素值与B次像素值、所述第三像素的G次像素值及所述第四像素的B次像素值；以及
像素转换单元，依据取得的所述四个像素的所述第一像素的R次像素值、G次像素值与B次像素值、所述第三像素的G次像素值及所述第四像素的B次像素值得到重建后RGB格式的六个交错位置的次像素值；
其中，重建后RGB格式的所述第一像素的R次像素值等于重建前RGB格式的所述第一像素的R次像素值，重建后RGB格式的所述第一像素的B次像素值等于重建前RGB格式的所述第一像素的B次像素值，重建后RGB格式的所述第二像素的G次像素值等于重建前RGB格式的所述第一像素的G次像素值，重建后RGB格式的所述第三像素的G次像素值等于重建前RGB格式的所述第三像素的G次像素值，重建后RGB格式的所述第四像素的R次像素值等于重建前RGB格式的所述第一像素的G次像素值，重建后RGB格式的所述第四像素的B次像素值等于重建前RGB格式的所述第四像素的B次像素值。
CN201711323484.3A 2017-10-16 2017-12-13 景深图框包装及解包装的rgb格式的调整与重建方法及电路 Active CN109672839B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106135377 2017-10-16
TW106135377A TWI633791B (zh) 2017-10-16 2017-10-16 景深圖框包裝及解包裝之rgb格式的調整與重建方法及電路

Publications (2)

Publication Number Publication Date
CN109672839A CN109672839A (zh) 2019-04-23
CN109672839B true CN109672839B (zh) 2021-02-05

Family

ID=63959816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711323484.3A Active CN109672839B (zh) 2017-10-16 2017-12-13 景深图框包装及解包装的rgb格式的调整与重建方法及电路

Country Status (3)

Country Link
US (1) US10417994B2 (zh)
CN (1) CN109672839B (zh)
TW (1) TWI633791B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512772A (zh) * 2002-12-26 2004-07-14 ���ǵ�����ʽ���� 用于加强重现图像质量的设备和方法
CN101175193A (zh) * 2002-11-25 2008-05-07 卡西欧计算机株式会社 图像信号产生单元、数码相机以及图像信号产生方法
CN107105130A (zh) * 2016-02-19 2017-08-29 三星电子株式会社 电子设备及其操作方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19746329A1 (de) * 1997-09-13 1999-03-18 Gia Chuong Dipl Ing Phan Display und Verfahren zur Ansteuerung des Displays
US6650773B1 (en) * 2000-09-29 2003-11-18 Hewlett-Packard Development Company, L.P. Method including lossless compression of luminance channel and lossy compression of chrominance channels
US7184066B2 (en) * 2001-05-09 2007-02-27 Clairvoyante, Inc Methods and systems for sub-pixel rendering with adaptive filtering
US7298379B2 (en) * 2005-02-10 2007-11-20 Samsung Electronics Co., Ltd. Luminance preserving color conversion from YUV to RGB
JP5251758B2 (ja) * 2009-07-01 2013-07-31 ヤマハ株式会社 圧縮符号化装置、および画像表示制御装置
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
JP6124587B2 (ja) * 2012-12-27 2017-05-10 三菱電機株式会社 表示装置
US9578296B2 (en) * 2013-02-14 2017-02-21 Mitsubishi Electric Corporation Signal conversion apparatus and method, and program and recording medium
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
CN106412542A (zh) * 2016-02-03 2017-02-15 周彩章 一种图像处理方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175193A (zh) * 2002-11-25 2008-05-07 卡西欧计算机株式会社 图像信号产生单元、数码相机以及图像信号产生方法
CN1512772A (zh) * 2002-12-26 2004-07-14 ���ǵ�����ʽ���� 用于加强重现图像质量的设备和方法
CN107105130A (zh) * 2016-02-19 2017-08-29 三星电子株式会社 电子设备及其操作方法

Also Published As

Publication number Publication date
CN109672839A (zh) 2019-04-23
US10417994B2 (en) 2019-09-17
US20190114992A1 (en) 2019-04-18
TW201918064A (zh) 2019-05-01
TWI633791B (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
TWI629892B (zh) 景深包裝及解包裝之ｒｇｂ格式與ｙｕｖ格式的轉換與反轉換的方法及電路
US9769496B2 (en) Method, apparatus, and program for encoding image, method, apparatus, and program for decoding image, and image processing system
TW248628B (zh)
TWI594616B (zh) 用於立體及自動立體顯示器之深度圖傳遞格式
US10554856B2 (en) Image processing system and method
WO2011027440A1 (ja) 画像圧縮装置及び画像伸張装置
US20100165078A1 (en) Image compression using checkerboard mosaic for luminance and chrominance color space images
CN111429357A (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
CN108632610A (zh) 一种基于插值重建的彩色图像压缩方法
CN109672839B (zh) 景深图框包装及解包装的rgb格式的调整与重建方法及电路
TWI472232B (zh) 利用色彩解耦的視訊傳輸的方法及其裝置和具有編碼指令的處理器之可讀取媒介
CN109413445B (zh) 一种视频传输方法及装置
JP5337736B2 (ja) 送信信号変換装置および送信信号変換プログラム、並びに、受信信号変換装置および受信信号変換プログラム
Takeuchi et al. A gamut-extension method considering color information restoration using convolutional neural networks
US10869058B2 (en) Method and circuit of assigning selected depth values to RGB subpixels and recovering selected depth values from RGB subpixels for colored depth frame packing and depacking
JP5337737B2 (ja) 送信信号変換装置および送信信号変換プログラム、並びに、受信信号変換装置および受信信号変換プログラム
US10390019B2 (en) Method and device for encoding a multidimensional digital signal, in particular an image signal, and corresponding method and device for decoding
US20190246123A1 (en) Pre-Processing Of HDR Video Involving Chroma Adjustment
KR101232870B1 (ko) 입체영상 처리장치 및 그 방법
EP3560200A1 (en) Chroma adjustment with color components in color spaces in video coding
JP5726724B2 (ja) 画像送信装置及び画像受信装置
JPS63304769A (ja) カラ−画像のデ−タ圧縮方式
CN115063325A (zh) 一种视频信号处理方法、装置、计算机设备和存储介质
CN113271466A (zh) 图像编码方法、解码方法、传输方法以及存储装置和处理装置
JPS63304770A (ja) カラ−画像のデ−タ圧縮方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant