CN104620574A - 用于数字图像的高效重新取样和调整大小的方法和装置 - Google Patents
用于数字图像的高效重新取样和调整大小的方法和装置 Download PDFInfo
- Publication number
- CN104620574A CN104620574A CN201380047243.4A CN201380047243A CN104620574A CN 104620574 A CN104620574 A CN 104620574A CN 201380047243 A CN201380047243 A CN 201380047243A CN 104620574 A CN104620574 A CN 104620574A
- Authority
- CN
- China
- Prior art keywords
- image
- directional scaling
- input picture
- subsample
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012952 Resampling Methods 0.000 title description 3
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 11
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000010363 phase shift Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000011295 pitch Substances 0.000 description 3
- 241000207875 Antirrhinum Species 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40068—Modification of image resolution, i.e. determining the values of picture elements at new relative positions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明描述用以确定初始亮度和色度相位以使得所得图像在色度上取样和按比例缩放之后在亮度和色度分量之间具有零相位差的***和方法。特定来说,所描述方法可包含接收具有亮度和色度值的经子取样输入图像。所述方法可随后执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零。所述方法可随后包含使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
Description
技术领域
本发明的一个方面涉及使用有效处理数字图像的技术的数字图像处理。
背景技术
视频***传达表示明度(亮度)的一个分量和表示颜色(色度)的其它两个分量。在许多***中,亮度和色度表示为Y′CbCr,其中Y表示亮度且Cb和Cr表示色度。
为了减少跨越较低位速率数据流发送视频的带宽要求,通常对图像进行子取样以使得其色度分量减少。因为与亮度相比用户对颜色的位置和运动较不敏感,所以可对视频的色度细节进行子取样而不会带来图像质量的可察觉损耗。举例来说,作为四个像素宽和四个像素高(4∶4∶4 Y′CbCr)图像的完整带宽信号可经子取样到4∶2∶2 Y′CbCr方案,其中色度分量仅垂直地以亮度分量的数据速率的一半进行取样。所述完整带宽信号可经子取样到4∶2∶0 Y′CbCr方案,其中色度分量水平地且垂直地仅以亮度分量的数据速率的一半进行取样。
虽然此方案允许以较低总带宽发射视频图像,但最终显示经子取样图像的编码器需要对经子取样图像进行上取样且按比例缩放以便以高分辨率对用户显示最终视频。为了对经子取样图像数据进行上取样且按比例缩放,典型显示***包含两个单独的硬件模块,用于1)对色度样本进行上取样,和2)改变输入源图像/帧的分辨率以匹配显示器分辨率。
发明内容
一些实施例可包括用于处理图像的计算机实施的方法。所述方法可包括接收具有亮度和色度值的经子取样输入图像。所述方法可进一步包括执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零。所述方法可进一步包括使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与经子取样图像不具有相位差的经向上按比例缩放图像。
所述方法可进一步包括基于所述输入图像的所述亮度和色度宽度和高度计算缩放比。所述方法可进一步包括具有不同数目的亮度和色度样本的经子取样输入图像。所述方法可进一步包括:在亮度平面按比例缩放的初始相位和色度平面按比例缩放的初始相位方面的所述相位计算之后表示亮度和色度样本之间的相位差以使得所述相位差是零,以及基于所述缩放比以及x和y维度初始相位差计算色度的x和y维度按比例缩放。
其它实施例可包括一种包括指令的非暂时性计算机可读媒体,所述指令在由处理器执行时致使所述处理器执行处理图像的方法,所述方法包括步骤:接收具有亮度和色度值的经子取样输入图像;执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零;以及使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
其它实施例可包括一种用于处理图像的计算机可读设备,其包括:用于执行输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零的装置;以及用于使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像的装置。
其它实施例可包括一种经配置以执行用于处理图像的方法的处理器,所述方法包括:接收具有不同数目的亮度和色度样本的经子取样输入图像;执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零;以及使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
附图说明
将在下文中结合附图来描述所揭示方面,提供附图是为了说明但不限制所揭示方面,其中相同符号表示相同元件。
图1是描绘实施本发明的一些操作性实施例的装置的框图。
图2是描绘色度上取样和按比例缩放过程的一个实施例的流程图。
图3图解说明在本发明的一个实施例中利用的对经子取样输入数据执行的色度上取样和按比例缩放功能。
图4图解说明对图像进行向上按比例缩放的不同相实例,其中像素的亮度和色度样本之间的相移不是零。
图5图解说明对图像进行向上按比例缩放的同相实例,其中像素的亮度和色度样本之间的相移是零。
图6图解说明模拟图像的两个取样版本:低分辨率取样和相关高分辨率取样。
具体实施方式
彩色图像大体上由呈各种格式中的一者的三个独立向量表示,例如红、绿、蓝(RGB)或Y′CbCr,其中Y表示亮度像素且Cb和Cr表示色度像素。通常通过以单个色度像素(例如,任意、代表性或平均色度像素)表示多个色度像素以使得所述多个色度像素可以较低位速率编码且发射来对色度像素进行子取样。常见的空间子取样方法包含4∶2∶2 Y′CbCr子取样或4∶2∶0 Y′CbCr子取样。在4∶2∶2 Y′CbCr子取样中,两个色度分量水平地以亮度分量的一半速率经子取样,同时垂直地以全速率经子取样。在4∶2∶0 Y′CbCr子取样中,两个色度分量水平地且垂直地以亮度分量的一半速率经子取样。
信号处理常常用以将图像信号压缩或编码为经编码位流且解压缩或解码此经编码位流以重构原始图像信号。经编码位流的表示经压缩图像的部分可以其压缩格式存储在大容量存储装置中以便节省存储空间。当稍后检索经压缩图像时,其可经解压缩并且例如在监视器或其它显示装置上显示。构成图像的块的较高压缩量往往会降低表示图像需要的位数目,并且还往往会减少在解码过程期间重构的图像的质量。本文所揭示的实施方案提供用于使用一般硬件模块处理数字图像的***、方法及设备,其在一个硬件模块中组合色度上取样和按比例缩放功能。
本发明的方面涉及集成硬件装置,例如成功地组合色度上取样和按比例缩放硬件模块的微处理器或图形处理器。此集成装置可为例如Adreno GPU(加利福尼亚州圣地亚哥高通公司)的图形处理单元(GPU)的部分,其可集成在SnapdragonTM(加利福尼亚州圣地亚哥高通公司)处理器或其它移动处理器内。所述集成装置可为例如Aragorn 2.0(加利福尼亚州圣地亚哥高通公司)和Gandalf 1.0(加利福尼亚州圣地亚哥高通公司)等多媒体显示子***(MDSS)的部分,其可集成在SnapdragonTM(加利福尼亚州圣地亚哥高通公司)处理器或其它移动处理器内。色度上取样和按比例缩放模块的集成允许***一致地实现同相结果,并且减少硬件区域成本和模块检验努力。
因此,一个实施例包含具有集成硬件装置的***,所述装置具有能够执行色度上取样和图像按比例缩放功能两者的一般缩放器模块。在所述集成硬件装置内,色度上取样模块处理色度子取样输入且返回完全取样格式。举例来说,其可输入4∶4∶2 Y′CbCr信号且输出4∶4∶4 Y′CbCr信号。与上取样功能一起工作的按比例缩放功能随后取得完整色度4∶4∶4 Y′CbCr信号且将输入源图像的分辨率向上按比例缩放到所要分辨率以匹配显示器硬件。控制所述集成硬件装置的软件支持模块工作以确保在色度上取样和按比例缩放过程已经完成之后色度分量与亮度分量同相。
色度上取样过程是相对直接的,但当与按比例缩放过程组合时输出色度分量与亮度分量理想地匹配且同相以使得显示给用户的最终图像不存在相位失真。因此,一般按比例缩放硬件模块应具有正确输入以使得所得图像同相且无相位失真。
在大多数情况下,按比例缩放过程实际上是同一模拟图像的重新取样过程。原始图像和所有向上/向下按比例缩放图像应为此模拟图像的各种数字表示。如果在不校正初始输入的情况下重新取样,那么所得亮度和色度区域将不同相或经移位,如图4中所见。如果忽略此移位,且如果将第一内插亮度样本和色度样本视为单个像素的匹配亮度和色度样本,那么此像素与原始模拟图像相比可具有失真颜色,因为所述对是不匹配的。
一些实施例还可并入软件支持以确保所得经处理图像在取样之前尽可能接近于原始未经编码图像。一些实施例可在处理图像之前执行初始相位计算算法。
在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。举例来说,可以在框图中展示电组件/装置,以免用不必要的细节混淆所述实例。在其它实例中,可详细展示此些组件、其它结构和技术以进一步解释所述方面。
还应注意,可能将所述实例描述成过程,这个过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可以将操作描述成顺序过程,但是许多操作可以并行或同时执行,并且所述过程可以重复。另外,可重新布置操作的次序。过程在其操作完成时终止。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于软件函数时,其终止对应于所述函数返回到调用函数或主函数。
所属领域的技术人员将了解,可使用多种不同技术及技艺中的任一者来表示信息及信号。例如,可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示贯穿以上描述可能参考的数据、指令、命令、信息、信号、位、符号和码片。
本发明的技术可适用于多种图像处理***。另外,本发明的技术可适用于以不同速率子取样的输入数据,例如4∶2∶2和4∶2∶0 Y′CbCr。
在本发明的上下文中,“同相”意味着输出数据的匹配亮度和色度样本必须为真实且正确的组合。如果单个像素的亮度和色度样本之间存在失配,那么此失配导致图像的不同相或相位失真。相位失真可造成颜色偏移问题,其中与原始图像相比,颜色移位版本具有可见失真颜色方案。
图1描绘集成硬件装置110的高级框图。所述装置110可为处理图像的任何类型的电子装置,例如手机、数码相机、数字电视、上网本、平板计算机、膝上型计算机或桌上型计算机或类似者。如所展示,装置110包括经配置以运行装置110的操作的处理器120。处理器120进一步包括具有一般缩放器电路130的多媒体显示子***(MDSS)125。一般缩放器电路130可进一步包括用于执行集成色度上取样和按比例缩放过程的各种模块,例如一般按比例缩放模块140和控制模块150。这些硬件模块包含MDSS 125内的硬件和嵌入指令,其执行如下文较详细论述的各种图像处理和装置管理任务。
处理器120也可连接到工作存储器组件105、操作***170和用户接口模块160。当然,应认识到其中工作存储器不集成在处理器120内的其它配置也是预期的。
如上所提到,一般缩放器电路130包含硬件电路和嵌入代码两者,所述代码允许一般缩放器电路130对将输出到连接到装置110的电子显示器的输入图像执行色度上取样和分辨率按比例缩放两者。通过使用一般缩放器电路130,输出图像可设定成在进行处理之后具有相同数目的亮度和色度样本。另外,输出图像亮度和色度像素在输入图像由一般缩放器电路130处理之后可设定成同相。
控制模块150可包含确保所得输出图像同相且与输入图像相比具有匹配的亮度和色度对的指令。因此,控制模块150表示一个用于执行输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零的装置。此外,一般缩放器电路130表示一个用于使用按比例缩放参数对输入图像执行组合的向上按比例缩放和上取样过程以产生不具有与经子取样图像的相位差的经向上按比例缩放图像的装置。
操作***模块170配置处理器以管理装置110的存储器和处理资源。举例来说,操作***模块170可包含装置驱动程序以管理例如电子显示器等硬件资源。因此,在一些实施例中,上文所论述的图像处理模块中含有的指令可不直接与此硬件资源交互,而是通过位于操作***组件170中的标准子例程或API而交互。操作***170内的指令随后可直接与电子显示器交互。用户接口模块165包含配置处理器以在电子显示器上显示信息的指令。
另外,虽然图1图解说明包括工作存储器的单独存储器105,但所属领域的技术人员将认识到利用不同存储器架构的几个实施例。举例来说,设计可利用ROM或静态RAM存储器用于实施一般缩放器电路130中含有的模块的处理器指令的存储。或者,可在***启动时从集成到装置110中或经由外部装置端口连接的磁盘存储装置读取处理器指令。然后,可将处理器指令加载到RAM中,以便于由处理器执行。举例来说,工作存储器105可以是RAM存储器,其中指令在由处理器120执行之前被加载到工作存储器105中。
图2是描绘在例如一般缩放器电路130等集成硬件装置中执行的组合色度上取样和按比例缩放过程200的高级概览的流程图。过程200开始于开始框205且随后过渡到框207,其中获得待色度上取样且按比例缩放的经子取样图像。经子取样图像可从MDSS125内的寄存器或从MDSS 125外部(例如从视频解码器、可携式摄像机或外部HDMI端口)获得。一旦在框207处已获得经子取样图像,过程200便移动到框208,其中确定经子取样图像内的像素的色度和亮度值。过程200随后移动到框210,其中指令引导MDSS125对经子取样图像数据执行初始相位计算。
为了避免内插结果中的相位移位问题(图4中所示)且避免完全取样图像中的颜色失真,在集成硬件装置中执行初始相位计算。
对一般缩放器模块140的经子取样图像数据输入的色度位点信息可含有原始图像与经子取样图像的亮度和色度样本之间的相位差。以ΔP0表示此初始相位差。在支持的九个合法色度位点中,在一个维度中存在三个合法位点:
其中“1”表示亮度平面中两个相邻像素样本之间的单位距离。
由一般缩放器模块140使用的初始相位应使这些相位差偏移以使得输出yuv444数据同相(也就是说,所有颜色分量之间的相位差是零)。如果以ΔP1表示在按比例缩放之后亮度和色度样本之间的相位差:
ΔP1=0。
在ΔP0和ΔP1经界定的情况下,其几何关系可由以下等式描述:
其中s表示将在一般缩放器模块140中计算的缩放比。s的值对于2x向上按比例缩放为1/2且对于4x向上按比例缩放为1/4。P色度和P亮度分别表示色度平面按比例缩放和亮度平面按比例缩放的初始相位。L是亮度维度与色度维度的比率,如下文进一步论述。举例来说,L对于呈格式yuv420的输入数据为二,其中在每一维度中亮度平面具有色度平面的两倍数目的样本。
举例来说,如图6中示出,可以低和高分辨率重新取样单个模拟图像。以上等式中描述的几何关系在水平和垂直维度两者中是真实的。下文论述将使用水平维度作为实例。
图6中的方框600展示模拟图像的低分辨率取样版本。在方框600和650两者中,圆表示亮度样本而叉表示色度样本。
圆605A表示第一亮度样本A0,而叉603表示第一色度样本B0。根据相位差的定义,距离602表示A0与B0之间的水平距离,经界定为ΔP0。当测量ΔP0时,将单位一界定为两个相邻亮度样本之间的水平距离,如图6中604展示。因此:
ΔP0=B0-A0(由距离604界定的单位一)
对于由方框650指示的高分辨率取样,圆610表示第一亮度样本A1,而叉620表示第一色度样本B1。根据相位差的定义,距离615表示A1与B1之间的水平距离,经界定为ΔP1。当测量ΔP1时,将单位一界定为两个相邻亮度样本之间的水平距离,如图6中640展示。类似地,
ΔP1=B1-A1(由距离640界定的单位一)
根据初始相位的以上定义,亮度分量的初始相位P亮度如下使A1和A0相关
P亮度=A1-A0(由距离604界定的单位一)
且对于色度分量,B1和B0相关:
P色度=B1-B0(由L乘以距离604界定的单位一,其为输入色度平面的单位一)。
一些变量到用于几何计算的同一坐标系的转换如下进行。距离630或P色度可通过乘以因数L而转换到输入亮度平面:
P色度*L=B1-B0(由距离604界定的单位一)。
且通过从用于P色度*L的等式减去用于P亮度的等式:
P色度*L-P亮度=B1-A1-(B0-A0)
以上用于ΔP0的等式展示同一坐标系中的关系。组合以上等式与用于ΔP0的等式:
P色度*L-P亮度=B1-A1-ΔP0
重新布置:
B1-A1=P色度*L-P亮度+ΔP0(由距离604界定的单位一)
从以上等式可知,在按比例缩放之后的相位差ΔP1是在按比例缩放之后的亮度平面上界定。两个坐标系:在按比例缩放之前的亮度平面和在按比例缩放之后的亮度平面,是通过比例因子1/s彼此相关。
通过乘以因数1/s,在按比例缩放坐标系之后在亮度平面中将测得距离(P色度*L-P亮度+ΔP0)。因此:
B1-A1=(P色度*L-P亮度+ΔP0)*1/s(由距离640界定的单位一)
从以上等式,(B1-A1)可由ΔP1替换,得到:
一般缩放器模块140合意地输出同相颜色平面,得到:
P色度L+ΔP0-P亮度=0。
如果P亮度由以下等式表示:
那么减法得到以下用于P色度的等式
X和Y维度按比例缩放可由以下等式表达:
其中L经界定为亮度维度与色度维度的比率:
对于水平维度,且
对于垂直维度。
且亮度宽度、亮度高度、色度宽度和色度高度是源数据的维度。
在执行初始相位计算之后,过程200随后过渡到框215,其中指令引导MDSS 125将所确定的相位计算输入到一般缩放器模块140中。从框215,过程200过渡到框220,其中指令引导MDSS 125使用所确定的初始相位计算对经子取样图像数据执行组合的色度上取样和按比例缩放功能。执行此组合的色度上取样和按比例缩放功能的一个实例可参见图3,其图解说明其中缩放比是1/4的对经子取样图像数据进行向上按比例缩放的一个实例。
过程200随后过渡到决策框225,其中控制模块150确定完全取样数据是否同相,意味着原始图像与色度上取样且按比例缩放图像的色度和亮度值彼此完全匹配。如果所述完全取样图像数据同相,那么过程200移动到框230且结束。如果完全取样图像数据经确定为不同相,那么过程200返回到框210且如上文所描述重复过程。
图3展示以因数2对图像进行色度上取样且针对每一像素保持色度样本的正确相位的一个实例。如所展示,经子取样图像数据300经色度上取样且按比例缩放而产生图像数据310。四个像素305A-D中的每一者具有与其相关联的亮度样本值(暗圆)。经子取样图像数据300中的一个像素305A具有与其相关联的色度值,如由像素305A中标记的“X”所示。如所展示,使图像数据300通过一般按比例缩放电路130,其随后将图像数据300上取样且按比例缩放为图像数据310,其中对于十六个像素中的每一者存在亮度和色度值。如所展示,图像数据310内的所有像素在处理之后具有匹配的亮度和色度对且因此,在通过一般按比例缩放电路130处理之后所述像素值保持同相。
图4图解说明经上取样且按比例缩放图像数据405的一个实例,其中色度值与亮度值不同相。如所展示,处理原始像素410A-D以进行上取样且按比例缩放。像素410A具有亮度和色度值两者,而像素410B-D仅具有相关联亮度值。在处理之后,经上取样亮度区域425包括基于来自原始像素410A-D的亮度值计算的16个像素的亮度值。然而,亮度区域425从经上取样色度区域430偏移,所述经上取样色度区域虽然也具有16个像素的色度值但与亮度区域425中的像素的位置相比具有相移。因此,此相移将导致一个像素的色度值与不同像素的亮度值不恰当地相关联。
图5图解说明经上取样且经按比例缩放图像数据505的一个实例,其中色度值与亮度值同相。如所展示,处理原始像素510A-D以进行上取样且按比例缩放。像素510A具有亮度和色度值两者,而像素510B-D仅具有相关联亮度值。在处理之后,经上取样亮度区域525包括基于来自原始像素510A-D的亮度值计算的16个像素的亮度值。应注意亮度区域525与经上取样色度区域530完美地对准。因此,因为每一像素的亮度和色度的值之间不存在相移,所以这些像素将更准确地表示在通过一般缩放器电路130处理之后原始像素的颜色和亮度。
所属领域的技术人员将进一步了解,结合本文中揭示的实施方案描述的各种说明性逻辑块、模块、电路和过程框可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性,上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。此类功能性是实施为硬件还是软件取决于特定应用及施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性,但所述实施方案决策不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到一个部分或一部分可包括小于或等于整体的内容。例如,像素集合的一个部分可能是指那些像素的子集合。
可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器,但在替代例中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心的联合,或任何其它此类配置。
结合本文中揭示的实施方案描述的方法或过程的框可以直接体现在硬件中、通过处理器执行的软件模块中或所述两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸式磁盘、CD-ROM,或本领域中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器上,从而处理器可从计算机可以从计算机可读存储媒体中读取信息,并且向计算机可读存储媒体写入信息。在替代方案中,存储媒体可与处理器成一体式。处理器及存储媒体可驻留在ASIC中。ASIC可驻留在用户终端、相机或其它装置中。在替代实施例中,处理器和存储媒体可作为离散组件驻留于用户终端、相机或其它装置中。
提供对所揭示的实施方案的前述描述,是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改,且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此,本发明并不希望限于本文中所示的实施方案,而应被赋予与本文中所揭示的原理和新颖特征相一致的最广泛范围。
Claims (21)
1.一种用于处理图像的计算机实施的方法,其包括:
接收具有亮度和色度样本的经子取样输入图像;
执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零;以及
使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
2.根据权利要求1所述的方法,其中所述经子取样输入图像具有不同数目的亮度和色度样本。
3.根据权利要求1所述的方法,其中所述经子取样输入图像是4:2:2Y′CbCr和4:2:0Y′CbCr中的一者。
4.根据权利要求1所述的方法,其进一步包括确定每一色度和亮度样本的宽度和高度。
5.根据权利要求4所述的方法,其中执行所述输入图像的相位计算进一步包括基于所述输入图像的所述亮度和色度宽度和高度计算缩放比。
6.根据权利要求5所述的方法,其中执行相位计算进一步包括步骤:在亮度平面按比例缩放的初始相位和色度平面按比例缩放的初始相位方面的所述相位计算之后表示亮度和色度样本之间的相位差以使得所述相位差是零,以及基于所述缩放比以及x和y维度初始相位差计算色度的x和y维度按比例缩放。
7.根据权利要求1所述的方法,其中所述输入图像的所述相位计算是在组合的向上按比例缩放和上取样过程之前执行。
8.一种用于处理图像的装置,其包括:
集成电路,其经配置以接收针对每一像素具有第一数目的色度样本的经子取样图像且对所述所接收图像进行上取样以输出针对每一像素具有增加数目的色度样本的目标图像,其中所述集成电路进一步包括用于将所述目标图像向上按比例缩放为具有增加分辨率的缩放器;以及
控制模块,其经配置以控制所述色度样本到所述缩放器的输入以使得来自所述缩放器亮度和色度样本的按比例缩放输出图像是同相的。
9.根据权利要求8所述的装置,其中所述装置是多媒体显示子***MDSS的部分。
10.根据权利要求8所述的装置,其中所述集成电路包含执行所述经子取样图像的按比例缩放和上取样两者的一般缩放器模块。
11.一种含有处理器可执行指令的非暂时性计算机可读媒体,所述处理器可执行指令在被执行时执行方法,所述方法包括:
接收具有亮度和色度样本的经子取样输入图像;
执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零;以及
使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
12.根据权利要求11所述的计算机可读媒体,其中所述经子取样输入图像针对每一像素具有不同数目的亮度和色度样本。
13.根据权利要求11所述的计算机可读媒体,其中所述经子取样输入图像具有选自4:2:2Y′CbCr或4:2:0Y′CbCr的像素格式。
14.根据权利要求11所述的计算机可读媒体,其进一步含有在被执行时执行确定所述经子取样输入图像中的色度和亮度样本群组的宽度和高度的方法的处理器可执行指令。
15.根据权利要求11所述的计算机可读媒体,其进一步包括在被执行时执行基于所述经子取样输入图像的所述亮度和色度宽度和高度计算缩放比的方法的处理器可执行指令。
16.根据权利要求11所述的计算机可读媒体,其进一步包括在被执行时执行以下方法的处理器可执行指令:在亮度平面按比例缩放的初始相位和色度平面按比例缩放的初始相位方面的所述相位计算之后表示所述亮度和色度样本之间的相位差以使得所述相位差是零,以及基于所述缩放比以及x和y初始相位差计算色度的x和y维度按比例缩放。
17.一种用于处理图像的电子装置,其包括:
用于执行输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零的装置;以及
用于使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像的装置。
18.一种经配置以执行用于处理图像的方法的处理器,所述方法包括:
接收具有不同数目的亮度和色度样本的经子取样输入图像;
执行所述输入图像的相位计算以确定按比例缩放参数以使得输出图像的所有颜色分量之间的相位差是零;以及
使用所述按比例缩放参数对所述输入图像执行组合的向上按比例缩放和上取样过程以产生与所述经子取样图像不具有相位差的经向上按比例缩放图像。
19.根据权利要求18所述的经配置以执行用于处理图像的方法的处理器,其中所述经子取样输入图像是4:2:2Y′CbCr和4:2:0Y′CbCr中的一者。
20.根据权利要求18所述的经配置以执行用于处理图像的方法的处理器,其进一步包括确定每一色度和亮度样本的宽度和高度。
21.根据权利要求20所述的经配置以执行用于处理图像的方法的处理器,其中执行所述输入图像的相位计算进一步包括基于所述输入图像的所述亮度和色度宽度和高度计算缩放比。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/616,830 US9350899B2 (en) | 2012-09-14 | 2012-09-14 | Methods and device for efficient resampling and resizing of digital images |
US13/616,830 | 2012-09-14 | ||
PCT/US2013/053976 WO2014042787A1 (en) | 2012-09-14 | 2013-08-07 | Methods and device for efficient resampling and resizing of digital images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104620574A true CN104620574A (zh) | 2015-05-13 |
CN104620574B CN104620574B (zh) | 2016-11-23 |
Family
ID=49035930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380047243.4A Expired - Fee Related CN104620574B (zh) | 2012-09-14 | 2013-08-07 | 用于数字图像的高效重新取样和调整大小的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9350899B2 (zh) |
EP (1) | EP2896203A1 (zh) |
CN (1) | CN104620574B (zh) |
WO (1) | WO2014042787A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108475213A (zh) * | 2016-03-24 | 2018-08-31 | 富士施乐株式会社 | 图像处理装置、图像处理方法和图像处理程序 |
CN111626310A (zh) * | 2020-05-27 | 2020-09-04 | 百度在线网络技术(北京)有限公司 | 图像比对方法、装置、设备以及存储介质 |
US20210321140A1 (en) | 2019-03-08 | 2021-10-14 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of reshaping information in video processing |
CN113711590A (zh) * | 2019-04-18 | 2021-11-26 | 北京字节跳动网络技术有限公司 | 减少跨分量模式中的延迟 |
US11533487B2 (en) | 2019-07-07 | 2022-12-20 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma residual scaling |
US11659164B1 (en) | 2019-04-23 | 2023-05-23 | Beijing Bytedance Network Technology Co., Ltd. | Methods for cross component dependency reduction |
US11924472B2 (en) | 2019-06-22 | 2024-03-05 | Beijing Bytedance Network Technology Co., Ltd. | Syntax element for chroma residual scaling |
US12034942B2 (en) | 2019-05-08 | 2024-07-09 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for applicability of cross-component coding |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160065974A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding video with respect to filtering |
JP6202330B2 (ja) * | 2013-10-15 | 2017-09-27 | ソニー株式会社 | 復号装置および復号方法、並びに符号化装置および符号化方法 |
KR102440941B1 (ko) | 2015-03-03 | 2022-09-05 | 삼성전자주식회사 | 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들 |
US9911177B2 (en) | 2015-08-31 | 2018-03-06 | Apple Inc. | Applying chroma suppression to image data in a scaler of an image processing pipeline |
KR102637732B1 (ko) | 2018-09-21 | 2024-02-19 | 삼성전자주식회사 | 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5777679A (en) * | 1996-03-15 | 1998-07-07 | International Business Machines Corporation | Video decoder including polyphase fir horizontal filter |
JP2002064720A (ja) * | 2000-08-18 | 2002-02-28 | Noritsu Koki Co Ltd | 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 |
US20060210185A1 (en) * | 2005-03-18 | 2006-09-21 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
JP2007535869A (ja) * | 2004-04-30 | 2007-12-06 | エヌヴィディア コーポレイション | ピクセルデータを垂直にスケーリングするための方法および装置 |
CN101159878A (zh) * | 2006-10-06 | 2008-04-09 | 台湾新力国际股份有限公司 | 色彩匹配方法及使用其之影像捕捉装置和电子设备 |
CN101366281A (zh) * | 2006-01-06 | 2009-02-11 | 微软公司 | 用于多分辨率视频编码和解码的重新采样和调整图像大小操作 |
US20120212673A1 (en) * | 2007-06-28 | 2012-08-23 | Broadcom Corporation | Method and System for Processing Video Data in a Multipixel Memory to Memory Compositor |
WO2012121535A2 (ko) * | 2011-03-06 | 2012-09-13 | 엘지전자 주식회사 | 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5684544A (en) | 1995-05-12 | 1997-11-04 | Intel Corporation | Apparatus and method for upsampling chroma pixels |
US5712687A (en) | 1996-04-25 | 1998-01-27 | Tektronix, Inc. | Chrominance resampling for color images |
US7136417B2 (en) * | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
US7474355B2 (en) * | 2003-08-06 | 2009-01-06 | Zoran Corporation | Chroma upsampling method and apparatus therefor |
US7570270B2 (en) | 2004-05-21 | 2009-08-04 | Broadcom Corporation | Buffer for driving display with asynchronous display engine |
TWI313135B (en) | 2006-05-08 | 2009-08-01 | Method of chroma upsampling | |
US8723891B2 (en) | 2009-02-27 | 2014-05-13 | Ncomputing Inc. | System and method for efficiently processing digital video |
-
2012
- 2012-09-14 US US13/616,830 patent/US9350899B2/en not_active Expired - Fee Related
-
2013
- 2013-08-07 WO PCT/US2013/053976 patent/WO2014042787A1/en active Application Filing
- 2013-08-07 CN CN201380047243.4A patent/CN104620574B/zh not_active Expired - Fee Related
- 2013-08-07 EP EP13753226.3A patent/EP2896203A1/en not_active Ceased
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5777679A (en) * | 1996-03-15 | 1998-07-07 | International Business Machines Corporation | Video decoder including polyphase fir horizontal filter |
JP2002064720A (ja) * | 2000-08-18 | 2002-02-28 | Noritsu Koki Co Ltd | 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 |
JP2007535869A (ja) * | 2004-04-30 | 2007-12-06 | エヌヴィディア コーポレイション | ピクセルデータを垂直にスケーリングするための方法および装置 |
US20060210185A1 (en) * | 2005-03-18 | 2006-09-21 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
CN102075755A (zh) * | 2005-03-18 | 2011-05-25 | 夏普株式会社 | 用于图像上采样的方法和*** |
CN101366281A (zh) * | 2006-01-06 | 2009-02-11 | 微软公司 | 用于多分辨率视频编码和解码的重新采样和调整图像大小操作 |
CN102176748A (zh) * | 2006-01-06 | 2011-09-07 | 微软公司 | 用于多分辨率视频编码和解码的重新采样和调整图像大小操作的方法 |
CN101159878A (zh) * | 2006-10-06 | 2008-04-09 | 台湾新力国际股份有限公司 | 色彩匹配方法及使用其之影像捕捉装置和电子设备 |
US20120212673A1 (en) * | 2007-06-28 | 2012-08-23 | Broadcom Corporation | Method and System for Processing Video Data in a Multipixel Memory to Memory Compositor |
WO2012121535A2 (ko) * | 2011-03-06 | 2012-09-13 | 엘지전자 주식회사 | 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108475213A (zh) * | 2016-03-24 | 2018-08-31 | 富士施乐株式会社 | 图像处理装置、图像处理方法和图像处理程序 |
CN108475213B (zh) * | 2016-03-24 | 2021-11-30 | 富士胶片商业创新有限公司 | 图像处理装置、图像处理方法和图像处理程序 |
US20210321140A1 (en) | 2019-03-08 | 2021-10-14 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of reshaping information in video processing |
US11910020B2 (en) | 2019-03-08 | 2024-02-20 | Beijing Bytedance Network Technology Co., Ltd | Signaling of reshaping information in video processing |
CN113711590B (zh) * | 2019-04-18 | 2024-04-19 | 北京字节跳动网络技术有限公司 | 减少跨分量模式中的延迟 |
CN113711590A (zh) * | 2019-04-18 | 2021-11-26 | 北京字节跳动网络技术有限公司 | 减少跨分量模式中的延迟 |
US11553194B2 (en) | 2019-04-18 | 2023-01-10 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation in cross component mode |
US11616965B2 (en) | 2019-04-18 | 2023-03-28 | Beijing Bytedance Network Technology Co., Ltd. | Restriction on applicability of cross component mode |
US11659164B1 (en) | 2019-04-23 | 2023-05-23 | Beijing Bytedance Network Technology Co., Ltd. | Methods for cross component dependency reduction |
US11750799B2 (en) | 2019-04-23 | 2023-09-05 | Beijing Bytedance Network Technology Co., Ltd | Methods for cross component dependency reduction |
US12034942B2 (en) | 2019-05-08 | 2024-07-09 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for applicability of cross-component coding |
US11924472B2 (en) | 2019-06-22 | 2024-03-05 | Beijing Bytedance Network Technology Co., Ltd. | Syntax element for chroma residual scaling |
US11533487B2 (en) | 2019-07-07 | 2022-12-20 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma residual scaling |
US11956439B2 (en) | 2019-07-07 | 2024-04-09 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of chroma residual scaling |
CN111626310B (zh) * | 2020-05-27 | 2023-08-29 | 百度在线网络技术(北京)有限公司 | 图像比对方法、装置、设备以及存储介质 |
CN111626310A (zh) * | 2020-05-27 | 2020-09-04 | 百度在线网络技术(北京)有限公司 | 图像比对方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2014042787A1 (en) | 2014-03-20 |
US20140078393A1 (en) | 2014-03-20 |
CN104620574B (zh) | 2016-11-23 |
EP2896203A1 (en) | 2015-07-22 |
US9350899B2 (en) | 2016-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104620574A (zh) | 用于数字图像的高效重新取样和调整大小的方法和装置 | |
KR102566291B1 (ko) | 넓은 색상 범위 비디오 코딩을 위한 지각적 색 변환 | |
US7619687B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
US8947449B1 (en) | Color space conversion between semi-planar YUV and planar YUV formats | |
KR102669366B1 (ko) | 비디오 처리 시스템 | |
CN106937113B (zh) | 基于混合色度采样率的图像压缩方法和装置 | |
US20120008679A1 (en) | 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods | |
CN106331712B (zh) | 一种视频图像压缩方法 | |
AU2018233015B2 (en) | System and method for image processing | |
US8948529B1 (en) | Multi-pass encoding | |
CN108471536B (zh) | Alpha通道传输方法及装置、终端装置及存储介质 | |
US7483037B2 (en) | Resampling chroma video using a programmable graphics processing unit to provide improved color rendering | |
WO2014132096A1 (en) | Block color conversion | |
US8655063B2 (en) | Decoding system and method operable on encoded texture element blocks | |
CN114788280A (zh) | 视频的编解码方法与装置 | |
JP2009077183A (ja) | データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法 | |
EP2169616B1 (en) | Video scaling techniques | |
CN116977197A (zh) | 用于对rgb数据进行处理的方法、设备和介质 | |
US10592146B2 (en) | Data processing systems | |
WO2023086182A1 (en) | Non-linear filtering for color space conversions | |
Russell | P. 31: Image Compression for Color‐Sequential LCOS, with Decompression at the Retina | |
JP2007019675A (ja) | 符号化装置、携帯端末装置及びそれらに用いる画素色情報符号化方法 | |
CN104881339A (zh) | 一种测试装置、测试方法及显示*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161123 Termination date: 20210807 |