CN101599260B

CN101599260B - 共享硬件进行影像放大或缩小的方法及装置

Info

Publication number: CN101599260B
Application number: CN2008100384218A
Authority: CN
Inventors: 陈永纬
Original assignee: Huiguo (Shanghai) Software Technology Co Ltd; Silicon Motion Inc
Current assignee: Huiguo (Shanghai) Software Technology Co Ltd; Silicon Motion Inc
Priority date: 2008-06-02
Filing date: 2008-06-02
Publication date: 2011-12-21
Anticipated expiration: 2028-06-02
Also published as: CN101599260A

Abstract

本发明提供一种影像处理方法和装置，可共享硬件进行影像放大或缩小。本发明的装置包括一个列缓冲器、一第一变量、一第二变量和一缩放器。该缩放器用以配合该列缓冲器及该第一、第二变量进行影像放大或缩小。该缩放器执行一缩小程序以进行影像缩小，或执行一放大程序以进行影像放大。

Description

共享硬件进行影像放大或缩小的方法及装置

技术领域

本发明是关于影像处理的方法，尤其是关于共享硬件进行影像放大或缩小的方法。

背景技术

随着多媒体的发展，人们对影像处理的需求遽增。而影像处理包含多种面向，其中之一就是将输入影像做缩小(scaling down)或放大(scaling up)的动作(简称影像缩放)，而执行该功能的硬件则为一缩放器(scaler)。

对于影像缩放的应用，例如：网络地图的影像缩放，常要求兼顾速度及精确度，因此，如何进行影像缩放且尽可能达到实时而不失真的要求，则为一重要课题。

然而，进行影像缩放的方法之一，举例而言，是将影像中的所有像素数据完整储存于高容量的内存中，再配合高速处理器做运算。此举固然可取得最佳化的影像，然而将大幅增加成本，并不符合业界实际需求。此外，业界对于所述影像缩放的作法各有不同，甚至有将影像缩小与放大交由不同的硬件来执行的作法，常使得硬件架构变得相当复杂而无效率。

发明内容

基于上述目的，本发明提供一种影像处理方法，可共享硬件进行影像放大(scaling up)或缩小(scaling down)，且其使用极少量的内存即可达到影像放大的功能。该影像具有对应于一具有多个列及多个行的二维数组的多个像素。本发明的方法包括提供一个列缓冲器，具有至少2N个储存位置、提供一第一变量及一第二变量，用以配合该列缓冲器进行影像放大或缩小。其中，当进行影像缩小时，执行一缩小程序，该缩小程序包括将对应该二维数组的一第k列的多个像素依序储存于该列缓冲器的第1至第N个储存位置中、将对应该二维数组的一第k+1列第j行的像素储存于该第一变量中、将对应该二维数组的一第k+1列第j+1行的像素储存于该第二变量中、使用一第一算法依照分别暂存于该列缓冲器第j行、第j+1行、该第一变量以及该第二变量中的这些像素计算出一第一新像素、输出该第一新像素、将上述储存于该第一变量中的该像素移位至该行缓冲器中的第j个储存位置、将上述储存于该第二变量中的该像素移位至该第一变量中、将对应该二维数组的一第k+1列第j+2行的一像素储存于该第二变量中、使用该第一算法依照分别暂存于该列缓冲器第j+1行、第j+2行、该第一变量以及该第二变量中的这些像素计算出一第二新像素，并输出该第二新像素。再者，当进行影像放大时，执行一放大程序，该放大程序包括将对应该二维数组的一第k列的多个像素依序储存于该列缓冲器的第1至第N个储存位置中、将对应该二维数组的一第k+1列第j行的像素储存于该第一变量中、将对应该二维数组的一第k+1列第j+1行的像素储存于该第二变量中、使用一第二算法依照分别暂存于该列缓冲器第j行、第j+1行、该第一变量以及该第二变量中的这些像素计算出一第一新列像素群，并输出该第一新列像素群、将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置、将上述储存于该第二变量中的该像素移位至该第一变量中、将对应该二维数组的一第k+1列第j+2行的一像素储存于该第二变量中、使用该第二算法依照分别暂存于该列缓冲器第j+1行、第j+2行、该第一变量以及该第二变量中的这些像素计算出一第二新列像素群，并输出该第二新列像素群。其中当执行该放大程序中的当将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置的步骤时，更包括当j＝N时，则使用该第二算法依照分别暂存于该列缓冲器第j行、第j+1行、第N+j行、第N+j+1行的这些像素计算出至少一第三新列像素群，并输出至少该第三新列像素群。

本发明又提供一种影像处理装置，可共享硬件进行影像放大或缩小，该影像具有同上述的多个像素。本发明的装置包括一个列缓冲器，具有至少2N个储存位置、一第一变量、一第二变量以及一缩放器。该缩放器用以配合该列缓冲器及该第一、第二变量进行影像放大或缩小。该缩放器执行上述该缩小程序以将影像缩小，且可执行上述该放大程序以将影像放大。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1为现有技术中的影像处理器的架构图。

图2为依照本发明进行影像缩放的方法流程图。

图3a为依照本发明缩小程序的方法流程图。

图3b为进行本发明缩小程序前的像素与的后新像素的示意图。

图3c为进行本发明步骤S402中列缓冲器的储存数据示意图。

图3d为进行本发明步骤S404中列缓冲器的储存数据示意图。

图3e为进行本发明步骤S406中列缓冲器的储存数据示意图。

图4a为依照本发明放大程序的方法流程图。

图4b为进行本发明放大程序前的像素与的后新像素的示意图。

图4c为进行本发明步骤S402中列缓冲器的储存数据示意图。

图4d为进行本发明步骤S404中列缓冲器的储存数据示意图。

图4e为进行本发明步骤S406中列缓冲器的储存数据示意图。

图4f为进行本发明步骤S418中列缓冲器的储存数据示意图。

主要组件符号说明：

100～影像处理***

101～影像源

102～列缓冲器

103～影像处理器

104～第一变量

105～显示装置

106～第二变量

108～缩放器

S202～S210～步骤

S302～S316～步骤

S402～S418步骤

D₁～D_N～D_2N～储存位置

具体实施方式

为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施例，并配合所附图做详细的说明。本发明说明书提供不同的实施例来说明本发明不同实施方式的技术特征。

图1为依照本发明的影像处理***100的架构图。图中影像源101提供一影像，该影像具有对应于一具有多个列与多个行(在本实施例中，举例而言，具有M列N行)的二维数组的多个像素，而这些像素的格式可归类为YUV像素格式及RGB格式等，以表达视频影像中的色彩浓度与信息。影像处理器103接收来自影像源101的数据而对该影像进行各种影像处理功能，然而依据本发明，本文仅就影像处理功能中的影像缩放功能做说明。影像处理器103中包括一缩放器108，在本发明中可对该影像进行放大(scaling up)或缩小(scaling down)的功能，有别于现有技术，其可共享硬件包括一个列缓冲器102、一第一变量104及一第二变量106等，如图1中所示。经该影像处理器103处理该影像后产生一新影像，该新影像具有对应于一具有多个列及多个行(不限定是M列N行)的二维数组的多个新像素，可输出至一显示装置105。

为了达成上述在进行影像放大或缩小时可共享硬件的目的，本发明又提供一方法，如图2所示。该方法于步骤S202中提供一个列缓冲器102、步骤S204中提供一第一变量104及一第二变量106，并于步骤S206中判断是进行影像放大或是影像缩小。本方法又包括当进行影像缩小时，执行一缩小程序S208，以及当进行影像放大时，执行一放大程序S210。

图3a表示图2中该缩小程序S208的方法流程图。图3b表示具有多个像素的一影像示意图，在本实施例中，欲由该缩小程序S208所产生的新像素b₁、b₂亦标示于图上以方便说明。当进行该缩小程序S208时，举例而言，可以双线性内插法(bilinear)进行计算，例如，从图中像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1得一第一新像素b₁、从图中像素a^k _j+1、a^k _j+2、a^k+1 _j+1和a^k+1 _j+2取得一第二新像素b₂，以此类推，集合所有的新像素可得到一缩小的新影像。当于步骤S302中，将对应该二维数组的一第k列的多个像素a^k ₁、a^k ₂、a^k ₃、…、a^k _j、a^k _j+1、a^k _j+2、…a^k _N依序储存于该列缓冲器的多个储存位置D₁、D₂、D₃、…D_j、D_j+1、D_j+2、…D_N中，如图3c所示(图中这些储存位置仅标示有N个，然而其数量不在此限)。步骤S304中，将对应该二维数组的一第k+1列第j行的像素a^k+1 _j储存于该第一变量104中，如图3d所示。并于步骤S306中，将对应该二维数组的一第k+1列第j+1行的像素a^k+1 _j+1储存于该第二变量106中。然而，值得注意的是，在一般情况下，影像处理可从第1行第1列的一像素开始，但为了做更广义的说明，本实施例则从第k行第j列开始，是以图3d中这些储存位置D₁、D₂、D₃至D_j-1已经和先前图3c中所这些储存位置储存的这些像素有所不同，原因容后再述。步骤S308中，该缩放器108使用一第一算法，举例而言即前述的该双线性内插法，依照分别暂存于D_j、D_j+1、该第一变量104以及该第二变量106中的这些像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1计算出一第一新像素b₁(表示于图3b中)，并输出该第一新像素b₁。接下来，于步骤S310中，将上述储存于该第一变量104中的该像素a^k+1 _j移位至该行缓冲器102中的第j个储存位置D_j，于步骤S312中，将上述储存于该第二变量106中的该像素a^k+1 _j+1移位至该第一变量104中，并于步骤S314中，将对应该二维数组的一第k+1列第j+2行的一像素a^k+1 _j+2储存于该第二变量106中，上述步骤S310、S314、S316可参考图3e所示，至此，可说明图3d所这些储存位置D₁、D₂、D₃到D_j-1所储存的这些像素何以与图3c不同。之后，步骤S316与步骤S308相似，该缩放器108使用该第一算法，同步骤S308的该双线性内插法，依照分别暂存于D_J+1、D_J+2、该第一变量104以及该第二变量106中的这些像素a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2计算出一第二新像素b₂(表示于图3b中)，并输出该第二新像素b₂。从本实施例乃从第k列第j行的该像素a^k _j开始，虽仅列举计算两新像素b₁、b₂的方法，然而熟悉本技艺的人员当可依照本发明推广至所有像素{a^k _j，1≤k≤M，1≤j≤N}，而产生一相对原影像缩小的新影像。

图4a表示图2中该放大程序210的方法流程图。图4b表示具有多个像素的一影像示意图。当进行该放大程序S210时，举例而言，可以双线性内插法(bilinear)进行计算，例如，从图中像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1得一第一新列像素群B₁(又包括新像素b₁₁、b₁₂)及一第三新列像素群B₃(又包括新像素b₃₁、b₃₂)，又从图中像素a^k _j+1、a^k _j+2、a^k+1 _j+1和a^k+1 _j+2取得一第二新像素B₂(又包括新像素b₂₁、b₂₂)，及一第四新列像素群B₄(又包括新像素b₄₁、b₄₂)，以此类推，集合所有像素以及新像素可得到一放大的新影像。当于步骤S402中，将对应该二维数组的一第k列的多个像素a^k ₁、a^k ₂、a^k ₃、…、a^k _j、a^k _j+1、a^k _j+2、…a^k _N依序储存于该列缓冲器的多个储存位置D₁、D₂、D₃、…D_j、D_j+1、D_j+2、…D_N中，如图4c所示，而D_N至D_2N亦有像素储存，原因可由下述实施例中推知。步骤S404中，将对应该二维数组的一第k+1列第j行的像素a^k+1 _j储存于该第一变量104中，如图4d所示。并于步骤S406中，将对应该二维数组的一第k+1列第j+1行的像素a^k+1 _j+1储存于该第二变量106中。然而，值得注意的是，在一般情况下，影像处理可从第1行第1列的一像素开始，但为了做更广义的说明，本实施例以从第k行第j列开始。步骤S408中，该缩放器108使用一第二算法，举例而言，同前述的该双线性内插法，依照分别暂存于D_j、D_j+1、该第一变量104以及该第二变量106中的这些像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1计算出一第一新列像素群B₁(又包括新像素b₁₁、b₁₂，表示于图4b中)，并输出该第一新像素B₁。接下来，于步骤S410中，将上述储存于该第一变量104中的该像素a^k+1 _j移位至该行缓冲器102中的第N+j个储存位置D_N+j，于步骤S412中，将上述储存于该第二变量106中的该像素a^k+1 _j+1移位至该第一变量104中，并于步骤S414中，将对应该二维数组的一第k+1列第j+2行的一像素a^k+1 _j+2储存于该第二变量106中，上述步骤S410、S414、S416可参考图4e。之后，步骤S416与步骤S408相似，该缩放器108使用该第二算法，同步骤S408的该双线性内插法，依照分别暂存于D_J+1、D_J+2、该第一变量104以及该第二变量106中的这些像素a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2计算出一第二新行像素B₂(又包括新像素b₂₁、b₂₂，表示于图4b中)，并输出该第二新列像素群B₂。在此必须进一步说明，当进行影像放大时，使用内插法可由邻近的四个像素(如图4b中的a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2)而产生本实施例中的四个新像素(如图4b中的b₁₁、b₁₂、b₃₁、b₃₂)，进而集合所有像素及新像素而达成影像放大的目的。然而，熟悉本技艺人士可轻易了解，依照显示装置的影像扫描原理，新像素中位于同一列者(如图4b中的b₁₁、b₁₂、b₂₁、b₂₂)必需对该显示装置整列输出后，次列中的新像素(如图4b中的b₃₁、b₃₂、b₄₁、b₄₂)才得以输出。故本发明在执行该放大程序中储存次列像素的方式(如步骤S410)与缩小程序中的方式(如步骤S410)有所不同。是以，如图4a中，当执行该放大程序中步骤S410的“当将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置”时，更包括当j＝N时，依照步骤S418，使用该第二算法依照分别暂存于该列缓冲器102第j行、第j+1行、第N+j行、第N+j+1行的这些像素(a^k _j、a^k _j+1、a^k+1 _j及a^k+1 _j+1)计算并输出至少一第三新列像素群B₃(又包括新像素b₃₁、b₃₂，表示于图4b中)。值得注意的是，其它多个与该第三新列像素群处于同列的所有新像素(一第四新列像素群B₄中的新像素b₄₁、b₄₂即属于此)亦可以上述相似的方式一并计算并输出，如图4f所示。从本实施例乃从第k列第j行的该像素a^k _j开始，虽仅列举计算两新列像素群B₁、B₂、B₃及B₄的方法，然而熟悉本技艺人士当可依照本发明推广至所有像素{a^k _j，1≤k≤M，1≤j≤N}，而产生一相对原影像放大的新影像。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种影像处理方法，可共享硬件进行影像缩小；该影像具有对应于一具有M列及N行的二维数组的多个像素{a^k _j，1≤k≤M，1≤j≤N}，该方法包括：

提供一个列缓冲器，具有至少2N个储存位置；

提供一第一变量及一第二变量，用以配合该列缓冲器进行影像缩小；以及

当进行影像缩小时，执行一缩小程序，该缩小程序包括：

将对应该二维数组的一第k列的多个像素{a^k _j，j＝1，2，3，N，}依序储存于该列缓冲器的第1至第N个储存位置中；

将对应该二维数组的一第k+1列第j行的像素a^k+1 _j储存于该第一变量中；

将对应该二维数组的一第k+1列第j+1行的像素a^k+1 _j+1储存于该第二变量中；

使用双线性内插法依照分别暂存于该列缓冲器第j行、第j+1行、该第一变量以及该第二变量中的这些像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1计算出一第一新像素b^k _j，并输出该第一新像素；

将上述储存于该第一变量中的该像素移位至该行缓冲器中的第j个储存位置；

将上述储存于该第二变量中的该像素移位至该第一变量中；

将对应该二维数组的一第k+1列第j+2行的一像素a^k+1 _j+2储存于该第二变量中；以及

使用双线性内插法依照分别暂存于该列缓冲器第j+1行、第j+2行、该第一变量以及该第二变量中的这些像素a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2计算出一第二新像素，并输出该第二新像素。

2.如权利要求1所述的影像处理方法，其特征在于，还可共享硬件进行影像放大，当进行影像放大时，执行一放大程序，该放大程序包括：

将对应该二维数组的一第k列的多个像素{a^k _j，j＝1，2，3，N}依序储存于该列缓冲器的第1至第N个储存位置中；

使用双线性内插法依照分别暂存于该列缓冲器第j行、第j+1行、该第一变量以及该第二变量中的这些像素a^k _j、a^k _j+1、a^k+1 _j和a^k+1 _j+1计算出一第一新列像素群，并输出该第一新列像素群；

将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置；

将上述储存于该第二变量中的该像素移位至该第一变量中；

将对应该二维数组的一第k+1列第j+2行的像素a^k+1 _j+2储存于该第二变量中；以及

使用双线性内插法依照分别暂存于该列缓冲器第j+1行、第j+2行、该第一变量以及该第二变量中的这些像素a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2计算出一第二新列像素群，并输出该第二新列像素群。

3.如权利要求2所述的影像处理方法，其特征在于，当执行该放大程序中的当将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置的步骤时，更包括当j＝N时，则使用双线性内插法依照分别暂存于该列缓冲器第j行、第j+1行、第N+j行、第N+j+1行的这些像素a^k _j、a^k _j+1、a^k+1 _j及a^k+1 _j+1计算出至少一第三新列像素群，并输出至少该第三新列像素群。

4.如权利要求1所述的影像处理方法，其特征在于，这些像素的格式为YUV像素格式。

5.如权利要求1所述的影像处理方法，其特征在于，这些像素的格式为RGB像素格式。

6.一种影像处理装置，可共享硬件进行影像缩小；该影像具有对应于一具有M列及N行的二维数组的多个像素{a^k _j，1≤k≤M，1≤j≤N}，该装置包括：

一个列缓冲器，具有至少2N个储存位置；

一第一变量及一第二变量；以及

一缩放器，用以配合该列缓冲器及该第一、第二变量进行影像缩小；

其中，该缩放器执行一缩小程序以进行影像缩小，该缩小程序包括：

将上述储存于该第二变量中的该像素移位至该第一变量中；

7.如权利要求6所述的影像处理装置，其特征在于，还可共享硬件进行影像放大，该缩放器执行一放大程序以进行影像放大，该放大程序包括：

将上述储存于该第二变量中的该像素移位至该第一变量中；

使用双线性内插法依照分别暂存于该列缓冲器第j+1行、第j+2行、该第一变量以及该第二变量中的这些像素a^k _j+1、a^k _j+2、a^k+1 _j+1、a^k+1 _j+2计算出一第二新像素群，并输出该第二新像素群。

8.如权利要求7所述的影像处理装置，其特征在于，当该缩放器执行该放大程序中的当将上述储存于该第一变量中的该像素移位至该行缓冲器中的第N+j个储存位置的步骤时，更包括当j＝N时，则使用双线性内插法依照分别暂存于该列缓冲器第j行、第j+1行、第N+j行、第N+j+1行的这些像素a^k _j、a^k _j+1、a^k+1 _j及a^k+1 _j+1计算出一第三新列像素群，并输出该第三新列像素群。

9.如权利要求6所述的影像处理装置，其特征在于，这些像素的格式为YUV像素格式。

10.如权利要求6所述的影像处理装置，其特征在于，这些像素的格式为RGB像素格式。