CN104143175B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置和图像处理方法，该图像处理装置在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图像中跨越超过预定面积的区域而存在的连续区域；对所述第一区域和所述第二区域进行不同强度的平滑处理；并对进行了平滑处理的图像进行图像变换处理。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于解决当在图像变换处理中减小波纹(moire)时清晰度退化问题的图像处理装置和图像处理方法。

背景技术

已知在图像处理装置中，必要时进行图像变换处理。例如，在安装有投影仪产品的图像处理装置中，进行被称为梯形失真(梯形)校正处理的图像变换处理。具体地说，当投影仪的输出光被投影在屏幕上时，对于投影在屏幕上的有效区域，由于投影仪的安装倾斜角度或者光学镜头移位而出现梯形形状的失真。由于在投影在屏幕上的有效区域中存在梯形形状的失真的状态下，不便于用户观看，因此进行图像变换的处理，使得通过进行倒梯形形状的有效区域的图像变换，投影在屏幕上的有效区域变成矩形形状。该图像变换处理通常被称为梯形失真(梯形)校正处理。

为了进行以梯形失真(梯形)校正处理等为目的的图像变换处理，在将输入图像存储在帧存储器中之后，通过根据与输出图像的各个坐标相对应的输入图像坐标的邻近像素进行插值，来生成输出图像的各个坐标。例如，通常已知诸如双三次插值方法等的方法作为该插值方法。

注意，存在如下情况：当进行图像变换处理时出现被称为波纹(干涉条纹)的图像劣化。波纹是由于输出图像的像素间距和与输出图像的像素相对应的输入图像上的坐标的间距之间的差而出现的干涉条纹。由波纹而导致的图像劣化是由源图像的高频分量引起的，并且已知如下方法：通过在图像变换处理之前进行平滑处理来除去高频分量以改善这种状况(日本特开平1-134577号公报)。

然而，当应用日本特开平1-134577号公报的波纹减小处理(平滑处理)时，虽然减小了波纹，但是存在边缘平滑和清晰度退化的不利影响。具体地说，存在如下情况：期望图像中的诸如字符的区域是清晰的，但是作为平滑处理的结果，边缘被钝化，因此生成了字符不清晰的输出图像。对此，为了改善日本特开平1-134577号公报，在日本特许第3143209号公报的技术中，使用用于搜索边缘区域的单元，并通过与对非边缘区域相比对边缘区域应用更弱的平滑处理，来防止字符等边缘区域变得不清晰。

日本特开平1-134577号公报的方法是如下方法：通过在图像变换处理前进行平滑处理来除去高频分量，以减小波纹。然而，如上所述，虽然使用这种方法减小了波纹，但是存在边缘平滑和清晰度退化的不利影响。将使用图2A至图2D对该问题进行说明。图2A至图2D是用于说明由于平滑处理而导致的波纹减小效果的图。注意，为了利用这些图简化说明，使用在一维方向上具有周期性的图像作为输入图像。下面将对图2A至图2D的图的关系进行说明。

首先，图2A是在水平方向上具有2值(白/黑)的第一周期的输入图像，图2B至图2D图示了对其进行了各种处理(变换处理或平滑处理)的结果。图2B是将变换处理应用到图2A的输入图像而产生的图像，并且出现图2A中未示出的第二周期。变换处理是一维方向放大处理的示例，并且在这里，由于输入图像的周期和放大率的干涉而出现第二周期。因此，可明显识别出由于该第二周期的振幅而产生的周期性波纹。另一方面，图2C是将平滑处理应用到图2A的输入图像而产生的图像，而图2D是将变换处理进一步应用到图2C的图像而产生的图像。如图2C所示，通过将平滑处理应用到图2A的输入图像，减小了第一周期的峰值。此外，如图2D所示，可明显识别出由于将变换处理应用到图2C的图像中而减小了波纹。换句话说，与不进行平滑处理的图2B相比，图2D具有与第二周期相对应的相同的波纹周期，但是作为波纹的振幅而图示的周期的振幅的差变小，结果，可明显识别出减小了波纹。然而，虽然减小了波纹，但是也减小了与在进行变换处理前的图2A的原始图案相对应的第一周期的振幅。结果，这种情况被明显识别为清晰度退化的不利影响。总结上述说明，存在通过平滑处理减小波纹的效果，但是也存在降低了输入图像的清晰度的不利影响。

另一方面，在日本特许第3143209号公报中，为了改善日本特开平1-134577号公报中的上述不利影响，通过与对非边缘区域相比对边缘区域应用更弱的平滑处理，以防止边缘区域变得不清晰。然而，该方法存在波纹减小效果较弱的问题。这是因为：如图2A至图2D所示，具有高频分量的边缘区域是波纹的产生要因，因此当削弱对边缘区域的平滑处理时，也削弱了波纹减小效果。

发明内容

鉴于上述问题而做出本发明，本发明的方面在于：在用于进行图像变换处理的图像处理装置中降低由于波纹(干涉条纹)而导致的图像退化的同时保持清晰度。

根据本发明的一方面，提供了一种图像处理装置，其包括：辨别单元，其被配置为在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图像中跨越超过预定面积的区域而存在的连续区域；空间滤波器单元，其被配置为对由所述辨别单元辨别的所述第一区域和所述第二区域进行不同强度的平滑处理；以及图像变换单元，其被配置为对由所述空间滤波器单元进行了平滑处理的图像进行图像变换处理。

根据本发明的第二方面，提供了一种图像处理方法，其包括：辨别步骤，在第一区域与除了所述第一区域以外的第二区域之间进行辨别，所述第一区域是在输入图像中跨越超过预定面积的区域而存在的连续区域；对所辨别的第一区域和第二区域进行不同强度的平滑处理的步骤；以及对进行了平滑处理的图像进行图像变换处理的步骤。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是用于示出根据第一实施例的图像处理装置的结构的图。

图2A至图2D是用于说明由于平滑处理而导致的波纹减小效果的图。

图3是用于示出区域确定单元102的处理的示例的图。

图4是用于例示区域确定单元102的处理流程的图。

图5是用于示出区域确定单元102的处理步骤的示例的图。

图6是用于示出根据第一实施例的空间频率滤波器单元104的处理的示例的图。

图7是用于示出图像变换单元107的处理的示例的图。

图8是用于示出根据第二实施例的图像处理装置的结构的图。

图9是用于示出根据第二实施例的空间频率滤波器单元803的处理的示例的图。

具体实施方式

[第一实施例]

根据第一实施例的图像处理装置的结构如图1所示。图像处理装置101将输入图像100和变换参数110作为输入，并输出变换后图像108。这里，变换参数110是用于表示输入图像100和变换后图像108的坐标的对应关系的参数，并且在一般的投影变换中由3×3的矩阵表示。稍后将进行详细说明。图像处理装置101包括区域确定单元102、空间频率滤波器单元104和图像变换单元107。区域确定单元102将输入图像100作为输入，并输出表示针对输入图像100的各个像素的图像的特性的区域信息105。区域信息105是表示与输入图像100的各个像素邻近的同色像素是否在大于或等于一定值的区域内连续的信息。以下，作为该区域信息，同色像素在大于或等于一定值的像素区域内连续的区域被称为“宏区域(第一区域)”，而除了第一区域以外的区域被称为“微区域(第二区域)”。

空间频率滤波器单元104将输入图像100和区域信息105作为输入，并输出滤波处理后输入图像106。具体地说，空间频率滤波器单元104进行平滑处理，该平滑处理针对由区域信息105表示的宏区域和微区域应用不同的滤波系数。在本实施例中，将具有较强平滑强度的滤波处理应用于宏区域，并将具有较弱平滑强度的滤波处理应用于微区域。接着，图像变换单元107将变换参数110和滤波处理后输入图像106作为输入，并输出变换后图像108。变换后图像108对应于基于变换参数110对滤波处理后输入图像106的形状进行变换而生成的图像。图像处理装置101输出以这种方式生成的变换后图像108。注意，在图1中，变换参数110从外部输入，但是可以采用在图像处理装置101内部生成变换参数110的结构。以下，将对各结构的处理进行详细说明。

将参照图3对区域确定单元102的处理的示例进行说明。在图3中，对处理结果进行了说明，并且稍后将在图4和图5的说明中对处理详情进行说明。在图3中，示出了针对输入图像300生成的区域信息301。输入图像300是混合有格线(ruled line)、字符和数字的图像。针对输入图像300，通过根据与各个像素邻近的同色像素是否在大于或等于一定值的像素区域内连续来划分区域，以划分区域信息301的宏区域(黑色部分)和微区域(白色部分)。换句话说，作为区域信息301，区域确定单元102确定格线部分为宏区域，并确定除了格线部分以外的部分为微区域。

接着，将利用图4示出区域确定单元102的处理流程，并利用图5示出处理步骤的示例。下面，将对图4的处理流程和图5的处理步骤的示例一起进行说明。在图4的处理流程中，区域确定单元102从“开始”(S400)起，针对所有像素，重复从处理开始点的选择(步骤S402)直到宏/微区域确定(步骤S404)的处理(从步骤S405至步骤S401)。此后，区域确定单元102转到“结束”(步骤S406)，并完成处理。

将使用图4和图5对由区域确定单元102进行的处理步骤的示例进行说明。首先，区域确定单元102从“开始”(S400)起开始处理，然后进入对所有像素重复的循环处理(步骤S401)。接着，区域确定单元102进行处理开始点的选择(步骤S402)。步骤S402的处理对应于图5的处理步骤500。在处理步骤500中，区域确定单元102将图示的线作为扫描方向，并选择由箭头表示的一个点。注意，在图5的示例中，为了简化说明，将图像中部的像素作为起点。接着，区域确定单元102进行封闭区域的搜索(步骤S403)。步骤S403的处理对应于图5的处理步骤501。在处理步骤501中，与处理步骤500相比颜色变化的、以灰色示出的区域，是通过封闭区域的搜索而辨别的区域。该处理是用于辨别与选择的像素相邻的同色像素区域的处理，并且一般地，由于绘图程序和种子填充算法等是公共知识，因此省略其说明。

接着，区域确定单元102进行宏/微区域确定(步骤S404)。步骤S404的处理对应于图5的处理步骤502。在步骤S404的处理中，根据在处理步骤501中获得的封闭区域的X坐标的最大值和最小值计算在X轴方向上的距离，并与阈值进行比较。这里，阀值是大于字符或数字的垂直宽度或水平宽度的值，并且通过在设计时预测输入图像来确定该阈值。例如，在本实施例中，将保持清晰度所需的最小字符大小预测为20×20个像素，因此，在x轴方向和y轴方向上的阈值被设置为20个像素。此外，在Y方向上，类似地，根据封闭区域(表面积)的Y坐标的最大值和最小值计算在y轴方向上的距离，并将该距离与预定阈值进行比较。区域确定单元102在x轴方向和y轴方向上的比较结果中的任意一方被确定为超过阀值的情况下，确定封闭区域是宏区域。在处理步骤502中，表明了如下情况：由于针对包括在处理步骤501中选择的单个像素的封闭区域，在x轴方向和y轴方向上的距离小于或等于阀值，因此将该区域确定为微区域封闭区域。

接着，在步骤S404之后，区域确定单元102返回正针对所有像素的重复的循环中(从步骤S405至步骤S401)，并再次进行处理开始点的选择(步骤S402)。在步骤S402的处理中，如相应的处理步骤503所示，区域确定单元102选择与处理步骤500的选择点在扫描方向上相邻的像素。然后，区域确定单元102进行封闭区域的搜索(步骤S403)和宏/微区域确定(步骤S404)。在与该处理相对应的处理步骤504中，表明了如下情况：由于针对包括在处理步骤503中选择的单个像素的封闭区域，在x轴方向和y轴方向上的距离小于或等于阀值，因此将该区域确定为微区域封闭区域。

接着，区域确定单元102再次返回正针对所有像素的重复的循环中(从步骤S405至步骤S401)，并进行处理开始点的选择(步骤S402)，并且获得相应的处理步骤505。然后，区域确定单元进行封闭区域的搜索(步骤S403)和宏/微区域确定(步骤S404)，并获得相应的处理步骤506。在处理步骤506中，表明了如下情况：由于针对包括在处理步骤505中选择的单个像素的封闭区域，在x轴方向和y轴方向上的距离小于或等于阀值，因此将该区域确定为微区域封闭区域。此外，在处理步骤506中，表明以灰色示出的区域连同在处理步骤502和504中确定的封闭区域是封闭区域。换句话说，表明了如下情况：除在处理步骤505中选择的像素之外，以灰色示出的在扫描方向上相邻的像素，是已经完成了宏/微区域确定(步骤S404)的像素。

接着，区域确定单元102再次返回正针对所有像素的重复的循环中(从步骤S405至步骤S401)，并进行处理开始点的选择(步骤S402)，并且获得相应的处理步骤507。在扫描方向上与处理步骤505选择的像素相邻的像素，是已经完成了宏/微区域确定(步骤S404)的像素。因此，通过在扫描方向上跳过，来对尚未完成的宏/微区域确定(步骤S404)的像素进行处理开始点的选择(步骤S402)，并选择在处理步骤507中图示的像素。接着，进行封闭区域的搜索(步骤S403)和宏/微区域确定(步骤S404)，并且获得相应的处理步骤508。在处理步骤507中选择的格线区域上的单个像素与目前为止所选择的像素不同，由于格线区域是存在于比阀值更宽的区域上的连续区域，因此区域确定单元102确定该区域为宏区域。注意，以深灰色示出宏区域。因此，针对所有像素重复图4的流程，并在处理转到“结束”(步骤S406)时获得处理的结果509。在这种状态下，输入图像的所有区域被划分成宏/微区域中的一个。

接着，将使用图6对空间频率滤波器单元104的处理的示例进行说明。在该处理中，首先根据区域信息600生成滤波系数601。如图所示，针对与区域信息600的宏区域相对应的部分，在滤波系数601中生成强平滑强度系数，而针对与微区域相对应的部分，生成弱平滑强度系数。通过将以这种方式生成的滤波系数601应用到输入图像602中、并进行平滑处理，来获得滤波处理后输入图像603。如滤波处理后输入图像603所示，强平滑处理被应用到平滑强的滤波系数601的系数的部分，而弱平滑处理被应用到平滑弱的系数的部分。

接着，将使用图7对图像变换单元107的处理的示例进行说明。图像变换单元107基于变换参数700对输入的滤波处理后输入图像701进行变换，并输出变换后图像108。变换参数700是表示变换前和变换后的坐标关系的参数，并且在投影变换的情况下，由以下公式表示变换参数以及变换前和变换后的坐标关系。换句话说，在表示变换前的坐标，表示变换后的坐标，并且表示变换参数的情况下，通过下式进行表示：

变换后的x坐标

变换后的y坐标

图像变换单元107通过基于这些公式进行坐标变换来进行变换处理，并输出变换后图像108，然后根据本实施例的图像处理装置101的处理完成。

因此，在第一实施例中，根据输入图像100确定宏区域，在将平滑处理强烈地应用到宏区域之后，进行变换处理，并获得变换后图像108。输入图像100的宏区域是在变换处理时波纹的产生要因的区域，但是由于强烈地应用了平滑处理，因此减小了变换后图像702中的波纹。另一方面，输入图像602的微区域是难以成为在变换处理时波纹的产生要因的区域，由于较弱地应用了平滑处理，因此存在保持清晰度的效果。

[第二实施例]

根据第二实施例的图像处理装置的结构如图8所示。与第一实施例相比，倍率计算单元804和空间频率滤波器单元803的处理详情不同。区域确定单元802和图像变换单元808进行类似于图1中的区域确定单元102和图像变换单元107的处理。首先，倍率计算单元804将输入图像800和变换参数810作为输入，计算输入图像800的各个像素的变换后倍率，并将所计算的倍率信息806输出到空间频率滤波器单元803。例如，在图7所示变换的情况下，与图像的下部相比，图像的上部的倍率更小。关于计算倍率信息的方法，日本特开2012-60517号公报详细记载了方法。接着，空间频率滤波器单元803将输入倍率信息806作为输入，并输出滤波处理后输入图像807。

将使用图9对空间频率滤波器单元803的处理进行详细说明。空间频率滤波器单元803以倍率信息900和区域信息901作为输入，来生成滤波系数903。关于滤波系数903的平滑强度，倍率信息900的倍率越小，区域信息901是宏区域的部分的平滑强度越强。相反地，倍率信息900的倍率越大，区域信息901是微区域的部分的平滑强度越弱。通过将以这种方式计算的滤波系数903应用到输入图像902并进行平滑处理，来获得滤波处理后输入图像904。其他部分和第一实施例一样，因此省略其说明。

以此方式，在第二实施例中，除在第一实施例中实现的处理之外，还进行了根据倍率信息900应用平滑强度的处理。由于在倍率小的区域中波纹的强度较高，因此通过加强具有小倍率的区域的平滑处理，能够获得进一步减小波纹的效果。

在上述实施例中，作为区域信息，将同色像素在大于或等于一定值的区域内连续的区域作为宏区域，并将除了这些区域以外的区域作为微区域，但是不限于此。例如，可以将在输入图像中跨越较宽区域的区域作为宏区域，并将除了这些区域以外的区域作为微区域。此外，在上述实施例中，可以采用划分为两个或更多个区域并分别设置多个平滑强度系数的结构。此外，在上述实施例中，对投影仪的梯形失真(梯形)校正处理的示例(图像变换处理)进行了说明，但是图像变换处理不限于此。换句话说，诸如缩放处理(例如放大或缩小)、仿射变换处理(例如旋转)、桶形失真校正处理、枕形失真校正处理等的图像变换处理可以作为示例使用。

[其他实施例]

本发明的实施例还可以通过读出并执行记录在存储介质(例如，非易失性计算机可读存储介质)上的计算机可执行指令以执行本发明的一个或多个上述实施例的功能的***或装置的计算机、以及通过由该***或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行一个或多个上述实施例的功能的方法来实现。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其他电路中的一个或多个，并且可以包括不同的计算机或不同的计算机处理器的网络。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***存储器、光盘(例如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构及功能。

Claims (9)

1.一种图像处理装置，其包括：

确定单元，其被配置为确定基于输入图像中的相邻像素的像素值之间的比较而指定的区域的大小是否大于预定阈值；

空间滤波器单元，其被配置根据所述确定单元的确定结果对所述输入图像进行平滑处理，使得对大小大于所述预定阈值的第一区域的平滑，强于对大小小于所述预定阈值的第二区域的平滑；以及

图像变换单元，其被配置为对由所述空间滤波器单元进行了平滑处理的图像进行图像变换处理，

其中，所述预定阈值是，大于在基于所述输入图像的显示图像内的字符的大小并且小于所述显示图像的大小的预设值。

2.根据权利要求1所述的图像处理装置，其中，所述第一区域是基于在所述输入图像中的同色像素并且大于所述预定阈值的区域。

3.根据权利要求2所述的图像处理装置，其中，所述确定单元针对由与在所述输入图像中选择的单个像素相同颜色的像素包围的封闭区域，辨别所述第一区域或所述第二区域。

4.根据权利要求3所述的图像处理装置，其中，在所述封闭区域的X轴方向或Y轴方向上的距离大于预定阀值的情况下，所述确定单元辨别第一区域。

5.根据权利要求1所述的图像处理装置，其中，所述图像变换单元基于变换参数，对由所述空间滤波器单元平滑的图像进行变换。

6.根据权利要求1所述的图像处理装置，其中，所述确定单元基于种子填充算法来进行区域的辨别。

7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

倍率计算单元，其被配置为针对所述输入图像的各个像素计算通过所述图像变换单元变换后的倍率信息，其中

空间滤波器单元基于由所述倍率计算单元计算的所述倍率信息，对具有不同倍率的各个区域进行不同强度的平滑处理。

8.根据权利要求7所述的图像处理装置，其中，对于倍率较大的区域的平滑强度比对于倍率较小的区域的平滑强度弱。

9.一种图像处理方法，所述图像处理方法包括：

确定步骤，确定基于输入图像中的相邻像素的像素值之间的比较而指定的区域的大小是否大于预定阈值；

平滑步骤，根据在所述确定步骤中的确定的结果对所述输入图像进行平滑处理，使得对大小大于所述预定阈值的第一区域的平滑，强于对大小小于所述预定阈值的第二区域的平滑；以及

变换步骤，对进行了平滑处理的图像进行图像变换处理的步骤，

其中，所述预定阈值是，大于在基于所述输入图像的显示图像内的字符的大小并且小于所述显示图像的大小的预设值。