CN101822037B - 图像处理装置和方法 - Google Patents

Abstract

本发明的目的在于提供一种能够防止在变更图像的倍率时产生的画质的劣化的图像处理装置、方法和程序。图像处理装置具备：进行图像的输入的图像输入部(10)；对通过图像输入部(10)输入的图像中包含的边缘的方向进行检测的边缘方向计算部(24)；对通过图像输入部(10)输入的图像在通过边缘方向计算部(24)检测出的边缘的方向上进行内插处理的内插位置决定部(26)；内插对象像素决定部(28)；第一方向内插部(30)；以及第二方向内插部(32)。

Description

图像处理装置和方法

技术领域

本发明涉及进行输入图像的分辨率变换的图像处理装置、方法以及程序 

背景技术

历来，在使用双三次法进行图像的内插处理时，已知进行在图像的边缘附近的内插系数的调整或采样间隔的变更，依次进行在水平方向和垂直方向的内插的方法(例如，参照专利文献1)。 

专利文献1：日本专利申请特开2006-54899号公报(第8-19页，图1-15) 

本发明要解决的课题 

可是，在上述专利文献1中记述的现有技术中，虽然在边缘附近进行内插系数的调整，但是由于基本不是进行沿着边缘方向的内插，所以产生锯齿状图形等，在变换图像的分辨率时存在画质劣化等问题。特别是在使用双三次法的情况下，由于在使用1变量内插函数沿着水平方向进行内插处理后沿着垂直方向进行内插处理，所以相对于内插位置位于上下左右的倾斜方向的像素的值不被直接反映，不得不允许某种程度的锯齿状图形的产生。 

此外，在这样的情况下，如果能够部分地对锯齿状图形等产生的处所进行修整的话是便利的，但在现有技术中，图像的修整或修复需要工作者描画修整部分来变更像素值，由于手颤等也被加入，所以存在精度差、并且修整花费时间等问题。 

发明内容

本发明正是鉴于这样的方面而创造的，其目的在于提供一种能够防止在变更图像的倍率时产生的画质的劣化的图像处理装置、方法以及程序。此外，本发明的其它目的在于提供一种能够缩短图像的修整所需要的时间、并且使修整的精度提高的图像处理装置、方法以及程 序。 

用于解决课题的方法 

为了解决上述课题，本发明的图像处理装置具备： 

图像输入单元，进行图像的输入；边缘方向检测单元，对通过图像输入单元输入的图像中包含的浓淡的边缘的方向进行检测；以及第一内插处理单元，对于通过图像输入单元输入的输入图像，将通过边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着第一内插轴进行上述输入图像的扩大/缩小。 

此外，本发明的图像处理方法具有：图像输入步骤，进行图像的输入；边缘方向检测步骤，对在图像输入步骤中输入的图像中包含的浓淡的边缘的方向进行检测；以及第一内插处理步骤，对于在图像输入步骤中输入的输入图像，将在边缘方向检测步骤中检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着第一内插轴进行上述输入图像的扩大/缩小。 

此外，本发明的图像处理程序用于使计算机作为以下单元发挥功能：图像输入单元，进行图像的输入；边缘方向检测单元，对通过图像输入单元输入的图像中包含的浓淡的边缘的方向进行检测；以及第一内插处理单元，对于通过图像输入单元输入的输入图像，将通过边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着第一内插轴进行输入图像的扩大/缩小。 

通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处理，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。 

此外，上述边缘方向检测单元检测以指示设备对输入图像指示的方向，作为边缘的方向。或者，在上述边缘方向检测步骤中，检测以指示设备对输入图像指示的方向，作为边缘的方向。由此，仅以指示设备进行指示就能进行图像的修整，能够缩短图像的修整所需要的时间，并且由于利用者能够确认边缘的朝向进行指示，所以能够使修整的精度提高。 

此外，优选还具备：倍率指定单元，对通过上述图像输入单元输入的图像指定扩大/缩小的倍率，并且第一内插处理单元具有：第一内 插位置决定单元，对与通过倍率指定单元指定的倍率对应的内插位置进行决定；以及第一内插对象像素决定单元，将内插位置的周围的、沿着通过边缘方向检测单元检测出的边缘的朝向配置的n×n个(n是4以上的偶数)的像素作为内插对象像素进行提取。 

或者，优选还具有：倍率指定步骤，对在上述图像输入步骤中输入的图像指定扩大/缩小的倍率，并且在第一内插处理步骤中具有：第一内插位置决定步骤，对与在倍率指定步骤中指定的倍率对应的内插位置进行决定；以及第一内插对象像素决定步骤，将内插位置的周围的、沿着通过边缘方向检测步骤检测出的边缘的朝向配置的n×n个(n是4以上的偶数)的像素作为内插对象像素进行提取。由此，能够对应于指定的倍率，决定必要的内插位置。 

此外，优选通过上述图像输入单元输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个像素构成，边缘方向检测单元基于包围内插位置的4个像素的像素值来检测边缘的方向。或者，优选在上述图像输入步骤中输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个像素构成，在边缘方向检测步骤中，基于包围内插位置的4个像素的像素值来检测边缘的方向。由此，能够减少边缘方向检测中需要的像素数从而削减运算量。 

此外，优选上述边缘方向检测单元基于包围内插位置的4个像素的像素值，对与该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。或者，优选在上述边缘方向检测步骤中，基于包围内插位置的4个像素的像素值，对与该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。由于在边缘存在的情况下夹着边缘产生浓淡梯度，所以通过使用浓淡梯度，能够可靠地获知边缘的朝向。 

此外，优选上述第一内插对象像素决定单元对具有通过边缘方向检测单元检测出的边缘的朝向的第一内插轴进行设定，将夹着该第一内插轴并位于预定范围内的n个像素作为内插对象像素进行提取。或者，优选在上述第一内插对象像素决定步骤中，对具有在边缘方向检测步骤中检测出的边缘的朝向的第一内插轴进行设定，将夹着该第一内插轴位于预定范围内的n个像素作为内插对象像素进行提取。此外，优选上述第一内插轴具有与边缘的朝向一致的直线形状或非直线形 状。 

由此，能够使沿着边缘的朝向排列的像素的像素值在计算内插位置的像素值的内插处理中反映，能够获得沿着边缘方向平滑的、没有锯齿状图形产生的图像。 

此外，优选作为第二内插轴使用水平轴和垂直轴的任何的一方，第一内插处理单元通过沿着第一和第二内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着第一和第二内插轴的任何的另一方的内插轴，计算与通过第一内插位置决定单元决定的内插位置对应的内插值。或者，优选作为第二内插轴使用水平轴和垂直轴的任何的一方，在第一内插处理步骤中，通过沿着第一和第二内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着第一和第二内插轴的任何的另一方的内插轴，计算与通过第一内插位置决定单元决定的内插位置对应的内插值。能够针对第一和第二内插轴的每一个分别进行内插处理来求取最终的内插值，能够谋求处理的简略化。 

此外，优选上述第一内插对象像素决定单元基于通过边缘检测单元检测出的边缘的朝向，决定作为第二内插轴使用水平轴和垂直轴的哪一个。具体地，优选上述第一内插对象像素决定单元将与第一内插轴的角度成为45度以上的水平轴或垂直轴作为第二内插轴进行设定。或者，优选在上述第一内插对象像素决定中，基于在边缘检测步骤中检测出的边缘的朝向，决定作为第二内插轴使用水平轴和垂直轴的哪一个。具体地，优选在上述第一内插对象像素决定步骤中，将与第一内插轴的角度成为45度以上的水平轴或垂直轴作为第二内插轴进行设定。通过沿着接近于垂直的2轴的每一个进行内插处理，能够使内插精度提高。 

此外，优选上述第一内插处理单元以沿着第一和第二内插轴格子状地配置的方式沿着第二内插轴调整n×n个像素的像素位置，然后进行内插处理。或者，优选在上述第一内插处理步骤中，以沿着第一和第二内插轴格子状地配置的方式沿着第二内插轴调整n×n个像素的像素位置，然后进行内插处理。在针对第一和第二内插轴的每一个分别 进行内插处理来求取最终的内插值时，能够使用与现有技术同等的算法来谋求处理的简略化。 

此外，优选在利用上述第一内插处理单元的内插处理或在第一内插处理步骤中的内插处理中，在将邻接的像素的间隔作为t时，使用以 

φ(t)＝-1.75|t|²+1.0          (|t|≤0.5) 

       1.25|t|²-3.0|t|+1.75   (0.5＜|t|≤1.0) 

       0.75|t|²-2.0|t|+1.25   (1.0＜|t|≤1.5) 

       -0.25|t|²+|t|-1.0      (1.5＜|t|≤2.0) 

       0                      (2.0＜|t|) 

表示的抽样函数φ(t)来进行。 

此外，优选具备：显示单元，将通过利用上述第一内插处理单元的内插处理而获得的图像作为成为修整对象的图像进行显示；修整指示单元，对在通过显示单元显示的图像中包含的修整处所与修整方向一起进行指示；以及第二内插处理单元，对与通过修整指示单元指示的修整处所对应的部分图像，进行沿着通过修整指示单元指示的修整方向的内插处理。 

此外，优选具有：显示步骤，将通过上述第一内插处理步骤中的内插处理而获得的图像作为成为修整对象的图像进行显示；修整指示步骤，对在显示步骤中显示的图像中包含的修整处所与修整方向一起进行指示；以及第二内插处理步骤，对与在修整指示步骤中指示的修整处所对应的部分图像，进行沿着在修整指示步骤中指示的修整方向的内插处理。 

此外，优选使计算机作为以下单元发挥功能：显示单元，将通过利用上述第一内插处理单元的内插处理而获得的图像作为成为修整对象的图像进行显示；修整指示单元，对在通过显示单元显示的图像中包含的修整处所与修整方向一起进行指示；以及第二内插处理单元，对与通过修整指示单元指示的修整处所对应的部分图像，进行沿着通过修整指示单元指示的修整方向的内插处理。 

仅指示显示的图像中包含的修整处所和修整方向，就能够针对修整处所配合修整方向进行内插处理，来进行图像的修整，因此能够缩短图像的修整所需要的时间。此外，通过进行沿着修整方向的内插处 理，能够对内插位置直接反映沿着修整方向存在的像素的影响，能够进行高精度的内插处理，能够使修整的精度提高。 

此外，优选上述第二内插处理单元使用构成通过图像输入单元输入的图像的像素的像素值，进行与部分图像对应的内插处理。或者，优选在上述第二内插处理步骤中，使用构成在图像输入步骤中输入的图像的像素的像素值，进行与部分图像对应的内插处理。由此，能够去除为了图像显示而进行的内插处理导致的画质的劣化的影响。 

此外，优选上述第二内插处理单元具有：第二内插对象像素决定单元，将内插位置的周围的、沿着通过修整指示单元指示的修整方向配置的预定个数的像素作为内插对象像素进行提取。优选上述第二内插对象像素决定单元对具有通过修整指示单元指示的修整方向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为内插对象像素进行提取。此外，优选上述第二内插处理步骤具有：第二内插对象像素决定步骤，将内插位置的周围的、沿着在修整指示步骤中指示的修整方向配置的预定个数的像素作为内插对象像素进行提取。优选在上述第二内插对象像素决定步骤中，对具有在修整指示步骤中指示的修整方向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个的像素作为内插对象像素进行提取。由此，能够使沿着修整方向的朝向排列的像素的像素值在计算内插位置的像素值的内插处理中反映，能够获得沿着修整方向平滑的、没有锯齿状图形产生的图像。 

此外，优选上述修整指示单元具有指示设备(或使用指示设备进行)，修整方向的指示是在由显示单元在画面中显示的图像的修整处所中，通过沿着该修整处所中包含的边缘使指示设备移动来进行的。或者，优选上述修整指示步骤使用指示设备来进行，修整方向的指示是在显示步骤中在画面中显示的图像的修整处所中，通过沿着该修整处所中包含的边缘使指示设备移动来进行的。由此，能够以简单的操作来指示修整处所和修整方向。 

此外，优选上述第三内插轴具有对指示设备的移动轨迹进行近似而得到的直线形状。通过使表示修整方向的形状单纯化，能够实现内插处理的简略化。 

此外，优选上述第三内插轴具有对指示设备的移动轨迹进行近似 而得到的圆弧形状或自由曲线形状。由此，能够正确地特别指定指示设备的移动轨迹，能够实现正确地沿着修整处所中包含的图像的边缘的修整，能够使修整的精度提高。 

此外，优选作为第四内插轴使用水平轴和垂直轴的任何的一方，第二内插处理单元具有：第二内插位置决定单元，决定与通过倍率指定单元指定的倍率对应的内插位置，通过沿着第三和第四内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的多个内插位置对应的像素值，沿着第三和第四内插轴的任何的另一方的内插轴，计算与通过第二内插位置决定单元决定的内插位置对应的内插值。或者，优选作为第四内插轴使用水平轴和垂直轴的任何的一方，第二内插处理步骤具有：第二内插位置决定步骤，决定与在倍率指定步骤中指定的倍率对应的内插位置，通过沿着第三和第四内插轴的任何的一方的内插轴进行内插处理，计算假想的多个内插位置中的像素值，使用与通过该内插处理获得的多个内插位置对应的像素值，沿着第三和第四内插轴的任何的另一方的内插轴，计算与在第二内插位置决定步骤中决定的内插位置对应的内插值。能够针对第三和第四内插轴的每一个分别进行内插处理来求取最终的内插值，能够谋求处理的简略化。 

此外，优选上述第二内插对象像素决定单元基于通过修整指示单元指示的修整方向，决定作为第四内插轴使用水平轴和垂直轴的哪一个。具体地，优选上述第二内插对象像素决定单元将与第三内插轴的角度成为45度以上的水平轴或垂直轴作为第四内插轴进行设定。或者，优选在上述第二内插对象像素决定步骤中，基于在修整指示步骤中指示的修整方向，决定作为第四内插轴使用水平轴和垂直轴的哪一个。具体地，优选在上述第二内插对象像素决定步骤中，将与第三内插轴的角度成为45度以上的水平轴或垂直轴作为第四内插轴进行设定。通过沿着接近于垂直的2轴的每一个进行内插处理，能够使内插精度提高。 

此外，优选上述第二内插处理单元以沿着第三和第四内插轴格子状地配置的方式，沿着第四内插轴调整预定个的像素的像素位置之后，进行内插处理。或者，优选在上述第二内插处理步骤中，以沿着第三和第四内插轴格子状地配置的方式，沿着第四内插轴调整预定个的像 素的像素位置，然后进行内插处理。在针对第三和第四内插轴的每一个分别进行内插处理来求取最终的内插值时，能够使用与现有技术同等的算法来谋求处理的简略化。 

此外，优选在利用上述第二内插处理单元的内插处理或在第二内插处理步骤中的内插处理中，在将邻接的像素的间隔作为t时，使用以 

φ(t)＝-1.75|t|²+1.0            (|t|≤0.5) 

       1.25|t|²-3.0|t|+1.75     (0.5＜|t|≤1.0) 

       0.75|t|²-2.0|t|+1.25     (1.0＜|t|≤1.5) 

       -0.25|t|²+|t|-1.0        (1.5＜|t|≤2.0) 

       0                        (2.0＜|t|) 

表示的抽样函数φ(t)来进行。 

附图说明

图1是表示第一实施方式的图像处理装置的结构的图。 

图2是表示本实施方式的图像处理装置的内插处理的工作过程的流程图。 

图3是表示浓度梯度计算和边缘方向推定的概要的图。 

图4是表示内插位置决定的概要的图。 

图5是表示内插对象像素提取的概要的图。 

图6是表示在沿着第一方向的内插处理之前进行的像素位置调整的概要的图。 

图7是表示进行像素位置调整时的内插像素p的计算方法的概要的图。 

图8是表示进行像素位置调整时的内插像素p的计算方法的概要的图。 

图9是表示在像素位置调整后进行的沿着第一方向的内插处理的概要的图。 

图10是表示内插像素的像素值计算中使用的抽样函数的图。 

图11是表示在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理的概要的图。 

图12是表示通过本实施方式的图像处理装置的内插处理而得到的 图像的图。 

图13是表示通过使用了双三次法的内插处理而得到的图像的例子。 

图14是表示变形例的沿着第一方向的内插处理的概要的图。 

图15是表示变形例的在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理的概要的图。 

图16是表示对应于边缘方向可变设定内插轴的变形例的图像处理装置的内插处理的工作过程的流程图。 

图17是表示在设定了非直线的ρ轴的情况下的内插对象像素提取的概要的图。 

图18是表示第二实施方式的内插处理的概要的图。 

图19是表示第三实施方式的图像处理装置的结构的图。 

图20是表示第三实施方式的图像处理装置的内插处理的工作过程的流程图。 

图21是表示第三实施方式的图像处理装置的内插处理的工作过程的流程图。 

图22是表示修整处所指示的概要的图。 

图23是表示修整处所指示的概要的图。 

图24是表示成为图像修整的对象的内插对象像素提取的概要的图。 

图25是表示第四实施方式的工作过程的流程图。 

图26是现有方法的内插处理的说明图。 

图27是现有方法的内插处理的说明图。 

附图标记说明 

10图像输入部 

12图像数据储存部 

20、20A内插处理部 

22内插区域决定部 

24边缘方向计算部 

26内插位置决定部 

28内插对象像素决定部 

30第一方向内插部 

32第二方向内插部 

34修整处理部 

40倍率指定部 

50输出处理部 

52显示装置 

54打印机 

具体实施方式

下面，针对应用了本发明的一个实施方式的图像处理装置，基于附图详细地进行说明。 

[第一实施方式] 

图1是表示第一实施方式的图像处理装置的结构的图。如图1所示，本实施方式的图像处理装置构成为包含：图像输入部10、图像数据储存部12、内插处理部20、倍率指定部40、输出处理部50、显示装置52、打印机54。 

图像输入部10用于调入预定的分辨率的图像数据。例如，能够将以预定的分辨率光学地读取在纸原稿上描绘的图像的扫描仪作为图像输入部10而使用。或者，在将记录在CD或DVD等的可插拔的记录介质中的图像数据调入的情况下，能够将这些记录介质的驱动装置(读取装置)作为图像输入部10进行使用。在对记录在半导体存储器或硬盘装置中的图像数据进行调入的情况下，能够将对其进行连接的输入输出接口作为图像输入部10进行使用。此外，在利用经由因特网或其它的网络、或电话线路等的通信来调入图像数据的情况下，能够将对应于线路的种类等的通信装置作为图像输入部10进行使用。像这样与通过图像输入部10调入的图像数据对应的图像，是通过沿着相互正交的水平轴(x轴)和垂直轴(y轴)而配置的多个像素构成的。 

图像数据储存部12储存：通过图像输入部10调入的图像数据、或通过内插处理部20最终得到的内插后的图像数据、或为了获得该内插后的图像数据所需要的中间数据。 

内插处理部20基于通过图像输入部10调入的、储存在图像数据储存部12中的图像数据或中间数据，进行图像的扩大或缩小所需要的 内插处理。再有，在本说明书中，将通过图像输入部10调入的、储存在图像数据储存部12中的图像数据称为“输入图像数据”，将对应于输入图像数据的图像称为“输入图像”。此外，将构成图像的多个像素的各自的值(浓淡值、或亮度值、或在彩色的情况下的RGB的各值等)称为“像素值”，将构成图像的多个像素的像素值的集合称为“图像数据”。通过利用内插处理部20的内插处理而变更了倍率之后的图像数据被储存在图像数据储存部12中。内插处理部20具备：内插区域决定部22、边缘方向计算部24、内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32。 

倍率指定部40对图像的扩大/缩小倍率进行指定。例如将键盘作为倍率指定部40进行使用，能够操作键盘的数字键(ten key)等而直接输入倍率的值。或者，作为倍率指定部40使用鼠标，通过对在显示装置52中显示的倍率指定画面的预定处所进行指示，能够输入任意的倍率，或从预先准备的多个倍率中选择所希望的值。 

输出处理部50为了从图像数据储存部12读出由内插处理部20进行了扩大/缩小处理之后的图像数据，使扩大/缩小后的图像在显示装置52的画面上显示，或通过打印机54进行印刷而进行必要的处理。具体地，输出处理部50具备如下功能：将从图像数据储存部12读出的图像数据变换为利用显示装置52的显示中所需要的形式的信号(例如NTSC信号或GBR信号)并输入显示装置52的功能，或变换为利用打印机54的印刷中所需要的形式的信号的功能。 

上述图像输入部10对应于图像输入单元，边缘方向计算部24对应于边缘方向检测单元，内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32对应于第一内插处理单元，倍率指定部40对应于倍率指定单元，内插位置决定部26对应于第一内插位置决定单元，内插对象像素决定部28对应于第一内插对象像素决定单元。此外，通过图像输入部10进行的工作对应于图像输入步骤，通过边缘方向计算部24进行的工作对应于边缘方向检测步骤，通过内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32进行的工作对应于第一内插处理步骤，通过倍率指定部40进行的工作对应于倍率指定步骤，通过内插位置决定部26进行的工作对应于第一内插位置决定步骤，通过内插对象像素决定部28进行的 工作对应于第一内插对象像素决定步骤。 

此外，上述图像处理装置能够通过具备CPU、ROM、RAM等的计算机的结构来实现。在该情况下，图像数据储存部12能够通过硬盘装置或半导体存储器来构成。内插处理部20通过在CPU中执行在ROM或RAM或硬盘装置等中储存的预定的图像处理程序来实现。 

本实施方式的图像处理装置具有这样的结构，接着针对利用图像处理装置的内插处理的具体内容进行说明。图2是表示利用本实施方式的图像处理装置的内插处理的工作过程的流程图。 

在使用图像输入部10进行图像数据的输入之后(步骤200)，使用倍率指定部40进行倍率的指定(步骤201)。接着，内插区域决定部22从构成输入图像的多个像素中提取2×2像素(4像素)，将以这些4像素区划的区域(四角形)作为“内插区域”而决定(步骤202)。 

接着，边缘方向计算部24基于在决定内插区域时使用的4像素的像素值，计算与这些4像素对应的图像的浓度梯度(步骤203)。如后述那样，由于在决定内插区域时使用的4像素的内部设定内插位置，所以基于包围内插位置的4个像素的像素值，计算图像的浓度梯度。此外，边缘方向计算部24将相对于浓度梯度垂直的朝向作为图像的边缘方向(轮廓线的朝向)而进行推定(步骤204)。 

图3是表示浓度梯度计算和边缘方向推定的概要的图。在图3中，P1、P2、P3、P4表示对在步骤202中决定的内插区域进行区划的4个像素。此外，箭头A表示浓度梯度，箭头B表示与浓度梯度正交的边缘方向。 

当将平面近似式作为ax+by+c＝P，将像素位置(x_i，y_i)中的浓度作为Pk时，以下的数式成立。 

[数式1] 

$X=\left[\begin{array}{ccc}{x}_0& y_0& 1\\ x_1& y_1& 1\\ x_0& y_0& 1\\ x_1& y_1& 1\end{array}\right],$ $P=\left[\begin{array}{c}P1\\ P2\\ P3\\ P4\end{array}\right],$ $M=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$

XM＝P 

M＝(X^TX)^-1X^TP 

边缘方向计算部24根据该数式计算浓度梯度r＝-a/b，并且将与浓 度梯度垂直的朝向R＝b/a作为边缘方向进行推定。 

接着，内插位置决定部26决定内插区域内的内插位置、即在内插区域内使内插像素产生的位置(步骤205)。图4是表示内插位置决定的概要的图。例如，表示在步骤201中指定倍率“5”的情况，即将输入图像扩大到5倍的情况。在该情况下，如在图4中以虚线的四角形表示那样，在邻接的2个像素之间等间隔地产生4个内插像素即可。例如，在步骤205中决定以p表示的内插像素的位置(内插位置)。 

接着，内插对象像素决定部28基于由边缘方向计算部24推定的边缘方向，将为了计算内插像素的像素值所需要的n×n像素作为“内插对象像素”进行提取(步骤206)。n是2以上的偶数，但具体地当决定了使用的抽样函数的话，也决定了n的值。其中，为了进行平滑的内插处理，优选n的值是4以上，在本实施方式中设定为n＝4。针对抽样函数的具体例在后面叙述。 

图5是表示内插对象像素提取的概要的图。在图5中，a1～a6、b1～b6、c1～c6、d1～d6、e1～e6分别表示构成输入图像的各像素。此外，E表示在步骤204中推定的边缘方向。在现有技术中进行的内插处理中，在n＝4的情况下，夹着内插像素p在水平(x轴方向)和垂直(y轴方向)各自的上下左右(将水平方向作为x轴，将垂直方向作为y轴)各2像素的合计16像素(b2～b5、c2～c5、d2～d5、e2～e5)作为内插对象像素而被提取。相对于此，在本实施方式中，将通过内插像素p的边缘方向E作为ρ轴，代替y轴使用该ρ轴。而且，将x轴和ρ轴分别设定为内插轴(ρ轴对应于第一内插轴，x轴对应于第二内插轴)，将分别沿着该非正交的2个内插轴的、夹着内插像素p的左右和倾斜方向的各2个像素作为内插对象像素进行提取。具体地，内插对象像素决定部28将b3～b6、c2～c5、d1～d4、e1～e4的16像素作为内插对象像素进行提取。 

接着，第一方向内插部30将ρ轴作为第一方向，进行沿着第一方向的内插处理(步骤207)。图6是表示在沿着第一方向的内插处理之前进行的像素位置调整的概要的图。如图5所示，在内插像素p周围配置的16个内插对象像素当在ρ方向上观察时，没有与ρ轴平行地配置。例如，当观察在图5所示的内插对象像素中配置在最右侧的4个像素b6、c5、d4、e4时，该4个像素没有与ρ轴平行。在本实施方式 中，第一方向内插部30在进行沿着第一方向(ρ轴)的内插处理之前，如图6所示那样进行坐标变换，以使16个内插对象像素沿着ρ轴(在图6中是垂直方向)规则地配置的方式进行像素位置调整。 

图7和图8是表示进行像素位置调整时的内插像素p的计算方法的概要的图。如图7所示，将内插像素p和左上的像素c3之间的x轴方向的距离作为L1，将y轴方向的距离作为L3，将内插像素p和左下的像素d3之间的x轴方向的距离作为L2。如图8所示，像素位置调整之后的内插像素p和左上的像素c3之间的ρ轴方向的距离使用L3。此外，由于在像素位置调整前配置在内插像素p的左下的像素d3的位置向右下偏移，所以对应于该偏移，内插像素p的位置也偏移。 

图9是表示在像素位置调整后进行的沿着第一方向的内插处理的概要的图。如图9所示，通过使用沿着ρ轴配置的4像素的像素值，利用内插处理计算对应于与内插像素p相同的沿着ρ轴的位置的假想的内插像素h1～h4的各像素值进行计算。图10是表示内插像素的像素值计算中使用的取样函数的图。该抽样函数φ(t)是以下式表示的分段多项式，使用以内插位置为中心的左右2像素(在沿着ρ轴进行内插的情况下是图9所示的沿着ρ轴上下2像素)的像素值来计算内插像素的像素值。 

φ(t)＝-1.75|t|²+1.0          (|t|≤0.5) 

       1.25|t|²-3.0|t|+1.75   (0.5＜|t|≤1.0) 

       0.75|t|²-2.0|t|+1.25   (1.0＜|t|≤1.5) 

       -0.25|t|²+|t|-1.0      (1.5＜|t|≤2.0) 

       0                      (2.0＜|t|) 

接着，第二方向内插部32将x轴作为第二方向，进行沿着第二方向的内插处理(步骤208)。图11是表示在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理的概要的图。如图11所示，通过使用沿着水平方向(x轴方向)配置的假想内插像素h1～h4的像素值，利用内插处理计算最终的内插像素p的像素值。 

接着，内插位置决定部26判定在内插区域中是否有其它的内插像素(内插值的计算没有结束的内插像素)(步骤209)。在有其它的内插像素的情况下进行肯定判断，返回步骤205，反复进行内插位置的决定 工作以后的步骤。此外，在针对内插区域内的全部内插像素完成了内插值的计算的情况下，在步骤209的判定中进行否定判断，接着，内插区域决定部22判定是否有内插处理没有结束的其它的内插区域(步骤210)。在有其它的内插区域的情况下进行肯定判断，返回步骤202，反复进行内插区域的决定工作以后的步骤。此外，在针对全部的内插区域结束了内插处理的情况下，在步骤210的判定中进行否定判断。再有，在扩大了图像的情况下，并不一定全部输入对象是显示对象或印刷对象。在这样的情况下，针对成为显示对象或印刷对象的一部分的图像，进行步骤210的判定也可。 

像这样在针对全部的内插区域完成了内插处理的图像数据储存在图像数据储存部12中之后，输出处理部50读出该图像数据，将以预定倍率(例如5倍)扩大之后的图像在显示装置52的画面上显示，或者以打印机印刷该图像(步骤211)。 

像这样，在本实施方式的图像处理装置中，通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处理，能够对于内插位置进行使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。此外，通过基于包围内插位置的4个像素的像素值对边缘的方向进行检测，能够减少在边缘方向检测中需要的像素数来削减运算量。特别是由于在边缘存在的情况下夹着边缘产生浓淡梯度，所以通过使用浓淡梯度，能够可靠地获知边缘的朝向。 

此外，通过设定作为具有边缘的朝向的第一内插轴的ρ轴，将夹着该ρ轴位于预定范围内的预定个的像素作为内插对象像素进行提取，从而能够使沿着边缘的朝向排列的像素的像素值在计算内插位置的像素值的内插处理中反映，能够得到沿着边缘方向平滑的、没有锯齿状图形(jaggies)的产生的图像。此外，通过针对第一和第二内插轴(ρ轴和x轴)的每一个分别进行内插处理来求取最终的内插值，从而能够谋求处理的简略化。 

此外，以沿着ρ轴和x轴格子状地配置的方式沿着x轴调整预定个的像素的像素位置，之后进行内插处理，由此在针对ρ轴和x轴的每一个分别进行内插处理来求取最终的内插值时，使用与现有技术同等的算法，能够谋求处理的简略化。 

图12是表示通过利用本实施方式的图像处理装置的内插处理而得到的图像的图。图13是为了比较而表示通过使用了双三次法(bi-cubic)的内插处理而得到的图像的例子。根据图12很明显，在本实施方式中通过进行沿着边缘方向的内插处理，能够得到没有锯齿状图形的产生的扩大图像。 

可是，在上述的本实施方式的说明中，沿着ρ轴进行步骤207的第一方向的内插处理(图9)，沿着x轴进行步骤208的第二方向的内插处理(图11)，但相反地，也可以沿着x轴进行第一方向的内插处理，沿着ρ轴进行第二方向的内插处理。该变形例也能够在后述的其它实施方式中应用。 

图14是表示变形例的沿着第一方向的内插处理的概要的图。如图14所示，通过使用沿着x轴配置的4像素的像素值，利用内插处理计算对应于与内插像素p相同的沿着x轴的位置(像素位置调整后的位置)的假想的内插像素v1～v4的各像素值。 

图15是表示变形例的在沿着第一方向的内插处理之后进行的沿着第二方向的内插处理的概要的图。如图15所示，通过使用沿着ρ轴方向配置的假想的内插像素v1～v4的像素值，利用内插处理计算最终的内插像素p的像素值。 

此外，在上述的本实施方式的说明中，固定x轴，将与边缘方向一致的ρ轴置换为y轴，但在x轴与边缘方向的角度不足45度的情况下，固定y轴，将与边缘方向一致的ρ轴置换为x轴，这能够提高内插精度。 

图16是表示对应于边缘方向可变设定内插轴的变形例的图像处理装置的内插处理的工作过程的流程图。相对于图2所示的流程图，在步骤204之后接着追加有步骤220的内插轴决定的工作过程。在该步骤220中，内插对象像素决定部28计算x轴与边缘方向E的角度，决定与ρ组合使用的内插轴。具体地，在x轴与边缘方向E的角度是45度以上的情况下，将x轴与ρ轴设定为内插轴，执行使用图2说明的一连串的内插处理。另一方面，在x轴与边缘方向E的角度不足45度的情况下，将y轴和ρ轴设定为内插轴。在该情况下，在步骤206中，选择在图5中夹着ρ轴在y轴方向的上下各2像素，提取内插对象的16像素。此外，在步骤207中，第一方向的内插处理沿着ρ轴进行， 步骤208的第二方向的内插处理沿着y轴进行。或者相反地，沿着y轴进行第一方向的内插处理，沿着ρ轴进行第二方向的内插处理也可。再有，代替计算x轴与ρ轴的角度，计算y轴与ρ轴的角度，决定与ρ轴组合使用的内插轴也可。 

像这样，将与ρ轴的角度为45度以上的x轴或y轴作为第二内插轴进行设定，分别沿着接近于垂直的2轴进行内插处理，由此能够使内插精度提高。 

此外，在上述本实施方式的说明中，在步骤206中提取内插对象的16像素时，将沿着边缘方向E的直线设定为ρ轴，但设定非直线的ρ轴也可。该变形例也能够在后述的第二实施方式中应用。例如，也可以将通过下面所示的函数H1(x，y)～H3(x，y)的任一个表示的曲线作为ρ轴进行设定。 

H1(x，y)＝(ax²+bx+c)(dy²+ey+f) 

H2(x，y)＝ax²+by²+cx+dy+exy+f 

H3(x，y)＝ax⁴+by⁴+cx²y²+dx²y+exy²

             +fxy+gx+hy+f 

图17是表示设定了非直线的ρ轴的情况下的内插对象像素提取的概要的图。如图17所示，以在内插位置中与边缘方向的直线相接的方式设定非直线的ρ轴，将夹着该ρ轴的左右各2像素、合计16像素(b2～b5、c2～c5、d2～d5、e1～e4)作为内插对象像素进行提取。 

[第二实施方式] 

在上述的第一实施方式中，在沿着ρ轴提取n×n个内插对象像素之后(图5)，进行在x轴方向上使像素位置偏移的像素位置调整(图6)，但也可以不进行像素位置调整而直接进行沿着第一方向和第二方向的内插处理。 

图18是表示第二实施方式的内插处理的概要的图。内插处理整体的工作过程与图2所示的相同。到步骤206的内插对象的16像素的提取工作为止，以与上述第一实施方式相同的要领来进行。 

接着，如图18所示，第一方向内插部30通过使用沿着x轴配置的4像素的像素值，利用内插处理来计算通过该4像素的x轴方向的直线、与通过内插像素p的边缘方向E的直线的交点所对应的假想内 插像素w1～w4的像素值(步骤207)。此外，第二方向内插部32，通过使用沿着ρ轴方向配置的假想的内插像素w1～w4的像素值，利用内插处理计算最终的内插像素p的像素值(步骤208)。该第二实施方式的工作关于在后述的第三实施方式的步骤217中进行的第一方向的内插处理和在步骤218中进行的第二内插处理也是相同的。 

像这样，在本实施方式的图像处理装置中，通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处理，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。特别是，通过直接使用沿着x轴的像素位置，能够更正确地使沿着边缘方向配置的各像素的影响在内插处理中反映。 

[第三实施方式] 

图19是表示第三实施方式的图像处理装置的结构的图。如图19所示，本实施方式的图像处理装置构成为包含：图像输入部10、图像数据储存部12、内插处理部20A、倍率指定部40、修整指示部42、输出处理部50、显示装置52、打印机54。本实施方式的图像处理装置相对于图1所示的图像处理装置，其差异在于将内插处理部20置换为内插处理部20A，并且追加了修整指示部42。以下，以其相异点为中心进行说明。 

内插处理部20A基于通过图像输入部10而调入的、储存在图像数据储存部12中的图像数据或中间数据，进行图像的扩大或缩小所需要的内插处理。此外，内插处理部20A在显示扩大或缩小后的图像时，按照利用者的指示进行图像的部分修整处理。内插处理部20A具备：内插区域决定部22、边缘方向计算部24、内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32、修整处理部34。该内插处理部20A相对于图1所示的内插处理部20，不同之处在于追加了修整处理部34。 

修整指示部42在对显示的图像进行修整时，由利用者对该主旨进行指示，并且指定显示的图像中的修整处所和修整方向。例如，将鼠标或记录笔等的指示设备(point device)作为修整指示部42进行使用，通过指示在显示装置52中显示的图像显示画面的预定处所，指示进行 图像的修整的主旨，并且通过部分地描画显示图像来指定修整处所。 

上述输出处理部50、显示装置52对应于显示单元，修整指示部42对应于修整指示单元，内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32对应于第一和第二内插处理单元，图像输入部10对应于图像输入单元，边缘方向计算部24对应于边缘方向检测单元，倍率指定部40对应于倍率指定单元，内插位置决定部26对应于第一和第二内插位置决定单元，内插对象像素决定部28对应于第一和第二内插对象像素决定单元。此外，通过输出处理部50、显示装置52进行的工作对应于显示步骤，通过修整指示部42进行的工作对应于修整指示步骤，通过内插位置决定部26、内插对象像素决定部28、第一方向内插部30、第二方向内插部32进行的工作对应于第一和第二内插处理步骤，通过图像输入部10进行的工作对应于图像输入步骤，通过边缘方向计算部24进行的工作对应于边缘方向检测步骤，通过倍率指定部40进行的工作对应于倍率指定步骤，通过内插位置决定部26进行的工作对应于第一和第二内插位置决定步骤，通过内插对象像素决定部28进行的工作对应于第一和第二内插对象像素决定步骤。 

本实施方式的图像处理装置具有这样的结构，接着针对图像处理装置进行的内插处理的具体内容进行说明。图20和图21是表示本实施方式的图像处理装置的内插处理的工作过程的流程图。在这些图中表示的工作过程相对于与第一实施方式对应地在图2中表示的工作过程，关于步骤200～210的工作过程是共同的，在步骤211A之后的工作过程不同。以下，省略针对共同的工作过程的说明，针对不同的工作过程进行说明。 

按照到步骤210为止的工作过程针对全部的内插区域完成了内插处理的图像数据储存在图像数据储存部12中，之后，输出处理部50读出该图像数据，将以预定倍率(例如5倍)扩大之后的图像在显示装置52的画面上显示(步骤211A)。 

可是，在本实施方式的图像处理装置中，如图12所示，即使不进行图像的修整，原理上也应该能得到压着边缘方向不产生锯齿状图形的图像，但是根据在图像的边缘附近的像素值的状态(浓淡的状态)等并不一定能正确地进行边缘检测，因此有不能可靠地排除锯齿状图 形的产生的问题。在本实施方式中，在这样的情况下，利用者对扩大/缩小后的显示图像进行目视确认，对应于需要进行修整指示。 

接着，修整处理部34对是否指示了显示图像的修整进行判定(步骤212)。在没有利用者使用修整指示部42的修整指示的情况下进行否定判断，一连串的图像处理工作结束。 

此外，在有利用者的修整指示的情况下在步骤212的判定中进行肯定判断，通过修整处理部34实施以下所示的一连串的图像修整处理。 

首先，通过利用者进行使用了修整指示部42的图像的修整处所的指示(步骤213)。在该修整处所的指示中，包含修整处所的位置、修整处所中包含的边缘的朝向。 

图22和图23是表示修整处所指示的概要的图。如图22所示，考虑在步骤211中显示的图像中，在区域W中确认了显著的锯齿状图形的产生的情况。如图23所示，利用者通过操作修整指示部42，在区域W内产生有锯齿状图形的边缘上进行描画，由此能够指示修整处所的位置、和修整处所中包含的边缘的朝向(修整方向)。例如，在作为修整指示部42使用鼠标的情况下，在箭头R的起始点中按下鼠标的按钮，一边维持该状态一边使鼠标在箭头R的朝向上移动，在箭头的终点中解除鼠标按钮的按下，由此能够指示修整处所的位置、和修整处所中包含的边缘的朝向。再有，针对区域W的宽度的设定，可以考虑例如以包含将箭头R作为中心的两侧的预定像素数量的方式进行设定，或预先输入指定宽度的值并以成为该指定的宽度的方式进行设定等的方法。 

接着，内插区域决定部22从构成作为修整处所指定的区域W中包含的图像(部分图像)的多个像素中提取2×2像素(4像素)，将以这些4像素区划的区域(四角形)作为修整用的“内插区域”而决定(步骤214)。该工作本身与步骤202的工作相同，但不同之处在于，相对于在步骤202中提取在输入图像的整个区域中包含的4像素，在步骤214中提取与在区域W中包含的图像对应的4像素。再有，在步骤214中，不是提取在步骤211中显示的扩大/缩小后的图像中包含的4像素，而是提取在对应于区域W的扩大/缩小前的输入图像中包含的4像素。同样地，针对修整处理，也使用对应于区域W的扩大/缩小前的输入图像中包含的像素的像素值。 

接着，内插位置决定部26决定内插区域内的内插位置、即在内插区域内使内插像素产生的位置(步骤215)。此外，内插对象像素决定部28基于在步骤213中指示的边缘的朝向，将为了计算内插像素的像素值所需要的n×n像素作为“内插对象像素”进行抽取(步骤216)。例如，与步骤206同样地，提取4×4像素。 

图24是表示成为图像修整的对象的内插对象像素提取的概要的图。在图24中，R是图23中表示的箭头R本身，表示在步骤213中指定的边缘的朝向。将通过内插像素p的边缘的朝向R作为ρ’轴，代替y轴使用该ρ’轴。而且，将x轴和ρ’轴分别设定为内插轴(ρ’轴对应于第三内插轴，x轴对应于第一内插轴)，将分别沿着该非正交的2个内插轴、夹着内插像素p的左右和倾斜方向的各2个像素作为内插对象像素进行提取。具体地，内插对象像素决定部28将b3～b6、c2～c5、d1～d4、e1～e4的16像素作为内插对象像素进行提取。再有，图5和图24分别图示有相同的提取16像素的例子，但由于通常在这些图中的边缘的朝向E和R并不一定一致，所以以一部分不同的方式进行16像素的提取。 

接着，第一方向内插部30将ρ’轴作为第一方向，进行沿着第一方向的内插处理(步骤217)。此外，第二方向内插部32将x轴作为第二方向，进行沿着第二方向的内插处理(步骤218)。由此，通过内插处理计算修整后的内插像素p的像素值。 

接着，内插位置决定部26判定在内插区域中是否有其它的内插像素(内插值的计算没有结束的内插像素)(步骤219)。在有其它的内插像素的情况下进行肯定判断，返回步骤215，反复进行内插位置的决定工作以后的处理。此外，在针对内插区域内的全部内插像素完成了内插值的计算的情况下，在步骤219的判定中进行否定判断，接着，内插区域决定部22判定是否有内插处理没有结束的其它的内插区域(步骤220)。在有其它的内插区域的情况下进行肯定判断，返回步骤214，反复进行内插区域的决定工作以后的处理。此外，在针对区域W中包含的全部内插区域结束了内插处理的情况下，在步骤220的判定中进行否定判断。 

针对与像这样进行了修整指示的区域W对应的内插区域结束了内插处理的图像数据被储存在图像数据储存部12中之后，例如将修整处 理后的像素的像素值盖写在位置相同的修整处理前的像素的像素值之后，输出处理部50读出该图像数据，将以预定倍率(例如5倍)扩大之后的图像在显示装置52的画面上显示(步骤221)。 

像这样，在本实施方式的图像处理装置中，仅指定显示的图像中包含的修整处所和修整方向，就能够针对修整处所进行配合修整方向的内插处理，来进行图像的修整，因此能够缩短图像的修整所需要的时间。此外，通过进行沿着修整方向的内插处理，能够对内插位置直接反映沿着修整方向存在的像素的影响，能够进行高精度的内插处理，能够使修整的精度提高。 

此外，通过对输入图像中包含的边缘的朝向进行检测并配合该方向进行内插处理来进行图像显示，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。此外，通过将这样的图像作为修整对象，能够减少修整处所的数量，能够进一步降低图像的修整所需要的时间和工夫。 

特别是通过基于包围内插位置的4个像素的像素值对边缘的方向进行检测，能够减少在边缘方向检测中需要的像素数，削减运算量。此外，由于在边缘存在的情况下夹着边缘产生浓淡梯度，所以通过使用浓淡梯度，能够可靠地获知边缘的朝向。此外，通过使用构成输入图像的像素的像素值进行图像的修整，能够去除为了图像显示而进行的内插处理导致的画质的劣化的影响。 

此外，能够使沿着修整方向的朝向排列的像素的像素值在计算内插位置的像素值的内插处理中反映，由此能够获得沿着修整方向平滑的、没有锯齿状图形产生的图像。 

可是，在第一实施方式中也说明过，沿着ρ轴进行步骤207的第一方向的内插处理(图9)，沿着x轴进行步骤208的第二方向的内插处理(图11)，相反地，也可以沿着x轴进行第一方向的内插处理，沿着ρ轴进行第二方向的内插处理。该变形例针对在步骤217中进行的第一方向的内插处理和在步骤218中进行的第二内插处理也是同样的。 

[第四实施方式] 

在上述的第三实施方式中，创建进行沿着边缘方向的内插处理而 扩大/缩小了的图像并进行显示(步骤202～211A)，在该显示的图像中针对以目视确认了锯齿状图形的产生的区域W的进行修整处理，但也可以不通过沿着边缘方向的内插处理，而通过在现有技术中进行的各种内插处理来创建用于确认修整处所而显示的图像。 

图25是表示第四实施方式的工作过程的流程图。该流程图相对于图20中表示的流程图，省略了步骤203的浓度梯度计算和步骤204的边缘方向推定的各工作。即，如图26所示，内插对象像素决定部28将包围内插位置的上下左右各2像素的、合计16个像素作为内插对象像素进行提取(步骤206)。此外，第一方向内插部30通过使用沿着y轴配置的4像素的像素值，利用内插处理计算对应于与内插像素p相同的沿着y轴的位置的假想的内插像素h1～h4的各像素值(步骤207)。接着，如图27所示，第二方向内插部32，通过使用沿着x轴方向配置的假想的内插像素h1～h4的像素值，利用内插处理计算修整处理前的最终的内插像素p的像素值(步骤208)。在显示像这样扩大了的图像之后(步骤211)，实施图21所示的一连串的图像修整处理。 

再有，本发明并不限定于上述实施方式，在本发明的技术方案所请求的范围中能够有各种变更。例如，在上述实施方式中，针对扩大输入图像进行显示等的情况进行了说明，但工作原理本身不仅是图像的扩大，针对缩小也是同样，所以针对图像的缩小也能够应用本发明，防止画质的劣化。 

此外，在上述实施方式中，基于包围内插位置的4个像素的像素值计算出图像的浓度梯度和边缘方向，但也可以使用更多数量的像素(例如16像素)的像素值来计算浓度梯度和边缘方向。 

此外，在上述的第三实施方式中，如使用图24说明的那样，内插对象像素决定部28为了基于修整方向(边缘的朝向)计算内插像素的像素值而提取n×n个像素，但为了进行该提取处理需要以某种函数表示修整方向。特别是，考虑简单地对图24所示的箭头R的形状进行直线近似的情况。像这样，通过使表示修整方向的形状单纯化，能够实现内插处理的简略化。或者，考虑以圆弧形状或自由曲线形状对箭头R的形状进行近似的情况。在该情况下，能够正确地特别指定鼠标等的指示设备的移动轨迹，将修整处所中包含的图像的边缘的朝向作为修整方向进行指定，能够实现正确地沿着边缘方向的修整，能够使修整 的精度提高。 

产业上的利用可能性 

根据本发明，通过对图像中包含的边缘的朝向进行检测并配合该方向进行内插处理，能够进行对于内插位置使在边缘的朝向中存在的像素的影响直接反映的内插处理，能够防止在变更图像的倍率时产生的画质的劣化。 

Claims (46)

1.一种图像处理装置，具备：

图像输入单元，进行图像的输入；

边缘方向检测单元，对通过所述图像输入单元输入的图像中包含的浓淡的边缘的方向进行检测；

第一内插处理单元，对于通过所述图像输入单元输入的输入图像，将通过所述边缘方向检测单元检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着所述第一内插轴进行所述输入图像的扩大/缩小；以及

倍率指定单元，对通过所述图像输入单元输入的图像指定扩大/缩小的倍率，

所述第一内插处理单元具有：

第一内插位置决定单元，对与通过所述倍率指定单元指定的倍率对应的内插位置进行决定；以及

第一内插对象像素决定单元，将内插位置的周围的沿着通过所述边缘方向检测单元检测出的边缘的朝向配置的n×n个的像素作为内插对象像素进行提取，其中，n是4以上的偶数，

所述第一内插对象像素决定单元对具有通过所述边缘方向检测单元检测出的边缘的方向的所述第一内插轴进行设定，

作为第二内插轴使用水平轴和垂直轴的任何的一方，

所述第一内插处理单元通过沿着所述第一和第二内插轴的任何的一方的内插轴进行内插处理，计算沿着所述第一和第二内插轴的任何的另一方的内插轴配置的假想的n个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着所述第一和第二内插轴的任何的另一方的内插轴，计算与通过所述第一内插位置决定单元决定的内插位置对应的内插值。

2.根据权利要求1所述的图像处理装置，其中，

所述边缘方向检测单元检测以指示设备对所述输入图像指示的方向，作为所述边缘的方向。

3.根据权利要求1所述的图像处理装置，其中，

通过所述图像输入单元输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个像素构成，

所述边缘方向检测单元基于包围内插位置的4个像素的像素值来检测边缘的方向。

4.根据权利要求3所述的图像处理装置，其中，

所述边缘方向检测单元基于包围所述内插位置的4个像素的像素值，对与该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。

5.根据权利要求1所述的图像处理装置，其中，

所述第一内插轴具有与边缘的朝向一致的直线形状。

6.根据权利要求1所述的图像处理装置，其中，

所述第一内插轴具有在内插位置中相接于与边缘的朝向一致的直线的非直线形状。

7.根据权利要求1所述的图像处理装置，其中，

所述第一内插对象像素决定单元基于通过所述边缘检测单元检测出的边缘的朝向，决定作为所述第二内插轴使用所述水平轴和所述垂直轴的哪一个。

8.根据权利要求7所述的图像处理装置，其中，

所述第一内插对象像素决定单元将与所述第一内插轴的角度成为45度以上的所述水平轴或所述垂直轴作为所述第二内插轴进行设定。

9.根据权利要求1所述的图像处理装置，其中，

所述第一内插处理单元以沿着所述第一和第二内插轴格子状地配置的方式，沿着所述第二内插轴调整n×n个像素的像素位置，然后进行内插处理。

10.根据权利要求1所述的图像处理装置，其中，

利用所述第一内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以

φ(t)＝-1.75|t|²+1.0         (|t|≤0.5)

       1.25|t|²-3.0|t|+1.75  (0.5＜|t|≤1.0)

       0.75|t|²-2.0|t|+1.25  (1.0＜|t|≤1.5)

       -0.25|t|²+|t|-1.0     (1.5＜|t|≤2.0)

       0                     (2.0＜|t|)

表示的抽样函数φ(t)来进行。

11.根据权利要求1所述的图像处理装置，其中，具备：

显示单元，将通过所述第一内插处理单元的内插处理而获得的图像作为成为修整对象的图像进行显示；

修整指示单元，对在通过所述显示单元显示的图像中包含的修整处所与修整方向一起进行指示；以及

第二内插处理单元，对与通过所述修整指示单元指示的修整处所对应的部分图像，进行沿着通过所述修整指示单元指示的修整方向的内插处理。

12.根据权利要求11所述的图像处理装置，其中，

所述第二内插处理单元使用构成由所述图像输入单元输入的图像的像素的像素值，进行与所述部分图像对应的内插处理。

13.根据权利要求11所述的图像处理装置，其中，

所述第二内插处理单元具有：第二内插对象像素决定单元，将内插位置的周围的沿着通过所述修整指示单元指示的修整方向配置的预定个数的像素作为内插对象像素进行提取。

14.根据权利要求13所述的图像处理装置，其中，

所述第二内插对象像素决定单元对具有通过所述修整指示单元指示的修整方向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个数的像素作为所述内插对象像素进行提取。

15.根据权利要求14所述的图像处理装置，其中，

所述修整指示单元具有指示设备，

所述修整方向的指示以如下方式进行，即，在由所述显示单元在画面中显示的图像的修整处所中，沿着该修整处所中包含的边缘使所述指示设备移动。

16.根据权利要求15所述的图像处理装置，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的直线形状。

17.根据权利要求15所述的图像处理装置，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的圆弧形状。

18.根据权利要求15所述的图像处理装置，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的自由曲线形状。

19.根据权利要求14所述的图像处理装置，其中，

作为第四内插轴使用水平轴和垂直轴的任何的一方，

所述第二内插处理单元具有：第二内插位置决定单元，对与通过所述倍率指定单元指定的倍率对应的内插位置进行决定，通过沿着所述第三和第四内插轴的任何的一方的内插轴进行内插处理，计算沿着所述第三和第四内插轴的任何的另一方的内插轴配置的假想的n个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着所述第三和第四内插轴的任何的另一方的内插轴，计算与通过所述第二内插位置决定单元决定的内插位置对应的内插值。

20.根据权利要求19所述的图像处理装置，其中，

所述第二内插对象像素决定单元基于通过所述修整指示单元指示的修整方向，决定作为所述第四内插轴使用所述水平轴和所述垂直轴的哪一个。

21.根据权利要求20所述的图像处理装置，其中，

所述第二内插对象像素决定单元将与所述第三内插轴的角度成为45度以上的所述水平轴或所述垂直轴作为所述第四内插轴进行设定。

22.根据权利要求19所述的图像处理装置，其中，

所述第二内插处理单元以沿着所述第三和第四内插轴格子状地配置的方式，沿着所述第四内插轴调整所述预定个数的像素的像素位置，然后进行内插处理。

23.根据权利要求11所述的图像处理装置，其中，

利用所述第二内插处理单元的内插处理，是在将邻接的像素的间隔作为t时，使用以

φ(t)＝-1.75|t|²+1.0         (|t|≤0.5)

       1.25|t|²-3.0|t|+1.75  (0.5＜|t|≤1.0)

       0.75|t|²-2.0|t|+1.25  (1.0＜|t|≤1.5)

       -0.25|t|²+|t|-1.0     (1.5＜|t|≤2.0)

       0                     (2.0＜|t|)

表示的抽样函数φ(t)来进行。

24.一种图像处理方法，具有：

图像输入步骤，进行图像的输入；

边缘方向检测步骤，对在所述图像输入步骤中输入的图像中包含的浓淡的边缘的方向进行检测；

第一内插处理步骤，对于在所述图像输入步骤中输入的输入图像，将在所述边缘方向检测步骤中检测出的边缘的方向作为第一内插轴，进行内插处理，该内插处理用于沿着所述第一内插轴进行所述输入图像的扩大/缩小；以及

倍率指定步骤，对在所述图像输入步骤中输入的图像指定扩大/缩小的倍率，

所述第一内插处理步骤具有：

第一内插位置决定步骤，对与在所述倍率指定步骤中指定的倍率对应的内插位置进行决定；以及

第一内插对象像素决定步骤，将内插位置的周围的沿着通过所述边缘方向检测步骤检测出的边缘的朝向配置的n×n个的像素作为内插对象像素进行提取，其中，n是4以上的偶数，

在所述第一内插对象像素决定步骤中，对具有在所述边缘方向检测步骤中检测出的边缘的方向的所述第一内插轴进行设定，

作为第二内插轴使用水平轴和垂直轴的任何的一方，

在所述第一内插处理步骤中，通过沿着所述第一和第二内插轴的任何的一方的内插轴进行内插处理，计算沿着所述第一和第二内插轴的任何的另一方的内插轴配置的假想的n个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着所述第一和第二内插轴的任何的另一方的内插轴，计算与通过所述第一内插位置决定步骤决定的内插位置对应的内插值。

25.根据权利要求24所述的图像处理方法，其中，

在所述边缘方向检测步骤中，检测以指示设备对所述输入图像指示的方向，作为所述边缘的方向。

26.根据权利要求24所述的图像处理方法，其中，

在所述图像输入步骤中输入的图像，是由沿着相互正交的水平轴和垂直轴配置的多个像素构成，

在所述边缘方向检测步骤中，基于包围内插位置的4个像素的像素值来检测边缘的方向。

27.根据权利要求26所述的图像处理方法，其中，

在所述边缘方向检测步骤中，基于包围所述内插位置的4个像素的像素值，对与该4个像素对应的图像的浓度梯度进行计算，将相对于浓度梯度垂直的朝向作为边缘方向进行推定。

28.根据权利要求24所述的图像处理方法，其中，

所述第一内插轴具有与边缘的朝向一致的直线形状。

29.根据权利要求24所述的图像处理方法，其中，

所述第一内插轴具有在内插位置中相接于与边缘的朝向一致的直线的非直线形状。

30.根据权利要求24所述的图像处理方法，其中，

在所述第一内插对象像素决定步骤中，基于在所述边缘检测步骤中检测出的边缘的朝向，决定作为所述第二内插轴使用所述水平轴和所述垂直轴的哪一个。

31.根据权利要求30所述的图像处理方法，其中，

在所述第一内插对象像素决定步骤中，将与所述第一内插轴的角度成为45度以上的所述水平轴或所述垂直轴作为所述第二内插轴进行设定。

32.根据权利要求24所述的图像处理方法，其中，

在所述第一内插处理步骤中，以沿着所述第一和第二内插轴格子状地配置的方式，沿着所述第二内插轴调整n×n个像素的像素位置，然后进行内插处理。

33.根据权利要求24所述的图像处理方法，其中，

所述第一内插处理步骤的内插处理在将邻接的像素的间隔作为t时，使用以

φ(t)＝-1.75|t|²+1.0        (|t|≤0.5)

       1.25|t|²-3.0|t|+1.75 (0.5＜|t|≤1.0)

       0.75|t|²-2.0|t|+1.25 (1.0＜|t|≤1.5)

       -0.25|t|²+|t|-1.0    (1.5＜|t|≤2.0)

       0                    (2.0＜|t|)

表示的抽样函数φ(t)来进行。

34.根据权利要求24所述的图像处理方法，其中，具备：

显示步骤，将通过所述第一内插处理步骤的内插处理而获得的图像作为成为修整对象的图像进行显示；

修整指示步骤，对在所述显示步骤中显示的图像中包含的修整处所与修整方向一起进行指示；以及

第二内插处理步骤，对与在所述修整指示步骤中指示的修整处所对应的部分图像，进行沿着在所述修整指示步骤中指示的修整方向的内插处理。

35.根据权利要求34所述的图像处理方法，其中，

在所述第二内插处理步骤中，使用构成在所述图像输入步骤中输入的图像的像素的像素值，进行与所述部分图像对应的内插处理。

36.根据权利要求34所述的图像处理方法，其中，

所述第二内插处理步骤具有：第二内插对象像素决定步骤，将内插位置的周围的沿着在所述修整指示步骤中指示的修整方向配置的预定个数的像素作为内插对象像素进行提取。

37.根据权利要求36所述的图像处理方法，其中，

在所述第二内插对象像素决定步骤中，对具有在所述修整指示步骤中指示的修整方向的第三内插轴进行设定，将夹着该第三内插轴并位于预定范围内的预定个数的像素作为所述内插对象像素进行提取。

38.根据权利要求37所述的图像处理方法，其中，

所述修整指示步骤使用指示设备来进行，

所述修整方向的指示以如下方式进行，即，在所述显示步骤中在画面中显示的图像的修整处所中，沿着该修整处所中包含的边缘使所述指示设备移动。

39.根据权利要求38所述的图像处理方法，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的直线形状。

40.根据权利要求38所述的图像处理方法，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的圆弧形状。

41.根据权利要求38所述的图像处理方法，其中，

所述第三内插轴具有对所述指示设备的移动轨迹进行近似而得到的自由曲线形状。

42.根据权利要求37所述的图像处理方法，其中，

作为第四内插轴使用水平轴和垂直轴的任何的一方，

所述第二内插处理步骤具有：第二内插位置决定步骤，对与在所述倍率指定步骤中指定的倍率对应的内插位置进行决定，通过沿着所述第三和第四内插轴的任何的一方的内插轴进行内插处理，计算沿着所述第三和第四内插轴的任何的另一方的内插轴配置的假想的n个内插位置中的像素值，使用与通过该内插处理获得的n个内插位置对应的像素值，沿着所述第三和第四内插轴的任何的另一方的内插轴，计算与在所述第二内插位置决定步骤中决定的内插位置对应的内插值。

43.根据权利要求42所述的图像处理方法，其中，

在所述第二内插对象像素决定步骤中，基于在所述修整指示步骤中指示的修整方向，决定作为所述第四内插轴使用所述水平轴和所述垂直轴的哪一个。

44.根据权利要求43所述的图像处理方法，其中，

在所述第二内插对象像素决定步骤中，将与所述第三内插轴的角度成为45度以上的所述水平轴或所述垂直轴作为所述第四内插轴进行设定。

45.根据权利要求42所述的图像处理方法，其中，

在所述第二内插处理步骤中，以沿着所述第三和第四内插轴格子状地配置的方式，沿着所述第四内插轴调整所述预定个数的像素的像素位置，然后进行内插处理。

46.根据权利要求34所述的图像处理方法，其中，

所述第二内插处理步骤中的内插处理在将邻接的像素的间隔作为t时，使用以

φ(t)＝-1.75|t|²+1.0        (|t|≤0.5)

       1.25|t|²-3.0|t|+1.75 (0.5＜|t|≤1.0)

       0.75|t|²-2.0|t|+1.25 (1.0＜|t|≤1.5)

       -0.25|t|²+|t|-1.0    (1.5＜|t|≤2.0)

       0                    (2.0＜|t|)

表示的抽样函数φ(t)来进行。

Images