CN101518045A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了一种图像处理装置、图像处理方法和程序。该图像处理装置包括：选择部分，在使用离参考点最远的坐标点作为起始点的情况下，从构成放大图像的像素中选择待处理像素；计算部分，用于计算被映射到该待处理像素的坐标点的、原始图像的坐标点；读部分，用于从记录介质中读取与原始图像的所述坐标点相对应的原始图像的像素的像素值；内插部分，用于使用由读部分读取的原始图像的所述像素值来内插该待处理像素的像素值；以及写部分，将已由内插部分内插的该待处理像素的像素值写入记录介质上的、除了已存储有原始图像的各个像素的像素值的存储区域以外的存储区域中，其中，所述原始图像的各个像素位于与放大图像的未被选择为待处理像素的各个像素的像素值相同的坐标点处。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及一种图像处理装置和图像处理方法，其将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，本发明还涉及用于使计算机执行这种图像处理的程序。

本申请要求基于在2006年9月21日在日本提交的日本专利申请No.2006-256069的优先权，该申请通过引用而结合于此。

背景技术

迄今为止，在个人计算机中，已经通过运行图像处理软件并对图像数据执行诸如放大处理之类的处理来向数码相机等所摄取的图像(以下称为原始图像)的图像数据添加各种图像效果。

在数码相机中，由于处理性能的改进和RAM容量的增加，需要相对大量的处理的处理过程的执行已经变得越来越容易。

日本未审查专利申请公布No.2005-130350记载了一种图像处理装置，其中，提供了用于以一场为单位存储一个屏幕图像由两个场构成的一连串图像数据的场存储装置，所述图像处理装置使得能够通过在一个访问周期内向场存储装置写入和从场存储装置读取图像数据、以一场为单位地执行图像处理，并且可以极大地降低图像处理所需的存储容量。数码相机等包括这样的图像处理装置以便向原始图像添加图像效果。

在像这样的处理过程中，包括根据日本未审查专利申请公布No.2005-130350的图像处理装置的数码相机在同一场存储器中存储原始图像的图像数据和经处理图像的图像数据。于是，在这样的数码相机中，为了防止在该场存储器中用经处理图像的图像数据覆写原始图像的图像数据，需要将原始图像的图像数据以一行为单位地临时保存在存储器中，或者需要提供用于保存数据的专用行存储器。

并且，对于数码相机而言，随着图像数据的像素数目与对高清晰图像的需求相对应地增加，添加图像效果所需的计算量随之增加。因为数码相机的诸如RAM之类的存储器容量小于个人计算机的存储器的容量，所以存在以下问题：RAM、行存储器等的存储容量需要随着上述计算量的增加而增加。

发明内容

技术问题

考虑到这些情况而提出了本发明，本发明的一个技术任务在于提供一种图像处理装置、图像处理方法和程序，其降低了在执行将存储在记录介质上的原始图像的图像数据转换为放大图像的图像数据的处理时保存原始图像数据所需的存储容量。

为了解决上述技术任务而提出的本发明的一个实施例是一种图像处理装置，用于将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理装置包括：选择处理单元，该选择处理单元将离参考点最远的坐标点视为起始点，并从构成放大图像的像素中选择处理目标像素；计算处理单元，该计算处理单元计算被映射到选择处理单元所选择的处理目标像素的坐标点的、原始图像的坐标点；读处理单元，该读处理单元按照由计算处理单元计算得到的原始图像的坐标点，从记录介质中读取原始图像的一像素的像素值；内插处理单元，该内插处理单元使用由读处理单元读取的原始图像的像素的像素值来内插处理目标像素的像素值；以及写处理单元，该写处理单元将已由内插处理单元内插的处理目标像素的像素值写入记录介质上的、除了已存储有原始图像的各个像素的像素值的存储区域以外的区域中，其中，原始图像的各个像素位于与放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

此外，本发明的另一个实施例是一种图像处理方法，用于将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理方法包括：将离参考点最远的坐标点视为起始点，并从构成放大图像的像素中选择处理目标像素；计算被映射到所选择的处理目标像素的坐标点的、原始图像的坐标点；按照计算得到的原始图像的坐标点，从记录介质中读取原始图像的一像素的像素值；使用所读取的原始图像的像素的像素值来内插处理目标像素的像素值；以及将经内插的处理目标像素的像素值写入记录介质上的、除了已存储有原始图像的各个像素的像素值的存储区域以外的区域中，其中，原始图像的各个像素位于与放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

此外，本发明的另一个实施例是一种程序，用于使计算机执行图像处理以将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理包括：选择处理步骤，将离参考点最远的坐标点视为起始点，并从构成放大图像的像素中选择处理目标像素；计算处理步骤，计算被映射到通过选择处理步骤选择的处理目标像素的坐标点的、原始图像的坐标点；读处理步骤，按照在计算处理步骤中计算得到的原始图像的坐标点，从记录介质中读取原始图像的一像素的像素值；内插处理步骤，使用在读处理步骤读取的原始图像的像素的像素值来内插处理目标像素的像素值；以及写处理步骤，将在内插处理步骤中经过内插的处理目标像素的像素值写入记录介质上的、除了已存储有原始图像的各个像素的像素值的存储区域以外的区域中，其中，原始图像的各个像素位于与放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

本发明将离参考点最远的像素视为起始点，并从构成放大图像的像素中选择处理目标像素，计算被映射到所选择的处理目标像素的坐标点的原始图像的坐标点，按照原始图像的所计算得到的坐标点从记录介质中读取原始图像的像素的像素值，使用所读取的原始图像的像素的像素值来内插处理目标像素的像素值，并将经过内插的处理目标像素的像素值写入到记录介质上的除了已存储有原始图像的各个像素的像素值的存储区域以外的区域中，其中，原始图像的各个像素位于与放大图像中的未被选择为处理目标像素的各个像素相同的坐标点处。

以这种方式，因为执行了到记录介质上的除了已存储有原始图像的各个像素的像素值的存储区域以外的区域中的写入，本发明可以降低用于保持原始图像的图像数据所需的存储容量，其中，原始图像的各个像素位于与放大图像中的未被选择为处理目标像素的各个像素相同的坐标点处。

从以下参考附图来描述的实施例中，将更加具体地明白本发明的其它技术任务和本发明所获得的具体优点。

附图说明

图1是示出根据本实施例的数码相机的结构的框图。

图2A是示出原始图像的示图，图2B是示出通过对原始图像执行倾斜校正而获得的经校正图像P2的示图。

图3是示出图像处理单元的结构的框图。

图4是示出原始图像的坐标空间的示图。

图5是示意性地示出有关双线性内插技术的处理的示图。

图6是示意性地示出按照传统存储器控制技术对存储器的存储管理的示图。

图7A是示意性地示出按照第一存储器控制技术对存储器的存储管理的示图，图7B是示意性地示出按照第二存储器控制技术对存储器的存储管理的示图。

图8A是示出朝屏幕中心处的纵轴(x′＝x0)的底端倾斜的原始图像P3的示图，图8B是示出通过按照第一存储器控制技术对原始图像P3执行向上梯形失真校正(keystone correction)处理而获得的经校正图像P4的示图。

图9A是示出原始图像P5的示图，图9B是示出按照第一存储器控制技术对原始图像P5执行向上梯形失真校正处理而获得的经校正图像P6的示图。

图10A是示出朝参考点(x0，y0)倾斜的原始图像P7的示图，图10B是示出通过对原始图像P7执行鱼眼校正(fish-eye correction)处理而获得的经校正图像P8的示图。

图11是示出按照第二存储器控制技术执行鱼眼校正处理的图像处理单元的处理过程的流程图。

图12是示出按照图像处理单元的第二存储器控制方法执行鱼眼校正处理的图像处理单元的水平行处理过程的流程图。

具体实施方式

以下将参考附图来详细描述执行本发明的最佳实施方式。

如图1所示，根据本实施例的数码相机100包括光学透镜110、固态图像摄取器件120、信号处理单元130、存储器140、图像处理单元150、记录介质160和显示单元170。

光学透镜110将来自对象的光聚焦到固态图像摄取器件120上，其中，光通过开口(未示出)而进入。

固态图像摄取器件120接收经光学透镜110聚焦的光并读取电信号。固态图像摄取器件120将所读取的电信号从模拟格式转换为数字格式，并将经处理的电信号提供给信号处理单元130。这里，固态图像摄取器件120可以具有CCD结构或者C-MOS结构，并且不限于任何结构。

信号处理单元130对从固态图像摄取器件120提供的数字格式的电信号执行预定信号处理，并输出图像数据。具体而言，信号处理单元130输出通过对数字格式的电信号执行诸如白平衡、γ校正和亮度/色度转换之类的信号处理而获得的图像数据。信号处理单元130将通过信号处理转换得到的图像数据提供给存储器140。

存储器140是图像处理单元150的主存储器。存储器140临时存储从信号处理单元130提供的图像数据，并将所存储的图像数据提供给图像处理单元150、记录介质160和显示单元170。

图像处理单元150对存储在存储器140中的图像数据执行诸如放大处理之类的图像处理，并将得到的图像数据写回到存储器140中。

显示单元170显示从存储器140提供的图像数据。并且，除了显示数码相机100所摄取的图像以外，显示单元170还执行用于操作数码相机100的GUI(图形用户界面)屏幕的显示。

以这种方式，除了用于使记录介质160存储图像数据的处理和用于使显示单元170显示图像数据的处理以外，数码相机100还执行用于向图像数据添加预定图像效果的图像处理。

图像处理单元150从记录介质160向存储器140读取处理目标的图像数据。然后，图像处理单元150执行用于在读取到存储器140的图像数据上添加图像效果的处理。之后，当图像处理单元150完成对处理目标的图像数据的处理时，图像处理单元150经由存储器140将经处理的图像数据提供给记录介质160和显示单元170。这里，在数码相机100中，图像处理单元150不仅可以向存储在记录介质160上的图像数据添加预定图像效果，而且可以在执行用于将所摄取的图像数据存储到记录介质160上的处理之前向该图像数据添加预定图像效果。

在此实施例中，在以下将描述的由上述数码相机100执行的各个操作中，将主要描述图像处理单元150的操作，其中，执行了对放大图像的转换，该放大图像是通过以在示出图像数据的屏幕内设置的参考点作为中心，对存储在记录介质160上的图像数据执行放大处理而获得的。

在此实施例中，作为放大处理的一个示例，如图2所示，图像处理单元150执行了倾斜校正处理。图2A是接近图像摄取屏幕的末端部分的图像区域在拍摄图像时由于光学透镜110等的特性而向屏幕中心的纵轴倾斜的处理目标图像(以下称为原始图像P1)。图像处理单元150以纵轴作为中心对该原始图像P1执行放大处理，从而校正原始图像P1的倾斜。即，图像处理单元150以纵轴作为中心对向屏幕中心处的纵轴倾斜的原始图像P1执行放大处理，并将原始图像P1转换为倾斜已被校正的图像(以下称为经校正图像P2)，如图2B所示。

在数码相机100中，图像处理单元150包括以下将描述的处理单元，以对原始图像执行倾斜校正处理。即，如图3所示，图像处理单元150包括选择处理单元151、坐标变换处理单元152、存储器控制单元153和内插处理单元154。

选择处理单元151从被设置为具有与原始图像相似的图像大小的经校正图像中选择要作为处理目标的像素(以下称为处理目标像素)，并以像素为单位将有关所选处理目标像素的坐标点的数据提供给坐标变换处理单元152。

坐标变换处理单元152针对构成经校正图像的每一个像素计算根据以下将描述的映射函数而被映射到像素的原始图像的坐标点。然后，坐标变换处理单元152将有关该原始图像的坐标点的数据提供给存储器控制单元153。

存储器控制单元153在存储器控制单元153和存储器140之间执行数据的读写处理。存储器控制单元153根据从坐标变换处理单元152提供的有关原始图像的坐标点的数据，从存储器140读取原始图像的各个像素的像素值，并将它们提供给内插处理单元154。并且，存储器控制单元153将来自以下将描述的内插处理单元154的输出结果写入到存储器140。

内插处理单元154使用从存储器控制单元153提供的原始图像的各个像素的像素值来内插经校正图像的各个像素的像素值，并将有关该经校正图像的各个像素的像素值的数据提供给存储器控制单元153。这里，将在以下描述由内插处理单元154执行的具体内插处理技术。

在图像处理单元150中，选择处理单元151的操作按照在原始图像中呈现的倾斜特性而不同。具体而言，原始图像呈现的倾斜特性在广义上可以分为两种类型。因此，图像处理单元150执行对两种类型的分类，梯形失真校正处理和鱼眼校正处理，并执行从原始图像向经校正图像的转换处理。

这里，如图4所示，在原始图像的坐标空间中，将屏幕左上端处的像素的坐标点设置为原点，将单位像素的各条边的长度设置为1，并且将等于宽度数目(“width”)的像素排列在x′方向，将等于高度数目(“height”)的像素排列在y′方向。这里，在经校正图像的坐标空间中，相似地，将屏幕左上端处的像素的坐标点设置为原点，将单位像素的各条边的长度设置为1，并且将等于width的像素排列在x方向，将等于height的像素排列在y方向。

在此实施例中，梯形失真校正处理是这样一种处理，其通过执行放大处理来校正向设置在屏幕中心的参考轴倾斜的原始图像，其中，参考轴是纵轴(x′＝x0)或者横轴(y′＝y0)。具体而言，梯形失真校正处理被分类为以下几种梯形失真校正处理：向屏幕中心处的纵轴(x′＝x0)的底端倾斜的原始图像(如图2所示)被向纵轴(x′＝x0)的顶端倾斜(以下称为向上梯形失真校正处理)；向屏幕中心处的纵轴(x′＝x0)的顶端倾斜的原始图像被向纵轴(x′＝x0)的底端倾斜(以下称为向下梯形失真校正处理)；向屏幕中心处的横轴(y′＝y0)的右端倾斜的原始图像被向横轴(y′＝y0)的左端倾斜(以下称为向左梯形失真校正处理)；以及向屏幕中心处的横轴(y′＝y0)的左端倾斜的原始图像被向横轴(y′＝y0)的右端倾斜(以下称为向右梯形失真校正处理)。

因此，在图像处理单元150中，在向上梯形失真校正处理的情况下参考点(x0，y0)被设置为坐标点((width-1)/2，height-1)，在向下梯形失真校正处理的情况下参考点(x0，y0)被设置为坐标点((width-1)/2，0)，在向左梯形失真校正处理的情况下参考点(x0，y0)被设置为坐标点(width-1，(height-1)/2)，并且在向右梯形失真校正处理的情况下参考点(x0，y0)被设置为坐标点(0，(height-1)/2)。放大处理是以参考点为中心来执行的。

另一方面，一般而言，鱼眼校正处理是用于校正鱼眼镜头所摄取的原始图像的倾斜的处理，其中，倾斜出现在原始图像中。即，鱼眼校正处理是这样一种处理，其校正了向正交坐标中的纵轴(x′＝x0)和横轴(y′＝y0)两者倾斜的原始图像，在所述正交坐标中，设置在屏幕内的参考点(x0，y0)被设置为原点。这里，鱼眼镜头是具有广视角的光学镜头。因此，在图像处理单元150中，作为鱼眼校正处理，以设置在屏幕内的参考点(x0，y0)作为中心来执行放大处理。

根据上述梯形失真校正处理和鱼眼校正处理，坐标变换处理单元152执行以下所描述的各个处理。

当对原始图像执行梯形失真校正处理时，坐标变换处理单元152根据以下所示的式(1)和式(2)来计算被映射到经校正图像的像素的坐标点(x，y)的原始图像的坐标点(x′，y′)。

x′＝(ax+by+c)/(gx+hy+1)…式(1)

y′＝(dx+ey+f)/(gx+hy+1)…式(2)

这里，a、b、c、d、e、f、g和h是根据原始图像的倾斜度来确定的常数。

当对原始图像执行鱼眼校正处理时，坐标变换处理单元152根据以下所示的式(3)和式(4)来计算被映射到经校正图像的像素的坐标点(x，y)的原始图像的坐标点(x′，y′)。

x′＝(x-x0)×c0+x0…式(3)

y′＝(y-y0)×c0+y0…式(4)

这里，系数c0由以下所示的式(5)和式(6)来给出。

c0＝(1-c1×(x-x0)²+(y-y0)²)/c2…式(5)

c1＝vol/300/((x0)²+(y0)²)…式(6)

这里，系数c2是1-vol/300，系数vol是根据鱼眼效果的程度来确定的系数。

以这种方式，根据梯形失真校正处理和鱼眼校正处理，坐标变换处理单元152计算被映射到处理目标像素的坐标点的原始图像的坐标点，并将它们提供给存储器控制单元153。

并且，如图5所示，存储器控制单元153读取原始图像的四个像素的像素值，并且将这些像素值提供给内插处理单元154，其中，所述四个像素被定位在原始图像的计算得到的坐标点Z的周围。这里，原始图像的这四个像素被称为A、B、C和D，它们分别是被偏斜地(obliquely)定位在坐标点Z的左上方的像素、被偏斜地定位在右上方的像素、被偏斜地定位在左下方的像素以及被偏斜地定位在右下方的像素。内插处理单元154根据双线性内插技术，利用从存储器控制单元153提供的原始图像的各个像素A、B、C和D的像素值来计算坐标点Z的像素值。在双线性内插技术中，根据原始图像的四个像素A、B、C和D的像素值来内插得到坐标点Z的像素值。

这里，在连接坐标点Z处的像素的垂直延伸线与连接像素A和B的水平线相交的位置处的像素被用Z1表示，并且从像素A到像素Z1的距离与从像素Z1到像素B的距离之间的比率被设置为d∶(1-d)(0≤d≤1)。类似地，连接坐标点Z处的像素的垂直延伸线与连接像素C和D的水平线相交的位置处的像素被用Z2表示，并且从像素C到像素Z2的距离与从像素Z2到像素D之间的距离之间的比率被设置为d∶(1-d)。此外，从像素Z1到像素Z的距离与从像素Z到像素Z2的距离之间的比率被设置为e∶(1-e)(0≤e≤1)。

在双线性内插技术中，首先，分别根据以下所示的式(7)和式(8)来计算像素值P(Z2)和像素Z1的像素值P(Z1)。这里，像素A、B、C和D的像素值分别用P(A)、P(B)、P(C)和P(D)表示。

P(Z1)＝(1-d)×P(A)+d×P(B)…式(7)

P(Z2)＝(1-d)×P(C)+d×P(D)…式(8)

此外，在双线性内插技术中，使用式(7)和式(8)的计算结果，根据以下所示的式(9)来计算坐标点Z的像素值P(Z)。

P(Z)＝(1-e)×P(Z1)+e×P(Z2)…式(9)

以这种方式，内插处理单元154通过上述双线性内插技术来计算坐标点Z的像素值P(Z)。然后，内插处理单元154将坐标点Z的计算得到的像素值P(Z)设置为当前处理目标像素的像素值。并且，内插处理单元154将该处理目标像素的像素值提供给存储器控制单元153。

接下来，将描述当执行倾斜校正处理时，由图像处理单元150的存储器控制单元153执行的存储器控制方法。

在传统的存储器控制方法中，如图6所示，存储器控制单元将有关经校正图像的各个像素的像素值的数据写入存储区域2中，而不是已经预先在存储器中存储原始图像的图像数据的存储区域(以下称为存储区域1)。以这种方式，在传统的存储器控制方法中，原始图像的图像数据和经校正图像的图像数据各自被存储在不同的存储区域中。因此，对于图像处理单元而言，没有必要考虑以什么顺序从构成经校正图像的多个像素中选择处理目标像素。即，当使用这样的存储器控制方法时，无论从位于任何坐标点处的经校正图像的哪个像素开始处理，都没有关于图像处理单元覆写存储在存储器中的原始图像的问题。

这样，在传统的存储器控制方法中，需要在存储器中确保用于保存原始图像的图像数据的存储区域，或者除了现有的存储器外还需要在图像处理单元中提供用于保存图像数据的帧存储器。特别地，当原始图像的像素数目很大时，随着像素数目的增加，需要确保用于保存它们的更大容量的存储区域。

因此，根据本实施例的数码相机100通过执行存储器控制而实现了保存原始图像的图像数据所需的存储器容量的降低，如图7A和7B所示。

图7A是示意性地示出作为第一存储器控制技术的第一存储器控制技术的示图，其中，已经存储有原始图像的图像数据的存储区域的一部分被覆写为经校正图像的图像数据，并且该经校正图像的图像数据被写入到存储器140中。

此外，图7B是示意性地示出第二存储器控制技术的示图，其中，已经存储有原始图像的图像数据的存储区域1的全部被覆写为经校正图像的图像数据(存储区域2)。

当根据第一控制技术和第二控制技术来管理存储器140的存储区域时，对于图像处理单元150而言，构成经校正图像的处理目标像素中的未经处理像素所需的原始图像的图像数据必须被存储在存储器140中。因此，图像处理单元150必须按适当顺序从构成经校正图像的各个像素中选择处理目标像素，并将原始图像转换为经校正图像。因此，在下文中，如下所示，将主要描述如上所述地选择适当的处理目标像素的选择处理单元151的操作。

在选择处理单元151中，处理目标像素的选择顺序按照原始图像中呈现的倾斜的类型而不同。具体而言，选择处理单元151执行对两种类型的分类，即上述的梯形失真校正处理和鱼眼校正处理，并不同地选择处理目标像素。

首先，作为梯形失真校正处理的一个具体示例，将参考图8A和8B来描述在上述向上梯形失真校正处理中的对处理目标像素的选择处理。作为前提，图8A是向屏幕中心处的纵轴(x′＝x0)的底端倾斜的原始图像P3。并且，图8B是通过对原始图像P3执行倾斜校正而获得的经校正图像P4。这里，可以被映射在经校正图像的坐标空间中的原始图像的坐标点(x，y)构成了示出图8A的原始图像的屏幕内的用点指示的图像区域。因此，在示出原始图像P3的屏幕内的、在图8A中未用点指示的屏幕上面部分的图像区域是无法映射到经校正图像的坐标点的区域。因此，在向上梯形失真校正处理中，关系y≤y′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。类似地，在向下梯形失真校正处理中，关系y≥y′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。

此外，在向上梯形失真校正处理和向下梯形失真校正处理中，在纵轴左边的图像区域中，关系x≤x′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。此外，在纵轴右边的图像区域中，关系x≥x′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。

此外，在向左梯形失真校正处理中，关系x≤x′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。类似地，在向右梯形失真校正处理中，关系x≥x′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。

此外，在向左梯形失真校正处理和向右梯形失真校正处理中，在横轴以上的图像区域中，关系y≤y′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立，并且在横轴以下的图像区域中，关系y≥y′在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间总是成立。

图像处理单元150利用如上所述的在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间成立的关系来选择处理目标坐标。

首先，将参考图8B来描述通过利用第一控制技术来执行向上梯形失真校正处理的选择处理单元151的操作。

如图8B所示，选择处理单元151将位于(离参考点(x0，y0)最远的)左上端的像素的坐标点(0，0)视为起始点，并在垂直方向上向下选择处理目标像素，并将有关处理目标像素的坐标点的数据提供给坐标变换处理单元152。即，选择处理单元151在处理顺序方向A1上从左端向右端顺序地选择屏幕内的顶行像素中的处理目标像素。选择处理单元151针对在水平方向上排列的各像素行，在处理顺序方向A2上从屏幕的顶部开始，执行水平方向上的处理。以这种方式，因为选择处理单元151以这样一种顺序执行选择处理，所以存储器控制单元153可以将某区域中的当前处理目标像素的像素值写入存储器140，而不是写入存储了上述原始图像的各个像素的像素值的存储区域，其中，原始图像的像素位于与放大图像的像素相同的坐标点，其中的每一个像素都在之前未被选择为处理目标像素。

具体而言，选择处理单元151可以以使得关系y≤y′总是成立的方式来选择所有处理目标像素。因此，存储器控制单元153可以通过保存构成原始图像的至少一个水平行的像素来将已被顺序执行内插处理的处理目标像素的像素值写入到存储器140中。

类似地，在向下梯形失真校正处理的情况下，选择处理单元151将屏幕底部的一水平行的像素视为起始点，并在垂直方向上向上选择处理目标像素，这样通过简单地保存构成原始图像的至少一个水平行的像素可以将原始图像转换为经校正图像。

此外，在向左梯形失真校正处理的情况下，选择处理单元151将屏幕右端一垂直列的像素视为起始点，并在水平方向上向左选择处理目标像素，这样通过简单地保存构成原始图像的至少一个垂直列的像素可以将原始图像转换为经校正图像。此外，在向右梯形失真校正处理的情况下，选择处理单元151将屏幕左端一垂直列的像素视为起始点，并在水平方向上向右选择处理目标像素，这样通过简单地保存构成原始图像的至少一个垂直列的像素可以将原始图像转换为经校正图像。

以这种方式，在图像处理单元150中，在存储器140的存储区域中的除了存储有原始图像的各个像素的像素值的存储区域以外的某一区域中执行写入，其中，原始图像的像素位于与放大图像的像素相同的坐标点处，而且其中每一个像素未被选择为处理目标像素。因此，可以实现保存原始图像的图像数据所必需的存储容量的降低。

接下来，将参考图9A和9B来描述通过实现第二存储器控制技术来执行倾斜校正的选择处理单元151的操作。这里，图9A是示出原始图像P5的示图。

在向上梯形失真校正处理的情况下，如图9B所示，选择处理单元151将位于示出经校正图像P6的屏幕内的(离参考点(x0，y0)最远的)右上端的像素的坐标点(0，0)视为起始点，并在参考点(x0，y0)被设置为原点的正交坐标中朝一条轴的方向顺序选择处理目标像素，并且选择处理单元151将有关处理目标像素的坐标点的数据提供给坐标变换处理单元152。

具体而言，选择处理单元151在到纵轴(x＝x0)的处理顺序方向B1上顺序选择屏幕内的顶行像素中的处理目标像素，并在之后在到纵轴(x＝x0)的处理顺序方向B2上顺序选择屏幕内的顶行像素中的处理目标像素。选择处理单元151针对在水平方向上排列的各个像素行，在处理顺序方向B3上从屏幕的顶部开始执行在水平方向上执行的那种处理。这里，将在下面描述有关除向上梯形失真校正处理以外的梯形失真校正处理的处理目标像素的选择顺序。

接下来，将参考图10A和10B来描述鱼眼校正处理中有关处理目标像素的选择处理。图10A用坐标(x′，y′)来示出向屏幕的参考点(x0，y0)倾斜的原始图像P7。此外，图10B是通过对原始图像P7执行倾斜校正而获得的经校正图像P8。这里，在示出原始图像P7的屏幕内，在图中未用点来指示的屏幕的上面部分的图像区域是无法映射到经校正图像的坐标点的区域。

因此，在原始图像P7和经校正图像P8之间，对于在参考点(x0，y0)的左上、右上、左下和右下方的各个区域而言，以下关系成立。

首先，在位于参考点(x0，y0)的左上方的区域中，关系x≤x′和y≤y′在原始图像P7的坐标空间和经校正图像P8的坐标空间之间总是成立。此外，在参考点的右上方的区域中，关系x≥x′和y≤y′在原始图像P5和经校正图像P6之间总是成立。此外，在参考点(x0，y0)的左下方的区域中，关系x≤x′和y≥y′在原始图像P7和经校正图像P8之间总是成立。此外，在参考点的右下方的区域中，关系x≥x′和y≥y′在原始图像P5和经校正图像P6之间总是成立。因此，选择处理单元151利用如上所述的在原始图像的坐标点(x′，y′)和经校正图像的坐标点(x，y)之间成立的关系来选择处理目标像素。

如图10B所示，选择处理单元151将示出经校正图像P8的屏幕内的位于(离参考点(x0，y0)最远的)末端部分处的像素的坐标点(0，0)视为起始点，并朝参考点被设置为原点的正交坐标中的一条轴的方向顺序选择处理目标像素。

具体而言，这个起始点被设置在示出经校正图像P8的屏幕的左上端处，并且首先，选择处理单元151在到纵轴(x＝x0)的处理顺序方向C1上顺序选择屏幕内的顶行像素中的处理目标像素，并且之后选择处理单元151在到纵轴(x＝x0)的处理顺序方向C2上顺序选择屏幕内的顶行像素中的处理目标像素。选择处理单元151针对位于参考点以上的在水平方向上排列的各个像素行，在到横轴(y＝y0)的处理顺序方向C3上从屏幕顶部起执行在水平方向上执行的那种处理。

这里，当参考点(x0，y0)与任意像素的坐标点匹配时，选择处理单元151不将纵轴(x＝x0)上的一列像素和横轴(y＝y0)上的一行像素选择为处理目标像素。

当完成对位于参考点(x0，y0)以上的像素的选择时，接下来，选择处理单元151在到纵轴(x＝x0)的处理顺序方向C1上顺序选择屏幕内的底行像素中的处理目标像素，并且之后在到纵轴(x＝x0)的处理顺序方向C2上顺序选择屏幕内的底行像素中的处理目标像素。选择处理单元151针对位于参考点以下的在水平方向上排列的各个像素行，在到横轴(y＝y0)的处理顺序方向C4上从屏幕底部起执行在水平方向上执行的那种处理。这里，当参考点(x0，y0)与任意像素的坐标点匹配时，选择处理单元151不将纵轴(x＝x0)上的一列像素和横轴(y＝y0)上的一行像素选择为处理目标像素。

当完成上述选择处理时，选择处理单元151判定参考点(x0，y0)是否与任意像素的坐标点匹配。如果选择处理单元151判定它们不匹配，这意味着选择处理单元151已经将构成经校正图像P8的所有像素都选择为处理目标象素。此外，如果选择处理单元151判定它们匹配，则选择处理单元151执行以下将描述的有关处理目标像素的处理。即，选择处理单元151将位于横轴(y＝y0)上的一行像素的左端的像素视为起始点，并在处理顺序方向C5上选择像素，直到紧挨着参考点(x0，y0)之前的像素，并且之后将位于横轴(y＝y0)上的该行像素的右端的像素视为起始点，并在处理顺序方向C6上执行选择，直到紧挨着参考点(x0，y0)之前的像素。接下来，选择处理单元151将位于纵轴(x＝x0)上的一列像素的顶端的像素视为起始点，并在处理顺序方向C7上执行选择，直到紧挨着参考点(x0，y0)之前的像素，并且之后将位于纵轴(x＝x0)上的该列像素的底端的像素视为起始点，并在处理顺序方向C8上执行选择，直到紧挨着参考点(x0，y0)之前的像素。通过执行这样的处理，图像处理单元150将构成经校正图像的所有像素都选择为处理目标像素。

在图像处理单元150中，选择处理单元151将离参考点(x0，y0)最远的坐标点视为起始点，并在参考点(x0，y0)被设置为原点的正交坐标中朝一条轴的方向选择构成放大图像的各个像素作为处理目标像素。这样，在存储器控制单元153中，处理目标像素的像素值可被写入到存储器140中存储了位于与处理目标像素相同的坐标点处的原始图像的像素的像素值的存储区域中。即，图像处理单元150可以按照第二存储器控制技术来管理存储器140的存储区域，因而在存储器140中不必有用于保存原始图像的图像数据的存储区域。

这里，作为第一控制技术，如果选择处理单元151确保了用于保存参考点(x，y)被设为原点的正交坐标上的原始图像的像素值的存储区域，则无论参考点的坐标点是否与任意像素的坐标点相匹配都可以执行鱼眼校正处理，如上所述。

如上所述，在图像处理单元150中，在根本没有确保用于保存原始图像的图像数据的存储区域的情况下，可以执行倾斜校正处理。像这样由图像处理单元150执行的处理被按照在图11中具体示出的校正处理程序来执行。这里，在以下校正处理程序中，特别地并且主要地将描述在图像处理单元150中包括的各个处理单元中的选择处理单元151的操作。

如上所述，由水平方向上的等于width的像素和垂直方向上的等于height的像素来构成原始图像和经校正图像两者。此外，在原始图像的坐标空间和经校正图像的坐标空间中，位于屏幕上的左上端的像素的坐标点被设置为原点。

在步骤S11中，作为初始设置，选择处理单元151对参考点(x0，y0)进行设置。选择处理单元151在执行向上梯形失真校正处理的情况下、在执行向下梯形失真校正处理的情况下、在执行向左梯形失真校正处理的情况下、以及在执行向右梯形失真校正处理的情况下，分别将坐标点((width-1)/2，height-1)、坐标点((width-1)/2，0)、坐标点(width-1，(height-1)/2)和坐标点(0，(height-1)/2)设置为参考点(x0，y0)。此外，在执行鱼眼校正处理的情况下，选择处理单元151将任意坐标点(Xc，Yc)设置为参考点(x0，y0)。

在步骤S12中，选择处理单元151选择位于经校正图像的坐标点(0，0)处的像素作为处理目标像素。

接下来，选择处理单元151判定当前的处理目标像素的坐标点是否满足关系y＜y0(步骤S13)。如果选择处理单元151判定该条件得到满足，则选择处理单元151根据图12所示的水平行处理，选择一水平行的像素作为处理目标像素，并对其执行校正处理(步骤S14)，并增大这些处理目标像素的y分量(步骤S15)。然后，过程返回到步骤S13。

这里，将具体描述步骤S14所示的水平行处理。选择处理单元151判定当前的处理目标像素的坐标点是否满足条件x＜x0(步骤S101)。如果选择处理单元151判定这个条件得到满足，则过程前进到步骤S102。在步骤S102中，选择处理单元151将有关该处理目标像素的坐标点的数据提供给坐标变换处理单元152。这里，在图像处理单元150中，对该处理目标像素执行校正处理，并执行到存储器140的写入。当有关该当前处理目标像素的校正处理结束时，选择处理单元151增大该处理目标像素的坐标点的x值(步骤S103)。然后，过程返回到步骤S101的判定处理。步骤S102中的处理和步骤S103中的处理被重复执行，直到步骤S101所示的条件不满足为止，并且之后将处理目标像素的坐标点的x值设置为(width-1)(步骤S104)。接下来，选择处理单元151判定当前的处理目标像素的坐标点(x，y)是否满足条件x＞x0(步骤S105)。如果选择处理单元151判定该条件得到满足，则过程前进到步骤S106。在步骤S106中，选择处理单元151将有关该处理目标像素的坐标点的数据提供给坐标变换处理单元152。这里，在图像处理单元150中，对该处理目标像素执行校正处理，并且存储器控制单元153按照第二存储器控制方法执行到存储器140的写入。当有关当前处理目标像素的校正处理结束时，选择处理单元151减小该处理目标像素的坐标点的x值(步骤S107)。然后，过程返回到步骤S105中的判定处理。步骤S106中的处理和步骤S107中的处理被重复执行，直到步骤S105所示的条件不满足为止，然后选择处理单元151完成了水平行处理。

选择处理单元151重复执行步骤S14中的处理和步骤S15中的处理，并且当步骤S13中的条件不满足时，选择处理单元151将处理目标像素的y值设置为(height-1)(步骤S16)。

接下来，选择处理单元151判定当前处理目标像素的坐标点是否满足条件y＞y0(步骤S17)。如果选择处理单元151判定该条件得到满足，则选择处理单元151按照图12所示的水平行处理选择一水平行的像素作为处理目标像素(步骤S18)。之后，选择处理单元151减小这些处理目标像素的y分量(步骤S19)，并且过程返回到步骤S17中的处理。选择处理单元151重复执行步骤S18和步骤S19，并且当步骤S17中的条件不满足时，过程前进到步骤S20。

在步骤S20中，选择处理单元151判定在步骤S11中设置的参考点(x0，y0)的x0分量和y0分量两者是否都是整数。在这个判定处理中，选择处理单元151判定参考点(x0，y0)是否与任意像素的坐标点相匹配。因此，针对梯形失真校正处理，有关这样的参考点的条件并不满足，因而之后选择处理单元151完成了这个处理过程。即，仅在鱼眼校正处理的情况下并且当参考点(x0，y0)与任意像素的坐标点相匹配时，选择处理单元151才执行以下步骤S21到S30中的处理。

当步骤S20所示的条件得到满足时，选择处理单元151将处理目标像素的y分量设置为y0(步骤S21)，按照图12所示的水平行处理选择一水平行的像素作为处理目标像素，并对其执行校正处理(步骤S22)，并且之后将处理目标像素的坐标点设置为坐标点(x0，0)(步骤S23)。

接下来，选择处理单元151判定当前处理目标像素的坐标点是否满足条件y＜y0(步骤S24)。如果选择处理单元151判定该条件得到满足，则过程前进到步骤S25。在步骤S25中，选择处理单元151将有关该处理目标像素的坐标点的数据提供给坐标变换处理单元152。这里，在图像处理单元150中，对该处理目标像素执行校正处理，并且按照第二控制技术执行到存储器140的写入。当有关当前处理目标像素的校正处理结束时，选择处理单元151增大处理目标像素的坐标点的y值(步骤S26)。然后，过程返回到步骤S24中的判定处理。步骤S25中的处理和步骤S26中的处理被重复执行，直到步骤S24所示的条件不满足为止，之后，处理目标像素的坐标点的y值被设置为(height-1)(步骤S27)。

接下来，选择处理单元151判定当前处理目标像素的坐标点(x，y)是否满足条件y＞y0(步骤S28)。如果选择处理单元151判定该条件得到满足，则过程前进到步骤S29。在步骤S29中，选择处理单元151将有关处理目标像素的坐标点的数据提供给坐标变换处理单元152。这里，在图像处理单元150中，对该处理目标像素执行校正处理，并且按照第二控制技术执行到存储器140的写入。当有关当前处理目标像素的校正处理结束时，选择处理单元151减小处理目标像素的坐标点的y值(步骤S30)。然后过程返回到步骤S28中的判定处理。步骤S29中的处理和步骤S30中的处理被重复执行，直到步骤S28所示的条件不满足为止，然后选择处理单元151完成这个处理过程。

如上所述，在图像处理单元150中，选择处理单元151按照倾斜校正处理的类型以适当顺序选择处理目标像素。即使在存储器140中已存储有构成已被执行校正处理的图像的每一个像素的像素值时，正在覆写原始图像的各个像素中的、位于与该已被执行校正处理的图像的像素的坐标点相同的坐标点处的相应的一个像素的像素值的情况下，图像处理单元150也可以执行倾斜校正处理，而无需在执行校正处理之前覆写原始图像的每一个像素的数据，其中，原始图像的像素对于执行到经校正图像的转换是必要的。

因此，包括该图像处理单元150的数码相机100不需要用于保存原始图像的图像数据的存储区域。因此，数码相机100可以使用存储容量小于传统相机中的存储器140的存储容量的存储器140。

这里，本发明不仅仅限于上述实施例。很显然，在不脱离本发明的要旨的范围内可以进行各种改变。

Claims (5)

1.一种图像处理装置，用于将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理装置包括：

选择处理单元，该选择处理单元将离所述参考点最远的坐标点视为起始点，并从构成所述放大图像的像素中选择处理目标像素；

计算处理单元，该计算处理单元计算被映射到所述选择处理单元所选择的所述处理目标像素的坐标点的、所述原始图像的坐标点；

读处理单元，该读处理单元按照由所述计算处理单元计算得到的所述原始图像的坐标点，从所述记录介质中读取所述原始图像的一像素的像素值；

内插处理单元，该内插处理单元使用由所述读处理单元读取的所述原始图像的所述像素的像素值来内插所述处理目标像素的像素值；以及

写处理单元，该写处理单元将已由所述内插处理单元内插的所述处理目标像素的像素值写入所述记录介质上的、除了已存储有所述原始图像的各个像素的像素值的存储区域以外的区域中，其中，所述原始图像的所述各个像素位于与所述放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

2.如权利要求1所述的图像处理装置，其特征在于：

所述读处理单元从所述记录介质读取位于所述原始图像的坐标点周围的、所述原始图像的四个像素的像素值，并且

所述内插处理单元按照双线性内插技术来内插所述处理目标像素的像素值。

3.如权利要求2所述的图像处理装置，其特征在于：

所述选择处理单元将离所述参考点最远的坐标点视为起始点，并朝所述参考点被设置为原点的正交坐标中的一条轴的方向选择所述处理目标像素，并且

所述写处理单元将已由所述内插处理单元内插的所述处理目标像素写入到已存储有位于与该处理目标像素相同的坐标点处的原始图像的像素值的存储区域。

4.一种图像处理方法，用于将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理方法包括：

将离所述参考点最远的坐标点视为起始点，并从构成所述放大图像的像素中选择处理目标像素；

计算被映射到所选择的处理目标像素的坐标点的、所述原始图像的坐标点；

按照计算得到的所述原始图像的坐标点，从所述记录介质中读取所述原始图像的一像素的像素值；

使用所读取的所述原始图像的所述像素的像素值来内插所述处理目标像素的像素值；以及

将经内插的处理目标像素的像素值写入所述记录介质上的、除了已存储有所述原始图像的各个像素的像素值的存储区域以外的区域中，其中，所述原始图像的所述各个像素位于与所述放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

5.一种程序，用于使计算机执行图像处理以将存储在预定记录介质上的原始图像转换为放大图像，该放大图像是以在显示所述原始图像的屏幕内设置的参考点为中心执行了放大处理的图像，所述图像处理包括：

选择处理步骤，将离所述参考点最远的坐标点视为起始点，并从构成所述放大图像的像素中选择处理目标像素；

计算处理步骤，计算被映射到通过所述选择处理步骤选择的所述处理目标像素的坐标点的、所述原始图像的坐标点；

读处理步骤，按照在所述计算处理步骤中计算得到的所述原始图像的坐标点，从所述记录介质中读取所述原始图像的一像素的像素值；

内插处理步骤，使用在所述读处理步骤读取的所述原始图像的所述像素的像素值来内插所述处理目标像素的像素值；以及

写处理步骤，将在所述内插处理步骤中经过内插的所述处理目标像素的像素值写入所述记录介质上的、除了已存储有所述原始图像的各个像素的像素值的存储区域以外的区域中，其中，所述原始图像的所述各个像素位于与所述放大图像的未被选择为处理目标像素的各个像素相同的坐标点处。

Images