CN101107838B - 图像处理装置、图像处理方法和摄像装置 - Google Patents

Abstract

无需使用外部存储器即可将数据从图像处理部传输到编码部。另外，有可能通过带宽比外部存储器宽的内部传输，进行高速处理。原图像的整个图像41分割为6个(64×4)像素块。各块逐个进行放大处理。按照所附序号1，2，3，...的顺序，读出各块数据。用尺寸变更部对第一块进行处理，生成(128×8)像素的块42的图像数据。从该图像数据42读出(16×8)像素的宏块43的单位，并进行编码，得到JPEG数据44。代码重排部以块为单位重排JPEG数据46的顺序，生成JPEG数据48。对该顺序的JPEG数据48进行解码，可得到与原图像区域41块顺序一致的解码图像49。

Description

图像处理装置、图像处理方法和摄像装置

技术领域

本发明涉及可以应用于图像信号的压缩等用的编码装置、编码方法及编码程序以及摄像装置。 

背景技术

在数码相机等摄像装置中，经常进行图像畸变的修正处理、色差的修正处理、图像尺寸的放大或缩小的处理等图像处理。另外，在图像处理中发生的图像数据通常通过JPEG(图像联合专家组)、MPEG(动画专家组)等压缩编码进行压缩。在这样的压缩编码中，以称为宏块的图像为单位进行编码。 

为了进行图像处理，从存储器读出图像数据，进行内插等处理。进行编码时，图像尺寸变更后的区域尺寸，设定为宏块的大小。这样，由于在图像尺寸的变换处理中将图像尺寸设定为宏块这样的小单位，因此产生了需要高速读出图像数据的问题。 

另外，在图像处理中，不仅作为处理对象的区域的图像数据，而且为了进行滤波等，往往还需要与该区域相邻的区域的图像数据。在这种情况下，以尽可能大的块尺寸作为单位进行图像处理，与以小的块尺寸为单位(进行图像处理)相比，可以提高效率。现参照图1A、图1B及图1C说明这一点。 

图1A是以斜线所表示的(8像素×8像素)为单位进行图像处理的示例。若假定纵横分别需要处理2个像素区域，则处理像素数为64像素，有效处理象素数变为(4像素×4像素＝16像素)，效率为(有效处理像素数/处理像素数＝25％)。图1B表示块尺寸设置为(128像素×128像素＝16384像素)的情况。在这种情况下，处理像素数为 16384，而有效处理像素数为(124像素×124像素＝15376像素)，效率变为93％。此外，图1C表示例如横(向)长的块，例如(2048像素×8像素＝16384像素)的示例。在这种情况下，有效处理像素数变为(2044像素×4像素＝8176像素)，效率变为49％。另外，图1A，1B和1C表示用(3×3＝9)个处理单位构造一个图像的示例。 

图2表示例如按JPEG对图像处理后的数据进行编码的一个示例。在模式上，在图2中，由(4×2)个宏块构成一个图像。若图像处理以水平方向并排的4个宏块作为单位进行，则由于其顺序与JPEG规定的编码方向一致，所以在图像处理中得到的数据原样不变地传送到JPEG编码器进行编码。 

在图2中，图像处理单位变为横长的区域，所以如图3所示，考虑以(2×2)的4个宏块1-4组成的区域为单位进行图像处理的情况。在这种情况下，处理后的宏块1和2原样不变地传送到编码器，进行JPEG编码。宏块3和4暂时保存在存储器中。在下一个处理单位(由宏块5-8组成)中，处理后的宏块5和6原样不变地传送到编码器，进行JPEG编码。宏块7和8暂时保存在存储器中。在编码器中，处理后的宏块1，2，5和6编码后，读出保存在存储器的处理后的数据宏块3，4，7和8，并将读出的数据传送到编码器。 

这样，图像处理单位是整数个宏块，亦即，由编码块组成，编码块的排列顺序与编码规定的顺序不一致时，后来编码的数据需保存在存储器中。结果产生了需要临时保存用的存储器的问题。 

作为可应用本发明的图像处理的一个示例，是图4所示的色差修正。从有色差的摄影图像P分离出红色图像Pr、绿色图像Pg和蓝色图像Pb。色差的起因是透镜的折射率因波长而异，在原色图像之间，即使同一个被拍摄物体，放大倍数变化，图像的大小便发生变化。对各原色图像进行图形分辨率变换，形成大小相同的原色图像Pr’，Pb’和Pg’，将这些原色图像合成，便得到色差修正后的图像P’。本发明适用于图像分辨率变换处理。 

图5表示可应用本发明的另一种图像处理。对图像在纵横两个方向上都发生了桶形畸变的图像P1进行第一阶段放大，得到图像P2。第一阶段放大是横向放大，故使放大倍数离中心越远越大。对图像P2进行第二阶段放大，得到图像P3。第二阶段放大是对图像P2进行纵向放大。使放大倍数离中心越远越大。 

本发明对宏块这样的编码块进行重排处理，但是在以前，在日本专利特开平11-298878号公告中记载了进行以宏块为单位的重排处理。在该文献中，生成MPEG流后，以宏块为单位进行重排，在接收侧即使原样不变地对MPEG流进行解码，结果也无法看到图像。 

如上所述，进行图像尺寸变更这样的图像处理时，以压缩编码的编码单元分割图像数据进行编码时，产生了高速从存储器读出的必要性，产生需要大容量存储器的问题。在上述文献中记载的，一旦生成正常的MPEG流之后，便进行重排。对此，在本发明中，按照与正规顺序不同的图像处理部的输出顺序进行编码之后，重排为正规顺序，在这一点上不同于上述文献的记载。 

发明内容

因此，本发明的目的是，提供能够解决需要高速读出处理和大容量存储器的问题的编码装置、编码方法、编码程序和摄像装置。 

为了解决上述问题，本发明是一种图像处理装置，在编码部以预定的编码单位对图像处理部处理后的图像数据进行编码的图像处理装置中，设有重排部，编码部按从图像处理部输出的顺序进行编码，该重排部从图像处理部的处理方向重排成以编码部的编码方法规定的正规处理方向。 

本发明是一种图像处理装置，设有：图像处理部，在由多个编码单元组成的图像处理块内，进行图像旋转或倒转的第一阶段的处理，输出第一阶段的处理后的数据；编码部，按照图像处理部输出的数据顺序，并以预定的编码单位进行编码；第一重排部，进行将 图像处理部的处理方向重排成编码部的编码方法规定的正规处理方向的第二阶段的处理；以及第二重排部，进行将图像处理单位视为一个要素，对第二阶段的处理后的数据，进行预定的旋转或倒转的第三阶段的处理。 

本发明是一种图像处理装置，设有：图像处理部，在预定的编码单位内，进行图像旋转或倒转的第一阶段的处理，输出第一阶段的处理后的数据；编码部，按从图像处理部输出的数据顺序，并以编码单位进行编码；第一重排部，进行将图像处理部的处理方向重排为编码部的编码方法规定的正规处理方向的第二阶段的处理；以及第二重排部，进行将编码单位视为一个要素，对第二阶段的处理后的数据进行预定的旋转或倒转的第三阶段的处理。 

本发明是一种图像处理方法，在以预定的编码单位，在编码部中对图像处理部处理后的数据进行编码的图像处理方法中，具有以下步骤：编码步骤，按从图像处理部输出的数据顺序进行编码；以及重排步骤，将图像处理部的处理方向重排为编码规定的正规处理方向。 

本发明是一种图像处理方法的程序，在令计算机执行编码部以预定的编码单位对图像处理部所处理的图像数据进行编码的处理方法的程序中，具有以下步骤：编码步骤，按从图像处理部输出的数据顺序进行编码；以及重排步骤，将图像处理部的处理方向重排为编码规定的正规处理方向。 

本发明是一种摄像装置，该摄像装置具有：图像处理部，对用摄像元件拍摄的图像数据进行图像处理；以及编码部，以预定的编码单位对图像处理部处理的图像数据进行编码，在这样的摄像装置中具有重排部，编码部按照图像处理部输出的数据顺序进行编码，该重排部将图像处理部的处理方向重排为编码部的编码方法规定的正规处理方向。 

在本发明中，从例如进行图像尺寸变更的图像处理部向压缩编 码的编码部传输的图像数据，是图像处理部的小单位。因此，无需外部存储器即可进行传输。另外，由于无需外部存储器即可传输，便有可能以宽于外部存储器的带宽进行内部传输，进行高速处理。 

附图说明

图1A，1B和1C是说明图像处理块的大小与处理效率之关系的示意图； 

图2是说明图像处理方向与编码方向一致时的处理的示意图； 

图3是说明图像处理方向与编码方向不一致时的传统处理的示意图； 

图4是说明一例可应用本发明的图像处理的示意图； 

图5是说明另一例可应用本发明的图像处理的示意图； 

图6是概略说明一例本发明的处理的示意图； 

图7是说明另一例本发明的处理的示意图； 

图8是本发明的摄像装置的一实施例的框图； 

图9是说明传统处理的示意图； 

图10是说明图像处理的参考例的示意图； 

图11是说明本发明的图像处理装置一实施例的示意图； 

图12是表示本发明的图像处理装置与另一结构例之间的存储器访问量比较的示意图； 

图13是说明本发明的图像处理装置一实施例的图像处理的示意图； 

图14是说明本发明一实施例的图像处理流程的流程图； 

图15A和15B是说明本发明一实施例中定界符的***处理的示意图； 

图16A和16B是说明本发明一实施例中片起始码(slice startcode)***处理的示意图； 

图17是说明本发明一实施例中定界符改写处理的示意图； 

图18A和18B是说明本发明一实施例中定界符删除处理的示意图； 

图19是说明本发明一实施例中定界符删除处理的第一方法的示意图； 

图20是说明本发明一实施例中填充位(stuffing bit)删除处理方法的示意图； 

图21是说明本发明一实施例中定界符删除处理的第二方法的示意图； 

图22是说明本发明一实施例中定界符删除处理的第三方法的示意图； 

图23A和图23B是说明本发明一实施例中定界符删除处理中必要的一例填充位数的记录方法的示意图； 

图24A、图24B和图24C是说明本发明一实施例中重排时处理效率的示意图； 

图25是表示本发明的图像处理装置另一结构的框图； 

图26是说明将本发明用于两个图像处理的情况的示意图； 

图27是说明将本发明用于两个图像处理的情况的变型例的示意图； 

图28是说明将本发明用于分割一个图像后进行处理时的情况的示例的示意图； 

图29是说明将本发明用于分割一个图像后进行处理时的情况的示例的示意图； 

图30是说明本发明用于图像上下左右倒转处理之一例的示意图； 

图31是说明本发明用于图像上下左右倒转处理之另一例的示意图； 

图32是说明解码侧处理的参考例的示意图；而 

图33是说明本发明的解码侧处理的示意图。 

具体实施方式

首先，参照图6说明本发明的处理概要。在图6中，附图标记16表示作为图像处理对象的原图像。该图像16由6个编码单位(在JPEG的场合为宏块)组成。对于6个宏块分别标示为序号1-6。例如，如宏块1和2所示，对2个宏块逐个进行图像处理。图像处理后的数据在JPEG编码器中进行编码处理，得到编码后的数据17。图像处理如上所述，是缩放处理、色差修正处理、图像畸变修正处理、相机信号处理、黑白反转处理、色空间变换处理、滤波处理等。 

若按该顺序的JPEG数据17原样不变地进行解码，则得到对应的图像18。但是，解码图像18与原图像区域16的块顺序不同，变为与原图像不同的图像。为了避免这个问题就要重排。 

代码重排部将JPEG数据17的顺序以块为单位重排，生成JPEG数据19。若按照这个顺序对JPEG数据19进行解码，则可得到与原图像区域16块顺序一致的对应图像20。 

在图6的例中，原图像的横宽与3个宏块合计的宽度相等。但是，在图像处理的单位横宽由多个宏块组成的例中，如图7所示，有时作为图像处理单位的横宽存在多个种类。例如由于图像处理单位与图像横宽不成整数比，最后处理的大小会不同。多个种类的横宽合计等于图像横宽。在这种情况下，通过在编码时改变分割间隔，即可以进行与图6相同的重排。亦即，对图像116进行JPEG编码，得到JPEG数据117。由于与该JPEG数据117对应的图像118与原图像不同，生成重排后的JPEG数据119。与该JPEG 119对应的图像120成为与原图像一致。 

现就本发明一实施例进行说明，图8表示本发明的摄像装置，例如，数码相机的一实施例的结构。图8中，附图标记1表示透镜装置，附图标记2表示CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等摄像元件。对于摄像元件2，例如，设置Bayer配置的三原色滤光片，得到三原色信号作为摄像元件2的输出。该三原色 信号用A/D转换器3变换到数字信号。 

来自A/D转换器3的数字摄像信号输入由LSI(大规模集成电路)构成的数字处理相机信号处理部4。在相机信号处理部4中，进行白平衡修正处理、内插处理，滤波处理、矩阵运算处理、γ修正处理、亮度信号(Y)生成处理、色差信号(Cr，Cb)生成处理等。相机信号处理部4生成的图像信号提供给显示器5，显示出所拍摄的图像。另外，来自相机信号处理部4的图像数据经过尺寸变更、压缩处理后，存储在内部或外部的存储器中。 

白平衡修正处理可对因被拍摄物的色温环境不同、彩色滤光片感度不同造成各色之间的不平衡作出修正。内插处理对不存在的色信号进行内插处理。滤波处理是高频修正处理，它是为强调轮廓而进行的处理。矩阵运算处理是将摄像信号变换到sRGB的处理。通过γ修正处理对显示装置所具有的非线性特性预先进行逆向修正，以实现最终的线性特性。 

亮度信号的生成处理是通过以预定的合成比合成γ修正后的RGB信号，生成亮度信号。色差信号生成处理块，以预定的合成比合成γ修正后的RGB信号，生成色差信号。对所生成的色差信号进行带宽限制处理，生成色差信号Cb和Cr。 

相机信号处理部4的输出(Y，Cr，Cb)被输入到尺寸变更部6，进行图像尺寸的等倍、放大和缩小处理。尺寸变更部6的输出数据，例如被输入JPEG编码部7。编码部7由DCT(离散余弦变换)、量化器、可变长编码器构成。 

在DCT中，以(8×8)像素块单位进行DCT运算，得到由DC(直流)系数及AC(交流)系数构成的DCT系数。分别对DC系数和AC系数进行量化。对量化后的DC系数与前一个块的DC系数的差值进行编码。其中，在表示定界的具有预定值的代码即定界符***后，紧接着，对DC系数值本身进行编码。若为经量化的AC系数，则在块内通过曲折扫描在重排后被可变长编码。用编码器7压缩后的压缩 图像数据提供给重排部8。重排部8将压缩图像数据重排到JPEG规定的正规处理方向。亦即，所谓正规处理方向，是指按JPEG解码时得到原图像的编码顺序。编码后的图像数据存入存储器9。 

为了控制上述数码相机的信号处理等，设有CPU(中央处理单元)11。相机信号处理部4、尺寸变更部6、编码部7、重排电路8及存储器9，通过CPU总线12连接CPU 11，配置成可用CPU控制。用户操作的开关、GUI(图形用户界面)等键13的输出被输入到CPU11中。而且，在CPU总线12上连接保存程序等的ROM 14及作为CPU 11运行用的存储器的RAM 15。在RAM 15中，通过CPU 11的控制可以储存图像数据。另外，在图8的结构中，为简明起见，省略了从存储器读出的压缩图像数据进行解码，在显示器5上显示的结构。 

按照本发明的上述数码相机的结构，在尺寸变更部6、编码器7、重排部8的处理中，不需要高速处理及大容量存储器。此外，按照本实施例的JPEG中，作为编码单位的宏块尺寸是(16×8)像素，由两个(8×8)像素的亮度(Y)块和分别为(8×8)像素的色差(Cr，Cb)块组成。色差数据的水平方向的像素间隔是亮度数据的2倍。因此，每个像素的位数变为(Y＝8位，Cr＝4位，Cb＝4位)16位。亮度数据及两个色差数据，分离后分别作为处理对象。由于色差数据的处理与亮度数据相同，所以在以下说明中，就亮度数据处理进行说明。 

为便于理解本发明，先参照图9说明传统结构。作为图像处理例，说明图像放大的处理。在图9中，附图标记21表示外部存储器，附图标记24表示尺寸变更部。作为一例，尺寸变更部24是具有尺寸放大两倍的内插数字滤波器的结构。在传统结构中，从外部存储器21读出图像数据，使之放大两倍之后成为宏块尺寸即编码单位。 

为了使放大两倍后的图像等于宏块的大小，尺寸变更部24要放大外部存储器21的带有阴影线的(4×8)像素区域22。由于尺寸变更部24使用FIR滤波器一类的内插滤波器，例如，要从外部存储器 21读出包含区域22的(16×12)像素区域23。亦即，内插滤波器必须对本来的区域分别在横向和纵向需要多出(4+4)个像素，所以增大了读出的像素数。再有，本发明不仅适用于放大，也适用于缩小处理。 

传送到尺寸变更部24内部的放大后的(8×16)宏块的数据25，不经存储器直接传送到编码部26，进行JPEG编码。作为编码数据的JPEG数据被写到外部存储器27。按照JPEG标准，规定从图像左端向右端的方向为正规处理方向，区域22的读出顺序与正规的处理方向相同。外部存储器27和外部存储器21可以构成为同一RAM上不同的存储区。 

在图9所示的传统结构中，按宏块单位依次对JPEG数据进行解码，从而能恢复放大后的图像。但是，由于图像处理单位的块变为放大后的宏块这样小的尺寸，必须从外部存储器21读出作为放大对象的区域22的横向像素数2倍的像素数，纵向像素数的3倍的像素数，合计6倍的像素数，因而必须高速读出，从而存在要求大的存储区的问题。另外，如后所述，总体上存在存储访问量大的问题。 

在图9所示的传统结构中，尺寸变更部24以(16×8)尺寸的编码单位进行放大处理。与此形成对比，图10表示的结构例通过将放大处理单位设置成更大尺寸，来减轻上述需要存储区大以及访问量大的问题。 

带有阴影线的(64×64)像素区域28是作为放大处理对象的区域。尺寸变更部24，从外部存储器21读出(72×72)像素区域29。尺寸变更部24生成使区域28变为两倍的(128×128)像素区域30的图像数据。由于该区域30的图像数据与JPEG的宏块的尺寸不同，不能直接送往编码部26。亦即，放大图像数据被写入到具有一个图像例如1帧的容量的外部存储器31，以宏块为单位从外部存储器31读出图像数据。这样，为了处理(64×64)的区域28，必须读出(72×72)像素区域29，因此，需要传送的数据变为1.27倍。这个比率并不要 求那么高的传送速度。但是，如后所述，与按照本发明的处理相比，存在整体上访问量大的问题。 

从外部存储器31读出JPEG的宏块(16×8)像素区域。读出的顺序是JPEG规定的正规处理方向。读出的宏块的数据由编码部26按JPEG进行编码。作为编码数据的JPEG数据，以宏块为单位从编码部26写出到外部存储器27。 

在图9的结构中，为了以宏块为单位进行尺寸变更，可以使用可设在尺寸变更部24内的容量较小的内部存储器25。但是，在图10的结构中，由于必须将以宏块为单位切出的图像数据提供给编码部26，因此，需要能保存整个放大图像的大容量的外部存储器31。 

图11表示本发明一实施例的结构。与图10所示的结构例相同，以带有阴影线的(64×64)像素区域28作为放大处理对象，所以尺寸变更部24使用在来自外部存储器21的块上附加了周边像素的(72×72)像素的区域29，进行放大处理。在这种情况下，区域28分割为(64×64)像素区域(宜称为块)，逐块读出并进行放大处理。因此，尺寸变更部24，输出将块放大为两倍的(128×128)像素的数据。尺寸变更部24输出的顺序，与JPEG的正规处理方向不同。 

在本发明中，不改变尺寸变更处理顺序地进行JPEG编码，故可直接传送图像数据。此外，可用小容量的存储器将块分割为多个宏块。在一实施例中，尺寸变更部24的输出数据，被内部传送到容量较小的内部存储器32A及32B，并被交替写入存储器32A和32B。若将宏块尺寸设置为(16×8)像素来作为编码单位，则以2倍处理后成为纵向8像素、横向16像素的整倍数的块作为单位，处理放大处理后的数据。块为(64×4)像素的尺寸。放大处理后尺寸的(128×8)像素区域亦称为块。 

存储器32A和32B构造成两个存储体，在对一个存储器写入(128×8)像素的块的图像数据期间，从另一个存储器以JPEG的宏块为单位读出图像数据。(128×8)像素的块对应于原图像28的 (64×4)像素的块。与图9的结构例相同，为处理(64×64)的区域28，需要(72×72)像素区域29，因此应传送的数据变为1.27倍。这个比率并不要求太高的传送速度。 

以/PEG的宏块(16×8)像素为单位依次从存储器32A和32B读出数据。在存储器32A和32B中，分别储存8个宏块数量的图像数据(128×8)像素。读出的宏块的数据由编码部26进行JPEG编码。以宏块位为单位将JPEG数据从编码部26写出到外部存储器33。 

保存在外部存储器33中的JPEG数据，编码顺序与JPEG标准规定的不同，即便用按标准构造的解码器进行解码，也不能恢复正确的图像。JPEG标准规定的编码顺序是从图像左端到其右端的顺序。 

这样，保存在外部存储器33中的JPEG数据在代码重排部34中处理，对JPEG数据进行重排。代码重排部34，例如，可以通过控制外部存储器33的读出地址来进行重排。为进行重排，外部存储器33必须具有放大后的图像整体的容量的存储器。但是，为了将JPEG数据量压缩为几分之一，数据容量最好比储存原图像数据的容量少。 

代码重排部34将处理方向已变为正规的JPEG数据输出并存储到外部存储器35。在外部存储器35中储存正规处理方向的顺序的JPEG数据。因此，用根据JPEG标准构造的解码器对该JPEG数据进行解码，可以正确地恢复图像。 

图12是表示比较图9、图10及图11结构的存储器访问量(写入或读出)的表。例如，假定按JPEG将原图像X字节的数据压缩编码为1/3的情况。在图9的结构中，为了放大(4×8)像素区域22，从外部存储器21读出其6倍像素数(16×12)像素区域23，读出的数据直接传送到编码部26，所以图像访问量为6X字节。另外，JPEG数据到存储器的访问量，由于只写入外部存储器27一次，故为X/3字节。因此，合计的存储器访问量(＝图像访问量+代码访问量)为19X/3字节。 

在图10所示的结构例中，对外部存储器21的图像访问量，从 外部存储器21读出，必须读出1.27倍的像素数的区域，对外部存储器31必须写入放大两倍后的区域30，并读出宏块的图像数据，所以图像访问量为(1.27+2＝3.27)X字节。对JPEG数据存储器的访问量是只写入外部存储器27一次，故为X/3字节。因此，合计存储器访问量(＝图像访问量+代码访问量)为10.81X/3字节。 

在本发明一实施例(图11)的结构中，对外部存储器的图像访问量，从外部存储器21读出必须读出1.27倍像素数的区域。若假定直接向编码部26传送图像数据，则图像访问量为1.27X字节。 

为了进行代码重排，必须对外部存储器33进行写入和读出，并写入到外部存储器35，因此需要3次访问。写入或读出的数据，由于是JPEG数据，代码访问量为(3X/3字节)。因此，合计存储器访问量(＝图像访问量+代码访问量)为6.81X/3字节，是最少的。再有，在一实施例中，由于对存储器32A，32B进行访问，图像访问量增大。但若不设置存储器32A、32B，则可以直接将尺寸变更部24的输出传送到编码部26。另外，由于可以用内部存储器作为存储器32A、32B，有可能提高数据传送速度，故可减少访问量增大造成的影响。 

现参照图13说明本发明一实施例的处理。在图13中，附图标记41表示作为放大处理的对象的原图像的整个图像，例如，(128×12)像素区域。该区域41分割为6个(64×4)像素的块。6个块分别用序号1-6表示。逐块进行放大处理。再有，在图13中，各块内所画的箭头表示对该区域进行处理的顺序，面向图面，以从各区域的左上角到右下角的顺序进行处理。块内编码顺序与JPEG的正规处理方向一致。但由于以块为单位的处理方向与正规的处理方向不同，故必须重排。亦即，若依序以块为单位读出像素，则为1，2，3，…按所附的序号读出各块的数据。 

尺寸变更部24对第一(64×4)像素块进行处理，生成纵横分别为2倍的(128×8)像素的块42的图像数据。将该图像数据42写 入内部存储器32A、32B之一。改变从存储器32A、32B读出数据的顺序，以(16×8)像素的JPEG的宏块43为单位读出图像数据。读出的宏块的数据43在编码部26中编码。得到与块42的图像数据对应的JPEG数据44。JPEG数据的数据块45对应于宏块43。 

按如上所述的方式处理原图像区域41，生成分别与6个块对应的JPEG数据46。若对该顺序的JPEG数据46原样不变地解码，则得到解码图像47。但是，解码图像47，与原图像区域41在块的顺序上不同，成为与原图像不同的图像。 

因此，代码重排部34以块为单位将JPEG数据46的顺序重排为正规的顺序，生成JPEG数据48。若对该顺序的JPEG数据进行解码，则可得到在块顺序上与原图像区域41一致的解码后的图像49。 

图14是表示本发明的图像处理流程的流程图。该流程图所示的处理是通过控制诸如CPU 11(参见图8)等信号处理部的计算机的控制实现的。在开始步骤S1，以块为单位从存储器读出图像。在图13的例中，块为(64×4)像素。 

在步骤S2进行图像处理，例如纵横分别放大2倍的图像处理。在步骤S3将放大处理后的(128×8)像素的数据，以(16×8)像素的宏块为单位输入编码部26。在步骤S4，编码部26按输入的顺序对图像数据进行编码。 

在步骤S5，编码数据(例如JPEG数据)被写入存储器。在步骤S6，判断块数据(例如(128×8)像素的数据)是否已经处理。若未处理完毕，则返回到步骤S3，重复编码处理(步骤S3-S5)。 

在步骤S6，若判定块数据的处理已经完毕，则在步骤S7判断是否整个放大图像的处理均已结束。若未结束，则在步骤S8***具有预定值的预定的定界符。亦即，在每个JPEG数据块的划界处***定界符。 

附加填充位，使被可变长编码的1个块数量的JPEG数据长度为字节的整倍数，并在其后附加定界符(16位)。图15A表示一例JPEG 数据。作为最小编码单位的JPEG MCU(最小编码单位)，是对应于宏块发生的数据。由于进行霍夫曼(Huffman)编码，JPEG MCU具有可变的位长。 

最小编码单位可以不与重排单位一致。例如，用(2×2)宏块作为图像处理单位时，与JPEG编码方向一致的方向，亦即，横向宏块的个数变为2个，用2个宏块作为重排单位。在图15A和15B中，假定1个块由2个宏块组成。如图15B所示，给分别对JPEG数据JPEGMCU1及JPEG MCU2的2个宏块附加6位的填充位。这样，可以使(17+25+6＝48位＝6字节)的块的JPEG数据成为字节的整数倍。在填充位之后，***16位的定界符。 

这样，定界符表示重排单位的划界。这个划界称为ECS(熵编码段)。因此，重排以ECS为单位进行。JPEG数据的DC(直流)系数以与前一数据块的DC系数的差值数据传送，定界符的下一个DC系数的数据并非差值，而是DC系数值本身。 

在步骤S7，若判定整个放大图像均已处理完毕，则在步骤S9从存储器读出JPEG数据，在步骤S10，以块为单位对JPEG数据进行重排。在步骤S11，重排后的JPEG数据被写入到存储器。 

上述的本发明的一实施例，是将本发明应用于JPEG的情况，但是，本发明也适用于使用MPEG作为编码方法的场合。在该场合，对于每个与1块图像对应的MPEG数据进行划界，***具有预定值的片起始码。 

现参照图16A和16B说明片起始码的***。图16A表示MPEG数据流。为简明起见，假定与2个宏块对应的2个数据块，对应于1个块的图像数据。如图16B所示，给2个宏块各自的MPEG数据***6位的填充位。因而，(17+25+6＝48位＝6字节)使得块的MPEG数据成为字节的整数倍。附加填充位之后，***32位的片起始码。 

表示上述的块的可变长数据的划界的定界符(JPEG)和片起始码(MPEG)，必须随着重排而改写其数值。定界符确定为H’FFDx(H’ 是表示十六进制的标记)。x是定界符次数除8后的余数值。另外，片起始码确定为H’000001xx(H’是表示十六进制的标记)。xx是片图像(slice picture)上的宏块单位的垂直位置的值。x及xx的部分，必须随着重排按照标准而改变。 

图17表示定界符的改写处理。正如参照图13说明的，生成分别与6个块对应的JPEG数据46。为了对JPEG数据46的块的数据进行划界，如图17所示，分别***定界符H’FFD0～H’FFD5。 

然后，如图17中的箭头所示，代码重排部34以块为单位重排JPEG数据48的顺序，生成JPEG数据48。根据重排的结果，改写定界符。例如在JPEG数据46中，第四块4的代码重排为JPEG数据48中的第二块的代码，所以定界符H’FFD3被改写为H’FFD1。 

图17表示改写定界符的处理，但是***MPEG流的片起始码的xx值也要随着重排后的配置而改写。 

图18A和18B是说明在重排部34中删除定界符的处理例。与图18A和18B所示的JPEG数据流一样，以字节为单位，给每个块的JPEGMCU***定界符。为了减少***定界符而增大冗余长度的影响，如图18B所示的流那样，删除定界符。有时为了避免违反JPEG标准，也必须删除定界符。 

但是，由于定界符后的与最初的宏块对应的JPEG MCU3的DC系数DC1是与0的差，亦即是数值本身，因此在删除了定界符的图18B所示的流中，JPEG MCU3最初的宏块的DC系数必须设成是与前一JPEG MCU2的最后的宏块的DC系数的差值。 

现就定界符的删除处理的3种方法进行说明。图19表示第一方法。在该方法中，编码时须将传送和记录JPEG MCU2(以下仅表示为MCU2)的起始位置及其结束位置或填充位的位数，与紧接在定界符前面的作为最小编码单位的JPEG MCU2的DC分量的数据相关联地加以记录或保存。以能够不对多个代码进行解码而改写DC分量的编码数据。作为记录或保存方法，可以采用将这些数据***流中， 也可采用在存储器中保存这些信息的方法。 

在步骤S21，根据所记录的MCU2的开始位置或结束位置，或填充位的位数，计算删除定界符后的MCU3的新开始位置a。位置a与MCU2的结束位置一致。有了MCU2的开始位置，就可通过解码检测出一个宏块的数据尾端的代码(EOB)，便可确定MCU2的结束位置。而且，若检测出定界符，则可由填充位的位数确定MCU2的结束位置。 

在步骤S22，对MCU3的DC分量进行解码。MCU3的DC分量是以其绝对值编码后的数据传输的，所以解码之后即可得到DC分量。然后，算出预先记录的MCU2的DC分量和MCU3解码后的DC分量之间的差值，对该差值进行霍夫曼(Huffman)编码，得到新的MCU3的DC分量的编码数据。 

在步骤S24，从新的开始位置a起放置MCU3。于是，删除填充位和定界符。配置在MCU3的DC分量的编码数据，是将差值编码后的数据，因而，与原先***的DC分量的编码数据(绝对值)在位长上不同。 

再有，如图20所示，第一方法也可适用于如下的情况：不***定界符而***填充位，而且设DC分量差值的预测值为0，亦即MCU3的DC分量编码数据是DC分量本身的值的编码数据，这时，配置在MCU3的DC分量的编码数据设为差值编码的数据。另外，对于不***定界符的例，同样可采用以下描述的第二方法和第三方法。 

图21表示定界符删除处理的第二方法。第二方法中，在编码时MCUX开始位置b被与传送或记录的数据相关联地记录或保存。但是，与第一方法不同，不记录MCU2的DC分量。MCUX是配置在填充位前面的虚拟的最小编码单位。MCUX最好是对只由预定像素值的DC组成的宏块进行JPEG编码后得到的最小编码单位。例如，用整面黑色的图像使DC分量的值设为0。作为另一例，也可以使用亮度数据Y、两个色差数据Cr，Cb的数值全部为0的数据。 

在步骤S31，得到与MCUX的开始位置一致的MCU3的新开始位置b。接着，在步骤S32，对MCUX的DC分量与MCU3的DC分量进行解码。由于与MCUX的DC分量对应的编码数据是下列差值的编码数据，与MCUX的DC分量对应的编码数据被解码后的数值是MCU2的DC分量。因此，没有必要进行差值运算。 

对应于MCUX的DC分量的编码数据＝(MCUX的DC分量(例如为0)-MCU2的DC分量)的编码数据 

在步骤S33，解码后得到的MCUX的DC分量，亦即如上所述，求出-(MCU2的DC分量)与MCU3的DC分量的差值，对差值进行编码，得到新的MCU3的DC分量的编码数据。在步骤S34，从新的开始位置b起放置MCU3及其以后的数据。接着，删除填充位和定界符。 

图22表示删除定界符的处理的第三方法。第三方法中，可以无需对DC分量的编码数据进行解码。另外，由于进行将MCU4放置在MCU3之后的处理，所以数据处理可简化。 

按第三方法，编码时，将MCU3的开始位置或结束位置，或将填充位位数与被传送或记录数据相关联地进行记录或保存。此外，在所传送或记录的数据中，将MCU3***在MCU2之后，与此同时将MCU3’紧接定界符之后***。MCU3的DC分量的编码数据，是前面的MCU2的DC分量与MCU3的DC分量的差值被编码后的数据。与此不同，MCU3’的DC分量的编码数据，紧接定界符后面配置，所以DC分量为其本身的值。 

在步骤S41，使用MCU3的开始位置或结束位置，或者填充位位数等信息，计算MCU4新的开始位置c。MCU3的结束位置和MCU4的开始位置c是一致的。也可以从MCU3的开始位置起开始解码，将检测出EOB的位置，作为MCU3的结束位置捡出。并且，由于判定了定界符的位置，也可以利用填充位的位数来求出位置c。在步骤S42，在MCU3之后，从新的开始位置起放置MCU4及其后的MCU。 

图19所示的第一方法或图22所示的第三方法，都需要记录填充位数。图23A及图23B表示在流中记录填充位位数的方法。图23A所示，如上所述，定界符被确定为H’FFDx(H’是表示十六进制的标记)。x是定界符的次数除8的余数值。 

该x值取0至7。因此，在图23B中，如填充位的位数为5的例所示，可以作为x值将填充位的位数记录在流中。该处理制作违反标准的流，但是，如上所述，由于删除了定界符，在向外部输出的流中不包含定界符，所以不成问题。 

图24A、图24B和图24C表示在JPEG数据流的生成中，在重排处理中，便于确定各重排单位的开始位置的处理。图24A表示JPEG数据一例及其数据重排后的数据。对应于各块图像数据的JPEG数据，由于是长度可变，存在重排时难以确定开始位置的问题。图24B表示对应的原图像的块的配置。在对重排后的JPEG数据作了解码时，可得到图24B所示的图像。 

如图24C所示，通过形成空存储区，在存储器储存的JPEG数据的第一、第三、第五的各自数据块的开始位置，都按预定的间隔L确定位置。进行重新排处理时，若确定了第三及第五各数据块的开始位置，则重排处理便可以简单而高速地进行。第四及第六数据块的开始位置，可以一边重排一边判定。再有，由于空区域是可以不写入的区域，在空区域中可存在任何数据。 

图25表示考虑生成缩小图像(所谓thumbnail)的结构例。在图像存储器51中，存入处理对象的图像。例如存在具有重叠部分的两个区域。在图像存储器51后面设有图像处理部52。在图像处理部52中，如上所述，进行图像尺寸变更、色差修正、畸变修正等处理。 

图像处理部52处理后输出图像数据的顺序，与JPEG正规的处理方向不同。不改变顺序，将处理后的数据提供给编码部53，例如在编码部53进行JPEG编码。得到从编码部53输出的顺序与正规方向不同的编码图像54。 

编码图像54在重排部55中进行处理，进行JPEG数据的重排。从代码重排部55向外部存储器56输出其处理方向成为正规的JPEG数据，并加以储存。在外部存储器56中，存入正规处理方向的顺序的JPEG数据。因此，用根据标准构成的解码器对该JPEG数据进行解码，可正确地恢复图像。 

在图示的例中，图像被分割为两个有重叠的图像部分，输入图像处理部52，使之能够进行图像的缩小处理。处理的结果中存在重叠部分。对编码部53传送删除了重叠部分的图像。为了生成缩小图像，从图像处理部52的输出侧取出编码前的数据，提供给缩小部57。在这种情况下，不删除重叠部分，对缩小处理，必须使用例如内插滤波器的滤波。缩小部57分别缩小两个区域，生成缩小图像58。用图24A、图24B和图24C的结构，从图像存储器51读出一次图像，既可以编码，又可以生成缩小图像。 

图26表示用一个编码部同时对多个，例如两个图像61a和61b进行编码处理。以6分割各图像而形成的块为单位，进行JPEG编码。在JPEG编码时，各图像的块被交替地编码，得到编码数据62。编码数据62的对应图像，表示为图像63。 

对编码数据62进行重排。如对应图像65a和65b所示，以块为单位进行重排和图像分离，使其顺序与原图像块的顺序一致。形成重排和分离后的编码数据64a和64b。图26的结构，在编码部的处理比前级的图像处理部的处理速度快的场合，或者同时制作多个尺寸小的图像的场合等是有用的。 

用一个编码部66同时对两个图像61a和61b进行编码的场合，如图27所示，编码特性，例如，可使量化特性成为不同。对于图像61a，用斜线示出的量化表67a，对于图像61b，使用量化表67b。从编码部66得到JPEG数据68。也可使之与霍夫曼(Huffman)表。 

图28表示用两个处理部件(图像处理部及编码部)处理1个图像的示例。在这里说明的例中，由于图像处理部74a和74b需要重叠 部分，所以在图像分割部72中，将一个图像71分割为图像73a和73b，使之具有预定宽度的重叠部分。无需重叠部分时，就不必使之重叠。 

图像分割部72输出的分割图像73a和73b分别提供给图像处理部74a和74b。图像处理部74a和74b输出分别与分割图像73a和73b对应的处理结果图像75a和75b。处理结果图像75a和75b没有重叠部分。 

处理结果图像75a和75b，如图29所示，以块为单位，按A1，A2，A3，A4，B1，B2，B3，B4的顺序，分别输出到编码部。各编码部保持从图像处理部输入的顺序进行编码。从各编码部分别得到JPEG数据76a和76b。如对应的图像77a和77b所示，其顺序不是正规顺序。 

重排部将JPEG数据76a和76b合成为一个JPEG数据，同时进行重排。如对应的图像79和80所示，变为与原图像的块顺序一致的顺序，而且以块为单位进行重排，使两个图像按照与原图像相同的配置关系进行合成。对应图像79是按照编码前格式的图像，对应图像80是按照图像处理后格式的图像。再有，在重排中，可以按照上述方法删除定界符，也可以留下定界符。 

图28和图29的结构或处理，在图像处理部单个处理性能不足的场合，也可以通过使用多个图像处理部来提高处理性能。在此例中，图像是左右分割的，但也可为上下分割或上下左右分割。 

接着，说明将本发明应用于图像旋转处理和重排处理分阶段进行的情况的实施例。首先说明图像旋转、倒转处理中重排的定义。 

所谓90度旋转，定义为将下述的n行m列的矩阵A重排为满足b_ij＝a(n+1-j)i的m行n列的矩阵B。矩阵A和B的各元素对应于图像的一个像素，或者由多个像素组成的块。 

所谓180度旋转，定义为将上述的n行m列的矩阵A重排为满足b_ij＝a(n+1-i)(m+1-j)的m行n列的矩阵B。 

所谓270度旋转，定义为从上述的n行m列的矩阵A重排为满足b_ij＝aj(m+1-i)的m行n列的矩阵B。 

所谓左右倒转，定义为从上述的n行m列的矩阵A重排为满足b_ij＝ai(m+1-j)的m行n列的矩阵B。 

所谓上下倒转，定义为从上述的n行m列的矩阵A重排为满足b_ij＝a(n+1-i)j的m行n列的矩阵B。 

现参照图30就图像旋转处理，图像旋转180度，亦即上下左右 倒转处理的一例进行说明。原图像81由4个图像处理块组成，各图像处理块由4个编码块组成。例如，A1，A2，A3，A4，...分别表示编码块，A1～A4构成一个图像处理块。同样，B1～B4，C1～C4，D1～D4分别构成图像处理块。 

作为第一阶段的处理，在原图像81的各个处理块内，进行180度旋转，形成图像82。例如，在由编码块A1～A4组成的图像处理块中，位于对角位置上的两个编码块A1和A4以及A2和A3对调位置，图像位置上下左右地对调。这样的重排处理，可以通过将原图像81存入存储器，控制从存储器读出图像81时的地址来实现。另外，可以在图像处理的同时进行重排处理。 

在图像处理块内，接受了旋转处理的图像82，逐个图像处理块地(A4，A3，A2，A1，C4，C3，....)输入到编码部，进行JPEG编码处理，发生JPEG数据83。图像84，表示与JPEG数据83的数据的顺序对应的图像。 

由于对应图像84与图像82不同，故作为第二阶段的处理，将JPEG数据83重排为正规编码顺序，得到JPEG数据85。对应图像86，具有与图像82相同的数据配置，但不是上下左右倒转的图像。 

因此，作为第三阶段的处理，以图像处理块为单位进行代码重排，使之变为上下左右倒转的图像，得到JPEG数据87。亦即，将图像处理块看作是上述旋转定义中的矩阵的一个元素。JPEG数据87，在按照正规编码顺序而排列的场合，如对应图像88所示，得到将原图像81上下左右倒转后的图像。 

图31表示将图像上下左右倒转处理的另一例。原图像91与图30中的原图像81相同。作为第一阶段的处理，在编码块内，进行上下左右倒转，形成处理结果的图像92。第一阶段的处理与图像处理同时进行。 

处理结果的图像92在编码部中编码，得到JPEG数据93。图像94表示对应于JPEG数据93的数据顺序的图像。由于图像94与图 像92不同，作为第二阶段的处理，将JPEG数据93重排到正规编码顺序，得到JPEG数据95。对应图像96，具有与图像92相同的数据配置，但不是上下左右倒转的图像。 

因此，作为第三阶段的处理，以编码块为单位进行代码重排，变为上下左右倒转后的图像，得到JPEG数据97。亦即，将编码块看作是上述旋转定义中的矩阵的一个元素。在JPEG数据97按照正规编码顺序而配置的场合，如对应图像97所示，得到了将原图像91上下左右倒转的图像。 

再有，已经就180度旋转的例作了具体的说明，但是同样也可以进行90度旋转、上下倒转等其他处理。 

如上所述，就重排后的编码数据进行解码的情况作了说明。图32表示解码时不进行重排时的处理。按(1→4→2→5→3→6)的顺序对原图像101进行图像处理，按照正规的JPEG编码顺序(1→2→3→4→5→6)对处理结果图像进行编码，得到JPEG数据102。对JPEG数据102不进行重排而传送到解码侧。 

在解码侧，按输出顺序对解码图像103进行图像处理。结果是，得到解码图像104。产生解码图像104与原图像101不一致的问题。 

图33说明在解码侧采用本发明的处理。从编码侧接收JPEG数据106。图像105是JPEG数据106的对应图像。对JPEG数据106进行重排。进行与在编码侧进行的重排处理反方向的处理，得到JPEG数据107。亦即，在解码侧的重排，是将编码方法规定的正规处理方向到图像处理块的处理方向的代码重排。图像108是JPEG数据107的对应图像。 

JPEG数据107被输出到解码部，得到解码图像109。解码图像109的块以(1→2→3→4→5→6)的顺序输出。按输出顺序进行图像处理，得到处理结果图像110。处理结果图像110与原图像(与图像105相同的排列)一致。 

在解码时的重排处理中，对预先***了定界符的代码进行重排 而解码。在没有定界符的场合，必须在重排之前进行***定界符的处理。与编码时一样，在解码时还可以进行上下左右倒转、旋转等处理。 

以上就本发明的实施例作了具体说明，但是本发明不限于上述实施例，可基于本发明的技术思想有各种各样的改变。例如，不限于数码相机，本发明可应用于设有JPEG或MPEG编码装置的图像记录装置、个人计算机、PDA(个人数字助理)、图像传送装置、便携终端、便携式电话等。 

Claims (11)

1.一种图像处理装置，具备

图像处理部，将原图像分割成多个图像处理单元，对每一上述图像处理单元进行处理；

编码部，被供给上述图像处理部的输出，按照从上述图像处理部输出的数据顺序按每一最小编码单位进行编码；以及

重排部，在上述图像处理部的处理方向与上述编码部的编码方法规定的正规处理方向不同时，将上述编码部输出的编码数据重排到编码部的编码方法规定的正规处理方向以得到与上述原图像对应的解码图像，

上述重排部对应于从上述图像处理部输出的上述图像处理单元，并且以将连续的整数个的上述最小编码单位构成的数据单位进行编码后的编码数据单位进行上述编码数据的重排。

2.权利要求1的图像处理装置，其中：

上述数据单位的横宽有多个种类，所述多个种类横宽的合计与上述原图像的横宽一致。

3.权利要求1的图像处理装置，其中：

所述图像处理部输出的上述图像处理单元，其长度和宽度均为所述编码部的上述最小编码单位的整倍数。

4.权利要求1的图像处理装置，其中：

所述编码部是进行数据压缩和可变长编码的编码器，在将上述数据单位编码后的上述编码数据单位的每一个中***具有预先规定的值的定界符。

5.权利要求4的图像处理装置，其中：

所述编码部，在所述定界符之后，输出将上述数据单位编码后的编码数据单位之外的其他的上述编码数据单位。

6.权利要求4的图像处理装置，其中：

所述重排部改写所述定界符的值。

7.权利要求4的图像处理装置，其中：

所述编码部是JPEG编码器，所述重排部删除定界符并改变跟随其后的宏块的DC系数符号。

8.权利要求1的图像处理装置，其中：

将所述图像处理部的图像处理单元视为一个图像进行编码，从而生成多个编码数据，将上述数据单位的上述编码数据读出，并重排所读出的所述编码数据。

9.权利要求8的图像处理装置，其中：

所述多个编码数据的开始位置设定为等间隔的存储器地址。

10.一种图像处理方法，具备

图像处理步骤，将原图像分割成多个图像处理单元，对每一上述图像处理单元进行处理；

编码步骤，被供给上述图像处理步骤的输出，按照从上述图像处理步骤输出的数据顺序按每一最小编码单位进行编码；以及

重排步骤，在上述图像处理步骤的处理方向与由上述编码步骤的编码方法规定的正规处理方向不同时，将上述编码步骤生成的编码数据重排到所述编码规定的正规处理方向以得到与上述原图像对应的解码图像，

上述重排步骤对应于从上述图像处理步骤供给的上述图像处理单元，并且以将连续的整数个的上述最小编码单位构成的数据单位进行编码后的编码数据单位进行上述编码数据的重排。

11.一种摄像装置，其中包括：

图像处理部，将用摄像元件拍摄的原图像分割成多个图像处理单元，对每一上述图像处理单元进行处理；

编码部，被供给上述图像处理部的输出，按照从上述图像处理部输出的数据顺序按每一最小编码单位进行编码；以及

重排部，在上述图像处理部的处理方向与由上述编码部的编码方法规定的正规处理方向不同时，将上述编码部输出的编码数据重排到编码部的编码方法规定的正规处理方向以得到与上述原图像对应的解码图像，

上述重排部对应于从上述图像处理部输出的上述图像处理单元，并且以将连续的整数个的上述最小编码单位构成的数据单位进行编码后的编码数据单位进行上述编码数据的重排。

Images