CN102104783A - 图像处理装置、图像处理方法和图像拍摄装置 - Google Patents

Abstract

本发明提供了图像处理装置、图像处理方法和图像拍摄装置。这里公开了一种图像处理装置，其包括子带分割部件，该子带分割部件被配置为对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割。

Description

图像处理装置、图像处理方法和图像拍摄装置

技术领域

本发明涉及例如适用于对从各种布置体系的图像拍摄元件获得的RAW数据(原始数据)进行高效压缩编码的图像处理装置、图像处理方法和图像拍摄装置。

背景技术

使用拜耳布置(Bayer arrangement)的图像拍摄元件的图像拍摄装置在过去一般是已知的。这种图像拍摄元件经由滤色器(color filter)捕捉对象的图像光，并且输出根据图像光的强度的图像信号。然后，后续处理部件使图像信号经历预定的处理，从而图像拍摄装置可以在取景器或外部显示装置上显示图像。

日本专利早期公开No.2002-247376(以下称之为专利文献1)描述了通过JPEG(联合图片专家组)等等直接对从拜耳布置的图像拍摄元件获得的RAW数据(颜色插值(color interpolation)之前的图像数据)的压缩。

日本专利早期公开No.2003-125209(以下称之为专利文献2)描述了用于对G1、G2、R和B的每个分量分别执行图像压缩的技术以及使用小波压缩的具体示例，作为用于对从拜耳布置的图像拍摄元件获得的RAW数据进行压缩的方法。

发明内容

过去，绿色像素的像素位置在水平方向和垂直方向上是交替(alternately)相互偏离(shift)的。从而，绿色像素被分割成G1和G2两个分量以使得像素位置不相互偏离，然后被压缩。此压缩是在原本其间具有作为一个图像的强相关性的像素通过亚采样(sub-sample)被分离成单独的图片之后执行的。从而，经分离的图像之间的相关性无法被使用，并且压缩效率降低。

尤其是小波变换能够通过对整个图片的子带分割(subband division)来实现很高的压缩效率。然而，现有的体系将整个图片分割成单独的图片，从而没有运用小波变换的本来很高的压缩效率。

此外，通过利用小波变换重复子带分割，可从一个压缩码(compression code)获得不同分辨率的图像。例如，当利用专利文献2中描述的技术在取景器等等上显示分辨率为某一图像的一定分辨率的一半的图像时，只使用分割出的两个绿色图像之中的一个。在此情况下，执行简单的“像素离散缩减(pixel discrete reduction)”，并且取景器上显示的图像例如受到混叠噪声(aliasing noise)的影响。从而，无法充分地享受到使用小波变换的优点。

此外，现有的技术涉及一种对从拜耳布置的图像拍摄元件获得的RAW数据进行压缩的方法，但不涉及用于对从双倍密度拜耳布置的图像拍摄元件或者具有在倾斜方向上布置的像素的三板(three-panel)图像拍摄元件***获得的RAW数据进行压缩的技术。

从而，对于图像拍摄元件的不同像素布置需要使用不同的压缩体系，而不能共享硬件。

此外，专利文献1公开了一种用于在不进行到RGB(红绿蓝)全像素(RGB full pixel)的颜色分离的情况下执行压缩和记录的技术。此技术直接压缩图像数据，而不会由于颜色分离而增大数据率，从而具有能够控制数据率的优点。然而，关于如何压缩图像数据的细节是不清楚的。如果图像数据在拜耳布置中照字面那样直接作为一个图像被压缩，则每个RGB像素的电平在许多自然图像中是不同的。于是，因为相邻像素被不同地描绘成RGB，所以出现很大的高频分量，并且压缩效率不会提高。换言之，将预期到很高的压缩噪声。

希望对从如下一种像素布置的图像拍摄元件获得的RAW数据执行高效的压缩编码：在所述像素布置中，三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上是交替相互偏离的。

本发明对从其中三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的其像素位置交替相互偏离的那种颜色的图像数据执行子带分割。此子带分割是以相邻的上下两行的像素或者相邻的左右两列的像素为单位来执行的。

根据本发明的实施例，即使当像素位置在水平或垂直方向上交替相互偏离时，也以相邻的上下两行的像素或者相邻的左右两列的像素为单位执行子带分割。从而，通过在像素位置保持相互偏离的情况下执行压缩编码，可以执行高效的压缩编码。

根据本发明的实施例，可以对从如下一种像素布置的图像拍摄元件获得的图像数据(RAW数据)执行高效的压缩编码：在所述像素布置中，三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上是交替相互偏离的。

附图说明

图1是示出根据本发明实施例的图像拍摄装置的示图；

图2是示出图像拍摄元件的像素布置的示例的示图；

图3是压缩编码时压缩和解压缩处理部件的框图；

图4是示出小波变换的分割级别的示图；

图5A和5B是示出小波变换的分割级别的示图；

图6是压缩解码时压缩和解压缩处理部件的框图；

图7A、7B和7C是现有技术的示图；

图8A、8B、8C和8D是现有技术被应用到双倍密度拜耳布置的示图；

图9是小波变换时压缩和解压缩I/F(接口)部件的处理的示图；

图10是逆变换时压缩和解压缩I/F部件的处理的示图；

图11A、11B、11C和11D是针对双倍密度拜耳布置的压缩和解压缩I/F部件的小波变换处理的示图；

图12A、12B、12C和12D是针对双倍密度拜耳布置的压缩和解压缩I/F部件的小波变换处理的另一示例的示图；

图13A、13B、13C和13D是示出小波变换后的子带图像的像素重心位置的示图；

图14A、14B、14C和14D是针对倾斜布置三板体系(oblique arrangement three-panel system)的压缩和解压缩I/F部件的小波变换处理的示图；

图15A、15B、15C和15D是针对拜耳布置的压缩和解压缩I/F部件的小波变换处理的示图；

图16是示出针对各种像素布置的压缩和解压缩I/F部件的输出的示图；

图17是针对RGB全像素体系的压缩和解压缩I/F部件的小波变换时的具体处理的示图；

图18是针对RGB全像素体系的压缩和解压缩I/F部件的逆变换时的具体处理的示图；

图19是针对双倍密度拜耳布置的压缩和解压缩I/F部件的小波变换时的具体处理的示图；

图20是针对双倍密度拜耳布置的压缩和解压缩I/F部件的逆变换时的具体处理的示图；

图21是针对倾斜布置三板体系的压缩和解压缩I/F部件的小波变换时的具体处理的示图；

图22是针对倾斜布置三板体系的压缩和解压缩I/F部件的逆变换时的具体处理的示图；

图23是针对拜耳布置的压缩和解压缩I/F部件的小波变换时的具体处理的示图；

图24是针对拜耳布置的压缩和解压缩I/F部件的逆变换时的具体处理的示图；

图25A、25B、25C和25D是示出压缩和解压缩I/F部件针对双倍密度拜耳布置执行哈尔变换(Haar transform)的示例的示图；

图26A、26B、26C和26D是示出压缩和解压缩I/F部件针对倾斜布置三板体系执行哈尔变换的示例的示图；并且

图27A、27B、27C和27D是示出压缩和解压缩I/F部件针对拜耳布置执行哈尔变换的示例的示图。

具体实施方式

下面将描述实现本发明的最佳模式(以下该最佳模式将被称为实施例)。另外，将按以下顺序进行描述。

1.第一实施例(压缩编码或解码的控制：使用小波变换的示例)

2.第二实施例(压缩编码或解码的控制：使用哈尔变换的示例)

3.修改的示例

<1.第一实施例>

[利用小波变换对图像进行压缩编码或解码的示例]

下面将参考图1至24来描述本发明的第一实施例。

在以下实施例中，将对应用到图像拍摄装置10的示例进行描述，图像拍摄装置10对从没有RGB全像素的、拜耳布置的图像拍摄元件、没有RGB全像素的、双倍密度拜耳布置的图像拍摄元件、或者没有RGB全像素的、使用具有在倾斜方向上布置的像素的三个图像拍摄元件的图像拍摄***获得的任何RAW数据中的三个R/G/B分量中的每一个进行高效的压缩编码。包括RGB像素的要素的三个分量信号在下文中将被简称为“三个R/G/B分量”。

即使当因为缺乏真实像素而造成像素位置在水平方向或垂直方向上交替相互偏离时，根据本示例的图像拍摄装置10也可以通过在像素位置保持相互偏离的情况下执行压缩编码，从而实现压缩编码而不降低压缩效率。

在此情况下，其中像素位置在水平方向或垂直方向上交替相互偏离的离散缩减图像通过与小波变换相结合而被取平均。从而，具有一半分辨率的缩减子带图像成为了具有RGB全像素的图像。

即，执行通过小波变换进行的简单的所谓颜色分离(去拜耳化(De-Bayer))处理，并且可以在图中未示出的监视器上进行显示，该监视器设置在图像拍摄装置10中。这是因为当使用小波变换时，可从相同的图像数据获得不同分辨率的图像。即使从需要诸如拜耳颜色分离之类的颜色分离的图像拍摄元件获得的RAW数据也经历了小波变换，从而可以很容易被显示在监视器等等上。

当从RGB全像素的图像拍摄元件获得的图像被进行小波变换时，RGB中的每一个被子带分割成四个图像，并且该图像被分解成RGB的总共12个子带图像。当使用根据本示例的压缩编码方法时，可将RAW数据视为小波变换后的子带图像的数目上的差异。例如，从拜耳布置获得的RAW数据可被视为四个子带图像，从双倍密度拜耳布置获得的RAW数据可被视为八个子带图像，从具有在倾斜方向上布置的像素的三板图像拍摄元件***获得的RAW数据可被视为六个子带图像。从而，小波变换后的压缩编码处理可以作为共用的处理而实现。

此外，诸如4K图像之类的高分辨率图像具有大量数据要处理，因此在执行实时处理时将需要某些并行处理。然而，通过使用根据本示例的压缩编码方法，如上所述可将诸如4K图像之类的高分辨率图像视为子带图像的数目上的差异。从而，可以相互并行地操作必要数目的处理块，来作为图像被进行子带分割后的处理，并且操作速度可以按与并行度相对应的量降低。此外，如后所述，不仅是使用小波变换，对于简单的硬件使用哈尔变换也可获得相同的效果。另外，4K表示高分辨率的规格的示例，例如4096样本×2160行。2K表示比4K低的分辨率的规格的示例，例如2048样本×1080行。

图1示出了处理4K图像和2K图像的图像拍摄装置10的示例。

图像拍摄装置10是能够根据本发明实施例进行图像压缩/解码的图像拍摄装置的示例。

镜头块101控制光圈和变焦，并且在图像拍摄元件部件102上形成光学图像。

图像拍摄元件部件102把从镜头块101输入的光学图像转换成数字视频信号，并且输出记录RAW数据(D102)。在本示例中，可以针对作为图像拍摄元件的具有如图2所示的像素布置的任何图像拍摄元件进行设置。

<RGB全像素体系>

·利用光学棱镜将光分离成RGB的RGB三板体系

·如下结构的单板体系：在传感器深度方向上具有光波长敏感性

·像液晶电视中那样一个像素被不同地描绘成三个RGB条带的单板体系

<双倍密度拜耳布置>

通常的拜耳布置的像素密度被加倍，并且被45°倾斜部署。从而，对于G获得全像素，而R像素和B像素是按在倾斜方向上间隔开的像素布置来布置的(图2中的粗框指示通常的拜耳布置中的像素)。

<倾斜布置三板体系>

·作为一个图像拍摄元件，具有45°倾斜布置的像素并且假定在水平方向或垂直方向上相邻的两个像素或四个像素之间执行像素插值以插值出图2中的粗框(通常拜耳布置中的像素)中的虚线圆圈所指示的像素的像素布置。

·结合光学棱镜，利用三个图像拍摄元件执行图像拍摄的***。

·或者具有上述像素布置并且具有在传感器的深度方向上有光波长敏感性这样一种结构的单板体系。

<拜耳布置>

·所谓的通常拜耳布置

相机信号处理部件103对拜耳布置等的图像拍摄元件部件102输出的记录RAW数据(D102)和从记录介质部件108读取的、经历了下述解压缩处理的再现RAW数据(D105)执行预定的处理。具体而言，相机信号处理部件103创建RGB全4K图像(所谓的颜色分离)以使得该RGB全4K图像可被确认为一个图像，针对白平衡、亮度等等进行相机图像调整，并且将记录和再现4K图像(D103)输出到监视器输出部件104。

监视器输出部件104将4K图像的视频信号输出到外部4K监视器等等。

压缩和解压缩I/F部件105通过小波变换把来自拜耳布置等的图像拍摄元件的记录RAW数据(D102)分解成2K频带(2K band)的子带图像。压缩和解压缩I/F部件105充当子带分割部件，用于使从其中三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的、其像素位置交替相互偏离的那种颜色的图像数据经历以相邻的上下两行的像素或者相邻的左右两列的像素为单位的子带分割。

压缩和解压缩I/F部件105以相邻的上下两行为单位扫描其像素位置交替相互偏离的那种颜色的图像数据的像素，并且在水平方向上执行小波变换。或者，压缩和解压缩I/F部件105以相邻的左右两列为单位扫描其像素位置交替相互偏离的那种颜色的图像数据的像素，并且在垂直方向上执行小波变换。

在本示例中，压缩和解压缩I/F部件105输出以下子带图像。

在水平方向和垂直方向上都为低频分量的2K频带的子带图像被输出作为D105-LL。

在水平方向上为高频分量并且在垂直方向上为低频分量的2K频带的子带图像被输出作为D105-HL。

在水平方向上为低频分量并且在垂直方向上为高频分量的2K频带的子带图像被输出作为D105-LH。

在水平方向和垂直方向上都为高频分量的2K频带的子带图像被输出作为D105-HH。

取决于图像拍摄元件部件102的像素布置，存在这样的情况，即不是对于RGB中的每一个都将2K频带的子带图像HL/LH/HH全部输出，而是不输出一些子带图像。将单独描述其细节。

此外，从记录介质部件108中读取的经历了解压缩处理的2K频带的子带图像(D105-LL/HL/LH/HH)经历逆小波变换，然后被输出作为再现RAW数据(D105)。对此也将单独详细描述。

压缩和解压缩处理部件106利用压缩编码体系对2K频带的子带图像(D105-LL/HL/LH/HH)中的每一个进行图像压缩，并且输出经压缩的子带图像作为相应的码流(D106-LL/HL/LH/HH)。因为压缩和解压缩I/F部件105使用小波变换，所以最好压缩和解压缩处理部件106采用使用同样的小波变换的JPEG2000等等。然而，压缩和解压缩处理部件106也可使用其他的现有图像压缩体系。

此外，压缩和解压缩处理部件106对记录在记录介质部件108中的每条子带图像压缩数据进行解压缩，并且输出经解压缩的数据作为2K频带的再现子带图像(D105-LL/HL/LH/HH)。此时，压缩和解压缩处理部件106充当压缩编码部件，用于在压缩和解压缩I/F部件105所分割的每个频带中和三种原色的每一种中并行地对从压缩和解压缩I/F部件105输出的图像数据进行压缩编码。

记录介质接口部件107对记录介质进行快速访问，并且作为接口来读取和写入经压缩的图像数据。

记录介质部件108是用于记录和再现经压缩的图像数据的记录介质。诸如闪存之类的非易失性存储器被应用到记录介质部件108。

取景器信号处理部件109是用于将输入图像作为显示信号输出以便在显示***上显示的显示信号输出部件的示例。2K频带的子带图像之中的子带图像D105-LL是在水平方向和垂直方向上都为低频的子带图像，因此可以作为2K大小的RGB全图像而被监视。这样，可以像相机信号处理部件103中那样在2K中进行针对白平衡、亮度等等的相机图像调整。另外，取景器信号处理部件109生成用于拍摄的设定信息，执行用于帮助聚焦的峰化处理等等，并且将记录和再现2K图像(D109)输出到取景器部件110。

取景器部件110显示来自取景器信号处理部件109的记录和再现2K图像(D109)。

***控制部件111具有控制软件程序，并且根据该程序来控制整个图像拍摄装置10。此外，响应于来自操作部件112的输入，***控制部件111将每个块连接到总线，交换数据，并且控制用于拍摄的设定和状态。

操作部件112接收对图像拍摄装置10的操作，并且将该操作以电信号的形式发送到***控制部件111。

如前所述，压缩和解压缩I/F部件105使用小波变换。从而，首先将描述利用同样的小波变换执行压缩和解压缩的压缩和解压缩处理部件106。

图3是压缩编码时压缩和解压缩处理部件106的详细框图。

小波变换部件32使2K频带的子带图像D105-LL经历小波变换，然后输出小波变换系数D32-LL。

小波变换部件32一般是用包括低通滤波器和高通滤波器的滤波器组实现的。另外，数字滤波器一般具有多个抽头的长度的冲击响应(滤波器系数)，从而需要预先缓冲足够用于执行滤波的输入图像或系数。另外，在分多级执行小波变换的情况下，需要预先缓冲前一级中生成的小波变换系数，这些系数是执行滤波所必需的。

下面将描述通过小波变换生成的子带图像。

图4示出了子带图像的示例。一般地，在此小波变换中，如图4所示，低频分量被反复地变换和分割。这是因为图像的能量大多集中在低频分量中。从以下事实也可明确这一点：随着分割级别从图5A所示的分割级别＝1前进到图5B所示的分割级别＝3，形成了子带图像。

图4中的小波变换的分割级别是3，并且作为小波变换的结果形成了总共10个子带图像。在此情况下，图4中的L和H分别表示低频和高频，并且L或H前面的数字指示分割级别。具体而言，例如，1LH表示处于分割级别＝1的子带图像，该子带图像在水平方向上具有低频并且在垂直方向上具有高频。

将返回对图3的描述。小波变换系数D32-LL接下来被量化部件33所量化。然后经量化的系数D33-LL被输出。对于此情况中的量化部件，使用标量量化即可，在JPEG2000中也用的是标量量化。如以下的(式1)中所示，把通过将小波变换系数W除以量化步长Δ而获得的值设定为量化系数q的值即可。

q＝W/A    …(式1)

量化步长Δ37-LL是从下文中将描述的码量测量部件37提供的。

量化系数D33-LL接下来被输出到熵编码部件35。熵编码部件35利用任意信息源压缩部件对量化系数D33-LL进行压缩。只要采用常用的霍夫曼编码(MPEG和JPEG中采用的体系，该体系参考霍夫曼编码表来生成代码，该霍夫曼编码表是预先根据数据中出现的符号(symbol)的发生频率来创建的)或算术编码(H.264和JPEG2000中采用的体系)作为熵编码部件即可。另外，此时，虽然这里未详细描述，但是与JPEG2000中一样，量化系数可与作为以比特平面为单位的熵编码的EBCOT(具有最优截断的嵌入式块编码)相结合。

熵编码部件35编码的结果被输出作为经编码的码流D35-LL以成为压缩和解压缩处理部件106的输出D106-LL，并且还被输入到码量测量部件37。

码量测量部件37在累积一个帧内的经编码码流D35-LL的码量的同时，将一个帧内的经编码码流D35-LL的码量与从控制部件36提供来的目标码量D36-LL相比较。当一个帧内的经编码码流D35-LL的码量的累积可能超过目标码量时，码量测量部件37把用于量化部件33的量化步长D37-LL改变成大一级的大小。

相反，当一个帧内的经编码码流D35-LL的码量的累积可能小于目标码量时，码量测量部件37将用于量化部件33的量化步长D37-LL改变成小一级的大小。

以上是对压缩编码时压缩和解压缩处理部件106的操作的描述。然而，不仅2K频带的子带图像LL分量，而且HL分量、LH分量和HH分量都被输入到压缩和解压缩处理部件106。

小波变换部件32也可被用于HL/LH/HH分量，就像其用于LL分量那样，以提升分割级别。然而，在图3的示例中，在压缩和解压缩I/F部件105中已经执行了第一级别的小波变换。从而，根据利用图4所示的图像的能量大多集中于低频分量中这一属性的常见小波变换，采用仅对低频分量的子带图像D105-LL进行反复的变换和分割的模式。

另外，存在这样的情况，其中例如硬件可以以一个电路的形式实现从小波变换到熵编码的处理。在此情况下，对于利用相互并行的四个现有电路形成压缩和解压缩处理部件106没有施加限制，无需花费精力来开发不执行小波变换的新电路。

在图3的示例中，对于除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH，只执行量化和熵编码，并且不提升小波分割级别。

然后，除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH分别作为经编码的码流D35-HL、D35-LH和D35-HH而被输出。然后，经编码的码流D35-HL、D35-LH和D35-HH成为压缩和解压缩处理部件106的输出D106-HL、D106-LH和D106-HH。此外，码量测量部件37在累积一个帧内的各经编码码流的码量的同时，将一个帧内的各经编码码流的码量与从控制部件36提供来的目标码量D36-HL、D36-LH和D36-HH相比较。与LL分量一样，当一个帧内的各经编码码流的码量可能超过目标码量时，码量测量部件37把用于量化部件33的量化步长改变成大一级的大小。相反，当一个帧的各个经编码码流的码量的累积可能小于目标码量时，码量测量部件37将用于量化部件33的量化步长改变成小一级的大小。

各2K频带的子带图像的码量被如上所述地控制。

在以上描述中，控制部件36预先在各相应的码量测量部件37中为各2K频带的子带图像设定目标码量。然而，例如，关于码量累积状况的信息可从每个码量测量部件37发送到控制部件36，并且每个子带的目标码量可根据每个码量测量部件37的码量累积状况而适应性调节和改变。因为自然图像可包括大量的低频分量或相反地包括大量的高频分量，所以最优码量控制可根据图像的属性而执行。

以上是对压缩编码时的操作的描述。

接下来，图6是在压缩解码时压缩和解压缩处理部件106的详细框图，并且压缩解码时的操作将被描述。

被提供以经编码码流D106-LL、D106-HL、D106-LH和D106-HH的熵解码部件38根据参考图3描述的与熵编码相对应的部分执行解码。作为熵解码的结果，生成了量化系数D38-LL、D38-HL、D38-LH和D38-HH。

量化系数D38-LL、D38-HL、D38-LH和D38-HH在解量化部件39中被从量化系数D38-LL、D38-HL、D38-LH和D38-HH转换成小波变换系数D39-LL、D39-HL、D39-LH和D39-HH。此情况中的解量化部件执行作为(式1)的逆的操作，并且可由以下的(式2)来表达：

W＝q×Δ…(式2)

(W是小波变换系数，q是量化系数，并且Δ是量化步长Δ)。

小波变换系数D39-LL在逆小波变换部件40中被恢复成LL分量的2K频带的子带图像D105-LL。然后子带图像D105-LL被输出。

要明确的是，当除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH在编码时也经历小波重分割时，只要为每个子带提供逆小波变换部件40以用于将小波变换系数D39-HL、D39-LH和D39-HH恢复成各2K频带的子带图像即可。

以上是对压缩解码时的操作的描述。

下面将参考图7A至7C来总结现有的专利文献2中描述的技术的问题。

图7A示出了使用通常拜耳布置的4K拜耳RAW图像的示例。

虽然存在4K像素，但这4K像素如图7A所示在通常拜耳布置中被不同地描绘成RGB，并且只有与RGB滤色器相对应的光波长分量在各像素中被从光转换成电信号。在通常拜耳布置中，G被布置成棋盘格(格子旗)图案。

图7B示出了通过分离4K拜耳RAW图像的像素而获得的R像素、G1像素、G2像素和B像素这四种颜色分量的示例。

在专利文献2中描述的技术中，上述的4K拜尔RAW图像被视为R像素、G1像素、G2像素和B像素这四种颜色分量。

图7C示出了对于不同像素收集图7B所示的四种颜色分量的示例。

在专利文献2中描述的技术中，图7B所示的颜色分量中包括的像素被收集，以形成2K R图像、2K G1图像、2K G2图像以及2K B图像，并且2K R图像、2K G1图像、2K G2图像和2K B图像各自经历使用小波变换的压缩编码，然后被记录。

G1像素和G2像素原本在倾斜方向上是相邻的，并且已知G1像素和G2像素之间具有很高的相关性。然而，专利文献2中描述的技术花费精力来对G1图像和G2图像进行压缩编码，就好像G1图像和G2图像是两个独立图像(或两种颜色分量)那样，从而降低了压缩效率。虽然尤其是小波变换因为整个画面被转换成了子带而实现了高压缩效率，但是很难说现有技术与小波变换的组合可以享受到小波变换中固有的高压缩效率。

此外，如图7B所示，由于G1图像和G2图像的亚采样而导致的“离散缩减”被执行。从而，很明显，当只有G1图像或G2图像被显示在2K监视器上时，根据采样定理而发生混叠。从而，G1图像和G2图像都可用于通过信号处理而生成2K平均图像，并随后将2K平均图像显示在监视器上，但是必须两次访问2K的数据。然而，小波变换是子带分割，从而本质上就能够在只有2K低频分量被访问时使能监视器上的显示。从这个方面来看，也很难说专利文献2中描述的技术完全享受了小波变换的优点。

图8A至8D示出了现有技术被应用到双倍密度拜耳布置的示例。

在图8A中，通常拜耳布置的像素密度被加倍，并且像素被45°倾斜布置。

在此布置中，G图像是4K全像素的，R图像和B图像是倾斜间隔开的，但在水平方向和垂直方向上提供了4K分辨率。该布置的像素密度是通常拜耳布置的两倍，从而该布置在以下描述中将被称为“双倍密度拜耳布置”。

现在将考虑根据专利文献2中描述的技术对使用此双倍密度拜耳布置的4K RAW图像进行压缩的情况。在此情况下，与拜耳布置不同，对于G提供所有4K像素，而R图像和B图像是棋盘格图案的形式，如图8B所示。从而，如图8C所示，4K RAW图像被视为R1像素、R2像素、G像素(4K分辨率)、B1像素和B2像素这五种颜色分量。然后，如图8D所示收集像素，以形成2K R1图像、2K R2图像、4K G图像、2K B1图像和2K B2图像。每个图像经历使用小波变换的压缩编码，然后被记录。

虽然在拜耳布置中只有G图像经历了分离成两个画面的亚采样分离并随后被压缩，但在双倍密度拜耳布置中R图像和B图像都经历了到两个画面的亚采样分离。另外，在拜耳布置中，高像素密度的G图像被分离成两个画面，从而即使当G图像的压缩效率被降低时也原本具有高像素密度，并且可以与低像素密度的R图像和G图像的压缩图像质量获得平衡。

另一方面，在双倍密度拜耳布置中，低像素密度的R图像和B图像都进一步经历到两个画面的亚采样分离，从而具有低像素密度并且压缩效率也降低，并且与G图像的压缩图像质量的平衡进一步受到了妨害。

此外，如联系拜耳布置的G图像所述，当经亚采样的R图像和经亚采样的B图像被直接显示在2K监视器上时，恐怕会发生混叠。

另一方面，可以预期根据本示例的图像拍摄装置10将利用小波变换的固有特征、联系尤其是双倍密度拜耳布置中的R图像和B图像的RAW数据压缩，而提供一种巨大的改善。另外，从通常拜耳布置到RGB全像素的像素布置都可通过同一种方法来处理。

接下来将参考图9来描述压缩和解压缩I/F部件105的小波变换时的处理的示例。

压缩和解压缩I/F部件105在使用小波变换时可使其效果最大化。从而，虽然压缩和解压缩I/F部件105具有与压缩和解压缩处理部件106中的小波变换部件32相同的基本配置，但是将参考图9来重新描述压缩和解压缩I/F部件105的处理。

记录RAW数据D102作为压缩和解压缩I/F部件105的输入图像被输入。在此情况下，假定图2所示的4K RGB全像素被输入，4096×2160大小的三个R/G/B分量经历完全相同的处理。

首先，输入图像经历水平方向上的小波变换。该小波变换包括低通滤波器(LPF)和高通滤波器(HPF)，它们各自执行2∶1下采样(图9中由向下箭头和数字2指示)。结果，获得了水平方向上减半的2048×2160大小的低频子带图像(L)和高频子带图像(H)。

接下来，2048×2160低频子带图像(L)经历垂直方向上的小波变换。该小波变换经由低通滤波器(LPF)和高通滤波器(HPF)中的每一个执行2∶1下采样。作为此处理的结果，获得了垂直方向上减半的2048×1080大小的低频子带图像(L，L)D105-LL和高频子带图像(L，H)D105-LH。

此外，2048×2160高频子带图像(H)经历垂直方向上的小波变换。该小波变换经由低通滤波器(LPF)和高通滤波器(HPF)中的每一个执行2∶1下采样。作为此处理的结果，获得了垂直方向上减半的2048×1080大小的低频子带图像(H，L)D105-HL和高频子带图像(H，H)D105-HH。

如上所述，压缩和解压缩I/F部件105使4096×2160大小的三个R/G/B分量经历小波变换，并且获得以下三个分量：

·在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带图像(L，L)D105-LL是三个R/G/B分量

·在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带图像(L，H)D105-LH是三个R/G/B分量

·在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带图像(H，L)D105-HL是三个R/G/B分量

·在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带图像(H，H)D105-HH是三个R/G/B分量

从而，2048×1080大小的四种子带图像被转换成三个R/G/B分量的总共12个2048×1080大小的子带图像。

接下来将参考图10描述逆小波变换时压缩和解压缩I/F部件105的处理。

从记录介质部件108读取的、经历了解压缩处理的2048×1080大小的子带图像(D105-LL/HL/LH/HH)各自针对三个R/G/B分量而被输入，作为压缩和解压缩I/F部件105的输入图像。

在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带图像(L，L)D105-LL和在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带图像(L，H)D105-LH经历垂直方向上的逆小波变换。该逆小波变换使子带图像D105-LL经历1∶2上采样(图10中由向上箭头和数字2指示)，然后使子带图像D105-LL经过低通滤波器(LPF)，并且使子带图像D105-LH经历1∶2上采样，然后使子带图像D105-LH经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得垂直方向上加倍的2048×2160大小的低频子带图像(L)。

此外，在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带图像(H，L)D105-HL和在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带图像(H，H)D105-HH经历垂直方向上的逆小波变换。该逆小波变换使子带图像D105-HL经历1∶2上采样，然后使子带图像D105-HL经过低通滤波器(LPF)，并且使子带图像D105-HH经历1∶2上采样，然后使子带图像D105-HH经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得垂直方向上加倍的2048×2160大小的高频子带图像(H)。

接下来，由垂直方向上的逆小波变换产生的2048×2160大小的低频子带图像(L)和2048×2160大小的高频子带图像(H)经历水平方向上的逆小波变换。该逆小波变换使低频子带图像(L)经历1∶2上采样，然后使低频子带图像(L)经过低通滤波器(LPF)，并且使高频子带图像(H)经历1∶2上采样，然后使高频子带图像(H)经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得水平方向也加倍的4096×2160大小的再现RAW数据D105。

如上所述，逆小波变换时压缩和解压缩I/F部件105的处理是利用从记录介质部件108读取的、经历了解压缩处理的2048×1080大小的子带图像(D105-LL/HL/LH/HH)来执行的。在此处理中，利用针对三个R/G/B分量的子带图像，在垂直方向和水平方向上执行逆小波变换，从而将子带图像解码成4096×2160大小的三个R/G/B分量。

现在将参考图11A至11D来描述本示例中的压缩和解压缩I/F部件105如何针对图2所示的双倍密度拜耳布置执行处理。

图11A示出了如上所述通过使通常拜耳布置的像素密度加倍并且以45°倾斜地布置通常拜耳布置而形成的双倍密度拜耳布置。在双倍密度拜耳布置中，G图像是4K全像素，R图像和G图像是倾斜间隔开的，但在水平方向和垂直方向上提供4K分辨率。

此时，图像拍摄元件部件102具有双倍密度拜耳布置，这是通过使拜耳布置的像素密度加倍并且以45°倾斜地布置拜耳布置而获得的像素布置。

压缩和解压缩I/F部件105通过以相邻的上下两行为单位扫描像素并且执行水平方向上的小波变换，或者通过以相邻的左右两列为单位扫描像素并且执行垂直方向上的小波变换，来把从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和B图像数据分解成R和B子带图像。压缩和解压缩I/F部件105通过以一行的像素为单位执行水平方向上的小波变换并且以一列的像素为单位执行垂直方向上的小波变换，来把G图像数据分解成G子带图像。

具体而言，首先描述G，要明确的是，只要进行与参考图9描述的处理完全相同的处理即可，因为G图像具有4K全像素。

具体而言，压缩和解压缩I/F部件105如图11B所示使4096×2160大小的G图像经历水平方向上的小波变换。然后，如图11C所示获得水平方向上减半的2048×2160大小的低频子带G图像(L)和高频子带G图像(H)。以JPEG2000中定义的5×3可逆小波滤波器(对于低通侧的滤波器有五个抽头，对于高通侧的滤波器有三个抽头)为例，图中虚线所围绕的区域表示五抽头滤波器(低通侧的滤波器)所覆盖的像素范围，其中图中左端的像素(带有星形的像素)是该像素范围的中心。这是对水平方向上的每两个像素执行的，从而实现了2∶1下采样。关于细节，应参考JPEG2000标准等等。

接下来，水平方向上减半的2048×2160大小的低频子带G图像(L)和高频子带G图像(H)如图11C所示经历垂直方向上的小波变换。然后，获得以下子带图像，如图11D所示。

在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带G图像(LL)。

在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带G图像(LH)。

在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带G图像(HL)。

在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带G图像(HH)。

从而，形成4K双倍密度拜耳RAW图像的G图像被转换成四种2048×1080大小的子带G图像。

现在将考虑R图像和B图像。R图像和B图像是棋盘格图案的形式。因此，当使用参考图8A至8D描述的方法时，像素密度较低，并且压缩效率也降低，如上所述。从而，与G图像的压缩图像质量的平衡进一步受到妨害。

本示例中压缩和解压缩I/F部件105从而使R图像和B图像经历以相邻的上下两行为单位的小波变换。

具体而言，如图11B所示，压缩和解压缩I/F部件105以相邻的上下两行为单位，以W的形式扫描R图像的像素，并且就好像这些像素形成一行的像素数据那样执行小波变换。

此外，压缩和解压缩I/F部件105以相邻的上下两行为单位，以M的形式扫描B图像的像素，并且就好像这些像素形成一行的像素数据那样执行小波变换。

当相邻的上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，R图像和B图像可被视为4096×1080图像。

此4096×1080R图像经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带R图像；以及

经过了高通滤波器的2048×1080大小的子带R图像。

4096×1080B图像类似地经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带B图像；以及

经过了高通滤波器的2048×1080大小的子带B图像。

在已执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小相一致。从而，不在垂直方向上执行小波变换。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图11D中，以下描述用于与下文中描述的其他体系相区分，并且用于描述仅经历了水平方向上的小波变换的R图像和B图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(HL)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(HL)

虽然已经在假定压缩和解压缩I/F部件105以W的形式扫描R像素并且以M的形式扫描B像素的情况下进行了描述，但是要明确的是，当R像素和B像素的起始像素位置变得不同时，W形式和M形式被颠倒。

已经参考图11A至11D描述了通过对双倍密度拜耳布置的R图像和B图像以相邻的上下两行为单位执行小波变换来解决这些问题的方法。作为另一种方法，将参考图12A至12D来描述通过对双倍密度拜耳布置的R图像和B图像以相邻的左右两个像素为单位执行小波变换来解决这些问题的方法。

首先，对于G图像，因为G图像具有4K全像素，所以执行与参考图11A至11D描述的处理完全相同的处理，这里将省略。

虽然从图12A至12D明显可见，但仍将按顺序描述对双倍密度拜耳布置的R图像和B图像的处理。

此时，压缩和解压缩I/F部件105以相邻的左右两列为单位扫描从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和G图像数据的像素，并且执行垂直方向上的小波变换。然后，对于G图像数据，压缩和解压缩I/F部件105以一行的像素为单位执行水平方向上的小波变换并且以一列的像素为单位执行垂直方向上的小波变换。

具体而言，如图12B所示，R像素和B像素直接被发送到垂直方向上的小波变换，而不经历水平方向上的小波变换。此时，如图12C所示，压缩和解压缩I/F部件105以相邻的左右两个像素为单位以朝左的W的形式扫描R像素，并且就好像这些像素形成布置成一列的像素数据那样执行小波变换。

此外，压缩和解压缩I/F部件105以相邻的左右两个像素为单位以朝右的W的形式扫描B像素，并且就好像这些像素形成布置成一列的像素数据那样执行小波变换。

当左右两个像素被设定为一个单位时，可以认为R图像和B图像在垂直方向上具有2160个真实像素。从而，R图像和B图像可被视为2048×2160图像。

此2048×2160R图像经历垂直方向上的小波变换。此时，压缩和解压缩I/F部件105将该2048×2160R图像转换成：

经过了低通滤波器的2048×1080大小的子带R图像；以及

经过了高通滤波器的2048×1080大小的子带R图像。

2048×2160B图像类似地经历垂直方向上的小波变换。此时，压缩和解压缩I/F部件105将该2048×2160B图像转换成：

经过了低通滤波器的2048×1080大小的子带B图像；以及

经过了高通滤波器的2048×1080大小的子带B图像。

在已执行了垂直方向上的小波变换的时间点，获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小相一致。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图12D中，子带图像被如下描述，以便区分于下文中将要描述的其他体系，并且用于描述仅经历了垂直方向上的小波变换的R图像和B图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(LH)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(LH)

虽然以上已经在假定压缩和解压缩I/F部件105以朝左的W的形式扫描R像素并且以朝右的W的形式扫描B像素的情况下参考图12A至12D进行了描述，但是要明确的是，当R像素和B像素的起始像素位置变得不同时，朝左的W的形式和朝右的W的形式被颠倒。

以上已经参考图11A至11D和图12A至12D描述了如何针对双倍密度拜耳布置执行小波变换处理。

接下来将参考图13A至13D来描述在小波变换之后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。

以下描述将利用作为JPEG20005×3可逆小波滤波器系数的(-1/8，2/8，6/8，2/8，-1/8)作为示例来进行。

图13A示出了5×3可逆小波滤波器被应用到G图像的示例。首先，水平方向上的五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

接下来，垂直方向上的五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的上方两个像素和下方两个像素被乘以对称的系数。从而，垂直方向上的像素的重心也与第三个像素的位置一致。

即，通过使G图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向和垂直方向上都是被乘以了滤波器系数6/8的像素(图13A中的圆圈标记○)的位置。

图13B示出了5×3可逆小波滤波器被应用到R图像的示例。如参考图11A至11D所述，压缩和解压缩I/F部件105以相邻的上下两行为单位以W的形式扫描R图像的像素，并且使这些像素经历小波变换，就好像这些像素是一行的像素数据那样。

五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

R图像不经历垂直方向上的小波变换。关注上述水平方向上的小波系数，滤波器系数(-1/8，6/8，-1/8)被应用到上方一行的三个像素。从而表明上方一行的三个像素的系数的权重是

-1/8+6/8-1/8＝1/2

接下来，滤波器系数(2/8，2/8)被应用到下方一行的两个像素，从而表明下方一行的两个像素的系数的权重是

2/8+2/8＝1/2

以上表明，R图像的垂直方向上的像素的重心正好是以相邻的上下两行为单位以W的形式扫描像素的那两行之间的中间位置。

即，通过使R图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向上是被乘以了滤波器系数6/8的像素的位置，而在垂直方向上是被设定为作为一个单位的相邻的上下两行的那两行之间的位置(图13B中的圆圈标记○)。

图13C示出了5×3可逆小波滤波器被应用到B图像的示例。如参考图11A至11D所述，压缩和解压缩I/F部件105以相邻的上下两行为单位以M的形式扫描B图像的像素，并且使这些像素经历小波变换，就好像这些像素是一行的像素数据那样。

五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

B图像不经历垂直方向上的小波变换。关注上述水平方向上的小波系数，滤波器系数(-1/8，6/8，-1/8)被应用到下方一行的三个像素。从而表明下方一行的三个像素的系数的权重是

-1/8+6/8-1/8＝1/2

接下来，滤波器系数(2/8，2/8)被应用到上方一行的两个像素，从而表明上方一行的两个像素的系数的权重是

2/8+2/8＝1/2

以上表明，B图像的垂直方向上的像素的重心正好是以相邻的上下两行为单位以M的形式扫描像素的那两行之间的中间位置。

即，通过使B图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向上是被乘以了滤波器系数6/8的像素的位置，而在垂直方向上是被设定为作为一个单位的相邻的上下两行的那两行之间的位置(图13C中的圆圈标记○)。

总结以上内容，经过了低通小波滤波器的2048×1080大小的子带图像的像素重心位置如图13D所示。此时，表明了R图像和B图像具有相同的位置，而G图像在垂直方向上具有相同的位置，而仅略微偏离了1/2像素。

诸如JPEG2000之类的使用小波滤波器的子带分割的特征之一是可从一个压缩流获得1/2ⁿ分辨率的图像大小。这表明，在双倍密度拜耳布置中，当仅显示在水平方向和垂直方向中的每一个上具有一半图像大小的低频子带图像时，RGB的像素重心位置也是基本相同的。即，表明了可以显示基本没有颜色偏离的低频子带图像，而无需使像素重心位置相互一致。

当然，当G图像在水平方向上被校正1/2像素时，RGB的像素重心位置相互完全一致。另外，在此情况下，因为只有G图像在水平方向上被校正1/2像素，所以可以获得只要较小的硬件规模即可的效果。

此外，当R图像和B图像如图12A至12D所示仅在垂直方向上经历小波变换时，表明了当应用与图13A至13D类似的考虑时(虽然没有详细示出)，R图像和B图像具有相同的位置，而G图像在水平方向上具有相同位置，而在垂直方向上仅略微偏离1/2像素。

以上是针对双倍密度拜耳布置的处理的细节。

接下来将参考图14A至14D描述针对图2中的倾斜布置三板体系的压缩编码处理的示例。

图14A示出了作为一个图像拍摄元件102具有45°倾斜布置的像素并且假定在相邻的两个水平或垂直像素或者四个水平或垂直像素之间执行像素插值以插值出图中的虚线圆圈标记所指示的像素的像素布置。

此时，图像拍摄元件部件102是倾斜布置三板体系，这是具有45°倾斜布置的像素并且假定在水平方向或垂直方向上相邻的像素之间执行了插值的像素布置。

以下将描述将本发明应用到利用具有上述像素布置的三个图像拍摄元件部件102并结合光学棱镜来执行图像拍摄的***或者具有该像素布置并且具有在传感器深度方向上有光波长敏感性的这样一种结构的单板型图像拍摄***的方法。

首先，因为假定图14A中虚线圆圈标记所指示的像素是从周围像素插值而来的，所以可以认为图14A中虚线圆圈标记所指示的像素不是作为真实像素存在的。即，如图14B所示，阴影所指示的像素被认为是不存在的，并且此图案因此可被认为与以上参考图11A至11D描述的双倍密度拜耳布置中的R或B像素的图案相同。

差异在于，R图像、B图像和G图像都具有相同的图案。

因此，只要使R图像、B图像和G图像经历以相邻的上下两行为单位的小波变换即可。

此时，压缩和解压缩I/F部件105以相邻的上下两行为单位扫描来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据的像素，并且执行水平方向上的小波变换，或者以相邻的左右两列为单位扫描来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据的像素，并且执行垂直方向上的小波变换。

具体而言，如图14B所示，压缩和解压缩I/F部件105以相邻的上下两行为单位以W的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。取决于像素的起始位置，可以以相邻的上下两行为单位以M的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

当相邻的上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，RGB图像可被视为4096×1080图像。

这些4096×1080图像经历水平方向上的小波变换，从而RGB图像被各自转换成：

经过了低通滤波器的2048×1080大小的子带图像；以及

经过了高通滤波器的2048×1080大小的子带图像。

在执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像。从而，不在垂直方向上执行小波变换。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K倾斜布置三板体系中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图14D中，2048×1080大小的子带图像被描述如下，以区分于下文中将描述的其他体系，并且用于描述仅经历了水平方向上的小波变换的图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(HL)

·经过了低通滤波器的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器的2048×1080大小的子带G图像是子带G图像(HL)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(HL)

虽然已经参考图14A至14D描述了其中倾斜布置三板体系的图像经历以相邻的上下两行为单位的小波变换的处理，但是作为另一种方法，也可以以相邻的左右两个像素为单位执行小波变换。然而，该处理与参考图12A至12D描述的双倍密度拜耳布置的R图像和B图像的处理完全相同，并且在这里将被省略。

已经参考图13A至13D描述了在双倍密度拜耳布置中在小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。

然而，在倾斜布置三板体系中，像素位置被调节，以便在光学上相互一致。从而，很明显，对于RGB，小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置是相同的，因此对其的描述将被省略。

以上是针对倾斜布置三板体系的处理的细节。

接下来将参考图15A至15D描述针对图2所示的通常拜耳布置的处理的示例。

图15A示出了所谓的通常拜耳布置。

此时，图像拍摄元件部件102具有拜耳布置。

在图15B中，拜耳布置被分离成RGB中的每一个，并且不存在真实像素的位置由阴影指示。R图像和B图像是处于分离状态的、已经被离散缩减的2048×1080大小的图像。

从图15B中可以明确，可认为G图像与参考图11A至11D描述的双倍密度拜耳布置的R像素或B像素相同。

因此，只要使G图像经历以相邻的上下两行为单位的小波变换即可。

此时，压缩和解压缩I/F部件105不向来自拜耳布置的图像拍摄元件部件102的RGB图像数据的R和B图像数据应用小波变换。然后，压缩和解压缩I/F部件105以相邻的上下两行为单位扫描G图像数据的像素并且执行水平方向上的小波变换，或者以相邻的左右两列为单位扫描G图像数据的像素并且执行垂直方向上的小波变换。

具体而言，如图15B所示，压缩和解压缩I/F部件105以相邻的上下两行为单位以M的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

取决于像素的起始位置，也可以以相邻的上下两行为单位以W的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

当相邻的上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，G图像可被视为4096×1080的图像。

4096×1080的G图像经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带G图像；以及

经过了高通滤波器的2048×1080大小的子带G图像。

在执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像。从而，不在垂直方向上执行小波变换。

这意味着，虽然R图像和B图像被离散缩减，但对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K通常拜耳布置中具有相同大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图15D中，如下进行描述，以使得R图像和B图像对于其他体系的处理是共用的(虽然R图像和B图像被离散缩减)，并且对于G图像，则用于与下文中将描述的其他体系相区分，并且用于描述仅经历了水平方向上的小波变换的图像。

·2048×1080大小的R图像是子带R图像(LL)

·经过了低通滤波器的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器的2048×1080大小的子带G图像是子带G图像(HL)

·2048×1080大小的B图像是子带B图像(LL)

虽然已经参考图15A至15D描述了通常拜耳布置的G图像经历以相邻的上下两行为单位的小波变换的方法，但是作为另一种方法，也可以以相邻的左右两个像素为单位执行小波变换。然而，该方法与作为参考图12A至12D描述的双倍密度拜耳布置的R图像和B图像的处理而描述的处理完全相同，并且在这里将被省略。

已经参考图13A至13D描述了双倍密度拜耳布置中在小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。然而，在通常拜耳布置中，R图像和B图像与其他发明中一样经历简单的离散缩减处理。从而，像素位置直接保持拜耳布置的像素位置，因此对其的描述将被省略。

以上是针对通常拜耳布置的处理的细节。

已经进行了描述以表明压缩和解压缩I/F部件105从而与图2所示的各种像素布置的任何图像拍摄元件相兼容。

接下来将进行描述以表明，因为对于图2所示的各种像素布置的任何图像拍摄元件部件102，从压缩和解压缩I/F部件105输出的子带图像都具有2048×1080大小，所以从压缩和解压缩处理部件106起以后的处理可以是共用的处理。

图16示出了对与到此为止描述的各种像素布置的图像拍摄元件部件102相对应的从压缩和解压缩I/F部件105输出的子带图像的总结。

具体而言，这些子带图像可被总结为2048×1080大小的子带的数目的差异，如下。(在图16中，未输出的子带图像由虚线表示)。

*RGB全像素体系

·G：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·B：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·R：2048×1080大小的四个子带分量(LL/HL/LH/HH)

→2048×1080大小的十二个子带分量

*双倍密度拜耳布置

·G：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·B：2048×1080大小的两个子带分量(LL/HL)

·R：2048×1080大小的两个子带分量(LL/HL)

→2048×1080大小的八个子带分量

*倾斜布置三板体系

·G：2048×1080大小的两个子带分量(LL/HL)

·B：2048×1080大小的两个子带分量(LL/HL)

·R：2048×1080大小的两个子带分量(LL/HL)

→2048×1080大小的六个子带分量

*拜耳布置

·G：2048×1080大小的两个子带分量(LL/HL)

·B：2048×1080大小的一个子带分量(LL)

·R：2048×1080大小的一个子带分量(LL)

→2048×1080大小的四个子带分量

此外，在任何像素布置中，对于RGB图像中的每一个都存在子带(LL)(图16中粗框所包围的子带)。从而，如上所述，进行了简单的颜色分离，并且可将这些子带确认为一个图像。

接下来将描述针对各种像素布置的图像拍摄元件，压缩和解压缩I/F部件105的具体处理方法。

图17和图18是帮助说明与RGB全像素体系相对应的处理方法的示图(图17对应于小波变换时的处理，图18对应于逆变换时的处理)。

图17和图18与图9和图10相同，因此这里将省略重复描述。如图17所示，压缩和解压缩I/F部件105对RGB全像素体系的记录RAW数据的R图像、G图像和B图像全都执行相同的处理。此时，压缩和解压缩I/F部件105对R图像、G图像和B图像在水平方向和垂直方向上都执行小波变换，并且输出2048×1080大小的子带的12个分量。此外，如图18所示，压缩和解压缩I/F部件105执行该小波变换的逆变换，将该12个分量恢复成RGB全像素体系的再现RAW数据。

图19和图20是帮助说明与双倍密度拜耳布置的图像拍摄元件相对应的处理方法的示图(图19对应于小波变换时的处理，图20对应于逆变换时的处理)。

如图19所示，压缩和解压缩I/F部件105对于双倍密度拜耳布置的记录RAW数据中的G图像，在水平方向和垂直方向上都执行小波变换。然而，对于R图像和B图像，压缩和解压缩I/F部件105在如图11B所示的扫描后仅执行水平方向上的小波变换，绕过垂直方向小波变换电路，直接输出结果。在图19中，被绕过的部分由阴影指示。被绕过的部分在以下的图20至24中也是类似地表示的。压缩和解压缩I/F部件105输出2048×1080大小的子带的八个分量。如图20所示，同样，在逆变换中，对于R图像和B图像，压缩和解压缩I/F部件105绕过垂直方向小波合成电路，并且仅执行水平方向上的小波合成。压缩和解压缩I/F部件105可以通过在水平方向和垂直方向上都执行小波合成来将G图像恢复成双倍密度拜耳布置的再现RAW数据。

图21和图22是帮助说明与倾斜布置三板体系相对应的处理方法的示图(图21对应于小波变换时的处理，图22对应于逆变换时的处理)。

如图21所示，压缩和解压缩I/F部件105对于倾斜布置三板体系的记录RAW数据中的R图像、G图像和B图像全都执行相同的处理。此时，压缩和解压缩I/F部件105执行如图14B所示的扫描，对于R图像、G图像和B图像仅执行水平方向上的小波变换，绕过垂直方向小波变换电路，直接输出结果。压缩和解压缩I/F部件105输出2048×1080大小的子带的六个分量。此外，如图22所示，同样，在逆变换中，压缩和解压缩I/F部件105对于R图像、G图像和B图像全都执行相同的处理。压缩和解压缩I/F部件105绕过垂直方向小波合成电路，并且仅执行水平方向上的小波合成。压缩和解压缩I/F部件105将六个分量恢复成倾斜布置三板体系的再现RAW数据。

图23和图24是帮助说明与通常拜耳布置的图像拍摄元件相对应的处理方法的示图(图23对应于小波变换时的处理，图24对应于逆变换时的处理)。

如图23所示，对于通常拜耳布置的记录RAW数据中的G图像，压缩和解压缩I/F部件105执行如图15B所示的扫描，并且仅在水平方向上执行小波变换。然而，对于R图像和B图像，压缩和解压缩I/F部件105也不执行水平方向上的小波变换，而是执行绕过处理。压缩和解压缩I/F部件105对于R图像、G图像和B图像中的每一个都绕过垂直方向小波变换电路，直接输出结果。从而，压缩和解压缩I/F部件105输出2048×1080大小的子带的四个分量。

此外，如图24所示，同样，在逆变换中，压缩和解压缩I/F部件105对于R图像、G图像和B图像中的每一个绕过垂直方向小波合成电路，并且仅对于G图像执行水平方向上的小波合成。对于R图像和B图像，压缩和解压缩I/F部件105也不执行水平方向上的小波合成，而是执行绕过处理。从而，图像可被恢复成通常拜耳布置的再现RAW数据。

当压缩和解压缩I/F部件105根据输入的记录RAW数据的种类这样绕过小波电路时，可以针对各种像素布置的图像拍摄元件进行设置。从而，只要通过控制压缩和解压缩I/F部件105的处理，就可以使从压缩和解压缩处理部件106起以后的处理成为共用的处理，只是在输入子带图像的分量的数目上有差异。

此外，从压缩和解压缩处理部件106起以后的处理可以作为并行的处理被执行。具体而言，在压缩和解压缩处理部件106中，图3中用于子带图像D105-LL的电路、图3中用于子带图像D105-HL的电路、图3中用于子带图像D105-LH的电路以及图3中用于子带图像D105-HH的电路中的每一者对于用于RGB的三个并行***分别设置(总共十二个***)。从而，可以在4K RGB全图像的情况下使用所有这些***，而在其他情况下只使用这些***的一部分。从而，操作速度可以降低，降低量与并行度相对应。即，可以采用适合于实时处理的配置。

过去，处理诸如4K图像之类的高分辨率图像的***不可避免地要进行大量的信号处理。此外，从图像拍摄元件的诸如S/N(信噪比)、灵敏度之类的特性的角度来看，该***是难以实现的，除非预先通过使用所谓的拜耳布置等等来减少像素数目并随后记录RAW数据。然而，因为并非RGB的所有像素都存在，所以当直接使用RAW数据执行压缩记录时，压缩效率没有提高，如背景技术部分中所述。

另一方面，通过使用根据上述第一实施例的压缩和解压缩I/F部件105以及压缩和解压缩处理部件106，可以转换整个画面(这是小波变换的特征)，并且利用小波变换中固有的高压缩效率。尤其对于双倍密度拜耳布置中的R图像和B图像的RAW数据的压缩，可以预期利用小波变换的固有特征的压缩效率的巨大改善。

此外，可以从一个压缩码获得作为子带分割的结果的不同分辨率的图片，并且可以使用这些图片。这是因为即使是简单的颜色分离处理也是通过小波变换执行的。

从而，可以构造一种具有很高程度的硬件效率的***，该***是低分辨率简单显示***，但不需要专门的颜色分离电路或下转换电路(down-converting circuit)。

另外，压缩和解压缩I/F部件105以及压缩和解压缩处理部件106的处理可适应于现有RGB全像素体系、双倍密度拜耳布置、倾斜布置三板体系和通常拜耳布置的任何图案。从而，产生了这样一种效果，即能够执行共用的硬件处理，只是“子带图像分量的数目有差异”。这表明也提供了这样一种优点，即在处理高分辨率图像的***中，能够执行并行硬件处理并且实现实时处理。

<2.第二实施例>

[使用哈尔变换对图像进行压缩编码或解码的示例]

接下来将参考图25A至27D来描述应用到根据本发明第二实施例的图像拍摄装置10的示例。

如上所述，压缩和解压缩I/F部件105与小波变换相结合提供了最有效压缩的方法。然而，不仅小波变换，降低硬件负担的哈尔变换也可实现该方法。此时，压缩和解压缩I/F部件105以相邻的上下两行为单位使像素位置交替相互偏离的那种颜色的图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换。

图25A至25D示出了压缩和解压缩I/F部件105针对双倍密度拜耳布置执行哈尔变换的示例。

图25A示出了双倍密度拜耳布置。

首先描述G图像，G图像具有4K全像素，因此取代参考图11A至11D描述的处理中那样的水平方向和垂直方向上的小波变换执行哈尔变换即可。

此时，压缩和解压缩I/F部件105使从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和B图像数据中每两个在倾斜方向上相邻像素经历以相邻的上下两行为单位的哈尔变换，并且使G图像数据经历以一行的像素为单位的水平方向上的哈尔变换和以一列的像素为单位的垂直方向上的哈尔变换。

哈尔变换被认为是两抽头子带滤波器，并且相当于获得两个像素之间的和与差。和对应于LPF，差对应于HPF。

具体而言，如图25B所示，4096×2160大小的G图像的每两个像素经历水平方向上的哈尔变换。从而，如图25C所示，获得了水平方向上减半的2048×2160大小的低频子带G图像(L)(和)和高频子带G图像(H)(差)。

接下来，水平方向上减半的2048×2160大小的低频子带G图像(L)(和)和高频子带G图像(H)(差)各自经历垂直方向上的哈尔变换，如图25C所示。结果，如图25D所示，2048×2160大小的低频子带G图像(L)(和)和高频子带G图像(H)(差)被转换成了四种2048×1080大小的子带G图像。

·在水平方向和垂直方向上都经过了低通滤波器(和)的2048×1080大小的子带G图像(LL)

·在水平方向上经过了低通滤波器(和)并且在垂直方向上经过了高通滤波器(差)的2048×1080大小的子带G图像(LH)

·在水平方向上经过了高通滤波器(差)并且在垂直方向上经过了低通滤波器(和)的2048×1080大小的子带G图像(HL)

·在水平方向和垂直方向上都经过了高通滤波器(差)的2048×1080大小的子带G图像(HH)

2048×2160大小的低频子带G图像(L)(和)和高频子带G图像(H)(差)被转换成上述四种2048×1080大小的子带G图像。

R图像和B图像具有棋盘格图案。从而，以相邻的上下两行为单位，取代小波变换，R图像和B图像经历哈尔变换。

具体而言，如图25B所示，R像素之中的以相邻的上下两行为单位的每两个倾斜像素经历哈尔变换。

作为以上处理的结果，R图像被转换成：

经过了低通滤波器(和)的2048×1080大小的子带R图像；以及

经过了高通滤波器(差)的2048×1080大小的子带R图像。

B像素之中的以相邻的上下两行为单位的每两个倾斜像素(与R的倾斜方向相反)类似地经历哈尔变换，以被转换成：

经过了低通滤波器(和)的2048×1080大小的子带B图像；以及

经过了高通滤波器(差)的2048×1080大小的子带B图像。

作为以上处理的结果，已经获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小一致。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080大小的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图25C和图25D中，为了描述经历了倾斜方向上的哈尔变换的R图像和B图像，如下描述子带图像。

·经过了低通滤波器(和)的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带R图像是子带R图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带B图像是子带B图像(HH)

图25B所示的R像素和B像素的倾斜方向是示例，要明确的是，当R像素和B像素的起始像素位置变得不同时，倾斜方向颠倒。

接下来将参考图26A至26D描述针对图2所示的倾斜布置三板体系执行哈尔变换的情况。

图26A示出了倾斜布置三板体系的布置。

在图26B中，如参考图14A至14D所述，由阴影指示的像素被认为是不存在的，并且因此该图案可被认为与以上参考图25A至25D所述的双倍密度拜耳布置中的R或B像素的图案相同。

差异在于R图像、B图像和G图像都具有相同的图案。

因此，只要以相邻的上下两行为单位取代小波变换使R图像、B图像和G图像经历哈尔变换即可。

此时，压缩和解压缩I/F部件105以相邻的上下两行为单位使来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换。

具体而言，如参考图26B所述，以相邻的上下两行为单位的每两个倾斜像素经历哈尔变换。

作为以上处理的结果，RGB图像被各自转换成：

经过了低通滤波器(和)的2048×1080大小的子带图像；以及

经过了高通滤波器(差)的2048×1080大小的子带图像。

以上还表明，已经获得了2048×1080大小的子带图像。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080大小的RGB全图像，并且执行了简单的所谓的颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K倾斜布置三板体系中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图26C和图26D中，为了描述执行了的倾斜方向上的哈尔变换，如下描述子带图像。

·经过了低通滤波器(和)的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带R图像是子带R图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带G图像是子带G图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带B图像是子带B图像(HH)

图26B所示的像素的倾斜方向是示例，要明确的是当R像素和B像素的起始像素位置变得不同时，倾斜方向颠倒。

接下来将参考图27A至27D来描述针对图2所示的通常拜耳布置执行哈尔变换的情况。

图27A示出了所谓的通常拜耳布置。

在图27B中，在分离成RGB中的每一个之后不存在的真实像素的位置由阴影指示。R图像和B图像是处于分离状态的已经被离散缩减的2048×1080大小的图像。

从图27B中可以明确，可认为G图像与参考图25A至25D描述的双倍密度拜耳布置的R像素或B像素相同。

因此，以相邻的上下两行为单位，取代小波变换，G图像经历哈尔变换。

此时，压缩和解压缩I/F部件105不向来自拜耳布置的图像拍摄元件部件102的RGB图像数据的R和B图像数据应用哈尔变换，而是以相邻的上下两行为单位使G的图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换。

具体而言，如图27B所示，以相邻的上下两行为单位的每两个倾斜像素经历了哈尔变换。

作为以上处理的结果，G图像被转换成：

经过了低通滤波器(和)的2048×1080大小的子带G图像；以及

经过了高通滤波器(差)的2048×1080大小的子带G图像。

以上还表明，已经获得了2048×1080大小的子带图像。

这意味着，虽然R图像和B图像被离散缩减，但对于所有RGB图像都获得了统一的2048×1080大小的子带图像。因此，获得了2048×1080RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩和解压缩I/F部件105输出的子带图像在4K全像素体系和4K通常拜耳布置中具有相同的大小，因此从压缩和解压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图27C和图27D中，为了描述G图像经历了倾斜方向上的哈尔变换，如下描述子带图像。

·2048×1080大小的R图像是子带R图像(LL)

·经过了低通滤波器(和)的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带G图像是子带G图像(HH)

·2048×1080大小的B图像是子带B图像(LL)

图27B所示的G像素的倾斜方向是示例，要明确的是当G的起始像素位置变得不同时，倾斜方向颠倒。

根据上述的第二实施例，压缩和解压缩I/F部件105不仅可通过小波变换来实现，而且也可通过用于更简单的硬件的哈尔变换来实现。从而，与第一实施例中一样，后续的处理可以作为并行的处理被执行。此外，因为可以简单地进行颜色分离，所以可以降低制造该装置的成本。

应注意，虽然已参考JPEG2000的5×3可逆小波变换系数描述了小波变换，但是要明确的是，也可以利用9×7不可逆变换系数和其他变换系数来实现小波变换，而并不限于5×3可逆小波变换或哈尔变换。

<3.修改的示例>

应注意，以上所述的压缩和解压缩I/F部件105的处理以及压缩和解压缩处理部件106的处理不仅可通过硬件而且也可通过软件来执行。当通过软件来执行该系列处理时，可通过包含在专用硬件中的计算机或安装有用于执行各种功能的程序的计算机来执行构成该软件的程序。例如，只要将构成所需软件的程序安装在通用个人计算机等等上并执行该程序即可。

此外，记录有用于实现上述实施例的功能的软件的程序代码的记录介质可被提供到***或装置。此外，无需多言，当该***或装置的计算机(或诸如CPU之类的控制装置)读取并执行存储在该记录介质上的程序代码时，这些功能得以实现。

在此情况中可用作提供程序代码的记录介质的例如是软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM，等等。

上述实施例的功能是通过执行被计算机读取的程序代码来实现的。此外，在计算机等等上操作的OS基于程序代码的指示而执行实际处理的一部分或全部。也包括通过该处理实现上述实施例的功能的情况。

此外，虽然在上述实施例中本发明被应用到图像拍摄装置，但本发明也可应用于从除图像拍摄装置以外的装置中的双倍密度拜耳布置、倾斜布置三板体系和拜耳布置的图像拍摄元件获得的RAW数据的压缩编码。

此外，本发明可类似地应用于从如下像素布置的图像拍摄元件获得的RAW数据的压缩编码：该像素布置不是双倍密度拜耳布置、倾斜布置三板体系或拜耳布置，并且在该像素布置中，三种原色中的至少一种的像素位置在水平方向或垂直方向上是交替相互偏离的。

此外，本发明并不限于上述实施例，而是当然可以采用各种其他应用示例和各种其他修改示例，而不脱离权利要求中描述的本发明的精神。

本申请包含与2009年12月18日向日本专利局提交的日本优先权专利申请JP 2009-288074中公开的主题相关的主题，这里通过引用将该申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims (15)

1.一种图像处理装置，包括：

子带分割部件，被配置为对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割。

2.根据权利要求1所述的图像处理装置，

其中，所述子带分割部件以相邻的上下两行为单位对所述像素位置交替相互偏离的颜色的图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对所述像素位置交替相互偏离的颜色的图像数据的像素进行扫描并且执行垂直方向上的小波变换。

3.根据权利要求2所述的图像处理装置，

其中所述图像拍摄元件是具有拜耳布置两倍的像素密度并且具有45°倾斜布置的像素布置的双倍密度拜耳布置的图像拍摄元件，并且

所述子带分割部件以相邻的上下两行为单位对从所述双倍密度拜耳布置的图像拍摄元件输出的RGB图像数据的R和B图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对所述R和B图像数据的像素进行扫描并且执行垂直方向上的小波变换，并且使G图像数据经历以一行的像素为单位的水平方向上的小波变换以及以一列的像素为单位的垂直方向上的小波变换。

4.根据权利要求2所述的图像处理装置，

其中，所述图像拍摄元件是具有45°倾斜布置的像素并且假定在水平方向和垂直方向之一上相邻的像素之间执行了插值的倾斜布置三板体系的图像拍摄元件，并且

所述子带分割部件以相邻的上下两行为单位对来自所述倾斜布置三板体系的图像拍摄元件的所有RGB图像数据的像素进行扫描并执行水平方向上的小波变换，或者以相邻的左右两列为单位对所有RGB图像数据的像素进行扫描并执行垂直方向上的小波变换。

5.根据权利要求2所述的图像处理装置，

其中，所述图像拍摄元件是拜耳布置的图像拍摄元件，并且

所述子带分割部件对于来自所述拜耳布置的图像拍摄元件的RGB图像数据的R和B图像数据不执行小波变换，但是以相邻的上下两行为单位对G图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对G图像数据的像素进行扫描并且执行垂直方向上的小波变换。

6.根据权利要求1所述的图像处理装置，

其中，所述子带分割部件以相邻的上下两行为单位，使所述像素位置交替相互偏离的颜色的图像数据的倾斜方向上的每两个相邻像素经历哈尔变换。

7.根据权利要求6所述的图像处理装置，

其中，所述图像拍摄元件是具有拜耳布置两倍的像素密度并且具有45°倾斜布置的像素布置的双倍密度拜耳布置的图像拍摄元件，并且

所述子带分割部件使从所述双倍密度拜耳布置的图像拍摄元件输出的RGB图像数据的R和B图像数据的倾斜方向上的每两个相邻像素经历以相邻的上下两行为单位的哈尔变换，并且使G图像数据经历以一行的像素为单位的水平方向上的哈尔变换和以一列的像素为单位的垂直方向上的哈尔变换。

8.根据权利要求6所述的图像处理装置，

其中，所述图像拍摄元件是具有45°倾斜布置的像素并且假定在水平方向和垂直方向之一上相邻的像素之间执行了插值的倾斜布置三板体系的图像拍摄元件，并且

所述子带分割部件以相邻的上下两行为单位使来自所述倾斜布置三板体系的图像拍摄元件的所有RGB图像数据的倾斜方向上的每两个相邻像素经历哈尔变换。

9.根据权利要求6所述的图像处理装置，

其中，所述图像拍摄元件是拜耳布置的图像拍摄元件，并且

所述子带分割部件对于来自所述拜耳布置的图像拍摄元件的RGB图像数据的R和B图像数据不执行哈尔变换，但是以相邻的上下两行为单位使G图像数据的倾斜方向上的每两个相邻像素经历哈尔变换。

10.一种图像处理方法，包括以下步骤：

通过形成图像处理装置的子带分割部件对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割。

11.一种图像处理装置，包括：

子带分割部件，被配置为对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割；以及

压缩编码部件，被配置为针对被所述子带分割部件分割出的每个频带和所述三种原色中的每一种并行地执行对从所述子带分割部件输出的图像数据进行压缩编码的处理。

12.一种图像处理方法，包括以下步骤：

通过形成图像处理装置的子带分割部件对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割；以及

针对每个分割出的频带和所述三种原色中的每一种并行地执行对由所述子带分割部件的子带分割产生的图像数据进行压缩编码的处理。

13.一种图像拍摄装置，包括：

一种像素布置的图像拍摄元件，在该像素布置中，三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离；

子带分割部件，被配置为对从所述图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割；

压缩编码部件，被配置为针对被所述子带分割部件分割出的每个频带和所述三种原色中的每一种并行地执行对从所述子带分割部件输出的图像数据进行压缩编码的处理；以及

记录部件，被配置为记录经所述压缩编码部件压缩编码的图像数据。

14.一种图像处理装置，包括：

子带分割装置，用于对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割。

15.一种图像处理装置，包括：

子带分割装置，用于对从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割；以及

压缩编码装置，用于针对被所述子带分割装置分割出的每个频带和所述三种原色中的每一种并行地执行对从所述子带分割装置输出的图像数据进行压缩编码的处理。

Images