CN102104731B - 相机***和图像处理方法 - Google Patents

Abstract

本发明提供了相机***和图像处理方法。这里公开了一种相机***，包括：相机部件，其包括被配置为将像素位置交替相互偏离的颜色的图像数据分解成子带图像的子带分割部件，以及被配置为将子带图像转换成预定的图像信号并经由传送线路输出图像信号的第一传送接口部件；以及相机控制部件，其包括被配置为将经由传送线路输入的图像信号转换成子带图像的第二传送接口部件，以及被配置为将子带图像解压缩成图像数据并将子带图像合成为从图像拍摄元件输出的图像数据的图像解压缩部件。

Description

相机***和图像处理方法

技术领域

本发明涉及例如适合应用于对从各种布置体系的图像拍摄元件获得的RAW数据(原始数据)进行高效压缩编码和对经压缩编码的RAW数据进行解压缩的相机***和图像处理方法。

背景技术

使用拜耳布置(Bayer arrangement)的图像拍摄元件的图像拍摄装置在过去一般是已知的。这种图像拍摄元件经由滤色器(color filter)捕捉对象的图像光，并且输出根据图像光的强度的图像信号。然后，后续处理部件使图像信号经历预定的处理，从而图像拍摄装置可以在取景器或外部显示装置上显示图像。

一般地，用于实况广播等等的相机***包括用作图像拍摄装置并且具有图像拍摄元件的相机部件和安装在远离相机部件的场所的CCU(相机控制单元)部件。相机部件和CCU部件之间的连接是通过使用传送复合相机线缆(transmitting composite camera cable)等等来建立的，并且CCU部件在相机部件中进行设定。此时，CCU部件实时地以很高的精确度对从相机部件传送来的图像执行信号处理。此外，现有相机***处理诸如4K图像和8K图像之类的高分辨率的图像或者诸如60P/240P之类的高帧速率的图像，从而处理了巨大量的数据。从而，相机部件直接将RAW图像数据传送到CCU部件，并且CCU部件执行相机信号处理。

另外，8K表示诸如8192样本×4320行之类高分辨率的规格的示例。4K表示诸如4096样本×2160行之类的比8K低的分辨率的规格的示例。2K表示诸如2048样本×1080行之类的比4K低的分辨率的规格的示例。

日本专利早期公开No.2002-247376(以下称之为专利文献1)描述了通过JPEG(联合图片专家组)等等直接对从拜耳布置的图像拍摄元件获得的RAW数据(颜色插值(color interpolation)之前的图像数据)的压缩。

日本专利早期公开No.2003-125209(以下称之为专利文献2)描述了用于对G1、G2、R和B的每个分量分别执行图像压缩的技术以及使用小波压缩的具体示例，作为用于对从拜耳布置的图像拍摄元件获得的RAW数据进行压缩的方法。

发明内容

在现有的相机***中，RAW图像数据是以未压缩的状态从相机部件传送到CCU部件的。然而，当RAW图像数据被以未压缩的状态传送时，与RAW图像数据被压缩的情况相比，传送频带(transmission band)增大了，从而传送线路的功耗增大了。此外，为了确保传送频带，需要确保具有10Gbps的传送速率的多条昂贵的传送线缆，并且需要构造包括这些传送线缆的非常昂贵的相机***。此外，即使在假定直接压缩RAW图像数据的情况下，关于用于压缩RAW图像数据的具体方法的细节也是不清楚的，或者压缩效率没有提高。

此外，当RAW图像数据被压缩时，因为绿色像素的像素位置在水平方向和垂直方向上是交替(alternatively)相互偏离(shift)的，所以绿色像素在传统上被分割成G1和G2两个分量以使得像素位置不相互偏离，然后被压缩。此压缩是在原本其间具有作为一个图像的强相关性的像素通过亚采样(sub-sample)被分离成单独的图片之后执行的。从而，经分离的图像之间的相关性无法被使用，并且压缩效率降低。

尤其是小波变换能够通过对整个图片的子带分割(subband division)来实现很高的压缩效率。然而，现有的体系将整个图片分割成单独的图片，从而没有运用小波变换的本来很高的压缩效率。

此外，通过利用小波变换重复子带分割，可从一个压缩码(compression code)获得不同分辨率的图像。例如，当利用专利文献2中描述的技术在取景器等等上显示分辨率为某一图像的一定分辨率的一半的图像时，只使用分割出的两个绿色图像之中的一个。在此情况下，执行简单的“像素离散缩减”(pixel discrete reduction)，并且取景器上显示的图像例如受到混叠噪声(aliasing noise)的影响。从而，无法充分地享受到使用小波变换的优点。

此外，现有的技术涉及一种对从拜耳布置的图像拍摄元件获得的RAW数据进行压缩的方法，但不涉及用于对从双倍密度拜耳布置的图像拍摄元件或者具有在倾斜方向上布置的像素的三板(three-panel)图像拍摄元件***获得的RAW数据进行压缩的技术。

从而，对于图像拍摄元件的不同像素布置需要使用不同的压缩体系，而不能共享硬件。

此外，专利文献1公开了一种用于在不进行到RGB(红绿蓝)全像素(RGB full pixel)的颜色分离的情况下执行压缩和记录的技术。此技术直接压缩图像数据，而不会由于颜色分离而增大数据率，从而具有能够控制数据率的优点。然而，关于如何压缩图像数据的细节是不清楚的。如果图像数据在拜耳布置中照字面那样直接作为一个图像被压缩，则每个RGB像素的电平在许多自然图像中是不同的。于是，因为相邻像素被不同地描绘成RGB，所以出现很大的高频分量，并且压缩效率不会提高。换言之，将预期到很高的压缩噪声。

希望对从如下一种像素布置的图像拍摄元件获得的RAW数据执行高效的压缩编码：在所述像素布置中，三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上是交替相互偏离的，并且还希望将图像从相机部件传送到CCU部件。

根据本发明实施例的相机部件对从其中三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的其像素位置交替相互偏离的那种颜色的图像数据执行子带分割。此子带分割是以相邻的上下两行的像素或者相邻的左右两列的像素为单位来执行的。

然后，相机部件经由传送线路输出子带图像。

另一方面，根据本发明实施例的相机控制部件经由传送线路接收子带图像。

然后，相机控制部件以相邻的上下两行的像素或者相邻的左右两列的像素为单位将子带图像解压缩成像素位置交替相互偏离的颜色的图像数据，并且将子带图像合成为图像数据。

根据本发明的实施例，即使当像素位置在水平或垂直方向上交替相互偏离时，也以相邻的上下两行的像素或者相邻的左右两列的像素为单位执行子带分割。从而，通过在像素位置保持相互偏离的情况下执行压缩编码，可以执行高效的压缩编码。

根据本发明的实施例，可以以高精确度、实时地执行相机部件的信号处理，因为相机部件压缩图像数据(例如RAW数据)并将经压缩的数据传送到CCU部件，并且CCU部件对经压缩的数据进行解压缩，从而再现图像数据。此时，可以对从如下一种像素布置的图像拍摄元件获得的图像数据执行高效的压缩编码：在所述像素布置中，三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上是交替相互偏离的。

附图说明

图1是示出根据本发明实施例的相机部件的示图；

图2是示出根据本发明实施例的CCU部件的示图；

图3是示出图像拍摄元件的像素布置的示例的示图；

图4是压缩编码时压缩处理部件的框图；

图5是示出小波变换的分割级别的示图；

图6A和6B是示出小波变换的分割级别的示图；

图7是压缩解码时解压缩处理部件的框图；

图8A、8B和8C是现有技术的示图；

图9A、9B、9C和9D是现有技术被应用到双倍密度拜耳布置的示图；

图10是小波变换时压缩I/F(接口)部件的处理的示图；

图11是逆变换时解压缩I/F部件的处理的示图；

图12A、12B、12C和12D是针对双倍密度拜耳布置的压缩I/F部件的小波变换处理的示图；

图13A、13B、13C和13D是针对双倍密度拜耳布置的压缩I/F部件的小波变换处理的另一示例的示图；

图14A、14B、14C和14D是示出小波变换后的子带图像的像素重心位置的示图；

图15A、15B、15C和15D是针对倾斜布置三板体系(obliquearrangement three-panel system)的压缩I/F部件的小波变换处理的示图；

图16A、16B、16C和16D是针对拜耳布置的压缩I/F部件的小波变换处理的示图；

图17是示出针对各种像素布置的压缩I/F部件的输出的示图；

图18是针对RGB全像素体系的压缩I/F部件的小波变换时的具体处理的示图；

图19是针对RGB全像素体系的解压缩I/F部件的逆变换时的具体处理的示图；

图20是针对双倍密度拜耳布置的压缩I/F部件的小波变换时的具体处理的示图；

图21是针对双倍密度拜耳布置的解压缩I/F部件的逆变换时的具体处理的示图；

图22是针对倾斜布置三板体系的压缩I/F部件的小波变换时的具体处理的示图；

图23是针对倾斜布置三板体系的解压缩I/F部件的逆变换时的具体处理的示图；

图24是针对拜耳布置的压缩I/F部件的小波变换时的具体处理的示图；

图25是针对拜耳布置的解压缩I/F部件的逆变换时的具体处理的示图；

图26A、26B、26C和26D是示出压缩I/F部件针对双倍密度拜耳布置执行哈尔变换(Haar transform)的示例的示图；

图27A、27B、27C和27D是示出压缩I/F部件针对倾斜布置三板体系执行哈尔变换的示例的示图；并且

图28A、28B、28C和28D是示出压缩I/F部件针对拜耳布置执行哈尔变换的示例的示图。

具体实施方式

下面将描述实现本发明的最佳模式(以下该最佳模式将被称为实施例)。另外，将按以下顺序进行描述。

1.第一实施例(压缩编码或解码的控制：使用小波变换的示例)

2.第二实施例(压缩编码或解码的控制：使用哈尔变换的示例)

3.修改的示例

<1.第一实施例>

[使用小波变换对图像进行压缩编码和使用逆小波变换对子带图像进行解码的示例]

下面将参考图1至25来描述本发明的第一实施例。

在以下实施例中，将对应用到相机***的示例进行描述，该相机***包括：相机部件10，用于对从没有RGB全像素的、拜耳布置的图像拍摄元件、没有RGB全像素的、双倍密度拜耳布置的图像拍摄元件、以及没有RGB全像素的、使用具有在倾斜方向上布置的像素的三个图像拍摄元件的图像拍摄***获得的RAW数据之中的任何一种中的三个R/G/B分量中的每一个进行高效的压缩编码，将RAW数据分解成子带图像，并且输出子带图像；以及CCU部件20，用于对经由传送复合相机线缆113从相机部件10接收的子带图像进行解压缩。包括RGB像素的要素的三个分量信号在下文中将被简称为“三个R/G/B分量”。

本示例中的相机部件10通过镜头块101把在图像拍摄元件部件102中转换成电信号的RAW图像数据传送到CCU部件20。即使当因为图像拍摄元件部件102中缺乏真实像素而造成像素位置在水平方向或垂直方向上交替相互偏离时，相机部件10也可以通过在像素位置保持相互偏离的情况下执行压缩编码，从而实现压缩编码而不降低压缩效率。

在此情况下，其中像素位置在水平方向或垂直方向上交替相互偏离的离散缩减图像通过与小波变换相结合而被取平均。从而，具有一半分辨率的缩减子带图像成为了具有RGB全像素的图像。

即，执行通过小波变换进行的简单的所谓颜色分离(去拜耳化(De-Bayer))处理，并且可以图中未示出的监视器上进行显示，该监视器设置在相机部件10中。这是因为当使用小波变换时，可从相同的图像数据获得不同分辨率的图像。即使从需要诸如拜耳颜色分离之类的颜色分离的图像拍摄元件获得的RAW数据也经历了小波变换，从而可以很容易被显示在监视器等等上。

当从RGB全像素的图像拍摄元件获得的图像被进行小波变换时，RGB中的每一个被子带分割成四个图像，并且该图像被分解成RGB的总共12个子带图像。当使用根据本示例的压缩编码方法时，可将RAW数据视为小波变换后的子带图像的数目上的差异。例如，从拜耳布置获得的RAW数据可被视为四个子带图像，从双倍密度拜耳布置获得的RAW数据可被视为八个子带图像，从具有在倾斜方向上布置的像素的三板图像拍摄元件***获得的RAW数据可被视为六个子带图像。从而，小波变换后的压缩编码处理可以作为共用的处理而实现。

此外，诸如4K图像之类的高分辨率图像有大量数据要处理，因此在执行实时处理时将需要某些并行处理。然而，通过使用根据本示例的压缩编码方法，如上所述可将诸如4K图像之类的高分辨率图像视为子带图像的数目上的差异。从而，可以相互并行地操作必要数目的处理块，来作为图像被进行子带分割后的处理，并且操作速度可以按与并行度相对应的量降低。此外，如后所述，不仅是使用小波变换，对于简单的硬件使用哈尔变换也可获得相同的效果。

图1和图2是示出处理4K×2K像素的相机***的配置示例的框图。图1是示出相机部件10的框图。图2是示出CCU部件20(相机控制单元)的框图。相机部件10和CCU部件20之间的连接是通过使用传送复合相机线缆113来建立的。

图1示出了处理4K图像和2K图像的相机部件10的示例。

相机部件10是能够根据本发明实施例进行图像压缩的图像拍摄装置的示例。

镜头块101控制光圈和变焦，并且在图像拍摄元件部件102上形成光学图像。

此外，图像拍摄元件部件102把从镜头块101输入的光学图像转换成视频数字信号，并且输出该视频数字信号作为图像拍摄RAW数据(D102)。在本示例中，可以针对如图3所示的像素布置的图像拍摄元件中的任何一种进行设置。

<RGB全像素体系>

·利用光学棱镜将光分离成RGB的RGB三板体系

·如下结构的单板体系：在传感器深度方向上具有光波长敏感性

·像液晶电视中那样一个像素被不同地描绘成三个RGB条带的单板体系

<双倍密度拜耳布置>

通常的拜耳布置的像素的密度被加倍，并且被45°倾斜部署。从而，对于G获得全像素，而R像素和B像素是按在倾斜方向上间隔开的像素布置来布置的(图3中的粗框指示通常拜耳布置中的像素)。

<倾斜布置三板体系>

·作为一个图像拍摄元件具有45°倾斜布置的像素并且假定在水平方向或垂直方向上相邻的两个像素或四个像素之间执行像素插值以插值出图3中的粗框(通常拜耳布置中的像素)中的虚线圆圈所指示的像素的像素布置。

·结合光学棱镜，利用三个图像拍摄元件执行图像拍摄的***。

·或者具有上述像素布置并且具有在传感器的深度方向上有光波长敏感性这样一种结构的单板体系。

<拜耳布置>

·所谓的通常拜耳布置

压缩I/F部件105通过小波变换把来自拜耳布置之类的图像拍摄元件的图像拍摄RAW数据(D102)分解成2K频带(2K band)的子带图像。压缩I/F部件105充当子带分割部件，用于使从其中三种原色之中的至少一种颜色的像素位置在水平方向或垂直方向上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中包括的、其像素位置交替相互偏离的那种颜色的图像数据经历以相邻的上下两行的像素或者相邻的左右两列的像素为单位的子带分割。

压缩I/F部件105以相邻的上下两行为单位扫描其像素位置交替相互偏离的那种颜色的图像数据的像素，并且在水平方向上执行小波变换。或者，压缩I/F部件105以相邻的左右两列为单位扫描其像素位置交替相互偏离的那种颜色的图像数据的像素，并且在垂直方向上执行小波变换。

在本示例中，压缩I/F部件105输出以下子带图像。

在水平方向和垂直方向上都为低频分量的2K频带的子带图像被输出作为D105-LL。

在水平方向上为高频分量并且在垂直方向上为低频分量的2K频带的子带图像被输出作为D105-HL。

在水平方向上为低频分量并且在垂直方向上为高频分量的2K频带的子带图像被输出作为D105-LH。

在水平方向和垂直方向上都为高频分量的2K频带的子带图像被输出作为D105-HH。

取决于图像拍摄元件部件102的像素布置，存在这样的情况，即不是对于RGB中的每一个都将2K频带的子带图像HL/LH/HH全部输出，而是不输出一些子带图像。将单独描述其细节。

压缩处理部件106利用压缩编码体系对2K频带的子带图像(D105-LL/HL/LH/HH)中的每一个进行图像压缩，并且输出经压缩的子带图像作为相应的码流(D106-LL/HL/LH/HH)。因为压缩I/F部件105使用小波变换，所以最好压缩处理部件106采用使用同样的小波变换的JPEG2000等等。然而，压缩处理部件106也可使用其他的现有图像压缩体系。

此外，压缩处理部件106充当压缩编码部件，用于在压缩I/F部件105所分割的每个频带中和三种原色的每一种中并行地对从压缩I/F部件105输出的图像数据进行压缩编码。

传送I/F部件107整合来自压缩处理部件106的码流(D106-LL/HL/LH/HH)，作为向CCU部件20传送的接口，并且输出主线传送信号(D107)。此时，作为第一传送接口部件，传送I/F部件107把从码流(D106-LL/HL/LH/HH)形成的压缩子带图像转换成预定的图像信号，并且经由传送复合相机线缆113输出该图像信号。

取景器信号处理部件109是用于将输入图像作为显示信号输出以便在显示***上显示的显示信号输出部件的示例。2K频带的子带图像之中的子带图像D105-LL是在水平方向和垂直方向上都为低频的子带图像，因此可以作为2K大小的RGB全图像而被监视。从而，可以像相机信号处理部件203(参见下文中将要描述的图2)中那样在2K中进行针对白平衡、亮度等等的相机图像调整。另外，取景器信号处理部件109例如生成用于拍摄的设定信息，并且执行用于帮助聚焦的峰化处理，并且将图像拍摄2K图像(D109)输出到取景器部件110。

取景器部件110通过操作部件选择来自取景器信号处理部件109的图像拍摄2K图像(D109)或者从CCU部件20发送来的返回2K图像(D209)，并且显示图像拍摄2K图像(D109)或返回2K图像(D209)。

***控制部件111具有控制软件程序，并且根据该程序来控制整个相机部件10。此外，响应于来自操作部件112的输入，***控制部件111将每个块连接到总线，交换数据，并且控制用于拍摄的设定和状态。

操作部件112接收对相机部件10的操作，并且将该操作以电信号的形式发送到***控制部件111。

传送复合相机线缆113是使得双向信号线路被集成到一条线路中的复合相机线缆。传送复合相机线缆113将相机部件10和CCU部件20相互连接。传送复合相机线缆113把压缩RAW图像数据作为主线传送信号(D107)从相机部件10传送到CCU部件20，并且将用于控制相机部件10的控制信号叠加在未压缩的返回2K图像上，并将该未压缩的返回2K图像从CCU部件20传送到相机部件10。

接下来将参考图2描述CCU部件20的内部配置的示例。

CCU部件20在对从相机部件10压缩传送的RAW图像数据进行解压缩之后以高精确度执行相机信号处理，并且将图像拍摄4K图像(D203)输出到监视器输出部件204。此外，CCU部件20把作为除相机部件10拍摄的图像以外的图像的、从外部输入部件210输入的外部4K图像(D210)作为返回2K图像(D209)发送到相机部件10，并且通过向相机部件10发送控制信号来在相机部件10中进行设定。

传送I/F部件207通过执行从自相机部件10发送来的主线传送信号(D107)到每个子带图像的压缩数据(D106-LL/HL/LH/HH)的转换来作为接口。此时，作为第二传送接口部件，传送I/F部件207把经由传送复合相机线缆113输入的图像信号转换成从码流(D106-LL/HL/LH/HH)形成的压缩子带图像。

解压缩处理部件206充当解压缩解码部件，用于对从相机部件10传送来的每个子带图像的压缩数据进行解压缩，并且将结果作为2K频带的子带图像(D105-LL/HL/LH/HH)输出。此时，解压缩处理部件206针对压缩I/F部件105所分割的每个频带和三种原色的每一种并行地执行对经压缩编码的子带图像进行解压缩解码的处理。

解压缩I/F部件205充当图像解压缩部件，用于通过执行逆小波变换来合成由解压缩处理而产生的2K频带的子带图像(D105-LL/HL/LH/HH)，并且将合成的数据作为图像拍摄RAW数据(D102)输出。此时，解压缩I/F部件205经由传送I/F部件207和解压缩处理部件206接收子带图像。然后，解压缩I/F部件205以相邻的上下两行的像素或相邻的左右两列的像素为单位，把子带图像解压缩成像素位置交替相互偏离的颜色的图像数据，并且把子带图像合成为从图像拍摄元件输出的图像数据。

解压缩I/F部件205通过使子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者使子带图像经历以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将子带图像解压缩成像素位置交替相互偏离的颜色的图像数据。

此外，相机信号处理部件203从由拜耳布置之类的图像拍摄元件部件102输出的图像拍摄RAW数据(D102)创建RGB全4K图像(所谓的颜色分离)以使其为能够被确认为一个图像，针对白平衡、亮度等等进行相机图像调整，并且将图像拍摄4K图像(D203)输出到监视器输出部件204。

监视器输出部件204将4K图像的视频信号输出到外部4K监视器等等。

下转换器(down-converter)部件209通过操作部件212选择来自相机信号处理部件203的图像拍摄4K图像(D203)和来自外部输入部件210的外部4K图像(D210)之一。然后，下转换器部件209将该4K图像下转换成2K图像，并且将该2K图像作为返回2K图像(D209)输出，以通过传送复合相机线缆113将该返回2K图像(D209)传送到相机部件10。因为4K图像具有大量信息并且占用传送频带，而且相机部件10一般不使用能够显示4K图像的取景器部件110，所以CCU部件20将4K图像下转换成2K图像，然后传送2K图像。然而，如果可能，可以直接传送4K图像。此外，虽然CCU部件20从外部输入部件210取入4K图像，但CCU部件20也可以以2K图像的形式取入图像。在该情况下绕过下转换器部件209。

***控制部件211具有控制软件程序，并且根据该程序控制整个相机***。此外，响应于来自操作部件212的输入，***控制部件211将每个块连接到数据总线，交换数据，并且控制CCU部件20中用于拍摄的设定和状态。***控制部件211不仅控制CCU部件20中也控制相机部件10中用于拍摄的设定和状态。用于执行这种控制的控制信号通过传送I/F部件207以叠加在传送复合相机线缆113的信号上的状态被发送到相机部件10。

操作部件212接收对相机***的操作，并且将该操作以电信号的形式传送到***控制部件211。

用于实现本发明的块是压缩I/F部件105和解压缩I/F部件205，它们在压缩图像数据时使用小波变换。从而，首先将描述利用小波类似地执行压缩和解压缩的压缩处理部件106和解压缩处理部件206。

图4是压缩编码时压缩处理部件106的详细框图。

小波变换部件32使2K频带的子带图像D105-LL经历小波变换，然后输出小波变换系数D32-LL。

小波变换部件32一般是用包括低通滤波器和高通滤波器的滤波器组实现的。另外，数字滤波器一般具有多个抽头的长度的冲击响应(滤波器系数)，从而需要预先缓冲足够用于执行滤波的输入图像或系数。另外，在分多级执行小波变换的情况下，需要预先缓冲前一级中生成的小波变换系数，这些系数是执行滤波所必需的。

下面将描述通过小波变换生成的子带图像。

图5示出了子带图像的示例。一般地，在此小波变换中，如图5所示，低频分量被反复地变换和分割。这是因为图像的能量大多集中在低频分量中。从以下事实也可明确这一点：随着分割级别从图6A所示的分割级别＝1前进到图6B所示的分割级别＝3，形成了子带图像。

图5中的小波变换的分割级别是3，并且作为小波变换的结果形成了总共10个子带图像。在此情况下，图5中的L和H分别表示低频和高频，并且L或H前面的数字指示分割级别。具体而言，例如，1LH表示处于分割级别＝1的子带图像，该子带图像在水平方向上具有低频并且在垂直方向上具有高频。

将返回对图4的描述。小波变换系数D32-LL接下来被量化部件33所量化。然后经量化的系数D33-LL被输出。对于此情况中的量化部件，使用标量量化即可，在JPEG2000中也用的是标量量化。如以下的(式1)中所示，把通过将小波变换系数W除以量化步长Δ而获得的值设定为量化系数q的值即可。

q＝W/Δ   …(式1)

量化步长Δ37-LL是从下文中将描述的码量测量部件37提供的。

量化系数D33-LL接下来被输出到熵编码部件35。熵编码部件35利用任意信息源压缩部件对量化系数D33-LL进行压缩。只要采用常用的霍夫曼编码(MPEG和JPEG中采用的体系，该体系参考霍夫曼编码表来生成代码，该霍夫曼编码表是预先根据数据中出现的符号(symbol)的发生频率来创建的)或算术编码(H.264和JPEG2000中采用的体系)作为熵编码部件即可。另外，此时，虽然这里未详细描述，但是与JPEG2000中一样，量化系数可与作为以比特平面为单位的熵编码的EBCOT(具有最优截断的嵌入式块编码)相结合。

熵编码部件35编码的结果被输出作为经编码的码流D35-LL以成为压缩处理部件106的输出D106-LL，并且还被输入到码量测量部件37。

码量测量部件37在累积一个帧内的经编码码流D35-LL的码量的同时，将一个帧内的经编码码流D35-LL的码量与从控制部件36提供来的目标码量D36-LL相比较。当一个帧内的经编码码流D35-LL的码量的累积可能超过目标码量时，码量测量部件37把用于量化部件33的量化步长D37-LL改变成大一级的大小。

相反，当一个帧内的经编码码流D35-LL的码量的累积可能小于目标码量时，码量测量部件37将用于量化部件33的量化步长D37-LL改变成小一级的大小。

以上是对压缩编码时压缩处理部件106的操作的描述。然而，不仅2K频带的子带图像LL分量，而且HL分量、LH分量和HH分量都被输入到压缩处理部件106。

小波变换部件32也可被用于HL/LH/HH分量，就像其用于LL分量那样，以提升分割级别。然而，在图4的示例中，在压缩I/F部件105中已经执行了第一级别的小波变换。从而，根据利用图5所示的图像的能量大多集中于低频分量中这一属性的常见小波变换，采用仅对低频分量的子带图像D105-LL进行反复的变换和分割的模式。

另外，存在这样的情况，其中例如硬件可以以一个电路的形式实现从小波变换到熵编码的处理。在此情况下，对于利用相互并行的四个现有电路形成压缩处理部件106没有施加限制，无需花费精力来开发不执行小波变换的新电路。

在图4的示例中，对于除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH，只执行量化和熵编码，不提升小波分割级别。

然后，除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH分别作为经编码的码流D35-HL、D35-LH和D35-HH而被输出。然后，经编码的码流D35-HL、D35-LH和D35-HH成为压缩处理部件106的输出D106-HL、D106-LH和D106-HH。此外，码量测量部件37在累积一个帧内的各经编码码流的码量的同时，将一个帧内的各经编码码流的码量与从控制部件36提供来的目标码量D36-HL、D36-LH和D36-HH相比较。与LL分量一样，当一个帧内的各经编码码流的码量可能超过目标码量时，码量测量部件37把用于量化部件33的量化步长改变成大一级的大小。相反，当一个帧的各个经编码码流的码量的累积可能小于目标码量时，码量测量部件37将用于量化部件33的量化步长改变成小一级的大小。

各2K频带的子带图像的码量被如上所述地控制。

在以上描述中，控制部件36预先在各相应的码量测量部件37中为各2K频带的子带图像设定目标码量。然而，例如，关于码量累积状况的信息可从每个码量测量部件37发送到控制部件36，并且每个子带的目标码量可根据每个码量测量部件37的码量累积状况而适应性调节和改变。因为自然图像可包括大量的低频分量或相反地包括大量的高频分量，所以最优码量控制可根据图像的属性而执行。

以上是对压缩编码时的操作的描述。

接下来，图7是在解压缩解码时解压缩处理部件206的详细框图，并且压缩解码时的操作将被描述。

被提供以经编码码流D106-LL、D106-HL、D106-LH和D106-HH的熵解码部件38根据与参考图4描述的熵编码相对应的部分执行解码。作为熵解码的结果，生成了量化系数D38-LL、D38-HL、D38-LH和D38-HH。

量化系数D38-LL、D38-HL、D38-LH和D38-HH在解量化部件39中被从量化系数D38-LL、D38-HL、D38-LH和D38-HH转换成小波变换系数D39-LL、D39-HL、D39-LH和D39-HH。此情况中的解量化部件执行作为(式1)的逆的操作，并且可由以下的(式2)来表达：

W＝q×Δ     …(式2)

(W是小波变换系数，q是量化系数，并且Δ是量化步长)。

小波变换系数D39-LL在逆小波变换部件40中被恢复成LL分量的2K频带的子带图像D105-LL。然后子带图像D105-LL被输出。

要明确的是，当除LL分量以外的2K频带的子带图像D105-HL、D105-LH和D105-HH在编码时也经历小波重分割时，只要为每个子带提供逆小波变换部件40以用于将小波变换系数D39-HL、D39-LH和D39-HH恢复成各2K频带的子带图像即可。

以上是对压缩解码时的操作的描述。

下面将参考图8A至8C来总结现有的专利文献2中描述的技术的问题。

图8A示出了使用通常拜耳布置的4K拜耳RAW图像的示例。

虽然存在4K像素，但这4K像素如图8A所示在通常拜耳布置中被不同地描绘成RGB，并且只有与RGB滤色器相对应的光波长分量在各像素中被从光转换成电信号。在通常拜耳布置中，G被布置成棋盘格(格子旗)图案。

图8B示出了通过分离4K拜耳RAW图像的像素而获得的R像素、G1像素、G2像素和B像素这四种颜色分量的示例。

在专利文献2中描述的技术中，上述的4K拜尔RAW图像被视为R像素、G1像素、G2像素和B像素这四种颜色分量。

图8C示出了对于不同像素收集图8B所示的四种颜色分量的示例。

在专利文献2中描述的技术中，图8B所示的颜色分量中包括的像素被收集，以形成2K R图像、2K G1图像、2K G2图像以及2K B图像，并且2K R图像、2K G1图像、2K G2图像和2K B图像各自经历使用小波变换的压缩编码，然后被记录。

G1像素和G2像素原本在倾斜方向上是相邻的，并且已知G1像素和G2像素之间具有很高的相关性。然而，专利文献2中描述的技术花费精力来对G1图像和G2图像进行压缩编码，就好像G1图像和G2图像是两个独立图像(或两种颜色分量)那样，从而降低了压缩效率。虽然尤其是小波变换因为整个画面被转换成了子带而实现了高压缩效率，但是很难说现有技术与小波变换的组合可以享受到小波变换中固有的高压缩率。

此外，如图8B所示，由于G1图像和G2图像的亚采样而导致的“离散缩减”被执行。从而，很明显，当只有G1图像或G2图像被显示在2K监视器上时，根据采样定理而发生混叠。从而，G1图像和G2图像都可用于通过信号处理而生成2K平均图像，并随后将2K平均图像显示在监视器上，但是必须两次访问2K的数据。然而，小波变换是子带分割，从而本质上就能够在只有2K低频分量被访问时使能监视器上的显示。从这个方面来看，也很难说专利文献2中描述的技术完全享受了小波变换的优点。

图9A至9D示出了现有技术被应用到双倍密度拜耳布置的示例。

在图9A中，通常拜耳布置的像素密度被加倍，并且像素被45°倾斜布置。

在此布置中，G图像是4K全像素的，R图像和B图像是倾斜间隔开的，但在水平方向和垂直方向上提供了4K分辨率。该布置的像素密度是通常拜耳布置的两倍，从而该布置在以下描述中将被称为“双倍密度拜耳布置”。

现在将考虑根据专利文献2中描述的技术对使用此双倍密度拜耳布置的4K RAW图像进行压缩的情况。在此情况下，与拜耳布置不同，对于G提供所有4K像素，而R图像和B图像是棋盘格图案的形式，如图9B所示。从而，如图9C所示，4K RAW图像被视为R1像素、R2像素、G像素(4K分辨率)、B1像素和B2像素这五种颜色分量。然后，如图9D所示收集像素，以形成2K R1图像、2K R2图像、4K G图像、2K B1图像和2K B2图像。每个图像经历使用小波变换的压缩编码，然后被记录。

虽然在拜耳布置中只有G图像经历了分离成两个画面的亚采样分离并随后被压缩，但在双倍密度拜耳布置中R图像和B图像都经历了到两个画面的亚采样分离。另外，在拜耳布置中，高像素密度的G图像被分离成两个画面，从而即使当G图像的压缩效率被降低时也原本具有高像素密度，并且可以与低像素密度的R图像和G图像的压缩图像质量获得平衡。

另一方面，在双倍密度拜耳布置中，低像素密度的R图像和B图像都进一步经历到两个画面的亚采样分离，从而具有低像素密度并且压缩效率也降低，并且与G图像的压缩图像质量的平衡进一步受到了妨害。

此外，如联系拜耳布置的G图像所述，当经亚采样的R图像和经亚采样的B图像被直接显示在2K监视器上时，恐怕会发生混叠。

另一方面，可以预期根据本示例的相机部件10将利用小波变换的固有特征、联系尤其是双倍密度拜耳布置中的R图像和B图像的RAW数据压缩，而提供巨大的改善。另外，从通常拜耳布置到RGB全像素的像素布置都可通过同一种方法来处理。

接下来将参考图10来描述压缩I/F部件105的小波变换时的处理的示例。

压缩I/F部件105在使用小波变换时可使其效果最大化。从而，虽然压缩I/F部件105具有与压缩处理部件106中的小波变换部件32相同的基本配置，但是将参考图10来重新描述压缩I/F部件105的处理。

图像拍摄RAW数据D102作为压缩I/F部件105的输入图像被输入。在此情况下，假定图3所示的4K RGB全像素被输入，4096×2160大小的三个R/G/B分量经历完全相同的处理。

首先，输入图像经历水平方向上的小波变换。该小波变换包括低通滤波器(LPF)和高通滤波器(HPF)，它们各自执行2∶1下采样(图10中由向下箭头和数字2指示)。结果，获得了水平方向上减半的2048×2160大小的低频子带图像(L)和高频子带图像(H)。

接下来，2048×2160低频子带图像(L)经历垂直方向上的小波变换。该小波变换经由低通滤波器(LPF)和高通滤波器(HPF)中的每一个执行2∶1下采样。作为此处理的结果，获得了垂直方向上减半的2048×1080大小的低频子带图像(L，L)D105-LL和高频子带图像(L，H)D105-LH。

此外，2048×2160高频子带图像(H)经历垂直方向上的小波变换。该小波变换经由低通滤波器(LPF)和高通滤波器(HPF)中的每一个执行2∶1下采样。作为此处理的结果，获得了垂直方向上减半的2048×1080大小的低频子带图像(H，L)D105-HL和高频子带图像(H，H)D105-HH。

如上所述，压缩I/F部件105使4096×2160大小的三个R/G/B分量经历小波变换，并且获得以下三个分量：

·在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带图像(L，L)D105-LL是三个R/G/B分量

·在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带图像(L，H)D105-LH是三个R/G/B分量

·在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带图像(H，L)D105-HL是三个R/G/B分量

·在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带图像(H，H)D105-HH是三个R/G/B分量

从而，2048×1080大小的四种子带图像被转换成三个R/G/B分量的总共12个2048×1080大小的子带图像。

接下来将描述逆小波变换时解压缩I/F部件205的处理。

从相机部件10传送来并且经解压缩处理部件206解压缩的2048×1080大小的每个子带图像(D105-LL/HL/LH/HH)的三个R/G/B分量作为输入图像被输入到解压缩I/F部件205中。

在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带图像(L，L)D105-LL和在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带图像(L，H)D105-LH经历垂直方向上的逆小波变换。该逆小波变换使子带图像D105-LL经历1∶2上采样(图11中由向上箭头和数字2指示)，然后使子带图像D105-LL经过低通滤波器(LPF)，并且使子带图像D105-LH经历1∶2上采样，然后使子带图像D105-LH经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得垂直方向上加倍的2048×2160大小的低频子带图像(L)。

此外，在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带图像(H，L)D105-HL和在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带图像(H，H)D105-HH经历垂直方向上的逆小波变换。该逆小波变换使子带图像D105-HL经历1∶2上采样，然后使子带图像D105-HL经过低通滤波器(LPF)，并且使子带图像D105-HH经历1∶2上采样，然后使子带图像D105-HH经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得垂直方向上加倍的2048×2160大小的高频子带图像(H)。

接下来，由垂直方向上的逆小波变换产生的2048×2160大小的低频子带图像(L)和2048×2160大小的高频子带图像(H)经历水平方向上的逆小波变换。该逆小波变换使低频子带图像(L)经历1∶2上采样，然后使低频子带图像(L)经过低通滤波器(LPF)，并且使高频子带图像(H)经历1∶2上采样，然后使高频子带图像(H)经过高通滤波器(HPF)。然后，两个子带图像被合成，从而获得水平方向也加倍的4096×2160大小的图像拍摄RAW数据D105。

如上所述，逆小波变换时解压缩I/F部件205的处理是利用从相机部件10传送来的、经解压缩的2048×1080大小的子带图像(D105-LL/HL/LH/HH)来执行的。在此处理中，利用针对三个R/G/B分量的子带图像，在垂直方向和水平方向上执行逆小波变换，并且将子带图像解码成4096×2160大小的三个R/G/B分量。

现在将参考图12A至12D来描述本示例中的压缩I/F部件105如何针对图3所示的双倍密度拜耳布置执行处理。

图12A示出了如上所述通过使通常拜耳布置的像素密度加倍并且以45°倾斜地布置通常拜耳布置而形成的双倍密度拜耳布置。在双倍密度拜耳布置中，G图像是4K全像素，R图像和G图像是倾斜间隔开的，但在水平方向和垂直方向上提供4K分辨率。

此时，图像拍摄元件部件102具有双倍密度拜耳布置，这是通过使拜耳布置的像素密度加倍并且以45°倾斜地布置拜耳布置而获得的像素布置。

压缩I/F部件105通过以相邻的上下两行为单位扫描像素并且执行水平方向上的小波变换，或者通过以相邻的左右两列为单位扫描像素并且执行垂直方向上的小波变换，来把从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和B图像数据分解成R和B子带图像。压缩I/F部件105通过以一行的像素为单位执行水平方向上的小波变换并且以一列的像素为单位执行垂直方向上的小波变换，来把G图像数据分解成G子带图像。

具体而言，首先描述G，要明确的是，只要进行与参考图10描述的处理完全相同的处理即可，因为G图像具有4K全像素。

具体而言，压缩I/F部件105如图12B所示使4096×2160大小的G图像经历水平方向上的小波变换。然后，如图12C所示获得水平方向上减半的2048×2160大小的低频子带G图像(L)和高频子带G图像(H)。以JPEG2000中定义的5×3可逆小波滤波器(对于低通侧的滤波器有五个抽头，对于高通侧的滤波器有三个抽头)为例，图中虚线所围绕的区域表示五抽头滤波器(低通侧的滤波器)所覆盖的像素范围，其中图中左端的像素(带有星形的像素)是该像素范围的中心。这是对水平方向上的每两个像素执行的，从而实现了2∶1下采样。关于细节，应参考JPEG2000标准等等。

接下来，水平方向上减半的2048×2160大小的低频子带G图像(L)和高频子带G图像(H)如图12C所示经历垂直方向上的小波变换。然后，获得以下子带图像，如图12D所示。

在水平方向和垂直方向上都经过了低通滤波器的2048×1080大小的子带G图像(LL)。

在水平方向上经过了低通滤波器并且在垂直方向上经过了高通滤波器的2048×1080大小的子带G图像(LH)。

在水平方向上经过了高通滤波器并且在垂直方向上经过了低通滤波器的2048×1080大小的子带G图像(HL)。

在水平方向和垂直方向上都经过了高通滤波器的2048×1080大小的子带G图像(HH)。

从而，形成4K双倍密度拜耳RAW图像的G图像被转换成四种2048×1080大小的子带G图像。

现在将考虑R图像和B图像。R图像和B图像是棋盘格图案的形式。因此，当使用参考图9A至9D描述的方法时，像素密度较低，并且压缩效率也降低，如上所述。从而，与G图像的压缩图像质量的平衡进一步受到妨害。

本示例中的压缩I/F部件105从而使R图像和B图像经历以相邻的上下两行为单位的小波变换。

具体而言，如图12B所示，压缩I/F部件105以相邻的上下两行为单位，以W的形式扫描R图像的像素，并且就好像这些像素形成一行的像素数据那样执行小波变换。

此外，压缩I/F部件105以相邻的上下两行为单位，以M的形式扫描B图像的像素，并且就好像这些像素形成一行的像素数据那样执行小波变换。

当上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，R图像和B图像可被视为4096×1080图像。

此4096×1080R图像经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带R图像；以及

经过了高通滤波器的2048×1080大小的子带R图像。

4096×1080B图像类似地经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带B图像；以及

经过了高通滤波器的2048×1080大小的子带B图像。

在已执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小相一致。从而，不在垂直方向上执行小波变换。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图12D中，以下描述用于与下文中描述的其他体系相区分，并且用于描述仅经历了水平方向上的小波变换的R图像和B图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(HL)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(HL)

虽然已经在假定压缩I/F部件105以W的形式扫描R像素并且以M的形式扫描B像素的情况下进行了描述，但是要明确的是，当R像素和B像素的起始像素位置变得不同时，W形式和M形式被颠倒。

已经参考图12A至12D描述了通过对双倍密度拜耳布置的R图像和B图像以相邻的上下两行为单位执行小波变换来解决这些问题的方法。作为另一种方法，将参考图13A至13D来描述通过对双倍密度拜耳布置的R图像和B图像以相邻的左右两个像素为单位执行小波变换来解决这些问题的方法。

首先，对于G图像，因为G图像具有4K全像素，所以执行与参考图12A至12D描述的处理完全相同的处理，这里将省略。

虽然从图13A至13D明显可见，但仍将按顺序描述对双倍密度拜耳布置的R图像和B图像的处理。

此时，压缩I/F部件105以相邻的左右两列为单位扫描从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和B图像数据的像素，并且执行垂直方向上的小波变换。然后，对于G图像数据，压缩I/F部件105以一行的像素为单位执行水平方向上的小波变换并且以一列的像素为单位执行垂直方向上的小波变换。

具体而言，如图13B所示，R像素和B像素直接被发送到垂直方向上的小波变换，而不经历水平方向上的小波变换。此时，如图13C所示，压缩I/F部件105以相邻的左右两个像素为单位以朝左的W的形式扫描R像素，并且就好像这些像素形成布置成一列的像素数据那样执行小波变换。

此外，压缩I/F部件105以相邻的左右两个像素为单位以朝右的W的形式扫描B像素，并且就好像这些像素形成布置成一列的像素数据那样执行小波变换。

当左右两个像素被设定为一个单位时，可以认为R图像和B图像在垂直方向上具有2160个真实像素。从而，R图像和B图像可被视为2048×2160图像。

此2048×2160R图像经历垂直方向上的小波变换。此时，压缩I/F部件105将该2048×2160R图像转换成：

经过了低通滤波器的2048×1080大小的子带R图像；以及

经过了高通滤波器的2048×1080大小的子带R图像。

2048×2160B图像类似地经历垂直方向上的小波变换。此时，压缩I/F部件105将该2048×2160B图像转换成：

经过了低通滤波器的2048×1080大小的子带B图像；以及

经过了高通滤波器的2048×1080大小的子带B图像。

在已执行了垂直方向上的小波变换的时间点，获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小相一致。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图13D中，子带图像被如下描述，以便区分于下文中将要描述的其他体系，并且用于描述仅经历了垂直方向上的小波变换的R图像和B图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(LH)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(LH)

虽然以上已经在假定压缩I/F部件105以朝左的W的形式扫描R像素并且以朝右的W的形式扫描B像素的情况下参考图13A至13D进行了描述，但是要明确的是，当R像素和B像素的起始像素位置变得不同时，朝左的W的形式和朝右的W的形式被颠倒。

另一方面，解压缩I/F部件205通过使R和B子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将R和B子带图像解压缩成R和B图像数据。解压缩I/F部件205通过使G子带图像经历以一行的像素为单位的水平方向上的逆小波变换和以一列的像素为单位的垂直方向上的逆小波变换，来将G子带图像解压缩成G图像数据。

以上已经参考图12A至12D和图13A至13D描述了如何针对双倍密度拜耳布置执行小波变换处理。

接下来将参考图14A至14D来描述在小波变换之后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。

以下描述将利用作为JPEG20005×3可逆小波滤波器系数的(-1/8，2/8，6/8，2/8，-1/8)作为示例来进行。

图14A示出了5×3可逆小波滤波器被应用到G图像的示例。首先，水平方向上的五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

接下来，垂直方向上的五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的上方两个像素和下方两个像素被乘以对称的系数。从而，垂直方向上的像素的重心也与第三个像素的位置一致。

即，通过使G图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向和垂直方向上都是被乘以了滤波器系数6/8的像素(图14A中的圆圈标记○)的位置。

图14B示出了5×3可逆小波滤波器被应用到R图像的示例。如参考图12A至12D所述，压缩I/F部件105以相邻的上下两行为单位以W的形式扫描R图像的像素，并且使这些像素经历小波变换，就好像这些像素是一行的像素数据那样。

五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

R图像不经历垂直方向上的小波变换。关注上述水平方向上的小波系数，滤波器系数(-1/8，6/8，-1/8)被应用到上方一行的三个像素。从而表明上方一行的三个像素的系数的权重是

-1/8+6/8-1/8＝1/2

接下来，滤波器系数(2/8，2/8)被应用到下方一行的两个像素，从而表明下方一行的两个像素的系数的权重是

2/8+2/8＝1/2

以上表明，R图像的垂直方向上的像素的重心正好是以相邻的上下两行为单位以W的形式扫描像素的那两行之间的中间位置。

即，通过使R图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向上是被乘以了滤波器系数6/8的像素的位置，而在垂直方向上是被设定为作为一个单位的相邻的上下两行的那些行之间的位置(图14B中的圆圈标记○)。

图14C示出了5×3可逆小波滤波器被应用到B图像的示例。如参考图12A至12D所述，压缩I/F部件105以相邻的上下两行为单位以M的形式扫描B图像的像素，并且使这些像素经历小波变换，就好像这些像素是一行的像素数据那样。

五个像素被乘以滤波器系数(-1/8，2/8，6/8，2/8，-1/8)。第三个像素被乘以6/8，并且以第三个像素为中心的左侧两个像素和右侧两个像素被乘以对称的系数。从而，水平方向上的像素的重心与第三个像素的位置一致。

B图像不经历垂直方向上的小波变换。关注上述水平方向上的小波系数，滤波器系数(-1/8，6/8，-1/8)被应用到下方一行的三个像素。从而表明下方一行的三个像素的系数的权重是

-1/8+6/8-1/8＝1/2

接下来，滤波器系数(2/8，2/8)被应用到上方一行的两个像素，从而表明上方一行的两个像素的系数的权重是

2/8+2/8＝1/2

以上表明，B图像的垂直方向上的像素的重心正好是以相邻的上下两行为单位以M的形式扫描像素的那两行之间的中间位置。

即，通过使B图像经过低通小波滤波器而获得的2048×1080大小的子带图像的像素重心位置在水平方向上是被乘以了滤波器系数6/8的像素的位置，而在垂直方向上是被设定为作为一个单位的相邻的上下两行的那些行之间的位置(图14C中的圆圈标记○)。

总结以上内容，经过了低通小波滤波器的2048×1080大小的子带图像的像素重心位置如图14D所示。此时，表明了R图像和B图像具有相同的位置，而G图像在垂直方向上具有相同的位置，而仅略微偏离了1/2像素。

诸如JPEG2000之类的使用小波滤波器的子带分割的特征之一是可从一个压缩流获得1/2n分辨率的图像大小。这表明，在双倍密度拜耳布置中，当仅显示在水平方向和垂直方向中的每一个上具有一半图像大小的低频子带图像时，RGB的像素重心位置也是基本相同的。即，表明了可以显示基本没有颜色偏离的低频子带图像，而无需使像素重心位置相互一致。

当然，当G图像在水平方向上被校正1/2像素时，RGB的像素重心位置完全相互一致。另外，在此情况下，因为只有G图像在水平方向上被校正1/2像素，所以可以获得只要较小的硬件规模即可的效果。

此外，当R图像和B图像如图13A至13D所示仅在垂直方向上经历小波变换时，表明了当应用与图14A至14D类似的考虑时，虽然没有详细示出，R图像和B图像具有相同的位置，而G图像在水平方向上具有相同位置，而在垂直方向上仅略微偏离1/2像素。

以上是针对双倍密度拜耳布置的处理的细节。

接下来将参考图15A至15D描述针对图3中的倾斜布置三板体系的压缩编码处理的示例。

图15A示出了作为一个图像拍摄元件102具有45°倾斜布置的像素并且假定在相邻的两个水平或垂直像素或者四个水平或垂直像素之间执行像素插值以插值出图中的虚线圆圈标记所指示的像素的像素布置。

此时，图像拍摄元件部件102是倾斜布置三板体系，这是具有45°倾斜布置的像素并且假定在水平方向或垂直方向上相邻的像素之间执行了插值的像素布置。

以下将描述将本发明应用到利用具有上述像素布置的三个图像拍摄元件部件102并结合光学棱镜来执行图像拍摄的***或者具有该像素布置并且具有在传感器深度方向上有光波长敏感性的这样一种结构的单板型图像拍摄***的方法。

首先，因为假定图15A中虚线圆圈标记所指示的像素是从周围像素插值而来的，所以可以认为图15A中虚线圆圈标记所指示的像素不是作为真实像素存在的。即，如图15B所示，阴影所指示的像素被认为是不存在的，并且此图案因此可被认为与以上参考图12A至12D描述的双倍密度拜耳布置中的R或B像素的图案相同。

差异在于，R图像、B图像和G图像都具有相同的图案。

因此，只要使R图像、B图像和G图像经历以相邻的上下两行为单位的小波变换即可。

此时，压缩I/F部件105通过以相邻的上下两行为单位扫描来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据的像素并且执行水平方向上的小波变换，或者以相邻的左右两列为单位扫描来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据的像素并且执行垂直方向上的小波变换，来将来自倾斜布置三板体系的图像拍摄元件部件102的所有RGB图像数据分解成子带图像。

具体而言，如图15B所示，压缩I/F部件105以相邻的上下两行为单位以W的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。取决于像素的起始位置，可以以相邻的上下两行为单位以M的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

当相邻的上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，RGB图像可被视为4096×1080图像。

这些4096×1080图像经历水平方向上的小波变换，从而RGB图像被各自转换成：

经过了低通滤波器的2048×1080大小的子带图像；以及

经过了高通滤波器的2048×1080大小的子带图像。

在执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像。从而，不在垂直方向上执行小波变换。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K倾斜布置三板体系中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图15D中，2048×1080大小的子带图像被描述如下，以区分于下文中将描述的其他体系，并且用于描述仅经历了水平方向上的小波变换的图像。

·经过了低通滤波器的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器的2048×1080大小的子带R图像是子带R图像(HL)

·经过了低通滤波器的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器的2048×1080大小的子带G图像是子带G图像(HL)

·经过了低通滤波器的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器的2048×1080大小的子带B图像是子带B图像(HL)

虽然已经参考图15A至15D描述了其中倾斜布置三板体系的图像经历以相邻的上下两行为单位的小波变换的处理，但是作为另一种方法，也可以以相邻的左右两个像素为单位执行小波变换。然而，该处理与参考图13A至13D描述的双倍密度拜耳布置的R图像和B图像的处理完全相同，并且在这里将被省略。

另一方面，解压缩I/F部件205通过使子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将子带图像解压缩成来自倾斜布置三板体系的图像拍摄元件的RGB图像数据。

已经参考图14A至14D描述了在双倍密度拜耳布置中在小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。

然而，在倾斜布置三板体系中，像素位置被调节，以便在光学上相互一致。从而，很明显，对于RGB，小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置是相同的，因此对其的描述将被省略。

以上是针对倾斜布置三板体系的处理的细节。

接下来将参考图16A至16D描述针对图3所示的通常拜耳布置的处理的示例。

图16A示出了所谓的通常拜耳布置。

此时，图像拍摄元件部件102具有拜耳布置。

在图16B中，拜耳布置被分离成RGB中的每一个，并且不存在真实像素的位置由阴影指示。R图像和B图像是处于分离状态的、已经被离散缩减的2048×1080大小的图像。

从图16B中可以明确，可认为G图像与参考图12A至12D描述的双倍密度拜耳布置的R像素或B像素相同。

因此，只要使G图像经历以相邻的上下两行为单位的小波变换即可。

此时，压缩I/F部件105不向来自拜耳布置的图像拍摄元件部件102的RGB图像数据的R和B图像数据应用小波变换。压缩I/F部件105通过以相邻的上下两行为单位扫描G图像数据的像素并且执行水平方向上的小波变换，或者以相邻的左右两列为单位扫描G图像数据的像素并且执行垂直方向上的小波变换，来将G图像数据分解成子带图像。

具体而言，如图16B所示，压缩I/F部件105以相邻的上下两行为单位以M的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

取决于像素的起始位置，可以以相邻的上下两行为单位以W的形式扫描像素，并且就好像这些像素是一行的像素数据那样执行小波变换。

当相邻的上下两行被设定为一个单位时，可以认为一行具有4096个真实像素。从而，G图像可被视为4096×1080的图像。

4096×1080的G图像经历水平方向上的小波变换，以被转换成：

经过了低通滤波器的2048×1080大小的子带G图像；以及

经过了高通滤波器的2048×1080大小的子带G图像。

在执行了水平方向上的小波变换的时间点，已经获得了2048×1080大小的子带图像。从而，不在垂直方向上执行小波变换。

这意味着，虽然R图像和B图像被离散缩减，但对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K通常拜耳布置中具有相同大小，因此从压缩处理部件106起以后的处理可以是共用的处理。将单独详细描述这一点。

在图16D中，如下进行描述，以使得R图像和B图像对于其他体系的处理是共用的(虽然R图像和B图像被离散缩减)，并且对于G图像，则用于与下文中将描述的其他体系相区分，并且用于描述仅经历了水平方向上的小波变换的图像。

·2048×1080大小的R图像是子带R图像(LL)

·经过了低通滤波器的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器的2048×1080大小的子带G图像是子带G图像(HL)

·2048×1080大小的B图像是子带B图像(LL)

虽然已经参考图16A至16D描述了通常拜耳布置的G图像经历以相邻的上下两行为单位的小波变换的方法，但是作为另一种方法，也可以以相邻的左右两个像素为单位执行小波变换。然而，该方法与作为参考图13A至13D描述的双倍密度拜耳布置的R图像和B图像的处理而描述的处理完全相同，并且在这里将被省略。

另一方面，解压缩I/F部件205在不使R和B子带图像经历逆小波变换的情况下将R和B子带图像解压缩成R和B图像数据，并且通过使G子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者以相邻的左右两列的像素为单位的垂直方向上的逆小波变换来将G子带图像解压缩成G图像数据。

已经参考图14A至14D描述了双倍密度拜耳布置中在小波变换后经过了低通滤波器的2048×1080大小的子带图像的像素重心位置。然而，在通常拜耳布置中，R图像和B图像与其他发明中一样经历简单的离散缩减处理。从而，像素位置直接保持拜耳布置的像素位置，因此对其的描述将被省略。

以上是针对通常拜耳布置的处理的细节。

已经进行了描述以表明压缩I/F部件105从而与图3所示的各种像素布置的任何图像拍摄元件相兼容。

接下来将进行描述以表明，因为对于图3所示的各种像素布置的任何图像拍摄元件部件102，从压缩I/F部件105输出的子带图像都具有2048×1080大小，所以从压缩处理部件106起以后的处理可以是共用的处理。

图17示出了对与到此为止描述的各种像素布置的图像拍摄元件部件102相对应的从压缩I/F部件105输出的子带图像的总结。

具体而言，这些子带图像可被总结为2048×1080大小的子带的数目的差异，如下。(在图17中，未输出的子带图像由虚线表示)。

*RGB全像素体系

·G：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·B：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·R：2048×1080大小的四个子带分量(LL/HL/LH/HH)

→2048×1080大小的十二个子带分量

*双倍密度拜耳布置

·G：2048×1080大小的四个子带分量(LL/HL/LH/HH)

·B：2048×1080大小的两个子带分量(LL/HL)

·R：2048×1080大小的两个子带分量(LL/HL)

→2048×1080大小的八个子带分量

*倾斜布置三板体系

·G：2048×1080大小的两个子带分量(LL/HL)

·B：2048×1080大小的两个子带分量(LL/HL)

·R：2048×1080大小的两个子带分量(LL/HL)

→2048×1080大小的六个子带分量

*拜耳布置

·G：2048×1080大小的两个子带分量(LL/HL)

·B：2048×1080大小的一个子带分量(LL)

·R：2048×1080大小的一个子带分量(LL)

→2048×1080大小的四个子带分量

此外，在任何像素布置中，对于RGB图像中的每一个都存在子带(LL)(图17中粗框所包围的子带)。从而，如上所述，进行简单的颜色分离，并且可将这些子带确认为一个图像。解压缩I/F部件205通过执行将图像分割成子带图像的处理(该处理是由压缩I/F部件105执行的)的逆来合成图像。

接下来将描述针对各种像素布置的图像拍摄元件，压缩I/F部件105和解压缩I/F部件205的具体处理方法。

图18和图19是帮助说明与RGB全像素体系相对应的处理方法的示图(图18对应于小波变换时的处理，图19对应于逆变换时的处理)。

图18和图19与图10和图11相同，因此这里将省略重复描述。如图18所示，压缩I/F部件105对RGB全像素体系的记录RAW数据的R图像、G图像和B图像全都执行相同的处理。此时，压缩I/F部件105对R图像、G图像和B图像在水平方向和垂直方向上都执行小波变换，并且输出2048×1080大小的子带的12个分量。此外，如图19所示，解压缩I/F部件205执行该小波变换的逆变换，将该12个分量恢复成RGB全像素体系的图像拍摄RAW数据。

图20和图21是帮助说明与双倍密度拜耳布置的图像拍摄元件相对应的处理方法的示图(图20对应于小波变换时的处理，图21对应于逆变换时的处理)。

如图20所示，压缩I/F部件105对于双倍密度拜耳布置的图像拍摄RAW数据中的G图像，在水平方向和垂直方向上都执行小波变换。然而，对于R图像和B图像，压缩I/F部件105在如图12B所示的扫描后仅执行水平方向上的小波变换，绕过垂直方向小波变换电路，直接输出结果。在图20中，被绕过的部分由阴影指示。被绕过的部分在以下的图21至25中也是类似地表示的。压缩I/F部件105输出2048×1080大小的子带的八个分量。如图21所示，同样，在逆变换中，对于R图像和B图像，解压缩I/F部件205绕过垂直方向小波合成电路，仅执行水平方向上的小波合成。解压缩I/F部件205可以通过在水平方向和垂直方向上都执行小波合成来将G图像恢复成双倍密度拜耳布置的图像拍摄RAW数据。

图22和图23是帮助说明与倾斜布置三板体系相对应的处理方法的示图(图22对应于小波变换时的处理，图23对应于逆变换时的处理)。

如图22所示，压缩I/F部件105对于倾斜布置三板体系的图像拍摄RAW数据中的R图像、G图像和B图像全都执行相同的处理。此时，压缩I/F部件105执行如图15B所示的扫描，对于R图像、G图像和B图像仅执行水平方向上的小波变换，绕过垂直方向小波变换电路，直接输出结果。压缩I/F部件105输出2048×1080大小的子带的六个分量。此外，如图23所示，同样，在逆变换中，解压缩I/F部件205对于R图像、G图像和B图像全都执行相同的处理。解压缩I/F部件205绕过垂直方向小波合成电路，仅执行水平方向上的小波合成。解压缩I/F部件205将六个分量恢复成倾斜布置三板体系的图像拍摄RAW数据。

图24和图25是帮助说明与通常拜耳布置的图像拍摄元件相对应的处理方法的示图(图24对应于小波变换时的处理，图25对应于逆变换时的处理)。

如图24所示，对于通常拜耳布置的图像拍摄RAW数据中的G图像，压缩I/F部件105执行如图16B所示的扫描，并且仅在水平方向上执行小波变换。然而，对于R图像和B图像，压缩I/F部件105也不执行水平方向上的小波变换，而是执行绕过处理。压缩I/F部件105对于R图像、G图像和B图像中的每一个都绕过垂直方向小波变换电路，直接输出结果。从而，压缩I/F部件105输出2048×1080大小的子带的四个分量。

此外，如图25所示，同样，在逆变换中，解压缩I/F部件205对于R图像、G图像和B图像中的每一个绕过垂直方向小波合成电路，并且仅对于G图像执行水平方向上的小波合成。对于R图像和B图像，解压缩I/F部件205也不执行水平方向上的小波合成，而是执行绕过处理。从而，图像可被恢复成通常拜耳布置的图像拍摄RAW数据。

当压缩I/F部件105根据输入的图像拍摄RAW数据的种类这样绕过小波电路时，可以针对各种像素布置的图像拍摄元件进行设置。从而，只要通过控制压缩I/F部件105的处理，就可以使从压缩处理部件106起以后的处理成为共用的处理，只是在输入子带图像的分量的数目上有差异。类似地，只要通过控制解压缩I/F部件205的处理，就可以使从解压缩处理部件206起以后的处理成为共用的处理，只是在输入子带图像的分量的数目上有差异。然后，解压缩I/F部件205根据输入子带图像的类型绕过逆小波变换电路，从而由各种像素布置的图像拍摄元件进行的图像拍摄产生的图像拍摄RAW数据可以被合成。

此外，从压缩处理部件106起以后的处理和从解压缩处理部件206起以后的处理可以被并行地执行。具体而言，在压缩处理部件106中，图4中用于子带图像D105-LL的电路、图4中用于子带图像D105-HL的电路、图4中用于子带图像D105-LH的电路以及图4中用于子带图像D105-HH的电路中的每一者对于RGB的三个并行***分别设置(总共十二个***)。从而，可以在4K RGB全图像的情况下使用所有这些***，而在其他情况下只使用这些***的一部分。类似地，在解压缩处理部件206中，图7中用于子带图像D106-LL的电路、图7中用于子带图像D106-HL的电路、图7中用于子带图像D106-LH的电路以及图7中用于子带图像D106-HH的电路中的每一者对于RGB的三个并行***分别设置(总共十二个***)。从而，操作速度可以降低，降低量与并行度相对应。即，可以采用适合于实时处理的配置。

根据上述第一实施例的相机***可以对从没有RGB全像素的、拜耳布置的图像拍摄元件部件102、没有RGB全像素的、双倍密度拜耳布置的图像拍摄元件部件102、以及没有RGB全像素的、使用具有在倾斜方向上布置的像素的三个图像拍摄元件部件102的图像拍摄***获得的RAW数据之中的任何一种中的三个R/G/B分量中的每一个进行高效的压缩编码。

过去，处理诸如4K图像之类的高分辨率图像的相机***不可避免地要进行大量的信号处理。此外，从图像拍摄元件的诸如S/N(信噪比)、灵敏度之类的特性的角度来看，该相机***是难以实现的，除非预先通过使用所谓的拜耳布置等等来减少像素数目并随后传送RAW数据。然而，因为并非RGB的所有像素都存在，所以当直接使用RAW数据执行压缩和传送时，压缩效率没有提高，如背景技术部分中所述。

另一方面，通过使用根据上述第一实施例的压缩I/F部件105和解压缩I/F部件205，可以对整个画面进行转换或逆转换(这是小波变换的特征)，并且利用小波变换中固有的高压缩效率。尤其对于双倍密度拜耳布置中的R图像和B图像的RAW数据的压缩，可以预期利用小波变换的固有特征的压缩效率的巨大改善。

此外，相机部件10可以直接压缩依图像拍摄元件而定的RAW图像数据，并将经压缩的RAW图像数据传送到CCU部件20。从而，与以未压缩的状态传送RAW图像数据的情况相比，可以减小传送频带。尤其当相机***处理诸如4K图像、8K图像之类的高分辨率的图像或者诸如60P/240P之类的高帧速率的图像时，数据量变得巨大。然而，相机部件10可以压缩RAW图像数据并且将经压缩的RAW图像数据传送到CCU部件20，并且CCU部件20可以执行解压缩处理，重建RAW图像数据，然后执行高精度的实时相机信号处理。从而，相机部件10的大小、重量和功耗可得以减小。

此外，相机部件10只要通过设定压缩比率以使得RAW图像数据被包含在现有复合相机线缆的传送频带中，就可以将RAW图像数据传送到CCU部件20。从而，可以构造一种例如不需要使用多条昂贵的复合相机线缆的相机***。

从而，可以实现一种具有很高程度的硬件效率的相机部件10，该相机部件是低分辨率简单显示***，而不需要特别的颜色分离电路或下转换电路。

另外，压缩I/F部件105和解压缩I/F部件205的处理可适应于现有RGB全像素体系、双倍密度拜耳布置、倾斜布置三板体系和通常拜耳布置的任何图案。从而，产生了这样一种效果，即能够执行共用的硬件处理，只是“子带图像分量的数目有差异”。这表明也提供了这样一种优点，即在处理高分辨率图像的***中，能够执行并行硬件处理并且实现实时处理。

<2.第二实施例>

[使用哈尔变换对图像进行压缩编码或使用逆哈尔变换对子带图像进行解码的示例]

接下来将参考图26A至28D来描述应用到根据本发明第二实施例的相机部件10的示例。

如上所述，压缩I/F部件105与小波变换相结合提供了最有效压缩的方法。然而，不仅小波变换，降低硬件负担的哈尔变换也可实现该方法。

此时，压缩I/F部件105以相邻的上下两行为单位使像素位置交替相互偏离的那种颜色的图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换。另一方面，解压缩I/F部件205通过以相邻的上下两行的像素为单位使子带图像经历逆哈尔变换，来将子带图像解压缩成像素位置交替相互偏离的那种颜色的图像数据。

图26A至26D示出了压缩I/F部件105针对双倍密度拜耳布置执行哈尔变换的示例。

图26A示出了双倍密度拜耳布置。

首先描述G图像，G图像具有4K全像素，因此取代参考图12A至12D描述的处理中那样的水平方向和垂直方向上的小波变换执行哈尔变换即可。

此时，压缩I/F部件105通过使从双倍密度拜耳布置的图像拍摄元件部件102输出的RGB图像数据的R和B图像数据中每两个在倾斜方向上相邻像素经历以相邻的上下两行为单位的哈尔变换，来将该R和B图像数据分解成R和B子带图像。此外，压缩I/F部件105通过使G图像数据经历以一行的像素为单位的水平方向上的哈尔变换和以一列的像素为单位的垂直方向上的哈尔变换，来将G图像数据分解成G子带图像。

哈尔变换被认为是两抽头子带滤波器，并且相当于获得两个像素之间的和与差。和对应于LPF，差对应于HPF。

具体而言，如图26B所示，4096×2160大小的G图像的每两个像素经历水平方向上的哈尔变换。从而，如图26C所示，获得了水平方向上减半的2048×2160大小的低频子带G图像(L)(和)以及高频子带G图像(H)(差)。

接下来，水平方向上减半的2048×2160大小的低频子带G图像(L)(和)以及高频子带G图像(H)(差)各自经历垂直方向上的哈尔变换，如图26C所示。结果，如图26D所示，2048×2160大小的低频子带G图像(L)(和)以及高频子带G图像(H)(差)被转换成了四种2048×1080大小的子带G图像。

·在水平方向和垂直方向上都经过了低通滤波器(和)的2048×1080大小的子带G图像(LL)

·在水平方向上经过了低通滤波器(和)并且在垂直方向上经过了高通滤波器(差)的2048×1080大小的子带G图像(LH)

·在水平方向上经过了高通滤波器(差)并且在垂直方向上经过了低通滤波器(和)的2048×1080大小的子带G图像(HL)

·在水平方向和垂直方向上都经过了高通滤波器(差)的2048×1080大小的子带G图像(HH)

2048×2160大小的低频子带G图像(L)(和)以及高频子带G图像(H)(差)被转换成上述四种2048×1080大小的子带G图像。

R图像和B图像具有棋盘格图案。从而，以相邻的上下两行为单位，取代小波变换，R图像和B图像经历哈尔变换。

具体而言，如图26B所示，R像素之中的以相邻的上下两行为单位的每两个倾斜像素经历哈尔变换。

作为以上处理的结果，R图像被转换成：

经过了低通滤波器(和)的2048×1080大小的子带R图像；以及

经过了高通滤波器(差)的2048×1080大小的子带R图像。

B像素之中的以相邻的上下两行为单位的每两个倾斜像素(与R的倾斜方向相反)类似地经历哈尔变换，以被转换成：

经过了低通滤波器(和)的2048×1080大小的子带B图像；以及

经过了高通滤波器(差)的2048×1080大小的子带B图像。

作为以上处理的结果，已经获得了2048×1080大小的子带图像，并且该大小与G的子带图像的大小一致。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080大小的RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K双倍密度拜耳布置中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图26C和图26D中，为了描述经历了倾斜方向上的哈尔变换的R图像和B图像，如下描述子带图像。

·经过了低通滤波器(和)的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带R图像是子带R图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带B图像是子带B图像(HH)

图26B所示的R像素和B像素的倾斜方向是示例，要明确的是，当R像素和B像素的起始像素位置变得不同时，倾斜方向颠倒。

另一方面，解压缩I/F部件205通过使R和B子带图像经历以相邻的上下两行的像素为单位的逆哈尔变换来将R和B子带图像解压缩成R和B图像数据。此外，解压缩I/F部件205通过使G子带图像经历以一行的像素为单位的水平方向上的逆哈尔变换和以一列的像素为单位的垂直方向上的逆哈尔变换来将G子带图像解压缩成G图像数据。

接下来将参考图27A至27D描述针对图3所示的倾斜布置三板体系执行哈尔变换的情况。

图27A示出了倾斜布置三板体系的布置。

在图27B中，如参考图15A至15D所述，由阴影指示的像素被认为是不存在的，并且因此该图案可被认为与以上参考图26A至26D所述的双倍密度拜耳布置中的R或B像素的图案相同。

差异在于R图像、B图像和G图像都具有相同的图案。

因此，只要以相邻的上下两行为单位取代小波变换使R图像、B图像和G图像经历哈尔变换即可。

此时，压缩I/F部件105通过以相邻的上下两行为单位使来自倾斜布置三板体系的图像拍摄元件部件102的RGB图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换，来将所有RGB图像数据分解成子带图像。

具体而言，如参考图27B所述，以相邻的上下两行为单位的每两个倾斜像素经历哈尔变换。

作为以上处理的结果，RGB图像被各自转换成：

经过了低通滤波器(和)的2048×1080大小的子带图像；以及

经过了高通滤波器(差)的2048×1080大小的子带图像。

以上还表明，已经获得了2048×1080大小的子带图像。

这意味着，对于所有RGB都获得了统一的2048×1080大小的子带图像，获得了2048×1080大小的RGB全图像，并且执行了简单的所谓的颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K倾斜布置三板体系中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图27C和图27D中，为了描述执行了的倾斜方向上的哈尔变换，如下描述子带图像。

·经过了低通滤波器(和)的2048×1080大小的子带R图像是子带R图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带R图像是子带R图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带G图像是子带G图像(HH)

·经过了低通滤波器(和)的2048×1080大小的子带B图像是子带B图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带B图像是子带B图像(HH)

图27B所示的像素的倾斜方向是示例，要明确的是当R像素和B像素的起始像素位置变得不同时，倾斜方向颠倒。

另一方面，解压缩I/F部件205通过使子带图像经历以相邻的上下两行的像素为单位的逆哈尔变换，来把子带图像解压缩成来自倾斜布置三板体系的图像拍摄元件的RGB图像数据。

接下来将参考图28A至28D来描述针对图3所示的通常拜耳布置执行哈尔变换的情况。

图28A示出了所谓的通常拜耳布置。

在图28B中，在分离成RGB中的每一个之后不存在真实像素的位置由阴影指示。R图像和B图像是处于分离状态的已经被离散缩减的2048×1080大小的图像。

从图28B中可以明确，可认为G图像与参考图26A至26D描述的双倍密度拜耳布置的R像素或B像素相同。

因此，以相邻的上下两行为单位，取代小波变换，G图像经历哈尔变换。

此时，压缩I/F部件105不向来自拜耳布置的图像拍摄元件部件102的RGB图像数据的R和B图像数据应用哈尔变换。压缩I/F部件105通过以相邻的上下两行为单位使G图像数据中的倾斜方向上的每两个相邻像素经历哈尔变换，来将G图像数据分解成G子带图像。

具体而言，如图28B所示，以相邻的上下两行为单位的每两个倾斜像素经历了哈尔变换。

作为以上处理的结果，G图像被转换成：

经过了低通滤波器(和)的2048×1080大小的子带G图像；以及

经过了高通滤波器(差)的2048×1080大小的子带G图像。

以上还表明，已经获得了2048×1080大小的子带图像。

这意味着，虽然R图像和B图像被离散缩减，但对于所有RGB图像都获得了统一的2048×1080大小的子带图像。因此，获得了2048×1080RGB全图像，并且执行了简单的所谓颜色分离。

从而，从压缩I/F部件105输出的子带图像在4K全像素体系和4K通常拜耳布置中具有相同的大小，因此从压缩处理部件106起以后的处理可以是共用的处理。这与小波变换的情况相同。

在图28C和图28D中，为了描述G图像经历了倾斜方向上的哈尔变换，如下描述子带图像。

·2048×1080大小的R图像是子带R图像(LL)

·经过了低通滤波器(和)的2048×1080大小的子带G图像是子带G图像(LL)

·经过了高通滤波器(差)的2048×1080大小的子带G图像是子带G图像(HH)

·2048×1080大小的B图像是子带B图像(LL)

图28B所示的G像素的倾斜方向是示例，要明确的是当G的起始像素位置变得不同时，倾斜方向颠倒。

另一方面，解压缩I/F部件205在不使R和B子带图像经历逆哈尔变换的情况下将R和B子带图像解压缩成R和B图像数据，并且通过使G子带图像经历逆哈尔变换来将G子带图像解压缩成G图像数据。

根据上述的第二实施例，压缩I/F部件105不仅可通过小波变换来实现，而且也可通过用于更简单的硬件的哈尔变换来实现。从而，与第一实施例中一样，后续的处理可以作为并行的处理被执行。此外，因为可以简单地进行颜色分离，所以可以降低制造该装置的成本。

应注意，虽然已参考JPEG2000的5×3可逆小波变换系数描述了小波变换，但是要明确的是，也可以利用9×7不可逆变换系数和其他变换系数来实现小波变换，而并不限于5×3可逆小波变换或哈尔变换。

<3.修改的示例>

应注意，以上所述的压缩I/F部件105的处理、压缩处理部件106的处理、解压缩I/F部件205的处理以及解压缩处理部件206的处理不仅可通过硬件而且也可通过软件来执行。当通过软件来执行该系列处理时，可通过包含在专用硬件中的计算机或安装有用于执行各种功能的程序的计算机来执行构成该软件的程序。例如，只要将构成所需软件的程序安装在通用个人计算机等等上并执行该程序即可。

此外，记录有用于实现上述实施例的功能的软件的程序代码的记录介质可被提供到***或装置。此外，当然，当该***或装置的计算机(或诸如CPU之类的控制装置)读取并执行存储在该记录介质上的程序代码时，这些功能得以实现。

在此情况中可用作提供程序代码的记录介质的例如是柔性盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM，等等。

上述实施例的功能是通过执行被计算机读取的程序代码来实现的。此外，在计算机等等上操作的OS基于程序代码的指示而执行实际处理的一部分或全部。也包括通过该处理实现上述实施例的功能的情况。

此外，在上述实施例中，本发明被应用到包括相机部件10和CCU部件20的相机***。然而，本发明也可应用于从除相机***以外的处理***和装置中的双倍密度拜耳布置、倾斜布置三板体系和拜耳布置的图像拍摄元件获得的RAW数据的压缩编码。

此外，本发明可类似地应用于从不是双倍密度拜耳布置、倾斜布置三板体系或拜耳布置的像素布置的图像拍摄元件获得的RAW数据的压缩编码。在该像素布置中，三种原色中的至少一种的像素位置在水平方向或垂直方向上是交替相互偏离的。

此外，本发明并不限于上述实施例，而是当然可以采用各种其他应用示例和各种其他修改示例，而不脱离权利要求中记载的本发明的精神。

本申请包含与2009年12月18日向日本专利局提交的日本优先权专利申请JP 2009-288096中公开的主题相关的主题，这里通过引用将该申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims (12)

1.一种相机***，包括：

相机部件，包括

子带分割部件，被配置为通过利用小波变换或者哈尔变换对像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割，来将所述像素位置交替相互偏离的颜色的图像数据分解成子带图像，所述图像数据包括在从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中，以及

第一传送接口部件，被配置为将所述子带图像转换成预定的图像信号，并经由传送线路输出所述图像信号；以及

相机控制部件，包括

第二传送接口部件，被配置为将经由所述传送线路输入的所述图像信号转换成所述子带图像，以及

图像解压缩部件，被配置为以相邻的上下两行的像素或者相邻的左右两列的像素为单位将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据，并且将所述子带图像合成为从所述图像拍摄元件输出的所述图像数据。

2.根据权利要求1所述的相机***，

其中，所述子带分割部件通过以相邻的上下两行为单位对所述像素位置交替相互偏离的颜色的图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对所述像素位置交替相互偏离的颜色的图像数据的像素进行扫描并且执行垂直方向上的小波变换，来将所述像素位置交替相互偏离的颜色的图像数据分解成所述子带图像，并且

所述图像解压缩部件通过使所述子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者使所述子带图像经历以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据。

3.根据权利要求2所述的相机***，

其中所述图像拍摄元件是具有拜耳布置两倍的像素密度并且具有45°倾斜布置的像素布置的双倍密度拜耳布置的图像拍摄元件，

所述子带分割部件通过以相邻的上下两行为单位对从所述双倍密度拜耳布置的图像拍摄元件输出的RGB图像数据的R和B图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对R和B图像数据的像素进行扫描并且执行垂直方向上的小波变换来将R和B图像数据分解成R和B子带图像，并且通过使RGB图像数据的G图像数据经历以一行的像素为单位的水平方向上的小波变换以及以一列的像素为单位的垂直方向上的小波变换，来将G图像数据分解成G子带图像，并且

所述图像解压缩部件通过使所述R和B子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者使所述R和B子带图像经历以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将所述R和B子带图像解压缩成所述R和B图像数据，并且通过使G子带图像经历以一行的像素为单位的水平方向上的逆小波变换和以一列的像素为单位的垂直方向上的逆小波变换，来将G子带图像解压缩成G图像数据。

4.根据权利要求2所述的相机***，

其中，所述图像拍摄元件是作为具有45°倾斜布置的像素并且假定在水平方向和垂直方向之一上相邻的像素之间执行了插值的像素布置的倾斜布置三板体系的图像拍摄元件，

所述子带分割部件通过以相邻的上下两行为单位对来自所述倾斜布置三板体系的图像拍摄元件的所有RGB图像数据的像素进行扫描并执行水平方向上的小波变换，或者以相邻的左右两列为单位对所有RGB图像数据的像素进行扫描并执行垂直方向上的小波变换，来将所有RGB图像数据分解成所述子带图像，并且

所述图像解压缩部件通过使所述子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将所述子带图像解压缩成来自所述倾斜布置三板体系的图像拍摄元件的RGB图像数据。

5.根据权利要求2所述的相机***，

其中，所述图像拍摄元件是拜耳布置的图像拍摄元件，

所述子带分割部件在不使来自所述拜耳布置的图像拍摄元件的RGB图像数据的R和B图像数据经历小波变换的情况下将R和B图像数据分解成所述子带图像，并且通过以相邻的上下两行为单位对RGB图像数据的G图像数据的像素进行扫描并且执行水平方向上的小波变换，或者以相邻的左右两列为单位对G图像数据的像素进行扫描并且执行垂直方向上的小波变换，来将G图像数据分解成所述子带图像，并且

所述图像解压缩部件在不使R和B子带图像经历逆小波变换的情况下将R和B子带图像解压缩成R和B图像数据，并且通过使G子带图像经历以相邻的上下两行的像素为单位的水平方向上的逆小波变换或者使G子带图像经历以相邻的左右两列的像素为单位的垂直方向上的逆小波变换，来将G子带图像解压缩成G图像数据。

6.根据权利要求1所述的相机***，

其中，所述子带分割部件通过使所述像素位置交替相互偏离的颜色的图像数据的倾斜方向上的每两个相邻像素经历以相邻的上下两行为单位的哈尔变换，来将所述像素位置交替相互偏离的颜色的图像数据分解成所述子带图像，并且

所述图像解压缩部件通过使所述子带图像经历以相邻的上下两行的像素为单位的逆哈尔变换，来将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据。

7.根据权利要求6所述的相机***，

其中，所述图像拍摄元件是具有拜耳布置两倍的像素密度并且具有45°倾斜布置的像素布置的双倍密度拜耳布置的图像拍摄元件，

所述子带分割部件通过使从所述双倍密度拜耳布置的图像拍摄元件输出的RGB图像数据的R和B图像数据的倾斜方向上的每两个相邻像素经历以相邻的上下两行为单位的哈尔变换来将R和B图像数据分解成R和B子带图像，并且通过使RGB图像数据的G图像数据经历以一行的像素为单位的水平方向上的哈尔变换和以一列的像素为单位的垂直方向上的哈尔变换，来将G图像数据分解成G子带图像，并且

所述图像解压缩部件通过使R和B子带图像经历以相邻的上下两行的像素为单位的逆哈尔变换，来将R和B子带图像解压缩成R和B图像数据，并且通过使G子带图像经历以一行的像素为单位的水平方向上的逆哈尔变换和以一列的像素为单位的垂直方向上的逆哈尔变换，来将G子带图像解压缩成G图像数据。

8.根据权利要求6所述的相机***，

其中，所述图像拍摄元件是作为具有45°倾斜布置的像素并且假定在水平方向和垂直方向之一上相邻的像素之间执行了插值的像素布置的倾斜布置三板体系的图像拍摄元件，

所述子带分割部件通过使来自所述倾斜布置三板体系的图像拍摄元件的所有RGB图像数据的倾斜方向上的每两个相邻像素经历以相邻的上下两行为单位的哈尔变换，来将所有RGB图像数据分解成所述子带图像，并且

所述图像解压缩部件通过使所述子带图像经历以相邻的上下两行的像素为单位的逆哈尔变换，来将所述子带图像解压缩成来自所述倾斜布置三板体系的图像拍摄元件的RGB图像数据。

9.根据权利要求6所述的相机***，

其中，所述图像拍摄元件是拜耳布置的图像拍摄元件，

所述子带分割部件在不使来自所述拜耳布置的图像拍摄元件的RGB图像数据的R和B图像数据经历哈尔变换的情况下将R和B图像数据分解成R和B子带图像，并且通过使RGB图像数据的G图像数据的倾斜方向上的每两个相邻像素经历以相邻的上下两行为单位的哈尔变换，来将G图像数据分解成G子带图像，并且

所述图像解压缩部件在不使R和B子带图像经历逆哈尔变换的情况下将R和B子带图像解压缩成R和B图像数据，并且通过使G子带图像经历逆哈尔变换来将G子带图像解压缩成G图像数据。

10.一种图像处理方法，包括以下步骤：

通过利用小波变换或者哈尔变换对像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割，来将所述像素位置交替相互偏离的颜色的图像数据分解成子带图像，所述图像数据包括在从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中；

通过用于将所述子带图像转换成预定的图像信号的第一传送接口部件经由传送线路输出通过转换所述子带图像而获得的所述图像信号；

通过用于将所述图像信号转换成所述子带图像的第二传送接口部件将经由所述传送线路输入的所述图像信号转换成所述子带图像；以及

通过以相邻的上下两行的像素或者相邻的左右两列的像素为单位执行与所述子带分割相对应的逆变换，来将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据，并且将所述子带图像合成为从所述图像拍摄元件输出的所述图像数据。

11.一种相机***，包括：

相机部件，包括

子带分割部件，被配置为通过利用小波变换或者哈尔变换对像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割，来将所述像素位置交替相互偏离的颜色的图像数据分解成子带图像，所述图像数据包括在从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中，

压缩编码部件，被配置为针对由所述子带分割部件分割出的每个频带和所述三种原色中的每一种并行地执行对从所述子带分割部件输出的所述子带图像进行压缩编码的处理，以及

第一传送接口部件，被配置为将经压缩编码的所述子带图像转换成预定的图像信号，并经由传送线路输出所述图像信号；以及

相机控制部件，包括

第二传送接口部件，被配置为将经由所述传送线路输入的所述图像信号转换成经压缩编码的所述子带图像，

解压缩解码部件，被配置为针对由所述子带分割部件分割出的每个频带和所述三种原色中的每一种并行地执行对经压缩编码的所述子带图像进行解压缩解码的处理，以及

图像解压缩部件，被配置为以相邻的上下两行的像素或者相邻的左右两列的像素为单位将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据，并且将所述子带图像合成为从所述图像拍摄元件输出的所述图像数据。

12.一种图像处理方法，包括以下步骤：

通过利用小波变换或者哈尔变换对像素位置交替相互偏离的颜色的图像数据以相邻的上下两行的像素或相邻的左右两列的像素为单位执行子带分割，来将所述像素位置交替相互偏离的颜色的图像数据分解成子带图像，所述图像数据包括在从其中三种原色之中的至少一种颜色的像素位置在水平方向和垂直方向之一上交替相互偏离的像素布置的图像拍摄元件输出的图像数据中；

针对每个分割出的频带和所述三种原色中的每一种并行地执行对所述子带图像进行压缩编码的处理；

通过用于将经压缩编码的所述子带图像转换成预定的图像信号的第一传送接口部件经由传送线路输出通过转换所述子带图像而获得的所述图像信号；

通过用于将所述图像信号转换成所述子带图像的第二传送接口部件将经由所述传送线路输入的所述图像信号转换成所述子带图像；

针对每个分割出的频带和所述三种原色中的每一种并行地执行对经压缩编码的所述子带图像进行解压缩解码的处理；以及

以相邻的上下两行的像素或者相邻的左右两列的像素为单位将所述子带图像解压缩成所述像素位置交替相互偏离的颜色的图像数据，并且将所述子带图像合成为从所述图像拍摄元件输出的所述图像数据。