CN109379512B - 图像拾取元件、成像装置及成像方法 - Google Patents

Abstract

为了提高成像性能，提供一种成像设备，包括：图像捕获单元，被配置为检测入射光并产生原始图像数据；压缩单元，被配置为压缩原始图像数据以将数据量小于原始图像数据的数据量的编码数据输出到用于处理编码数据的处理单元；以及其中，图像捕获单元和压缩单元被配置在相同的半导体封装内；其中，图像捕获单元被制造在第一半导体衬底上，压缩单元被制造在第二半导体衬底上，并且总线将位于第二半导体衬底上的压缩单元的电路连接到处理单元的电路。

Description

图像拾取元件、成像装置及成像方法

本发明申请为申请日为2013年11月13日并于2015年5月13日进入中国国家阶段的发明名称为“图像拾取元件、成像装置及成像方法”的第201380059357.0号发明专利申请的分案申请。

技术领域

本公开涉及图像拾取元件、成像装置及成像方法，尤其涉及能够提高成像性能的图像拾取元件、成像装置及成像方法。

背景技术

在现有技术中，公知通过封装其中形成有能够以光电方式转换入射光的光接收单元半导体衬底来模块化的图像传感器(图像拾取元件)。

这种模块化的图像传感器通过光电方式转换入射光，以产生图像数据，并在未压缩状态下(例如，作为原始数据)将图像数据输出到主板。此外，利用主板上的电路、针对图像数据进行诸如去马赛克这样的信号处理或者缺陷校正(例如，参照JP 2009-130562 A)。

[引用列表]

[专利文献]

[PTL 1]

JP 2009-130562 A

发明内容

[技术问题]

近年来，要求提高图像传感器的成像性能。例如，要求增加图像的分辨率以及从静止图像的捕获到记录的处理速度。此外，要求增加连续拍摄的数量、连续拍摄的速度以及移动图片的帧率。此外，要求同时获得静止图像和移动图片两者。

当成像性能提高时，每帧的图像数据量增加。同时，以更快的速度产生用于单个帧的图像数据。也就是说，必须以更快的速度处理更大的数据量。

但是，在现有技术公知的方法中，在图像传感器与主板之间的接口中的通信波带不足，因此难以提高图像传感器的成像性能。

在现有技术中，为了将更大的数据量从图像传感器传输到主板，必须增加图像传感器的I/O引脚数量。但是，在这种情况下，图像传感器的制造成本会增加。

考虑到这些问题，本技术提供能够提高成像性能的图像拾取元件、成像装置及成像方法。

[问题的解决方案]

根据本技术的一个方面，提供一种成像设备，包括：图像捕获单元，被配置为检测入射光并产生原始图像数据；压缩单元，被配置为压缩原始图像数据以将数据量小于原始图像数据的数据量的编码数据输出到用于处理编码数据的处理单元；以及其中，图像捕获单元和压缩单元被配置在相同的半导体封装内；其中，图像捕获单元被制造在第一半导体衬底上，压缩单元被制造在第二半导体衬底上，并且总线将位于第二半导体衬底上的压缩单元的电路连接到处理单元的电路。

根据本技术的另一个方面，提供一种成像方法，包括：检测入射光；产生原始图像数据；以及使用制造在第二半导体衬底上的电路压缩原始图像数据以将数据量小于原始图像数据的数据量的编码数据输出到制造在第一半导体衬底上的电路，用于进一步处理所述编码数据；以及其中，制造在第一半导体衬底上的电路和制造在第二半导体上的电路被配置在相同的半导体封装内，其中总线将位于第二半导体衬底上的用于输出编码数据的电路连接到位于第一半导体衬底上的用于进一步处理编码数据的电路。

根据本技术的另一个方面，提供一种具有程序的非暂态计算机可读介质，在通过计算机执行时，程序使得计算机进行包括以下的方法：检测入射光；产生原始图像数据；以及使用制造在第二半导体衬底上的电路压缩原始图像数据以将数据量小于原始图像数据的数据量的编码数据输出到制造在第一半导体衬底上的电路，用于进一步处理编码数据；以及其中，制造在第一半导体衬底上的电路和制造在第二半导体上的电路被配置在相同的半导体封装内，其中总线将位于第二半导体衬底上的用于输出所述编码数据的电路连接到位于第一半导体衬底上的用于进一步处理编码数据的电路。

[本发明的有益效果]

根据本技术，可以提高成像性能。

附图说明

[图1A]图1A是示出图像拾取元件的主要配置示例的示意图。

[图1B]图1B是示出图像拾取元件的主要配置示例的示意图。

[图1C]图1C是示出图像拾取元件的主要配置示例的示意图。

[图2A]图2A是示出压缩部的主要配置示例的示意图。

[图2B]图2B是示出压缩部的主要配置示例的示意图。

[图3A]图3A是示出解压缩部的主要配置示例的示意图。

[图3B]图3B是示出解压缩部的主要配置示例的示意图。

[图4]图4是示出成像处理的示例性流程的流程图。

[图5A]图5A是示出压缩处理的示例性流程的流程图。

[图5B]图5B是示出压缩处理的示例性流程的流程图。

[图6]图6是示出示例性图像处理流程的流程图。

[图7A]图7A是示出示例性解压缩处理流程的流程图。

[图7B]图7B是示出示例性解压缩处理流程的流程图。

[图8]图8是图像拾取元件的另一个示例性配置。

[图9A]图9A是示出预处理部的更具体示例的示意图。

[图9B]图9B是示出预处理部的更具体示例的示意图。

[图9C]图9C是示出预处理部的更具体示例的示意图。

[图10]图10是示出另一个示例性成像处理流程的流程图。

[图11]图11是示出移动图片和静止图像的处理示例的示意图。

[图12]图12是示出图像拾取元件的另一个示例性配置的示意图。

[图13]图13是示出另一个示例性成像处理流程的流程图。

[图14A]图14A是示出图像拾取元件的另一个示例性配置的示意图。

[图14B]图14B是示出图像拾取元件的另一个示例性配置的示意图。

[图15A]图15A是示出图像拾取元件的另一个示例性配置的示意图。

[图15B]图15B是示出图像拾取元件的另一个示例性配置的示意图。

[图16]图16是示出另一个示例性成像处理流程的流程图。

[图17]图17是示出图像拾取元件的另一个示例性配置的示意图。

[图18]图18是示出另一个示例性成像处理流程的流程图。

[图19]图19是示出成像装置的主要配置示例的示意图。

[图20]图20是示出另一个示例性成像处理流程的流程图。

[图21]图21是示出另一个示例性成像处理流程的流程图。

[图22]图22是示出与图21相连的另一个示例性成像处理流程的流程图。

[图23]图23是示出编码部的主要配置示例的方框图。

[图24]图24是示出编码单元的示例性配置的示意图。

[图25]图25是示出解码部的主要配置示例的方框图。

[图26]图26是示出示例性编码处理流程的流程图。

[图27]图27是示出示例性解码处理流程的流程图。

具体实施方式

下面描述本公开的实施例(下面称为实施例)。按照以下顺序进行描述。

1.第一实施例(图像拾取元件)

2.第二实施例(成像装置)

3.第三实施例(编码部/解码部)

1.第一实施例

<图像拾取元件>

图1A-1C是示出根据本技术的图像拾取元件的实施例的主要配置示例的方框图。图1A-1C的图像拾取元件100是以摄影方式捕获对象以获得摄影图像的数字数据(图像数据)并输出图像数据的图像传感器。图像拾取元件100是某种图像传感器。例如，图像拾取元件100可以是由互补金属氧化物半导体(CMOS)、电荷耦合装置(CCD)等等制成的图像传感器。

如图1A所示，图像拾取元件100具有半导体衬底101(由阴影部分表示)和半导体衬底102(由空白部分表示)。半导体衬底101和102被封装，同时它们相互重叠(如图1B所示)，以实现模块化(集成)。

也就是说，如图1C所示，半导体衬底101和102可以形成多层结构(堆叠结构)。半导体衬底101中形成的电路与半导体衬底102中形成的电路可以经由通孔(VIA)等等相互连接。

通过这种方式，图像拾取元件100可以是通过以多层结构形成半导体衬底101和102而获得的集成模块(也称为大型集成(LSI)芯片)。如果在模块内半导体衬底101和102通过这种方式形成多层结构，就可以在不增加图像拾取元件100中半导体衬底的尺寸的情况下安装具有更大尺寸的电路。也就是说，利用图像拾取元件100，可以安装具有更大尺寸的电路，同时将成本增加最小化。

如图1A所示，在半导体衬底101中可以形成光接收部111和A/D转换部112。此外，在半导体衬底102中可以形成压缩部113和输出部114。

光接收部111接收入射光并进行光电转换。光接收部111具有多个单位像素，单位像素具有光电转换元件(例如光电二极管)。通过光电转换，与入射光对应的电荷被累积在每个单位像素中。光接收部111将每个单位像素中累积的电荷提供给A/D转换部112，作为电信号(像素信号)。

A/D转换部112对于从光接收部111提供的每个像素信号进行模拟-数字转换，以产生数字像素数据。A/D转换部112将通过这种方式产生的每个单位像素的一组像素数据提供给压缩部113，作为图像数据。也就是说，将去马赛克之前的原始数据提供给压缩部113。

压缩部113利用预定方法、通过压缩从A/D转换部112提供的图像数据(原始数据)，来产生编码数据。该编码数据的数据量小于压缩之前图像数据的数据量。也就是说，压缩部113减小了图像数据的数据量。

如图1A所示，可将压缩部113安装在图像拾取元件100上。也就是说，可将压缩部113实施为嵌入图像拾取元件100的电路，或者在图像拾取元件100内部执行的软件。因此，可以按照任意方式基本地设置使用压缩部113的压缩方法。但是，如上所述，必须将压缩部113安装在图像拾取元件100内部(在模块中)。在实施例中，可将光接收部111和压缩部113配置在相同的半导体封装中或者配置在相同的芯片上。通过这种配置，例如，可配置图像拾取元件100以使得允许获得图像数据然后压缩，而不必在此整个处理中曾经通过总线发送数据。

作为代表性的图像数据压缩方法，有例如公知的联合图像专家组(JPEG)或移动图片专家组(MPEG)。这种高技术压缩方法具有复杂的处理和大的电路尺寸。因此，图像拾取元件100的制造成本容易增加。因此，典型地，虽然并非不可能，但是难以将这种高技术压缩方法嵌入图像拾取元件100，作为电路或软件。此外，即使嵌入这种压缩方法，也可以想到，会出现行不通的情况，使得处理时间(时钟数量)增加，容易产生延迟时间，并且编码处理不能跟上帧率。此外，因为压缩率具有尽最大努力的优先级等级，所以它不一定有助于缩减引脚数量或总线波带。

就此而言，相比于诸如JPEG或MPEG的高技术压缩方法，压缩部113利用至少可以嵌入图像拾取元件100(在模块内部，特别是在与具有光接收部111的半导体衬底101一起形成堆叠结构的半导体衬底102中)的方法，通过简单处理、以短处理时间(减少的时钟数量)来压缩图像数据(尽管如果需要的话，也可以嵌入诸如JPEG或MPEG的高技术压缩方法)。在以下描述中，将这种压缩方法称为“简化压缩”。也就是说，压缩部113对于从A/D转换部提供的图像数据(原始数据)进行简化压缩，以产生编码数据。

如果满足上述条件，那么可以任意设置该简化压缩的具体压缩方法。例如，可以采用无损方法或者有损方法。但是，典型地，因为半导体衬底102的尺寸增加，所以成本也增加。此外，因为处理时间(时钟数量)增加，所以延迟时间增加。因此，在该简化压缩中，优选采用具有更简单的处理和更短的处理时间的方法。

例如，典型地，A/D转换部112通过按照预定序列将像素数据布置在一维空间上(作为像素数据流)，将每个单位像素的像素数据(图像数据)提供给压缩部113。但是，如果在压缩时必须缓冲(保存)这些图像数据，那么处理时间会因此增加。因此，在简化压缩中，期望采用这样的方法，在该方法中，如果可能的话，不必缓冲从A/D转换部112提供的图像数据(像素数据流)，并且可以依次压缩图像数据。例如，在简化压缩中，可以采用使用差分脉冲编码调制(DPCM)方案的压缩方法或者使用一维离散余弦变换(DCT)方案的压缩方法。下面将描述其细节。

当然，因为集成度提高，所以如果可以以低成本进行图像拾取元件100中的嵌入，那么可以采用诸如JPEG或MPEG的高压缩方法作为压缩部113的压缩方法，延迟时间在允许范围内，可以进行高速操作，并且可以获得足够的压缩率。

压缩部113将通过对于图像数据进行简化压缩而获得的编码数据提供给输出部114。

输出部114例如可包括I/O单元或I/O引脚。输出部114将从压缩部113提供的编码数据输出到图像拾取元件100的外部。可经由总线121将从输出部114输出的编码数据提供给图像处理装置130的输入部131。

图像处理装置130是对于通过图像拾取元件100获得的图像数据进行图像处理的设备。如图1A所示，图像处理装置130可包括输入部131和解压缩部132。

输入部131接收经由总线121从图像拾取元件100传输的编码数据。输入部131将获得的编码数据提供给解压缩部132。

解压缩部132利用与压缩部113的压缩方法相匹配的方法，将从输入部131提供的编码数据进行解压缩，以恢复图像数据。也就是说，解压缩部132利用与压缩部113的简化压缩相匹配的方法，将从输入部131提供的编码数据进行解压缩，以恢复图像数据。例如，利用图像处理装置130等等，处理、存储或显示恢复的图像数据。

通过这种方式，图像拾取元件100在模块(LSI芯片)内部，将光接收部111中获得的图像数据压缩，并将具有更少数据量的图像数据输出。因此，减少传输图像数据(编码数据)所必须的总线121的波带。因此，在不改变总线121的带宽的情况下，图像拾取元件100可以以更快的速度输出更大的数据量。也就是说，图像拾取元件100可以以更快的速度输出更大的数据量，而不需要增加输出部114的I/O单元或I/O引脚的数量，也就是说，不需要增加成本。

换言之，利用图像拾取元件100，能够抑制总线121的波段限制的影响。在不增加成本的情况下(在不增加输出部114的I/O单元或I/O引脚的数量的情况下)，就可以提高成像性能。例如，可以增加图像的分辨率以及从静止图像的捕获到记录的处理速度。此外，可以增加连续拍摄的数量、连续拍摄速度以及移动图片的帧率。此外，可以同时获得静止图像和移动图片两者。

<压缩部>

图2A-2B是示出图1A的压缩部113的主要配置示例的方框图。在图2A的示例中，压缩部113可包括DPCM处理部141、Golomb编码部142、以及压缩率调节部143。

DPCM处理部141计算从A/D转换部112提供的图像数据(在一维空间中布置的像素数据流)的连续像素数据之间的差值。DPCM处理部141将每个计算的差值提供给Golomb编码部142。

Golomb编码部142对于从DPCM处理部141提供的每个差值进行Golomb编码。Golomb编码部142将Golomb编码(编码数据)提供给压缩率调节部143。

压缩率调节部143调节从Golomb编码部142提供的编码数据的压缩率，以将其转换为预定压缩率。结果，通过以预定的压缩率压缩通过光接收部111获得的图像数据，获得编码数据。可以设置可变的压缩率。但是，因为总线121的最大可传输带宽由于硬件因素而固定，所以更希望压缩率是固定的。压缩率调节部143将通过调节的压缩率获得的编码数据输出到输出部114。

在此配置中，压缩部113可以对于图像数据(原始数据)进行简化压缩。

在图2B的示例中，压缩部113可包括一维DCT处理部144和压缩率调节部143。

一维DCT处理部144对于从A/D转换部112提供的一维图像数据进行离散余弦变换。一维DCT处理部144将经历离散余弦变换的一维数据(下面也称为变换数据)提供给压缩率调节部143。

压缩率调节部143调节从一维DCT处理部144提供的变换数据的压缩率，以将其转换为预定压缩率。例如，压缩率调节部143从变换数据中提取不想要的高频成分并丢弃它，使得变换数据具有预定的压缩率。结果，压缩率调节部143可以从通过光接收部111获得的图像数据获得通过预定压缩率压缩的编码数据。

从一维DCT处理部144提供的变换数据通过一维DCT处理部144变换为频率分量。因此，对于每个频率分量容易进行提取，并且信息集中在低频分量。从可视化的角度而言，高频分量对图像质量的影响更小(下降的图像质量不容易被可视化)。因此，压缩率调节部143在必要时例如从变换数据提取并丢弃较高频率的分量，并且调节被丢弃数据的量，从而在抑制图像质量的视觉下降的同时，可以容易地调节压缩率。

类似于图2A的情况，可以设置可变的压缩率。但是，因为总线121的最大可传输带宽由于硬件因素而固定，所以更希望压缩率是固定的。压缩率调节部143将通过调节的压缩率压缩的编码数据输出到输出部114。

甚至在此配置中，压缩部113也可以对于图像数据(原始数据)进行简化压缩。

典型地，在图像压缩等等中，可以使用二维离散余弦变换。但是，与一维离散余弦变换相比，二维离散余弦变换更加复杂。此外，电路尺寸会增加。一维DCT处理部144对于图像数据进行一维离散余弦变换。因此，与二维离散余弦变换相比，能够容易地获得变换数据。也就是说，能够抑制压缩部113的电路尺寸增加。

虽然上面描述了两个示例，但是简化压缩不限于这些示例。

<解压缩部>

图3A-3B是示出解压缩部132的主要配置示例的方框图。在图3A的示例中，解压缩部132利用与图2A中压缩部113的压缩方法相匹配的方法对编码数据进行解压缩。如图3A所示，在这种情况下，解压缩部132可包括压缩率反向调节部151、Golomb解码部152、以及反向DPCM处理部153。

压缩率反向调节部151对于从输入部131提供的编码数据进行与压缩率调节部143的处理相反的处理，以恢复通过Golomb编码部142产生的Golomb代码。压缩率反向调节部151将恢复的Golomb代码提供给Golomb解码部152。

Golomb解码部152利用与Golomb编码部142的编码方法相匹配的方法，将从压缩率反向调节部151提供的Golomb代码解码，以恢复通过DPCM处理部141产生的差值。Golomb解码部152将恢复的差值提供给反向DPCM处理部153。

反向DPCM处理部153对于从Golomb解码部152提供的差值进行反向DPCM处理(与通过DPCM处理部141进行的DPCM相反)，以恢复每个像素数据。反向DPCM处理部153将一组恢复的像素数据输出到解压缩部132的外部，作为图像数据。

在此配置中，解压缩部132可将通过压缩部113产生的编码数据适当地解码。也就是说，解压缩部132可以实施图像数据(原始数据)的简化压缩。

在图3B的示例中，解压缩部132利用与图2B的示例的压缩部113相匹配的方法将编码数据解压缩。如图3B所示，在这种情况下，解压缩部132可包括压缩率反向调节部151和一维反向DCT(IDCT)部154。

压缩率反向调节部151对于从输入部131提供的编码数据进行与压缩率调节部143的处理相反的处理，以恢复通过一维DCT处理部144产生的变换数据。压缩率反向调节部151将恢复的变换数据提供给一维反向DCT处理部154。

一维反向DCT处理部154对于从压缩率反向调节部151提供的变换数据进行反向DCT处理(与一维DCT处理部144的DCT相反)，以恢复像素数据。一维反向DCT处理部154将一组恢复的像素数据输出到解压缩部132的外部，作为图像数据。

在此配置中，解压缩部132可将通过压缩部113产生的编码数据适当地解码。也就是说，解压缩部132可以对于图像数据(原始数据)实施简化压缩。

<成像处理的流程>

下面，参照图4的流程图描述通过图1A的图像拾取元件100执行的成像处理的示例性流程。

当图像拾取元件100以摄影方式捕获对象并获得对象图像的图像数据时，可以执行该成像处理。

当成像处理开始时，在步骤S101，光接收部111在有效像素区域的每个单位像素中以光电方式转换入射光。在步骤S102，A/D转换部112对于通过步骤S101的处理获得的每个单位像素的像素信号(模拟信号)进行模拟-数字转换。

在步骤S103，压缩部113压缩图像数据(其为通过步骤S102的处理获得的数字数据的一组像素数据)，以产生编码数据。

在步骤S104，输出部114将通过步骤S103的处理获得的编码数据输出到图像拾取元件100的外部(总线121)。

当步骤S104的处理终止时，成像处理终止。

<压缩处理的流程>

下面，参照图5A-5B的流程图描述通过图4的步骤S103中执行的压缩处理的示例性流程。首先，参照图5A的流程图描述通过图2A的示例中的压缩部113执行的压缩处理的示例性流程。

当压缩处理开始时，在步骤S121，图2A的DPCM处理部141对于图像数据进行DPCM处理，用于获得在处理序列中连续的像素数据之间的差值。

在步骤S122，Golomb编码部142对于通过步骤S121的处理获得的每个差值进行Golomb编码。

在步骤S123，压缩率调节部143例如通过将数据添加到通过步骤S122的处理获得的Golomb代码，调节编码数据的压缩率。

如果通过步骤S123的处理，从输入压缩部113的图像数据获得预定压缩率的编码数据，则压缩处理终止，并且处理返回图4。

通过这种方式执行每个处理，图像拾取元件100可以以更快的速度输出更大的数据量，而不增加成本。因此，可以提高成像性能。

下面，参照图5B的流程图描述通过图2B的示例中的压缩部113执行的压缩处理的示例性流程。

当压缩处理开始时，在步骤S131，图2B的一维DCT处理部144对于一维图像数据进行离散余弦变换。

在步骤S132，压缩率调节部143例如通过丢弃高频成分，调节通过步骤S131的处理获得的变化数据中的编码数据的压缩率。

如果在步骤S132的处理中从输入压缩部113的图像数据获得预定压缩率的编码数据，则压缩处理终止，并且处理返回图4。

通过这种方式执行每个处理，图像拾取元件100可以以更快的速度输出更大的数据量，而不增加成本。因此，可以提高成像性能。

<成像处理的流程>

下面，参考图6的流程图描述通过图1A的图像处理装置130执行的成像处理的示例性流程。

当图像处理装置130处理从图像拾取元件100输出的编码数据时可以执行该图像处理。

当图像处理开始时，在步骤S141，从图像拾取元件100输出图像处理装置130的输出部131，并接收经由总线121传输的编码数据。

在步骤S142，解压缩部132将在步骤S141的处理中接收的编码数据进行解压缩。在步骤S143，图像处理装置130对于通过步骤S142的处理获得的图像数据进行图像处理。当步骤S143的处理终止时，图像处理终止。

<解压缩处理的流程>

下面，参照图7A-7B的流程描述图6的步骤S142中执行的解压缩处理的示例性流程。首先，参照图7A的流程图描述通过图3A的示例中的解压缩部132执行的解压缩处理的示例性流程。

当解压缩处理开始时，在步骤S161，图3A的压缩率反向调节部151进行编码数据的压缩率的反向调节(与图5A的步骤S123的处理相反的处理)，以恢复压缩率的调节之前的Golomb代码。

在步骤S162，Golomb解码部152将通过步骤S161的处理获得的每个Golomb代码解码，以恢复像素数据之间的差值。

在步骤S163，利用通过步骤S162的处理获得的差值，反向DPCM处理部153进行反向DPCM处理(也就是与图5A的步骤S121的处理相反的处理)。此外，例如通过将差值彼此相加，反向DPCM处理部153恢复每个单位像素的像素数据。

如果通过步骤S163的处理获得图像数据，则解压缩处理终止，并且处理返回图6。

通过执行如上所述的每个处理，图像处理装置130可将从图像拾取元件100输出的编码数据适当地解码。也就是说，图像处理装置130可以提高图像拾取元件100的成像性能，而不增加成本。

下面，参照图7B的流程图描述通过图3B的示例中的解压缩部132执行的解压缩处理的示例性流程。

当解压缩处理开始时，在步骤S171，图3B的压缩率反向调节部151进行编码数据的压缩率的反向调节(也就是与图5B的步骤S132的处理相反的处理)，以恢复压缩率的调节之前的变换数据。

在步骤S172，一维反向DCT处理部154对于通过步骤S171的处理获得的变换数据进行一维反向离散余弦变换，以恢复每个单位像素的像素数据(也就是图像数据)。

当通过步骤S172的处理获得图像数据时，解压缩处理终止，并且处理返回图6。

通过进行如上所述的每个处理，图像处理装置130可将从图像拾取元件100输出的编码数据适当地解码。也就是说，利用图像处理装置130，可以提高图像拾取元件100的成像性能，而不增加成本。

<预处理>

或者，图像拾取元件100可以对于图像数据进行预定信号处理，作为压缩的预处理。

图8是示出在这种情况下图像拾取元件100的主要配置示例的示意图。如图8所示，在这种情况下，图像拾取元件100除了上面结合图1A所述的配置之外，还包括预处理部160。

预处理部160对于从A/D转换部112提供的图像数据(原始数据)进行预定信号处理，作为预处理。预处理部160将经历预处理的图像数据提供给压缩部113。

类似于图1A的情况，压缩部113利用预定方法压缩从预处理部160提供的图像数据，以产生编码数据，并将编码数据提供给输出部114。

类似于图1A的情况，输出部114将从压缩部113提供的编码数据输出到图像拾取元件100的外部。

图9A-9C是示出预处理部160的更具体示例的示意图。在图9A的情况下，图像拾取元件100可包括缺陷校正部161，作为预处理部160。

缺陷校正部161将作为处理目标的单位像素(当前单位像素)的像素数据与相邻像素的像素数据进行比较。如果两者的等级非常不同(例如，当前单位像素的像素数据与相邻像素的像素数据之间的等级差等于或大于预定阈值)，则缺陷校正部161将当前单位像素确定为缺陷像素并校正该像素数据。如果对于全部的单位像素进行如上所述的缺陷校正，则缺陷校正部161将经历校正的图像数据提供给压缩部113。

在图9B的情况下，图像拾取元件100可包括缺陷位置检测器部162，作为预处理部160。

缺陷位置检测器部162将当前单位像素的像素数据与相邻像素的像素数据进行比较。如果两者的等级非常不同(例如，当前单位像素的像素数据与相邻像素的像素数据之间的等级差等于或大于预定阈值)，则缺陷位置检测器部162将当前单位像素确定为缺陷像素。当缺陷像素被指定时，缺陷位置检测器部162将其位置信息提供给压缩部113，并将位置信息从输出部114输出到图像拾取元件100的外部。图像处理装置130基于从图像拾取元件100输出的该位置信息，指定缺陷像素的位置，并校正指定位置的像素的像素数据。也就是说，在这种情况下，图像拾取元件100(缺陷位置检测器部162)仅指定缺陷像素的位置，并且由图像处理装置130进行实际校正。

在图9C的情况下，图像拾取元件100可包括降噪(NR)处理部163，作为预处理部160。

NR处理部163对于图像数据进行预定的滤波处理，例如取芯(coring)(其中，确定和平滑边缘)或中值滤波(其中，将多个相邻像素的像素数据的平均值应用于当前单位像素的像素数据)，以减少图像数据中包括的噪声成分。NR处理部163将经历滤波的图像数据提供给压缩部113。

在压缩之前通过进行如上所述的缺陷像素校正或滤波处理，图像拾取元件100可以抑制像素数据的不规则性。因此，可以抑制像素数据之间的差异与提高压缩效率。此外，可以抑制在处理序列中连续的像素数据的值的变化。因此，利用图像拾取元件100，可以减少每个位的切换并抑制功耗。

预处理的细节可以任意设置并且不限于上述三个示例。或者，可以进行多个处理作为预处理。例如，预处理部160可以进行除了上述示例的预处理之外的多个处理作为预处理。当然，可以任意设置多个处理中包括的每个处理的细节。

下面，参照图10的流程图描述通过图8的图像拾取元件100执行的成像处理的示例性流程。当图像拾取元件100以摄影方式捕获对象并获得来自对象图像的图像数据时，可以执行成像处理。

当成像处理开始时，如同分别在图4的步骤S101和S102的处理中一样，执行步骤S181和S182的处理。在步骤S183，预处理部160对于通过步骤S182的处理获得的图像数据进行预处理。

如果步骤S183的处理终止，则如同分别在图4的步骤S103和S104的处理中一样，进行步骤S184和S185的处理。

通过执行上述每个处理，可以利用图像拾取元件100提高压缩效率并抑制功耗。

在将缺陷校正部161或NR处理部163应用为上面结合图9A-9C所述的预处理部160的情况下，可以在上述步骤S183的处理中进行缺陷像素校正或NR处理。

<移动图片和静止图像的处理>

图像拾取元件100经由成像获得的图像数据可以是移动图片，也可以是静止图像。此外，图像拾取元件100可以获得移动图片和静止图像两者。例如，图像拾取元件100可以在拍摄移动图片时捕获静止图像。在这种情况下，图像拾取元件100必然输出移动图片的图像数据，也输出静止图像的图像数据，如图11所示。也就是说，在这种情况下，相比于仅输出移动图片的图像数据的情况，图像拾取元件100需要输出更大量的图像数据。

同时，典型地，相比于移动图片，在很多情况下以高分辨率来显示或处理静止图像。因此，在将移动图片和静止图像两者成像的情况下，通过光接收部111获得的图像数据的图像需要具有相比于移动图片的分辨率以及静止图像的分辨率更高的分辨率(至少等于静止图像的分辨率)。但是，即使在将通过光接收部111获得的图像数据的图像输出为移动图片的情况下，如果以高分辨率从图像拾取元件100输出图像，图像拾取元件100也不必以该分辨率输出移动图片。也就是说，图像拾取元件100不可避免地在每段时间输出大量的数据。因此，波带不足会出现。

例如，如图11所示，假定将通过光接收部111获得的图像数据的图像的分辨率设置为全尺寸，并且图像拾取元件100以全尺寸的分辨率输出静止图像。在这种情况下，如果假定图像拾取元件100也以全尺寸的分辨率输出移动图片，那么相对于总线121的带宽，数据量太大，因此可能难以在与帧率相对应的时间里输出每个帧的图像数据(没有延迟)。特别地，在如同图11的示例该中同时输出移动图片和静止图像两者的情况下，输出数据量进一步增加。因此，可能更加难以在没有延迟的情况下输出每个帧的图像数据。

就此而言，在如同图11的示例、通过光接收部111获得的图像为移动图片的情况下，图像拾取元件100可以对于压缩之前模块中每个帧的图像数据进行图像尺寸减小处理。在图11的示例的情况下，图像拾取元件100将具有全尺寸的图像尺寸的每个帧图像减小为比压缩之前的全尺寸小的全HD尺寸。

通过这种方式，利用图像拾取元件100，可以减小压缩之前模块中移动图片的图像数据的数据量，并抑制总线121的波段限制的影响。此外，在不增加成本的情况下(在不增加输出部114的I/O单元或I/O引脚的数量的情况下)，就可以提高对于移动图片的成像性能。例如，可以增加移动图片的帧率或者在拍摄移动图片时捕获静止图像。

在利用图像拾取元件100捕获的图像为静止图像的情况下，省略对于这种图像的减小处理，并且以捕获时的分辨率直接压缩对应的图像数据。在图11的示例的情况下，图像拾取元件100以全尺寸分辨率输出静止图像。因此，利用图像拾取元件100，可以在抑制静止图像的图像质量下降的同时，提高移动图片的成像性能。

图12是示出在如上关于图11所述的情况下，图像拾取元件100的主要配置示例的方框图。在图12的示例的情况下，除了上面结合图1A所述的配置之外，图像拾取元件100可包括控制器171和图像减小部172。换言之，可将图像拾取元件100实施为包括控制器171和图像缩减部172，如同图8的预处理部160一样。

控制器171确定从A/D转换部112提供的图像数据(原始图像)的图像是否为帧图像(移动图片的帧图像)。可以按照任意方式进行此确定。例如，控制器171可以参考元数据(例如参数集或头部)，并基于关于图像的信息(例如元数据中包括的格式信息)来进行该确定。或者，控制器171可通过分析图像数据，确定移动图片或静止图像的哪一个是图像数据。

如果确定图像数据为移动图片(的帧图像)，则控制器171将从A/D转换部112提供的图像数据(原始数据)提供给图像减小部172。否则，如果确定图像数据为静止图像，则控制器171将从A/D转换部112提供的图像数据(原始数据)提供给预处理部160。

图像减小部172对于从控制器171提供的图像数据进行图像尺寸减小处理。减小此图像尺寸的方法可以任意设置。例如，图像拾取元件100可以剪切一部分帧图像，并按照预定的间隔减薄像素，以减小每个帧图像的图像尺寸。类似地，减小之后的图像尺寸可以任意设置。

图像减小部172将具有减小的图像尺寸的图像数据(帧图像的图像数据)提供给预处理部160。

预处理部160对于从控制器171提供的静止图像的图像数据或者从图像减小部172提供的移动图片的帧图像的图像数据进行预定信号处理，作为压缩之前的预处理。预处理部160将受到预处理的图像数据提供给压缩部113。

类似于图8的情况，压缩部113利用预定方法，通过压缩从预处理部160提供的图像，来产生编码数据，并将编码数据提供给输出部114。

类似于图1A的情况，输出部114将从压缩部113提供的编码数据输出到图像拾取元件100的外部。

如上所述，图像拾取元件100确定在模块(LSP芯片)中通过光接收部111获得的图像数据的图像是移动图片(的帧图像)还是静止图像。如果确定图像数据为移动图片，则图像拾取元件100减小图像尺寸，压缩图像，并输出图像。此外，如果确定通过光接收部111获得的图像数据的图像为静止图像，则图像拾取元件100压缩图像数据，并在不减小图像尺寸的情况下输出图像。

通过这种方式，利用图像拾取元件100，可以对于移动图片提高成像性能，同时抑制静止图像的图像质量的下降。

下面，参照图13的流程图描述通过图12的图像拾取元件100执行的成像处理的示例性流程。当图像拾取元件100以摄影方式捕获对象并获得对象图像的图像数据时，可以执行该成像处理。

当成像处理开始时，如同在图10的步骤S181和S182的处理中，分别执行步骤S201和S202的处理。在步骤S203，控制器171确定通过步骤S202的处理获得的图像数据的图像是移动图片的帧图像还是静止图像。如果确定图像是移动图片，则处理前进到步骤S204。

在步骤S204，图像减小部172减小通过步骤S202的处理获得的图像数据的图像。当步骤S204的处理终止时，处理前进到步骤S205。否则，如果在步骤S203确定通过步骤S202的处理获得的图像数据的图像为静止图像，则处理前进到步骤S205。

对于具有减小图像尺寸的移动图片的帧图像的图像数据或者具有未减小图像尺寸的静止图像的图像数据，如同在图10的步骤S183至S185的处理中，分别进行步骤S205至S207的处理。

如果如上所述执行每个处理，利用图像拾取元件100，就可以对于移动图片提高成像性能，同时抑制静止图像的图像质量的下降。

<单个衬底>

虽然在以上描述中假定图像拾取元件100具有一对相互重叠的半导体衬底101和102来进行描述，但是图像拾取元件100的半导体衬底的数量可以任意设置。例如，如图14A-14B所示，可以在单个半导体衬底上形成光接收部111、A/D转换部112、压缩部113、以及输出部114。此外，可将光接收部111、A/D转换部112、压缩部113、以及输出部114配置在相同的半导体封装中或芯片上。通过这种配置，例如，可配置图像拾取元件100使得允许获得图像数据然后压缩，不必在此整个处理中曾经通过总线发送数据。

在图14A的示例中，可将图1A所示的光接收部111、A/D转换部112、压缩部113、以及输出部114形成在相同的半导体衬底181中。也就是说，可以在单个半导体衬底181上形成图像拾取元件100。因此，如图14B所示，半导体衬底181不具有堆叠结构。

但是，因为图像拾取元件100的电路类似于图1A的电路，所以图像拾取元件100可以执行与图4的成像处理类似的成像处理。也就是说，利用图像拾取元件100，可以以更快的速度输出更大的数据量，并提高成像性能，而不增加成本。

<多个衬底>

当然，在图像拾取元件100中设置的半导体衬底的数量也可以是两个、三个或更多。图15A-15B是示出在图像拾取元件100具有三个半导体衬底的情况下，图像拾取元件100的主要配置示例的示意图。

在图15A的示例中，除了半导体衬底101和102之外，图像拾取元件100可以具有示出为浓阴影部分的半导体衬底191。在半导体衬底191中形成的电路可以经由通孔连接到半导体衬底101和102中形成的电路。

如图15B所示，半导体衬底101、102和191被封装和模块化，同时它们相互重叠，以形成多层结构(堆叠结构)。

在第三层半导体衬底191中可以形成任何电路。在图15A的示例的情况下，半导体衬底191设置有存储器部193，其存储通过压缩图像数据获得的编码数据。此外，半导体衬底102可以进一步设置有存储器控制器192，其控制存储器部193的数据的输入或输出操作。

存储器控制器192控制数据向存储器部193的写入或者数据从存储器部193的读取。例如，存储器控制器192将从压缩部113提供的编码数据提供给存储器部193并存储编码数据。此外，存储器控制器192例如在预定的定时或者响应于其他请求，读取存储器部193中存储的编码数据，并将编码数据提供给输出部114。

存储器部193可包括任何(易失性或者非易失性)存储器装置，例如硬盘或闪存。存储器部193将从存储器控制器192提供的编码数据存储在其存储器区域中。存储器部193从存储器区域读取通过存储器控制器192请求的编码数据，并将编码数据提供给存储器控制器192。

存储器部193的容量可以任意设置。但是，因为存储器部193设置在不同于半导体衬底101或102的半导体衬底191中，所以可以相对容易地形成具有高容量的存储器区域。因此，例如，存储器部193可以是帧存储器，其存储过去处理的帧图像的图像数据。

通过这种方式，因为存储器部193设置在模块中，所以图像拾取元件100可以在任意定时输出编码数据。

如上所述，因为压缩部113压缩图像数据，所以可以减少存储器部193中存储的数据量。也就是说，可将更大的数据量存储在存储器部193中。也就是说，可以更有效地使用存储器部193的存储器区域。

写入存储器部193的数据以及从存储器部193读取的数据可以经由存储器总线(通过存储器控制器192与存储器部193之间的双向箭头表示)传输。但是，如果压缩部113压缩图像数据，那么输入存储器部193或者从存储器部193输出的数据量减少。因此，对于图像拾取元件100而言，可以减少由于用于存储器部193的编码数据的输入/输出操作所致的存储器总线的波带占据。也就是说，利用图像拾取元件100，可以提高存储器总线的利用效率，并以更快的速度向存储器部193输入/从存储器部193输出编码数据。

特别地，对于如图15A的示例所述的连接不同半导体衬底的电路的总线的情况，可将通孔包括在一部分总线中。为了扩展这种总线，通孔的数量不可避免地增加。但是，如果通孔的数量增加，则电路尺寸(面积)显著增加。因此，为了抑制成本增加，期望抑制通孔数量的增加。因此，如果压缩部113如上所述压缩数据，则对于图像拾取元件100而言，可以提高总线的利用效率，并且更有效地控制成本增加。

当然，在半导体衬底191中形成的电路可以被任意配置，并且可以形成除了存储器部193之外的其他电路元件。也就是说，可将除了存储器总线之外的总线用作半导体衬底102的电路配置与半导体衬底191的电路配置之间的总线，用于传输编码数据。

当然，图像拾取元件100可具有包括四个或更多个半导体衬底层的堆叠结构。

下面，参照图16的流程图描述通过图15A-15B的图像拾取元件100执行的成像处理的示例性流程。当图像拾取元件100以摄影方式捕获对象以获得对象图像的图像数据时，可以执行该成像处理。

当成像处理开始时，如同分别在图4的步骤S101和S102的处理中，分别执行步骤S221和S223的处理。在步骤S224，存储器控制器192将通过步骤S223的处理获得的编码数据存储在存储器部193中。

在步骤S225，存储器控制器192读取存储器部193中存储的编码数据。

在步骤S226，输出部114将通过步骤S225的处理从存储器部193读取的编码数据输出。

通过执行如上所述的每个处理，图像拾取元件100可以在任意定时输出编码数据。

<模块内压缩>

压缩经由模块内总线传输的数据的压缩部可以独立于压缩输出到图像拾取元件100外部的数据的压缩部而设置。

在图17的示例中，类似于图8的示例的情况，图像拾取元件100可包括半导体衬底102和预处理部160。此外，类似于图15A-15B的情况，图像拾取元件100可包括构成堆叠结构的半导体衬底101、102和191、在半导体衬底102中形成的存储器控制器192、以及在半导体衬底191中形成的存储器部193。存储器部193存储提供给预处理部160的图像数据(编码数据)。因此，在半导体衬底102中，图像拾取元件100可进一步包括与压缩部113不同的压缩部201，如图17所示。在这种情况下，必须向预处理部160提供未压缩图像数据。因此，如图17所示，图像拾取元件100可进一步包括半导体衬底102中的解压缩部202。

压缩部201利用预定方法，通过压缩从A/D转换部112提供的图像数据(原始数据)，产生编码数据。编码数据的量少于压缩之前图像数据的量。压缩部201减小图像数据的量。此外，压缩部201中的压缩方法可以被任意设置。压缩部201中的计算方法可以类似于也可以不同于压缩部113的计算方法。但是，由于与压缩部113的压缩方法相同的原因，将压缩部201的压缩方法设置为可以嵌入更小尺寸电路的更简单、更容易的压缩方法。

压缩部201将通过编码图像数据获得的编码数据提供给存储器控制器192。

存储器控制器192将从压缩部201提供的编码数据提供给存储器部193。存储器部193存储从存储器控制器192提供的编码数据。存储器控制器192例如在预定的定时或者响应于其他请求，读取存储器部193中存储的编码数据，并将编码数据提供给解压缩部202。

解压缩部202利用与压缩部201的压缩方法相匹配的方法将从存储器控制器192提供的编码数据解压缩，以恢复图像数据。解压缩部202将获得的图像数据提供给预处理部160。该图像数据具有未压缩状态。类似于图8的情况，预处理部160对于从解压缩部202提供的图像数据(原始数据)应用预定的信号处理，作为预处理。预处理部160将受到预处理的图像数据提供给压缩部113。

类似于图8的情况，压缩部113利用预定方法压缩从预处理部160提供的图像数据，以产生编码数据，并将编码数据提供给输出部114。

类似于图8的情况，输出部114将从压缩部113提供的编码数据输出到图像拾取元件100的外部。

通过这种方式，预处理部160可以利用过去存储在存储器部193中的数据进行信号处理。也就是说，预处理部160可以进行更多种处理。

类似于图15A的情况，因为压缩部201压缩图像数据，所以图像拾取元件100可以更有效地利用存储器部193的存储器区域。此外，利用图像拾取元件100，可以提高存储器总线的利用效率，并且以更快的速度从存储器部193输入编码数据/向存储器部193输出编码数据，而不增加成本。

当然，在半导体衬底191中形成的电路可具有任意的配置，并且可以形成除了存储器部193之外的其他电路元件。也就是说，可将除了存储器总线之外的总线用作半导体衬底102的电路配置与半导体衬底191的电路配置之间的总线，用于传输编码数据。

在图17的示例中，压缩部201和解压缩部202都可以形成在半导体衬底102中(也就是说，形成在相同的半导体衬底中)。但是，不限于此，压缩部201和解压缩部202可以形成在不同的半导体衬底中。

例如，可将压缩部201设置在连接一对半导体衬底的电路的总线的一端，可将解压缩部202设置在另一端。在此配置中，可以经由半导体衬底之间对于带宽限制敏感的总线来压缩和传输图像数据。

当然，图像拾取元件100可以具有这样的堆叠结构，其具有四个以上半导体衬底层。

下面，参照图18的流程图描述通过图17的图像拾取元件100执行的成像处理的示例性流程。当图像拾取元件100以摄影方式捕获对象以获得对象图像的图像数据时，可以执行该成像处理。

当成像处理开始时，如分别在图16的步骤S221和S222的处理，执行步骤S241和S242的处理。在步骤S243，压缩部201压缩在步骤S242的处理中通过模拟-数字转换获得的成像装置。该压缩方法可以被任意设置。例如，压缩部201可以进行上面结合图5A或图5B的流程图所述的压缩处理。

在步骤S244，存储器控制器192使得存储器部193存储通过步骤S243的处理获得的编码数据。在步骤S245，存储器控制器192读取存储器部193中存储的编码数据。

在步骤S246，解压缩部202利用与步骤S243的压缩处理相匹配的方法，将通过步骤S245的处理从存储器部193读取的编码数据解压缩。该解压缩方法可以被任意设置，只要它对应于步骤S243的压缩处理。例如，解压缩部202可以进行上面结合图7A或图7B的流程图所述的这种解压缩处理。

如同分别在图10的步骤S183至S185的处理中，执行步骤S247至S249的处理。

通过执行上述每个处理，例如可以利用图像拾取元件100在任意定时执行预处理。

2.第二实施例

<成像装置>

图19是示出成像装置的主要配置示例的方框图。图19的成像装置300是以摄影方式捕获对象并将对象图像输出为电子信号的装置。

如图19所示，成像装置300可包括控制器310和操控部311。此外，成像装置300可包括光学部331、图像传感器332、输入部333、解压缩部334、图像处理部335、编解码器处理部336、记录部337、通信部338、以及显示部339。

控制器310可以经由总线320连接到光学部331、图像传感器332、输入部333、解压缩部334、图像处理部335、编解码器处理部336、记录部337、通信部338、以及显示部339中的每一个，以通过控制每个部分的操作来控制成像装置300中的整个处理。

操控部311例如可包括jog dial(商标)、键按钮、触摸板等等。操控部311接收来自用户的操纵输入，并将与操纵输入相对应的信号(指令)提供给控制器310。控制器310响应于指令，控制成像装置300的每个部分。

光学部331可包括透镜、光圈和快门，其中透镜调节对象的焦点，以将来自焦点位置的光线聚焦，光圈调节曝光，快门控制捕获定时。光学部331传输来自对象的光线(入射光)，并将光提供给图像传感器332。

图像传感器332通过以光电方式转换入射光，获得图像数据。上面在第一实施例中所述的图像拾取元件100被用作图像传感器332。结果，利用成像装置300，可以抑制总线121的波带限制的影响。不需要增加成本(不需要增加输出部114的I/O单元或I/O引脚的数量)，就可以提高成像性能。例如，可以增加图像的分辨率以及从静止图像的捕获到记录的处理速度。此外，可以增加连续拍摄的数量、连续拍摄速度、以及移动图片的帧率。此外，可以同时获得静止图像和移动图片两者。

也就是说，图像传感器332压缩获得的图像数据，并将图像数据作为编码数据输出到上面在第一实施例中所述的图像传感器332的外部。从图像传感器332输出的编码数据经由总线341提供给输入部333。

输入部333接收经由总线341传输的编码数据。输入部333将接收的编码数据提供给解压缩部334。

类似于上面在第一实施例中所述的解压缩部132，解压缩部334利用与图像传感器332的压缩方法相匹配的解压缩方法，将从输入部333提供的编码数据解压缩，以恢复图像数据。解压缩部334将恢复的图像数据提供给图像处理部335。

图像处理部335对于从解压缩部334提供的图像数据进行预定的图像处理。可以使用任何方法来进行该图像处理。例如，图像处理部335对于提供的图像数据(原始数据)可以进行去马赛克或者高技术缺陷像素校正。例如，基于通过操控部311输入的用户指令，可以由控制器310来指定通过图像处理部335执行的图像处理的细节。

图像处理部335将受到图像处理的图像数据提供给编解码器处理部336。

编解码器处理部336在必要时将图像数据编码或者将编码数据解码。例如，编解码器处理部336基于适合于编码图像数据的预定编码方案，将从图像处理部335提供的图像数据编码，将获得的编码数据提供给记录部337，并记录编码数据。在编解码器处理部336中，对压缩方案的限制比图像拾取元件100内的更宽松。因此，可以采用更多种压缩方案。例如，可以采用高技术压缩方案，例如联合图像专家组(JPEG)、JPEG2000、移动图像专家组(MPEG)、高级视频编码(AVC)、高效视频编码(HEVC)。

例如，编解码器处理部336类似地将从图像处理部335提供的图像数据编码，并通过通信部338将获得的编码数据输出到成像装置300的外部。此外，编解码器处理部336读取记录部中记录的编码数据，并通过通信部338将编码数据输出到成像装置300的外部。

例如，编解码器处理部336读取记录部中记录的编码数据，利用与用于产生编码数据的编码方法相匹配的解码方法将编码数据解码，以恢复图像数据。编解码器处理部336将获得的图像数据提供给显示部339，以显示图像数据的图像。此外，编解码器处理部336将从图像处理部335提供的图像数据提供给显示部339，以显示图像数据的图像。

编解码器处理部336例如根据控制器310的控制，选择各种处理中的任一个，并适当地进行必要的处理。

记录部337具有任何记录介质，例如硬盘或闪存，并将从编解码器处理部336提供的编码数据记录在记录介质中。可以使用任何记录介质。例如，可以使用可分开地安装在成像装置300中的移动介质。在这种情况下，记录部337可包括所安装的可移动介质可访问的驱动器(未示出)以及驱动器中安装的可移动介质。记录部337可包括多个记录介质或者多种类型的记录介质。

通信部338是利用预定的通信方案与成像装置300的外设进行通信的通信接口。该通信可以利用任何方法(例如有线或无线通信方法)进行。通信部338例如将从编解码器处理部提供的编码数据传输到其他装置。

显示部339具有任何显示装置(例如液晶显示器(LCD))，并显示从编解码器处理部336提供的图像数据的图像。

如上所述，将第一实施例中所述的技术应用于图像传感器332。也就是说，将图像拾取元件100用作图像传感器332。因此，利用图像传感器332，可以抑制总线341的波带限制的影响。此外，可以提高成像性能，而不增加成本。因此，利用成像装置300，可以通过利用图像传感器332捕获图像，来获得具有更高质量的移动图片或静止图像。

<成像处理的流程>

下面，参照图20的流程图描述通过上述成像装置300执行的成像处理的示例性流程。

例如，当用户操纵成像装置300等等的操控部311的快门按钮时，用于以摄影方式捕获对象的成像处理获得对象的摄影图像。

当成像处理开始时，在步骤S301，图像传感器332利用上面结合图4、10、13、16或18的流程图所述的方法进行成像处理，以捕获图像。通过压缩对象图像的图像数据获得的编码数据被输出到总线341。因为在第一实施例中描述了使用图像传感器332的这种成像处理，所以不再重复其描述。

在步骤S302，输入部333接收经由总线341传输的编码数据。在步骤S303，解压缩部334例如利用上面结合图7A或图7B的流程图所述的方法，将通过步骤S302的处理接收的编码数据解压缩。因为在第一实施例中已经描述了这种解压缩处理，所以不再重复其描述。

在步骤S304，图像处理部335对于通过步骤S334的处理获得的图像数据进行图像处理。

在步骤S305，控制器310确定是否显示图像数据的图像。如果确定显示图像，则处理前进到步骤S306。在步骤S306，显示部339显示在步骤S304中受到图像处理的图像数据的图像。

当步骤S306的处理终止时，处理前进到步骤S307。此外，如果在步骤S305确定不显示图像，则处理前进到步骤S307。

在步骤S307，控制器310确定是否记录图像数据。如果确定记录图像数据，则处理前进到步骤S308。在步骤S308，编解码器处理部336将在步骤S304中受到图像处理的图像数据编码。在步骤S309，记录部337记录通过步骤S308的处理获得的编码数据。

当步骤S309的处理终止时，处理前进到步骤S310。此外，如果在步骤S307确定不记录图像数据，则处理前进到步骤S310。

在步骤S310，控制器310确定是否将图像数据输出到成像装置300的外部。如果确定将图像数据输出到成像装置300的外部，则处理前进到步骤S311。在步骤S311，通信部338利用预定的通信方案，将从编解码器处理部336获得的编码数据传输到其他装置。当步骤S311的处理终止时，成像处理终止。

如果在步骤S310确定不输出图像数据，则成像处理终止。

通过进行如上所述的成像处理，可将第一实施例中的上述技术应用于在成像装置300中的图像传感器332。也就是说，利用图像传感器332，可以抑制总线341的波带限制的影响。此外，可以提高成像性能，而不增加成本。利用成像装置300，可以通过利用这种图像传感器332以摄影方式捕获对象，来获得具有更高质量的移动图片或静止图像。

<移动图片和静止图像的处理>

通过将第一实施例的本技术应用于图像传感器332，成像装置300可以在拍摄移动图片时捕获静止图像。

参照图21和图22的流程图描述这种情况下成像处理的示例性流程。假定图像传感器332具有图12所示的配置。这里，将通过捕获图像获得对象图像、并将获得的图像数据记录在记录部337中的处理描述为成像处理。

当成像处理开始时，在步骤S331，图像传感器332(图像拾取元件100)的光接收部111以光电方式转换入射光。

在步骤S332，A/D转换部112对于在步骤S331中获得的每个单位像素的像素信号进行模拟-数字转换，以获得数字图像数据。

在步骤S333，控制器171确定在步骤S332中获得的图像数据的图像是否为移动图片。如果确定图像为移动图片，则处理前进到步骤S334。

在步骤S334，图像减小部172减小图像数据的图像。在步骤S335，预处理部160进行预处理。在步骤S336，压缩部113压缩受到预处理的图像数据。因为上面结合图5A或图5B的流程图描述了这种压缩处理的细节，所以不再重复其描述。

在步骤S337，输出部114经由总线341将通过步骤S336的处理获得的编码数据传输给输入部333。

在步骤S338，输入部333接收经由总线341传输的编码数据。在步骤S339，解压缩部334将通过步骤S338的处理接收的编码数据解压缩。因为上面结合图7A或图7B的流程图描述了这种解压缩处理的细节，所以不再重复其描述。

在步骤S340，图像处理部335对于通过步骤S339的处理恢复的图像数据进行去马赛克，以显影图像。在步骤S341，图像处理部335对于图像数据进行校正处理。在步骤S342，图像处理部335转换图像数据的图像的分辨率。

在步骤S343，编解码器处理部336利用移动图片编码方案将图像数据进行编码。在步骤S344，记录部337记录通过步骤S343的处理获得的编码数据。

当步骤S344的处理终止时，成像处理终止。

如果在步骤S333确定图像为静止图像，则处理前进到图22。

在图22的步骤S351，预处理部160对于尚未减小其图像尺寸的图像数据进行预处理。在步骤S352，压缩部113对受到预处理的图像数据进行压缩。因为上面结合图5A或图5B的流程图描述了这种压缩处理的细节，所以不再重复其描述。

在步骤S353，输出部114经由总线341将通过步骤S352的处理获得的编码数据传输到输入部333。

在步骤S354，输入部333接收经由总线341传输的编码数据。在步骤S355，解压缩部334将通过步骤S338的处理接收的编码数据解压缩。因为上面结合图7A或图7B的流程图描述了这种解压缩处理的细节，所以不再重复其描述。

在步骤S356，控制器310确定是否将图像数据记录为原始数据。例如，如果确定基于用户指令在压缩状态下记录图像数据，则处理前进到步骤S357。

在步骤S357，图像处理部335对于通过步骤S355的处理恢复的图像数据进行去马赛克，以显影图像。在步骤S358，图像处理部335对于图像数据进行校正处理。在步骤S359，图像处理部335转换图像数据的图像的分辨率。

在步骤S360，编解码器处理部336利用静止图像编码方案将图像数据编码。在步骤S361，记录部337记录通过步骤S360的处理获得的编码数据。

当步骤S361的处理终止时，成像处理终止。

如果在步骤S356确定将图像数据记录为原始数据，则处理前进到步骤S362。

在步骤S362，记录部337记录通过步骤S355的处理恢复的图像数据(原始数据)。

当步骤S362的处理终止时，图像处理终止。

通过如上所述进行成像处理，可以利用成像装置300提高成像性能，同时抑制静止图像的图像质量的下降。

3.第三实施例

<编解码器处理部>

图19的编解码器处理部336可以具有基于任何编码方案的编码器。例如，编解码器处理部336可以具有基于高效视频编码(HEVC)的编码器。下面，对编解码器处理部336的基于HEVC的编码器的示例进行描述。

图23是示出编解码器处理部336的示例性编码部的方框图。图23的编码部400是在编解码器处理部336中设置的编码器。例如，编解码器处理部336利用基于HEVC的预测处理或者基于符合HEVC的方案的预测处理，将移动图片的图像数据编码，但是不限于此。

如图23所示，编码部400可包括A/D转换部401、画面重置缓冲器402、计算部403、正交变换部404、量化部405、无损编码部406、累积缓冲器407、去量化部408、以及反向正交变换部409。此外，编码部400可包括计算部410、环路滤波器411、帧存储器412、帧内预测部413、帧间预测部414、预测性图像选择部415、以及比率控制部416。

A/D转换部401对于输入的图像数据进行模拟-数字转换，并将转换的图像数据(数字数据)提供给画面重置缓冲器402，以存储图像数据。画面重置缓冲器402根据图片组(GOP)将以存储的显示序列布置的帧的图像重置为用于编码的帧序列，并将通过重置帧序列获得的图像提供给计算部403。此外，画面重置缓冲器402还将通过重置帧序列获得的图像提供给帧内预测部413和帧间预测部414。

计算部403从读自画面重置缓冲器402的图像减去通过预测性图像选择部415从帧内预测部413或帧间预测部414提供的预测性图像，并将其差异信息输出到正交变换部404。例如，对于帧内编码图像的情况，计算部403从读自画面重置缓冲器402的图像减去从帧内预测部413提供的预测性图像。例如，对于帧间编码图像的情况，计算部403从读自画面重置缓冲器402的图像减去从帧间预测部414提供的预测性图像。

正交变换部404对于从计算部403提供的差异信息进行正交变换，例如离散余弦变换或Karhunen-Loeve变换。正交变换部404将其变换系数提供给量化部405。

量化部405将从正交变换部404提供的变换系数量化。量化部405通过基于关于从比率控制部416提供的代码量的目标值的信息来设置量化参数，进行量化。量化部405将量化的变换系数提供给无损编码部406。

无损编码部406利用预定的编码方案将通过量化部405量化的变换系数编码。因为是在比率控制部416的控制下将系数数据量化，所以该代码量变成通过比率控制部416设置的目标值(或接近目标值)。

此外，无损编码部406从帧内预测部413获得表示帧内预测模式等等的信息，以及从帧间预测部414获得表示帧间预测模式的信息、差异运动矢量信息等等。

无损编码部406利用任何代码化方案将这些不同的信息编码，并将编码信息合并(多路复用)为编码数据的头部信息的一部分(下面也称为代编码流)。无损编码部406将获得的编码数据提供给累积缓冲器407，以累积编码数据。

无损编码部406的编码方案例如可包括可变长度编码、算术编码等等。作为可变长度编码，例如可以采用在H.264/AVC标准中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如可以采用上下文自适应二进制算术编码(CABAC)。

累积缓冲器407暂时存储从无损编码部406提供的编码数据。累积缓冲器407在预定的定时将存储的编码数据输出到编码部400的外部。也就是说，累积缓冲器407也充当传输编码数据的传输部。

通过量化部405量化的变换系数也被提供给去量化部408。去量化部408利用与量化部405的量化相匹配的方法将量化的变换系数去量化。去量化部408将获得的变换系数提供给反向正交变换部409。

反向正交变换部409利用与正交变换部404的正交变换处理相匹配的方法，对于从去量化部408提供的变换系数进行反向正交变换。受到反向正交变换的信息(恢复的差异信息)被提供给计算部410。

通过预测性图像选择部415，计算部410将来自帧内预测部413或者帧间预测部414的预测性图像添加到恢复的差异信息(其为从反向正交变换部409提供的反向正交变换的结果)，以获得本地重置图像(下面称为重置图像)。重置图像被提供给环路滤波器411或帧内预测部413。

环路滤波器411可包括去块滤波器或自适应环路滤波器，并且对于从计算部410提供的重置图像适当进行滤波处理。例如，环路滤波器411对于重置图像进行去块滤波处理，以消除重置图像的块噪声。例如，环路滤波器411对于去块滤波的结果(通过消除块噪声获得的重置图像)进行使用Wiener滤波器的环路滤波，以提高图像质量。

此外，环路滤波器411可以对于重置图像进行任何其他滤波处理。此外，环路滤波器411可以在必要时将滤波处理中使用的关于滤波器系数等等的信息提供给无损编码部406，并将信息编码。

环路滤波器411将滤波处理的结果(下面称为解码图像)提供给帧存储器412。

帧存储器412存储所提供的解码图像，并且在预定的定时将存储的解码图像提供给帧间预测部414作为参考图像。

帧内预测部413利用处理目标图片中的像素值进行用于产生预测性图像的帧内预测，目标图片是作为参考图像从计算部410提供的重置图像。帧内预测部413利用事先准备的多个帧内预测模式进行帧内预测。

帧内预测部413在全部候选帧内预测模式下产生预测性图像，并利用从画面重置缓冲器402提供的输入图像，评估每个预测性图像的代价函数值，以选择最佳模式。当选择最佳帧内预测部模式时，帧内预测部413将最佳模式下产生的预测性图像提供给预测性图像选择部415。

如上所述，帧内预测部413将表示所采用的帧内预测模式的帧内预测模式信息适当提供给无损编码部406，以将帧内预测模式信息编码。

帧间预测部414利用从画面重置缓冲器402提供的输入图像以及从帧存储器412提供的参考图像进行帧间预测处理(运动预测处理和补偿处理)。更具体而言，帧间预测部414根据通过进行运动预测所检测的运动矢量，进行运动补偿处理(作为帧间预测处理)，以产生预测性图像(帧间预测图像信息)。帧间预测部414利用事先准备的多个帧间预测模式进行这种帧间预测。

帧间预测部414在全部候选帧间预测模式中产生预测性图像。帧间预测部414利用从画面重置缓冲器402提供的输入图像、关于产生的差异运动矢量的信息等等，评估每个预测性图像的代价函数值，以选择最佳模式。当选择最佳帧间预测部模式时，帧间预测部414将最佳模式中产生的预测性图像提供给预测性图像选择部415。

帧间预测部414向无损编码部406提供表示所采用的帧间预测模式的信息、对编码数据进行解码时在该帧间预测模式中进行处理所必要的信息等等，以将这些信息编码。必要信息例如可包括关于产生的差异运动矢量的信息、作为预测性运动矢量信息的指示预测运动矢量的索引的标记等等。

预测性图像选择部415选择预测性图像的提供源，提供源将预测性图像提供给计算部403或410。例如，对于帧内编码的情况，预测性图像选择部415选择帧内预测部413作为预测性图像的提供源，并将从帧内预测部413提供的预测性图像提供给计算部403或410。例如，对于帧间代码化的情况，预测性图像选择部415选择帧间预测部414作为预测性图像的提供源，并将从帧间预测部414提供的预测性图像提供给计算部403或410。

为了防止上溢或下溢，比率控制部416基于累积缓冲器407中累积的编码数据的代码量，控制量化部405的量化比率。

<编码单元>

在高级视频编码(AVC)方案中，定义基于宏块和子宏块的等级结构。但是，具有16像素×16像素尺寸的宏块对于被称为超高清(UHD)的、具有4000像素×2000像素尺寸大图片帧并非最佳，被采用为下一代编码方案。

就此而言，在HEVC方案中，如图24所示定义编码单位(CU)。

CU也称为编码树块(CTB)，是基于图片的图像的一部分区域，对应于AVC方案中的宏块。当AVC的宏块被固定为16像素×16像素尺寸时，CU的尺寸没有限制，而是在每个序列中通过图像压缩信息来指定。

例如，CU的最大尺寸(最大编码单位(LCU))和最小CU尺寸(最小编码单位(SCU))在序列参数集(SPS)中被定义，SPS包括在输出编码数据中。

在每个LCU的范围里，通过设置***标记＝1，可将CU划分为更小的尺寸，只要它不小于SCU的尺寸。在图24的示例中，将LCU的尺寸设置为128，并将最大层深度设置为5。具有2N×2N尺寸的CU被划分为具有N×N尺寸的较低层CU，其中“***标记”的值为1。

此外，可将CU划分为预测单位(PU)，PU是充当帧间预测或帧内预测的处理单位的区域(基于图片的图像的部分区域)。此外，可将CU划分为变换单位(TU)，TU是充当正交变换处理单位的区域(基于图片的图像的部分区域)。当前，根据HEVC方案，可以使用的正交变换尺寸为4×4，8×8，16×16以及32×32。

在诸如HEVC方案(其中定义CU，并通过将CU用作单位来进行各种处理)的编码方案中，可以想到，AVC方案中的宏块对应于LCU，而块(子块)对应于CU。此外可以想到，AVC方案中的运动补偿块对应于PU。但是，因为CU具有等级结构，所以通常将最高层LCU的尺寸设置为大于AVC方案的宏块的尺寸。例如，可以设置128×128的尺寸。

<解码部>

下面描述HEVC方案中的解码。图25是与图23的编码部400相对应的解码器的主要配置示例。

图25的解码部500是在编解码器处理部336中设置的解码部，且对应于图23的编码部400。也就是说，在HEVC方案中，解码部500将通过编码部400产生的编码数据解码。

如图25所示，解码部500可包括累积缓冲器501、无损解码部502、去量化部503、反向正交变换部504、计算部505、环路滤波器506、画面重置缓冲器507、以及D/A转换部508。此外，解码部500可包括帧存储器509、帧内预测部510、帧间预测部511、以及预测性图像选择部512。

累积缓冲器501也是接收传输的编码数据的接收部。累积缓冲器501接收传输的编码数据，累积接收的编码数据，并在预定的定时将编码数据提供给无损解码部502。在解码中必须的信息(例如预测模式信息)被添加给编码数据。无损解码部502利用HEVC方案，将通过图23的无损编码部406编码、并从累积缓冲器501提供的信息解码。无损解码部502将通过解码获得的差异图像的量化系数数据提供给去量化部503。

无损解码部502确定选择帧内预测或帧间预测中的哪一个作为最佳预测模式，并且对应于选择的模式，将关于最佳预测的信息提供给帧内预测部510或帧间预测部511。也就是说，例如，在编码部400中选择帧内预测模式作为最佳预测模式的情况下，将关于最佳预测模式的信息提供给帧内预测部510。例如，在编码部400中选择帧间预测模式作为最佳预测模式的情况下，将关于最佳预测模式的信息提供给帧间预测部511。

此外，无损解码部502向去量化部503提供在去量化中所必要的信息，例如量化矩阵或量化参数。

去量化部503利用与图23的量化部405的量化方法相匹配的方法，将通过无损解码部502解码所获得的量化系数数据去量化。去量化部503是与图23的编码部400的去量化部408类似的处理部。也就是说，对于去量化部503的描述可以类似地应用于去量化部408。但是，必须根据装置适当修改数据的输入和输出目的地。

去量化部503将获得的系数数据提供给反向正交变换部504。

反向正交变换部504根据需要利用与图23的正交变换部404的正交变换方法相匹配的方法，对于从去量化部503提供的正交变换系数进行反正交变换。此外，反向正交变换部504是与图23的编码部400的反向正交变换部409类似的处理部。也就是说，对于反向正交变换部504的描述可以类似地应用于反向正交变换部409。但是，可能需要根据装置适当修改数据的输入和输出目的地。

通过反向正交变换处理，反向正交变换部504获得与代码化部400中在正交变换之前的残留数据相对应的解码残留数据。通过反向正交变换获得的解码残留数据被提供给计算部505。此外，通过预测性图像选择部512，计算部505被供以来自帧内预测部510或帧间预测部511的预测性图像。

计算部505将差异图像与预测性图像相加，获得与通过编码部400的计算部403减去预测性图像之前的图像相对应的重置图像。计算部505将重置图像提供给环路滤波器506和帧内预测部510。

环路滤波器506对于所提供的重置图像适当进行环路滤波处理(例如去块滤波处理或者自适应环路滤波处理)，以产生解码图像。例如，环路滤波器506对于重置图像进行去块滤波处理，以消除块噪声。例如，环路滤波器506利用Wiener滤波器，对于去块滤波处理的结果(通过消除块噪声获得的重置图像)进行环路滤波处理，以提高图像质量。

通过环路滤波器506可以进行任何滤波处理。也可以进行除了上述之外的滤波处理。此外，环路滤波器506可以利用从图23的编码部400提供的滤波系数进行滤波处理。

环路滤波器506将解码图像作为滤波处理的结果提供给画面重置缓冲器507和帧存储器509。

画面重置缓冲器507重置图像。也就是说，对于编码序列，通过图23的画面重置缓冲器402重置的帧序列被重置为原始显示序列。D/A转换部508对于从画面重置缓冲器507提供的图像进行数字-模拟转换，并将结果输出到显示部(未示出)，以显示结果。

帧存储器509存储所提供的解码图像，并且在预定的定时或者响应于来自外部(例如帧间预测部511)的请求，将存储的解码图像提供给帧间预测部511，作为参考图像。

帧内预测部510被供以通过解码来自无损解码部502的头部信息等等所获得的表示帧内预测模式的信息。帧内预测部510利用在图23的帧内预测部413使用的帧内预测模式中、从帧存储器509获得的重置图像，进行帧内预测，以产生预测性图像。帧内预测部510将产生的预测性图像提供给预测性图像选择部512。

帧间预测部511从无损解码部502获得通过解码头部信息所获得的信息(例如最佳预测模式信息和参考图像信息)。

帧间预测部511利用通过从无损解码部502获得的最佳预测模式指示的帧间预测模式，使用从帧存储器509获得的参考图像进行帧间预测，以产生预测性图像。

预测性图像选择部512向计算部505提供来自帧内预测部510的预测性图像或者来自帧间预测部511的预测性图像。此外，在计算部505中，将利用运动矢量产生的预测性图像与来自反向正交变换部504的解码残留数据(差异图像信息)相加，以解码原始图像。也就是说，帧间预测部511、无损解码部502、去量化部503、反向正交变换部504、以及计算部505也构成利用运动矢量将编码数据解码以产生原始图像的解码部。

编解码器处理部336可包括这样的编码部400或者这样的解码部500。

<编码处理的流程>

下面，参照图26的流程图描述通过上述代码化部400执行的代码化处理的流程。

在步骤S401，A/D转换部401对于输入图像进行模拟-数字转换。在步骤S402，画面重置缓冲器402存储受到模拟-数字转换的图像，并每个图片从显示序列重新布置为编码序列。在步骤S403，帧内预测部413在帧内预测模式中进行帧内预测处理。

在步骤S404，帧间预测部414在帧间预测模式中进行帧间预测处理用于运动预测或运动补偿。

在步骤S405，预测性图像选择部415基于从帧内预测部413以及帧间预测部414输出的每个代价函数值，确定最佳模式。也就是说，预测性图像选择部415选择通过帧内预测部413产生的预测性图像以及通过帧间预测部414产生的预测性图像中的任何一个。

在步骤S406，计算部403计算通过步骤S402的处理重新布置的图像与通过步骤S405的处理选择的预测性图像之间的差异。与原始图像数据的数据量相比，差异数据具有更少的数据量。因此，与直接将图像编码的情况相比，可以减少数据量。

在步骤S407，正交变换部404对于通过步骤S406的处理产生的差异信息进行正交变换。在步骤S408，量化部405利用通过比率控制部416计算的量化参数，将通过步骤S407的处理获得的正交变换系数量化。

在步骤S409，去量化部408利用与量化部405的特性相对应的特性，将通过步骤S408的处理产生的量化系数(称为量化系数)去量化。在步骤S410，反向正交变换部409对于通过步骤S409的处理获得的正交变换系数进行反向正交变换。

在步骤S411，计算部410将预测性图像与本地解码的差异信息相加，以产生本地解码图像(与输入计算部403的图像对应的图像)。

在步骤S412，环路滤波器411对通过步骤S411的处理产生的图像进行滤波。结果，消除块噪声等等。

在步骤S413，帧存储器412存储在步骤S412中受到环路滤波处理的解码图像。

在步骤S414，无损编码部406将通过步骤S408的处理量化的系数编码。也就是说，对于与差异图像相对应的数据进行无损编码，例如可变长度编码或算术编码。

在这种情况下，无损编码部406将关于通过步骤S405的处理选择的预测性图像的预测模式的信息编码，并将得到的编码信息与通过编码差异图像获得的编码数据相加。此外，无损编码部406将从帧内预测部413提供的关于最佳帧内预测模式的信息或者从帧间预测部414提供的关于最佳帧间预测模式的信息编码，并将得到的编码信息与编码数据相加。

在步骤S415，累积缓冲器407累积通过步骤S414的处理获得的编码数据。通过传输线路或者利用记录介质，在累积缓冲器407中累积的编码数据被适当地读取并传输到解码侧。

在步骤S416，为了防止上溢或下溢，比率控制部416基于通过步骤S415的处理在累积缓冲器407中累积的编码数据的代码量(所产生代码的数量)，控制量化部405的量化率。此外，比率控制部416将关于量化参数的信息提供给量化部405。

当步骤S416的处理终止时，编码处理终止。

通过执行上述编码处理，编解码器处理部336可以根据HEVC方案将图像数据编码。

<解码处理的流程>

下面，参照图27的流程图描述通过上述解码部500执行的解码处理的示例性流程。

当解码处理开始时，在步骤S501，累积缓冲器501累积传输的比特流。在步骤S502，无损解码部502将从累积缓冲器501提供的比特流(编码差异图像信息)解码。也就是说，将通过图23的无损编码部406编码的I图片、P图片、以及B图片解码。在这种情况下，除了比特流中包括的差异图像信息之外的各种类型信息(例如头部信息)也被解码。

在步骤S503，去量化部503将通过步骤S502的处理获得的量化系数去量化。

在步骤S504，反向正交变换部504对于在步骤S503中去量化的系数进行反向正交变换。

在步骤S505，帧内预测部510或帧间预测部511进行预测处理，以产生预测性图像。也就是说，在通过无损解码部502确定、并应用于编码的预测模式中进行预测处理。更具体而言，例如，在将帧内预测应用于编码的情况下，帧内预测部510在编码时在认为是最佳的帧内预测模式中产生预测性图像。例如，在将帧间预测应用于编码的情况下，帧间预测部511在编码时在认为是最佳的帧间预测模式中产生预测性图像。

在步骤S506，计算部505将在步骤S505中产生的预测性图像与在步骤S504中通过反正交变换获得的差异图像信息相加。结果，将原始图像记录。

在步骤S507，环路滤波器506对于通过步骤S506的处理获得的重置图像适当进行环路滤波处理(例如去块滤波处理或者自适应滤波处理)。

在步骤S508，画面重置缓冲器507将在步骤S507中受到滤波处理的图像重置。也就是说，通过用于编码的编码部400的画面重置缓冲器402重置的帧序列被重置为原始显示序列。

在步骤S509，D/A转换部508对于其帧序列在步骤S508被重置的图像进行数字-模拟转换。所得图像被输出到显示部(未示出)，并在显示部上显示。

在步骤S510，帧存储器509存储在步骤S507受到滤波处理的图像。

当步骤S510的处理终止时，解码处理终止。

通过执行上述编码处理，编解码器处理部336可以根据HEVC方案将通过编码图像数据所获得的编码数据解码。

根据本技术的成像装置可具有其他配置，而不限于上述配置。例如，根据本技术的成像装置可以应用于具有摄影成像功能的信息处理装置，例如数码相机、视频相机、移动电话、智能电话、平板装置、以及个人电脑。或者，根据本技术的成像装置也可以应用于其他信息处理装置中安装的相机模块(或者安装为嵌入装置)。

上述一系列处理可通过硬件或软件执行。如果上述一系列处理通过软件执行，则从网络或记录介质安装构成程序的程序。

该记录介质例如可配置为图19所示的记录部337。例如，记录介质可包括只读存储器(ROM)或者在记录部337中包括的硬盘，并存储事先嵌入装置主体并传输给用户的程序。此外，记录介质可包括被分配为向用户传输程序的可移动介质，其中独立于装置主体存储程序。如上所述，当安装在驱动器中时，该可移动介质充当记录部337。可移动介质可包括磁盘(包括软盘)、光盘(例如CD-ROM或DVD)、光磁盘(例如迷你盘(MD))、固态装置(SSD)存储器等等。

例如，通过计算机(例如控制器310)执行的程序可以根据这里所述的序列按照时间序列的方式来处理。或者，程序可以并行处理，或者在必要的定时(例如调用)处理。

这里，描述记录介质中记录的程序的步骤可包括根据描述序列按照时间序列的方式进行的处理，或者个别或并行执行的处理，不一定限于顺序处理。

这里，***表示元件(例如，装置、模块、组件)的集合，不管是否将全部元件都装在相同的外壳中。因此，***可以表示存储在个别外壳中、并经由网络相互连接的多个装置，也可以表示通过将多个模块装在单个外壳中获得的单个装置。

在上述配置中，可将单个装置(或处理部)划分为多个装置(或处理部)。相反，在上述配置中，可将多个装置(或处理部)集成为单个装置(或处理部)。可以对每个装置(或每个处理部)的配置添加附加元件。只要整个***的配置或操作实际上相同，就可以将任何装置(或处理部)的一部分包括在其他装置(或处理部)中。

在上文中，虽然参照附图详细描述了本公开的实施例，但是这里所述的技术范围不限于这些实施例。本领域技术人员应当理解，在不脱离后附权利要求书的精神和范围的情况下，可以有各种变型或改型。当然，这些变型或改型目的是涵盖本公开的技术范围。

例如，本技术可以具有云计算配置，其中经由网络跨越多个装置按照分布式方式处理单个功能。

上述流程图中所述每个步骤可通过单个装置执行，也可以跨越多个装置按照分布式方式执行。

在单个步骤中包括多个处理的情况下，单个步骤中包括的多个处理通过单个装置执行，也可以跨越多个装置按照分布式方式执行。

可将本技术具体实施为以下配置。

(1)一种成像设备，包括：

图像捕获单元，被配置为检测入射光并产生原始图像数据；

压缩单元，被配置为压缩所述原始图像数据以产生数据量小于所述原始图像数据的数据量的编码数据；以及

输出单元，被配置为将所述编码数据输出到用于处理所述编码数据的处理单元，

其中，所述图像捕获单元、所述压缩单元、以及所述输出单元被配置在相同的半导体封装内。

(2)根据(1)的成像设备，其中，从所述图像捕获单元输出的所述原始图像数据在由所述压缩单元接收之前，不通过任何总线传输。

(3)根据(1)的成像设备，其中，所述输出单元通过总线将所述编码数据输出给所述处理单元。

(4)根据(1)的成像设备，其中，所述压缩单元和所述输出单元被制造在第一半导体衬底上，所述处理单元被制造在第二半导体衬底上，并且总线将位于所述第一半导体衬底上的所述输出单元的电路连接到位于所述第二半导体衬底上的所述处理单元的电路。

(5)根据(4)的成像设备，其中，所述图像捕获单元被制造在第三半导体衬底上，所述第三半导体衬底与所述第一半导体衬底以相连的堆叠结构重叠。

(6)根据(4)的成像设备，其中，所述图像捕获单元被制造在所述第一半导体衬底上。

(7)根据(1)的成像设备，还包括预处理单元，其被配置为接收通过所述图像捕获单元产生的所述原始图像数据，并将经预处理的原始图像数据输出给所述压缩单元。

(8)根据(1)的成像设备，其中，所述压缩单元利用简化压缩方法来压缩所述原始图像数据。

(9)根据(8)的成像设备，其中，所述简化压缩方法是差分脉冲编码调制(DPCM)方案和离散余弦变换(DCT)方案其中之一。

(10)根据(1)的成像设备，其中，通过所述图像捕获单元产生的所述原始图像数据包括同时收集的静止图像数据和移动图片图像数据两者。

(11)根据(10)的成像设备，其中，在通过所述压缩单元压缩所述原始图像数据之前，降低所述原始图像数据的移动图片图像数据部分的分辨率。

(12)根据(10)的成像设备，其中，所述压缩单元以固定的压缩比压缩所述原始图像数据的所述静止图像数据，并且以可变的压缩比压缩所述原始图像数据的所述移动图片图像数据。

(13)根据(1)的成像设备，其中，通过所述图像捕获单元产生的所述原始图像数据包括静止图像数据和移动图片图像数据至少其中之一，其中所述压缩单元以固定的压缩比压缩所述原始图像数据的所述静止图像数据，并且以可变的压缩比压缩所述原始图像数据的所述移动图片图像数据。

(14)一种图像传感器，包括：

图像捕获单元，被配置为检测入射光并产生原始图像数据；

压缩单元，被配置为压缩所述原始图像数据以产生数据量小于所述原始图像数据的数据量的编码数据；以及

输出单元，被配置为将所述编码数据输出到用于传输至图像处理装置的总线。

(15)根据(14)的图像传感器，其中，产生的原始图像数据在压缩之前不通过任何总线传输。

(16)一种成像方法，包括：

检测入射光并基于检测到的入射光产生原始图像数据；

压缩所述原始图像数据以产生数据量小于所述原始图像数据的数据量的编码数据；以及

将所述编码数据输出，用于进一步处理所述编码数据，

其中，产生的原始图像数据在压缩之前不通过任何总线传输。

(17)一种通过程序具体实施的非暂态计算机可读介质，在通过计算机执行时，所述程序使得所述计算机进行包括以下的方法：

检测入射光并基于检测到的入射光产生原始图像数据；

压缩所述原始图像数据以产生数据量小于所述原始图像数据的数据量的编码数据；以及

将所述编码数据输出，用于进一步处理所述编码数据，

其中，产生的原始图像数据在压缩之前不通过任何总线传输。

(18)一种图像拾取元件，包括：

光接收部，用于接收入射光并以光电方式转换所述入射光；以及

压缩部，用于压缩通过所述光接收部获得的图像数据。

(19)根据(18)以及(20)至(29)任一项的图像拾取元件，其中，所述压缩部对于所述图像数据进行简化压缩。

(20)根据(18)、(19)以及(21)至(29)任一项的图像拾取元件，其中，

在多层结构中设置多个衬底，以及

所述光接收部和所述压缩部形成在不同的衬底中。

(21)根据(18)至(20)以及(22)至(29)任一项的图像拾取元件，其中，所述光接收部和所述压缩部形成在单个衬底中。

(22)根据(18)至(21)以及(23)至(29)任一项的图像拾取元件，其中，

所述图像数据是通过所述光接收部的每个单位像素获得的一组像素数据，以及

所述压缩部对于像素数据之间的差值进行Golomb编码。

(23)根据(18)至(22)以及(24)至(29)任一项的图像拾取元件，其中，所述压缩部对于所述图像数据进行一维离散余弦变换(DCT)。

(24)根据(18)至(23)以及(25)至(29)任一项的图像拾取元件，其中，所述压缩部按照固定的压缩比压缩所述图像数据。

(25)根据(18)至(24)以及(26)至(29)任一项的图像拾取元件，还包括预处理部，所述预处理部用于对于通过所述光接收部获得的图像数据进行预定的图像处理，

其中，所述压缩部对受到所述预处理部的信号处理的图像数据进行压缩。

(26)根据(18)至(25)以及(27)至(29)任一项的图像拾取元件，其中，所述信号处理包括降噪或者缺陷数据校正。

(27)根据(18)至(26)以及(28)和(29)任一项的图像拾取元件，还包括减小部，所述减小部用于在图像数据为移动图片的数据的情况下，将所述图像数据的尺寸减小到预定尺寸，

其中，所述压缩部在所述图像数据为移动图片的数据的情况下，压缩具有通过所述减小部减小的图像尺寸的图像数据，或者

所述压缩部在所述图像数据为静止图像的数据的情况下，压缩具有通过所述光接收部获得的图像尺寸的图像数据。

(28)根据(18)至(27)以及(29)任一项的图像拾取元件，还包括输出部，所述输出部用于将利用所述压缩部压缩图像数据而获得的编码数据向外部输出。

(29)根据(18)至(28)任一项的图像拾取元件，还包括存储器部，用于存储利用所述压缩部压缩图像数据而获得的编码数据。

(30)一种成像装置，包括：

图像拾取元件，具有

光接收部，用于接收入射光并以光电方式转换入射光；以及

压缩部，用于压缩通过所述光接收部获得的图像数据；以及

解压缩部，用于将利用所述压缩部压缩图像数据获得的并且从所述图像拾取元件输出的编码数据解压缩。

(31)根据(30)以及(32)至(36)的成像装置，其中，所述压缩部对于所述图像数据进行简化压缩。

(32)根据(30)、(31)以及(33)至(36)的成像装置，其中，所述图像拾取元件具有多个衬底，所述多个衬底具有多层结构，以及

所述光接收部和所述压缩部形成在不同的衬底中。

(33)根据(30)至(32)以及(34)至(36)的成像装置，其中，所述光接收部和所述压缩部形成在单个衬底中。

(34)根据(30)至(33)、(35)和(36)的成像装置，其中，所述图像数据是从所述光接收部的每个单位像素获得的一组像素数据，以及

所述压缩部对于像素数据之间的差值进行Golomb编码。

(35)根据(30)至(34)以及(36)的成像装置，其中，所述压缩部对于所述图像数据进行一维离散余弦变换(DCT)。

(36)根据(30)至(35)的成像装置，其中，所述压缩部按照固定的压缩比压缩所述图像数据。

(37)一种成像装置的成像方法，包括：

利用所述成像装置的图像拾取元件接收入射光并进行光电转换；

压缩获得的图像数据；

利用所述图像拾取元件将获得的编码数据输出；以及

将从所述图像拾取元件输出的编码数据解压缩。

本公开包含的主题与2012年11月20日在日本专利局提交的日本优先权专利申请JP 2012-254407中公开的主题有关，通过参考将其全部内容合并于此。

[附图标记列表]

100 图像拾取元件

101,102 半导体衬底

111 光接收部

112 A/D转换部

113 压缩部

114 输出部

121 总线

130 图像处理装置

131 输入部

132 解压缩部

141 DPCM处理部

142 Golomb编码部

143 压缩率调节部

144 一维DCT处理部

151 压缩比反向调节部

152 Golomb解码部

153 反向DPCM处理部

154 一维反向DCT处理部

160 预处理部

161 缺陷校正部

162 缺陷位置检测器部

163 NR处理部

171 控制器

172 图像减小部

181,191 半导体衬底

192 存储器控制器

193 存储器部

201 压缩部

202 解压缩部

300 成像装置

310 控制器

311 操控部

320 总线

331 光学部

332 图像传感器

333 输入部

334 解压缩部

335 图像处理部

336 编解码器处理部

337 记录部

338 通信部

339 显示部

341 总线

400 编码部

500 解码部

Claims (12)

1.一种成像设备，包括：

图像捕获单元，被配置为检测入射光并产生原始图像数据；

压缩单元，被配置为压缩所述原始图像数据以将数据量小于所述原始图像数据的数据量的编码数据输出到用于处理所述编码数据的处理单元，

其中，所述图像捕获单元和所述压缩单元被配置在相同的半导体封装内，

其中，所述图像捕获单元被制造在第一半导体衬底上，所述压缩单元被制造在第二半导体衬底上，并且总线将位于所述第二半导体衬底上的所述压缩单元的电路连接到所述处理单元的电路，

其中，所述图像捕获单元、所述压缩单元和所述处理单元中的每个经由至少一个处理器来实现，并且

其中，从所述图像捕获单元输出的所述原始图像数据在由所述压缩单元接收之前，不通过任何总线传输。

2.根据权利要求1所述的成像设备，还包括输出单元；

其中，所述输出单元通过总线将所述编码数据输出给所述处理单元。

3.根据权利要求1所述的成像设备，其中，所述图像捕获单元被制造在所述第一半导体衬底上，所述第一半导体衬底与所述第二半导体衬底以相连的堆叠结构中重叠。

4.根据权利要求1所述的成像设备，还包括预处理单元，其被配置为接收通过所述图像捕获单元产生的所述原始图像数据，并将经预处理的原始图像数据输出给所述压缩单元，

其中，经由至少一个处理器实现所述预处理单元。

5.根据权利要求1所述的成像设备，其中，所述压缩单元利用简化压缩方法来压缩所述原始图像数据。

6.根据权利要求5所述的成像设备，其中，所述简化压缩方法是差分脉冲编码调制(DPCM)方案和离散余弦变换(DCT)方案其中之一。

7.根据权利要求1所述的成像设备，其中，通过所述图像捕获单元产生的所述原始图像数据包括同时收集的静止图像数据和移动图片图像数据两者。

8.根据权利要求7所述的成像设备，其中，在通过所述压缩单元压缩所述原始图像数据之前，降低所述原始图像数据的移动图片图像数据部分的分辨率。

9.根据权利要求7所述的成像设备，其中，所述压缩单元以固定的压缩比压缩所述原始图像数据的所述静止图像数据，并且以可变的压缩比压缩所述原始图像数据的所述移动图片图像数据。

10.根据权利要求1所述的成像设备，其中，通过所述图像捕获单元产生的所述原始图像数据包括静止图像数据和移动图片图像数据至少其中之一，其中所述压缩单元以固定的压缩比压缩所述原始图像数据的所述静止图像数据，并且以可变的压缩比压缩所述原始图像数据的所述移动图片图像数据。

11.一种成像方法，包括：

检测入射光，

产生原始图像数据；以及

使用制造在第二半导体衬底上的电路压缩所述原始图像数据以将数据量小于所述原始图像数据的数据量的编码数据输出到制造在第一半导体衬底上的电路，用于进一步处理所述编码数据，

其中，制造在所述第一半导体衬底上的电路和制造在所述第二半导体上的电路被配置在相同的半导体封装内，以及，其中总线将位于所述第二半导体衬底上的用于输出所述编码数据的电路连接到位于所述第一半导体衬底上的用于进一步处理所述编码数据的电路；并且

其中，产生的原始图像数据在压缩之前不通过任何总线传输。

12.一种具有程序的非暂态计算机可读介质，在通过计算机执行时，所述程序使得所述计算机进行包括以下的方法：

检测入射光；

产生原始图像数据；以及

使用制造在第二半导体衬底上的电路压缩所述原始图像数据以将数据量小于所述原始图像数据的数据量的编码数据输出到制造在第一半导体衬底上的电路，用于进一步处理所述编码数据，

其中，制造在所述第一半导体衬底上的电路和制造在所述第二半导体上的电路被配置在相同的半导体封装内，以及其中总线将位于所述第二半导体衬底上的用于输出所述编码数据的电路连接到位于所述第一半导体衬底上的用于进一步处理所述编码数据的电路；并且

其中，产生的原始图像数据在压缩之前不通过任何总线传输。

Images