CN105391936A - 摄像设备及其控制方法和图像传感器 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法和图像传感器。所述摄像设备包括：摄像部件，用于生成被摄体的图像数据；添加部件，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；传输部件，用于传输添加有所述附加信息的图像数据；以及图像处理部件，用于从经由所述传输部件所接收到的图像数据中提取由通过接收该图像数据而获得的所述附加信息所指定的所述第一像素区域和所述第二像素区域，并且对所提取的所述第一像素区域和所述第二像素区域进行预定的图像处理。

Description

摄像设备及其控制方法和图像传感器

技术领域

本发明涉及摄像设备、该摄像设备的控制方法和图像传感器。

背景技术

伴随着图像传感器的高图像质量化和高帧频化，要求提高图像传感器和对图像传感器所拍摄到的图像数据进行处理的DSP(数字信号处理器)之间的接口的传输速度。针对该情形，在日本特开2012-120158中公开了如下技术，其中该技术用于通过生成向像素数据添加头部信息的包以将图像数据发送至在图像传感器和DSP之间所连接的多个传输通道，来更加高效地传输图像数据。

顺便提及，存在如下情况：在诸如运动图像拍摄期间的实时取景放大显示所用的模式等的特定摄像模式中，首先放大显示根据用户的操作所拍摄到的图像数据的一部分。为了改变这样所拍摄到的图像的显示区域，需要通过在从图像传感器传输来的图像数据中取出记录或显示等所使用的动态地发生改变的区域(读出区域)的一部分，来进行放大显示处理等。由于该原因，DSP有必要根据需要针对所获得的读出区域进行用于获得进行放大显示所用的区域的计算。因此，预计伴随着高质量化和高帧频化等、对读出区域的一部分进行处理所用的DSP的处理负担将增大。此外，在日本特开2012-120158所公开的技术中，从图像传感器传输至DSP的头部信息局限于诸如用于表示帧的开始或结束以及像素数据所属的线编号等的控制信息。因此，没有考虑针对读出区域的全部或读出区域的部分区域的处理，因而有必要利用控制单元对DSP进行单独控制以对DSP进行该处理，并且预计处理将变得更加复杂。

发明内容

本发明是考虑到上述问题而作出的，并且实现如下技术，其中利用该技术，可以减轻在对所拍摄到的图像数据的部分区域进行处理的情况下、与从图像传感器传输来的图像数据有关的处理负担。

为了解决上述问题，本发明提供一种摄像设备，包括：摄像部件，用于生成被摄体的图像数据；添加部件，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；传输部件，用于传输添加有所述附加信息的图像数据；以及图像处理部件，用于从经由所述传输部件所接收到的图像数据中提取由通过接收该图像数据而获得的所述附加信息所指定的所述第一像素区域和所述第二像素区域，并且对所提取的所述第一像素区域和所述第二像素区域进行预定的图像处理。

为了解决上述问题，本发明提供一种图像传感器，包括：摄像部件，用于生成被摄体的图像数据；添加部件，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；以及传输部件，用于传输添加有所述附加信息的图像数据。

为了解决上述问题，本发明提供一种摄像设备的控制方法，包括以下步骤：摄像步骤，用于生成被摄体的图像数据；添加步骤，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；传输步骤，用于传输添加有所述附加信息的图像数据；以及图像处理步骤，用于从经由所述传输步骤所接收到的图像数据中提取由通过接收该图像数据而获得的所述附加信息所指定的所述第一像素区域和所述第二像素区域，并且对所提取的所述第一像素区域和所述第二像素区域进行预定的图像处理。

根据本发明，可以减轻在对所拍摄到的图像数据的部分区域进行处理的情况下、与从图像传感器传输来的图像数据有关的处理负担。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是用于示出作为根据本发明实施例的摄像设备的示例的数字照相机100的功能结构示例的框图。

图2是用于示意性示出根据实施例的图像传感器102的像素区域的图。

图3是用于示出根据实施例的传输数据的帧格式的示例的图。

图4是用于示出根据实施例的头部信息的内容和信息量的表。

图5A～图5B是根据实施例的、用于示出图像区域和读出区域之间的关系的图以及用于示出读出区域和显示区域之间的关系的图。

图6A～图6B是根据第一实施例的用于示出图像传感器102和信号处理单元103的功能结构示例的框图、以及根据第二实施例的用于示出信号处理单元103的功能结构示例的框图。

图7是用于示出根据实施例的传输和显示处理的一系列操作的流程图。

图8是用于示出根据第三实施例的摄像设备500的功能结构的框图。

图9是用于示出根据第三实施例的AFE501的功能结构示例的框图。

图10是用于示出根据第四实施例的摄像设备600的功能结构的框图。

图11是用于示出根据第四实施例的DFE601和信号处理单元602的功能结构示例的框图。

图12A～图12B是用于示出根据其它实施例的堆叠结构的图像传感器的示例的图。

图13是用于示出作为根据其它实施例的摄像设备的示例的移动电话的功能结构示例的框图。

包含在说明书中并构成说明书的一部分的附图示出本发明的实施例，并且连同说明书一起，用来解释本发明的原理。

具体实施方式

第一实施例

以下将参考附图来详细说明本发明的典型实施例。注意，以下说明将本发明应用于作为摄像设备的示例的、能够对所拍摄图像的部分区域进行处理的数字照相机的示例。然而，本发明还可应用于能够进行该处理的任意装置并且不限于数字照相机。这些装置例如可以包括移动电话、游戏装置、平板终端、个人计算机或者时钟型或眼镜型信息终端等。

1数字照相机100的结构

图1是用于示出作为本发明的摄像设备的示例的数字照相机100的功能结构示例的框图。注意，图1所示的功能块中的一个或多个可以由诸如ASIC或可编程逻辑阵列(PLA)等的硬件来实现，并且可以通过诸如CPU或MPU等的可编程处理器执行软件来实现。此外，这些功能块可以由软件和硬件的组合来实现。因此，在以下说明中，即使在描述不同的功能块作为操作主体的情况下，也有可能可以利用同一硬件作为主体来实现此。

摄像透镜101是用于使被摄体的光在图像传感器102上成像的光学摄像***。图像传感器102包括图像传感器且具有包含光电转换元件的多个像素二维地排列的结构，并且利用这些像素对摄像透镜101所形成的被摄体的图像进行光电转换。没有特别限制图像传感器102；例如可以使用诸如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器等的图像传感器。图像传感器102在内部具有A/D转换单元，并且通过将以像素为单位的模拟信号转换成数字信号来生成图像数据。此外，如后面将说明的，图像传感器102产生向图像数据添加诸如头部信息等的附加信息的包数据，然后将该包数据传输至信号处理单元103。

信号处理单元103包括诸如DSP等的专用集成电路，并且对从图像传感器102输入的图像数据进行诸如显像处理或色调校正等的各种图像处理或者压缩/解压缩处理等。在从图像传感器102输入图像数据的情况下，信号处理单元103例如通过参考如后面将单独说明的添加至图像数据的附加信息，来进行用于提取图像数据内的预定区域以供放大显示的处理。

记录介质104包括半导体存储器或磁盘等，以记录所拍摄图像数据。

显示单元105显示所拍摄到的图像或各种菜单画面等；对于显示单元105，使用液晶显示器(LCD)。显示单元105包括触摸面板，并且用作用于检测用户对菜单画面的操作的操作单元(未示出)。

控制单元106例如是CPU或MPU，并且控制单元106通过将ROM(未示出)中所存储的程序载入存储器(未示出)的工作区域并且执行该程序，来控制数字照相机100整体。RAM107是用于临时存储图像数据的存储介质，并且RAM107连接至信号处理单元103。

2图像数据的传输方法

以下参考图2来详细说明图像传感器102的像素区域的示例。在有效像素区域201中，配置有对被摄体的光进行光电转换并且输出与入射光量相对应的信号的有效像素。在图像传感器102上，除有效像素外还配置有对被摄体的光进行遮光的光学黑像素(OB像素)，并且这些OB像素输出成为用于校正有效像素的输出的基准的信号。水平OB像素区域202和垂直OB像素区域203是OB像素分别配置的区域。水平OB像素区域202是垂直方向(沿着列的方向)上的像素数等于有效像素区域201的垂直方向上的像素数的区域，并且例如，水平OB像素区域202被配置成邻接有效像素区域201的水平方向(沿着行的方向)的端部(例如，左侧)。对于垂直OB像素区域203，水平方向上的像素数等于水平OB像素区域202和有效像素区域201的水平方向上的像素数，并且垂直OB像素区域203被配置成接触有效像素区域201的垂直方向上的端部(例如，上侧)。像素区域200包括有效像素区域201、水平OB像素区域202和垂直OB像素区域203。

接着，参考图3来说明为了在图像传感器102和信号处理单元103之间传输一帧的图像数据所使用的格式的示例。

在假定水平方向(沿着行的方向)上的像素的顺序为线(line)的情况下，将包括包含有效像素和OB像素的一条线的像素数据存储在包中。因此，使用数量不小于有效像素区域的垂直方向(沿着列的方向)上的像素数的包来进行一帧的图像数据整体的传输。

图3的上部和中部示出在以线为单位传输像素数据时所添加的头部信息、以及针对将该头部信息和包括一条线的像素数据的数据放置到一个包中的情况的包结构。此外，如图3的下部所示，示意性示出从如图2所示的像素区域输出的像素数据和包结构之间的对应关系。

在像素数据303之前和之后添加头部信息302和脚注信息304。另外，在头部信息302之前和脚注信息304之后分别添加诸如表示包的开始的开始码301和表示包的结束的结束码305等的控制码。在没有添加脚注信息304的情况下，在像素数据之后添加诸如结束码305等的控制码，并且在没有添加结束码305的情况下，使用下一帧的开始码作为结束码。

在头部信息302中包括诸如帧信息310、线信息311、跳过位置信息312或显示区域信息313等的与线的像素数据有关的附加信息。在图4中，示出头部信息302中所包括的信息的内容和信息量。

帧信息310是与包中所存储的像素数据的帧有关的信息，并且帧信息310包括表示“帧开始”或“帧结束”的信息。“帧开始”是表示帧的开头的1位的信息，并且在包括图像数据的第一条线的像素数据的包的“帧开始”中设置值1。此外，针对表示除第一条线以外的线的包的“帧开始”设置值0。“帧结束”是表示帧的终止的1位的信息。在包括有效像素区域的终止线的像素数据的包的“帧结束”中设置值1，并且在包括除终止线以外的线的像素数据的包的“帧结束”中设置值0。

线信息311包括作为与包中所存储的像素数据的线有关的信息的“有效线”和“线编号”。“有效线”是表示包中所存储的像素数据是否是有效像素区域的线的像素数据的1位的信息。在存储有有效像素区域的线的像素数据的包的“有效线”中，设置值1，并且在存储有除有效像素区域的线以外的像素数据的包的“有效线”中，设置值0。“线编号”是表示包括像素数据的线的线编号的13位的信息。

跳过位置信息312是与从传输至信号处理单元103的图像数据中读出像素数据所用的跳过位置有关的信息，并且跳过位置信息312包括“垂直跳过开始”、“垂直跳过结束”、“水平跳过开始”和“水平跳过结束”。各信息项是13位的信息，并且“垂直跳过开始”表示跳过位置的垂直方向(沿着列的方向)上的开始位置，“垂直跳过结束”表示跳过位置的垂直方向(沿着列的方向)上的结束位置。同样，“水平跳过开始”表示跳过位置的水平方向(沿着行的方向)上的开始位置，并且“水平跳过结束”表示跳过位置的水平方向(沿着行的方向)上的结束位置。

显示区域信息313是表示显示区域中所包括的像素数据的信息，并且显示区域信息313包括“垂直显示开始”、“垂直显示结束”、“水平显示开始”和“水平显示结束”。显示区域信息的信息项各自是13位的信息，并且“垂直显示开始”表示显示区域的垂直方向(沿着列的方向)上的开始位置，“垂直显示结束”表示显示区域的垂直方向(沿着列的方向)上的结束位置。此外，“水平显示开始”表示显示区域的水平方向(沿着行的方向)上的开始位置，且“水平显示结束”表示显示区域的水平直方向(沿着行的方向)上的结束位置。

扩展信息314包括包含为了扩展所配置的32位的区域的“保留”，并且头部信息整体的数据量为19字节。

将参考图5来说明用于基于图3和图4所示的头部信息来从与图2所示的像素区域相对应的像素数据中指定显示区域和读出区域的方法。图5A示出头部信息302的跳过位置信息312所指定的读出区域以及图像传感器的像素区域200。

读出区域300是信号处理单元103为了记录在记录介质104上所提取的区域。将读出区域300中的有效读出区域204指定为由头部信息302的跳过位置信息表示的四个位置(即，“垂直跳过开始”、“垂直跳过结束”、“水平跳过开始”和“水平跳过结束”)分别包围的区域。此外，与有效读出区域204相对应的垂直OB读出区域206包括垂直OB读出区域206a和垂直OB读出区域206b。垂直OB读出区域206a是利用垂直OB像素区域中的“水平跳过开始”和“水平跳过结束”的位置分别表示的水平方向上的范围所指定的。此外，将垂直OB读出区域206b指定为如下区域，其中该区域配置在水平OB像素区域的上侧，并且该区域在水平方向上的像素数等于水平OB像素区域的水平方向上的像素数。水平OB读出区域205是利用水平OB像素区域202中的“垂直跳过开始”和“垂直跳过结束”的位置分别表示的垂直方向上的范围所指定的。这样，通过分别指定有效读出区域204、水平OB读出区域205和垂直OB读出区域206来提取读出区域300。

接着，将参考图5B来说明读出区域300和显示区域400之间的关系。显示区域400例如是在诸如运动图像拍摄期间的实时取景放大显示等的特定摄像模式中、通过取出读出区域300的一部分来进行放大显示时所使用的区域。显示区域400是利用读出区域300和头部信息302的显示区域信息313所指定的。将显示区域400确定为由显示区域信息313的“垂直显示开始”、“垂直显示结束”、“水平显示开始”和“水平显示结束”分别表示的位置所包围的区域。

(3图像传感器102的功能结构和图像数据的发送)

将参考图6A来说明利用上述的传输方法来发送图像数据所用的、图像传感器102的功能结构的示例以及包生成处理。

摄像单元102a通过对入射到像素区域200上的被摄体的图像进行光电转换来输出以像素为单位的模拟信号。A/D转换单元102b将所获得的模拟信号转换成数字信号并输出结果，并且图像数据生成单元102c生成所获得的数字信号作为与像素区域200相对应的图像数据。

头部生成单元102d基于从控制单元106所通信的控制信息来生成作为头部信息添加至一条线的像素数据的、诸如图4所示的跳过位置信息等的信息。从控制单元106所通信的控制信息例如可以是与读出区域有关的控制信息、或者与显示区域有关的控制信息。在与读出区域有关的控制信息中，例如可能存在电子图像稳定功能所用的读出区域的控制信息。此外，在与显示区域有关的控制信息中，例如可能存在与实时取景放大显示中的显示倍率有关的控制信息。头部生成单元102d例如基于电子图像稳定功能所用的与读出区域有关的控制信息来确定指定读出区域300的跳过位置信息。此外，基于表示实时取景放大显示中的显示倍率的控制信息来确定指定显示区域400的显示区域信息。

包生成单元102e生成将头部生成单元102d所生成的头部信息添加至一条线的像素数据的包。输出单元102f将包生成单元102e所生成的包输出至信号处理单元103。

(4信号处理单元103的功能结构和包处理)

接着，将参考图6A来说明利用上述的传输方法来接收图像数据并且应用信号处理所用的、信号处理单元103的功能结构的示例和包处理。

输入单元103a接收包括利用上述的传输方法所传输的一条线的像素数据的包。头部提取单元103b从输入单元103a所接收到的包中提取并分析头部信息，并且输出后续处理所需的像素数据和头部信息。

读出区域提取单元103c基于头部信息的跳过位置信息来提取读出区域的像素数据。此外，读出区域提取单元103c根据所提取的像素数据来生成与读出区域相对应的图像数据，并且将该图像数据输出至显示区域提取单元103d和记录校正单元103f。

显示区域提取单元103d基于头部信息302的显示区域信息来从在读出区域提取单元103c中所提取的读出区域内提取显示区域400。这样，不必通过从图像传感器102发送添加有指定显示区域和读出区域的信息的图像数据来在信号处理单元103中进行用以获得显示区域400的计算。此外，在控制单元106中，不必将用于控制读出区域300和显示区域400的控制信息通信至信号处理单元103。因此，在信号处理单元103中，例如不必进行控制单元106所进行的与显示区域400有关的控制，并且使控制简化。

显示校正单元103e在例如对显示区域提取单元103d中所提取的显示区域的像素数据进行与显示单元105的显示特性相对应的校正处理之后，输出校正后的图像数据。

在记录校正单元103f中，在例如对读出区域提取单元103c中所提取的读出区域数据进行适合记录的校正处理之后，输出校正后的图像数据。

通过这样将指定显示区域和读出区域的信息添加在头部信息中，信号处理单元103能够容易地提取显示所用的图像和记录所用的图像，并且还能够容易地应用记录和显示所用的个体校正处理。

(图像数据的传输和显示处理所用的一系列操作)

接着，参考图7来说明图像数据的传输和显示处理所用的一系列操作。注意，在数字照相机100正进行实时取景显示的状态下检测到例如针对操作单元(未示出)的用户操作的状态下，开始该处理。

在步骤S701中，控制单元106判断用户指示是否是用于改变显示单元105上所显示的显示区域的指示。控制单元106基于从操作单元所通信的操作信息来判断用户操作是否是用于改变显示区域的操作；在用户操作用于改变显示区域的情况下，处理进入步骤S702，并且在用户操作不用于改变显示区域的情况下，处理进入步骤S703。

在步骤S702中，控制单元106将用于改变显示区域的控制信息通信至图像传感器102。用于改变显示区域的控制信息例如是与实时取景放大显示中的显示倍率有关的控制信息，并且例如进行针对与用户操作的指示相对应的显示倍率的更新。然后，控制单元106将该控制信息通信至图像传感器102。注意，控制单元106单独确定电子图像稳定功能等所用的读出区域300的改变，并且将该改变的通知单独通信至图像传感器102。

在步骤S703中，图像传感器102基于控制单元106的指示来进行摄像处理。图像传感器102通过在适当的时间间隔内对来自被摄体的光进行曝光来生成图像数据。

在步骤S704中，图像传感器102判断显示区域400相对于读出区域300是否改变。更具体地，图像传感器102的头部生成单元102d基于从控制单元106所获得的用于改变显示区域的控制信息来指定显示区域400。头部生成单元102d基于从控制单元106单独通信的读出区域的控制信息来确定读出区域300，因而能够根据读出区域300指定显示区域400。在读出区域300或显示区域400发生改变的情况下，头部生成单元102d判断为显示区域400相对于读出区域300发生改变，并且使处理进入步骤S705。另一方面，在判断为该区域没有发生改变的情况下，处理进入步骤S706。

在步骤S705中，图像传感器102更新头部信息302中所存储的跳过位置信息或显示区域信息。

在步骤S706中，图像传感器102生成头部信息302和包括该头部信息的包。头部生成单元102d生成存储跳过位置信息或显示区域信息的头部信息302。此外，头部生成单元102d生成头部信息302，其中在由于没有进行实时取景放大显示因而显示区域400和读出区域300相同的情况下，该头部信息302存储与读出区域300相同的显示区域信息。之后，包生成单元102e生成包括该头部信息的包。

在步骤S707中，图像传感器102将所生成的包发送至信号处理单元103。图像传感器102例如按预定定时重复一条线的包的发送，直到发送了一帧的图像为止。

在步骤S708中，信号处理单元103接收图像传感器102顺次发送的包，并且在步骤S709中，信号处理单元103从所接收到的包中提取读出区域300的像素数据。更具体地，信号处理单元103的读出区域提取单元103c基于头部信息的跳过位置信息来提取读出区域300的像素数据。

在步骤S710中，信号处理单元103的显示区域提取单元103d从读出区域300中提取头部信息所指定的显示区域400的像素数据。

在步骤S711中，信号处理单元103的显示校正单元103e通过根据所提取的显示区域的像素数据生成显示图像来进行校正处理。更具体地，对显示图像进行校正处理，并且基于所提取的像素数据来进行适用于显示图像的像素数的插值处理。

在步骤S712中，在显示所用的校正处理完成的情况下，信号处理单元103的显示校正单元103e将显示图像输出至显示单元105。然后，在信号处理单元103输出显示图像的情况下，控制单元106结束该处理序列。

注意，在上述处理序列中，说明了用于显示所传输的图像数据的处理，但这还可适用于记录所传输的图像数据的处理。换句话说，可以配置成在记录校正单元103f对步骤S709中的所提取的读出区域的像素数据进行记录所用的校正处理之后，输出至记录介质104。

如上所述，在本实施例中，采用如下结构：在所拍摄到的图像数据的显示区域400发生改变的情况下，图像传感器102将表示显示区域和读出区域的信息存储在像素数据的头部信息中并进行传输。然后，信号处理单元103基于所接收到的像素数据的头部信息来提取显示区域和读出区域。利用这种结构，可以减轻在对所拍摄到的图像数据的部分区域进行处理的情况下、与从图像传感器传输来的图像数据有关的处理负担。换句话说，不必进行信号处理单元103中的用以获得显示区域400的计算。此外，控制单元106将用于改变显示区域的控制信息通信至图像传感器102。利用这种结构，由于不必利用控制单元106对信号处理单元103进行控制，因此可以简化显示区域的控制。此外，向参考头部信息所提取的读出区域300和显示区域400应用单独的校正处理。结果，可以通过参考头部信息来简单容易地适用不同的校正处理。换句话说，可以根据头部信息所表示的区域来切换校正参数。

第二实施例

接着将说明第二实施例。对于根据第二实施例的数字照相机100，信号处理单元103的内部结构不同于第一实施例的内部结构。换句话说，尽管第一实施例的校正单元包括图6A所示的与记录介质104和显示单元105各自相对应的校正单元，但在第二实施例中仅包括如图6B所示的校正单元103g。由于对于根据第二实施例的数字照相机、除校正单元的结构以外的结构均相同，因此向相同的结构元件赋予相同的附图标记，省略了重复说明，并且主要说明不同之处。

图6B是用于示出根据第二实施例的信号处理单元103的功能结构的框图。在不必针对显示所用的图像数据和记录所用的图像数据切换图像处理的情况下，利用校正单元103g来进行相同的图像处理。在这种情况下，可以采用如下结构：即使显示区域和读出区域不同的情况下，也利用一个校正单元来以时分方式进行图像处理。利用这种结构，与上述第一实施例相同，可以减轻在对所拍摄到的图像数据的一部分的区域进行处理的情况下、用于对从图像传感器传输来的图像数据进行处理的处理负担。此外，可以通过使校正单元共通化来缩小电路规模。

第三实施例

接着将说明第三实施例。对于根据第三实施例的数字照相机500，基本结构与第一实施例的基本结构相同，但结构与第一实施例的不同点在于包括AFE(模拟前端)501。

图8是用于示出数字照相机500的整体结构的图，并且图9是用于示出图8中的AFE501和图像传感器502的功能结构示例的框图。图像传感器502仅具有摄像单元502a，并且该功能块与第一实施例中的图像传感器102的摄像单元102a相对应。图像传感器502输出通过光电转换得到的以像素为单位的模拟信号。

AFE501包括A/D转换单元501a、图像数据生成单元501b、头部生成单元501c、包生成单元501d和输出单元501e。附图标记501a～501e的结构分别与第一实施例所述的附图标记102b～102f的结构相对应。AFE501由控制单元106进行控制，并且将从图像传感器502所接收到的以像素为单位的模拟信号转换成数字信号。AFE501进行与第一实施例中的附图标记102b～102f的元件所进行的处理相同的处理，并且将图像数据发送至信号处理单元103。凭借本实施例，与上述第一实施例相同，可以减轻在对所拍摄到的图像数据的部分区域进行处理的情况下、用于对从图像传感器传输来的图像数据进行处理的处理负担。此外，除该图像传感器外，还可以使用通过进行A/D转换处理和头部生成处理来输出模拟信号的图像传感器。此外，可以通过向位于简单的图像传感器的外部的单元提供图像数据的传输处理所用的功能块，来向该图像传感器应用本发明的传输处理和显示控制。

第四实施例

接着将说明第四实施例。根据第四实施例的数字照相机600具有与第一实施例相同的基本结构，但不同点在于包括DFE(数字前端)601。

图10示出数字照相机600的功能结构示例。在使用DFE601对从图像传感器102传输来的包进行处理之后，利用信号处理单元602来进行校正处理。图11示出DFE601的功能结构示例。DFE601包括与第一实施例所述的信号处理单元103的附图标记103a～103d的元件相对应的输入单元601a、头部提取单元601b、读出区域提取单元601c和显示区域提取单元601d。对于显示区域提取单元601d所提取的显示区域数据，首先，利用第一校正单元601e来根据显示特性进行诸如色调校正等的校正处理。之后，从DFE601输出结果，并且利用信号处理单元602的第二校正单元103h来进行例如根据要显示的像素数的伴随着放大处理的图像处理。此外，对于读出区域提取单元601c所提取的读出区域数据，首先，利用第三校正单元601f来根据记录特性进行诸如色调校正等的图像处理。之后，从DFE601输出结果，并且利用信号处理单元602的第四校正单元103i来进行例如根据记录介质104的要求的预定图像处理。注意，可以采用利用DSP来进行DFE601所进行的处理的一部分的结构。

凭借本实施例，与第一实施例相同，可以减轻在对所拍摄到的图像数据的部分区域进行处理的情况下、用于对从图像传感器传输来的图像数据进行处理的处理负担。此外，通过配置成组合多个图像处理，可以根据校正详情或数据路径等来切换针对图像数据的多个图像处理，由此可以提高图像处理的效率。

其它实施例

此外，本发明可以应用于以下所示的其它实施例。例如，本发明可以应用于图12所示的堆叠结构的图像传感器1200。如图12所示，对于本实施例的图像传感器1200，第一半导体芯片1201和第二半导体芯片1202以芯片级堆叠。图12A示出斜投影图，并且图12B示出各芯片的顶视图。在第一半导体芯片1201中，例如包括包含与第一实施例中的摄像单元102a的像素区域200相对应的像素单元1203的区域，并且在高速逻辑处理所用的第二半导体芯片1202中，例如包括与第一实施例中的A/D转换单元102b相对应的诸如水平扫描电路和列A/D转换电路等的包含数字数据的能够进行高速处理的部分1204和1205。在上述的图1的结构中，图像传感器102中所包括的摄像单元102a例如与第一半导体芯片1201相对应。此外，还可以采用如下结构：将图像传感器102中所包括的A/D转换单元102b、图像数据生成单元102c、头部生成单元102d、包生成单元102e和输出单元102f的各功能块配置在第二半导体芯片1202中。注意，第一半导体芯片1201和第二半导体芯片所用的功能块的布局不限于上述结构。此外，堆叠型半导体芯片的数量不限于2个，并且可以采用堆叠有3个以上的半导体芯片的结构。

此外，可以将本发明应用于作为摄像设备的示例的图13所示的移动电话1300。图13是用于示出移动电话1300的功能结构的框图。移动电话1300除音频呼叫功能外，还具有电子邮件功能、因特网连接功能以及图像拍摄和再现功能。通信单元1010利用根据用户签订了合约的通信运营商的通信方案来与其它电话装置进行音频数据或图像数据等的通信。在音频呼叫时，音频处理单元1020将来自麦克风1030的音频数据转换成适合传输的格式并且将该结果发送至通信单元1010。此外，音频处理单元1020对从通信单元1010发送来的来自呼叫对方的音频数据进行解码并且将该结果发送至扬声器1040。摄像单元1050拍摄被摄体的图像并且输出像素数据。摄像单元1050例如包括以上在第一实施例中所述的图像传感器102。这里，图像传感器102可以是如上所述的堆叠结构的图像传感器。此外，摄像单元1050生成上述的包并且将这些包发送至图像处理单元1060。图像处理单元1060包括以上在第一实施例中所述的信号处理单元103，并且在拍摄图像时，对从摄像单元1050发送来的像素数据进行处理，并将适合记录或显示的图像输出至显示单元1070和存储器IF1110各自。此外，图像处理单元1060在再现所记录的图像时对所再现的图像进行处理，并且将该结果发送至显示单元1070。显示单元1070包括数英寸的液晶显示面板，并且根据来自控制单元1090的指示来显示各种画面。非易失性存储器1080存储地址簿信息或电子邮件数据等、或者诸如摄像单元1050所拍摄到的图像数据等的数据。

控制单元1090具有CPU或存储器等，并且根据存储器(未示出)中所存储的控制程序来控制移动电话1300的各单元。控制单元1090包括以上在实施例中所述的控制单元106，并且控制摄像单元1050和图像处理单元1060。操作单元1100除电源按钮和数字键外，还包括用户输入数据所用的各种操作键，并且例如能够进行实时取景显示的操作。存储器IF1110进行各种数据向记录介质1120(可以是存储卡等)的记录再现。外部IF1130将非易失性存储器1080和记录介质1120中所存储的数据发送至外部装置，并且还接收从外部装置发送来的数据。外部IF1130利用诸如USB等的有线连接通信方式或诸如无线通信所用的通信方式等的公知通信方式来进行通信。

接着，说明移动电话1300中的音频呼叫功能。在对呼叫对方进行呼叫的情况下，用户通过对操作单元1100的数字键进行操作以输入呼叫对方的号码、或者在使非易失性存储器1080中所存储的地址簿显示在显示单元1070上的情况下选择呼叫对方，来指示呼叫。在指示传输的情况下，控制单元1090经由通信单元1010来向呼叫对方进行呼出。在从呼叫对方进行呼入呼叫时，通信单元1010将对方的音频数据输出至音频处理单元1020，并且还将用户的音频数据发送至对方。

此外，在发送电子邮件的情况下，用户使用操作单元1100来指示邮件的生成。在指示了邮件的生成的情况下，控制单元1090将用于生成邮件的画面显示在显示单元1070上。用户使用操作单元1100输入发送目的地地址或正文等，并且指示发送。在指示了邮件发送的情况下，控制单元1090将地址信息和邮件正文数据发送至通信单元1010。通信单元1010将该邮件的数据转换成适合通信的格式，并且将该结果发送至发送目的地。此外，在通信单元1010接收到电子邮件的情况下，通信单元1010将所接收到的电子邮件数据转换成适合显示的格式，并且将该结果显示在显示单元1070上。

接着说明移动电话1300中的拍摄功能。在指示了静止图像或运动图像的拍摄的情况下，在用户通过对操作单元1100进行操作来设置摄像模式之后，摄像单元1050拍摄静止图像数据或运动图像数据并且将该静止图像数据或运动图像数据发送至图像处理单元1060。图像处理单元1060对所拍摄到的静止图像数据或运动图像数据进行处理并且将该结果存储至非易失性存储器1080。此外，图像处理单元1060将所拍摄到的静止图像数据或运动图像数据等发送至存储器IF1110。存储器IF1110将静止图像或运动图像数据等存储在记录介质1120中。

此外，移动电话1300能够将包括所拍摄到的静止图像或运动图像数据等的文件作为电子邮件的附件文件进行发送。更具体地，在发送电子邮件的情况下，选择非易失性存储器1080或记录介质1120中所存储的图像文件，并且指示以该图像文件作为附件文件的发送。

此外，移动电话1300能够将包括所拍摄到的静止图像或运动图像数据等的文件经由外部IF1130发送至诸如PC或其它电话装置等的外部装置。用户通过对操作单元1100进行操作以选择非易失性存储器1080或记录介质1120中所存储的图像文件来指示发送。控制单元1090从非易失性存储器1080或记录介质1120读出所选择的图像文件，并且控制外部IF1130以发送至外部装置。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (14)

1.一种摄像设备，包括：

摄像部件，用于生成被摄体的图像数据；

添加部件，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；

传输部件，用于传输添加有所述附加信息的图像数据；以及

图像处理部件，用于从经由所述传输部件所接收到的图像数据中提取由通过接收该图像数据而获得的所述附加信息所指定的所述第一像素区域和所述第二像素区域，并且对所提取的所述第一像素区域和所述第二像素区域进行预定的图像处理。

2.根据权利要求1所述的摄像设备，其中，

所述图像处理部件包括校正部件，所述校正部件用于对所提取的所述第一像素区域和所述第二像素区域进行校正处理，以及

所述校正部件向所述第一像素区域和所述第二像素区域应用不同的校正处理。

3.根据权利要求1所述的摄像设备，其中，

所述添加部件获得用于得出所述第一像素区域和所述第二像素区域的控制信息，并且基于所获得的控制信息来添加所述第一区域信息和所述第二区域信息。

4.根据权利要求3所述的摄像设备，其中，还包括：

输入部件，用于输入用于针对所述第一像素区域和所述第二像素区域至少之一改变区域的指示，

其中，所述添加部件获得基于用于改变区域的所述指示的控制信息，并且基于所述控制信息来添加所述第一区域信息或所述第二区域信息。

5.根据权利要求4所述的摄像设备，其中，

所述输入部件输入作为用于针对所述第二像素区域改变区域的指示的用户操作，以及

所述添加部件获得基于所述用户操作的控制信息，并且基于所述控制信息来添加所述第二区域信息。

6.根据权利要求2所述的摄像设备，其中，

所述校正部件对所述第一像素区域进行与记录部件相对应的校正处理，并且对所述第二像素区域进行与显示部件相对应的校正处理，以及

所述图像处理部件还包括输出部件，所述输出部件用于将所述第一像素区域输出至所述记录部件，并且将所述第二像素区域输出至所述显示部件。

7.根据权利要求6所述的摄像设备，其中，

所述校正部件使用一个电路来进行与所述记录部件相对应的校正处理和与所述显示部件相对应的校正处理。

8.根据权利要求1所述的摄像设备，其中，

利用表示列方向的开始位置、列方向的结束位置、行方向的开始位置和行方向的结束位置至少之一的信息，来针对所述第一像素区域指定所述第二区域信息。

9.根据权利要求5所述的摄像设备，其中，

所述用户操作包括与实时取景中的放大显示有关的操作。

10.一种图像传感器，包括：

摄像部件，用于生成被摄体的图像数据；

添加部件，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；以及

传输部件，用于传输添加有所述附加信息的图像数据。

11.根据权利要求10所述的图像传感器，其中，所述添加部件获得用于得出所述第一像素区域和所述第二像素区域的控制信息，并且基于所获得的控制信息来添加所述第一区域信息和所述第二区域信息。

12.根据权利要求10所述的图像传感器，其中，利用表示列方向的开始位置、列方向的结束位置、行方向的开始位置和行方向的结束位置至少之一的信息，来针对所述第一像素区域指定所述第二区域信息。

13.根据权利要求10所述的图像传感器，其中，所述图像传感器具有多个半导体芯片堆叠的堆叠结构。

14.一种摄像设备的控制方法，包括以下步骤：

摄像步骤，用于生成被摄体的图像数据；

添加步骤，用于向所述图像数据添加附加信息，其中所述附加信息包括用于指定所述图像数据的第一像素区域的第一区域信息和用于指定所述第一像素区域中所包括的第二像素区域的第二区域信息；

传输步骤，用于传输添加有所述附加信息的图像数据；以及

图像处理步骤，用于从经由所述传输步骤所接收到的图像数据中提取由通过接收该图像数据而获得的所述附加信息所指定的所述第一像素区域和所述第二像素区域，并且对所提取的所述第一像素区域和所述第二像素区域进行预定的图像处理。