CN105100595A - 摄像设备及其控制方法 - Google Patents

Abstract

公开了一种摄像设备和摄像设备的控制方法，其中，所述摄像设备包括能够获取视差图像的图像传感器，并且在减少要发送或者记录的数据量的同时，计算视差量。与第一图像信号相比，所述摄像设备以较低频率输出第二图像信号，其中，所述第一图像信号基于各像素的多个光电转换单元的所有光电信号生成，并且所述第二图像信号基于所述光电信号中的至少一个、而不是基于所有所述光电信号生成。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种摄像设备及其控制方法，尤其涉及一种使用具有的各像素均包括多个光电转换单元的图像传感器的摄像设备及其控制方法。

背景技术

已知这样一种图像传感器，该图像传感器包括的各像素均被配置成通过分开的光电转换单元接收穿过摄像光学***的出射光瞳的不同部分区域的光束。这些像素用来获取具有视差的两个图像(以下称为A图像和B图像)的信号。可以通过获得A图像和B图像之间的相位差来进行基于相位差检测的焦点检测。此外，还可以基于A图像和B图像生成距离图像。

作为A图像和B图像的应用例子，已知下面一些技术：在该技术中，获得拍摄图像的各个小的区域中A图像和B图像之间的离焦量，并且应用根据离焦量的图像处理(日本特开2008-15754号)，并且在该技术中，获得并存储离焦量的分布(日本特开2009-124313号)。

为了计算针对拍摄图像的各个小的区域的离焦量，图像传感器需要具有大量像素，其中各像素均包括多个光电转换单元，如图2A和2B所示。然而，可能存在下面的问题：尤其当如在拍摄运动图像时一样，拍摄间隔短时，计算离焦量的处理负荷增大使得难以进行离焦量的实时计算。

此外，为了更精确地获取各像素的离焦量和距离信息，可能需要高级图像处理。例如，作为A图像和B图像之间的相位差或者视差量，通常获得具有最高相关值的相位差(偏移量)，但是在被摄体具有周期性纹理的情况下，多个不同偏移量都具有高的相关值，并且因此可能难以计算校正值。此外，如果存在仅存在于A图像和B图像之一的区域，则不能获得相对于该区域的相位差或者视差量。

因此，当摄像设备需要进行这样庞大的计算时，使用这种摄像设备的处理能力难以在运动图像拍摄或者连拍时的进行实时处理。此外，可能存在下面的情况：由于电路规模等，用于执行复杂处理的硬件不能安装在摄像设备上。在这类情况下，摄像设备需要输出A图像和B图像的图像信号，从而使得外部设备来进行相位差或者视差量的计算、或者距离图像的生成等，或者摄像设备或者外部设备需要对于所存储的RAW数据执行相同的处理。

然而，当A图像和B图像的图像信号被输出至外部设备时，例如，当图像传感器的各像素获取A图像和B图像时，需要发送与像素数量的两倍相对应的数据量。此外，当存储该数据、以及然后对其进行图像处理时，还需要节省存储容量。因此，需要一种用于在使得能够进行视差量的计算的同时，减少要发送或者存储的数据量的技术。

发明内容

考虑到这一问题，做出本发明，并且本发明提供一种摄像设备和该摄像设备的控制方法，其中，该摄像设备包括能够获取视差图像的图像传感器，并且可以在使得能够进行视差量的计算的同时，减少发送或者存储的数据量。

根据本发明的一个方面，提供一种摄像设备，其包括：图像传感器，其设置有多个像素，其中，各像素包括多个光电转换单元，各光电转换单元生成光电信号；第一生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号来生成针对各像素的第一图像信号；第二生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及输出部件，用于输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，所述输出部件输出所述第二图像信号的次数少于输出所述第一图像信号的次数。

根据本发明的一个方面，提供一种摄像设备的控制方法，其中，所述摄像设备具有设置有多个像素的图像传感器，各像素包括多个光电转换单元，所述方法包括以下步骤：从各像素的所述多个光电转换单元获取光电信号；基于通过各像素的所述多个光电转换单元所生成的所有光电信号生成针对各像素的第一图像信号；基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，输出所述第二图像信号的次数少于输出所述第一图像信号的次数。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的图像处理***的结构的框图。

图2A和2B是示出根据第一实施例的视差量检测像素的结构和图像传感器的像素阵列的例子的图。

图3A和3B是示出第一实施例的数字照相机的操作的流程图。

图4A～4D是示意性示出第一实施例的图像信号发送单元的操作的图。

图5是示出第一实施例的图像信号发送单元的操作的流程图。

图6A和6B是示出图像信号发送单元通过图5的操作所输出的图像信号的例子的图。

图7是示出根据第一实施例使用从外部设备所接收到的距离信息的操作的流程图。

图8是第一实施例的记录后图像处理的流程图。

图9是示出根据第二实施例的视差量检测像素的结构的例子的图。

图10A和10B是示出第二实施例的数字照相机的操作的流程图。

图11A和11B是示出通过第二实施例的图像信号发送单元所输出的图像信号的图。

图12A和12B是示出根据第三和第四实施例的图像信号发送单元的操作的流程图。

图13A和13B是示出根据第四实施例的图像信号发送单元的操作的图。

图14A～14C是示出根据第五实施例的图像信号发送单元的操作的图。

图15是示出根据第六实施例的图像处理***的结构的框图。

图16A和16B是示出第六实施例的摄像设备和外部设备的操作的流程图。

具体实施方式

现根据附图，详细说明本发明的典型实施例。注意，下面说明将本发明应用于用作为摄像设备的例子的数字照相机的实施例，但是，本发明可应用于设置有照相机的任何电子装置。

第一实施例

图1是示出根据本实施例，构成图像处理***的数字照相机和外部设备的功能结构的例子的框图。数字照相机120包括光学***100、摄像单元101、图像信号生成单元102、视差量计算单元103、图像信号发送单元104、图像处理单元105、记录单元106、显示单元107和距离信息接收单元108。注意，在这些附图中，没有示出数字照相机通常所设置的、与本实施例不直接相关的结构。

控制单元110包括例如可编程处理器(MPU)，并且利用MPU执行存储在非易失性存储器中的程序来控制功能块，从而实现包括根据下面所述的实施例的操作的、数字照相机120的处理。例如，控制单元110包括诸如被用于执行这些程序的RAM等的易失性存储器。在非易失性存储器中，还存储各种类型的设置值和GUI数据等。

光学***100是摄像光学***，并且包括调焦透镜和光圈/快门等。控制单元110驱动调焦透镜来控制光学***100的焦距、或者控制光圈/快门的开口大小或者开放/关闭操作。

摄像单元101包括将通过光学***100在摄像面上所形成的被摄体图像光电转换成表示该被摄体图像的电信号(图像信号)的图像传感器。注意，“图像信号”是在单次拍摄时从各像素所获取的一组信号(像素信号)。图像信号生成单元102可以直接输出从摄像单元101所接收到的图像信号，或者输出通过组合多个图像信号所获得的图像信号。视差量计算单元103计算从图像信号生成单元102所接收到的多个图像信号之间的视差量。图像信号发送单元104接收来自图像信号生成单元102的图像信号和来自视差量计算单元103的与视差量有关的信息，并且可以选择所要输出的整个图像信号或者图像信号的一部分。

图像信号发送单元104至少包括有线通信接口和无线通信接口中的一个，并且将图像信号或者与视差量有关的信息输出至与数字照相机120或者记录单元106通信连接的外部设备150。外部设备150是诸如个人计算机或者云计算机等的具有比数字照相机120更高的处理能力的设备。

图像处理单元105对从图像信号生成单元102所接收到的图像信号或者使用记录单元106记录在存储装置或可拆卸记录介质中的图像信号应用预定图像处理。预定图像处理可以包括例如白平衡处理、诸如降噪处理、边缘增强处理和伽马处理等的显影处理、以及模糊处理等，但是还可以包括其它图像处理。

记录单元106根据控制单元110的控制，将通过图像处理单元105所显影的图像信号和通过图像信号发送单元104所输出的图像信号等记录在诸如硬盘或者半导体装置等的内置存储装置或者可拆卸记录介质中。此外，记录单元106可以根据控制单元110的控制读出所记录的图像信号。

显示单元107基于通过图像处理单元105所显影的图像信号或者记录在记录单元106中的图像信号进行显示。显示单元107还显示用户在其上向数字照相机120给出各种类型的指示和设置的UI。

距离信息接收单元108至少包括有线通信接口和无线通信接口中的一个，并且接收通过外部设备150所计算出的距离信息以将该距离信息和基于该距离信息的信息提供给控制单元110。

操作单元111是用户向数字照相机120给出包括拍摄准备指示和拍摄指示的各种类型的指示、或者用户进行各种类型的设置所使用的一组输入装置，包括按钮、开关和触摸面板等。

注意，除光学***100、显示单元107和操作单元111以外的功能块中的至少一些还可以通过控制单元110使用软件来实现。此外，多个功能块还可以通过一个硬件来实现。

外部设备150可以是诸如通用计算机等的能够与数字照相机120通信的任意电子装置，并且经由发送/接收单元151可通信地连接至数字照相机120。MPU152经由发送/接收单元151接收来自数字照相机120的图像信号等，使用预定方法计算距离信息，并且经由发送/接收单元151将距离信息发送给数字照相机120。注意，MPU152包括RAM和ROM，并且用于与数字照相机120进行通信和用于执行用于计算距离信息的处理的程序存储在ROM中。当然，这些程序可以被从诸如硬盘驱动器等的存储装置读取到RAM中、并且被执行。

图2A示出本实施例的摄像单元101的能够获取视差图像的像素(视差检测像素)的结构的例子。该像素包括微透镜203和两个光电转换单元或者光接收元件204和205，其中，光接收元件204接收穿过出射光瞳区域201的光束，并且光接收元件205接收穿过出射光瞳区域202的光束。假定可以通过光接收元件204所获取的图像信号是A图像的图像信号，并且可以通过光接收元件205所获取的图像信号是B图像的图像信号，则A图像和B图像是视差图像。通过获得从多个像素所获取的A图像和B图像之间的相位差，可以进行基于相位差检测的焦点检测。此外，还可以基于A图像和B图像生成距离图像。

当如图2A所示，在水平方向上分割(配置)像素的光电转换单元时，可以获得A图像和B图像之间在水平方向上的视差量。如果每一像素均具有在垂直方向上被分割的光电转换单元，则可以获得A图像和B图像之间在垂直方向上的视差量。注意，图2A示出像素具有两个等分的光电转换单元的结构，但是像素还可以具有三个以上的分割光电转换单元。例如，每一像素还可以具有在垂直方向和水平方向上均被二等分的四个光电转换单元。然而，以下为了便于说明和易于理解，假定本实施例的摄像单元101的所有视差检测像素均具有在水平方向上被等分的两个光电转换单元。

图2B是示意性示出根据本实施例的摄像单元101的像素阵列的例子的图，并且示出像素区域的提取部分。如图2B所示，本实施例的摄像单元101的所有像素都是具有图2A的结构的视差检测像素。因此，通过单次拍摄，就可以获取具有相同结构(水平方向上n个像素×垂直方向上m个像素)的A图像和B图像的图像信号。注意，没有必要使摄像单元101的所有像素均为视差检测像素，并且可以仅在特定区域中配置视差检测像素这样的结构。

然后，参考图3A的流程图，说明在使用根据本实施例的数字照相机120进行拍摄时，对A图像和B图像的图像信号所进行的处理操作。例如，在通过操作单元111给出拍摄开始指示、控制单元110控制光学***100的光圈/快门使得摄像单元101曝光、并且从摄像单元101的各像素读取A图像和B图像的图像信号之后，执行该处理。

在步骤S401，图像信号生成单元102接收从摄像单元101所读出的图像信号。所接收到的图像信号是由从摄像单元101的各像素的光接收元件204和205单独读出的一组信号所构成的A图像和B图像的RAW图像信号。当摄像单元101包括例如Bayer排列的颜色滤波器时，A图像和B图像两者均是Bayer排列的RAW图像信号。

在步骤S402，图像信号生成单元102通过将从同一像素所读出的信号相加来组合A图像和B图像的RAW图像信号，并且将组合后的图像信号(第一图像信号)发送给图像处理单元105和图像信号发送单元104。通过将同一像素的光接收元件204和205的输出相加，该相加信号用作为通过整个像素所接收到的信号，并且可以将该相加信号当作为包括未分割光电转换单元的普通像素的输出。因此，可以使用组合后的图像信号作为用于显示和存储的基本图像信号。

图像处理单元105对所接收到的基本图像信号应用上述显影处理。此外，将应用了对于记录或者显示的特定处理的所接收到的基本图像信号，发送给记录单元106和显示单元107。对于记录的特定处理可以是例如编码处理或者数据文件生成处理(诸如文件头的生成和添加等)。此外，对于显示的特定处理可以是根据显示单元107的分辨率的调整大小处理等。图像处理单元105的处理，与在普通数字照相机中所执行的处理相同，因此省略对其的进一步说明。

在步骤S403，视差量计算单元103接收A图像和B图像的图像信号。可以直接从摄像单元101、或者经由图像信号生成单元102接收A图像和B图像的图像信号。然后，在步骤S404，视差量计算单元103使用所接收到的A图像和B图像的图像信号计算视差量。

用于计算视差量的方法没有特别限制，并且如在基于相位差检测的自动焦点检测时通常所执行的方法一样，可以是基于相关量最高时的偏移量来获得视差量的方法。具体地，将从水平方向上的多个预定像素所获得的A图像和B图像中的一个向另一个偏移，并且计算不同偏移量之间的相关值。然后，仅需要基于A图像和B图像之间的相关性最高时的偏移量来计算视差量。

然而，例如，当图像被分成小的区域、并且获得各小的区域的视差量时，或者当进行诸如运动图像拍摄等的高帧频的拍摄时，可能难以对于各帧(拍摄的图像)进行视差量的实时计算。在这种情况下，还可以通过精度低、但是计算量小的简单方法来计算视差量。例如，还可以在不偏移A图像和B图像的情况下，对于各小的区域计算A图像和B图像的相应像素的差之和，并且向差之和较大的区域，分配较大视差量。可选地，可以通过减少计算视差量的区域来降低计算量。视差量计算单元103将所计算出的视差量发送给信号发送单元104。

视差量计算单元103可以计算至少两种类型的具有不同负荷的视差量，并且控制单元110可被配置成来确定使用哪种方法来计算视差量、并且对于视差量计算单元103设置所确定的方法。该确定的方法没有特别限制，但是，例如，在视差量计算单元103的负荷超过预定水平、或者在拍摄参数表示连续拍摄或者运动图像拍摄时按照时间序列读取图像信号的情况下，控制单元110可以确定使用具有小负荷的方法来进行计算。这些仅是例子，并且还可以使用其它参数、或者还可以进行三阶段以上的判断。

在步骤S405，图像信号发送单元104接收通过图像信号生成单元102在步骤S402所生成的基本图像信号和通过视差量计算单元103在步骤S404所计算出的视差量。图像信号发送单元104选择要输出至外部设备150和记录单元106的图像信号或者图像区域(步骤S406)。然后，图像信号发送单元104向所选择的图像信号添加与视差量检测像素有关的信息，并且将添加了该信息的所选择的图像信号输出给外部设备150或者记录单元106(步骤S407)，其中，外部设备150可以是个人计算机或者云计算机。注意，预先设置目的地外部设备150。此外，记录单元106记录从图像信号发送单元104所输出的全部图像信号或者图像信号的一部分。

与视差量检测像素有关的信息，是指表示图像信号是否是通过视差量检测像素生成的信息、以及表示通过生成图像信号的像素所接收到的光穿过了哪一光瞳区域的信息。在本实施例的情况下，将表示图像信号是通过视差量检测像素而生成的信息和表示图像信号是通过将通过A图像光接收元件所生成的图像信号和通过B图像光接收元件所生成的图像信号相加而获得的信息，添加至基本图像信号。将表示图像信号是通过视差量检测像素而生成的信息和表示图像信号是通过B图像光接收元件而生成的信息，添加至B图像的图像信号(第二图像信号)。假定所有像素都是视差量计算像素，说明了本实施例，但是当图像传感器的像素中的一些是视差量检测像素时，还可以添加与视差量检测像素有关的位置信息。

当通过外部设备150计算视差量、或者通过数字照相机120(视差量计算单元103)基于记录数据来计算视差量时，使用与视差量检测像素有关的信息。例如，如果识别为所记录或者发送的图像信号是通过组合A图像和B图像的信号所获得的基本图像信号、以及B图像的图像信号，则可以在稍后的处理中，通过从基本图像信号减去B图像的图像信号来生成A图像的图像信号。然后，可以基于所生成的A图像的图像信号和所接收到的(读出的)B图像的图像信号，来计算视差量。此外，当图像传感器的像素中的一些是视差量检测像素、并且视差量检测像素的位置被识别时，可以仅在视差量检测像素的位置处执行用于计算视差量的处理。

每当通过摄像单元101进行拍摄(对于各帧)时，都执行上述动作。注意，“帧”意为通过单次拍摄所获得的图像，并且还可以用于诸如在连续拍摄的各次拍摄时所获得的图像等的静止图像，而不局限于构成运动图像的图像。

参考图3B和4A～4D，进一步说明在步骤S406通过图像信号发送单元140所进行的选择处理。图3B所示的流程图，示出通过图像形成发送单元104对于各帧所执行的操作。

在步骤S501，图像信号发送单元104判断在前一帧所计算出的视差量和在当前帧所计算出的视差量之间的变化是否在阈值以上。可以基于拍摄场景或者拍摄时的光圈值F值来定义该阈值。此外，当计算相对前一帧的视差量的变化时，还可以赋予画面中央或者主被摄体所处的区域的视差量的变化以大的权重。如果视差量的变化在阈值以上，则图像信号发送单元104使处理进入步骤S502，否则，进入步骤S503。

在步骤S502，图像信号发送单元104确定要发送B图像的图像信号。另一方面，在步骤S503，图像信号发送单元104确定要发送通过组合A图像和B图像所获得的图像信号(基本图像信号)。例如，当通过外部设备150、或者在拍摄之后通过数字照相机120生成距离图像时，仅计算视差量所需的信息就足够了，并且因此不必发送相对前一帧视差量没有变化(或者几乎没有变化)的帧。

因此，通过仅在相对前一帧具有大的视差量变化的帧中，除基本图像信号以外，还发送B图像的图像信号，这样来减少数据量。此外，代替相对前一帧的视差量的变化，还可以在相对上一次发送B图像的帧的视差量的变化在阈值以上时，或者当前帧的视差量在阈值以上时，将B图像定义为要发送的对象。因此，通过在满足预定参数时选择整个B图像或者B图像中的一部分作为所要发送的对象，可以减少要发送的B图像的数据量。

图4A～4D是示意性示出在步骤S406通过图像信号发送单元104作为要发送的对象所选择的、并且在步骤S407按照时间序列所输出的图像信号的例子的图。利用所要发送的图像信号的种类和帧编号来表示各帧。例如，如果判断为帧1、5、7和10相对前一帧具有大的视差量变化，则进行如图4A所示的发送。

可选地，如图4B所示，可以以预定周期，间隙地发送B图像。可以根据例如从图像信号发送单元104向外部设备150发送图像信号时的传输速率的上限，确定发送B图像的周期。

图4C示意性示出在进行如图4A所示的图像信号输出时，用于计算视差量的方法。通过将A图像和B图像的图像信号相加来获得基本图像信号，并且因而可以基于基本图像信号和B图像的图像信号来获得A图像的图像信号。因此，在发送B图像的图像信号的帧1、5、7和10中，可以计算视差量。在不发送B图像的图像信号的帧中，如图4C的虚线所示，可以通过对紧接着之前和之后所计算出的视差量进行插值来计算视差量。可选地，不发送B图像的图像信号的帧是相对前一帧的视差量变化小的帧，并且因此可以直接使用在紧接着之前或者之后所计算出的视差量。

此外，参考图3B和4A～4D的说明，说明了选择相对前一帧具有大的视差量变化的帧的整个B图像作为要发送的对象的结构，但是可以发送B图像的部分区域。参考图5和6A和6B，说明这种情况下图像信号发送单元104在步骤S406的操作。

在步骤S701，图像信号发送单元104选择通过基本图像信号所示出的图像的区域。该区域可以是通过以网格分割图像所获得的区域中的一个、或者通过使用其它任意方法分割图像所获得的区域中的一个。然后，在步骤S702，图像信号发送单元104对于在步骤S701所选择的区域，计算与前一帧的视差量的差。

当差量在阈值以上时，图像信号发送单元104使处理进入步骤S703，否则，进入步骤S704。注意，在第一帧的情况下，处理进入步骤S703。在步骤S703，图像信号发送单元104确定要发送在步骤S701所选择的区域的B图像的图像信号。在步骤S704，图像信号发送单元104判断是否对基本图像信号的所有区域都完成了处理，并且如果存在仍未处理的区域，则处理返回至步骤S701，在步骤S701，进行对下一图像区域的处理。另一方面，如果完成了对所有区域的处理，则图像信号发送单元104使得处理进入步骤S705，在步骤S705，确定要发送基本图像信号。

图6A是示意性示出在进行图5所示的选择处理时，通过图像信号发送单元104所输出的图像信号的例子的图。仅在该附图中以实线框所表示的、并且相对前一帧的视差量变化大的图像区域中，发送B图像的图像信号。可选地，如图6B所示，发送图像信号的B图像的图像区域还可以以周期方式而变化。如图6A和6B所示，当仅对于B图像的一部分发送图像信号时，图像信号发送单元104将与图像分割规则有关的信息和用于指定发送B图像的区域的信息，添加至与视差量检测像素有关的信息。注意，对于预定连续数量的帧，针对整个帧所评价的视差量大，下面的结构也是可以的：在该结构中，可以将视差量的评价单位改变成小的区域，以减少数据量。

通过可以是个人计算机或者云计算机的外部设备150来处理以这样的方式从图像信号发送单元104所输出的图像信号，并且计算距离信息。在外部设备150中，例如，如参考图4C所述，基于所接收到的图像信号，计算视差量，并且将其作为距离信息发送回数字照相机120。外部设备150可以使用与图像信号一起所发送的、与视差量检测像素有关的信息，基于B图像的图像信号是如何发送的来计算视差量。与视差量计算单元103相比，在外部设备150中可以计算更精确的视差量。

注意，外部设备150可以是在其上运行用于接收来自数字照相机120的图像信号、计算距离信息、并且将所计算出的距离信息发送回数字照相机120的应用程序的任意电子装置，并且例如是诸如个人计算机等的通用计算机。基本上，与数字照相机120相比，外部设备150具有更高的处理能力。

注意，当如图6A和6B所示，仅发送一些区域的B图像的图像信号时，外部设备150可以利用预定方法，计算未发送图像信号的区域的视差量。例如，对于该区域，可以对在实际上紧接着该区域之前或者之后所计算出的视差量进行插值，或者可以直接使用在紧接着之前所计算出的视差量。

距离信息接收单元108接收在外部设备150中所计算出的距离信息。距离信息是使用通过图像信号发送单元104发送给外部设备150的图像信号所计算出的信息。距离信息是指例如每一像素具有距离信息的距离图像、视差量以及离焦量等。在本实施例中，假定距离信息是视差量。

图7所示流程图示出在数字照相机120使用在外部设备150中所计算出的距离信息进行焦点控制时的操作的例子。

在步骤S901，距离信息接收单元108接收来自外部设备的距离信息(这里为视差量)。注意，当从外部设备150接收到距离信息时，可以预设距离信息的种类或者内容，或者可以将外部设备150配置成与距离信息一起对这些信息进行通知。这里，作为例子，假定外部设备150对于通过以网格形式分割图像所获得的各小的区域来计算视差量(偏移量)。

在步骤S902，距离信息接收单元108将所接收到的视差量转换成离焦量。可以使用诸如光学***100的调焦透镜位置等的光学参数和摄像单元101的图像传感器的像素的间距来进行视差量向离焦量的转换。除这些光学参数和像素间距以外，距离信息接收单元108还从控制单元110获取与要获得离焦量的区域有关的信息。与要获得离焦量的区域有关的信息，可以是例如与所设置的焦点检测区域的位置和大小有关的信息。焦点检测区域可以是用户所设置的区域、或者是基于诸如面部检测等的被摄体检测的结果所确定的主被摄体区域。

在步骤S903，距离信息接收单元108将所计算出的离焦量发送给控制单元110。然后，在步骤S904，控制单元110根据所接收到的离焦量，驱动光学***100的调焦透镜，并且进行焦点控制。

例如，在运动图像拍摄期间，连续进行参考图3A所述的发送处理和参考图7所述的焦点控制处理，从而进行运动图像的记录和焦点控制。注意，本实施例说明了距离信息接收单元108基于视差量来计算离焦量的结构。然而，还可以将诸如数字照相机120的光学参数和像素间距等的、用于根据视差量来获取离焦量所需的信息预先存储在外部设备150中，或者可以将这些信息与图像信号一起发送给外部设备150，从而使得由外部设备150来计算离焦量。在这种情况下，距离信息接收单元108仅需要将所接收到的离焦量发送给控制单元110，而且控制单元110选择必要区域的离焦量，并且驱动调焦透镜。

因此，通过将与计算视差量所使用的范围内的视差图像有关的数据发送给外部设备150，可以在减少要发送的数据量的同时，实现有效数据传输。

此外，数字照相机120还可以在拍摄之后执行图像处理，例如，使用通过数字照相机120的记录单元106所记录的基本图像信号和B图像的图像信号，对基本图像信号应用根据离焦量的图像处理。

图8是示出使用通过记录单元106所记录的图像信号进行的记录后图像处理的操作的流程图。可以根据在记录之后经由操作单元111所给出的用户指示来执行该处理，或者可以在满足例如数字照相机120的处理负荷被降低至阈值以下等的预定条件时，自动执行该处理。

在步骤S1001，控制单元110从记录在记录单元106中的图像信号中，读出要进行图像处理的基本图像信号和与该基本图像信号相关联地记录的B图像的图像信号，并且将读取的信号发送给图像处理单元105。

在步骤S1002，图像处理单元105计算视差量。与通过例如视差量计算单元103以如运动图像拍摄或者连续拍摄时一样的帧频所进行的简单处理相比，图像处理单元105可以进行更精确的视差量计算处理。视差量还可以对于例如每一小的区域或者按照像素单位来获得。

在步骤S1003，图像处理单元105进行用于显影基本图像信号的处理。该显影处理是指白平衡处理、降噪处理、边缘增强处理或者伽马处理等。显影处理后的图像是YUV422或者RGB3普通形式的图像。

在步骤S1004，图像处理单元105对显影后的基本图像信号应用使用在步骤S1002所计算出的视差量的图像处理。图像处理的种类没有限制，而且图像处理可以是例如模糊处理。模糊处理可以是根据视差量来改变模糊度的处理，例如，如专利文献1所述。因此，即使不能以运动图像拍摄或者连续拍摄时的帧频来进行具有复杂算法的处理，也可以通过将足以用于计算视差量的图像信号记录在记录单元106中，在拍摄之后高精度地进行视差量的计算和应用该计算结果的图像处理。

如上所述，根据本实施例，包括能够获取视差图像的图像传感器的数字照相机，可以在减少要发送或者记录的数据量的同时，计算视差量。因此，可以使用外部设备来实现实时处理或节省记录介质的容量。

注意，记录在记录单元106中的数据可以是这样的：当例如想要存储图像信号的所有数据时，如图4D所示，对于各帧输出A图像和B图像。

此外，根据与外部设备150的通信线的速度，可以降低要发送至外部设备150的图像信号的分辨率，或者可以发送通过将上述处理不是应用于整个帧、而是仅是应用于与焦点检测区域相对应的一部分所获得的图像信号。

第二实施例

下面，参考附图说明本发明的第二实施例。

本实施例与第一实施例的不同在于：图像传感器的各像素被配置成包括在垂直方向和水平方向上均被二等分的光接收元件(光电转换区域)。图9示意性示出从光学***100侧观看本实施例的图像传感器的一个像素的状态。该像素包括一个微透镜1100、以及四个光接收元件(光电转换区域)1101～1104。光接收元件1101～1104分别接收穿过不同光瞳区域的光，并且对于单次拍摄，可以获取A图像、B图像、C图像和D图像的四个图像信号。

当如图9所示，视差量检测像素的光接收元件1101～1104被配置在水平方向和垂直方向上时，可以获得A和B图像之间或者C和D图像之间的水平方向上的视差量。此外，可以获得A和C图像之间或者在B和D图像之间的垂直方向上的视差量。

参考图10A的流程图，说明在根据本实施例的数字照相机120的拍摄时，对A图像和B图像的图像信号所进行的处理的操作。注意，假定通过具有图1所示结构的数字照相机来执行该处理，并且主要说明与第一实施例不同的操作。

在步骤S1101，图像信号生成单元102接收从摄像单元101所读出的图像信号。所接收的图像信号是由通过摄像单元101的各像素的光接收元件1101～1104独立读出的一组信号所构成的、A～D图像的RAW图像信号。例如，当摄像单元101具有Bayer排列颜色滤波器时，A～D图像的所有信号都是Bayer排列RAW图像信号。

在步骤S1102，图像信号生成单元102通过将从同一像素所读出的信号相加来组合A～D图像的RAW图像信号，并且将组合后的图像信号发送给图像处理单元105和图像信号发送单元104。通过将同一像素的光接收元件1101～1104的输出相加，相加信号用作为通过整个像素所接收到的光的信号，并且可以将该相加信号当作为具有未分割光电转换单元的普通像素的输出。因此，对于显示或者记录，可以使用组合后的图像信号作为基本图像信号。图像处理单元105对所接收到的基本图像信号，应用与第一实施例相同的显影处理。此外，在应用对于记录或者显示的特定处理之后，将基本图像信号发送给记录单元106和显示单元107。

在步骤S1103，视差量计算单元103接收A～D图像的图像信号。可以直接从摄像单元101，或者可以经由图像信号生成单元102，接收A～D图像的图像信号。然后，在步骤S1104，视差量计算单元103使用所接收到的A～D图像的图像信号，计算视差量。

可以通过与第一实施例相同的方法来计算视差量。所计算出的视差量可以是A和B图像之间、或者C和D图像之间在水平方向上的视差量，或者可以是A和C图像之间、或者B和D图像之间在垂直方向上的视差量。可选地，还可以使用通过将水平方向上的视差量和垂直方向上的视差量相加所获得的量。

在步骤S1105，图像信号发送单元104接收通过图像信号生成单元102在步骤S1102所生成的基本图像信号和通过视差量计算单元103在步骤S1104所计算出的视差量。图像信号发送单元104选择要输出至外部设备150的图像信号或者图像区域(步骤S1106)。然后，图像信号发送单元104将与视差量检测像素有关的信息添加至所选择的图像信号，并且将添加了该信息的所选择的图像信号输出至可以是个人计算机或者云计算机的外部设备150或者记录单元106(S1107)。

与视差量检测像素有关的信息，是指表示图像信号是否是通过视差量检测像素生成的信息和表示通过生成该图像信号的像素所接收到的光穿过了哪一光瞳区域的信息。在本实施例的情况下，将表示图像信号是通过视差量检测像素生成的信息和表示图像信号是通过将通过A～D图像光接收元件所生成的图像信号相加获得的信息添加至基本图像信号。将表示图像信号是通过视差量检测像素生成的信息和表示图像信号是通过B图像光接收元件生成的信息，添加至B图像的图像信号。将与B图像的图像信号相同的信息添加至C和D图像的图像信号。假定所有像素都是视差量计算像素，说明了本实施例，但是当图像传感器的像素中的一些是视差量检测像素时，还可以添加与视差量检测像素有关的位置信息。

当通过外部设备150计算视差量、或者通过数字照相机120(视差量计算单元103)基于记录数据计算视差量时，使用与视差量检测像素有关的信息。例如，如果识别为计算或者发送的图像信号，是通过组合A～D图像的图像信号所获得的基本图像信号和B～D图像的图像信号，则在稍后的处理中，可以通过从基本图像信号减去B～D图像的图像信号，生成A图像的图像信号。然后，可以基于所生成的A图像的图像信号和所接收到(读出)的B～D图像的图像信号来计算视差量。此外，当图像传感器的像素中的一些是视差量检测像素、并且视差量检测像素的位置被识别时，可以仅在视差量检测像素的位置处，执行用于计算视差量的处理。

参考图10B、11A和11B，进一步说明在步骤S1106通过图像信号发送单元104所进行的选择处理。图10B所示流程图示出通过图像信号发送单元104对于各帧所执行的操作。

在步骤S1111，图像信号发送单元104判断在前一帧中所计算出的视差量和在当前帧中所计算出的视差量之间的变化是否在阈值以上。可以基于拍摄场景或者拍摄时的F值来定义该阈值。此外，在计算相对前一帧的视差量的变化时，还可以对画面中央或者主被摄体所处区域的视差量变化赋予大的权重。如果视差量的变化在阈值以上，则图像信号发送单元104使得处理进入步骤S1112，否则，进入步骤S1113。

在步骤S1112，图像信号发送单元104确定要发送B～D图像的图像信号。另一方面，在步骤S1113，图像信号发送单元104确定要发送通过组合A～D图像所获得的图像信号(基本图像信号)。例如，当在拍摄之后通过外部设备150或者数字照相机120生成距离图像时，仅计算视差量所需的信息就足够了，并且因此不必发送相对前一帧视差量没有变化(或者几乎没有变化)的帧。因此，通过仅在相对前一帧具有大的视差量变化的帧中，除基本图像信号以外，还发送B～D图像的图像信号，这样来减少数据量。

图11A是示意性示出在步骤S1106通过图像信号发送单元104作为要发送的对象所选择的、并且在步骤S1107按照时间序列所输出的图像信号的例子的图。利用要发送的图像信号的种类和帧编号来表示各帧。例如，如果确定帧1、4、7和10相对前一帧具有大的视差量变化，则进行如图11A所示的发送。

可选地，如图11B所示，还可以以周期方式发送B～D图像。可以根据例如从图像信号发送单元104向外部设备150发送图像信号时的传输速率的上限来确定发送B～D图像的周期。代替相对前一帧的视差量的变化，还可以在相对上一次发送B图像(C图像或者D图像)的帧的视差量的变化在阈值以上时，将B图像(或者C图像或者D图像)定义为要发送的对象。可选地，还可以在当前帧的视差量在阈值以上时，将B图像(或者C图像或者D图像)定义为要发送的对象。

因此，即使当视差量检测像素包括被配置成分别接收穿过不同光瞳区域的光的四个光接收元件时，也可以实现与第一实施例相同的效果。

第三实施例

下面参考附图，说明本发明的第三实施例。

本实施例涉及一种不同于第一实施例的、用于减少要发送至外部设备150的数据量的方法。例如，当数字照相机被安装在三脚架上、并且进行拍摄时，视差量即距离信息变化的区域被限制于移动被摄体的区域。因此，在距离信息变化的拍摄图像的区域受限时，仅需要将距离信息变化的区域的B图像发送至外部设备。

参考图12A的流程图，说明通过图像信号发送单元104基于该原理所进行的操作(与在步骤S406所进行的选择处理相对应)。

在步骤S1201，图像信号发送单元104从图像信号中选择区域。这里，所选择的区域，可以是例如在一个帧中通过在水平方向和垂直方向上分割图像信号所获得的块中的一个块的形状的区域(分割区域)。此外，选择顺序是任意的，只要在步骤S1201最终选择了所有分割区域即可，并且可以按照从左端处的分割区域开始到右端处的分割区域的顺序，从上到下重复该选择操作。

然后，在步骤S1202，图像信号发送单元104计算所选择区域中的图像的变化量。该变化量可以是例如在图像信号值(亮度值或者色差值)的直方图中与前一帧的相同位置处的分割区域中的图像的差、或者从当前帧之前和之后的帧所获得的运动矢量的大小。可选地，该变化量可以是根据通过更简单的方法所获得的图像的变化量的其它特征量。此外，可以通过图像信号发送单元104来计算该变化量，或者，可以将为其它目的通过图像处理单元105所计算出的特征量，诸如在灰度级控制时所计算出的直方图或者在编码运动图像时所使用的运动矢量等用于此目的。

然后，图像信号发送单元104判断所选择区域中的图像的变化量是否在阈值以上，并且如果变化量在阈值以上，则处理进入步骤S1203，并且如果变化量小于阈值，则处理进入步骤S1204。结果，图像信号发送单元104将图像中的变化量在阈值以上的区域中的B图像和A+B图像、以及图像中的变化量小于阈值的区域中的A+B图像，确定为要发送的信号。

在步骤S1205，图像信号发送单元104判断是否完成了对于一个帧中的所有分割区域的处理，并且如果存在仍未处理的分割区域，则重复从步骤S1201开始的处理。如果对于一个帧中的所有分割区域，都确定了要发送的信号，则图像信号发送单元104结束该选择操作。

在第一实施例中，将视差量的差在阈值以上的区域中的B图像发送给外部设备。然而，当在数字照相机侧不能计算视差量时，可以如本实施例一样，将表示图像中的变化量的其它特征量在阈值以上的区域中的B图像发送给外部设备。

注意，即使数字照相机被安装在三脚架上，当诸如光圈或者焦距(视角)等的拍摄参数改变时，在除移动被摄体以外的区域中，视差量也可能变化。因此，对于拍摄参数改变的帧，也可以确定需要发送B图像。参考图12B的流程图，说明通过图像信号发送单元104基于该原理所进行的操作(与在步骤S406所进行的选择处理相对应)。

在步骤S1301，图像信号发送单元104判断与视差量变化有关的拍摄参数相对前一帧是否发生了变化。与视差量变化有关的拍摄参数是指例如F值或者焦距(视角)等。

然后，如果与视差量变化有关的拍摄参数相对前一帧发生了变化，则图像信号发送单元104使得处理进入步骤S1302，并且如果与视差量变化有关的拍摄参数没有变化，则使得处理进入步骤S1303。结果，如果与视差量变化有关的拍摄参数相对前一帧发生了变化，则图像信号发送单元104将B图像和A+B图像确定为当前帧中要发送的信号，并且如果与视差量变化有关的拍摄参数相对前一帧没有发生变化，则将A+B图像确定为当前帧中要发送的信号。

可以将图12B的选择处理与其它实施例组合。例如，下面的结构是可以的：在该结构中，如果在图3B所示处理中的步骤S501，判断结果为“否”，则执行图12B的处理。此外，下面的结构也是可以的：在该结构中，在进行图12A所示处理之前，进行图12B的处理，并且如果在步骤S1301，判断结果为“否”，则执行从步骤S1201开始及以后的处理。

通过对其添加图12B的处理，可以减少要发送的数据量，并且可以防止在稍后不能获取距离信息这一状态。

根据本实施例，包括能够获取视差图像的图像传感器的数字照相机可以通过向外部设备仅发送距离信息变化的区域中的B图像减少使得能够计算视差量所要发送或者记录的数据量。因此，可以使用外部设备来实现实时处理，或者可以节省记录介质的容量。

此外，如果与视差量变化有关的拍摄参数相对前一帧发生了变化，则将整个帧中的B图像发送给外部设备，从而使得可以减少要发送的数据量，并且使得可以防止在稍后不能获取距离信息这一状态。

第四实施例

下面参考附图，说明本发明的第四实施例。

本实施例涉及一种通过压缩(编码)要发送的图像信号(RAW)来减少要发送的数据量的方法。例如，当将图像信号发送给外部设备150时，可以考虑在发送之前通过对图像信号应用诸如编码处理等的压缩处理来减少数据量。然而，当应用诸如JPEG方式处理等的、减少图像的高频成分的压缩处理时，由于在压缩处理时所丢失的高频成分，在外部设备中基于A+B图像和B图像计算的视差量的精度可能劣化。因此，在本实施例中，当要发送A+B图像和B图像时，不应用压缩处理，而是在仅发送A+B图像时，应用压缩处理，从而实现要发送的数据量的减少并且防止在外部设备中计算的视差量的精度劣化。

参考图13A的流程图，说明本实施例的这一处理。首先，图像信号发送单元104判断是仅要发送A+B图像、还是要发送A+B图像和B图像两者。用于判断要发送哪一图像信号的方法可以是至此所述的方法中的任一方法。

在步骤S1401，图像信号发送单元104判断作为发送对象的区域(一个帧的整个或者部分区域)是仅要发送A+B图像的区域、还是要发送A+B图像和B图像两者的区域。如果判断为该区域是仅要发送A+B图像的区域，则图像信号发送单元104使得处理进入步骤S1402，在步骤S1402，对A+B图像应用用于压缩数据量的处理，并且在步骤S1403，将压缩后A+B图像发送给外部设备。在步骤S1402所应用的压缩处理没有特别限制，并且可以使用任何方法。此外，图像信号发送单元104还可以设置有压缩处理所用的电路。

另一方面，如果在步骤S1401判断为该区域是要发送A+B图像和B图像两者的区域，则图像信号发送单元104使得处理进入步骤S1404，在步骤S1404，对A+B图像和B图像不应用压缩处理，并且将A+B图像和B图像以未压缩状态发送给外部设备150。

图13B示意性示出在以帧为单位确定要发送的信号时，通过图13A的处理所要发送的数据的例子。

注意，还可以根据是否需要高精度地进行外部设备150中的视差量的计算来动态切换是否执行图13A的处理。也就是说，如果不需要在外部设备150中高精度地计算视差量，则始终对于所有帧都应用压缩处理，并且如果需要在外部设备150中高精度地计算视差量，则仅需要对仅要发送A+B图像的帧应用压缩处理。

第五实施例

下面参考附图，说明本发明的第五实施例。

与显影处理时所使用的基本图像信号的A+B图像相比，B图像的图像信号主要用于视差量的计算。因此，如果不需要视差量的精确计算，则可以通过减少B图像的图像信号来减少要发送的数据量。

在如图2A和2B所示仅在水平方向上配置图像传感器的分割光电转换单元的情况下，基于A图像和B图像具有最高相关性的水平方向上的偏移量来计算视差量，并且因而视差量的计算精度随着水平方向上的分辨率的增大(像素数量的增大)而提高。

因此，为了在抑制视差量的计算精度下降的同时减少要发送的B图像的数据量，仅需要主要在不同于计算偏移量的方向的方向(这里，例如，垂直方向)上进行减少(削减)。可以通过图像信号生成单元102或者图像信号发送单元104来进行该减少处理。

图14A～14C示出用于减少B图像的方法的例子。图14A示出相对于A+B图像的分辨率(水平方向上n个像素×垂直方向上m个像素)，将B图像的分辨率在垂直方向上较少至一半(水平方向上n个像素×垂直方向上m/2个像素)的例子。在该减少处理中，可以在保持水平方向上的分辨率的同时，将要发送的B图像的数据量减少一半。

图14B示出下面的例子：在该例子中，当仅在垂直方向上配置分割光电转换单元时，相对于A+B图像的分辨率(水平方向上n个像素×垂直方向上m个像素)，将B图像的分辨率在水平方向上减少至一半(水平方向上n/2×垂直方向上m个像素)。在该减少处理中，可以在保持垂直方向上的分辨率的同时，将要发送的B图像的数据量减少一半。

因此，通过在与配置分割光电转换单元的方向(光瞳分割方向)不同(例如，与其垂直)的方向上减少B图像的图像信号，可以在抑制视差量的计算精度劣化的同时，减少要发送至外部设备的B图像的数据量。

注意，如果不需要高精度地计算视差量，则还可以如图14C所示，在配置分割光电转换单元的方向上减少B图像，或者可以将B图像减少到使得减少方向上的像素的数量(分辨率)小于一半。

注意，用于减少图像信号的方法没有特别限制，并且此方法的例子包括下面这些方法：通过将多个邻接图像信号相加来获得一个像素值的方法、以及以预定间隔对图像信号进行间隔剔除的方法。由于信号量增大，因而即使对于拍摄暗被摄体等的场景，将多个邻接图像信号相加的方法也是有利的。另一方面，通过将图像信号相加可能使分辨率劣化，因此如果这一类型的劣化令人不满意，则可以以预定间隔对图像信号进行间隔剔除。

第六实施例

下面参考附图，说明本发明的第六实施例。

本实施例的数字照相机具有响应于来自外部设备的请求，发送A+B图像和B图像的图像信号的功能。图15是示出构成根据本实施例的图像处理***的数字照相机和外部设备的功能结构的例子的框图。构成图像处理***的功能块1600～1652，与图1的功能块100～152相同，但是在本实施例中，添加了从外部设备1650的发送/接收单元1651到数字照相机1620的图像信号发送单元1604的信号线。此外，添加了从数字照相机1620的记录单元1606到外部设备1650的发送/接收单元1651的信号线。此外，添加了从图像处理单元1606到图像信号发送单元1604的信号线。

图16A是示出数字照相机1620响应于来自外部设备1650的请求而发送图像信号的处理的流程图。

首先，在步骤S1701，数字照相机1620的图像信号发送单元1604从外部设备1650的发送/接收单元1651接收请求A+B图像和B图像的信号。在请求A+B图像和B图像的信号中，指定传输速率、与是否需要减少与B图像有关的数据的信息、以及用于减少该数据的方法等。稍后参考图16B，详细说明请求信号生成处理。

然后，在步骤S1702，图像信号发送单元1604向外部设备1650的发送/接收单元1651发送所请求的A+B图像的图像信号。然后，在步骤S1703，图像信号发送单元1604将所请求的B图像的图像信号发送给外部设备1650的发送/接收单元1651。图像信息发送单元1604重复执行上述步骤S1701～S1703，直到在步骤S1704判断为完成拍摄为止。

然后，参考图16B的流程图，说明用于从外部设备1650的发送/接收单元1651发送请求A+B图像和B图像的信号的处理。

首先，在步骤S1711，外部设备的发送/接收单元1651确定数字照相机1620和外部设备1650之间的通信速率。通信速率是指在数字照相机1620和外部设备1650之间每单位时间可以传输的数据的最大量。例如，通信速率依赖于数字照相机1620和外部设备1650之间的通信环境、或者数字照相机1620和外部设备1650所支持的通信协议。此外，当外部设备1650是云图像处理服务器时，通信速率可以依赖于外部设备1650的通信拥塞状况或者图像处理能力。

发送/接收单元1651可以根据与在确定通信速率时所使用的多个参数有关的值的预定组合来确定通信速率。与多个参数有关的值的组合与关联的通信速率之间的关系可以以表形式等预先存储，并且在确定时，可以通过使用参数值的组合、参考该表来确定通信速率。当然，也可以利用其它方法来确定通信速率。

然后，在步骤S1712，发送/接收单元1651基于在步骤S1711所确定的通信速率，确定A+B图像和B图像的请求内容。例如，假定即使在不减少数据量的情况下，对于各帧从数字照相机1620发送拍摄的A+B图像和B图像，通信速率也不会超过在步骤S1711所确定的通信速率。在这种情况下，发送/接收单元1651将所有帧和区域中的A+B图像和B图像确定为请求内容，并且可以发送相应的请求信号(步骤S1713)。然而，当除非减少数据量，否则通信速率会超过在步骤S1711所确定的通信速率时，发送/接收单元1651发送用于给出减少要发送的数据量的指示的请求信号(步骤S1713)。

例如，在建立通信时，外部设备1650从数字照相机1620获取能力信息。该能力信息包括与数字照相机1620中运动图像的拍摄帧频或者分辨率有关的信息、以及与通过数字照相机1620可执行的数据量减少方法、以及可实现的减少量或者减少率有关的信息。可选地，将数字照相机的装置类型信息和能力信息相互关联地存储在外部设备1650中，并且可以根据从数字照相机1620所获取的装置类型信息来获取能力信息。

然后，发送/接收单元1651将在步骤S1711所确定的通信速率H和根据能力信息所获得的每单位时间的最大数据量M(在发送所有帧和所有区域中的A+B图像和B图像时每单位时间的数据量)进行比较。然后，如果满足M>H，则发送/接收单元1651基于能力信息确定用于减少数据量的方法，从而使得满足M≤H、以及计算视差量所需的精度。

例如，发送/接收单元1651可以使用请求信号指示以低于拍摄帧频的帧频发送A+B图像和B图像。此外，发送/接收单元1651可以指示一个以上的上述实施例的执行。发送/接收单元1651重复执行从步骤S1711到步骤S1713的处理，直到数字照相机1620的拍摄结束为止。

注意，可以将A+B图像和B图像、或者未被发送给外部设备1650的图像区域的信号中的一部分，记录在数字照相机1620的记录单元1606中，并且在拍摄之后将其发送给外部设备1650的发送/接收单元1651。

此外，在即使发送所有帧和图像区域中的A+B图像和B图像的图像信号，也没有超过该通信速率的情况下，可以减少要发送的B通信的数据量。例如，在外部设备中，如果仅需要人面部区域或者其它主被摄体的视差量(距离信息)，则向摄像设备发送请求仅发送所需区域中的B通信的图像信号的信号，这就足够了。

类似地，在即使发送所有帧和所有图像区域中的A+B图像和B图像也不超过该通信速率的情况下，可以根据外部设备的图像处理的目的(诸如应用等)，请求降低B图像的图像信号的分辨率。如果需要高精度的距离信息，则不降低B图像的图像信号的分辨率，并且如果不需要高精度的距离信息，则如第四～第五实施例所述，可以发送请求降低B图像的图像信号的分辨率的请求信号。

注意，上述实施例仅是例子，并且在权利要求书所定义的范围内，可以做出各种变形例。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种摄像设备，其特征在于，包括：

图像传感器，其设置有多个像素，其中，各像素包括多个光电转换单元，各光电转换单元生成光电信号；

第一生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号来生成针对各像素的第一图像信号；

第二生成部件，用于基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及

输出部件，用于输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，所述输出部件输出所述第二图像信号的次数少于输出所述第一图像信号的次数。

2.根据权利要求1所述的摄像设备，其中，还包括图像生成部件，所述图像生成部件用于至少使用所述第一图像信号来生成运动图像或者连续图像。

3.根据权利要求1或2所述的摄像设备，其中，所述多个光电转换单元分别接收穿过光学***的不同出射光瞳区域的光束。

4.根据权利要求2所述的摄像设备，其中，还包括计算部件，所述计算部件用于使用所述第一图像信号和所述第二图像信号来计算视差量或者离焦量。

5.根据权利要求4所述的摄像设备，其中，如果所述视差量满足预定条件，则所述输出部件选择性地输出所述第二图像信号。

6.根据权利要求1或2所述的摄像设备，其中，所述输出部件以小于所述第一图像信号的频率、以预定周期间歇地输出所述第二图像信号。

7.根据权利要求1或2所述的摄像设备，其中，还包括：

检测部件，用于基于所述第一图像信号和所述第二图像信号中的至少一个检测被摄体的典型特征，

其中，在所述典型特征满足预定条件的情况下，所述输出部件选择性地输出所述第二图像信号。

8.根据权利要求7所述的摄像设备，其中，

所述典型特征包括图像信号的直方图特征或者运动矢量特征。

9.根据权利要求1或2所述的摄像设备，其中，

在拍摄参数的变化满足预定条件的情况下，所述输出部件选择性地输出所述第二图像信号。

10.根据权利要求9所述的摄像设备，其中，

所述拍摄参数包括光学***的焦距或光圈值即F值。

11.根据权利要求1或2所述的摄像设备，其中，还包括：

压缩部件，用于压缩图像信号的量，

其中，通过所述压缩部件对所述第一图像信号和所述第二图像信号中的至少一个的数据量进行压缩。

12.根据权利要求11所述的摄像设备，其中，

当输出所述第一图像信号和所述第二图像信号时，不压缩所述第一图像信号和所述第二图像信号的数据量。

13.根据权利要求1或2所述的摄像设备，其中，还包括：

降低部件，用于至少降低所述第二图像信号的分辨率。

14.根据权利要求13所述的摄像设备，其中，

所述降低部件在不同于配置所述像素的多个光电转换单元的方向的方向上降低所述第二图像信号的分辨率。

15.根据权利要求1或2所述的摄像设备，其中，还包括：

区域选择部件，用于至少选择所述第二图像信号的部分区域。

16.根据权利要求1或2所述的摄像设备，其中，

所述输出部件将所述第一图像信号和所述第二图像信号输出至能够与所述摄像设备通信的外部设备，以及

所述摄像设备还包括：

接收部件，用于从所述外部设备接收用于控制所述摄像设备的信息，以及

控制部件，用于基于通过所述接收部件所接收到的信息来控制所述摄像设备。

17.一种摄像设备的控制方法，其特征在于，所述摄像设备具有设置有多个像素的图像传感器，各像素包括多个光电转换单元，所述方法包括以下步骤：

从各像素的所述多个光电转换单元获取光电信号；

基于通过各像素的所述多个光电转换单元所生成的所有光电信号生成针对各像素的第一图像信号；

基于通过各像素的所述多个光电转换单元所生成的所有光电信号中的至少一个、而不是基于所述所有光电信号来生成针对各像素的第二图像信号；以及

输出所述第一图像信号和所述第二图像信号，其中，在同一时间段内，输出所述第二图像信号的次数少于输出所述第一图像信号的次数。