CN108028894B

CN108028894B - 控制***、成像装置和计算机可读介质

Info

Publication number: CN108028894B
Application number: CN201680052016.4A
Authority: CN
Inventors: 野村健一郎
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-09-09
Filing date: 2016-07-21
Publication date: 2020-07-10
Anticipated expiration: 2036-07-21
Also published as: EP3349433B1; EP3349433A4; JP6455601B2; US10477106B2; EP3349433A1; WO2017043190A1; US20180191956A1; JPWO2017043190A1; CN108028894A

Abstract

一种控制***，用于控制基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向的成像装置，所述控制***特征在于包括估计值计算单元，其：基于第一图像的亮度值计算用于估计与第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值；和基于第二图像的亮度值计算用于估计与第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值。所述控制***进一步特征在于，该估计值计算单元不使用构成其中第一图像和第二图像之间的成像范围重叠的重叠区域的像素的像素值来计算第一图像的亮度值和第二图像的亮度值。

Description

控制***、成像装置和计算机可读介质

技术领域

本发明涉及控制成像装置的控制***；涉及包括该控制***的成像装置；且涉及计算机可读介质。

背景技术

代表成像装置的相机包括比如CMOS(互补金属氧化物半导体)图像传感器的成像元件，且将已经由成像元件输入的光转换为图像信号。然后，基于从图像信号获得的亮度值，相机计算实现正确曝光的曝光值；并根据曝光值和基于程序图(program chart)调整比如快门速度和光圈值的设置值。通常，相机装备有用于自动地执行这种调整的自动曝光控制功能(AE)。

在这里，亮度值代表图像的亮度的程度；曝光意味着将成像元件暴露给光；且正确曝光意味着当由人观看时使用自然亮度和自然颜色表示图像的曝光。曝光值表示成像元件暴露给光的程度；且快门速度表示成像元件暴露给光或者意在阻挡光的可打开可关闭快门打开从而将成像元件暴露给光的时间段(曝光时段)。光圈值表示在成像元件上出现的图像的亮度，且也被称为F比值。程序图是以与快门速度和光圈值对应的方式保存曝光值的对应表。

在AE控制中，当被摄体的亮度上升时，执行控制以增大快门速度和减小光圈。存在不安装光圈机制的某些相机从而使得相机可以低成本可用。在这种情况下，通过改变快门速度来执行曝光控制(例如，参见专利文献1和 2)。

发明内容

技术问题

例如，在拍摄视频的情况下，因为重要的是具有连续链路，所以需要精密地执行曝光控制从而保证没有由于帧之间的曝光差异所导致的奇怪感觉。通常，关于CMOS图像传感器的快门速度分辨率，快门速度向高速侧移动得越多，快门速度分辨率就变得越粗糙。但是，在现有的技术中，在被摄体的高亮度的环境下，不能控制快门速度以匹配曝光，因此不能精确地执行曝光控制。

此外，在包括与多个透镜光学***对应的多个成像元件的成像装置中，基于从多个成像传感器获得的亮度值执行曝光的自动控制和白平衡。但是，在该方法中，如在使用一对鱼眼镜头在所有方向上拍摄图像的全向成像相机的情况下那样，当从两个成像传感器获得的图像的拍摄范围包括重叠区域时，发明人发现未进行稳定的控制。

在这点上，存在能够精确地执行曝光控制的***、装置、方法等的需求。

技术方案

考虑以上问题做出本发明，且本发明提供控制成像装置基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像的控制***，该控制***包括：估计值计算单元，配置为：基于构成第一图像的像素的像素值计算第一图像的亮度值，基于该亮度值计算用于估计与第一鱼眼镜头对应的第一图像元素的曝光的第一曝光估计值，基于构成第二图像的像素的像素值计算第二图像的亮度值，和基于该亮度值计算用于估计与第二鱼眼镜头对应的第二图像元素的曝光的第二曝光估计值，其中，估计值计算单元配置为在第一图像的亮度值的计算和第二图像的亮度值的计算期间，不使用构成重叠区域的像素的像素值，在该重叠区域中，存在第一图像的拍摄范围和第二图像的拍摄范围的重叠。

技术效果

根据本发明，可以精确地执行曝光控制。

附图说明

图1A是图示成像装置的外视图并图示由成像装置获得的图像的图。

图1B是示意性地图示在全向成像相机中安装的相机锥体单元内部的结构的图。

图2是图示成像装置的硬件配置的图。

图3是图示在图2中图示的成像装置中执行的操作流程的流程图。

图4是图示安装在成像装置中的控制***的功能框图。

图5是用于说明在预成像监控时执行的操作流程的流程图。

图6是图示图像划分为多个块的图。

图7是图示AE表的图。

图8是图示程序图的图。

图9是用于说明用于计算快门速度和ISO灵敏度的操作流程的流程图。

图10是图示在图9中图示的操作期间参考的校正信息的图。

图11是图示在WB增益操作期间参考的白色提取范围的图。

具体实施方式

图1A是图示根据本发明的实施例的成像装置10的外视图并图示由成像装置10获得的图像的图。如图1A所示，成像装置10包括彼此相对地放置的一对透镜窗11和12，且能够从成像位置拍摄所有方向上的图像。在下面的说明中，成像装置10被称为全向成像相机10。

图1B是示意性地图示在全向成像相机10中安装的相机锥体单元20内部的结构的图。如图1B所示，相机椎体单元20包括由成像光学***21和相应的成像元件23构成的第一成像光学***，且包括由成像光学***22和相应的成像元件24构成的第二成像光学***。成像光学***21和22例如使用六组的七个鱼眼镜头元件配置。

以成像光学***21和22的光轴分别与相应的成像元件23和24的光接收区域的中心部分正交的方式，且以光接收区域用作相应的鱼眼镜头的成像平面的方式决定两个成像光学***21和22中的光学元件(透镜光学***、棱镜、滤波器和孔径光阑)的位置以及成像元件23和24的位置。在这里，构成成像光学***21和22中的每一个的透镜光学***的一对鱼眼镜头具有设置为一致的各个光轴且以相互相反的方向放置。

成像元件23和24是光接收区域用作维度的二维固态图像传感装置；并将由相应的成像光学***21和22收集的光分别转换为图像数据并将图像输出到处理器(未示出)。处理器拼接从成像元件23和24输入的部分图像并执行图像合成，并生成具有4π弧度的立体角的图像(在下文中，称为“全向图像”)。

在全向成像相机10中，在该对成像光学***21和22中，由一个成像光学***拍摄的第一图像映射在全向格式的上半球侧上，由另一成像光学***拍摄的第二图像映射在全向格式的下半球侧上，然后拼接两个图像以生成全向图像。在那时，为了检测第一图像和第二图像的接合位置，变得需要具有其中在各图像之间拍摄范围重叠的区域(在下文中，称作重叠区域)。为此原因，构成成像光学***21和22中的每一个的鱼眼镜头具有超过180° (＝360°/n；n＝2)的总视角。优选地，鱼眼镜头具有185°或更大的视角。更优选地，鱼眼镜头具有190°或更大的视角。同时，在下面的说明中，成像光学***21和22分别简称为鱼眼镜头21和22。

当拍摄者按压成像SW 13时，通过成像SW 13的按压用作触发器，两个成像元件同时曝光，且拍摄图像。两个成像元件将所接收的光转换为电信号并获得图像。所获得的图像使用鱼眼镜头21和22获得，因此被称作鱼眼图像。在后续图像处理中，由两个成像元件获得的两个鱼眼图像经历图像转换且耦合重叠区域，以使得生成全向图像。

全向成像相机10存储所生成的全向图像的数据，且响应于用户请求，可以将数据输出到输出装置(未示出)，比如具有显示单元的PC，且可以在该显示单元上显示数据。此外，全向成像相机10可以将所生成的全向图像的数据输出到用于打印目的的比如打印机(未示出)或者MFP(多功能***设备)(未示出)的输出装置。替代地，全向成像相机10可以将所生成的全向图像的数据输出到比如MFP或者打印机的输出装置，且也可以经FAX或者使用电子邮件发送。

在图1中，也图示表示通过由全向成像相机10的成像而获得的拍摄图像的两个鱼眼图像。通过由传感器A和B的成像来获得鱼眼图像(参见图3)。在通过由传感器B的成像而获得的鱼眼图像中，形成称作耀斑的白色模糊图像，由此导致两个鱼眼图像中的不同亮度。基于在鱼眼图像的边界部分存在的适当物体的图像来接合两个鱼眼图像，并生成合成图像。

取决于图像，有时耀斑扩散到以高强度物体为中心的整个成像元件上，或者有时在边界部分中不存在适当物体的图像。在此情况下，也可以根据已知方法执行图像校正和图像处理，且可以生成合成图像。因为已知方法与本发明没有直接关系，在这里不给出其说明。

图2是图示全向成像相机10的硬件配置的图。全向成像相机10包括相机椎体单元20，相机椎体单元20进一步包括成像光学***21和22以及成像元件23和24。成像光学***21和22分别收集来自被摄体的光，并使得光分别落在成像元件23和24上。成像元件23和24将入射光转换为电信号。根据由相机主体中安装的处理器30(之后描述)的CPU 31发出的控制命令来控制成像元件23和24。参考图2，CMOS用作成像元件23和24。

用作ROM的NAND闪存32用于存储使用可由CPU 31读取的代码书写的程序，并存储在执行控制时要使用的设置值。SW 33是用于接通全向成像相机10的电源的电源开关。当接通电源时，CPU 31将程序读入主存储器中并执行。CPU 31执行程序从而控制相机的内部操作；并在处理器30中的 RAM 34和本地SRAM(未示出)中临时地存储在执行控制时需要的数据。在这里，需要可重写闪速ROM用作ROM从而使得能够做出程序和设置值的修改和使得功能能够容易的升级。

处理器30包括关于从成像元件23和24输出的图像数据执行白平衡处理和伽玛校正的图像信号处理器(ISP)40和41。白平衡处理是用于为了取决于光源的类型，比如自然阳光或者荧光而将白色部分表示为白颜色的目的而应用增益的处理。在伽玛校正中，考虑输出装置的特性，且因此关于输入信号执行校正从而保持输出的线性。此外，ISP 40和41关于图像数据执行滤波以提取亮度值和色差值，并执行到表示亮度信息的亮度数据的转换和到表示色差信息的色差数据的转换。同时，通过量化两种颜色之间的差异来获得色差。

全向成像相机10包括SDRAM 35和三轴加速度计36。SDRAM 35用于在ISP 40和41的操作之前和在失真校正(之后描述)和合成操作之前临时存储图像数据。三轴加速度计36测量全向成像相机10的加速度。所测量的加速度用于决定相机的倾斜和垂直方向。

处理器30包括失真校正/合成操作单元42。在合成操作中，合成从成像元件23和24输出且由ISP 40和41处理的两组图像数据以生成合成图像数据。然后，失真校正/合成操作单元42利用来自三轴加速度计36的信息，以并行方式执行失真校正和垂直校正，并生成校正了倾斜的合成图像。例如，在失真校正中，使用转换表，且将鱼眼图像转换为二维平面图像。

处理器30包括关于已经校正了倾斜的合成图像执行面部检测，并标识面部位置的面部检测单元43。面部的标识位置用于实现在成像时的对焦。 SDRAM 35经由MEMC 44连接到ARB MEMC 45，且三轴加速度计36直接连接到失真校正/合成操作单元42。MEMC 44是控制图像数据从SDRAM 35 的读取和数据在SDRAM 35中的写入的控制器。ARB MEMC 45是中介图像数据的通信的控制器。

在ISP 40和41与ARB MEMC 45之间，在失真校正/合成操作单元42 与ARB MEMC 45之间，以及在面部检测单元43与ARB MEMC 45之间，安装DMAC 46，以使得可以直接传送图像数据而不涉及CPU 31。ARB MEMC 45将图像数据经由成像处理(IP)块47发送到图像数据传送单元48。 IP块47关于图像数据执行各种图像处理。图像数据传送单元48连接到控制数据从RAM 34的读取和数据在RAM 34中的写入的SDRAMC 49。 SDRAMC 49连接到桥接器50、存储卡控制块51、USB块52和CPU 31。

存储卡控制块51连接到存储卡槽37，在存储卡槽37中，***用于记录图像数据的存储卡，且存储卡槽37从存储卡读取数据和在存储卡中写入数据；存储卡控制块51连接到NAND闪存32。存储卡控制块51控制数据从存储卡和NAND闪存32的读取和数据在存储卡和NAND闪存32中的写入。 USB块52经由USB连接器38连接到比如PC的外部装置，并执行与外部装置的USB通信。嵌入式存储器连接到处理器30，以使得即使当存储卡未***存储卡槽37中时，通过成像获得的图像的图像数据也可以存储在嵌入式存储器中。

处理器30包括串行块SPI 53、JPEGCODEC块54、H.264编解码块55 和RESIZE(缩放)块56。串行块SPI 53经由比如Wi-Fi的无线网络接口39 执行与比如PC的外部装置的串行通信。JPEGCODEC块54是用于执行JPEG 压缩/扩展的编解码块。H.264编解码块55是用于执行H.264视频的压缩/扩展的编解码块。缩放块56是用于使用插值缩放图像数据的图像大小的块。

处理器30包括从SW 33接收开/关命令并因此开启或者关闭全向成像相机10的电源的***块57；并包括控制到各组件的电源的电源控制器58。此外，处理器30包括记录语音和再现记录的语音的语音记录/再现单元59。由用户使用以输入语音信号的麦克风60和输出记录的语音信号的扬声器61连接到语音记录/再现单元59。语音记录/再现单元59包括放大使用麦克风60 输入的语音信号的麦克风放大器，且包括记录放大的语音信号的语音记录电路。此外，语音记录/再现单元59包括将所记录的语音信号转换为可以从扬声器61输出的信号的语音再现电路，并包括放大转换后的语音信号和驱动扬声器61的音频放大器。语音记录/再现单元59在CPU 31的控制下执行操作。

同时，在SDRAM 35或者在嵌入式存储器(未示出)中存储的图像数据可以是已经经历ISP 40和41的白平衡设置和伽玛设置的RAW-RGB图像数据，或者可以是已经经历滤波的YUV图像数据。此外，图像数据可以是已经经历JPEGCODEC块54的JPEG压缩的JPEG图像数据。

处理器30进一步包括用于驱动LCD监视器63的被称为LCD驱动器62 的驱动电路。LCD驱动器62将来自CPU 31的命令转换为用于在LCD监视器63上显示图像数据和当前状态的信号。

图3是图示在图2中图示的全向成像相机10中执行的操作流程的流程图。在下面的说明中，成像元件23被称为传感器A；成像元件24被称为传感器B；连接到传感器A的ISP 40被称为ISP1-A和ISP2-A；且连接到传感器B的ISP 41被称为ISP1-B和ISP2-B。从传感器A输出的图像数据输入到 ISP ISP1-A，且从传感器B输出的图像数据输入到ISP ISP1-B。在ISPISP1-A 和ISP1-B中，执行OB校正、缺陷像素校正、线性校正、黑点校正和区域划分平均。

OB校正指的是获得光学黑区域的输出信号作为基准电平，且校正图像数据中的有效像素区域的输出信号的光学黑校正。

传感器A和B具有在其中布置的多个像素，且通过在半导体衬底上形成比如光电二极管的多个光敏元件来制造。在制造期间，存在由于在半导体衬底中混合杂质之类的因素而局部地生成不能取出像素值的缺陷像素的可能性。为了向这种缺陷像素分配适当的像素值，执行基于由与该缺陷像素相邻的多个像素形成的合成信号来校正缺陷信号的像素值的缺陷像素校正。

在线性校正中，已经经历缺陷像素校正的图像数据转换为具有线性的图像数据。对于RGB颜色中的每一个执行线性校正。

在传感器A和B的表面上，由于光学***或者成像***的特性而存在亮度的不均匀。在黑点校正中，将预定校正系数乘以有效像素区域的输出信号，且校正有效像素区域中的失真从而保证图像具有对抗亮度不均匀的均匀亮度。在黑点校正中，可以对于RGB颜色中的每一个乘以不同校正系数，且可以对于每个区域执行灵敏度校正。

在区域划分平均中，有效像素区域被划分为预定大小的块。这些块用在 AE操作(之后描述)和AWB操作(之后描述)期间计算平均亮度。

将已经经历这种处理的图像数据存储在DRAM中。同时，传感器A和 B中的每一个独立地具有简单的AE处理功能，且可以被独立地设置到正确的曝光。当曝光条件的变化变得更小从而使得在传感器A和B的每一个中曝光条件稳定时，为了保证两个眼睛的图像的图像边界部分具有相同亮度，使用作为区域划分平均的结果所获得的区域积分值(之后描述)，且将传感器A和B中的每一个设置到正确的曝光。

当ISP ISP1-A和ISP1-B的操作结束时，执行ISP ISP2-A和ISP2-B的操作。在ISPISP2-A和ISP2-B中；执行WB增益操作、伽玛校正、拜尔插值、 YUV转换、YCFLT操作和彩色校正，且将结果存储在DRAM中。

在积累来自被摄体的光量的CMOS光电二极管上，对于每个像素应用红色(R)、绿色(G)和蓝色(B)中的任何一个的滤光片。因为透射光的量取决于滤光片颜色而变化，所以光电二极管中积累的电荷量也不同。绿色具有最高的灵敏度，而红色和蓝色具有该灵敏度的近似一半。因此，在WB 增益操作(白平衡操作)中，为了使得拍摄的图像中的白色看起来白，执行用于向红色和蓝色施加增益的操作。同时，由于物体的颜色取决于光源的类型(自然阳光或者荧光)而改变，所以提供用于改变和控制增益的功能，以使得即使光源的类型改变也使得白色看起来白。

在比如显示器的输出装置中，输入到输出装置的输入信号和为了显示目的输出的输出信号之间的关系表示为非线性曲线，且存在执行线性输入-输出转换的装置。在这种非线性输出的情况下，亮度没有色调且图像变暗。因此，人们可能不再正确地观看图像。在那方面，在伽玛校正操作中，考虑输出装置的特性，且以在输出中保持线性的方式预先处理输入信号。

在CMOS的被称为拜尔排列的排列中，单个像素具有应用于其的RGB 彩色滤光片的任何一个，且在输出的原始数据中，单个像素仅保存关于单个颜色的信息。为了使用原始数据以用于观看图像，单个像素需要保存关于全部三个RGB颜色的信息。在拜尔插值操作中，为了获得关于两个丢失的颜色的信息，从周围像素执行插值。

原始数据具有包括全部RGB颜色的RGB数据格式。在YUV转换操作中，具有RGB数据格式的图像数据转换为具有由亮度(Y)和色差(UV) 构成的色彩空间的YUV数据格式。

YCFLT操作是从图像的亮度信号提取边缘部分的边缘增强操作；将增益施加到提取的边缘；且使用低通滤波器(LPF)同时除去图像中的噪声。然后，在边缘增强操作中，施加增益后的边缘的数据被添加到LPF处理后的图像数据。

彩色校正操作意在用于执行色度值设置、色调设置、部分色调修改设置、颜色抑制设置等。色度值设置是用于设置决定色强度时使用的参数的处理，且表示UV色彩空间。

DRAM中存储的图像数据经历裁剪，其中，裁剪图像的中心区域并生成缩略图图像。裁剪的图像被称作规则图像，且将规则图像数据发送到图2中图示的失真校正/合成操作单元42。然后，基于从三轴加速度计36接收到的信息，失真校正/合成操作单元42执行表示倾斜校正的垂直校正。随后， JPEGCODEC块54例如使用0.16的压缩系数执行JPEG压缩。压缩的数据存储在DRAM中，并被标记。

此外，压缩的数据经由存储卡控制块51存储在***存储卡槽37的存储卡中。在将压缩的数据传送到比如智能电话的通信终端的情况下，可以经由串行块SPI 53和无线网络接口39，使用比如Wi-Fi的无线LAN，或者使用蓝牙(注册商标)，或者使用红外通信通过无线传输来传送数据。

到此为止，给出关于全向成像相机10的配置及其内部执行的操作的简要说明。在现有的相机中，如之前解释的那样，不可以控制快门速度和精密地执行曝光控制。因此，当拍摄视频时，由于各帧之间的曝光差异从而存在奇怪的感觉，且产生的视频不具有连续链路。为了解决该问题，在全向成像相机10中，配置包括如图4所示的各功能单元的控制***。

图4是图示全向成像相机10中实现的控制***的功能框图。在这里，虽然控制***假定为在全向成像相机10中实现，但是其可以替代地在全向成像相机10的单独的外部装置中或者在连接到网络的服务器装置中实现。控制***中包括的功能单元实现为CPU 31执行程序的结果。在下面的说明中，全向成像相机10被简称为相机。

控制***100包括作为功能单元的计算单元101、存储器单元102、校正单元103和设置单元104。相机包括收集来自被摄体的光并将光转换为电信号以获得被摄体的图像的成像元件。在这里，在预成像监视期间，相机以恒定帧速率连续地获得被摄体的图像。计算单元101从相机获得关于相机的控制和操作而设置且意在用于控制相机的设置值；和计算指示被摄体的亮度的光度值。所计算的光度值被当做被摄体亮度值。为了计算光度值，计算单元101包括光度值计算单元。

然后，计算单元101从所计算的光度值计算指示成像元件对光的曝光程度的曝光值。因此，计算单元101也包括用于计算曝光值的曝光值计算单元。根据之后描述的程序图，曝光值关联到意在用于实现正确曝光的、指示成像元件要暴露给光的曝光时段的快门速度和作为指示成像元件相对于光的灵敏度的灵敏度值的ISO灵敏度。因此，作为使用程序图的结果，可以根据曝光值获得意在用于实现正确曝光的快门速度和ISO灵敏度。因此，根据所计算的曝光值，计算单元101计算快门速度和ISO灵敏度作为上述的设置值。为此原因，计算单元101也包括用于计算设置值的设置值计算单元。

此外，计算单元101也包括用于计算成像元件的AE估计值和AWB估计值的估计值计算单元；且还包括用于基于成像元件的AE估计值来调整由光度计算单元计算的光度值的光度值调整单元。关于AE估计值和AWB估计值的细节，之后给出说明。

在这里，相机不具有用于调整通过镜头在成像元件上出现的图像的亮度的光圈。因此，计算单元101可以计算快门速度和ISO灵敏度。但是，在使用具有光圈的相机的情况下，计算单元101也可以计算指示亮度的调整程度的光圈值(F比值)。

同时，如果光圈值很大，则通过镜头的光量变小。如果快门速度很高，则曝光时段变短。这使得能够没有任何震动地捕获移动被摄体。如果增强ISO 灵敏度，则放大由成像元件转换的电信号，且可以使得图像更亮。因此，如果光圈值保持恒定且如果ISO灵敏度加倍，则图像变亮。如果快门速度加倍且如果曝光时段缩短，则可以进行调整以实现正确曝光。

存储器单元102用于存储预定快门速度，和存储在校正与该预定快门速度对应的ISO灵敏度时要使用的校正信息。关于校正信息的细节，之后给出说明。校正单元103确定由计算单元101计算的快门速度是否与由存储器单元102中存储的校正信息指定的任何一个快门速度匹配。如果存在匹配，则校正单元103基于存储器单元102中存储的校正信息，校正由计算单元101 计算的快门速度和ISO灵敏度。

设置单元104将由校正单元103校正的快门速度和ISO灵敏度设置为相机中的设置值；并执行相机的曝光控制。相机调节到已经设置的校正后快门速度和校正后ISO，并拍摄被摄体的图像。

如上所述，关于CMOS图像传感器的快门速度分辨率，快门速度向高速侧移动得越多，快门速度分辨率就变得越粗糙。为此原因，在现有的控制中，在被摄体的高亮度的环境下，不可能通过控制快门速度实现正确曝光。但是，如果如上所述，快门速度和ISO灵敏度被校正且然后设置为相机中的设置值，则变得可以执行精密的曝光控制。因此，即使在被摄体的高亮度的环境下，也可以实现正确曝光。

关于由相机的功能单元执行的操作的细节，以下参考图5中图示的流程图给出说明。因此，图5是用于解释在预成像监视时执行的一系列AE操作的流程的流程图。AE操作在步骤500开始。在步骤505，在传感器A和B 中设置快门速度和ISO灵敏度的初始值。在这里，在传感器A和B中设置共同的值。例如，简单的AE处理功能可以用于以实现正确曝光的方式设置值。同时，设置值具有Apex格式，其中具有不同单位制的值可以被当做具有相同度量。通过这样，变得可以执行比如加减的计算。

计算单元101计算表示光度值的被摄体的亮度值B_V和曝光值E_V。对于该计算，使用快门速度T_V和ISO灵敏度S_V，且使用如下的等式(1)执行计算。在等式(1)中，A_V表示光圈值，且在该示例中，因为全向成像相机 10用作不具有光圈的相机，所以A_V是固定值。此外，0x50表示ISO灵敏度 S_V的基准值，且例如，假定为是用于IS灵敏度ISO100的值。同时，B_V、 E_V、A_V、0x50中的每一个是以Apex格式的值。

B_V＝E_V＝T_V+A_V-(S_V-0x50) (1)

在步骤510，等待通过相机进行的表示图像的RAW-RGB数据的检测值的获取。因此，直到检测到检测值为止，以重复方式执行在步骤510的确定。在这里，对于每个帧获得检测值。在步骤515，确定在检测值中是否反映快门速度T_V和ISO灵敏度S_V。如果快门速度T_V和ISO灵敏度S_V未反映在检测值中，则***控制返回到步骤510，且再次等待检测值的获取并获得检测值。在这里，可以取决于每个传感器的曝光条件是否具有更小的变化或者已经变得稳定来确定快门速度T_V和ISO灵敏度S_V是否反映在检测值中。如果确定快门速度T_V和ISO灵敏度S_V反映在检测值中，则***控制进行到步骤 520。作为确定快门速度T_V和ISO灵敏度S_V是否反映在检测值中的结果，不需要重复地执行计算区域积分值的操作(之后描述)，直到确定快门速度 T_V和ISO灵敏度S_V反映在检测值中为止。这使能实现计算负荷的减小。

在步骤520，计算单元101根据所获得的检测值，计算传感器A和B中的每一个的区域积分值。可以以以下方式计算区域积分值。首先，图6中图示的鱼眼图像的RAW-RGB数据被等分为表示多个区域的块，该多个区域在水平方向上的数目是16且在垂直方向上的数目是16。为了将数据划分为多个区域，计算单元101可以包括区域划分单元。同时，RAW-RGB数据包括作为构成图像的像素的像素值的RGB值。随后，对于通过划分获得的每个块，积分RGB值。然后，对于每个块，使用如下给出的等式(2)来获得亮度值(Y值)，且Y值被当做区域积分值。在等式(2)中，R表示RGB值中的R值，G表示RGB值中的G值，且B表示RGB值中的B值。

Y＝R×0.299+G×0.587+B×0.114 (2)

在这里，虽然通过划分而获得的块的数目假定为16×16＝256，但这不是唯一可能的情况。也就是，划分的数目越小，则计算量越小，且可实现的计算时段的减小越大。因此，期望具有较小数目的划分。但是，如果划分的数目过小，计算精度受到减小。因此，在划分为计数n×n，其中n是自然数的情况下，假定n等于或者大于四。此外，虽然并不总是需要具有比如n×n的相等划分，但其是期望的模式，因为通过划分获得的所有块具有相等维度和相同形状。

使用通过拍摄的图像的等分而获得的块来计算区域积分值。例如，如果拍摄的图像具有大约一千万像素，则每个块正好包括大约1000/256＝大约 39000个像素。每个像素保存关于相应的被摄体部分的R、G和B分量的信息，且该信息被记录和用作例如12位信息(0到255)。因此，每个块保存关于大约39000个R分量、大约39000个G分量和大约39000个B分量的信息。在每个块中，对于R分量、G分量以及B分量积分关于大约39000 个R分量、近似39000个G分量和近似39000个B分量的信息；且计算区域积分值。

同时，在该示例中使用的CMOS中，R、G和B像素的比率是 R:G:B＝1:2:1。因此，在每个块中，存在大约9750个R像素、大约19500个 G像素和大约9750个B像素。

返回到参考图5的说明，在步骤525，计算单元101的估计值计算单元将区域积分值除以积分的RGB值的数目(积分计数)并计算AE估计值。 AE估计值意味着用于估计成像元件的曝光和在后续阶段执行的曝光计算中使用的曝光估计值。

在步骤530，平均等于或者小于某个值的传感器A和B中的这种AE估计值，且基于AE表计算与正确曝光的差值(E_V)。设置等于或者小于某个值的标准，以使得在计算平均时不使用具有错误的AE估计值。

如图7所示，AE表意在指示与AE估计值对应的与正确曝光的差值 (ΔE_V)。例如，如果如上所述通过平均获得的AE估计值等于920，则从AE 表获得±1的差值ΔE_V。该±1的差值ΔE_V指示参考正确曝光的1EV的亮度。同时，当AE估计值在AE表中指定的两个值之间时，根据线性内插计算差值ΔE_V。

同时，如果AE估计值小于58或者大于3680，则在AE表中将差值ΔE_V裁剪到-3的最小值或者+3的最大值。因此，无论AE估计值是50还是25，差值ΔE_V被计算为-3。此外，无论AE估计值是3681还是5000，差值ΔE_V被计算为+3。

在这方面，在本实施例中，在之前解释的步骤520，在图6中图示的鱼眼图像的RAW-RGB数据中，在不阻挡光的圆形内部部分中，仅构成排除重叠区域(即，当圆形的中心设置为0°时，从0°到90°的区域)的不重叠区域的像素的像素值用于计算区域积分值。也就是，例如，当鱼眼镜头的视角是 220°时，如图6所示，在鱼眼图像的RAW-RGB数据中，构成重叠区域(即，当圆形的中心设置为0°时，从0°到90°的区域)的像素的像素值不用于计算区域积分值(亮度值)。这是因为，如果基于构成重叠区域的像素的像素值计算区域积分值(亮度值)，则出现以下问题。

例如，假定在鱼眼镜头21的视角和鱼眼镜头22的视角彼此重叠的拍摄范围中存在高亮度的被摄体(例如，太阳)。在该情况下，关于与传感器A 和B中的每一个对应的RAW-RGB数据，如果使用构成重叠区域的像素的像素值来计算区域积分值(亮度值)，则在步骤525计算的传感器A的AE估计值和传感器B的AE估计值由于高亮度的被摄体的影响而变大。结果，两个AE估计值的平均值不再正确地反映被摄体的实际亮度。

以相同的方式，假定在鱼眼镜头21的视角和鱼眼镜头22的视角彼此重叠的拍摄范围中存在低亮度的被摄体(例如，阴影)。在该情况下，关于与传感器A和B中的每一个对应的RAW-RGB数据，如果重叠区域的数据包括在区域积分值中，则在步骤525计算的传感器A的AE估计值和传感器B 的AE估计值由于低亮度的被摄体的影响而变小。结果，两个AE估计值的平均值不再正确地反映被摄体的实际亮度。

关于该问题，在本实施例中，在图6中图示的鱼眼图像的RAW-RGB数据中，在不阻挡光的圆形内部部分中，构成重叠区域的像素的像素值不用于计算区域积分值(亮度值)；且基于仅构成不重叠区域的像素的像素值计算区域积分值。结果，可以以稳定方式执行曝光控制，而不受到在鱼眼镜头21 和鱼眼镜头22的重叠拍摄范围中存在的被摄体的影响。

返回到参考图5的说明，在步骤535，光度值调整单元将差值ΔE_V与在先前示例中计算的被摄体亮度值B_V相加，并更新被摄体亮度值B_V。基于已经更新的被摄体亮度值B_V，计算单元101使用之前给出的等式(1)计算曝光值。例如，当差值ΔE_V等于零时，确定实现正确曝光。因此，在差值ΔE_V变得等于零处计算这种曝光值E_V。在步骤540，使用所计算的曝光值E_V，例如，根据图8中图示的程序图计算比如快门速度T_V和ISO灵敏度S_V的曝光条件。随后，校正单元103执行校正，然后设置单元104设置传感器A和 B中的校正后的快门速度T_V和校正后的ISO灵敏度S_V。

在步骤545，计算单元101的估计值计算单元将在步骤520计算的区域积分值除以积分的RGB值的数目(积分计数)，并使用如下给出的等式(3) 和(4)计算AWB估计值(G/R和G/B)。AWB估计值表示用于估计成像元件的白平衡的白平衡估计值，且用于在后续阶段执行的WB增益操作(白平衡操作)。

G/R＝(区域积分值(G)/积分计数(G)))/(区域积分值(R)/积分计数(R))

(3)

G/B＝(区域积分值(G)/积分计数(G)))/(区域积分值(B)/积分计数(B))

(4)

在WB增益操作中，基于AWB估计值(G/R和G/B)，预先平均内部白色提取范围中的像素并设置为白平衡增益(Rgain和Bgain)。如图11所示，白色提取范围表示具有以G/R表示X轴和以G/B表示Y轴的二维彩色坐标。

在步骤550，所计算的Rgain和Bgain设置为图3中图示的ISP ISP2-A 和ISP2-B的WB增益操作中的设置值。

在本实施例中，在图6中图示的鱼眼图像的RAW-RGB数据中，基于仅构成不重叠区域的像素的像素值且不使用构成不阻挡光的圆形内部部分的重叠区域的像素的像素值计算的区域积分值(亮度值)用于计算AWB估计值(G/R和G/B)。结果，可以以稳定方式执行白平衡操作，而不受到在鱼眼镜头21和鱼眼镜头22的重叠拍摄范围中存在的被摄体的影响。

在步骤555，确定监视是否已经结束。在监视期间，快门在成像之前打开，且使得光落在成像元件上。因此，当成像开始时或者当到相机的电源关闭时，标记监视的结束。如果监视还没有结束，则***控制返回到步骤510，且重复从步骤510到步骤550的操作。当监视结束时，***控制进行到步骤 560且标记操作的结束。

在监视时，重复地计算快门速度T_V和ISO灵敏度S_V且将其设置为设置值；且调整设置值从而实现正确曝光。

例如，在步骤540，假定曝光值E_V等于九。然后，在图8中图示的程序图中，在从曝光值E_V9的斜线与粗线交叉的点处存在的快门速度T_V7和ISO 灵敏度S_V5被计算为快门速度T_V和ISO灵敏度S_V。在图8中，在E_V、T_V和S_V旁边所写的比如9、7、5等的数值是以Apex格式表示的值。此外，在 T_V以下所写的分数表示不以Apex格式表示的初始快门速度的值。此外，在 S_V的后侧所写的数值表示不以Apex格式表示的初始ISO灵敏度的值。

关于快门速度T_V和ISO灵敏度S_V的计算和设置，参考图9中图示的流程图给出具体说明。操作在步骤900开始。在步骤905，计算单元101根据图8中图示的程序图，从在步骤535已经更新的被摄体亮度值B_V计算快门速度T_V和ISO灵敏度S_V。因为之前描述了计算方法，所以不再次给出相同说明。

在步骤910，校正单元103确定所计算的快门速度T_V是否与在表示校正信息的插值表中指定的任意快门速度T_V匹配。在图10中图示了插值表的示例。插值表包括输入栏和输出栏。在输入栏中，设置校正前的快门速度T_V。在输出栏中，设置校正后的快门速度T_V和相应的S_V校正值。因此，插值表是以对应的方式保存上述值的对应表。关于值，可以设置通过预先进行实验获得的最适当的值。

在校正前的快门速度T_V中；例如，在需要校正的快门速度的高速侧上设置这种预定值。参考图10，假定相机具有1/16的分辨率，且在0x10、0x20、 0x30、...、0xC0等等被当做1/2、1/4、1/8、...、1/4000等的快门速度的情况下设置预定值。同时，在输入栏中，0xBF对应于1/3900。

例如，当所计算的快门速度T_V是0xBF时，根据插值表，其被校正到 0xC0，且所计算的ISO灵敏度S_V被校正到+1。在这里，+1意味着以下：如果所计算的ISO灵敏度S_V是ISO100，则其被校正到高1/16分(1/16notches) 的ISO104的ISO灵敏度；和如果所计算的ISO灵敏度S_V是ISO200，则其被校正到高1/16分的ISO208的ISO灵敏度。因此，在到+2的校正的情况下，如果所计算的ISO灵敏度S_V是ISO100，则其被校正到高2/16分的ISO109 的ISP灵敏度。

在以上给出的示例中，如果所计算的快门速度T_V是0xBF，则其改变为 0xCO。结果，快门速度变快，且被摄体的亮度减小，由此使得被摄体更暗。因此，相应的ISO灵敏度S_V被校正到+1以增强灵敏度和增加被摄体的亮度，以使得调整被摄体以具有正确的亮度。

因为相机具有1/16的分辨率，在步骤905计算的快门速度T_V的值获得为0xB1或者0xB9，其不需要总是可设置为快门速度。例如，该值可以在可设置为快门速度的1/2900秒(0xB7)和1/4000秒(0xCO)之间。因为不能设置那些值之间的值，所以不能使用这种值。这种不能使用的快门速度设置在插值表中且经历校正，以使得变得可以实现精密的曝光控制。在这里，虽然对于使用插值表的示例给出说明，但这不是唯一可能的情况。替代地，表示校正前的快门速度T_V和校正后的快门速度T_V之间的关系的转换等式可以用于获得校正后的快门速度T_V。

在步骤910，如果所计算的快门速度T_V与在插值表中指定的任意快门速度T_V匹配，则***控制进行到步骤915，且根据插值表从所计算的快门速度 T_V获得校正后的快门速度T_V和S_V校正值。在步骤920，使用获得的快门速度T_V和获得的S_V校正值来校正所计算的快门速度T_V和所计算的ISO灵敏度S_V。当校正结束时，或者在步骤910，如果所计算的快门速度T_V不与插值表中指定的任意快门速度T_V匹配；则***控制进行到步骤925。

在步骤925，通过校正获得的快门速度S_V和ISO灵敏度T_V或者所计算的快门速度S_V和所计算的ISO灵敏度T_V设置为传感器A和B中的设置值。在步骤930，操作结束。因此，在拍摄被摄体的图像时，相机使用设置的快门速度S_V和ISO灵敏度T_V。

在拍摄被摄体的图像时，为了实现更正确的曝光，可以调整上述伽玛校正中使用的伽玛值或者可以调整上述的白平衡操作中使用的增益值，从而调整图像的亮度信息。

虽然上面以控制***、成像装置和控制方法的实施例的形式描述了本发明；本发明不限于上面描述的实施例。也就是，本发明要被看作为具体表现清楚地落入在这里提出的基本教导内的本领域技术人员可以想到的比如其他实施例、添加、替代结构和删除之类的所有修改。以其任意形式，只要实现本发明的功能/效果，修改包括在本发明的范围中。因此，在本发明中，可以提供用于使得计算机实现控制方法的程序；或者可以提供其中记录该程序的记录介质；或者可以提供经由网络提供程序的服务器装置。

附图标记列表

10 全向成像相机

11，12 镜头窗口

13 成像SW

20 相机椎体单元

21，22 成像光学***(鱼眼镜头)

23，24 成像元件

30 处理器

31 CPU

32 NAND闪存

33 SW

34 RAM

35 SDRAM

36 三轴加速度计

37 存储卡槽

38 USB连接器

39 无线网络接口

40，41 ISP

42 失真校正/合成操作单元

43 面部检测单元

44 MEMC

45 ARB MEMC

46 DMAC

47 IP块

48 图像数据传送单元

49 SDRAMC

50 桥接器

51 存储卡控制块

52 USB块

53 串行块SPI

54 JPEGCODEC块

55 H.264编解码块

56 缩放块

57 ***块

58 电源控制器

59 语音记录/再现单元

60 麦克风

61 扬声器

62 LCD驱动器

63 LCD显示器

100 控制***

101 计算单元

102 存储器单元

103 校正单元

104 设置单元

引文列表

专利文献

专利文献1：日本专利申请特开No.2-288560

专利文献2：日本专利No.3778114

Claims

1.一种控制***，控制成像装置以基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像，所述控制***包括估计值计算单元，配置为：

基于构成所述第一图像的像素的像素值计算所述第一图像的亮度值，

基于所述第一图像的亮度值计算用于估计与所述第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值，

基于构成所述第二图像的像素的像素值计算所述第二图像的亮度值，和

基于所述第二图像的亮度值计算用于估计与所述第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值，其中，

所述估计值计算单元配置为在所述第一图像的亮度值的计算和所述第二图像的亮度值的计算期间，不使用构成重叠区域的像素的像素值，在所述重叠区域中，存在所述第一图像的拍摄范围和所述第二图像的拍摄范围的重叠。

2.如权利要求1所述的控制***，进一步包括：

光度值计算单元，配置为基于在所述成像装置中设置的设置值，计算指示被摄体的亮度的光度值；

光度值调整单元，配置为基于由所述估计值计算单元计算的所述第一曝光估计值和所述第二曝光估计值，调整由所述光度值计算单元计算的所述光度值；

曝光值计算单元，配置为从所计算的光度值计算指示所述第一成像元件和所述第二成像元件对光的曝光程度的曝光值；和

设置值计算单元，配置为计算成像元件要暴露给光的曝光时段和指示所述成像元件对光的灵敏度的灵敏度值作为设置值，所述曝光时段和所述灵敏度值与所计算的曝光值对应。

3.如权利要求1或者2所述的控制***，其中，所述估计值计算单元配置为：

基于所述第一图像的亮度值计算用于估计所述第一成像元件的白平衡的第一白平衡估计值；和

基于所述第二图像的亮度值计算用于估计所述第二成像元件的白平衡的第二白平衡估计值。

4.如权利要求1或者2所述的控制***，其中，

所述第一鱼眼镜头和所述第二鱼眼镜头位置彼此相对放置，其中将各自的光轴设置为一致，且

所述第一鱼眼镜头和第二鱼眼镜头中的每一个的视角超过180°。

5.一种成像装置，包括如权利要求1或者2所述的控制***。

6.一种计算机可读介质，包括一程序，使得控制成像装置以基于使用第一鱼眼镜头获得的第一图像和使用第二鱼眼镜头获得的第二图像生成全向图像的计算机执行：

用于基于构成所述第一图像的像素的像素值计算所述第一图像的亮度值的步骤；

用于基于所述第一图像的亮度值计算用于估计与所述第一鱼眼镜头对应的第一成像元件的曝光的第一曝光估计值的步骤；

用于基于构成所述第二图像的像素的像素值计算所述第二图像的亮度值的步骤；和

用于基于所述第二图像的亮度值计算用于估计与所述第二鱼眼镜头对应的第二成像元件的曝光的第二曝光估计值的步骤，其中，

在用于计算所述第一图像和第二图像的亮度值的步骤中，不使用构成重叠区域的像素的像素值，在所述重叠区域中，存在第一图像的拍摄范围和第二图像的拍摄范围的重叠。

7.如权利要求6所述的计算机可读介质，其中所述程序进一步使得计算机执行：

用于基于在所述成像装置中设置的设置值，计算指示被摄体的亮度的光度值的步骤；

用于基于所计算的第一曝光估计值和所计算的第二曝光估计值，调整所计算的光度值的步骤；

用于从所计算的光度值，计算指示所述第一成像元件和所述第二成像元件对光的曝光程度的曝光值的步骤；和

用于计算成像元件要暴露给光的曝光时段和指示成像元件对光的灵敏度的灵敏度值计算作为设置值的步骤，所述曝光时段和所述灵敏度值与所计算的曝光值对应。

8.如权利要求6或者7所述的计算机可读介质，其中所述程序进一步使得计算机执行：

用于基于所述第一图像的亮度值计算用于估计所述第一成像元件的白平衡的第一白平衡估计值的步骤；和

用于基于所述第二图像的亮度值计算用于估计所述第二成像元件的白平衡的第二白平衡估计值的步骤。