CN103533216B - 摄影装置以及图像处理方法 - Google Patents

Abstract

本发明提供摄影装置以及图像处理方法。提供以简单的操作容易地生成期望的组合图像的图像数据的技术。照相机（1）具备：具有多个显示区域的显示面板（135）；受理摄影指示和删除指示的操作部（123）；以及拍摄被摄体来取得图像的摄像部。此外，照相机（1）具有：显示控制部，其控制显示面板（135），以在受理了摄影指示时，将某个显示区域所显示的图像从实时取景图像变更为根据摄影指示取得的张图像，在受理了指定显示张图像的显示区域的删除指示时，将指定的显示区域所显示的图像变更为预定的图像；以及组合图像处理部（109c），其将多个显示区域所显示的多个图像的图像数据进行合成，生成布局成在显示面板（135）上显示多个图像的组合图像的图像数据。

Description

摄影装置以及图像处理方法

技术领域

本发明涉及对通过多次摄影取得的多个图像进行布局，从而生成作为一张图像的组合图像的图像数据的摄影装置以及图像处理方法。

背景技术

在数字照相机和数字摄像机等摄影装置中，将所取得的图像存储或记录为数字数据，因此能够容易地对所取得的图像进行加工。

灵活运用这种特征的摄影装置的用途之一有组合相片。组合相片是指对通过多次摄影所取得的多个相片进行布局而成的合成相片。

更详细地说，摄影者为了利用表现基于不同场面和不同视点的立体感的图像、与时间经过对应的摄影图像以及存在被摄体的运动的摄影图像来表现摄影时的感情和想象，而生成由多个图像构成的组合相片。并且，摄影者想要利用该组合图像将摄影时的感情和想象传递给看相片的人。为了达到该目的，组合相片的排列方式和排列顺序有脚本，该脚本在唤起看相片的人的感情的方面也特别重要。

取得组合相片的摄影装置大致区分为例如专利文献1所公开的利用1次快门操作取得构成组合相片的多个相片的摄影装置、以及例如专利文献2所公开的对于构成组合相片的多个相片中的各个相片，分别利用与各个相片对应的快门操作来取得的摄影装置。

另外，在专利文献1中，公开了连续拍摄多张图像，并且对该多张图像进行一览显示的数字照相机。在专利文献2中公开了如下的摄像装置：在以针对同一被摄体每次多张的方式拍摄的多个不同被摄体的图像中，将按照每个被摄体逐张地选择的最佳图像进行合成并记录。

【专利文献1】日本特开2007-053616号公报

【专利文献2】日本特许4529561号公报

另外，在为了得到期望的组合相片而生成组合相片的图像数据时，期望摄影装置的使用者能够选择构成组合相片的多个相片，在摄影装置的使用者不喜欢构成组合相片的特定相片时，期望能够重新拍摄多次。

但是，在上述专利文献1至专利文献2所公开的技术中，重新拍摄构成组合相片的特定相片的作业非常费事和麻烦。

具体说明的话，专利文献1所公开的数字照相机构成为了对连续拍摄的多个图像进行一览显示（即显示为组合相片），因此使用者不能选择构成组合相片的多个相片。

此外，在专利文献2所公开的摄像装置中，能够按照每个被摄体从按照每个被摄体所取得的多张图像中选择一张图像。但是，由于明确区分为拍摄的步骤和选择图像的步骤，因此即使在图像选择时判明对于某个被摄体不存在适当的相片时，也无法仅重新拍摄该被摄体的相片。

另外，上述技术课题不仅在相片（即静态图像）中产生，在动态图像时也可能产生。即，不论是静态图像还是动态图像，上述技术课题都有可能在全部图像中产生。

发明内容

依据以上的实际情况，本发明的目的在于提供以简单的操作容易地生成期望的组合图像的图像数据的技术。

本发明的第1方式提供一种摄影装置，其具有：显示部，其具有多个显示区域；第1受理部，其受理摄影指示；第2受理部，其受理指定所述显示部的显示区域的删除指示；摄像部，其拍摄被摄体来取得图像；显示控制部，其对所述显示部进行如下控制：在所述第1受理部受理了摄影指示时，将在所述多个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为由所述摄像部根据所述摄影指示而取得的图像，并且在所述第2受理部受理了删除指示时，将在通过所述删除指示所指定的显示区域上所显示的图像变更为预定的图像，所述删除指示指定了显示有由所述摄像部根据所述摄影指示而取得的图像的显示区域；以及组合图像处理部，其将在所述多个显示区域上所显示的多个图像的图像数据进行合成，生成组合图像的图像数据，所述组合图像布局成在所述显示部上显示所述多个图像。

本发明的第2方式提供一种摄影装置，其在第1方式所述的摄影装置中，所述预定的图像是实时取景图像。

本发明的第3方式提供一种摄影装置，其在第2方式所述的摄影装置中，所述显示控制部在所述第1受理部受理了摄影指示时，对所述显示部进行如下控制：将在所述多个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为由所述摄像部根据所述摄影指示而取得的图像，并且在所述多个显示区域中的、所显示的图像不是由所述摄像部根据摄影指示而取得的图像的显示区域或未显示图像的显示区域中的1个显示区域上显示实时取景图像。

本发明的第4方式提供一种摄影装置，其在第1至第3中的任意一个方式所述的摄影装置中，所述第2受理部具有：选择按钮，其指定所述显示部的显示区域；以及删除按钮，其确定所述选择按钮对显示区域的指定，所述删除指示是通过所述选择按钮和删除按钮的操作而生成的信号。

本发明的第5方式提供一种摄影装置，其在第1至第3中的任意一个方式所述的摄影装置中，所述第2受理部具有与所述显示部重叠配置的触摸面板传感器，所述删除指示是通过对所述显示部的显示区域的多次点击操作而生成的信号。

本发明的第6方式提供一种摄影装置，其在第1至第3中的任意一个方式所述的摄影装置中，所述第2受理部具有与所述显示部重叠配置的触摸面板传感器，所述删除指示是通过将所述显示部的显示区域拖动到特定区域的操作而生成的信号。

本发明的第7方式提供一种摄影装置，其在第1至第3中的任意一个方式所述的摄影装置中，还具有：存储部，其存储通过所述删除指示删除了显示的图像的图像数据；以及第3受理部，其受理指定所述显示部的显示区域的复原指示，所述显示控制部对所述显示部进行如下控制：在所述第3受理部受理了复原指示时，读入在所述存储部中所存储的图像数据，并将在通过所述复原指示指定的显示区域上所显示的图像变更为从所述存储部读入的图像数据的图像。

本发明的第8方式提供一种摄影装置，其将根据多个摄影操作而得到的多个静态图像进行合成来生成一个组合图像，该摄影装置具备：指定部，其能够指定已拍摄的静态图像中的一个；以及控制部，其能够使得重新拍摄由所述指定部指定的静态图像。

本发明的第9方式提供一种摄影装置，其在第8方式所述的摄影装置中，上述控制部在由所述指定部指定了一个静态图像的情况下，能够使得更换为所述静态图像来拍摄新的图像。

本发明的第10方式提供一种图像处理方法，其具有以下步骤：在显示部的至少1个显示区域上显示实时取景图像；受理摄影指示；根据所述摄影指示取得被摄体的图像；将在所述至少1个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为根据所述摄影指示而取得的图像；受理指定了显示有根据所述摄影指示而取得的图像的显示区域的删除指示；将在通过所述删除指示指定的显示区域上所显示的图像变更为预定的图像；以及将在所述显示部的多个显示区域上所显示的多个图像的图像数据进行合成，生成组合图像的图像数据，该组合图像布局成在所述显示部上显示所述多个图像。

根据本发明，能够提供以简单的操作容易地生成期望的组合图像的图像数据的技术。

附图说明

图1是示出本发明的实施例1的照相机的主要电气***的整体结构的框图。

图2是示出本发明的实施例1的照相机的处理整体的流程图。

图3是示出本发明的实施例1的照相机的图像处理的流程图。

图4是示出本发明的实施例1的照相机的基本图像处理的流程图。

图5是示出本发明的实施例1的照相机的特殊图像处理的流程图。

图6是示出本发明的实施例1的照相机的组合图像生成处理的流程图。

图7是示出本发明的实施例1的照相机的静态图像记录处理的流程图。

图8是示出本发明的实施例1的照相机的组合图像操作处理的流程图。

图9是示出本发明的实施例1的照相机的再现处理的流程图。

图10是用于说明被摄体的动作的图。

图11是用于说明本发明的实施例1的照相机的摄影操作的图。

图12是用于说明本发明的实施例1的照相机的摄影操作的另一图。

图13是用于说明本发明的实施例1的照相机的摄影操作的又一图。

图14是用于说明显示区域的布局的图。

图15是用于说明本发明的实施例1的照相机的摄影操作的又一图。

图16是用于说明在本发明的实施例1的照相机的组合图像处理部中进行的颜色变更处理的又一图。

图17是用于说明在本发明的实施例1的照相机的组合图像处理部中进行的亮度变更处理的又一图。

图18是用于说明本发明的实施例1的照相机的摄影张变更操作的图。

图19是用于说明本发明的实施例1的照相机的SDRAM的显示/记录用组合图像存储区域的结构的图。

图20是用于说明本发明的实施例1的照相机的利用删除操作的张图像数据的后撤保存和利用复原操作的张图像数据的复原的图。

图21是用于说明本发明的实施例1的照相机的利用删除操作的张图像数据的后撤保存和利用复原操作的张图像数据的复原的另一图。

图22是用于说明本发明的实施例1的照相机的删除操作的图。

图23是示出本发明的实施例1的照相机的显示区域与摄影顺序之间的关系的图。

图24是示出以往的照相机的显示区域与摄影顺序之间的关系的图。

图25是用于说明本发明的实施例1的照相机的删除操作的另一图。

图26是用于说明本发明的实施例1的照相机的删除操作的又一图。

图27是用于说明本发明的实施例1的照相机的删除操作的又一图。

图28是用于说明本发明的实施例1的照相机的再现模式中的放大显示操作的图。

图29是用于说明本发明的实施例1的照相机的再现模式中的放大显示操作的另一图。

图30是用于说明本发明的实施例1的照相机的组合图像模式中的放大显示操作的图。

图31是示出本发明的实施例2的照相机的处理整体的流程图。

图32是示出本发明的实施例2的照相机的简易LV处理的流程图。

图33是用于说明本发明的实施例2的照相机的摄影操作的图。

图34是示出本发明的实施例2的照相机的各部中的处理的时序图。

标号说明

1：照相机；100：照相机主体；101：机械快门；103：摄像元件；105：模拟处理部；107：A/D转换部；109：图像处理部；109a：基本图像处理部；109b：特殊图像处理部；109c：组合图像处理部；109d：被摄体检测部；110：总线；111：AE处理部；113：AF处理部；117：图像压缩解压缩部；119：通信部；121、207：微型计算机；123：操作部；124：触摸输入部；125、209：闪存；127：SDRAM；129：存储器I/F；131：记录介质；133：显示驱动器；135：显示面板；200：更换式镜头；201：摄影镜头；203：光圈；205：驱动器；300：I/F。

具体实施方式

以下，参照附图说明本发明的各实施例。另外，在本说明书中，实时取景图像与根据释放操作等来自照相机的用户的明确摄影指示而取得的图像不同，是利用照相机的实时取景功能随时取得的图像。

【实施例1】

图1是示出本实施例的照相机的主要电气***的整体结构的框图。

图1例示的照相机1是将所取得的图像存储或记录为数字数据的摄影装置。照相机1的用户能够一边观察在作为显示部的显示面板135上所显示的实时取景图像，一边通过使用了操作部123的释放操作指示图像的取得。另外，照相机1除了取得静态图像（即相片）和动态图像的功能以外，还具有取得对多个静态图像或动态图像进行布局而成的组图像的功能。

首先，参照图1说明照相机1的结构。照相机1具有照相机主体100、和可在照相机主体100上拆装的包含摄影镜头201的更换式镜头200。另外，在本实施例中，例示了可更换摄影镜头的照相机的结构，但摄影镜头也可以被固定于照相机主体上。

更换式镜头200具有摄影镜头201、光圈203、驱动器205、微型计算机207和闪存209。此外，照相机主体100与更换式镜头200经由接口（以后记作I/F）300连接。

摄影镜头201由用于形成被摄体像的单个或多个光学透镜构成，是单焦点透镜或变焦透镜。在摄影镜头201的光轴的后方配置有光圈203。光圈203的口径是可变的，对通过摄影镜头201的被摄体光束的光量进行限制。此外，摄影镜头201能够通过驱动器205在光轴方向上移动。根据来自微型计算机207的控制信号，控制摄影镜头201的焦点位置，在摄影镜头201是变焦镜头的情况下，还控制摄影镜头201的焦距。此外，驱动器205还进行光圈203的口径控制。

与驱动器205连接的微型计算机207与I/F300以及闪存209连接。微型计算机207依照闪存209中所存储的程序进行动作。依照程序进行动作的微型计算机207与后述的照相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。

在闪存209中，除了上述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与照相机主体100内的微型计算机121相互之间的通信的接口。

在照相机主体100内，且在摄影镜头201的光轴上，配置有机械快门101。机械快门101通过截断被摄体光束来控制被摄体光束对后述的摄像元件103的照射时间，例如可采用公知的焦面快门等。在该机械快门101的后方、通过摄影镜头201形成被摄体像的位置上，配置有摄像元件103。

在摄像元件103中，将构成各像素的光电二极管二维地配置成矩阵状。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器蓄积电荷。在各像素的前面，配置有拜尔排列的RGB滤色器。另外，摄像元件103的结构不限于包含呈拜尔排列地排列的RGB滤色器的结构，例如可以是在FOVEON（Foveon Incorporated的注册商标）那样的元件的厚度方向上排列多个传感器的结构。

摄像元件103与模拟处理部105连接。模拟处理部105针对从摄像元件103读出的光电转换信号（以后记作模拟图像信号），在降低了重置噪声等之后进行波形整形，然后进行增益放大，以达到适当的亮度。模拟处理部105与A/D转换部107连接。A/D转换部107对模拟图像信号进行模拟-数字转换，并将所得到的数字图像信号（以后记作图像数据）输出到总线110并存储到SDRAM127。即，在照相机1中，摄像元件103、模拟处理部105和A/D转换部107整体作为拍摄被摄体而取得其图像的摄像部发挥功能。另外，在本说明书中，将在图像处理部109中进行图像处理前的原来的图像数据记作RAW数据。摄像元件103内置电子快门，在动态图像摄像时或实时取景摄像时那样重复进行摄像时，在将机械快门101保持为打开的状态下使用内置的电子快门进行摄像。

总线110是用于将在照相机主体100内部读出或生产的各种数据传送到照相机主体100的内部的传送路径。在总线110上，除了上述A/D转换部107以外，还连接有图像处理部109、AE（Auto Exposure：自动曝光）处理部111、AF（Auto Focus：自动对焦）处理部113、图像压缩解压缩部117、通信部119、微型计算机121、SDRAM（Synchronous DRAM：同步动态随机存取存储器）127、存储器接口（以后称作存储器I/F）129和显示驱动器133。

图像处理部109具有：进行基本的图像处理的基本图像处理部109a、在设定了应用艺术过滤等特殊效果的模式的情况下用于施加特殊效果的特殊图像处理部109b、生成组合图像的图像数据的组合图像处理部109c、通过模式匹配处理等对图像数据进行分析来检查被摄体的被摄体检测部109d。图像处理部109读出临时存储在SDRAM127中的图像数据，并对该图像数据实施图像处理。

基本图像处理部109a对RAW数据进行光学黑（OB）减法运算处理、白平衡（WB）校正、在拜尔数据的情况进行的同时化处理、颜色再现处理、伽马校正处理、亮度变更处理、边缘强调处理和噪声减少（NR）处理等。

特殊图像处理部109b对在基本图像处理部109a中处理后的图像数据，根据所设定的特殊效果（艺术过滤）等，进行赋予各种视觉上的特殊效果的特殊图像处理。例如，在设定了玩具（toyphoto）摄影的情况下，特殊图像处理部109b进行附加阴影的处理。此外，在设定了神奇对焦（fantastic focus）、粗粒黑白（rough monochrome）、透视画、水晶（crystal）的情况下，特殊图像处理部109b分别进行软对焦处理、噪声重叠处理、晕映处理、十字滤光镜处理。

组合图像处理部109c对多个图像数据进行合成，生成将与多个图像数据对应的多个图像布局成预定的配置的图像即组合图像的图像数据。被合成的多个图像数据至少是在基本图像处理部109a中处理后的图像数据，在设定了特殊效果的情况下，对由基本图像处理部109a和特殊图像处理部109b处理后的图像数据进行合成。

此外，组合图像处理部109c在执行对图像数据进行合成的处理前，对构成组合图像的、由基本图像处理部109a和特殊图像处理部109b进行处理后的各图像（以后记作张图像。）进行校正。具体而言，组合图像处理部109c对由基本图像处理部109a和特殊图像处理部109b进行处理后的多个图像数据进行分析，并计算图像间的颜色分布的差异和亮度平均的差异等。并且，组合图像处理部109c根据计算出的信息，校正构成组合图像的各个张图像的颜色和亮度以使组合图像成为最佳状态。组合图像处理部109c对张图像进行校正来进行图像间的调整处理，由此用户能够得到更良好的图像作为组合图像。

被摄体检测部109d通过使用了模式匹配技术等的图像分析，进行检测预定的被摄体、例如人的面部和宠物等动物的处理。并且，还可以进行计算检测出的被摄体的种类、大小、位置等的处理。这些检测结果例如可被用于摄影模式的切换、自动对焦、将被摄体像拍摄成一定大小的自动变焦等。

AE处理部111根据经由总线110输入的图像数据测量被摄体亮度，并经由总线110将所测量的被摄体亮度信息输出到微型计算机121。另外，此处，采用了由AE处理部111根据图像数据计算被摄体亮度的结构，但照相机1可以通过设置专用的测光传感器以测量被摄体亮度来实现相同的功能。

AF处理部113从图像数据中提取高频成分信号，通过累计处理取得对焦评价值。AF处理部113经由总线110将所取得的对焦评价值输出到微型计算机121。即，照相机1通过所谓的对比度法进行摄影镜头201的对焦。

图像压缩解压缩部117在将图像数据记录到与存储器I/F129连接的记录介质131时，针对从SDRAM127读出的图像数据，在静态图像的情况下依照JPEG压缩方式等进行压缩，并且在动态图像的情况下依照MPEG等各种压缩方式进行压缩。

微型计算机121对JPEG图像数据和MPEG图像数据附加构成JPEG文件、MPO文件和MPEG文件所需的头部来生成JPEG文件、MPO文件和MPEG文件。微型计算机121经由存储器I/F129将所生成的文件记录到记录介质131。

此外，图像压缩解压缩部117还进行JPEG图像数据和MPEG图像数据的解压缩以用于图像再现显示。在解压缩时，读出记录在记录介质131中的文件，并在图像压缩解压缩部117中实施了解压缩处理后，将解压缩后的图像数据临时存储到SDRAM127中。另外，在本实施例中，作为图像压缩方式，示出了采用JPEG压缩方式或MPEG压缩方式的例子，但是压缩方式不限于此，也可以是TIFF、H.264等其他压缩方式。

通信部119与外部设备进行通信，以更新和追加存储在后述的闪存125内的模板。通信部119可以通过有线LAN或无线LAN与外部设备连接，除此以外，也可以通过USB电缆等与外部设备连接。

微型计算机121发挥作为照相机1整体的控制部的功能，综合控制照相机的各种动作序列。在微型计算机121上，除了上述I/F300以外，还连接有操作部123和闪存125。

操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、确定按钮、模式拨盘等各种输入按钮和各种输入键等操作部件，检测这些操作部件的操作状态，将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户操作对应的各种动作序列。即，在照相机1中，操作部123作为受理来自用户的各种指示（例如摄影指示、删除指示、复原指示、再现指示等）的受理部发挥功能。

电源按钮是用于指示照相机1的电源接通/断开的操作部件。当按下电源按钮时，照相机1的电源接通，当再次按下电源按钮时，照相机1的电源断开。

释放按钮由通过用户进行半按下操作而接通的第1释放开关、和在从半按下起进一步按下而变为全按下时接通的第2释放开关构成。微型计算机121在第1释放开关接通时，执行AE动作或AF动作等摄影准备动作序列。此外，微型计算机121在第2释放开关接通时，控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，执行将该图像数据记录到记录介质131中的一系列摄影序列来进行摄影。

再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，微型计算机121从记录介质131读出所拍摄的图像的图像数据，并在显示面板135上对图像进行再现显示。

菜单按钮是用于使显示面板135显示菜单画面的操作按钮。用户能够在菜单画面上进行各种照相机设定。作为照相机设定，存在特殊效果（艺术过滤器）的设定。作为特殊效果，能够设定神奇对焦、流行艺术、玩具摄影、粗粒黑白、透视画等各种特殊效果。此外，还能够在菜单画面上进行组合图像的设定。

模式拨盘是用于选择摄影模式的拨盘。在照相机1中，通过由用户对模式拨盘进行操作，在进行通常摄影的通常模式与进行组合图像的摄影的组合图像模式之间切换动作模式。通常模式与组合图像模式的切换可以由用户利用菜单画面等进行。

操作部123还具有触摸输入部124。触摸输入部124例如是重叠配置于显示面板135上的触摸面板传感器。触摸输入部124检测用户对显示面板135的触摸操作，并将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的触摸输入部124的检测结果，执行与用户操作对应的各种动作序列。

另外，操作部123可以在显示面板135上配备上述各种按钮。即，替代在照相机1的表面物理地设置按钮，微型计算机121可以在显示面板135上显示按钮并由触摸输入部124检测对于显示在显示面板135上的按钮的操作。另外，可以替代在显示面板135上显示释放按钮，而使显示面板135作为释放按钮发挥功能。该情况下，微型计算机121可以将用户触摸显示面板135时视作半按下释放按钮的状态、将持续触摸预定时间（例如1秒）以上时视作全按下释放按钮的状态，也可以将用户进行触摸时视作半按下释放按钮的状态和全按下释放按钮的状态。

闪存125存储有用于执行微型计算机121的各种动作序列的程序。微型计算机121根据在闪存125中所存储的程序进行照相机整体的控制。此外，闪存125存储有颜色矩阵系数、与白平衡模式对应的R增益和B增益、伽马表、曝光条件确定表等各种调整值。并且，闪存125将组合图像的风格、即与怎样布局构成组合图像的张图像相关的信息等存储为模板。

SDRAM127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAM127对从A/D转换部107输出的图像数据、以及在图像处理部109和图像压缩解压缩部117等中进行了处理的图像数据进行临时存储。

存储器I/F129与记录介质131连接。存储器I/F129进行对记录介质131写入和读出图像数据和附加在图像数据上的头部等数据的控制。记录介质131是例如在照相机主体100上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机主体100中的非易失性存储器或硬盘等。

显示驱动器133与显示面板135连接。显示驱动器133根据从SDRAM127或记录介质131读出、并通过图像压缩解压缩部117进行解压缩后的图像数据，使图像显示在显示面板135上。显示面板135例如是设置于照相机主体100的背面的液晶显示器（LCD），进行图像显示。作为图像显示，包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示以及实时取景显示等的动态图像显示。另外，显示面板135除了LCD以外，可以是有机EL等，还可以采用其他的显示面板。此外，显示面板135在摄影模式是组合图像模式的情况下，在显示面板135上定义用于显示图像的多个区域（以后记作显示区域。）。另外，多个显示区域的布局根据组合图像的风格来划定。

接着，参照图2至图9，对在如上那样构成的照相机1中进行的处理进行说明。另外，通过微型计算机121执行闪存125所存储的程序进行图2至图9的流程图所示的照相机的处理。首先，对图2所示的照相机的处理整体流程进行说明。

对操作部123内的电源按钮进行操作而使照相机1的电源接通，并开始图2所示的照相机1的处理时，微型计算机121对照相机1进行初始化（步骤S1）。此处，进行机械方式的初始化和各种标志等的初始化等的电气方式的初始化。作为初始化对象的标志，例如有表示是否处于记录动态图像过程中的记录中标志等，通过初始化将记录中标志设定为关闭。此外，将简易处理设定也设定为关闭。

在初始化完成后，微型计算机121接着判定是否按下了再现按钮（步骤S3）。此处，检测操作部123内的再现按钮的操作状态进行判定。此外，在显示面板135上显示有再现按钮的情况下，检测来自触摸输入部124的信号来进行判定。在按下了再现按钮时，微型计算机121将动作模式设定为再现模式，执行再现处理（步骤S700）。当再现处理完成时，再次执行步骤S3的处理。另外，之后将参照图9具体叙述再现处理的详细情况。

在步骤S3中判定为没有按下再现按钮时，微型计算机121判定是否按下了菜单按钮、即是否变为了显示菜单画面并进行照相机设定的状态（步骤S5）。此处，检测操作部123内的菜单按钮的操作状态进行判定。在显示面板135上显示有菜单按钮的情况下，检测来自触摸输入部124的信号来进行判定。

在按下了菜单按钮时，微型计算机121检测对于操作部123的进一步的操作，并依照检测结果变更照相机设定（步骤S7）。当照相机设定处理完成时，再次执行步骤S3的处理。

另外，作为照相机设定，例如存在摄影模式设定、记录模式设定、图像的精加工设定、组合图像的风格设定、选择预先取得的要组入到组合图像中的图像的设定、是否记录张图像的设定等。摄影模式有通常的摄影模式和组合图像模式。此外，在记录模式中，作为静态图像记录模式，有JPEG记录、JPEG＋RAW记录、RAW记录等，作为动态图像记录模式，有Motion－JPEG、H.264等。并且，在图像的精加工设定中，有设为看起来自然的图像（Natural）、设为鲜艳的图像（Vivid）、设为平和的图像（Flat）、艺术过滤等特殊效果的设定。

在步骤S5中判定为没有按下菜单按钮时，微型计算机121判定是否按下了动态图像按钮（步骤S9）。此处，检测操作部123内的动态图像按钮的操作状态进行判定。在显示面板135上显示有动态图像按钮的情况下，检测来自触摸输入部124的信号来进行判定。

在判定为没有按下动态图像按钮时，微型计算机121执行步骤S19的处理。另一方面，在按下动态图像按钮时，微型计算机121使记录中标志反转（步骤S11）。即，如果记录中标志为关闭则变更为打开、如果为打开则变更为关闭。并且，微型计算机121根据反转后的记录中标志的状态判定是否处于图像记录中（步骤S13）。

在判定为记录中标志打开时，微型计算机121判断为指示了动态图像记录的开始，而生成动态图像文件（步骤S15），做好用于记录图像数据的准备。这种处理例如在电源接通后首次按下动态图像按钮时等进行。另外，在动态图像文件生成后，执行步骤S19的处理。

在步骤S13中判定为记录中标志关闭时，微型计算机121判断为指示了动态图像记录的结束，并关闭动态图像文件（步骤S17）。即，在进行在动态图像文件的头部记录帧数的处理等而将动态图像文件设为可再现的状态后，结束写入处理。另外，在向动态图像文件的写入结束后，执行步骤S19的处理。

在步骤S19中，微型计算机121判定摄影模式是否为组合图像模式、且是否对操作部123进行了预定的组合图像操作。此处，检测在SDRAM127中所存储的摄影模式的设定和操作部123的操作状态来进行判定。

在判定为是组合图像模式且进行了预定的操作时，微型计算机121执行组合图像操作处理（步骤S600）。当组合图像操作处理完成时，再次执行步骤S21的处理。另外，之后将参照图8具体叙述组合图像操作处理的详细情况。

在步骤S19中判定为摄影模式不是组合图像模式、或者判定为没有对操作部123进行预定的组合图像操作时，微型计算机121判定是否半按下了释放按钮（步骤S21）。此处，检测与释放按钮联动的第1释放开关从断开到接通的转变来进行判定。在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，检测表示触摸了显示释放按钮的区域或显示实时取景图像的显示区域的信号来进行判定。

在半按下释放按钮时，微型计算机121执行AE/AF动作（S23）。此处，如下进行AE动作：AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，并根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。此外，如下进行AF动作：驱动器205经由更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得通过AF处理部113取得的对焦评价值变为峰值。另外，在根据来自触摸输入部124的信号进行AF动作的情况下，使摄影镜头201移动以便对焦到显示在触摸位置的被摄体。在AE/AF动作后，执行步骤S25的处理。AF动作除了上述的所谓对比度AF以外，还可以使用利用了专用传感器的相位差AF等各种AF方式。

在步骤S21中判定为没有半按下释放按钮时，微型计算机121判定是否全按下了释放按钮（步骤S27）。此处，检测第2释放开关从断开到接通的转变来进行判定。微型计算机121可以通过连续检测并判定第2释放开关为接通的状态来进行连拍摄影。此外，在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，微型计算机121检测表示触摸了显示有释放按钮的区域或显示有实时取景图像的显示区域的信号来进行判定。

在全按下释放按钮时，微型计算机121进行利用机械快门的静态图像摄影（S29）。此处，用在步骤S23中计算出的光圈值来控制光圈203，并且用计算出的快门速度来控制机械快门101的快门速度。并且，当经过了与快门速度对应的曝光时间时，从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW数据临时存储到SDRAM127。

之后，微型计算机121读出临时存储在SDRAM127中的RAW数据，使图像处理部109执行图像处理（步骤S100a），并执行将处理后的图像数据等记录到记录介质131的静态图像记录处理（步骤S500）。另外，之后将分别参照图3至图6、图7具体叙述图像处理和静态图像记录处理的详细情况。

当静态图像记录处理完成时，微型计算机121判定摄影模式是否为组合图像模式（步骤S31）。此处，根据在SDRAM127中所存储的摄影模式的设定进行判定。

在摄影模式不是组合图像模式的情况下、即是通常的摄影模式的情况下，微型计算机121执行步骤S25的处理。另一方面，在摄影模式是组合图像模式的情况下，微型计算机121变更实时取景显示（步骤S33）。另外，在照相机1中，在摄影模式是组合图像模式的情况下，显示面板135具有多个显示区域，通过后述的步骤S39中的处理，在其中的一个显示区域中显示实时取景图像。在步骤S33的实时取景显示的变更处理中，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以变更显示实时取景图像的显示区域。更具体而言，将在显示有实时取景图像的显示区域中所显示的图像变更为在步骤S29中拍摄并在步骤S100a中进行了图像处理后的图像。并且，切换应显示实时取景图像的显示区域，使实时取景图像显示在其他显示区域中。即，在照相机1中，微型计算机121和显示驱动器133作为控制显示面板135的显示控制部发挥功能。在实时取景显示处理后，微型计算机121执行步骤S25的处理。

在步骤S27中判定为没有全按下释放按钮时，微型计算机121为了动态图像或实时取景图像而执行AE动作（步骤S35）。AE动作如下进行：AE处理部111计算用于以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO感光度。

在AE动作后，微型计算机121进行利用电子快门的摄影（步骤S37）。此处，使用电子快门从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW数据临时存储到SDRAM127。

之后，微型计算机121读出临时存储在SDRAM127中的RAW数据，使图像处理部109执行与利用机械快门的摄影时相同的图像处理（步骤S100b）。并且，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以将显示实时取景图像的显示区域的图像变更为在步骤S37中取得并在步骤S100b中进行了图像处理后的图像数据来更新实时取景图像（步骤S39）。

在更新了实时取景图像后，微型计算机121判定是否处于动态图像记录中（步骤S41）。此处，根据在SDRAM127中所存储的记录中标志的状态进行判定。

在记录中标志关闭的情况下，微型计算机121执行步骤S25的处理。另一方面，在记录中标志打开的情况下，微型计算机121判断为处于动态图像记录中并进行动态图像记录（步骤S43）。即，将在步骤S39中更新后的实时取景图像的图像数据记录为在步骤S15中生成的动态图像文件的帧图像。然后，执行步骤S25的处理。

在步骤S25中，微型计算机121判定电源是否断开。

在电源接通的情况下，微型计算机121执行步骤S3的处理。在断开的情况下，微型计算机121在执行必要的结束处理后，结束照相机1的处理。

根据如上述那样动作的照相机1，在如图10所示那样以组合图像模式拍摄随着时间的经过而移动的被摄体的情况下，如图11所示，用户仅通过触摸显示有实时取景图像的显示区域，就能够容易地取得构成组合图像的张图像，并将显示在所触摸的显示区域中的图像从实时取景图像变更为所取得的张图像。即，用户的触摸实时取景图像的操作相当于摄影指示。并且，自动切换显示实时取景图像的区域，在未显示张图像的其他显示区域（在设定了预先取得的要组入到组合图像中的图像的情况下，是未显示张图像和预先取得的图像的其他显示区域）中显示实时取景图像，因此即使在被摄体移动的情况也不会错过快门时机，用户能够迅速取得下一个张图像。此外，仅在显示面板135中定义的多个显示区域中的1个显示区域中显示实时取景图像，因此照相机1能够向用户提供容易集中精力于拍摄的环境。

此外，照相机1为了识别实时取景图像和张图像，例如可以如图12所例示那样，在显示有实时取景图像的显示区域中显示表示实时取景图像的标记（此处为“LV”）。由此，即使在拍摄不随时间变化的被摄体的情况等难以区分实时取景图像和张图像的情况下，用户也能够容易地确定实时取景图像。并且，可以在显示张图像的显示区域中显示表示取得张图像的顺序的标记（此处为“1”、“2”、“3”、“4”）。由此，即使在有许多个显示区域的情况下，用户也能够容易地掌握取得张图像的顺序。

此外，照相机1为了识别实时取景图像和张图像，例如可以如图13所例示那样，与实时取景图像相比将张图像显示得较暗，或降低颜色饱和度进行显示。另外，在图11中，示出了用户通过触摸操作指示摄影的例子，但照相机1通过十字键和释放按钮的操作也同样地进行动作。

此外，在图11中，示出了在显示面板135上定义了纵横2×2的4个显示区域的例子，但显示区域的布局不限于此。显示区域的布局根据所设定的组合图像的风格来划定，因此能够通过变更组合图像的风格设定，选择例如图14（a）至图14（k）所示的各种布局。图14（a）至图14（j）将多个显示区域配置成不相互重叠，但图14（k）中各显示区域的一部分与其他显示区域重叠地配置。

在使用了图14（k）的布局的情况下，通过朝向周边逐渐降低浓度地显示在各显示区域中所显示的图像，尽力使得看不见各图像的边界。

此外，在图11中，示出了仅在显示面板135中定义的多个显示区域中的1个显示区域中显示实时取景图像的例子，但照相机1也可以如图15所示，在除显示张图像的显示区域以外的多个或所有显示区域中显示实时取景图像。在所有显示区域中显示实时取景图像的情况下，照相机1不需要考虑切换实时取景图像的显示区域的时间，因此能够通过例如一边滑动手指一边连续触摸多个显示区域来取得多个张图像。因此，能够向用户提供以往的照相机所没有的新的操作感觉。

接着，参照图3至图6，对在图2所示的利用机械快门的摄影或利用电子快门的摄影后进行的图像处理进一步详细进行说明。另外，在利用机械快门的摄影后进行的图像处理的对象是在利用机械快门的摄影中取得的RAW数据，在利用电子快门的摄影后进行的图像处理的对象是在利用电子快门的摄影中取得的RAW数据。

如图3所示，图像处理主要由通过基本图像处理部109a进行的基本图像处理、通过特殊图像处理部109b进行的特殊图像处理以及通过组合图像处理部109c进行的组合图像生成处理构成。

当微型计算机121读出临时存储在SDRAM127中的RAW数据，并向图像处理部109指示图像处理时，首先对基本图像处理部109a读出的RAW数据执行基本图像处理（步骤S200）。

如图4所示，基本图像处理部109a执行的基本图像处理由7个图像处理步骤构成。最先进行光学黑（OB）减法运算（步骤S201）。在该步骤中，基本图像处理部109a内的OB运算部分别从构成图像数据的各像素的像素值中，减去由于摄像元件103的暗电流等而产生的光学黑值。

基本图像处理部109a在OB减法运算后，进行白平衡（WB）校正（步骤S203）。在该步骤中，基本图像处理部109a内的WB校正部根据所设定的白平衡模式，对图像数据进行WB校正。具体而言，通过从照相机主体的闪存125读出与用户设定的白平衡模式对应的R增益和B增益，并对图像数据乘以该值，来进行校正。或者在自动白平衡的情况下，根据RAW数据计算R增益和B增益，使用这些增益进行校正。

接着，基本图像处理部109a进行同时化处理（步骤S205）。在该步骤中，基本图像处理部109a内的同时化处理部针对进行了白平衡校正的图像数据，将各像素的数据（拜尔数据）转换为RGB数据。具体而言，从周边通过插值求出该像素中没有的数据，并转换为RGB数据。另外，该步骤在使用了FOVEON（Foveon Incorporated的注册商标）形式的摄像元件作为摄像元件103的情况等、在RAW数据中每1像素具有多个数据的情况下被省略。

基本图像处理部109a在同时化处理后，进行颜色再现处理（步骤S207）。在该步骤中，基本图像处理部109a内的颜色再现处理部进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性转换来校正图像数据的颜色。另外，颜色矩阵系数被存储在闪存125中，因此读出并使用。

基本图像处理部109a在颜色再现处理后，进行亮度变更处理（步骤S209）。在该步骤中，基本图像处理部109a内的亮度变更处理部对图像数据（RGB数据）进行伽马校正处理。并且，从RGB数据颜色转换为YCbCr数据，对转换后的图像数据的Y数据进行伽马校正。另外，在伽马校正中，读出并使用在闪存125中所存储的伽马表。

基本图像处理部109a在亮度变更处理后，进行边缘强调（步骤S211）。在该步骤中，基本图像处理部109a内的边缘强调处理部通过带通滤波器对图像数据提取边缘成分，根据边缘强调度乘以系数并与图像数据相加，由此强调图像数据的边缘。

最后，基本图像处理部109a进行NR（噪声去除）（步骤S213）。在该步骤中，基本图像处理部109a内的NR部通过对图像进行频率分解，并根据频率进行核化处理来进行减少噪声的处理。

在以上的基本图像处理完成时，在设定了特殊效果（艺术过滤器）的情况下，特殊图像处理部109b对通过基本图像处理部109a进行处理后的图像数据执行特殊图像处理（图3的步骤S101、步骤S300）。

如图5所示，特殊图像处理部109b执行的特殊图像处理以根据特殊效果的设定进行的5个图像处理步骤为中心而构成。最先，特殊图像处理部109b判定是否设定了简易图像处理（步骤S301）。在该步骤中，特殊图像处理部109b根据在SDRAM127中所存储的简易处理设定的状态进行判定。另外，在简易处理设定打开的情况下，结束特殊图像处理。

在简易处理设定关闭的情况下，特殊图像处理部109b依次判定是否设定了玩具摄影、神奇对焦、粗粒黑白、透视画、水晶作为特殊效果（艺术过滤器）（步骤S303、步骤S307、步骤S311、步骤S315、步骤S319）。

在设定了玩具摄影的情况下，特殊图像处理部109b对图像数据进行阴影附加处理（步骤S305）。在该步骤中，特殊图像处理部109b生成对应于距中心的距离亮度逐渐降低的增益放大映射图（增益值为1以下），并依照该增益放大映射图对图像数据乘以与各像素对应的增益，由此对周边附加阴影。

在设定了神奇对焦的情况下，特殊图像处理部109b对图像数据进行软对焦处理（步骤S309）。在该步骤中，特殊图像处理部109b生成对图像整体实施了晕映处理的图像数据，并以预定的比例（例如3：2等）将晕映前的图像的图像数据和晕映处理后的图像的图像数据合成。

在设定了粗粒黑白的情况下，特殊图像处理部109b对图像数据进行噪声重叠处理（步骤S313）。在该步骤中，特殊图像处理部109b将预先生成的噪声图案与图像数据相加。另外，噪声图案可以根据随机数等生成。

在设定了透视画的情况下，特殊图像处理部109b对图像数据进行晕映处理（步骤S317）。该步骤中，特殊图像处理部109b以AF的目标为中心，根据距离对图像的周边（例如上下或左右、或者其两方）逐渐晕映。

在设定了水晶（crystal）的情况下，特殊图像处理部109b对图像数据进行十字滤光镜处理（步骤S321）。在该步骤中，特殊图像处理部109b检测图像中的亮点，并以该亮点为中心描绘十字图案的方式对图像数据进行加工。

在以上的特殊图像处理完成时，组合图像处理部109c判定摄影模式是否为组合图像模式（图3的步骤S103）。在摄影模式不是组合图像模式的情况下，结束图像处理。

在摄影模式是组合图像模式的情况下，组合图像处理部109c使用在显示面板135的多个显示区域中所显示的多个图像的图像数据，执行组合图像生成处理（图3的步骤S400）。

如图6所示，组合图像处理部109c执行的组合图像生成处理以5个图像处理步骤为中心而构成。最先，判定是否设定了简易图像处理（步骤S401）。在该步骤中，组合图像处理部109c根据在SDRAM127中所存储的简易处理设定的状态进行判定。

在简易处理设定关闭的情况下，组合图像处理部109c进行图像分析（步骤S403）。在该步骤中，组合图像处理部109c计算在显示面板135的显示区域中所显示的多个图像的图像数据各自具有的颜色分布和亮度分布。另外，也可以不根据在显示区域中所显示的图像的图像数据自身（即由基本图像处理部109a和特殊图像处理部109b进行处理后的图像数据），而根据与这些图像数据对应的、进行图像处理前的RAW数据来计算颜色分布和亮度分布。

在图像分析后，组合图像处理部109c进行颜色变更处理，以使得构成组合图像的多个图像数据的图像变为大致相同颜色（步骤S405）。在该步骤中，为了使得多个图像数据的色差Cb、色差Cr的峰值变为它们的平均值，组合图像处理部109c使各图像数据的色差Cb、色差Cr偏移来进行校正。例如，如果是通过图像分析计算出图16（a）和图16（d）所示的颜色分布（色差的分布）的情况，则如图16（b）和图16（e）所示那样使色差Cb、色差Cr的分布偏移。其结果，如图16（c）和图16（f）所示，进行颜色变更处理后的多个图像表现出大致相同的颜色。另外，颜色变更处理中的颜色变更的方法除了上述的变更色差Cb和色差Cr的方法以外，例如利用在RGB颜色空间中对R或B乘以增益等其他方法也能够实现。

进而，在颜色变更处理后，组合图像处理部109c进行亮度变更处理，以使得构成组合图像的多个图像数据的图像亮度大致相同（步骤S407）。在该步骤中，组合图像处理部109c校正各图像数据，以使得多个图像数据各自的亮度分布的平均变为多个图像数据整体的亮度分布的平均。例如，如果是通过图像分析能够得到图17（a）所示的亮度Y的分布的情况，则如图17（b）所示，组合图像处理部109c通过对各图像数据的RGB数据分别进行不同的伽马转换来校正亮度Y的分布，从而如图17（c）所示，使多个图像的亮度大致相同。另外，不通过对亮度成分的伽马转换而通过RGB颜色空间中的伽马转换来校正亮度的理由是因为：即使在通过校正而较大程度地变更了亮度的情况下，也不会使图像的颜色变得不自然。另外，亮度变更处理中的亮度变更的方法除了上述使用伽马变化的方法以外，例如用仅变更背阴处等的暗部区域的亮度、或者仅变更明亮部区域的亮度等其他方法也能够实现。

在亮度变更处理后，组合图像处理部109c进行将校正了颜色和亮度后的多个图像数据进行合成的合成处理（步骤S409）。在该步骤中，组合图像处理部109c对在显示面板135的多个显示区域中所显示的多个图像的图像数据进行合成，更详细地说，对进行了颜色变更处理和亮度变更处理的多个图像数据进行合成，并生成组合图像的图像数据，该组合图像布局成在显示面板135上显示这多个图像。最后，不论照相机设定中的精加工设定如何，都根据组合图像的风格对组合图像全体赋予特殊图像处理部109b在艺术过滤器等中能够应用的效果即晕映处理或阴影附加等特殊效果（步骤S411），并结束组合图像生成处理。

另一方面，在简易处理设定打开的情况下，组合图像处理部109c对在显示面板135的多个显示区域中所显示的多个图像的图像数据自身进行合成，并生成组合图像的图像数据，该组合图像布局成在显示面板135上显示这多个图像（步骤S413）。之后，结束组合图像生成处理。通过以上步骤，结束图3的图像处理。

根据如上述那样动作来生成组合图像的照相机1，构成组合图像的多个张图像的各个根据与其他张图像相比较的结果而被校正。并且，照相机1通过对校正后的张图像的图像数据进行合成来生成组合图像的图像数据。因此，与仅单独对张图像进行图像处理的以往的照相机相比，能够得到在张图像之间取得了色调和明亮度的平衡的良好图像作为组合图像。另外，图6中，示出了对各个张图像执行颜色变更处理和亮度变更处理的例子，但根据与其他张图像相比较的结果进行的图像处理不限于此，也可以执行其他图像处理。

接着，参照图7，对静态图像记录进一步详细进行说明，所述静态图像记录在针对利用图2所示的机械快门摄影取得的图像数据的图像处理后进行。

如图7所示，在开始静态图像记录处理后，首先微型计算机121判定摄影模式是否为组合图像模式（步骤S501）。在该步骤中，根据在SDRAM127中所存储的摄影模式的设定进行判定。

在摄影模式不是组合图像模式的情况下，微型计算机121控制显示驱动器133，在显示面板135上记录浏览显示利用机械快门拍摄并由图像处理部109进行图像处理后的图像数据的一张图像（步骤S515）。之后，微型计算机121控制存储器I/F129，使记录介质131记录所显示的图像的图像数据（步骤S517），并结束静态图像记录处理。另外，图像数据可以在由图像压缩解压缩部117压缩为JPEG形式后被记录，也可以非压缩地记录。并且，微型计算机121还可以记录在图像处理部109中进行图像处理前的RAW数据。

另一方面，在摄影模式是组合图像模式的情况下，微型计算机121判定是否设定成记录为了构成组合图像而拍摄的图像即张图像（也记作摄影图像）（步骤S503）。在设定成进行记录的情况下，微型计算机121控制存储器I/F129，使记录介质131记录在图像处理部109中进行处理后的张图像（步骤S504）。

之后，微型计算机121判定组合是否完成、即是否已拍摄了构成组合图像的所有张图像（步骤S505）。另外，在设定了预先取得的要组入到组合图像中的图像的情况下，微型计算机121判定是否已拍摄了除预先取得的图像以外的所有张图像。该步骤根据在SDRAM127的张图像区域中是否存储有与根据所设定的组合图像的风格所确定的张数的张图像来进行判断。在没有拍摄所有张图像的情况下，结束静态图像记录处理。

在已拍摄所有张图像的情况下，微型计算机121控制显示驱动器133，使显示面板135记录浏览显示在图像处理部109中生成的组合图像（步骤S507）。

之后，微型计算机121在一定期间（例如3秒等）内监视删除操作（步骤S509）。这是为了向用户提供用于判断在记录浏览中显示的组合图像是否为所期望的图像的时间。

在该一定期间中检测到删除操作的情况下，微型计算机121执行组合图像操作处理以删除所指定的图像（步骤S513），并结束静态图像记录处理。

在没有检测到删除操作的情况下，微型计算机121控制存储器I/F129，使记录介质131记录在图像处理部109中生成的组合图像的图像数据（步骤S511），并结束静态图像记录处理。另外，也可以不在一定期间内监视删除操作，而由微型计算机121显示询问是否进行记录（是否进行删除）的画面，并根据用户的输入进行删除或记录。

接着，参照图8对组合图像操作处理进一步详细进行说明。

如图8所示，在开始组合图像操作处理后，确定成为开始组合图像操作处理的原因的操作。具体而言，微型计算机121依次判定是否进行了摄影张变更操作、删除操作、复原操作、临时保存操作、临时保存读入操作（步骤S601、步骤S605、步骤S613、步骤S619、步骤S625）。

步骤S601的是否进行了摄影张变更操作的判定例如根据触摸输入部124是否检测到对于未显示图像的显示区域的触摸操作来进行。微型计算机121在检测到对于未显示图像的显示区域的触摸操作时，进行图18例示那样的摄影张变更处理，即切换应显示实时取景图像的显示区域并在所触摸的显示区域中显示实时取景图像的处理（步骤S603）。

步骤S605的是否进行了删除操作的判定例如根据触摸输入部124是否检测到对于显示有图像（张图像）的显示区域的触摸操作来进行，所述图像（张图像）是基于通过机械快门的静态图像摄影而得到的RAW数据的图像。而且，在检测到对于显示有张图像的显示区域的触摸操作时，微型计算机121判定所触摸的张图像（显示区域）的尺寸是否较小（步骤S607）。

在判定为张图像的尺寸较小时，微型计算机121执行步骤S613的处理，而不进行后述的删除处理（步骤S609、步骤S611）。在张图像的尺寸较小的情况下，例如为了进行摄影指示而想触摸实时取景图像却错误地触摸了张图像等，容易触摸到与想触摸的显示区域不同的显示区域。因此，为了防止意料之外的删除处理的产生，设置这种判定处理。

另外，张图像的尺寸是否较小可以根据显示区域的数量或组合图像的风格进行判定。即，例如可以预先进行设定，使得在设定了与分割数（显示区域的数量）较多的图14（g）的布局对应的风格的情况下，判定为张图像的尺寸较小，在设定了与除此以外的布局对应的风格的情况下，判定为张图像的尺寸较大。

此外，张图像的尺寸是否较小可以由微型计算机121根据所触摸的显示区域的面积是否小于预定面积来进行判定。该情况下，与根据显示区域的数量或组合图像的风格进行判定的情况不同，考虑显示面板135的尺寸。因此，比较合适的是仅在张图像的尺寸是可能发生意料之外的删除处理的尺寸的情况下能够避免删除处理。

在判定为张图像的尺寸较大时，微型计算机121进行后撤保存在所触摸的显示区域中所显示的张图像的图像数据的后撤保存处理（步骤S609）。具体而言，如图19所示，在SDRAM127中确保了由张图像区域和张图像后撤保存区域构成的显示/存储用组合图像存储区域的情况下，如图20（a）和图20（b）所示，例如微型计算机121进行将显示在所触摸的显示区域中的张图像的图像数据从SDRAM127的张图像区域复制到张图像后撤保存区域，并删除存储在张图像区域中的复制源的图像数据的处理。或者，如图21（a）和图21（b）所示，如果是使用参考指针来管理张图像的图像数据的情况，则微型计算机121可以替代删除图像数据自身而删除基于指向图像数据的地址的参考指针的参考。

之后，如图22例示那样，微型计算机121进行实时取景显示变更处理，即切换应显示实时取景图像的显示区域并将在所触摸的显示区域中所显示的图像变更为实时取景图像的处理（步骤S611）。

步骤S613的是否进行了复原操作的判定根据操作部123是否检测到预定的操作（例如，对于显示有实时取景图像的显示区域的双击操作或选择显示有实时取景图像的显示区域而进行的删除按钮的按下操作等）来进行。在检测到复原操作时，微型计算机121进行使利用删除操作（步骤S609、步骤S611）删除的张图像的图像数据复原的图像复原处理（步骤S615）。具体而言，如图20（b）和图20（c）所示，例如微型计算机121进行将在SDRAM127的后撤保存区域中所后撤保存的张图像的图像数据复制到原来的张图像区域，并删除张图像后撤保存区域的图像数据的处理。或者，如图21（b）和图21（c）所示，如果是使用参考指针来管理张图像的图像数据的情况，则微型计算机121可以复原基于指向图像数据的地址的参考指针的参考。

之后，微型计算机121进行实时取景显示变更处理，即在显示实时取景图像的显示区域中显示复原后的张图像并在未显示张图像的区域中显示实时取景图像的处理（步骤S617）。

步骤S619的是否进行了临时保存操作的判定根据操作部123是否检测到预定的操作（例如临时保存按钮的按下操作等）来进行。在检测到临时保存操作时，微型计算机121控制存储器I/F129，将存储在SDRAM127的组合图像存储区域中的张图像的图像数据和用于生成组合图像的图像数据的其他数据（例如，与所设定的组合图像的风格相关的数据、以及表示张图像的图像数据与显示区域之间的关系的数据等）记录到记录介质131（步骤S621）。另外，可以替代记录介质131而记录到闪存125。之后，微型计算机121进行删除存储在SDRAM127的组合图像存储区域中的图像数据并对显示面板135的显示状态进行更新的组合图像重置处理（步骤S623）。

步骤S625的是否进行了临时保存读入操作的判定根据操作部123是否检测到预定的操作（例如临时保存读入按钮的按下等）来进行。在检测到临时保存读入操作时，微型计算机121判定是否处于摄影中途（步骤S627）。该判定例如根据在SDRAM127的组合图像存储区域中是否存储有张图像的图像数据来进行判定。

在判定为处于摄影中途时，微型计算机121控制显示驱动器133，使显示面板135显示用于选择是否临时保存在组合图像存储区域中所存储的张图像的图像数据等的显示（步骤S629）。在用户选择了临时保存的情况下，微型计算机121控制存储器I/F129，将在组合图像存储区域中所存储的张图像的图像数据等记录到记录介质131（步骤S631）。另外，也可以替代记录介质131而记录到闪存125。

之后，微型计算机121从记录介质131读入在步骤S621中记录的张图像的图像数据等，并解压缩到SDRAM127的组合图像存储区域（步骤S633）。微型计算机121在显示面板135的显示区域中显示在SDRAM127的组合图像存储区域中所存储的张图像的图像数据，并且在未显示张图像的显示区域中显示实时取景图像（步骤S635）。通过以上步骤，结束图8的组合图像操作处理。

根据如上述那样动作的照相机1，如图18所示，能够通过触摸操作容易地变更显示实时取景图像的显示区域，因此例如图23（a）至图23（c）所示，能够使多个显示区域各自以任意的顺序显示所拍摄的张图像。因此，与图24所示的相对于摄影的顺序来确定显示区域的以往照相机不同，能够生成在用户期望的区域中以期望的顺序显示所拍摄的张图像的组合图像。因此，照相机1能够容易地生成期望的组合图像的图像数据。

另外，图18中，示出了通过对显示面板135的触摸操作变更显示实时取景图像的显示区域的例子，但照相机1也可以通过十字键等的键操作来变更显示实时取景图像的显示区域。此外，例如图15所示，在除显示张图像的显示区域以外的所有显示区域中设定了实时取景图像的情况下，能够通过十字键变更摄影张（即，通过下一次摄影显示张图像的显示区域）。由此，在通过释放按钮指示摄影的情况下，也与通过触摸操作指示摄影的情况同样地，能够生成在用户期望的区域中以期望的顺序显示所拍摄的张图像的组合图像。

此外，如图22所示，照相机1仅通过触摸显示张图像的显示区域，就删除该张图像并变更为实时取景图像。因此，用户能够通过简单的操作容易地重新拍摄不喜欢的张图像，因此能够容易地生成期望的组合图像的图像数据。

另外，在图22中，示出了在为了删除张图像而进行了触摸的显示区域中显示实时取景图像的例子，但照相机1也可以在所触摸的显示区域中显示背景图像。该情况下，用户不变更显示实时取景图像的显示区域便能够删除张图像。

此外，删除张图像的方法不限于图22所示的方法。例如图25所示，照相机1可以通过对各显示区域中所显示的垃圾箱标记的触摸操作来删除张图像。此外，如图26所示，垃圾箱标记可以在显示面板135的端部仅显示一个，该情况下，照相机1可以通过将要删除的张图像拖动到垃圾箱标记的操作来删除张图像。此外，如图27所示，照相机1可以替代对显示面板135的操作，而通过对十字键和垃圾箱按钮的操作，删除用十字键选择的张图像。

接着，参照图9对图2所示的再现处理进一步详细进行说明。

如图9所示，当再现处理开始时，微型计算机121控制存储器I/F129，从记录介质131读出图像数据，并控制显示驱动器133而在显示面板135上对记录介质131中所存储的图像（静态图像和动态图像）的缩略图像进行一览显示（步骤S701），并监视用户进行的图像选择操作（步骤S703）。在检测到图像选择时，判定所选择的图像是否为动态图像（步骤S705）。

在图像是动态图像的情况下，微型计算机121从动态图像文件的头部读入帧数（步骤S707），在计数器i的初始化处理后（步骤S707），对动态图像文件的帧图像依次进行再现，并在显示面板135上进行显示（步骤S709、步骤S711、步骤S713）。

另一方面，在图像是静态图像的情况下，微型计算机121读入所选择的图像的图像数据（步骤S717），并在显示面板135上显示所选择的图像（步骤S719）。之后，在图像再现中监视由用户进行的各种操作（步骤S721、步骤S725、步骤S729、步骤S733）。

在按下放大按钮从而检测到放大操作时（步骤S721），微型计算机121进行对显示面板135上所显示的图像进行放大显示的放大显示处理（步骤S723）。

另外，如图28（a）所示，在所显示的图像是组合图像的情况下，如图28（b）或图28（e）所示，微型计算机121通过增大显示有构成组合图像的特定的张图像的显示区域来放大显示该特定的张图像。如图28（c）和图28（f）所示，微型计算机121可以显示放大到显示面板135整体的特定的张图像，该情况下，可以在放大后的张图像上显示箭头标记等，示出组成组合图像的其他张图像的存在。如图28（d）和图28（g）所示，微型计算机121可以超过显示面板135的大小来放大张图像，该情况下，可以与张图像一起显示在显示面板135上所显示的张图像在组合图像中所占的范围。此外，可以替代放大显示特定的张图像，而如图29（a）和图29（b）所示，微型计算机121放大显示构成组合图像的所有张图像。

在放大显示中检测到使用了十字键等的变更显示位置的操作时（步骤S725），微型计算机121进行放大位置变更处理（步骤S727）。

例如，如果是显示不是组合图像的通常图像的情况，则微型计算机121对图像中的放大显示的部分进行变更。此外，如果是图28（d）和图28（g）所示的构成组合图像的特定的张图像被放大显示得超过显示面板135的大小的情况，则微型计算机121对该特定的张图像中的放大显示的部分进行变更。

在对组合图像进行放大显示过程中检测到使用了Fn按钮等预定按钮的变更应显示的张图像的操作时（步骤S729），微型计算机121进行切换要放大显示的张图像的显示张变更处理（步骤S731）。另外，在切换张图像之前对当前显示中的张图像的放大显示状态进行存储。由此，照相机1在再次显示当前显示的张图像时，能够以相同的放大显示状态、即张图像中的被放大显示的部分相同的状态对张图像进行放大显示。之后，微型计算机121反复进行上述各种操作的监视，直至指示了静态图像的显示结束（步骤S733）。

在指示了静态图像的显示结束时，微型计算机121判定是否结束再现处理（步骤S715）。此处，例如微型计算机121检测照相机1的动作模式从再现模式向摄影模式的变更来进行判定。在未检测到动作模式的变更的情况下，微型计算机121再次执行步骤S701，对缩略图像进行一览显示。另一方面，在检测到了动作模式向摄影模式的变更的情况下，微型计算机121结束再现处理。

另外，在图28和图29中，说明了再现处理中的放大显示，但放大显示也可以在摄影中或记录浏览显示中进行。例如图30所示，在组合图像模式下检测到用户进行的放大操作的情况下，照相机1可以放大实时取景图像。能够通过这样放大显示实时取景图像，向用户提供容易集中精力于拍摄的环境。

此外，在图9中设为了仅能对静态图像进行放大显示等，但照相机1同样可以对动态图像进行放大显示、放大位置变更、显示张变更等。

如以上所说明那样，在本实施例的照相机1中，在通过触摸显示有实时取景图像的显示区域等而使操作部123受理了摄影指示时，取得张图像，自动切换显示实时取景图像的显示区域。此外，在通过触摸显示有张图像的显示区域等而使操作部123受理了删除指示时，删除张图像，显示实时取景图像以重新进行摄影。此外，在本实施例的照相机1中，在生成组合图像的图像数据时，构成组合图像的各个张图像根据与其他张图像的比较结果而被校正，从而能够得到良好的组合图像。因此，根据本实施例的照相机1，能够以简单的操作容易地生成期望的组合图像的图像数据。此外，在本实施例的照相机1中，能够以简单的操作容易地生成期望的组合图像的图像数据，因此能够使用户维持生成组合图像的较强动机。

【实施例2】

图31是示出本实施例的照相机的处理整体的流程图。图32是示出本实施例的照相机的简易实时取景处理的流程图。图33是用于说明本实施例的照相机的摄影操作的图。图34是示出本实施例的照相机的各部中的处理的时序图。

以下，参照图31至图34，关于在本实施例的照相机中进行的处理，以与在实施例1的照相机1中进行的处理的不同点为中心进行说明。另外，本实施例的照相机具有与图1例示的实施例1的照相机1相同的物理结构。

在图31所示的照相机的处理中，检测到第2释放操作（例如全按下释放按钮）时的处理与图2所示的实施例1的照相机1的处理不同。

在图33（a）所示的显示实时取景图像的状态下，检测到第2释放开关从断开到接通的转变、或者检测到表示触摸了显示有释放按钮的区域或显示有实时取景图像的显示区域的信号时，微型计算机121进行利用机械快门的静态图像摄影（S29）。

之后，微型计算机121读出通过静态图像摄影临时存储在SDRAM127中的RAW数据，并使基本图像处理部109a执行图4所示的基本图像处理（步骤S200）。当基本图像处理完成时，微型计算机121判定摄影模式是否为组合图像模式（步骤S45）。此处，根据存储在SDRAM127中的摄影模式的设定进行判定。

在摄影模式不是组合图像模式的情况下、即是通常的摄影模式的情况下，微型计算机121跳过步骤S47，使图像处理部109执行简易实时取景处理（步骤S800a）。另一方面，在摄影模式是组合图像模式的情况下，微型计算机121在实时取景显示变更处理（步骤S47）后，使图像处理部109执行简易实时取景处理（步骤S800a）。另外，在实时取景显示变更处理中，微型计算机121将在显示有实时取景图像的显示区域上所显示的图像变更为在步骤S29中拍摄并在步骤S200中进行了基本图像处理后的图像，并且切换应显示实时取景图像的显示区域。

图32所示的简易实时取景处理对图31的步骤S35到步骤S39的处理（步骤S35、步骤S37、步骤S100、步骤S39）进行了简化。具体而言，首先，微型计算机121执行用于实时取景图像的AE动作（步骤S801），在AE动作后，进行利用电子快门的摄影（步骤S803）。

之后，微型计算机121在将简易处理设定变更为打开（步骤S805）后，读出通过电子快门摄影临时存储在SDRAM127中的RAW数据，并使图像处理部109执行图3所示的图像处理（步骤S100）。

图像处理部109由于简易处理设定打开，因此在图像处理中，进行图4所示的基本图像处理，而实质上跳过图5所示的特殊图像处理。此外，在图6所示的组合图像处理中，仅进行合成处理（步骤S413）。即，生成仅进行了基本图像处理的实时取景图像。

在图像处理结束后，微型计算机121将简易图像处理设定恢复到关闭，之后，显示仅进行了基本图像处理的实时取景图像（步骤S809），并结束简易实时取景处理。

由此，在本实施例的照相机中，如图33（b）所示，在第2释放操作后，显示仅进行了基本图像处理的张图像（图31的步骤S47），进而显示仅进行了基本图像处理的实时取景图像（图32的步骤S809）。

之后，判定是否设定了艺术过滤器（步骤S49），在设定了艺术过滤器的情况下，微型计算机121使特殊图像处理部109b对在步骤S29中拍摄并在步骤S200中进行了基本图像处理的张图像的图像数据执行图5所示的特殊图像处理（步骤S300）。由此，如图33（c）所示，将张图像的显示更新为进行了特殊图像处理后的张图像。

在特殊图像处理后，微型计算机121为了更新实时取景显示，再次使图像处理部109执行简易实时取景处理（步骤S800b）。接着，组合图像处理部109c判定摄影模式是否为组合图像模式，在组合图像模式的情况下，使组合图像处理部109c对张图像的图像数据执行图6所示的组合图像生成处理（步骤S400）。

最后，微型计算机121执行图7所示的静态图像记录处理，将组合图像的图像数据记录到记录介质131中（步骤S500）。之后，反复进行图31的处理直至电源断开。并且，在再次执行的步骤S27中没有检测到第2释放操作，通过执行步骤S35至步骤S39的处理，如图33（d）所示，将实时取景图像更新为进行了特殊图像处理后的图像。

在用时序图示出以上的处理时，如图34所示。在本实施例的照相机中，图像处理部109隔开时间上的间隔分别执行在利用机械快门摄影的静态图像的摄影指示后进行的对于静态图像的图像数据的3个图像处理（基本图像处理、特殊图像处理、组合图像处理），并在这些处理之间执行针对实时取景图像的图像数据的图像处理。

一般而言，利用机械快门摄影的静态图像（张图像）的像素数比动态图像（实时取景图像）的像素数多，因此针对静态图像的图像数据的图像处理比针对动态图像的图像数据的图像处理长。因此，在定期进行的实时取景图像的摄影之间拍摄静态图像时，在静态图像的摄影指示后、更新实时取景图像之前花费较长时间。这种实时取景图像的更新延迟在如组合图像的摄影那样一边观察实时取景图像一边指示多个静态图像（张图像）的摄影的情况下，可能会显著降低照相机的操作性。

但是，在本实施例的照相机中，如上述那样在静态图像的图像处理之间进行针对实时取景图像的图像处理，从而更新实时取景图像。具体而言，如图34的时序图所示，在静态图像的摄影指示后（时刻T5），进行2次对基于电子快门摄影的静态图像进行简易处理（仅基本图像处理）后的实时取景图像的显示（时刻T11、时刻T14），之后，显示通过通常的图像处理（基本图像处理和特殊图像处理）生成的实时取景图像（时刻T17）。

因此，根据本实施例的照相机，能够缩短从摄影指示起到切换实时取景图像的显示区域来显示实时取景图像为止的时间，因此即使在通过像素数较大的静态图像构成组合图像的情况下，也能够在不延迟实时取景图像的显示的情况下，实现组合图像的摄影中的高操作性。

另外，在图31和图32的流程图中，具体记载了针对静态图像的图像处理和针对实时取景图像的图像处理的执行顺序，但这些图像处理的顺序不特别限于该顺序。只要实时取景图像的显示不延迟，可以用其他顺序进行图像处理。另外，以上，作为摄像装置例示了数字照相机来进行了说明，但上述技术不限于照相机专用设备，还可以适用于带照相机的移动电话（智能手机）、平板型设备以及其他便携式设备。此外，上述实施例为了容易理解发明而示出了本发明的具体例子，但本发明不限于这些实施例。本发明的摄像装置能够在不脱离权利要求所规定的本发明的思想范围内进行各种变形、变更。

Claims (7)

1.一种摄影装置，其特征在于，具有：

显示部，其具有多个显示区域；

第1受理部，其受理摄影指示；

第2受理部，其受理指定所述显示部的显示区域的删除指示；

摄像部，其拍摄被摄体来取得图像；

显示控制部，其对所述显示部进行如下控制：在所述第1受理部受理了摄影指示时，将在所述多个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为由所述摄像部根据所述摄影指示而取得的图像，并且在所述第2受理部受理了删除指示时，将在通过所述删除指示所指定的显示区域上所显示的图像变更为预定的图像，所述删除指示指定了显示有由所述摄像部根据所述摄影指示而取得的图像的显示区域；

图像处理部，其将在所述多个显示区域上所显示的多个图像的图像数据进行合成，生成组合图像的图像数据，所述组合图像布局成在所述显示部上显示所述多个图像；

存储部，其存储通过所述删除指示删除的图像的图像数据；以及

第3受理部，其受理指定所述显示部的显示区域的复原指示，

所述显示控制部对所述显示部进行如下控制：在所述第3受理部受理了复原指示时，读入在所述存储部中所存储的图像数据，并将在通过所述复原指示指定的显示区域上所显示的图像变更为从所述存储部读入的图像数据的图像。

2.根据权利要求1所述的摄影装置，其特征在于，

所述预定的图像是实时取景图像。

3.根据权利要求2所述的摄影装置，其特征在于，

所述显示控制部在所述第1受理部受理了摄影指示时，对所述显示部进行如下控制：将在所述多个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为由所述摄像部根据所述摄影指示而取得的图像，并且在所显示的图像不是由所述摄像部根据摄影指示而取得的图像的显示区域或未显示图像的显示区域中的1个显示区域上显示实时取景图像。

4.根据权利要求1～3中的任意一项所述的摄影装置，其特征在于，

所述第2受理部具有：

选择按钮，其指定所述显示部的显示区域；以及

删除按钮，其确定所述选择按钮对显示区域的指定，

所述删除指示是通过所述选择按钮和删除按钮的操作而生成的信号。

5.根据权利要求1～3中的任意一项所述的摄影装置，其特征在于，

所述第2受理部具有与所述显示部重叠配置的触摸面板传感器，

所述删除指示是通过对所述显示部的显示区域的操作而生成的信号。

6.根据权利要求1～3中的任意一项所述的摄影装置，其特征在于，

所述第2受理部具有与所述显示部重叠配置的触摸面板传感器，

所述删除指示是通过将所述显示部的显示区域拖动到特定区域的操作而生成的信号。

7.一种图像处理方法，其特征在于，具有以下步骤：

在显示部的至少1个显示区域上显示实时取景图像；

受理摄影指示；

根据所述摄影指示取得被摄体的图像；

将在所述至少1个显示区域中的1个显示区域上所显示的图像从实时取景图像变更为根据所述摄影指示而取得的图像；

受理删除指示，该删除指示指定了显示有根据所述摄影指示而取得的图像的显示区域；将在通过所述删除指示指定的显示区域上所显示的图像变更为预定的图像；

将在所述显示部的多个显示区域上所显示的多个图像的图像数据进行合成，生成组合图像的图像数据，该组合图像布局成在所述显示部上显示所述多个图像；

存储通过所述删除指示删除的图像的图像数据；

受理指定所述显示部的显示区域的复原指示；以及

在受理了所述复原指示时，读入所述存储的图像数据，并将在通过所述复原指示指定的显示区域上所显示的图像变更为所述读入的图像数据的图像。