CN103916587B - 用于生成合成图像的拍摄装置以及使用所述装置的方法 - Google Patents

Abstract

一种用于生成合成图像的拍摄装置以及使用所述装置的方法，所述拍摄装置包括：拍摄单元；图像处理器，从由拍摄单元获得的第一拍摄图像分离对象；显示器，显示通过将分离的对象叠加在背景的实时取景上获得的背景实时取景；控制器，当输入了用于拍摄背景的命令时，获得与背景的实时取景相应的第二拍摄图像，并基于分离的对象和第二拍摄图像产生合成图像。

Description

用于生成合成图像的拍摄装置以及使用所述装置的方法

本申请要求于2012年12月28日提交到韩国知识产权局的第10-2012-0157065号韩国专利申请的优先权，其公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及用于生成合成图像的拍摄装置和方法，更具体地讲，涉及能够基于从拍摄图像分离的对象和背景的实时取景生成合成图像的拍摄装置，以及用于使用所述拍摄装置生成合成图像的方法。

背景技术

由于电子技术的发展，已开发并发布了各种便携式装置。最近的便携式装置设置有显示装置和拍摄装置，从而支持拍摄功能。支持拍摄功能的拍摄装置使用通过镜头的光在显示装置上显示实时取景。因此，用户可在观看实时取景的同时捕捉照片。

由于拍摄变得常见，可在不同的位置捕捉照片，并且可以以各种方式使用捕捉的照片。例如，用户将捕捉的照片上传到他们的博客、互联网论坛或社交网络服务(SNS)，并与他人共享捕捉的照片。

同时，用户可希望捕捉他或她在著名的地方或建筑物的照片。在这种情况下，当没有人帮助拍摄用户的照片时，用户需要通过使用自拍模式或定时器来拍摄照片。

然而，为了使用定时器，用户需要把拍摄装置放在地面或地板上，调整拍摄角度或方向，并将拍摄装置固定在特定位置。此外，当在自拍模式下拍摄用户的照片时，由于用户的手臂长度的限制，用户的脸部会主要占据照片。因此，难以识别照片的背景。

因此，需要用于在自拍模式下拍摄用户和背景的照片，并同时保持它们之间的良好比例的技术。

发明内容

本公开的示例性实施例克服上述缺点以及上面未描述的其他缺点。另外，本公开不需要克服上述缺点，并且本公开的示例性实施例可不克服上述任何问题。

示例性实施例的一方面涉及能够生成合成图像的拍摄装置以及用于使用所述装置生成合成图像的方法，其中，所述拍摄装置能够通过从捕捉的图像分离对象并将分离的对象叠加在实时取景上来生产合成图像。

根据示例性实施例，一种拍摄装置包括：拍摄单元；图像处理器，从由拍摄单元获得的第一拍摄图像分离对象；显示器，显示通过将分离的对象叠加在背景的实时取景上获得的背景实时取景；控制器，当输入了用于拍摄背景的命令时，获得与背景的实时取景相应的第二拍摄图像，并基于分离的对象和第二拍摄图像产生合成图像。

当选择了合成拍摄模式时，控制器可控制显示器显示对象的实时取景，并通过监视对象的实时取景的各个帧来搜索并跟踪对象，并且当输入了用于拍摄对象的命令时，控制器可产生与对象的实时取景相应的第一拍摄图像，并控制图像处理器从第一拍摄图像分离跟踪的对象。

拍摄单元可包括：第一拍摄单元，以第一拍摄方向捕捉照片；第二拍摄单元，以与第一拍摄方向相反的第二拍摄方向捕捉照片。

当进入了合成拍摄模式时，控制器可启动第一拍摄单元来将对象的实时取景提供给显示器，当由第一拍摄单元获得了第一拍摄图像时，控制器可启动第二拍摄单元来提供背景的实时取景，其中，在所述背景的实时取景上分离的对象被叠加并被提供给显示器。

拍摄装置可还包括：存储单元，存储先前学习的对象模型，其中，基于对象的多个图像获得的所述对象模型用于确定对象位于的对象区域，其中，控制器确定对象位于第一拍摄图像上的由对象模型确定的对象区域中。

显示器可显示第一拍摄图像，当执行对第一拍摄图像的用户的操纵时，控制器可根据用户的操纵改变对象区域的大小和形状中的至少一个。

控制器可控制图像处理器恢复从第一拍摄图像分离的对象的形状，并将具有恢复的形状的对象叠加并显示在背景的实时取景上。

控制器可控制图像处理器根据用户的选择来调整背景实时取景上的对象的显示位置、大小、颜色和亮度中的至少一个。

控制器可基于背景的实时取景调整分离的对象的显示位置、大小、颜色和亮度中的至少一个。

根据另一示例性实施例，一种用于生成合成图像的方法包括：获得第一拍摄图像并从第一拍摄图像分离对象；显示通过将对象叠加在背景的实时取景上获得的背景实时取景；当输入了用于拍摄背景的命令时，获得与背景的实时取景相应的第二拍摄图像；基于分离的对象和第二拍摄图像产生合成图像。

分离对象的步骤可包括：当选择了合成拍摄模式时，显示对象的实时取景；通过监视对象的实时取景的各个帧来搜索并跟踪对象，当输入了用于拍摄对象的命令时，产生与对象的实时取景相应的第一拍摄图像；从第一拍摄图像分离跟踪的对象。

搜索并跟踪对象的步骤可包括：基于对象的多个图像获得对象模型，来确定对象位于的对象区域；确定对象位于第一拍摄图像上的由对象模型确定的对象区域中。

分离对象的步骤可包括：显示第一拍摄图像；当执行对第一拍摄图像的用户的操纵时，根据用户的操纵改变对象区域的大小和形状中的至少一个。

所述方法可还包括：恢复从第一拍摄图像分离的对象的形状。

所述方法可还包括：根据用户的选择来调整背景实时取景上的分离的对象的显示位置、大小、颜色和亮度中的至少一个。

所述方法可还包括：基于背景的实时取景调整分离的对象的显示位置、大小、颜色和亮度中的至少一个。

附图说明

通过参照附图描述本公开的特定示例性实施例，本公开的上述和/或其他方面将更加清楚，其中：

图1是示出根据本公开的示例性实施例的拍摄设备的配置的框图；

图2示出根据本公开的示例性实施例的用于生成合成图像的方法；

图3和图4示出用于显示实时取景上的对象的各种方法；

图5示出从捕捉的图像分离对象的方法；

图6示出用于根据用户的操纵调整对象区域的方法；

图7示出用于从捕捉的图像分离对象并恢复对象的形状的方法；

图8示出根据本公开的示例性实施例的拍摄装置的配置的框图；

图9示出用于生成合成图像的方法的示例；

图10示出用于生成合成图像的方法的详细示例；

图11是示出根据本公开的示例性实施例的用于生成合成图像的方法的流程图；

图12是示出根据本公开的示例性实施例的用于分离对象的方法的流程图。

具体实施方式

现在将参照附图更详细地描述本公开的特定示例性实施例。

在下面的描述中，即使在不同的附图中，相同的附图标号用于相同的元件。提供描述中被限定的内容(诸如详细的结构和元件)以帮助对本发明的全面的理解。然而，应理解在没有那些明确限定的内容的情况下能够实现本公开的示例性实施例能。并且，因为公知的功能或结构会在不必要的细节上模糊本发明，所以不对其进行详细描述。

图1是示出根据本公开的示例性实施例的拍摄设备的配置的框图。拍摄装置100可被实现为多种类型的装置，诸如数字相机、摄像机、移动电话、平板计算机、膝上型计算机、个人数字助理(PDA)、MP3播放器等。

如图1所示，拍摄装置100可包括拍摄单元110、图像处理器120、显示器130以及控制器140。

拍摄单元110执行拍摄操作。拍摄单元110可包括镜头和图像传感器。用于拍摄单元110的镜头的类型可以是通用镜头、广角镜头、变焦镜头等。镜头的类型可根据拍摄装置100和用户环境的类型和特征来决定。图像传感器可以是互补型金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等。

图像处理器120处理由拍摄单元110感测的图像。更具体地，图像处理器120从拍摄单元110获得的图像分离作为拍摄操作的特定主体的对象。

可使用各种算法来执行对象的分离。

在示例性实施例中，控制器140以像素或包含多个像素的像素块为单位对例如由拍摄单元110捕捉的拍摄图像或显示在显示单元130上的实时取景进行划分。控制器140比较各个像素的像素值或各个像素块的典型像素值，并检测这样的像素区域：该像素区域的像素值或典型像素值之间的差值大于预定阈值。控制器140确定检测到的像素区域位于边缘并基于确定的边缘确定对象区域。

控制器140确定满足预设条件的对象区域是用于合成的对象。控制器140控制图像处理器120以从拍摄图像分离满足预设条件的对象区域。在示例性实施例中，当合成人的面部时，控制器140确定具有与面部肤色相应的像素值的对象区域是用于合成的主体。

在另一示例中，控制器140可使用先前学习的对象模型来确定对象区域。对象模型是这样的模型：该模型对通过多次拍摄对象获得的多个图像进行分析或对对象的多个实时取景图像进行分析并根据对象位于的区域的统计来限定对象区域。可通过重复学习来连续更新对象模型。控制器140可将对象模型应用于拍摄图像并确定对象位于与对象模型相应的区域。更具体地，可基于限定与对象模型相应的区域的边缘来指定对象区域。控制器140控制图像处理器120以分离由对象模型确定的对象区域。

显示器130显示由拍摄单元110获得的实时取景。实时取景是提供以通过显示器130而不是取景器来识别主体的图像。更具体地，进入拍摄单元110的镜头的光入射到图像传感器，图像传感器将与入射光相应的电信号输出到显示器130。因此，将被拍摄的主体的图像被显示在实时取景区域。可以以各种方式提供实时取景，诸如，对比自动对焦(AF)实时取景方法、相位差AF实时取景方法、使用用于处理实时取景的单独图像传感器的方法。当图像处理器120分离对象时，分离的对象被叠加在实时取景上并被显示，这将在后面描述。

控制器140控制拍摄装置100的整体操作。更具体地，当拍摄命令被输入时，则控制器140控制拍摄单元110捕捉照片。因此，当与背景相应的图像被拍摄时，控制器140通过将对象应用于拍摄图像来产生合成图像。控制器140控制图像传感器120对对象执行各种图像处理，使得与对象11合成的拍摄图像可显得自然。

更具体地，图像处理器120可执行色调映射，以减少对象11和背景图像之间的亮度差，并调整颜色分布。此外，图像处理器120可执行图像抠图以除去对象和背景图像之间的显著边界。作为结果，可产生更自然的合成图像。

当拍摄装置100在合成拍摄模式下操作时，可执行如上所述产生合成图像的操作。也就是说，拍摄装置100可根据用户的选择在各种拍摄模式(诸如，一般拍摄模式、自拍模式、合成拍摄模式、专用拍摄模式等)下操作。

图2是用于生成合成图像的方法。参照图2，当选择了合成拍摄模式时，控制器140启动拍摄单元110来显示实时取景。这里，当输入了拍摄命令时，包括对象11的拍摄图像10被获得。图像处理器120从拍摄图像10分离对象11。

当获得了拍摄图像10时，控制器140再次启动拍摄单元110来在显示器130上显示实时取景20。显示器130将对象11叠加在实时取景20上，并将叠加在实时取景20上的对象11显示在屏幕上。实时取景20可根据拍摄装置100的拍摄方向而实时改变，但是相同对象11被显示在实时取景20上。因此，在用户观看屏幕上的背景图像和对象11时，用户在考虑将对象11和背景图像进行合成时可在期望的拍摄角度和拍摄时间输入拍摄命令。当输入了拍摄命令时，控制器140控制拍摄单元110获得图像，并将拍摄图像和对象11合成为单个图像。为了说明的目的，首先拍摄的图像被称为第一拍摄图像或对象图像，随后拍摄的图像被称为第二拍摄图像或背景图像。此外，显示有叠加在其上的对象11的实时取景20被称为背景实时取景。

图3示出根据本公开的另一示例性实施例的合成方法。参照图3，拍摄装置100可改变背景实时取景上的对象的显示属性(诸如，显示位置、大小、颜色和亮度)中的至少一个。

例如，当从第一拍摄图像分离对象11时，如图3(A)所示，对象11被叠加并显示在背景实时取景20上。这里，当用户触摸对象11并将对象11拖动到另一位置时，控制器140分析触摸点的坐标值并使用设置在显示器130中的触摸传感器感测的值来确定拖动的轨迹和方向。控制器140控制图像处理器120根据拖动的轨迹和方向来改变对象11的显示位置。因此，如图3(B)所示，对象11移动到背景实时取景20上的另一位置并被显示。

此外，用户可执行操纵，诸如，扩大(pinch-in)和缩小(pinch-out)。当由例如手指触摸显示对象11的区域中的两个或更多个点，并且通过分开手指来增加触点之间的距离时，控制器140确定执行扩大对象11的大小的扩大操纵。相反，当通过靠近手指来减少触点之间的距离时，控制器140确定执行用于缩小对象11的大小的缩小操作。控制器140控制图像处理器120根据确定结果扩大或缩小对象11的大小。图3(C)示出对象11的大小被缩小。

在图3(B)和图3(C)中，根据用户的操纵改变对象的显示位置和大小。然而，对象的显示性质可根据背景实时取景的特征被自动调整。也就是说，控制器140可对背景实时取景20进行分析，并控制图像处理器120移动对象11以使得对象11和背景实时取景20中的其他对象彼此不重叠，或调整对象11的大小以使得对象11和背景实时取景20中的其他对象彼此不重叠。

在图3中，描述改变对象11的显示位置和大小的示例性实施例。在可选择的实施例中，可基于背景实时取景的特征调整对象11的诸如亮度和颜色的性质。

图4示出调整分离的对象11的亮度以与背景实时取景20的诸如亮度或颜色的属性相应。控制器140对背景实时取景20的诸如亮度或颜色的属性进行分析，并控制图像处理器120调整与背景实时取景20的分析的属性相应的对象11的亮度或颜色。图4示出对象11的亮度根据背景实时取景20的亮度而增加。

在本公开的另一示例性实施例中，拍摄装置100可基于实时取景跟踪并分离对象。

图5示出根据本公开的另一示例性实施例的用于从图像分离对象的方法。

在合成拍摄模式下，控制器140启动拍摄单元110来显示实时取景30。实时取景30显示作为将被拍摄的主体的对象11。

控制器140通过监视实时取景30的各个帧来搜索对象11。在示例性实施例中，控制器140可以以帧为单位提取实时取景30，并对提取的帧进行分析以检测边缘。控制器140在由边缘限定的像素区域之中确定包括具有相似像素值并彼此邻近的像素区域与对象11相应。

在这种情况下，当确定的像素区域的大小小于阈值时，会难以将像素区域确定为对象11。例如，当如图5(A)中所示显示用户的头部的背面时，或当如图5(B)中所示以侧面显示用户的面部时，与用户的面部相应的像素区域相对小并因此难以确定用户的面部区域。因此，控制器140连续地监视实时取景30直到面部区域被确定为止。

当如图5(C)中所示用户面部朝向拍摄单元时，面部区域的大小可能大于阈值。因此，面部区域和连接到面部区域的身体区域被确定为对象11。一旦确定了对象11，即使当对象11的大小减小或对象11移动时，控制器140也可连续地跟踪对象11。因此，当如图5(D)和图5(E)中所示用户移动并改变用户的面部的位置时，对象11可仍被正确地确定。这里，当执行拍摄时，如图5(F)中所示，拍摄图像10被获得。随后，对象被从拍摄照片10分离。

如上所述，当用户首先捕捉他或她自己的照片时，执行用于从捕捉的图像分离用户的图像的自动分割。在图5中，对象11被自动地分离，然而，为了提高自动分割的精度，用户可额外调整将被分离的对象区域，这将在下面描述。

图6示出根据本公开的示例性实施例的用于在拍摄装置中调整对象区域的方法。当第一拍摄图像10被获得时，控制器140在显示器130的屏幕上显示第一拍摄图像10。这里，可在屏幕上一起示出用于表示对象的边界的指导图像61。控制器140执行用于自动地指定对象区域的自动分割，确定对象区域的边界，并以虚线或实线在边界处呈现指导图像61。

这里，用户可对屏幕执行各种操纵，诸如，触摸、拖动、轻弹、涂写和拖拉。在这种情况下，线条图像62可根据用户的操纵的轨迹被显示在屏幕上。因此，对象区域的大小和形状(即，确定为对象的区域)可根据屏幕上用户的操纵的方向或程度来改变。因此，可通过调整对象区域来精确地确定对象。

此外，拍摄图像的合成可根据主体到拍摄装置的距离和主体的大小来变化。例如，当用户捕捉他或她自己的照片时，由于用户的手臂长度的限制，拍摄图像可能不显示用户的整个身体而仅显示他的面部和他上身的一部分。在这种情况下，当对象被分离时，用户上身的另一部分和下身可能未包括在对象中。作为结果，当对象与背景图像合成时，合成图像可能看起来不自然。因此，在将对象和背景图像进行合成之前，可期望恢复分离的对象的形状。

图7示出根据本公开的另一示例性实施例的用于使用拍摄装置恢复对象的方法。参照图7，在对象11中，可使用面部区域和身体区域的宽度来确定恢复区域的宽度。例如，如图7中所示，当面部区域的宽度的一半被表示为Wf，身体区域的宽度的一半被表示为Ws时，可使用对数函数确定恢复区域的大小。

更具体地，控制器140可使用下面的表达式确定恢复区域。

[表达式1]

由表达式1计算出的值可用于确定恢复区域的宽度。在表达式1中，x表示横轴上的坐标值。也就是说，对x-y坐标***执行建模，其中，在所述x-y坐标***中，图7(A)中的第一拍摄图像10的上侧的中心点13的坐标是例如(0，0)，x坐标沿着从左到右的方向增加，y坐标沿着向下的方向增加。在这种情况下，可由坐标(x,y)表示形成肩部的形状的部分。在图7中，为了恢复肩部，肩部的形状首先被确定。为了恢复右肩部，控制器140使用表达式1来，通过将x坐标值从作为拍摄图像10的右上角的点14向右增加，直到y坐标值成为最大值(即，第一拍摄图像10在其垂直方向上的高度)来计算y坐标值。为了恢复左肩部，控制器140通过从作为第一拍摄图像10的左上角的点15向左减少x值直到计算y值成为最大值来计算y值。作为结果，当与肩部相应的区域被确定时，图像处理器120从身体区域的边缘线连续地绘制肩部部分12的边界线，并使用确定的像素值提供绘制的边界线的内部区域，从而可恢复肩部区域。可以以使用邻近像素的相同颜色的镜像方法确定恢复区域的像素值。

应注意给出上述表达式1仅用于说明目的，并且本公开不限于此。因此，控制器140可还使用各种数学函数图形恢复肩部。例如，可使用与对数函数相似的其他函数代替对数函数。

因此，如图7(B)和图7(C)所示，图像处理器120可从第一拍摄图像分离对象11，并恢复肩部区域12。图7(C)示出包括恢复的肩部区域12的对象11的形状。

如上所述，拍摄装置100使用拍摄单元110拍摄多个拍摄图像，并产生合成图像。拍摄单元的数量可变化。例如，可通过使用单个拍摄单元多次执行拍摄操作或通过使用两个或更多个拍摄单元顺序地或同时地执行拍摄操作来获得多个拍摄图像。之后，描述根据本公开的示例性实施例的包括多个拍摄单元的拍摄装置的配置和操作。

图8是示出根据本公开的示例性实施例的拍摄装置的配置的框图。参照图8，拍摄装置100可包括拍摄单元110，图像处理器120、显示器130、控制器140和存储单元150。

存储单元150可存储用于拍摄装置100的各种程序和数据。此外，存储单元150可存储由拍摄单元110捕捉的拍摄图像和由图像处理器120产生的合成图像。另外，存储单元150可存储如上所述的对象模型。存储单元150可以是内置于拍摄装置100中的闪存、硬盘驱动器(HDD)等，或可以是被安装到或可连接到拍摄装置的存储卡、通用串行总线(USB)记忆棒、可移动HDD等。

拍摄单元110可包括多个拍摄单元，诸如第一拍摄单元111和第二拍摄单元112。第一拍摄单元111和第二拍摄单元112可以以相反部分被设置在拍摄装置100的主体中。例如，当第一拍摄单元111被设置在拍摄装置100的第一表面上以第一拍摄方向捕捉照片时，第二拍摄单元112被设置在第二表面上以与第一拍摄方向相反的第二拍摄方向捕捉照片。

当进入了合成拍摄模式时，控制器140启动第一拍摄单元111，并在显示器130的屏幕上显示第一拍摄单元111的实时取景。这里，当拍摄命令被输入时，控制器140控制第一拍摄单元111捕捉照片，并获得第一拍摄图像。图像处理器120从第一拍摄图像分离对象的图像。

当由第一拍摄单元111获得了第一拍摄图像时，控制器140启动第二拍摄单元112。因此，由第二拍摄单元112获取的叠加有对象的分离图像的实时取景(即，背景实时取景)被提供给显示器130。

图像处理器120可包括第一缓存器121、对象处理器122、第二缓存器123和添加器124。第一缓存器121对由第一拍摄单元111感测到的图像数据进行缓存，第二缓存器123对第二拍摄单元112感测到的图像数据进行缓存。

对象处理器122从存储在第一缓存器121中的图像数据分离确定为对象的区域的数据。分离的数据被发送到添加器124。

添加器124将对象处理器122分离的对象叠加在由第二缓存器123缓存的图像上，并将叠加的图像输出到显示器130。

显示器130可选择性地显示从第一缓存器121、第二缓存器123和添加器124输出的图像数据。

在叠加对象和背景的实时取景(即，背景实时取景)被显示的情况下，当输入了拍摄命令时，控制器140控制第二拍摄单元112捕捉照片，并获得第二拍摄图像。随后，控制器140将第一拍摄图像和第二拍摄图像进行合成，并将合成图像存储在存储单元150中。虽然在这个示例性实施例中描述了拍摄单元110包括两个拍摄单元，但应注意拍摄单元的数量可依据特定应用来变化。在可选择的实施例中，拍摄单元110可包括能够被旋转从而以不同拍摄方向拍摄图像的一个拍摄单元。例如，拍摄单元110可以以第一拍摄方向捕捉第一拍摄图像，并可被旋转预定角度来以第二拍摄方向捕捉第二拍摄图像。

另外，在这个示例性实施例中，描述了显示器130显示从图像处理器120提供的图像数据。然而，应注意显示器130还可显示直接从拍摄单元110接收的图像数据。

图9示出用于生成合成图像的方法的示例。参照图9，显示器130被设置在拍摄装置100的表面上。第一拍摄单元111被设置在设置显示器130的相同的表面上，第二拍摄单元112被设置在与显示器130相反的表面上。

当执行合成拍摄时，可如上所述顺序地启动第一拍摄单元111和第二拍摄单元112。然而，图9示出同时启动第一拍摄单元111和第二拍摄单元112的示例性实施例。在这种情况下，显示器130一起显示第一拍摄单元111的实时取景910和第二拍摄单元112的实时取景920。因此，在同时观看两个实时取景910和920时，用户可捕捉照片。

例如，当用户输入拍摄命令时，控制器140控制第一拍摄单元111来拍摄照片。图像处理器120从拍摄图像分离对象911。屏幕被切换到分离的对象911被一起显示在屏幕上的实时取景930。这里，当用户再次输入拍摄命令时，包括实时取景930上的对象911的合成图像被产生。

在另一示例中，用户可首先选择并拍摄背景图像。也就是说，在显示两个实时取景910和920的状态下，当用户触摸第二实时取景920时，背景图像被拍摄。在这种情况下，背景图像可被固定在显示第二实时取景920的屏幕的部分中，并且第一实时取景910可被连续显示。可选择地，背景图像可被显示在整个屏幕上，并且第一实时取景910可以以画中画(PIP)形式来显示或被透明地叠加在背景图像上。

在另一示例中，在显示两个实时取景910和920的状态下，当用户输入拍摄命令时，控制器140同时地控制第一拍摄单元111和第二拍摄单元112来同时拍摄照片。因此，当同时获得背景图像和对象时，对象被叠加并被显示在背景图像上，并且对象的显示位置、大小、形状和其他显示属性可根据用户的选择来变化。

可由具有拍摄功能的各种类型的装置执行这些各种示例性实施例。当拍摄装置100是支持各种应用的装置(诸如，移动电话和平面PC)时，用户可在拍摄照片之前选择拍摄模式。

图10示出选择合成拍摄模式并生成合成图像的处理。参照图10，当拍摄装置100被打开或解锁时，可显示包括用于预设应用或文件夹的图标的图标屏幕1000。在这些图标之中，用户可选择相机图标(未示出)，即，用于相机应用的图标。

当选择了相机图标时，显示器130显示用于选择各种模式的选择屏幕1010。选择屏幕1010显示关于各种模式(诸如，一般拍摄、自拍、合成拍摄和专用拍摄)的信息。

这里，当选择了合成拍摄模式时，第一拍摄单元111被首先启动，使得显示第一拍摄单元111的实时取景1020。在实时取景1020的屏幕上，拍摄菜单1022被显示。当用户选择拍摄菜单1022时，与实时取景1020相应的第一拍摄图像被产生，并且对象1021从第一拍摄图像被分离。随后，第二拍摄单元112被启动，使得对象1021被叠加在第二拍摄单元112的实时取景上并被显示在背景实时取景1030上。拍摄菜单1022可被显示在背景实时取景1030上。

用户可旋转拍摄装置100并选择用户想要的背景。因此，当对象1021位于期望的背景实时取景1030上时，用户可选择拍摄菜单1022，使得拍摄背景图像。

当背景图像被拍摄时，控制器140在屏幕上显示包括对象1021的合成图像1040，并还显示用于询问是否存储合成图像1040的问题消息1050。控制器140根据用户对问题消息1050的响应，可将合成图像1040存储在存储单元150中，或可不存储合成图像1040。当不存储合成图像1040时，控制器140返回显示包括对象1021的背景实时取景1030的操作。

图11是示出根据本公开的示例性实施例的用于生成合成图像的方法的流程图。参照图11，拍摄装置100在操作S1110获得第一拍摄图像，在操作S1120从第一拍摄图像分离对象。

在操作S1130，拍摄装置100显示叠加分离的对象的背景实时取景。可由不同拍摄单元获得或由单个拍摄单元顺序获得对象和背景的实时取景。对象的各种显示属性(诸如，对象的位置、大小、形状、颜色和亮度)可根据用户的操纵或背景的实时取景的显示属性而在背景实时取景上变化。此外，针对对象，形状恢复可被执行并且后续处理(诸如，色调映射和图像抠图)可被执行。

当在操作S1140输入了拍摄命令时，拍摄装置100产生与背景相应的拍摄图像，将对象和拍摄图像进行合成，并在操作S1150产生合成图像。

图12是示出根据本公开的示例性实施例的用于分离对象的方法的流程图。参照图12，当在操作S1210进入了合成拍摄模式时，在操作S1220，实时取景被显示。在操作S1230，拍摄装置100监视实时取景的各个帧并搜索对象。可使用先前学习的对象模型发现对象。例如，拍摄装置100可确定拍摄图像上与对象模型相应的区域对应于对象。当确定并指定了对象时，拍摄装置100在操作S1240连续跟踪对象。

随后，当在S1250输入了用于拍摄对象的照片的命令时，在操作S1260拍摄与实时取景相应的第一拍摄图像，在操作S1270从第一拍摄图像分离对象。分离的对象被叠加在背景实时取景上，使得用户可在拍摄背景之前预测合成图像。

根据本公开的各种示例性实施例，用户的图像可与背景图像自然地合成。例如，由于可在拍摄背景图像之前，在背景实时取景上方便地调整用户的图像的位置、形状和其他显示属性，因此可克服自拍的缺点。

用户可将合成图像存储在拍摄装置100中或将合成图像上传到外部云服务器或网络服务器，从而与他人共享合成图像。

在上述示例性实施例中，对象被从第一拍摄图像分离并被叠加在背景的实时取景上。然而，可不从静止图像分离对象。例如，对象可以是从运动图像数据的每一帧或从对象的实时取景分离的动态对象。

更具体地，在图8中示出的示例性实施例中，第一拍摄单元111提供的第一实时取景可被缓存在第一缓存器121中。对象处理器122可对预设时期内缓存在第一缓存器121中的实时取景执行对象分离操作。因此，根据对由第一拍摄单元111提供的第一实时取景的改变，分离的对象的形状和位置不断变化。这样的动态对象可被叠加在由第二拍摄单元112提供的第二实时取景上。在观看叠加动态对象的第二实时取景时，用户可在适当时间输入拍摄命令。当输入了拍摄命令时，控制器140控制第一拍摄单元111和第二拍摄单元112以执行拍摄，并将从由第一图像拍摄单元111拍摄的第一图像分离的对象添加到由第二拍摄单元112拍摄的图像，从而产生合成图像。

此外，还可能从由存储单元150或外部存储介质提供的运动图像内容分离对象，并将对象叠加在另一拍摄图像上。因此，用户可从先前拍摄的运动图像数据分离期望的对象，并将对象和作为刚拍摄的图像的其他拍摄数据进行合成。由于对象分离方法和合成方法与上述示例性实施例相同，因此将省略对其的描述。

根据本公开的示例性实施例，对象的分离图像被叠加在将提供给用户的背景的实时取景上，使得用户可获得包括对象和背景的合成图像。

因此，用户可容易地拍摄用户的照片，而不需他人的帮助。

上述根据各种示例性实施例的用于生成合成图像的方法和用于分离对象的方法可被编码为软件，并被存储在非临时可读介质中。所述非临时可读介质可被内置在各种类型的拍摄装置中，并支持拍摄装置执行如上所述的方法。

非暂时性计算机可读介质是不临时存储数据(诸如寄存器、高速缓存器和内存)而半永久存储数据的介质，并可由装置读取。更具体地说，上述各种应用或程序可被存储在非暂时性性可读介质(诸如致密盘(CD)、数字视频盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM))中，并在非暂时性可读记录介质中提供。

上述示例性实施例和优点仅是示例性的，将不被解释为限制本发明。本教导可被容易地应用于其它类型的设备。此外，示例性实施例的描述意在说明，而不是限制权利要求的范围，很多替代、修改和改变对于本领域的技术人员来说将是明显的。

Claims (13)

1.一种拍摄装置，包括：

拍摄单元；

图像处理器，从由拍摄单元获得的第一拍摄图像分离对象；

显示器，显示通过将分离的对象叠加在背景的实时取景上获得的背景实时取景；

控制器，当输入了用于拍摄背景的命令时，获得与背景的实时取景相应的第二拍摄图像，并基于分离的对象和第二拍摄图像来获得合成图像，控制图像处理器根据用户的选择来调整背景实时取景上的分离的对象的亮度，

其中，控制器控制图像处理器通过增加对象的恢复区域来恢复分离的对象的形状，并将具有恢复的形状的分离的对象叠加在背景的实时取景上，其中，所述恢复区域不包括在第一拍摄图像中并且不与分离的对象的区域重叠。

2.如权利要求1所述的拍摄装置，其中，当选择了合成拍摄模式时，控制器控制显示器显示对象的实时取景，并通过监视对象的实时取景的各个帧来搜索并跟踪对象，

当输入了用于拍摄对象的命令时，控制器产生与对象的实时取景相应的第一拍摄图像，并控制图像处理器从第一拍摄图像分离跟踪的对象。

3.如权利要求1所述的拍摄装置，其中，拍摄单元包含：

第一拍摄单元，以第一拍摄方向捕捉照片；

第二拍摄单元，以与第一拍摄方向相反的第二拍摄方向捕捉照片，

当进入了合成拍摄模式时，控制器启动第一拍摄单元来将对象的实时取景提供给显示器，当由第一拍摄单元获得了第一拍摄图像时，控制器启动第二拍摄单元来提供背景的实时取景，其中，在所述背景的实时取景上分离的对象被叠加并被提供给显示器。

4.如权利要求1所述的拍摄装置，还包括：

存储单元，存储先前学习的对象模型，其中，基于对象的多个图像获得的所述对象模型用于确定对象位于的对象区域，

其中，控制器确定对象位于第一拍摄图像上的由对象模型确定的对象区域中。

5.如权利要求1所述的拍摄装置，其中，显示器显示第一拍摄图像，

当执行对第一拍摄图像的用户的操纵时，控制器根据用户的操纵改变对象区域的大小和形状中的至少一个。

6.如权利要求1所述的拍摄装置，其中，控制器控制图像处理器根据用户的选择来调整背景实时取景上的分离的对象的显示位置、大小和颜色中的至少一个。

7.如权利要求1所述的拍摄装置，其中，控制器基于背景的实时取景调整分离的对象的显示位置、大小、颜色和亮度中的至少一个。

8.一种用于生成合成图像的方法，所述方法包括：

获得第一拍摄图像并从第一拍摄图像分离对象；

通过增加对象的恢复区域来恢复分离的对象的形状，其中，所述恢复区域不包括在第一拍摄图像中并且不与分离的对象的区域重叠；

显示通过将具有恢复的形状的分离的对象叠加在背景的实时取景上获得的背景实时取景；

当输入了用于拍摄背景的命令时，获得与背景的实时取景相应的第二拍摄图像；

基于分离的对象和第二拍摄图像来获得合成图像；

根据用户的选择来调整背景实时取景上的分离的对象的亮度。

9.如权利要求8所述的方法，其中，分离对象的步骤包括：

当选择了合成拍摄模式时，显示对象的实时取景；

并通过监视对象的实时取景的各个帧来搜索并跟踪对象；

当输入了用于拍摄对象的命令时，产生与对象的实时取景相应的第一拍摄图像；

从第一拍摄图像分离跟踪的对象。

10.如权利要求9所述的方法，其中，搜索并跟踪对象的步骤包括：

基于对象的多个图像获得对象模型，来确定对象位于的对象区域；

确定对象位于第一拍摄图像上的由对象模型确定的对象区域中。

11.如权利要求9所述的方法，其中，分离对象的步骤包括：

显示第一拍摄图像；

当执行对第一拍摄图像的用户的操纵时，根据用户的操纵改变对象区域的大小和形状中的至少一个。

12.如权利要求8所述的方法，还包括：

根据用户的选择来调整背景实时取景上的分离的对象的显示位置、大小和颜色中的至少一个。

13.如权利要求8所述的方法，还包括：

基于背景的实时取景调整分离的对象的显示位置、大小、颜色和亮度中的至少一个。