CN102158644A - 图像合成装置和图像合成方法 - Google Patents

Abstract

一种摄像装置，具备：中央控制部，其指定俯瞰摄像而得到的背景图像中被摄体图像的合成位置；图像合成部，其在背景图像中的被摄体图像的合成位置上对该被摄体图像进行合成来生成被摄体合成图像；以及平滑化处理部，其对被摄体合成图像实施将被摄体图像的合成位置作为基准来控制处理强度的平滑化处理。

Description

图像合成装置和图像合成方法

相关申请的交叉引用

该申请以2009年12月25日提交的在先日本专利申请第2009-294349号为基础并要求其优先权，其全部内容以参考的方式并入本文。

技术领域

本发明涉及对多个图像进行合成的图像合成装置和图像合成方法。

背景技术

目前，已知通过对被摄体图像与背景图像、边框图像进行合成来生成合成图像的技术(例如，日本国特开2004-159158号公报)。

然而，在对多个图像进行合成来生成趣味性高的合成图像的情况下，存在着如下问题：若在被摄体图像的背景侧配置的图像的真实感太过强或者太过弱，就会生成被摄体图像与背景图像的不协调感强的合成图像，有损该合成图像的趣味性。

发明内容

因此，本发明的目的在于提供能够根据图像的合成位置恰当地提高实现合成图像的趣味性的图像合成装置、图像合成方法。

根据本发明的一个方式，提供一种图像合成装置，其具备：获取部，其获取俯瞰摄像而得到的背景图像和要与该背景图像合成的前景图像；指定部，其指定由该获取部获取的上述背景图像中与上述前景图像进行合成的合成位置；合成部，其在上述背景图像中由上述指定部指定的上述合成位置上合成上述前景图像来生成合成图像；以及图像处理部，其对上述合成图像实施将上述合成位置作为基准来控制处理强度的平滑化处理。

附图说明

图1是表示应用了本发明的一个实施方式的摄像装置的概要构成的框图。

图2A以及图2B是用于说明图1的摄像装置的合成图像生成处理所涉及的被摄体图像的直方图的一个例子的图。

图3A以及图3B是用于说明图1的摄像装置的合成图像生成处理所涉及的均衡化过滤器的一个例子的图。

图4是表示图1的摄像装置的被摄体裁剪(clipping)处理所涉及的动作的一个例子的流程图。

图5A～图5C是示意性地表示被摄体裁剪处理所涉及的图像的一个例子的图。

图6是表示图1的摄像装置的背景图像摄像处理所涉及的动作的一个例子的流程图。

图7是表示图1的摄像装置的合成图像生成处理所涉及的动作的一个例子的流程图。

图8是表示合成图像生成处理中的中心算出处理所涉及的动作的一个例子的流程图。

图9是表示合成图像生成处理中的图像合成处理所涉及的动作的一个例子的流程图。

图10A～图10C是示意性地表示合成图像生成处理所涉及的图像的一个例子的图。

具体实施方式

下面，关于本发明，利用附图来说明具体的方式。但是，发明的范围不限于图示的例子。

图1是表示应用了本发明的一个实施方式的摄像装置100的概要构成的框图。

本实施方式的摄像装置100在俯瞰摄像而得到的背景图像P4a(参照图10A)中被摄体图像G(参照图5A)的合成位置上，与该被摄体图像G进行合成来生成被摄体合成图像P5，将被摄体图像G的合成位置作为基准对被摄体合成图像P5实施平滑化处理。

具体地，如图1所示，摄像装置100具备：镜头部1、电子摄像部2、摄像控制部3、图像数据生成部4、图像存储器5、特征量运算部6、块匹配部7、图像处理部8、记录介质9、显示控制部10、显示部11、操作输入部12以及中央控制部13。

另外，摄像控制部3、特征量运算部6、块匹配部7、图像处理部8、中央控制部13被设计成例如特制的LSI 1A。

镜头部1由多个镜头构成，具备变焦镜头、聚焦镜头等。

另外，在镜头部1中，虽然图示省略了，但是也可以具备在对被摄体S进行摄像时使变焦镜头在光轴方向上移动的变焦驱动部、使聚焦镜头在光轴方向上移动的对焦驱动部等。

电子摄像部2由例如CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化物半导体)等影像传感器构成，将穿过镜头部1的各种镜头的光学像变换成二维的图像信号。

在摄像控制部3中，虽然图示省略了，但是具备定时发生器、驱动器等。并且，摄像控制部3通过定时发生器、驱动器来对电子摄像部2进行扫描驱动，通过电子摄像部2在每个规定周期将光学像变换成二维的图像信号，从该电子摄像部2的摄像区域一个画面一个画面地读出图像帧，而将其输出到图像数据生成部4。

另外，摄像控制部3进行AF(自动对焦处理)、AE(自动曝光处理)、AWB(自动白平衡)等被摄体S的摄像条件的调整控制。

图像数据生成部4对从电子摄像部2传送来的图像帧的模拟值的信号，按RGB的各色成分的每一个适当地调整了增益后，用采样保持电路(图示省略)来进行采样保持并用A/D变换器(图示省略)变换成数字数据，用彩色处理电路(图示省略)来进行包括像素插值处理以及γ校正处理的彩色处理，之后生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。

从彩色处理电路输出的亮度信号Y以及色差信号Cb、Cr通过未图示的DMA控制器，被DMA传送到作为缓冲存储器而使用的图像存储器5。

图像存储器5由例如DRAM等构成，临时保存由特征量运算部6、块匹配部7、图像处理部8、中央控制部13等处理的数据等。

特征量运算部6进行将被摄体不存在图像P2作为基准来从该被摄体不存在图像P2中提取特征点的特征提取处理。具体地，特征量运算部6基于例如被摄体不存在图像P2的YUV数据，选择规定数量(或者规定数量以上)的特征高的块区域(特征点)，提取该块的内容作为模板(template)(例如，16×16像素的正方形)。

在此，特征提取处理是指从多个候选块中选择跟踪摄影中情况良好且特征性高的块的处理。

块匹配部7在生成被摄体裁剪图像P3时，进行用于被摄体不存在图像P2与被摄体存在图像P1的位置对准的块匹配处理。具体地，块匹配部7探寻由特征提取处理提取的模板与被摄体存在图像P1内的何处对应，即在被摄体存在图像P1内模板的像素值的最佳匹配位置(对应区域)。并且，算出像素值的差异度的评价值(例如，差分平方和(SSD)、差分绝对值和(SAD)等)最好的被摄体不存在图像P2与被摄体存在图像P1之间的最佳的偏移量作为该模板的运动矢量。

图像处理部8具备：裁剪图像生成部8a、被摄体获取部8b、背景获取部8c、图像合成部8d、区域确定部8e、平滑化处理部8f以及过滤保存部8g。

裁剪图像生成部8a生成被摄体裁剪图像P3的图像数据。具体地，在裁剪图像生成部8a中，虽然图示省略了，但是具备位置对准部、被摄体图像提取部、位置信息生成部以及图像生成部等。

位置对准部基于从被摄体不存在图像P2提取的特征点，算出与被摄体不存在图像P2相对应的被摄体存在图像P1的各像素的坐标变换式(射影变换矩阵)，根据该坐标变换式对被摄体存在图像P1进行坐标变换来进行与被摄体不存在图像P2的位置对准。

被摄体图像提取部生成由位置对准部进行位置对准而得到的被摄体存在图像P1与被摄体不存在图像P2之间对应的各像素的差分信息，将该差分信息作为基准，从被摄体存在图像P1提取包括被摄体的被摄体图像(前景图像)G。

位置信息生成部确定从被摄体存在图像P1提取的被摄体图像G的位置，生成表示被摄体存在图像P1中被摄体图像G的位置的位置信息(例如，α映射(Alpha Map))。在此，α映射是对于被摄体存在图像P1的各像素，将使被摄体图像G相对于规定的背景进行α混合时的权重表示为α值(0≤α≤1)而成的。

图像生成部基于生成的α映射，按照相对于规定的单色图像(图示省略)不透过被摄体存在图像P1的各像素中的α值为1的像素并且透过α值为0的像素的方式，将被摄体的图像与规定的单色图像进行合成来生成被摄体裁剪图像P3的图像数据。

被摄体获取部8b获取在记录介质9中记录的被摄体裁剪图像P3的图像数据。

即，被摄体获取部8b在合成图像生成处理中，从记录介质9读出从在记录介质9中记录的至少一个被摄体裁剪图像P3中的、基于用户对操作输入部12的规定操作而指定的被摄体裁剪图像P3的图像数据，由此获取该被摄体裁剪图像P3的被摄体图像(前景图像)G。

在此，被摄体获取部8b构成获取作为前景图像的被摄体图像G的前景获取单元。

背景获取部8c获取在记录介质9中记录的背景图像P4a的图像数据。

即，背景获取部8c在合成图像生成处理中，从记录介质9读出并获取从在记录介质9中记录的至少一个背景图像P4a中的、基于用户对操作输入部12的规定操作而指定的背景图像P4a的图像数据。

背景图像P4a是按照从上向下俯视的方式而俯瞰摄像得到的图像，包括例如按照从高的地方俯视大范围的方式而俯瞰摄像得到的图像。

在此，背景获取部8c构成获取除了作为前景图像的被摄体图像G之外的俯瞰摄像而得到的背景图像P4a的背景获取单元。

另外，图像合成部8d作为合成单元，对背景图像P4a与被摄体裁剪图像P3的被摄体图像G进行合成来生成被摄体合成图像P5。

即，图像合成部8d在基于用户对操作输入部12的规定操作而由中央控制部13指定的背景图像P4a中被摄体图像G的合成位置上与该被摄体图像G进行合成来生成被摄体合成图像P5。具体地，图像合成部8d，首先算出由被摄体获取部8b获取的成为被摄体裁剪图像P3的被摄体图像G的大致中心的坐标作为中心坐标C1(x1，y1)。例如，如图2A以及图2B所示，图像合成部8d利用被摄体图像G的横(X轴)方向以及纵(Y轴)方向的各直方图来算出被摄体图像G的中心坐标C1(x1，y1)。

在此，说明以被摄体图像G的X轴方向的大小为X像素并且Y轴方向的大小为Y像素的、被摄体图像G的中心坐标C1(x1，y1)的算出方法。此外，被摄体图像G的合成尺寸能够基于用户对操作输入部12的规定操作来进行变更。

若将被摄体图像G的像素P的像素值设为P(x，y)，则图像合成部8d算出X轴方向的位置x＝0的直方图的合计Hx(0)＝P(0，0)+P(0，1)+P(0，2)+P(0，3)+P(0，4)+…+P(0，Y)。同样，图像合成部8d算出X轴方向的全部位置的直方图的合计。并且，图像合成部8d在直方图的合计值的分布中存在规定值以上的峰值的情况下，将该峰值的位置设为中心坐标的x坐标，另一方面(参照图2A)，在直方图的合计值的分布中不存在规定值以上的峰值的情况下，将成为该分布的最大值Max与最小值Min的中心(或者中央)的位置设为中心坐标的x坐标。

在Y轴方向也同样，图像合成部8d算出Y轴方向的全部位置的直方图的合计。并且，图像合成部8d在直方图的合计值的分布中存在规定值以上的峰值的情况下，将该峰值的位置设为中心坐标的y坐标，另一方面，在直方图的合计值的分布中不存在规定值以上的峰值的情况下，将成为该分布的最大值Max与最小值Min的中心(或者中央)的位置设为中心坐标的y坐标(参照图2B)。

这样，图像合成部8d算出被摄体图像G的中心坐标C1(x1，y1)。

之后，图像合成部8d根据基于用户对操作输入部12的规定操作由中央控制部13指定的背景图像P4a中被摄体图像G的合成位置，算出将被摄体图像G的中心坐标C1(x1，y1)变换到背景图像P4a的坐标系而得到的坐标C2(x2，y2)。例如，在指定背景图像P4a中坐标(a，b)作为被摄体图像G的合成位置的情况下，图像合成部8d变换中心坐标C1(x1，y1)来算出坐标C2(a，b)。

并且，在图像合成部8d中，使由背景获取部8c获取的背景图像P4a的各像素中的α值为0的像素透过，α值为1的像素由被摄体裁剪图像P3所对应的像素的像素值覆盖，并且，背景图像P4a的各像素中的α值为0＜α＜1的像素在利用1的补数(1-α)来生成裁剪了被摄体图像G而得到的图像(背景图像×(1-α))后，在利用α映射中的1的补数(1-α)来生成被摄体裁剪图像P3时，计算与单一背景色混合了的值，从被摄体裁剪图像P3减去该值，将其与裁剪了被摄体图像G而得到的图像(背景图像×(1-α))进行合成。

区域确定部8e作为区域确定单元，确定将被摄体合成图P5中的被摄体图像G作为大致中心的规定范围。

即，区域确定部8e将使中心坐标C1(x1，y1)变换到背景图像P4a的坐标系而得到的坐标C2(a，b)作为基准，将被摄体图像G的图像数据的全部像素变换到被摄体合成图像P5的坐标系，由此确定由被摄体合成图像P5中的被摄体图像G所构成的区域。此外，区域确定部8e也可以将坐标C2(a，b)作为基准，将被摄体图像G的图像数据的全部像素变换到背景图像P4a的坐标系，由此确定由被摄体合成图像P5中的被摄体图像G所构成的区域。

并且，区域确定部8e确定将被摄体合成图像P5中的被摄体图像G作为大致中心的规定范围内的区域。

在此，规定范围可举出如生成仅对Y轴方向的两端部侧实施了平滑化处理的被摄体合成图像P5那样的、将背景图像P4a的X轴方向的全像素(X轴方向的全范围)和将被摄体图像G作为中心的Y轴方向的规定像素数R所构成的区域(参照图10B)，或仅与被摄体图像G完全重叠的区域(参照图10C)等。

此外，区域确定部8e也可以利用由裁剪图像生成部8a的位置信息生成部生成的被摄体存在图像P1中表示被摄体图像G的位置的位置信息(例如，α映射)，来确定被摄体合成图像P5中的被摄体图像G的区域。

平滑化处理部8f将被摄体图像G的合成位置作为基准，对被摄体合成图像P5实施平滑化处理。

即，平滑化处理部8f根据离将被摄体图像G的中心坐标C1(x1，y1)变换到背景图像P4a的坐标系而得到的坐标C2(x2，y2)的距离D来变更平滑化处理的处理强度，对被摄体合成图像P5的背景图像部分P4b实施该平滑化处理。

具体地，平滑化处理部8f不对由区域确定部8e确定的被摄体合成图像P5中将被摄体图像G作为大致中心的规定范围内的区域实施平滑化处理。

另外，平滑化处理部8f对被摄体合成图像P5的规定范围外的区域，按照在被摄体合成图像P5中离被摄体图像G的大致中央部(坐标C2(x2，y2))的距离越远的位置，平滑化处理的处理强度越强的方式进行变更来实施该平滑化处理。

即，平滑化处理部8f对于被摄体合成图像P5的各像素算出离坐标C2(x2，y2)的距离D，根据该距离D，从在图像处理部8的过滤保存部8g中保存的多个均衡化过滤器f1(参照图3A)中确定一个均衡化过滤器f1(例如，由3×3像素构成的均衡化过滤器)。具体地，平滑化处理部8f按照越是远离坐标C2(x2，y2)的距离D的像素，平滑化处理的处理强度越强的方式，从多个均衡化过滤器f1(参照图3A)中确定处理强度强的均衡化过滤器。并且，平滑化处理部8f对于被摄体合成图像P5的各像素，利用确定的均衡化过滤器f1来对背景图像部分P4b实施平滑化处理，由此使该背景图像部分P4b的浓淡变化变得平滑来减轻真实感(参照图10C)。

此时，平滑化处理部8f也可以按照在被摄体合成图像P5中离被摄体图像G的距离越远的位置，沿着与X轴方向(规定的方向)以及与该X轴方向大致正交的Y轴方向(正交方向)中的、至少一个方向大致平行的方向使平滑化处理的处理强度越强的方式进行变更(参照图10B)。例如，在图10B中，平滑化处理部8f沿着与Y轴方向大致平行的方向使平滑化处理的处理强度增强，但是被摄体图像G的合成位置由Y轴方向的一个端部(下端部)构成，因此只有Y轴方向的另一端部(上端部)侧平滑化处理的处理强度阶段性地变强。

在利用了平滑化处理部8f的均衡化过滤器f1的平滑化处理中，在对背景图像部分P4b的规定位置的像素进行过滤的情况下，进行将以该像素为中心的附近点的平均再次放进该像素的处理。例如，在利用3×3像素的均衡化过滤器f1的情况下，算出与中央部(例如，图3B中“○”所表示的区域)周围的八个区域对应的像素的颜色的平均，将该算出的平均颜色作为与该中央部对应的像素的颜色。

并且，根据被摄体合成图像P5的背景图像部分P4b中离被摄体图像G的坐标C2(x2，y2)的距离D，变更均衡化过滤器f1的尺寸(参照图3A)，由此变更均衡化的范围(算出平均的附近点的数量)，来调整背景图像部分P4b的模糊图像的大小。具体地，通过利用距离D越大尺寸就越大的均衡化过滤器f1，产生大于背景图像部分P4b的模糊图像。另一方面，通过采用距离D越小尺寸越小的均衡化过滤器f1，产生小于背景图像部分P4ba的模糊图像。

这样，平滑化处理部8f构成图像处理单元，上述图像处理单元将由中央控制部(指定单元)13指定的背景图像P4a中被摄体图像G的合成位置为基准对背景图像P4a实施平滑化处理。

过滤保存部8g使离被摄体图像G的坐标C2(x2，y2)的距离D与规定尺寸的均衡化过滤器f1建立对应并保存(参照图2A)。

具体地，例如使作为离被摄体图像G的坐标C2(x2，y2)的距离D的“大于到被摄体图像G的最小包含圆的边界为止的距离ka且在规定值k1以下”与“3×3像素的均衡化过滤器f1”建立对应，另外使作为距离D的“大于k1且在k2以下”与“5×5像素的均衡化过滤器f1”建立对应，另外使作为距离D的“大于k2且在k3以下”与“7×7像素的均衡化过滤器f1”建立对应，另外使作为距离D的“大于k3”与“5×5像素的均衡化过滤器f1”建立对应。

此外，最小包含圆是指包括主要轮廓线和素材图像的圆中的、半径最小的圆。另外，也可适用于作为距离ka的到被摄体区域的轮廓为止的距离，代替最小包含圆。并且，距离D是基于例如被摄体合成图像P5的X轴方向以及Y轴方向的像素数而算出的，但是这只是一个例子而并不限于此，其能够适当地进行任意的变更。

记录介质9由例如非易失性存储器(闪存)等构成，保存由图像处理部8的JPEG压缩部(图示省略)进行编码而成的被摄体裁剪图像P3、背景图像P4a、被摄体合成图像P5的图像数据。

即，记录介质9使由裁剪图像生成部8a生成的α映射与被摄体裁剪图像P3的图像数据分别在压缩的基础上建立对应，将该被摄体裁剪图像P3的图像数据的扩展名作为“.Jpe”而保存。

并且，记录介质9使由裁剪图像生成部8a生成的α映射与由图像合成部8d生成的被摄体合成图像P5的图像数据在分别压缩的基础上建立对应，将该被摄体合成图像P5的图像数据的扩展名作为“.Jpg”而存储。

显示控制部10进行读出在图像存储器5中临时保存的显示用图像数据并使之显示在显示部11的控制。

具体地，显示控制部10具备VRAM、VRAM控制器、数字视频编码器等。并且，数字视频编码器通过VRAM控制器从VRAM定期读出在中央控制部13的控制下从图像存储器5读出而保存在VRAM(图示省略)中的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础产生视频信号并将其输出到显示部11。

显示部11是例如液晶显示装置，基于来自显示控制部10的视频信号来在显示画面11a中显示实时取景图像、录制图像等。

即，显示控制部10在摄像模式下，基于镜头部1、电子摄像部2以及摄像控制部3对被摄体S进行摄像而生成的多个图像帧，将实时取景图像、作为本摄像图像而摄像得到的录制图像等显示在显示部11的显示画面11a。

操作输入部12用于进行该摄像装置100的规定操作。具体地，操作输入部12具备被摄体的摄影指示所涉及的快门按钮12a、摄像模式、功能等选择指示所涉及的选择決定用按钮12b、变焦量的调整指示所涉及的变焦按钮(图示省略)等，根据这些按钮的操作将规定的操作信号输出到中央控制部13。

另外，操作输入部12的选择決定用按钮12b基于用户的规定操作，将背景图像P4a中被摄体裁剪图像P3的被摄体图像G的合成位置的指定指示输出到中央控制部13。例如，选择決定用按钮12b将背景图像P4a中被摄体图像G的中心坐标C1(x1、y1)的合成位置的指定指示输出到中央控制部13。

中央控制部13基于输入的指定指示，指定背景图像P4a中被摄体裁剪图像P3的被摄体图像G的合成位置。

在此，操作输入部12以及中央控制部13构成指定单元，所述指定单元指定背景图像P4a中被摄体图像(前景图像)G的合成位置。

中央控制部13控制摄像装置100的各部。具体地，中央控制部13具备CPU、RAM、ROM(均省略了图示)，按照摄像装置100用的各种处理程序(图示省略)进行各种控制动作。

下面，参照图4～图5C来说明摄像装置100的被摄体裁剪处理。

图4是表示被摄体裁剪处理所涉及的动作的一个例子的流程图。另外，图5A～图5C是示意性地表示被摄体裁剪处理所涉及的图像的一个例子的图。

被摄体裁剪处理是基于用户对操作输入部12的选择決定用按钮12b的规定操作，从菜单画面所显示的多个摄像模式中选择指示被摄体裁剪模式的情况下所执行的处理。

如图4所示，首先，显示控制部10基于由镜头部1、电子摄像部2以及摄像控制部3对被摄体S进行摄像而生成的多个图像帧，将实时取景图像显示在显示部11的显示画面，然后使之与该实时取景图像重叠，将被摄体存在图像P1的摄像指示消息显示在显示部11的显示画面中(步骤S1)。

下面，中央控制部13判断是否基于用户对操作输入部12的快门按钮12a的规定操作而输入了摄像指示(步骤S2)。在此，若判断为输入了摄像指示(步骤S2；是)，则摄像控制部3调整聚焦镜头的对焦位置、曝光条件(快门速度、光圈、増幅率等)、白平衡等条件，在规定的条件下利用电子摄像部2对被摄体存在图像P1(参照图5A)的光学像进行摄像(步骤S3)。

并且，图像数据生成部4在生成了从电子摄像部2传送来的被摄体存在图像P1的YUV数据后，将该被摄体存在图像P1的YUV数据临时保存在图像存储器5中。

另外，摄像控制部3维持固定了该被摄体存在图像P1摄像时的对焦位置、曝光条件、白平衡等条件的状态。

下面，显示控制部10基于由镜头部1、电子摄像部2以及摄像控制部3对被摄体进行摄像而生成的多个图像帧来将实时取景图像显示在显示部11的显示画面中，然后使之与该实时取景图像重叠，将被摄体存在图像P1的半透射的显示方式的图像与被摄体不存在图像P2的摄像指示消息显示在显示部11的显示画面中(步骤S4)。

之后，中央控制部13判断是否基于用户对操作输入部12的快门按钮12a的规定操作而输入了摄像指示(步骤S5)。并且，用户等待被摄体发生移动或者将被摄体移到视角外后，用户调整相机位置以使被摄体不存在图像P2与被摄体存在图像P1的半透射的图像重合，若判断出操作输入部12的快门按钮12a被执行了规定操作而输入了摄像指示(步骤S5；是)，则摄像控制部3在被摄体存在图像P1的摄像后固定被摄体不存在图像P2(参照图5B)的光学像的条件下，使电子摄像部2进行摄像(步骤S6)。

并且，图像数据生成部4在生成了从电子摄像部2传送来的被摄体不存在图像P2的YUV数据后，将该被摄体存在图像P1的YUV数据临时保存到图像存储器5中。

下面，中央控制部13在特征量运算部6、块匹配部7以及图像处理部8中，将在图像存储器5中临时保存的被摄体不存在图像P2的YUV数据作为基准，用规定的图像变换模型(例如，相似变换模型或者同余变换模型)算出用于使被摄体存在图像P1的YUV数据射影变换的射影变换矩阵(步骤S7)。

具体地，特征量运算部6基于被摄体不存在图像P2的YUV数据，选择规定数(或者规定数以上)的特征高的块区域(特征点)，提取该块的内容作为模板。并且，块匹配部7在被摄体存在图像P1内探寻由特征提取处理提取的模板的像素值最佳匹配的位置，算出像素值的差异度的评价值最好的被摄体不存在图像P2与被摄体存在图像P1间的最适合的偏移量作为该模板的运动矢量。并且，裁剪图像生成部8a的位置对准部基于由块匹配部7算出的多个模板的运动矢量来统计地算出整体的运动矢量，利用该运动矢量所涉及的特征点对应关系来算出被摄体存在图像P1的射影变换矩阵。

下面，裁剪图像生成部8a的位置对准部基于算出的射影变换矩阵来对被摄体存在图像P1进行射影变换，由此进行对被摄体存在图像P1的YUV数据与被摄体不存在图像P2的YUV数据进行位置对准的处理(步骤S8)。

并且，裁剪图像生成部8a的被摄体图像提取部进行从被摄体存在图像P1提取包括被摄体的被摄体图像G的处理(步骤S9)。

具体地，被摄体区域提取部对被摄体存在图像P1的YUV数据与被摄体不存在图像P2的YUV数据分别利用低通滤波器来除去各图像的高频率成分。之后，被摄体区域提取部对于在利用了低通滤波器而得到的被摄体存在图像P1与被摄体不存在图像P2之间对应的各像素，算出差异度来生成差异度映射。接着，被摄体区域提取部在用规定的阈值将各像素所涉及的差异度映射2值化后，为了从差异度映射除去细噪声、手抖动而产生差异的区域而进行收缩处理。之后，被摄体区域提取部在进行标注(labeling)处理来除去规定值以下的区域、最大区域以外的区域后，确定最大的条带(stripe)的图案作为被摄体图像G，进行用于修正收缩量的膨胀处理。

下面，图像处理部8的位置信息生成部生成表示在提取的被摄体图像G的被摄体存在图像P1内的位置的α映射(步骤S10)。

之后，图像处理部8的图像生成部进行生成将被摄体图像G与规定的单色图像进行合成而得到的被摄体裁剪图像P3(参照图5C)的图像数据的处理(步骤S11)。

具体地，图像生成部在读出被摄体存在图像P1、单色图像以及α映射并将其展开到图像存储器5后，对于被摄体存在图像P1的全部像素，对于α值为0的像素(α＝0)，使之透过，对于α值为0＜α＜1的像素(0＜α＜1)，与规定的单色进行混合，对于α值为1的像素(α＝1)，不进行任何操作使之不透过规定的单色。

之后，中央控制部13在记录介质9的规定的保存区域中使由图像处理部8的位置信息生成部生成的α映射与被摄体裁剪图像P3的图像数据建立对应而将其保存在一个文件中(步骤S12)。

由此，结束被摄体裁剪处理。

下面，参照图6说明摄像装置100的背景图像摄像处理。

图6是表示背景图像摄像处理所涉及的动作的一个例子的流程图。

背景图像摄像处理是通常的静止图像的摄像处理，是基于用户对操作输入部12的选择決定用按钮12b的规定操作，从在菜单画面中显示的多个摄像模式中选择指示静止图摄像模式的情况下所执行的处理。

如图6所示，首先，显示控制部10基于由镜头部1、电子摄像部2以及摄像控制部3对背景图像P4a进行摄像而生成的多个图像帧，将实时取景图像显示在显示部11的显示画面上(步骤S21)。

下面，中央控制部13判断是否基于用户对操作输入部12的快门按钮12a的规定操作而输入了摄像指示(步骤S22)。在此，当判断为输入了摄像指示(步骤S22；是)，则摄像控制部3调整聚焦镜头的对焦位置、曝光条件(快门速度、光圈、增幅率等)、白平衡等条件并以规定的条件使电子摄像部2对背景图像P4a(参照图10A)的光学像进行摄像(步骤S23)。

并且，图像数据生成部4生成从电子摄像部2传送来的背景图像P4a的YUV数据。

接着，中央控制部13在记录介质9的规定的保存区域中保存背景图像P4a的YUV数据(步骤S24)。

由此，结束背景图像摄像处理。

下面，参照图7～图10C来说明摄像装置100的合成图像生成处理。

图7是表示合成图像生成处理所涉及的动作的一个例子的流程图。另外，图8是表示合成图像生成处理中的中心算出处理所涉及的动作的一个例子的流程图。另外，图9是表示合成图像生成处理中的图像合成处理所涉及的动作的一个例子的流程图。另外，图10A～图10C是示意性地表示合成图像生成处理所涉及的图像的一个例子的图。

合成图像生成处理是基于用户对操作输入部12的选择決定用按钮12b的规定操作，从在菜单画面中显示的多个动作模式中选择指示图像合成模式的情况下所执行的处理。

如图7所示，首先，基于用户对操作输入部12的选择決定用按钮12b的规定操作，在记录于记录介质9的多个图像中选择并指定想要的背景图像P4a(参照图10A)，此时中央控制部13使图像处理部8的背景获取部8c读出指定的背景图像P4a的图像数据并将其展开到图像存储器5中(步骤S31)。

下面，基于用户对操作输入部12的选择決定用按钮12b的规定操作，在记录于记录介质9的多个图像中选择并指定想要的被摄体裁剪图像P3(参照图5C)，此时中央控制部13使图像处理部8的被摄体获取部8b读出指定的被摄体裁剪图像P3的图像数据并将其展开到图像存储器5(步骤S32)。

接着，中央控制部13使图像处理部8的图像合成部8d进行算出被摄体裁剪图像P3的被摄体图像G的中心坐标的中心算出处理(步骤S33)。

下面，参照图8详细地说明中心算出处理。

如图8所示，图像合成部8d首先读入被摄体裁剪图像P3的图像数据，算出被摄体图像G的中心坐标C1(x1，y1)中的x坐标。具体地，图像合成部8d对于被摄体图像G判断在X轴方向全扫描是否完成(步骤S41)。

在此，当判断为对于被摄体图像G在X轴方向全扫描没有完成(步骤S41；否)，则图像合成部8d在算出了X轴方向的未扫描的位置x＝i(i＝0～X)的直方图的合计Hx(i)＝P(i，0)+P(i，1)+…+P(i，Y)后(步骤S42)，将处理移到步骤S41。

此外，图像合成部8d所进行的被摄体图像G的X轴方向的扫描是按例如i＝0～X的顺序执行的。

并且，在步骤S41中，当判断为在X轴方向全扫描完成了(步骤S41；是)，则图像合成部8d从直方图的合计Hx(i)的全部扫描位置中确定最大值，将取该最大值的X轴方向的位置i作为“i＝i_peak”，与Hx(i_peak)一起保存到图像存储器5中(步骤S43)。

下面，图像合成部8d从直方图的合计Hx(i)的全部扫描位置中确定满足“Hx(i)＞第1常数”的最大值Max以及最小值Min，将该位置“i＝i_min”、“i＝i_max”保存到图像存储器5中(步骤S44)。

接着，图像合成部8d判断直方图的合计Hx(i)中的最大值Hx(i_peak)是否大于第2常数(步骤S45)。

在此，当判断为最大值Hx(i_peak)大于第2常数(步骤S45；是)，则图像合成部8d将最大值Hx(i_peak)的位置设为中心坐标的x坐标(x1＝i_peak)(步骤S46)。另一方面，当判断为最大值Hx(i_peak)不大于第2常数(步骤S45；否)，则图像合成部8d将成为直方图分布的最大值Max与最小值Min的中心的位置设为中心坐标的x坐标(x1＝(i_min+i_max)/2)(步骤S47)。

下面，图像合成部8d算出被摄体图像G的中心坐标C1(x1，y1)中的y坐标。具体地，图像合成部8d判断对于被摄体图像G在Y轴方向全扫描是否完成(步骤S48)。

在此，若判断为对于被摄体图像G在Y轴方向全扫描未完成(步骤S48；否)，则图像合成部8d在算出了Y轴方向的未扫描的位置y＝i(i＝0～Y)的直方图的合计Hy(i)＝P(0，i)+P(1，i)+…+P(X，i)后(步骤S49)，将处理移到步骤S48。

此外，图像合成部8d所进行的被摄体图像G的Y轴方向的扫描是按例如i＝0～Y的顺序进行的。

并且，在步骤S48中，若判断为在Y轴方向全扫描完成了(步骤S48；是)，则图像合成部8d从直方图的合计Hy(i)的全部扫描位置中确定最大值，将取该最大值的Y轴方向的位置i作为“i＝i_peak”，与Hy(i_peak)一起保存到图像存储器5中(步骤S50)。

下面，图像合成部8d从直方图的合计Hy(i)的全部扫描位置中，确定满足“Hy(i)＞第1常数”的最大值Max以及最小值Min，将该位置“i＝i_min”、“i＝i_max”保存到图像存储器5中(步骤S51)。

接着，图像合成部8d判断直方图的合计Hy(i)中的最大值Hy(i_peak)是否大于第2常数(步骤S52)。

在此，若判断为最大值Hy(i_peak)大于第2常数(步骤S52；是)，则图像合成部8d将最大值Hy(i_peak)的位置设为中心坐标的Y坐标(y1＝i_peak)(步骤S53)。另一方面，若判断为最大值Hy(i_peak)不大于第2常数(步骤S52；否)，则图像合成部8d将成为直方图分布的最大值Max与最小值Min的中心的位置设为中心坐标的y坐标(y1＝(i_min+i_max)/2)(步骤S54)。

并且，图像合成部8d根据步骤S46或者S47算出的x坐标(x1)与步骤S53或者S54算出的y坐标(y1)，决定被摄体图像G的中心坐标C1(x1，y1)，结束中心算出处理(步骤S55)。

如图7所示，下面，若基于用户对操作输入部12的选择決定用按钮12b的规定操作，指定了用户想要的被摄体裁剪图像P3的被摄体图像G的合成位置(步骤S34)，则图像合成部8d算出将所算出的被摄体图像G的中心坐标C1(x1，y1)变换到背景图像P4a的坐标系而得到的坐标C2(x2，y2)(步骤S35)。

下面，中央控制部13以将被摄体图像G的中心坐标C1(x1，y1)变换到背景图像P4a的坐标系的坐标C2(x2，y2)为基准，使图像合成部8d进行对背景图像P4a与被摄体裁剪图像P3的被摄体图像G进行合成的图像合成处理(步骤S36)。

下面，参照图9详细地说明图像合成处理。

如图9所示，图像合成部8d首先读出与被摄体裁剪图像P3建立对应而保存的α映射来将其展开到图像存储器5(步骤S61)。

此外，当决定了背景图像P4a中的被摄体裁剪图像P3的合成位置、合成尺寸时，对于背景图像P4a与α映射偏离了的成为α映射的范围外的区域，不产生使α＝0的α值不存在的区域。

下面，图像合成部8d指定背景图像P4a任意一个像素(例如，左上角部的像素)(步骤S62)，对于该像素，基于α映射的α值使处理分岔(步骤S63)。具体地，图像合成部8d对于背景图像P4a的任意一个像素中的α值为1的像素(步骤S63；α＝1)，用被摄体裁剪图像P3所对应的像素的像素值进行覆盖(步骤S64)，对于α值为0＜α＜1的像素(步骤S63；0＜α＜1)，生成利用1的补数(1-α)来裁剪被摄体图像G而得到的图像(背景图像×(1-α))后，在利用α映射中1的补数(1-α)来生成了被摄体裁剪图像P3时，计算与单一背景色混合的值，将该值从被摄体裁剪图像P3减去，将其与从被摄体图像G裁剪后的图像(背景图像×(1-α))进行合成(步骤S65)，对于α值为0的像素(步骤S63；α＝0)，不进行任何操作使背景图像P4a透过。

接着，图像合成部8d判断是否对于背景图像P4a的全部像素进行了处理(步骤S66)。

在此，当判断为未对全部像素进行处理时(步骤S66；否)，图像合成部8d指定下一个像素作为处理对象来使处理对象移动到该像素(步骤S67)，将处理移到步骤S63。

使上述处理重复直到判断为在步骤S66中对于全部像素都进行了处理为止(步骤S66；是)，由此图像合成部8d生成对被摄体裁剪图像P3与背景图像P4a进行合成了而得到的被摄体合成图像P5的图像数据。

由此，结束图像合成处理。

如图7所示，下面，图像处理部8的平滑化处理部8f将被摄体裁剪图像P3的被摄体图像G的合成位置作为基准，对被摄体合成图像P5实施平滑化处理(步骤S37)。

具体地，平滑化处理部8f，根据离将被摄体图像G的中心坐标C1(x1，y1)变换到背景图像P4a的坐标系而得到的坐标C2(x2，y2)的距离D，采用规定的均衡化过滤器，由此变更平滑化处理的处理强度，对被摄体合成图像P5的背景图像部分P4b实施该平滑化处理。

之后，显示控制部10将平滑化处理后的被摄体合成图像P5显示在显示部11的显示画面(步骤S38)。

具体地，例如，被摄体图像G的像素的浓淡变化变得清晰，但是背景图像部分P4b的像素的浓淡变化平滑了的被摄体合成图像P5(参照图10C)显示在显示部11中。

由此，结束合成图像生成处理。

如上所述，根据本实施方式的摄像装置100，在俯瞰摄像而得到的背景图像P4a中的被摄体图像G的合成位置上对该被摄体图像G进行合成来生成被摄体合成图像P5，将被摄体图像G的合成位置作为基准来对被摄体合成图像P5实施平滑化处理，因此能够相对于被摄体图像G使被摄体合成图像P5的背景图像部分P4b的像素的浓淡变化更为平滑，能够基于该被摄体图像G的合成位置更好地降低背景图像部分P4b的真实感。

即，在对从被摄体存在图像P1裁剪下包括被摄体的区域而得到的被摄体图像G与背景图像P4a进行合成的情况下，不对以被摄体合成图像P5的被摄体图像G为大致中心的规定范围内的区域实施平滑化处理，按照在被摄体合成图像P5中离被摄体图像G的大致中央部的距离越远的位置，平滑化处理的处理强度越强的方式进行变更来实施该平滑化处理，由此使被摄体图像G的像素的浓淡变化变得更为清晰，并且，能够得到使背景图像部分P4b的像素的浓淡变化变得平滑的被摄体合成图像P5。

由此，防止生成俯瞰摄像而得到的背景图像P4a所涉及的背景图像部分P4b的真实感过强或者过弱的不协调感强的被摄体合成图像P5，例如，能够生成如缩影(miniature)图像那样表现力丰富的被摄体合成图像P5，从而能够实现趣味性的提高。

特别地，按照在被摄体合成图像P5中离被摄体图像G的大致中央部的距离越远的位置，沿着与X轴方向以及Y轴方向中的至少一个方向大致平行的方向，平滑化处理的处理强度越强的方式进行变更，来实施该平滑化处理，因此能够对被摄体合成图像P5的背景图像部分P4b在规定方向实施平滑化处理，能够使该被摄体合成图像P5的表现力变得更为丰富而实现趣味性的提高。

此外，本发明不限于上述实施方式，也可以在不脱离本发明宗旨的范围进行各种改良以及设计的变更。

例如，在上述实施方式中，对被摄体合成图像P5的背景图像部分P4b实施了平滑化处理，但是平滑化处理的处理对象不限于此，也可以是与被摄体图像G合成前的背景图像P4a。

即，也可以将基于用户对操作输入部12的规定操作而由中央控制部13指定的背景图像P4a中被摄体图像G的合成位置为基准，对背景图像P4a实施了平滑化处理后，对该平滑化处理后的背景图像P4a与被摄体图像G进行合成来生成被摄体合成图像P5。作为这种构成，也能够相对于被摄体图像G使被摄体合成图像P5的背景图像部分P4b的像素的浓淡变化变得更平滑，能够很好地降低该背景图像部分P4b的真实感，能够使被摄体合成图像P5的表现力变得丰富而实现趣味性的提高。

另外，即使是该结构也同样地，也可以不对以被摄体合成图像P5的被摄体图像G为大致中心的规定范围内的区域实施平滑化处理，另外，也可以按照在被摄体合成图像P5中离被摄体图像G的大致中央部的距离越远的位置，平滑化处理的处理强度越强的方式进行变更来实施该平滑化处理，另外，也可以按照在被摄体合成图像P5中离被摄体图像G的大致中央部的距离越远的位置，沿着与X轴方向以及Y轴方向中的、至少一个方向大致平行的方向平滑化处理的处理强度越强的方式进行变更，来实施该平滑化处理。

并且，在上述实施方式中，沿着与X轴方向以及Y轴方向中的至少一个方向大致平行的方向实施平滑化处理，但是该平滑化处理的方向不限于此，只要是规定的一个方向以及与该一个方向大致正交的正交方向的任意方向均可。例如，若是背景图像P4a的至少一个对角线与纵方向或者横方向大致并行地倾斜的构图，则也可以沿着与该对角线的延伸方向以及与该延伸方向大致正交的正交方向中的至少一个方向大致平行的方向来实施平滑化处理。

另外，在上述实施方式中，例示了平滑化处理来作为规定的图像处理，但是不限于此，例如，除了平滑化处理之外，也可以进行调整背景图像部分P4b、被摄体图像G的对比度、明亮度的处理。即，通过对背景图像部分P4b增强被摄体图像G的对比度或者使明亮度变亮，能够更为降低相对于被摄体图像G的背景图像部分P4b的真实感，能够提高被摄体合成图像P5的趣味性。

另外，在上述实施方式中，作为平滑化处理，例示了采用了均衡化过滤器的手法，但是不限于此，只要是将图像平滑化的方法即可，可以是任意的方法，例如，也可以是采用了Iris过滤器等的手法。

另外，在上述实施方式中，基于被摄体图像G的直方图，算出了成为被摄体图像G的大致中心的中心坐标C1(x1，y1)，但是例如也可以是利用被摄体图像G中的横(X轴)方向的最小值以及最大值与纵(Y轴)方向的最小值以及最大值的手法。

另外，在上述实施方式的合成图像生成处理中，首先，获取被摄体图像G，之后，获取背景图像P4a，但是这是一个例子而且不限于此，也可以进行适当的任意的变更，使其顺序相反。

并且，摄像装置100的结构是在上述实施方式中例示的一个例子，不限于此。即，例如，也可以是如下的图像合成装置：背景图像P4a以及被摄体裁剪图像P3的摄像是在与该摄像装置100不同的摄像装置中进行，并对从该摄像装置传送的图像数据进行记录，仅执行合成图像生成处理。

除此之外，在上述实施方式中，采用了作为前景获取单元、背景获取单元、指定单元、合成单元、图像处理单元的功能是通过中央控制部13以及图像处理部8的驱动而实现的结构，但是不限于此，也可以采用通过中央控制部13来执行规定的程序等而实现的结构。

即，保存程序的程序存储器(图示省略)预先保存包括前景获取处理例行程序、背景获取处理例行程序、指定处理例行程序、合成处理例行程序、图像处理例行程序的程序。并且，也可以通过前景获取处理例行程序使中央控制部13的CPU发挥获取要与背景图像P4a合成的前景图像的前景获取单元的功能。另外，也可以通过背景获取处理例行程序使中央控制部13的CPU发挥获取除了前景图像以外的俯瞰摄像而得到的背景图像P4a的背景获取单元的功能。另外，也可以通过指定处理例行程序来使中央控制部13的CPU发挥指定由背景获取单元获取的背景图像P4a中前景图像的合成位置的指定单元的功能。另外，也可以通过合成处理例行程序使中央控制部13的CPU发挥在背景图像P4a中由指定单元指定的合成位置上对前景图像进行合成来生成合成图像的合成单元的功能。另外，也可以通过背景获取处理例行程序使中央控制部13的CPU发挥以由指定单元指定的合成位置作为基准对合成图像实施平滑化处理的图像处理单元的功能。

并且，作为保存用于执行上述各处理的程序的计算机可读取介质，除了ROM、硬盘等之外，也能够应用闪存等非易失性存储器、CD-ROM等可移动性记录介质。另外，作为通过规定的通信线路来提供程序数据的介质，也能够应用载波(Carrier Wave)。

Claims (7)

1.一种图像合成装置，具备：

获取部，其获取俯瞰摄像而得到的背景图像和要与该背景图像合成的前景图像；

指定部，其指定由该获取部获取的上述背景图像中与上述前景图像进行合成的合成位置；

合成部，其在上述背景图像中由上述指定部指定的上述合成位置上合成上述前景图像，来生成合成图像；以及

图像处理部，其对上述合成图像实施平滑化处理，该平滑化处理将上述合成位置作为基准来控制处理强度。

2.根据权利要求1所述的图像合成装置，其中

上述图像合成装置还具备区域确定部，该区域确定部确定将上述合成图像中以上述前景图像作为大致中心的规定范围，

上述图像处理部不对由上述区域确定部确定的将上述前景图像作为大致中心的规定范围内的区域实施上述平滑化处理。

3.根据权利要求1所述的图像合成装置，其中

上述图像处理部按照在上述合成图像中离上述前景图像的距离越远的位置上述平滑化处理的处理强度越强的方式进行变更，来实施该平滑化处理。

4.根据权利要求3所述的图像合成装置，其中

上述图像处理部按照在上述合成图像中离上述前景图像的距离越远的位置，沿着与规定的一个方向以及与该一个方向大致正交的正交方向中的至少一个方向大致平行的方向上述平滑化处理的处理强度越强的方式进行变更，来实施该平滑化处理。

5.根据权利要求3所述的图像合成装置，其中

上述距离是离上述前景图像的大致中央部的距离。

6.根据权利要求1所述的图像合成装置，其中

上述前景图像是从存在背景与被摄体的图像中裁剪包括被摄体的区域而得到的被摄体图像。

7.一种图像合成方法，是使用了对多个图像进行合成的图像合成装置的图像合成方法，

在该图像合成方法中执行：

获取俯瞰摄像而得到的背景图像和要与该背景图像合成的前景图像；

指定所获取的上述背景图像中与上述前景图像进行合成的合成位置；

在上述背景图像中的上述合成位置上合成上述前景图像来生成合成图像；以及

对上述合成图像实施将上述合成位置作为基准来控制处理强度的平滑化处理。

Images