CN104428815B - 图像变形装置及其动作控制方法 - Google Patents

Abstract

以使基准图像的被摄体与对象图像的被摄体一致的方式使对象图像变形。在基准图像和对象图像(11)中分别分割成与光学变形量对应的区域。对象图像(11)中的基准图像与对象图像(11)的共同区域(10)被再分割成能得到基准图像的光学变形量和对象图像(11)的光学变形量这双方的光学变形量的区域(S35‑S37、S38‑S40、S42‑S44)。使用从再分割后的区域(S35‑S37、S38‑S40、S42‑S44)得到的基准图像的光学变形量和对象图像(11)的光学变形量，以使共同区域(10)的被摄体与基准图像一致的方式使对象图像(11)变形。

Description

图像变形装置及其动作控制方法

技术领域

本发明涉及图像变形装置及其动作控制方法。

背景技术

在将对象图像与基准图像合成(重叠)的情况下，当基准图像与对象图像的对位精度低时，在合成后，存在引起多重化或析像感劣化的可能性。为了提高对位精度，不仅需要应对图像整体的位置偏移，而且也需要应对与图像整体的位置偏移未对应的各个被摄体的位置偏移。作为各个被摄体的位置偏移的原因，有透镜失真。透镜失真存在越远离透镜的光学中心而越变强的倾向，因此即使在同一图像中，由于图像上的位置不同而变形量也不同。而且，若视场角改变，则图像上的被摄***置也改变，因此在基准图像和对象图像中共同包含的被摄体的变形量也不同。

图1是基准图像1的一例。在基准图像1中，在左上作为被摄体存在太阳2，在中央部分作为被摄体存在房子3。房子3由于处于中央部分，因此由失真引起的变形少，但是太阳2由于处于左上，因此由失真的变形大。

图3是对象图像11的一例。在对象图像11中，在稍靠中央存在太阳的被摄体12，在右下存在房子的被摄体13。太阳12由于稍靠中央，因此由失真引起的变形少，但是房子13由于处于右下，因此失真的变形大。

而且，存在如下技术等：在图像合成时，能抑制透镜变形或主体的差量引起的析像感下降，生成没有违和感的全景图像(专利文献1)；检测影像变形，将变形在各区域进行函数近似，并利用计算出的函数来校正各区域的变形(专利文献2)；根据全局活动补偿图像和局部活动补偿图像来生成混合活动补偿图像，通过将基准图像与混合活动补偿图像进行合成来得到更高的噪声减少效果(专利文献3)。

此外，也存在如下的技术等：考虑光学***的畸变并减少运算量(专利文献4)；在摄像装置进行被摄体的分割摄影时，在各个摄影图像的结合时，以使其重复区域的尺寸成为必要充分的方式适当设定摄影方向(专利文献5)。

现有技术文献

专利文献

专利文献1：日本特开2010-161520

专利文献2：日本特开2011-49733

专利文献3：日本特开2011-147985

专利文献4：日本特开2007-13430

专利文献5：日本特开2011-139368

图33是以使基准图像1的太阳2及房子3与对象图像11的太阳12及房子13分别一致的方式将基准图像1与对象图像11合成后的图像的一例。太阳2的变形量与太阳12的变形量不同，房子3的变形量与房子13的变形量不同，因此太阳的图像及房子的图像都发生偏移。这样，仅仅是以使同一被摄体重叠的方式将基准图像1与对象图像11合成的话，无法获得被摄体不偏移的合成图像。

在专利文献1中，关于以失真引起的变形为原因而难以对位的部位，没有明确记载具体的方法，无法得到被摄体未偏移的合成图像。而且，在专利文献2中，仅是校正变形，在专利文献3中没有明确记载与失真等变形的原因对应的区域分割方法。在专利文献4或5中也无法得到被摄体未偏移那样的合成图像。

发明内容

发明要解决的课题

本发明的目的在于以生成被摄体未偏移的合成图像的方式使对象图像变形。

用于解决课题的方案

本发明的图像变形装置的特征在于，具备：图像输入单元，输入通过对同一被摄体(不仅是被摄体整体相同的情况，也可以是被摄体整体的一部分被摄体相同的情况)进行多次摄像而得到的多帧图像；基准图像决定单元，从由所述图像输入单元输入的多帧图像中，决定基准图像；对象图像决定单元，从由图像输入单元输入的多帧除基准图像以外的图像中，决定对象图像；区域分割单元，将通过基准图像决定单元决定的基准图像和通过对象图像决定单元决定的对象图像分别分割成与光学变形量对应的区域；区域再分割单元，根据通过区域分割单元分割后的基准图像的区域和对象图像的区域各自的光学变形量，将对象图像中的基准图像与对象图像的共同区域再分割成能够区分基准图像的光学变形量和对象图像的光学变形量的每一个的区域；及变形单元，使用从通过区域再分割单元进行再分割后的区域得到的基准图像的光学变形量和对象图像的光学变形量，使对象图像变形，使共同区域的被摄体与基准图像一致(以使对象图像与基准图像一致的方式使对象图像变形，未必非要完全一致)。

本发明也提供应用于图像变形装置的动作控制方法。即，该方法中，图像输入单元输入通过对同一被摄体进行多次摄像而得到的多帧图像，基准图像决定单元从由图像输入单元输入的多帧图像中，决定基准图像，对象图像决定单元从由图像输入单元输入的多帧除基准图像以外的图像中，决定对象图像，区域分割单元将通过基准图像决定单元决定的基准图像和通过对象图像决定单元决定的对象图像分别分割成与光学变形量对应的区域，区域再分割单元根据通过区域分割单元分割后的基准图像的区域和对象图像的区域各自的光学变形量，将对象图像中的基准图像与对象图像的共同区域再分割成能够区分基准图像的光学变形量和对象图像的光学变形量的每一个的区域，变形单元使用从通过区域再分割单元进行再分割后的区域得到的基准图像的光学变形量和对象图像的光学变形量，使对象图像变形，使共同区域的被摄体与基准图像一致。

根据本发明，对象图像中的基准图像与对象图像的共同区域被再分割成能得到基准图像的光学变形量和对象图像的光学变形量这双方的光学变形量的区域。使用由再分割后的区域得到的基准图像和对象图像的光学变形量，以使共同区域的被摄体与基准图像一致的方式使对象图像变形。变形后的对象图像中的共同区域内的图像考虑对象图像的光学变形和基准图像光学变形这双方的光学变形而变形，因此在与基准图像进行合成时，没有与基准图像的被摄体的偏移而一致。

优选的是，还具备校正单元，该校正单元在基准图像和对象图像的摄像中所采用的摄像光学***的光轴从基准图像及对象图像的中心发生偏移时，以偏移的位置为中心进行光学变形校正。在这种情况下，区域分割单元例如将通过校正单元校正了光学变形量的基准图像和对象图像分别根据校正后的光学变形量而分割成区域。

优选的是，还具备对位单元，该对位单元基于对象图像相对于基准图像的移动向量，将基准图像与对象图像进行对位。在这种情况下，区域分割单元例如在通过对位单元将基准图像与对象图像进行了对位的情况下，对于不一致的部分，在基准图像和对象图像中分别分割成与光学变形量对应的区域。

优选的是，还具备：对位单元，基于对象图像相对于基准图像的移动向量，将基准图像与对象图像进行对位；及判定单元，在通过对位单元将基准图像与对象图像进行了对位的情况下，在不一致的程度为预定以上时，判定为基准图像或对象图像中包含动体。

区域分割单元例如在基准图像和对象图像中分别分割成与光学变形量对应的矩形区域或同心圆的区域。

优选的是，还具备将通过变形单元变形后的对象图像与基准图像合成的合成单元。

附图说明

图1是基准图像的一例。

图2是进行了区域分割的基准图像的一例。

图3是对象图像的一例。

图4是进行了区域分割的对象图像的一例。

图5是进行了区域再分割的对象图像的一例。

图6表示再分割后的区域与光学变形的关系。

图7是变形后的对象图像的一例。

图8表示基准图像与对象图像进行了对位的情况。

图9是表示摄像装置的电气结构的框图。

图10是表示摄像装置的处理次序的一部分的流程图。

图11是表示摄像装置的处理次序的一部分的流程图。

图12是失真强度映射的一例。

图13是进行了区域分割的基准图像的一例。

图14是进行了区域分割的对象图像的一例。

图15是进行了区域再分割的对象图像的一例。

图16表示再分割后的区域与光学变形的关系。

图17是表示摄像装置的处理次序的流程图。

图18是表示摄像装置的处理次序的流程图。

图19是失真强度映射的一例。

图20是表示摄像装置的处理次序的流程图。

图21是表示摄像装置的处理次序的流程图。

图22是变形后的对象图像的一例。

图23表示基准图像与对象图像进行了对位的情况。

图24是对象图像的一例。

图25是变形后的对象图像的一例。

图26是表示摄像装置的处理次序的流程图。

图27是差量容许映射的一例。

图28是基准图像的一例。

图29是对象图像的一例。

图30是差量映射的一例。

图31是智能手机的外观图。

图32是表示智能手机的电气结构的框图。

图33是将基准图像与对象图像重合后的图像。

具体实施方式

在该实施例中，在多个通过摄像而得到的被摄体像中，决定基准图像和对象图像，并使对象图像与基准图像合成(重叠)。以使基准图像和对象图像中共同包含的被摄体一致的方式将基准图像与对象图像合成。通过摄像得到的被摄体像在摄像透镜的光轴与被摄体像的中心一致时，由于摄像透镜的失真等光学变形，随着比被摄体像的中央靠向外侧而变形量增大。在这样的情况下，即使将基准图像与对象图像合成，也会由于基准图像和对象图像中共同包含的被摄体的变形量的差异而存在不一致的情况。在该实施例中，在将基准图像与对象图像合成时，使基准图像和对象图像共同包含的被摄体一致。

图1是基准图像1的一例。

在基准图像1中，在左上包含太阳2作为被摄体，在大致中央部分包含房子3作为被摄体。

图2表示基准图像1被进行了区域分割的情况。

如上所述，由于摄像透镜的失真，基准图像1的区域不同而变形量不同。如上所述，通常越接近被摄体像的中央而光学变形量越少，随着从中央离开而光学变形量增多。

基准图像1被分成9个区域(也可以不是9个区域而是更少或更多)S11至S19。

基准图像1的四角的区域S11、S13、S17及S19由于从中央离开而光学变形量强(大)，基准图像1的中央的区域S15的光学变形量弱(少)。而且，中央的区域S15的上下左右的区域S12、S14、S16及S18的光学变形量为中等(在中央的区域S15的光学变形量与四角的区域S11、S13、S17及S19的光学变形量的大致中间)。上述光学变形量记载于区域的符号附近的括弧内。例如，太阳2处于左上角的区域S11，因此光学变形量强，但是房子3处于中央的区域S15，因此光学变形量弱。

图3是对象图像11的一例。

在对象图像11中也包含太阳12及房子13作为被摄体。基准图像1与对象图像11有时因手抖等而视场角存在差异。因此，即使是相同的被摄体，被摄体像中的相对的位置有时也会改变。例如，在基准图像1中，太阳2处于左上，相对于此，在对象图像11中，太阳12稍靠近中央。而且，在基准图像1中，房子处于大致中央，相对于此，在对象图像11中，房子13处于右下。

图4示出对象图像被进行了区域分割的情况。

对象图像11也与基准图像1同样，分成9个的区域S21至S29。不过，关于对象图像11，也可以分成比9个区域少或多，也可以采用与基准图像1的划分方法不同的划分方法。

对象图像11的四角的区域S21、S23、S27及S29从中央离开，因此光学变形量强(大)，对象图像11的中央的区域S25的光学变形量弱(少)。而且，中央的区域S25的上下左右的区域S22、S24、S26及S28的光学变形量为中等(在中央的区域S25的光学变形量与四角的区域S21、S23、S27及S29的光学变形量的大致中间)。上述光学变形量记载在区域的符号附近的括弧内。例如，太阳12处于中央的区域S25，因此光学变形量弱。房子13处于区域S25、S26、S28及S29，因此根据房子13的部分的不同而光学变形量改变。

这样，即便如基准图像1的太阳2与对象图像11的太阳12、基准图像1的房子3与对象图像11的房子13那样表示相同的被摄体，变形量也变化，因此即便以使相同的被摄体成为一致的方式将基准图像1与对象图像11合成，也会产生偏移。即，即使将太阳2与太阳12、房子3与房子13合成也会不一致而发生偏移。在该实施例中，分割后的区域分别根据基准图像1的变形量和对象图像11的变形量这双方的变形量而将对象图像11的区域再分割。在再分割后的区域中，可知基准图像1的变形量和对象图像11的变形量这双方的变形量，因此使用基准图像1的变形量和对象图像11的变形量这双方的变形量，在与基准图像1合成时能够以与基准图像1一致的方式使对象图像11变形。

图5是区域被进行了再分割的对象图像11的一例。

以使同一被摄体重叠的方式(太阳2与太阳12、房子3与房子13重叠的方式)将图2所示的进行了区域分割的基准图像1与图4所示的进行了区域分割的对象图像11合成时，如图5所示，从在图2所示的基准图像1中被分割的区域和在图4所示的对象图像11中被分割的区域分割成能够区分基准图像1的光学变形量和对象图像11的光学变形量的每一个的更细的区域(区域再分割)。

通过这样的对象图像11的区域再分割，在对象图像11中生成区域S31至S44。

图6示出通过对象图像11的区域再分割而得到的各区域的光学变形量。

如上所述通过区域再分割而得到区域S31至S44，但是仅在表示共同的被摄体像的部分的基准图像1与对象图像11的共同区域10内能得到基准图像1的变形量和对象图像11的变形量。可以仅将共同区域10作为区域再分割的对象。为此，在图6中，对于共同区域10内的区域S35至S37、S38至S40、S42至S44，在各自的区域内以带括弧的方式记载变形量。变形量以强、中或弱的文字表示。强表示变形量强，中表示变形量中等，弱表示变形量弱。括弧内的开始的文字表示该区域内的基准图像1的变形量，括弧内的后面的文字表示该区域内的对象图像11的变形量。例如，区域S35将变形量以(强、弱)记载，因此表示与该区域S35内对应的基准图像1的变形量强，对象图像11的变形量弱。同样，区域S36将变形量以(中、弱)记载，因此表示与该区域S36内对应的基准图像1的变形量中等，对象图像11的变形量弱。关于其他区域也同样。

图7是变形后的对象图像11A的一例。

如图6所示，关于共同区域10内的区域，不仅可知对象图像11的光学变形量，而且可知基准图像1中所对应的区域的光学变形量，因此使用对象图像11的光学变形量和基准图像1的光学变形量这双方的光学变形量，在对象图像11与基准图像1合成时，以使对象图像11内包含的被摄体(太阳12、房子13)与基准图像1包含的被摄体(太阳2、房子3)一致的方式使对象图像11A变形。这样变形后的对象图像11是图7所示的变形后的对象图像11A。

这样变形后的对象图像11A中包含与包含于基准图像1并因失真而变形的太阳2及房子3一致的太阳12A及房子13A。通过将变形后的对象图像11A与基准图像1合成，能得到没有偏移的合成图像。

图8示出将变形后的对象图像11A与基准图像1合成的情况。

对象图像11A如上述那样变形，因此当将对象图像11A与基准图像1合成时，能得到包含没有偏移的太阳22和房子23的合成图像。

这样，即使在基准图像1和对象图像11的每一个中按部分而光学变形不同，也能得到包含没有偏移的被摄体的合成图像(重叠图像)。

图9是表示摄像装置的电气结构的框图。

摄像装置的整体的动作由CPU30统一控制。

摄像装置包含操作装置54，该操作装置54包含用于输入摄像指令、连拍指令等的开关、按钮等。从操作装置54输出的操作信号向CPU30输入。而且，摄像装置也包含对被摄体进行照射的发光装置35及接收来自被摄体的反射光的受光装置36。

摄像透镜31定位在摄像元件34的前方(在摄像透镜31的前方存在机械快门，但是省略图示)。在摄像元件34的受光面与摄像透镜31之间配置有光圈32及光学低通滤波器33。摄像透镜31通过透镜驱动装置37沿光轴方向定位，光圈32由光圈驱动装置38控制开口量。摄像元件34由摄像元件驱动装置39控制影像信号输出等。而且，摄像装置包含对摄像元件34的手抖进行检测的手抖检测装置40及用于使摄像元件34移动的手抖校正驱动装置41。

从摄像元件34输出的影像信号在模拟信号处理装置42中，进行白平衡等预定的模拟信号处理而输出。从模拟信号处理装置42输出的影像信号在模拟/数字转换电路43中被转换成数字图像数据。

数字图像数据通过存储器控制装置45而暂时存储于主存储器44。数字图像数据被从主存储器44读取，在数字信号处理装置46中，进行γ校正等预定的数字信号处理。数字图像数据向失真/阴影校正装置47输入，进行失真校正并以基准位置为基准进行阴影校正。进行了失真校正等的图像数据在显示控制装置53的控制下被供给到显示装置52，由此在显示装置52的显示画面上显示进行了光学校正等的被摄体像。

将从主存储器44读取的数字图像数据也向累计装置49输入。在累计装置49中进行亮度成分的累计，基于得到的累计值，来调整光圈32的光圈值。

当从操作装置54发出记录指令时，如上所述校正了光学变形等的图像数据在外部存储器控制装置51的控制下被供给到存储卡50，记录于存储卡50。

如上所述，对象图像11的变形及变形后的对象图像11A与基准图像1的合成在连拍的情况下进行。不过，并不局限于连拍的情况，当然也可以在其他情况下进行。

图10及图11是表示摄像装置的处理次序的流程图。

若未通过操作装置54设定连拍合成处理(步骤61为“否”)，则进行单拍摄影，不进行上述合成处理。若设定连拍合成处理时(步骤61为“是”)，则进行连拍(步骤62)，将表示多帧图像的图像数据如上述那样暂时存储于主存储器44。通过连拍得到的表示多帧图像的图像数据被从主存储器44读取，向失真/阴影校正装置47输入，进行失真(光学变形)校正等(步骤63)。将进行了失真等校正的表示多帧图像的图像数据供给到显示装置52，由该图像数据表示的多帧图像显示于显示装置52的显示画面上。从显示的多帧图像之中，利用操作装置54来决定基准图像(步骤64)。而且，从显示的多帧图像之中也选择对象图像(步骤65)。

即使如上述那样进行失真校正，也无法完全除去失真而失真有时会残留。因此如上述那样(参照图2、图4)，将决定的基准图像和选择的对象图像分别根据失真的强度进行区域分割(步骤66)。接着，将进行了区域分割的基准图像和进行了区域分割的对象图像以使失真少的区域中的被摄体一致的方式进行对位(合成、重叠)(步骤67)。

若在失真少的区域对位成功(步骤68为“是”)，则如上所述，基于根据失真的强度而进行了区域分割的基准图像和对象图像，将对象图像的区域进行再分割(步骤69，参照图5、图6)。使用进行了再分割的对象图像中的区域的基准图像的失真强度和对象图像的失真强度，使对象图像变形(步骤70、图7)。

若在失真少的区域对位未成功(步骤68为“否”)，则在失真强的区域进行对位(步骤72)。若在失真强的区域对位成功(步骤73为“是”)，则如上述那样将对象图像进行再分割(步骤69)，使对象图像变形(步骤70)。若在失真强的区域对位也未成功(步骤73为“否”)，则对于该对象图像，无法与基准图像合成，而选择其他对象图像(步骤65)。

反复进行从步骤65到73的处理直至对于处理对象的全部的对象图像结束处理为止(步骤71)。

图12至图18示出其他实施例。在该实施例中，根据摄像透镜31的信息而预先生成失真的强度映射，利用该强度映射来进行上述区域分割。

图12是失真强度映射的一例。

失真强度映射80对应于通过摄像而得到的被摄体像来表示该被摄体像中的部分的失真强度。图12所示的失真强度映射80分成同心圆状的3个区域75、76及77。中央的椭圆状的区域75的失真弱，区域75的周围的区域76的失真中等，最外侧的区域77的失真强。

图13是按照失真强度映射80进行了区域分割的基准图像的一例。

基准图像1按照失真强度映射80来规定边界81及82。边界81内的区域S31的失真弱，边界81与边界82之间的区域S32的失真中等。边界82的外侧的区域S33的失真强。

图14是按照失真强度映射80进行了区域分割的对象图像的一例。

对象图像11也与基准图像1同样，按照失真强度映射80来规定边界91及92。边界91内的区域S41的失真弱，边界91与边界92之间的区域S42的失真中等。边界92的外侧的区域S43的失真强。

图15是将区域进行了再分割的对象图像的一例。

如上所述，当得到进行了区域分割的基准图像1(参照图13)和进行了区域分割的对象图像11(参照图14)时，根据上述基准图像1及对象图像11，将区域进行再分割。由此，再分割后的区域分成基准图像1的按部分的失真强度和对象图像11的按部分的失真强度这双方的失真强度。

图16表示对象图像11中的进行了再分割的区域和失真强度。

如上所述，通过将对象图像11进行再分割而在共同区域10内规定区域S51至S60。与图6同样，在上述的区域S51至S60中，在括弧内记载失真强度。失真强度在括弧内以强、中或弱表示。由括弧的最开始的文字表示的失真强度表示与该区域对应的基准图像1的区域的失真强度。由括弧的最后的文字表示的失真强度是该区域的对象图像的失真强度。

图17及图18是表示摄像装置的处理次序的流程图。在上述图中，对于与图10或图11所示的处理相同的处理，标注同一符号并省略说明。

如上所述，首先制作失真强度映射(参照图12)(步骤101)。按照制作成的失真强度映射，将基准图像进行区域分割(步骤102，参照图13)。当选择对象图像时(步骤65)，对于选择的对象图像，也按照失真强度映射进行区域分割(步骤103)。之后的处理与图11所示的处理相同。

图19及图20表示其他实施例。

当基准图像1或对象图像11的中心与摄像透镜31的光轴一致时，如图12所示，越从中心远离而失真强度越变强。然而，当通过手抖校正等而使摄像元件34移动时，基准图像1或对象图像11的中心与摄像透镜31的光轴不再一致。因此，即使以越从基准图像1或对象图像11(并不局限于基准图像1、对象图像11，适用于通过摄像而得到的全部被摄体像)的中心离开而校正强度越强的方式进行失真校正，有时也无法进行适当的失真校正。该实施例在摄像元件34移动时，根据其移动量、移动位置来计算失真校正的中心位置，并以计算出的位置为基准进行失真校正。

图19是失真强度映射80的一例。

如图12所示，规定越从中心离开而失真强度越大的区域75、76及77。

如虚线111所示，当摄像元件34的中心C1与摄像透镜31的光轴一致时，通过摄像元件34的摄像而得到的被摄体像越从中心朝向外侧而失真强度越变强。然而，当如点划线112所示，摄像元件34移动而摄像元件34的中心C2从摄像透镜31的光轴错开时，通过摄像元件34的摄像而得到的被摄体像的失真强度不再是随着从被摄体像的中心C2(与摄像元件34的中心C2相同)离开而变强，而是随着从摄像透镜31的光轴C1离开而变强。因此，被摄体像的失真校正并非以与摄像元件34的中心C2的位置关系为基准来进行，而是必须以与摄像透镜31的光轴的位置关系为基准来进行。

图20是表示失真校正的处理次序的流程图。

如上述那样进行连拍(步骤121)，选择进行失真校正的处理的图像(步骤122)。

接着，计算摄影时的摄像元件34的移动位置(步骤123)。移动位置根据手抖驱动装置41的摄像元件34的移动量、移动方向能够计算。不过，也可以将检测摄像元件34的位置的陀螺仪传感器设于摄像装置。

当计算摄像元件34的移动位置时，参照该计算出的移动位置和摄像透镜31的光轴位置，将通过摄像而得到的图像中的摄像透镜31的光轴位置作为失真校正的中心位置来更新中心位置(步骤124)。以更新后的中心位置为基准，进行选择的图像的失真校正(步骤125)。在对其他图像进行失真校正时(步骤126为“是”)，重复进行从步骤122到125的处理。

在上述实施例中，在失真校正中，检测摄像元件34的传感器位置，利用检测到的传感器位置来决定失真校正的中心位置，但是在制作上述失真强度映射的情况下也可以考虑摄像元件34的移动位置。这种情况下，在图12所示的失真强度映射中，越从光轴中心离开而失真强度越强。

图21至图25还示出其他实施例。在该实施例中，根据对象图像的整体的移动而进行变形，将变形后的对象图像与基准图像进行比较来找出存在差量的区域。关于该存在差量的区域，如上所述，使用基准图像的失真强度和对象图像的失真强度进行变形处理。

图21是表示摄像装置的处理次序的流程图。

如上所述，进行连拍(步骤130)，对得到的多帧图像进行失真校正(步骤131)。接着，选择基准图像及成为进行上述变形处理的对象的对象图像(步骤132)。在推定选择的对象图像的整体的移动而进行了变形之后(步骤133)，将基准图像与对象图像进行对位并合成(步骤134)。

图22是推定整体的移动而进行了变形的对象图像11B的一例。

对象图像11B中包含太阳11B及房子13B。

图23表示对位后的基准图像1和对象图像11B。

对象图像11B推定整体的移动而进行变形，因此当将基准图像1与对象图像11B对位时，基准图像1中包含的房子3与对象图像11B中包含的房子13B一致。然而，基准图像1中包含的太阳2与对象图像11B中包含的太阳12B由于太阳2的失真强度与太阳12B的失真强度不同，因此产生偏移。

返回图21，取得基准图像1与对象图像11B的差量(步骤135)，区域分割成存在差量(偏移)的区域和没有差量的区域(步骤136)。

参照图23，通过取得基准图像1与对象图像11B的差量，而将基准图像1与对象图像11B的共同区域10中分割成存在差量的区域S61和没有差量的区域S62。这样也可以基于对象图像11B相对于基准图像1的移动向量，将基准图像1与对象图像11B进行对位(对位单元)。

图24是考虑了整体的偏移的变形前的对象图像11的一例。

如图23所示，当通过基准图像1与变形后的对象图像11B的对位而检测到存在差量的区域S61时，在基准图像1与对象图像11的共同区域10中，分割成与该存在差量的区域S61对应的区域S71和与没有差量的区域S62对应的区域S72。

返回图21，对于变形前的对象图像11，如上述那样分割成与存在差量的区域S61对应的区域S71和与没有差量的区域S62对应的区域S72时(步骤137)，分割的区域中的与存在差量的区域S61对应的区域S71内的图像使用基准图像1的失真强度和对象图像11的失真强度而变形成与基准图像1一致(步骤138)。

图25是变形后的对象图像11B的一例。

如图23所示，通过对位而在基准图像1之间规定存在差量的区域S81和没有差量的区域S82。

于是，如图24所示变形前的对象图像11中的与没有差量的区域相当的区域S72被置换成如图25所示变形后的对象图像11B中的与没有差量的区域相当的区域S82。关于图24所示的区域S71，如上所述，使用基准图像1的失真强度和对象图像11的失真强度而变形成与基准图像1一致(图21步骤139)。

关于其他图像，在进行同样的处理时(步骤140为“是”)，反复进行从步骤132起的处理。

图26至图30还示出其他实施例。该实施例检测基准图像或对象图像中是否包含动体。

图26是表示摄像装置的处理次序的流程图。

首先，生成差量容许映射(步骤170)。

图27是差量容许映射160的一例。

差量容许映射160如上所述，在取得基准图像与考虑整体的偏移而整体变形后的对象图像的差量时，表示该差量能够容许何种程度。

在差量容许映射160中，规定同心圆状的多个区域161、162及163。以包围中央的区域161的外侧的方式规定环状的区域162，在该区域162的周围还规定区域163。这些区域161、162及163表示差量的容许量，差量的容许量越小，影线的宽度越变窄。区域161的差量的容许量最小，区域162的差量的容许量次之，区域163的差量的容许量最大。这是因为考虑到随着从中央朝向外侧而失真强度变大，因此差量也增大。

返回图26，分别选择基准图像、对象图像(步骤171)。

图28是基准图像1A的一例。

在基准图像1A中包含太阳2A、房子3A及机动车4A。

接着，与上述的情况同样，使对象图像的整体变形(图26，步骤172)，对应于整体的偏移而使对象图像与基准图像对位(步骤172)。

图29是对象图像11C的一例。

在图29所示的对象图像11C中，包含太阳12C、房子13C及机动车141C。对象图像11C以太阳12C与图28所示的基准图像1A的太阳2A一致且房子13C与图28所示的基准图像1A的房子13A一致的方式使图像整体变形(移动)。这样，对应的被摄体处于一致的位置，因此如上所述，能够将基准图像1A与对象图像11C对位。

通过对位，能得到基准图像1A与对象图像11C的差量(步骤174)。

图30是表示差量值的差量映射150的一例。

差量映射150在差量越小时，影线的间隔越变窄。

在差量映射150中，包含区域151、152、153、154及155的区域。区域151表示基准图像1A的背景与对象图像11C的背景的差量，区域152表示基准图像1A的太阳2A与对象图像11C的太阳12C的差量，区域153表示基准图像1A的房子3A与对象图像11C的房子13C的差量，区域154表示基准图像1A的机动车4A与对象图像11C的背景的差量，区域155表示基准图像1A的背景与对象图像11C的机动车14C的差量。在从基准图像1A的摄影时到对象图像11C的摄影时之间，机动车移动，基准图像1A的机动车4A的位置与对象图像11C的机动车14C的位置存在较大差异。为此，区域154及155的差量增大。

当如图30那样得到差量时，按照差量的区域151、152、153、154及155，与图27所示的差量容许映射160比较(步骤175)。

通过差量与差量容许映射160的比较，若在任何区域差量都为容许以下(步骤176为“是”)，则在该对象图像中追加动体不存在的内容的标志(步骤177)。若存在差量为容许以下的部位(步骤176为“否”)，则在该对象图像中，追加动体存在的内容的标志(步骤178)。这样，基于对象图像11C相对于基准图像1A的移动向量，将基准图像1与对象图像11C对位，在不一致的程度为预定以上时，能够判定为基准图像1或对象图像11C中包含动体。

关于其他对象图像，反复进行处理时，进行从步骤131起的处理(步骤179)。

以上，说明了将该实施例应用于摄像装置的情况，但也可以应用于例如内置型或外置型的PC用相机、或者以下说明那样的具有摄影功能的便携终端装置。

作为一种实施方式的便携终端装置，可列举例如便携电话机或智能手机、PDA(Personal Digital Assistants，个人数据处理机)、便携型游戏机。以下，列举智能手机为例，参照附图进行详细说明。

图31是示出本发明的摄影装置的一种实施方式的智能手机181的外观的图。

图31所示的智能手机181具有平板状的筐体182，在筐体182的一个面上具备作为显示部的显示面板191与作为输入部的操作面板192成为一体的显示输入装置190。而且，上述筐体182具备麦克风202、扬声器201、操作装置220及相机装置221。需要说明的是，筐体182的结构没有限定于此，例如，可以采用显示装置与输入装置独立的结构，或者可以采用具有折叠结构、滑动机构的结构。

图32是表示图31所示的智能手机181的结构的框图。

如图32所示，作为智能手机的主要的构成要素，具备无线通信装置205、显示输入装置190、通话装置200、操作装置220、相机装置221、存储装置230、外部输入输出装置240、GPS(Global Positioning System，环球定位***)接收装置250、运动传感器260、电源装置270、主控制装置280。而且，作为智能手机181的主要的功能，具备经由基站装置BS和移动通信网NW的进行移动无线通信的无线通信功能。

无线通信装置205按照主控制装置280的指示，对收容于移动通信网NW的基站装置BS进行无线通信。使用上述无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。

显示输入装置190是所谓触摸面板，通过主控制装置280的控制，显示图像(静态图像及动态图像)、文字信息等而视觉性地向使用者传递信息，并检测对于显示的信息的使用者操作，具备显示面板191和操作面板192。

使用显示面板191、LCD(Liquid Crystal Display，液晶显示器)、OELD(OrganicElectro-Luminescence Display，有机电激发光显示器)等作为显示器件。操作面板192是能够视觉辨认地载置显示在显示面板191的显示面上的图像，并检测由使用者的手指或尖笔来操作的一个或多个坐标的器件。当通过使用者的手指或尖笔来操作上述器件时，将因操作而产生的检测信号向主控制装置280输出。接着，主控制装置280基于接收到的检测信号，检测显示面板191上的操作位置(坐标)。

如图31所示，作为摄像装置的一种实施方式所例示的智能手机181的显示面板191与操作面板192成为一体而构成显示输入装置190，但是操作面板192成为将显示面板191完全覆盖的配置。在采用上述配置的情况下，操作面板192对于显示面板191外的区域，也可以具备检测使用者操作的功能。换言之，操作面板192也可以具备与显示面板191重叠的重叠部分的检测区域(以下，称为显示区域)和除此以外的与显示面板191不重叠的外缘部分的检测区域(以下，称为非显示区域)。

需要说明的是，可以使显示区域的大小与显示面板191的大小完全一致，但也可以不必使两者一致。而且，操作面板192也可以具备外缘部分和除此以外的内侧部分这2个感应区域。而且，外缘部分的宽度根据筐体182的大小等而适当设计。此外，作为在操作面板192采用的位置检测方式，可列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，可以采用任意一种方式。

通话装置200具备扬声器201、麦克风202，将通过麦克风202输入的使用者的声音利用主控制装置280转换成能够处理的声音数据而向主控制装置280输出，或者将通过无线通信装置205或外部输入输出装置240接收到的声音数据进行解码而从扬声器201输出。而且，可以如图31所示，例如，将扬声器201搭载于与设有显示输入装置190的面相同的面上，并将麦克风202搭载于筐体182的侧面。

操作装置220是使用了键开关等的硬件键，接收来自使用者的指示。例如，如图31所示，操作装置220是按钮式的开关，搭载于智能手机181的筐体182的侧面，当由手指等按下时成为接通，当手指离开时借助弹簧等的复原力而成为断开状态。

存储装置230存储主控制装置280的控制程序、控制数据、应用软件、与通信对方的名称或电话号码等对应的地址数据、收发的电子邮件的数据、通过Web浏览器而下载的Web数据、下载的目录数据，而且暂时存储流数据等。另外，存储装置230由智能手机内置的内部存储装置231和具有拆装自如的外部存储器插槽的外部存储装置232构成。需要说明的是，构成存储装置230的各内部存储装置231和外部存储装置232使用闪存类型(flash memorytype)、硬盘类型(hard disk type)、多媒体卡微型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory，随机存取储存器)、ROM(Read Only Memory，只读存储器)等存储介质来实现。

外部输入输出装置240起到与连结于智能手机181的全部的外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN(Local Area Network)、蓝牙(Bluetooth)(注册商标)、RFID(Radio FrequencyIdentification，射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地与其他外部设备连接。

作为连结于智能手机181的外部设备，有例如有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡槽而连接的存储卡(Memory card)、SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频·视频I/O(Input/Output)端子而连接的外部音频·视频设备、无线连接的外部音频·视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接收传送的数据向智能手机1的内部的各构成要素传递，或将智能手机181的内部的数据向外部设备传送。

GPS接收部2500按照主控制装置280的指示，接收从GPS卫星ST1～STn发送的GPS信号，基于接收到的多个GPS信号来执行测位运算处理，检测该智能手机181的由纬度、经度、高度构成的位置。GPS接收装置250在能够从无线通信装置205或外部输入输出装置240(例如，无线LAN)取得位置信息时，也能够使用该位置信息检测位置。

运动传感器260例如具备3轴的加速度传感器等，按照主控制装置280的指示，检测智能手机181的物理性的移动。通过检测智能手机181的物理性的移动，来检测智能手机181的移动方向、加速度。上述检测结果向主控制装置280输出。

电源装置270按照主控制装置280的指示，向智能手机181的各部供给蓄积于蓄电池(未图示)的电力。

主控制装置280具备微型处理器，按照存储部装置230存储的控制程序、控制数据进行动作，总括地控制智能手机181的各部。而且，主控制装置280通过无线通信装置205，为了进行声音通信、数据通信而具备对通信***的各部进行控制的移动通信控制功能和应用处理功能。

应用处理功能按照存储装置230存储的应用软件，通过使主控制装置280动作来实现。作为应用处理功能，有例如控制外部输入输出装置240而与对置设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web页的Web浏览器功能等。

另外，主控制装置280具备基于接收数据、下载的流数据等图像数据(静态图像或动态图像的数据)而将影像显示于显示输入装置190等的图像处理功能。图像处理功能是指主控制装置280对上述图像数据进行解码，对上述解码结果实施图像处理，将图像显示于显示输入装置190的功能。

而且，主控制装置280执行对显示面板191的显示控制和检测通过操作装置220、操作面板192的使用者操作的操作检测控制。

通过显示控制的执行，主控制装置280显示用于使应用软件启动的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。需要说明的是，滚动条是指对于无法收纳于显示面板191的显示区域的较大的图像等，用于接收使图像的显示部分移动的指示的软件键。

另外，通过操作检测控制的执行，主控制装置280检测通过操作装置220的使用者操作，或通过操作面板182来接收对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接收通过滚动条的显示图像的滚动请求。

而且，通过操作检测控制的执行，主控制装置280判定对操作面板192的操作位置是与显示面板191重叠的重叠部分(显示区域)，还是除此以外的与显示面板191不重叠的外缘部分(非显示区域)，具备对操作面板192的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

另外，主控制装置280检测对操作面板192的手势操作，根据检测到的手势操作，能够执行预先设定的功能。手势操作不是以往的单纯的触摸操作，而是通过手指等描绘轨迹，或同时指定多个位置，或者将它们组合而从多个位置中对于至少一个来描绘轨迹的操作。

相机装置221是使用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)或CCD(Charge-Coupled Device，电荷耦合元件)等摄像元件进行电子摄影的数码相机。而且，相机装置221能够通过主控制装置280的控制，将通过摄像而得到的图像数据转换成例如JPEG(Joint Photographic coding Experts Group)等压缩后的图像数据，记录于存储装置230，或者通过输入输出装置240、无线通信装置205输出。如图31所示，在智能手机181中，相机装置221搭载在与显示输入装置190相同的面上，但是相机装置221的搭载位置并不局限于此，也可以搭载于显示输入装置190的背面，或者可以搭载多个相机装置221。需要说明的是，在搭载多个相机装置221的情况下，可以对摄影所用的相机装置221进行切换而单独拍摄，或者同时使用多个相机装置221进行摄影。

另外，相机装置221能够用于智能手机181的各种功能。例如，在显示面板191上能够显示通过相机装置221取得的图像，或者作为操作面板192的操作输入之一，能够利用相机装置221的图像。而且，在GPS接收装置250检测位置时，也可以参照来自相机装置221的图像来检测位置。而且，参照来自相机装置221的图像而不使用3轴的加速度传感器，或者与3轴的加速度传感器并用，能够判断智能手机191的相机装置221的光轴方向或判断当前的使用环境。当然，也可以将来自相机装置221的图像应用在应用软件内。

此外，在静止图像或动画的图像数据中，能够附加通过GPS接收装置250取得的位置信息、通过麦克风202取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)、通过运动传感器260取得的姿势信息等，而记录于记录装置230，或者通过输入输出装置240、无线通信装置205输出。

在智能手机181中应用该实施例的处理时，上述处理通过主控制装置280进行。

符号说明

1 基准图像

11 对象图像

S11-S19、S21-S29 分割而成的区域

S35-S37、S38-S40、S42-S44 再分割而成的区域

30 CPU

47 失真/阴影校正装置

Claims (11)

1.一种图像变形装置，具备：

图像输入单元，输入通过对同一被摄体进行多次摄像而得到的多帧图像；

基准图像决定单元，从由所述图像输入单元输入的多帧图像中，决定基准图像；

对象图像决定单元，从由所述图像输入单元输入的多帧除基准图像以外的图像中，决定对象图像；

区域分割单元，将通过所述基准图像决定单元决定的基准图像和通过所述对象图像决定单元决定的对象图像分别分割成与光学变形量对应的区域；

区域再分割单元，根据通过所述区域分割单元分割后的所述基准图像的区域和所述对象图像的区域各自的光学变形量，将所述对象图像中的所述基准图像与所述对象图像的共同区域再分割成能够区分所述基准图像的光学变形量和所述对象图像的光学变形量的每一个的区域；及

变形单元，使用从通过所述区域再分割单元进行再分割后的区域得到的所述基准图像的光学变形量和所述对象图像的光学变形量，使所述对象图像变形，使所述共同区域的被摄体与所述基准图像一致。

2.根据权利要求1所述的图像变形装置，其中，

所述图像变形装置还具备校正单元，该校正单元在所述基准图像和所述对象图像的摄像中所采用的摄像光学***的光轴从所述基准图像及所述对象图像的中心发生偏移时，以偏移的位置为中心进行光学变形校正，

所述区域分割单元将通过所述校正单元校正了光学变形量的所述基准图像和所述对象图像分别根据校正后的光学变形量而分割成区域。

3.根据权利要求1所述的图像变形装置，其中，

所述图像变形装置还具备对位单元，该对位单元基于所述对象图像相对于所述基准图像的移动向量，将所述基准图像与所述对象图像进行对位，

所述区域分割单元在通过所述对位单元将所述基准图像与所述对象图像进行了对位的情况下，对于不一致的部分，在所述基准图像和所述对象图像中分别分割成与光学变形量对应的区域。

4.根据权利要求2所述的图像变形装置，其中，

所述图像变形装置还具备对位单元，该对位单元基于所述对象图像相对于所述基准图像的移动向量，将所述基准图像与所述对象图像进行对位，

所述区域分割单元在通过所述对位单元将所述基准图像与所述对象图像进行了对位的情况下，对于不一致的部分，在所述基准图像和所述对象图像中分别分割成与光学变形量对应的区域。

5.根据权利要求1～4中任一项所述的图像变形装置，其中，

所述图像变形装置还具备：

对位单元，基于所述对象图像相对于所述基准图像的移动向量，将所述基准图像与所述对象图像进行对位；及

判定单元，在通过所述对位单元将所述基准图像与所述对象图像进行了对位的情况下，在不一致的程度为预定以上时，判定为所述基准图像或所述对象图像中包含动体。

6.根据权利要求1～4中任一项所述的图像变形装置，其中，

所述区域分割单元在所述基准图像和所述对象图像中分别分割成与光学变形量对应的矩形区域或同心圆的区域。

7.根据权利要求5所述的图像变形装置，其中，

所述区域分割单元在所述基准图像和所述对象图像中分别分割成与光学变形量对应的矩形区域或同心圆的区域。

8.根据权利要求1～4、7中任一项所述的图像变形装置，其中，

所述图像变形装置还具备将通过所述变形单元变形后的对象图像与所述基准图像合成的合成单元。

9.根据权利要求5所述的图像变形装置，其中，

所述图像变形装置还具备将通过所述变形单元变形后的对象图像与所述基准图像合成的合成单元。

10.根据权利要求6所述的图像变形装置，其中，

所述图像变形装置还具备将通过所述变形单元变形后的对象图像与所述基准图像合成的合成单元。

11.一种图像变形装置的动作控制方法，其中，

图像输入单元输入通过对同一被摄体进行多次摄像而得到的多帧图像，

基准图像决定单元从由所述图像输入单元输入的多帧图像中，决定基准图像，

对象图像决定单元从由所述图像输入单元输入的多帧除基准图像以外的图像中，决定对象图像，

区域分割单元将通过所述基准图像决定单元决定的基准图像和通过所述对象图像决定单元决定的对象图像分别分割成与光学变形量对应的区域，

区域再分割单元根据通过所述区域分割单元分割后的所述基准图像的区域和所述对象图像的区域各自的光学变形量，将所述对象图像中的所述基准图像与所述对象图像的共同区域再分割成能够区分所述基准图像的光学变形量和所述对象图像的光学变形量的每一个的区域，

变形单元使用从通过所述区域再分割单元进行再分割后的区域得到的所述基准图像的光学变形量和所述对象图像的光学变形量，使所述对象图像变形，使所述共同区域的被摄体与所述基准图像一致。