CN107026973A - 图像处理装置、图像处理方法与摄影辅助器材 - Google Patents

图像处理装置、图像处理方法与摄影辅助器材 Download PDF

Info

Publication number
CN107026973A
CN107026973A CN201710056984.9A CN201710056984A CN107026973A CN 107026973 A CN107026973 A CN 107026973A CN 201710056984 A CN201710056984 A CN 201710056984A CN 107026973 A CN107026973 A CN 107026973A
Authority
CN
China
Prior art keywords
rotation
image
guiding
image processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710056984.9A
Other languages
English (en)
Other versions
CN107026973B (zh
Inventor
平贺督基
平井骏
三浦健
大野良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Morpho Inc
Original Assignee
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Morpho Inc filed Critical Morpho Inc
Publication of CN107026973A publication Critical patent/CN107026973A/zh
Application granted granted Critical
Publication of CN107026973B publication Critical patent/CN107026973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置、图像处理方法与摄影辅助器材。在将输入图像予以合成而生成全景合成图像时，通过获得适合于图像合成的输入图像，从而获得优质的合成图像。图像处理装置将多个输入图像予以合成而生成全景合成图像。拍摄控制部设定用于从不同的拍摄角度对拍摄对象进行拍摄的引导，以作为用于拍摄适合于图像合成的多个输入图像的引导信息。引导显示设定部基于引导信息而在显示部上显示摄影引导图像。用户一边参照摄影引导图像一边使拍摄机旋转，从不同的角度拍摄多张输入图像。然后，图像合成部将多个输入图像予以合成而生成合成图像。

Description

图像处理装置、图像处理方法与摄影辅助器材
技术领域
本发明涉及一种生成广角的合成图像的图像处理装置、图像处理方法与摄影辅助器材。
背景技术
在现有技术中，作为图像处理装置，已知有一种装置，其将依次输入的输入图像予以拼接，从而生成一幅广角的合成图像即全景(panorama)图像(例如专利文献1)。
对专利文献1中揭示的全景图像生成的概略进行说明。
专利文献1中，基准图像Ir(成为对位基准的图像)与对象图像Ic的对位是使用转换矩阵来进行，该转换矩阵是基于基准图像Ir及对象图像Ic的特征点对(pair)的位置信息(三维坐标信息)而推定。
此处，所谓对位，是指如下所述的处理，即：通过探寻特征点对彼此最重合的位置，从而确定基准图像Ir的规定点与对象图像Ic的规定点的相对位置。
转换矩阵是视基准图像Ir与对象图像Ic之间的移动仅为拍摄机(camera)的旋转运动，而使用特征点对的位置信息来推定。
转换矩阵的参数为拍摄机的移动(因朝向xy方向的平行移动、朝向z方向的移动造成的放大缩小)、拍摄机的旋转(图像朝向x方向、y方向的变形及z轴上的图像的旋转)等，是通过借助最优化方法的收敛运算而求出。具体而言，以目标函数成为最小值的方式来进行收敛运算，所述目标函数包含基准图像Ir的特征点的位置(x0，y0，1)与将对象图像Ic的特征点的位置(x1，y1，1)进行转换后的位置的差值。对于最优化方法，可适用牛顿法(Newtonmethod)、高斯牛顿法(Gaussian-Newton method)等公知的方法。
此处，当使用考虑到了因如上所述的拍摄机移动引起的缩小成分的转换矩阵，且以进一步减小误差为优先来进行收敛运算时，由于缩小图像会使误差相对变小，因此存在缩小成分的程度变大的转换矩阵成为解的倾向。此时，每当逐次合成时，误差将累积。对此，通过将转换矩阵仅限定为旋转成分，从而在借助最优化方法的收敛运算时不会考虑缩小成分，因此能够避免误差的累积，与未仅限定于旋转成分的情况相比，可生成优质的全景图像。
现有技术文献
专利文献
专利文献1：WO2014/064783公报
发明内容
[发明所要解决的问题]
在现有技术中，在用于全景图像生成的多个输入图像的拍摄时，存在下述问题，即：若使拍摄机平行移动来进行摄影，则会在摄影图像间产生视差，因此最终无法生成优质的全景图像，例如所生成的全景图像的一部分产生偏移或变形。
而且，被摄物与拍摄机的距离越近，因拍摄机的平行移动产生的视差则越大，因此，在用户拍摄用户自身的所谓自拍时，该问题变得尤为显著。除此以外，由于自拍时的被摄物为人物的脸，因此即使所生成的全景图像中产生的偏移或变形的程度微小，也会显著损害所生成的全景图像的美观。因此，当在自拍全景摄影中使拍摄机平行移动来进行摄影时，与通常的全景摄影相比，得不到用户所要求的品质的全景图像的概率高。
即，为了尤其是在自拍时生成优质的全景图像，用户必须不使拍摄机平行移动，而是使拍摄机旋转，由此来从不同的方位拍摄多张包含对象被摄物的图像。
但是，在现有技术的图像处理装置中，由于不具备引导用户一边使拍摄机旋转一边进行摄影的动作所需的告知功能，因此用户使拍摄机平行移动来进行摄影的可能性高。因此，存在下述问题：无法进行优质全景图像的生成所需的图像的摄影，结果造成摄影失败，从而得不到用户所要求的品质的全景图像。而且，在使用现有技术的图像处理装置时，若未得到用户所要求的品质的全景图像，则估计用户会进行再次摄影。但是，现有技术的图像处理装置中，并不具备具体告知要如何移动拍摄机来进行摄影为佳的告知功能，因此即使进行再次摄影仍同样造成失败的可能性高。
而且，当用户进行自拍或群摄(group shot)时，生成全景图像所需的摄影张数不明，因此有可能会未达所需张数便停止摄影，或者不必要地进行大量的摄影。而且，存在下述问题：由于所需的摄影张数及拍摄机移动方法不明的不安感，拿着拍摄机的手会变得不稳定，从而最终容易造成摄影失败。
本发明是有鉴于此种问题而完成，其目的在于，通过引导用户一边使拍摄机旋转一边拍摄多张包含对象被摄物的图像的动作，由此来获得适合于全景图像合成的输入图像。
[解决问题的技术手段]
为了解决所述问题，采用了以下手段。另外，将用于实施后述发明的形态的说明及附图中所用的符号以括号来附注以供参考，但本发明的构成要素并不限定于该附注者。
第1发明是一种图像处理装置，具备显示拍摄对象的显示装置(显示部300)与对拍摄对象进行拍摄的拍摄装置(拍摄部500)，所述图像处理装置包括：
引导显示控制部件(拍摄控制部150、引导显示设定部180)，使所述显示装置显示用于从不同的拍摄角度对拍摄对象进行拍摄的引导；以及
图像合成部件(图像合成部160)，将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
而且，作为第2发明，也可构成下述图像处理装置，即，
根据第1发明的图像处理装置，其中，
所述引导是提示使所述拍摄装置旋转以从不同的拍摄角度对拍摄对象进行拍摄。
而且，作为第3发明，也可构成下述图像处理装置，即，
根据第2发明的图像处理装置，还包括：
第1检测部件(移动传感器760)，检测所述拍摄装置的旋转方向及旋转量，
所述引导显示控制部件(拍摄控制部150、引导显示设定部180)根据所述拍摄装置的旋转方向及旋转量来使所述引导的显示形态发生变化。
而且，作为第4发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，其中，
所述引导包含第1图像(旋转引导41)，所述第1图像提示为了生成所述合成图像而通过多次拍摄的应拍摄范围即整体拍摄范围。
而且，作为第5发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，其中，
所述第1图像(旋转引导41)提示拍摄所述整体拍摄范围所需的拍摄次数。
而且，作为第6发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，其中，
所述引导还包含提示当前的拍摄范围的第2图像(旋转标示(marker)42)，
所述引导显示控制部件(拍摄控制部150、引导显示设定部180)根据所述拍摄装置的旋转方向及旋转量来使所述第2图像(旋转标示42)相对于所述第1图像(旋转引导41)的相对位置发生变化。
而且，作为第7发明，也可构成下述图像处理装置，即，
根据第6发明的图像处理装置，其中，
通过所述第2图像(旋转标示42)相对于所述第1图像(旋转引导41)的相对位置来提示以拍摄装置为基准的拍摄角度。
而且，作为第8发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，其中，
所述引导还包含所拍摄的图像的缩小图像(缩小图像47)，
所述引导显示控制部件(拍摄控制部150、引导显示设定部180)根据所述拍摄装置的旋转方向及旋转量来使所述缩小图像相对于所述第1图像(旋转引导41)的相对位置发生变化。
而且，作为第9发明，也可构成下述图像处理装置，即，
根据第6发明的图像处理装置，其中，
通过所述第2图像(标示51)相对于所述第1图像(旋转引导41′)的相对位置来提示以用户为基准的拍摄角度。
而且，作为第10发明，也可构成下述图像处理装置，即，
根据第6发明的图像处理装置，其中，
当通过所述第2图像(旋转标示42、标示51)相对于所述第1图像(旋转引导41、旋转引导41′)的相对位置来提示拍摄角度时，在提示以拍摄装置为基准的拍摄角度的情况下与提示以用户为基准的拍摄角度的情况下，使显示于所述显示装置的图像的左右位置反转。
而且，作为第11发明，也可构成下述图像处理装置，即，
根据第6发明的图像处理装置，其中，
所述第1图像(旋转引导41)被划分为与拍摄所述整体拍摄范围所需的拍摄次数对应的多个区块(旋转引导单元41a～41e)，根据所述第2图像(旋转标示42)位于哪个区块来提示拍摄角度。
而且，作为第12发明，也可构成下述图像处理装置，即，
根据第10发明的图像处理装置，其中，
所述第1图像(旋转引导41)是提示关于所述多个区块(旋转引导单元41a～41e)的各个的、与该区块对应的拍摄顺序。
而且，作为第13发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件以将由所述人脸区域检测部件所检测出的人脸区域作为中心而形成所述整体拍摄范围的方式，来设定所述第1图像(旋转引导41)。
而且，作为第14发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件在由所述人脸区域检测部件所检测出的人脸区域存在多个的情况下，以将其中任一者作为中心而形成所述整体拍摄范围的方式，来设定所述第1图像(旋转引导41)。
而且，作为第15发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件在由所述人脸区域检测部件所检测出的人脸区域存在多个的情况下，以形成至少包含两端的人脸区域的所述整体拍摄范围的方式，来设定所述第1图像(旋转引导41)。
而且，作为第16发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，其中，
所述拍摄装置包含第1拍摄装置(前置拍摄机62)及第2拍摄装置(后置拍摄机72)，所述第1拍摄装置对与所述显示装置(显示部300、显示画面63)所朝向的方向相同的方向进行拍摄，所述第2拍摄装置对与所述显示装置(显示部300、显示画面63)所朝向的方向相反的方向进行拍摄，用户可选择通过所述第1拍摄装置(前置拍摄机62)及所述第2拍摄装置(后置拍摄机72)中的哪个拍摄装置来进行拍摄，
根据所选择的拍摄装置，所述引导的显示形态不同。
而且，作为第17发明，也可构成下述图像处理装置，即，
根据第4发明的图像处理装置，其中，
所述拍摄装置包含第1拍摄装置(前置拍摄机62)及第2拍摄装置(后置拍摄机72)，所述第1拍摄装置对与所述显示装置(显示部300、显示画面63)所朝向的方向相同的方向进行拍摄，所述第2拍摄装置对与所述显示装置(显示部300、显示画面63)所朝向的方向相反的方向进行拍摄，用户可选择通过所述第1拍摄装置(前置拍摄机62)及所述第2拍摄装置(后置拍摄机72)中的哪个拍摄装置来进行拍摄，
所述整体拍摄范围是包含所述第1拍摄装置(前置拍摄机62)的拍摄范围及所述第2拍摄装置(后置拍摄机72)的拍摄范围这两者的拍摄范围。
而且，作为第18发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件基于由所述人脸区域检测部件所检测出的人脸区域来设定所述引导的显示位置。
而且，作为第19发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，其中，
所述引导显示控制部件将所述引导的显示位置设定于第1拍摄装置(前置拍摄机62)附近，所述第1拍摄装置对与所述显示装置(显示部300、显示画面63)所朝向的方向相同的方向进行拍摄。
而且，作为第20发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，其中，
所述引导显示控制部件在所述拍摄装置尚未旋转至规定旋转量的期间，以视认性高于所述拍摄对象的设定来显示所述引导。
而且，作为第21发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，还包括：
第2检测部件(移动传感器760)，对所述拍摄装置的平行移动方向及平行移动量进行检测，
所述引导显示控制部件根据所述拍摄装置的平行移动方向及平行移动量来使所述引导的显示形态发生变化。
而且，作为第22发明，也可构成下述图像处理装置，即，
根据第3发明的图像处理装置，还包括：
辅助引导显示控制部件(拍摄控制部150、引导显示设定部180)，使用于抑制拍摄位置变更的辅助引导(中心引导43、中心标示44)显示于所述显示装置。
而且，作为第23发明，也可构成下述图像处理装置，即，
根据第22的发明的图像处理装置，还包括：
第2检测部件(移动传感器760)，对所述拍摄装置的平行移动方向及平行移动量进行检测，
所述辅助引导显示控制部件(拍摄控制部150、引导显示设定部180)根据所述拍摄装置的平行移动方向及平行移动量来使所述辅助引导(中心引导43、中心标示44)的显示形态发生变化。
而且，作为第24发明，也可构成下述图像处理装置，即，
根据第23的发明的图像处理装置，其中，
所述辅助引导包含第3图像(中心引导43)及第4图像(中心标示44)，所述第3图像的显示位置不会根据所述拍摄装置的平行移动方向及平行移动量而变化，所述第4图像的显示位置根据所述拍摄装置的平行移动方向及平行移动量而变化。
第25发明是一种图像处理装置，具备显示拍摄对象的显示装置(显示部300)与对拍摄对象进行拍摄的拍摄装置(拍摄部500)，所述图像处理装置还包括：
引导显示控制部件(拍摄控制部150、引导显示设定部180)，使所述显示装置显示用于从不同的拍摄角度对拍摄对象进行拍摄的引导；以及
通信部件(通信部600)，可连接于设在所述图像处理装置外部的图像合成装置，
所述图像合成装置将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
第26发明是一种图像处理装置，其包括：
通信部件，可连接于显示装置(显示部35)及拍摄装置(拍摄机20)，所述显示装置设在所述图像处理装置外部且显示拍摄对象，所述拍摄装置对拍摄对象进行拍摄；
引导显示控制部件(拍摄控制部150、引导显示设定部180)，使所述显示装置显示用于从不同的拍摄角度对拍摄对象进行拍摄的引导；以及
图像合成部件(图像合成部160)，将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
而且，第27发明是一种摄影辅助器材，包括可装卸图像处理装置的固定机构以及使所述固定机构进行旋转动作的旋转控制机构，所述图像处理装置包括：
显示装置，显示拍摄对象；
拍摄装置，对拍摄对象进行拍摄；
引导显示控制部件，使所述显示装置显示引导，所述引导通过根据所述拍摄装置的旋转方向及旋转量来使显示形态发生变化，从而提示使所述拍摄装置旋转以从不同的拍摄角度对拍摄对象进行拍摄；
第1检测部件，检测所述拍摄装置的旋转方向及旋转量；以及
图像合成部件，将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
第28发明是一种图像处理方法，包含使显示装置显示拍摄对象的显示步骤与通过拍摄装置来对拍摄对象进行拍摄的拍摄步骤(A35)，所述图像处理方法还包括：
引导显示控制步骤(A15)，使所述显示装置显示用于从不同的拍摄角度对拍摄对象进行拍摄的引导；以及
图像合成步骤(A55)，将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
第29发明是一种图像处理程序，包含使显示装置显示拍摄对象的显示步骤与通过拍摄装置来对拍摄对象进行拍摄的拍摄步骤(A35)，所述图像处理程序还包括：
引导显示控制步骤(A15)，使所述显示装置显示用于从不同的拍摄角度对拍摄对象进行拍摄的引导；以及
图像合成步骤(A55)，将通过从不同的拍摄角度对拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
[发明的效果]
在用于全景图像生成的多个输入图像的拍摄中，作为引导用户一边使拍摄装置旋转一边进行摄影的动作所需的告知功能，在拍摄装置的显示部上显示与拍摄装置的旋转方向及旋转量对应的引导，由此，防止用户使拍摄机平行地移动来进行摄影，从而能够较现有技术容易地进行优质的全景图像生成所需的图像的摄影。
附图说明
图1是表示图像处理装置的功能结构的一例的框图。
图2(a)及图2(b)是表示智能电话的结构的一例的立体图。
图3是表示智能电话的功能结构的一例的框图。
图4是表示自拍引导摄影模式处理的流程的一例的流程图。
图5(a)及图5(b)是表示智能电话的显示部上所显示的摄影引导图像的一例的图。
图6(a)及图6(b)是表示智能电话的显示部上所显示的摄影引导图像的一例的图。
图7(a)及图7(b)是表示智能电话的显示部上所显示的摄影引导图像的一例的图。
图8(a)及图8(b)是表示智能电话的显示部上所显示的摄影引导图像的一例的图。
图9(a)至图9(e)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图10(a)及图10(b)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图11(a)至图11(d)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图12(a)及图12(b)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图13(a)及图13(b)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图14(a)至图14(c)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图15(a)至图15(c)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图16(a)至图16(c)是表示智能电话的显示部上所显示的旋转引导图像的一例的图。
图17(a)至图17(d)是说明自拍引导摄影模式的拍摄范围设定的一例的说明图。
图18(a)至图18(d)是表示后置拍摄机用引导摄影模式时在智能电话的显示部上所显示的旋转引导图像的一例的图。
图19(a)至图19(c)是说明后置拍摄机用引导摄影模式的拍摄范围设定的一例的说明图。
图20是表示整周引导摄影模式时在智能电话的显示部上所显示的旋转引导图像的一例的图。
图21是表示记录介质的一例的图。
[符号的说明]
1：图像处理装置
2：智能电话
9：存储卡
10：输入部
11、110：基准图像选择部
12、120：匹配部
13、130：转换矩阵推定部
14、140：对位部
15、160：图像合成部
20：拍摄机
25：已输入图像存储器
30、760：移动传感器
31、150：拍摄控制部
32、180：引导显示设定部
35：显示部
40：用户
41、41′、55、57：旋转引导
41a～41e、41a′～4le′、55a～55c、57a～57h：旋转引导单元
42、56：旋转标示
43：中心引导
44：中心标示
45：外观旋转引导
46：直线
46：拍摄范围标示
47：虚线
47：缩小图像
48：中心轴
49：人脸区域
49、50a～50d：人脸区域
51：标不
52：箭头
58、59：全景图像
60：智能电话框体
61：智能电话框体的前表面
62：前置拍摄机
63：显示画面
64：操作按钮
71：智能电话框体的背面
72：后置拍摄机
73：扬声器
74：闪光灯
100：处理部
170：显示控制部
200：操作部
250：触控面板
300：显示部
400：声音输出部
500：拍摄部
600：通信部
700：时钟部
750：振动部
800：存储部
810：拍摄机模式处理程序
811：图像生成程序
830：已输入图像数据库
850：输入图像用缓冲器
870：输出图像用缓冲器
910：卡槽
920：卡读写器
A10～A100：步骤
具体实施方式
以下，参照附图来说明适用本发明的较佳实施方式的一例。另外，在附图的说明中，有时对相同的要素标注相同的符号并省略重复的说明。而且，附图的尺寸比例未必与所说明的一致。而且，可适用本发明的形态当然不限定于以下说明的实施方式。
[1.图像处理装置]
本实施方式的图像处理装置是将依次输入的输入图像在每次输入时予以拼接以逐次生成一张合成图像的装置，例如适合用于将连续拍摄的多个图像实时(realtime)拼接，而生成比一张摄影图像广角的全景图像的情况。
本实施方式的图像处理装置例如可配设在智能电话等移动电话机、数码拍摄机(digital camera)、平板(tablet)终端、个人数字助理(Personal DigitalAssistant，PDA)等资源(resource)存在限制的移动(mobile)终端中，但并不限定于这些，例如也可配设在通常的计算机***(computer system)中。
[1-1.结构及原理]
本实施方式的图像处理装置具有下述功能，即，在拍摄待机画面上显示对用户引导以获得全景合成图像所需的摄影张数及拍摄机移动的指导(guidance)。
此处，本实施方式中的引导摄影功能是指如下所述的功能，即，在拍摄待机画面上显示表示当前的拍摄机方向及位置的当前位置标示与表示摄影时的拍摄机方向、位置及所需摄影张数的摄影引导，在用户移动拍摄机而使当前位置标示与摄影引导一致的时机(timing)进行摄影。
由此，用户能够容易地进行获得较佳的全景合成图像所需的多张图像摄影。
图1是表示本实施方式中的图像处理装置1的功能结构的一例的框图。
图像处理装置1具备输入部10、基准图像选择部11、匹配(matching)部12、转换矩阵推定部13、对位部14、图像合成部15、拍摄控制部31及引导显示设定部32。这些部分是图像处理装置1的处理部(处理装置)所具有的功能部(功能区块)，处理部是具有中央处理器(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等处理器或特定用途集成电路(Application Specific Integrated Circuit，ASIC)等集成电路而构成。
输入部10具有输入由拍摄机20所拍摄的图像(以下称作“摄影图像”)的功能。输入部10例如具有每当拍摄时输入摄影图像的功能。
输入部10将初次输入的图像保存至第1临时存储区域(以下称作“输出图像用缓冲器(buffer)”)。而且，输入部10将接下来连续输入的图像保存至第2临时存储区域(以下称作“输入图像用缓冲器”)。
另外，当在第2临时存储区域中保存图像时，进行该图像的定位，并且判断该图像是否为描绘对象，若判断为描绘对象的图像，则将保存在第1临时存储区域中的输出图像通过合成而予以更新并覆盖保存。以下，将保存在第1临时存储区域中的图像作为合成图像It，将保存在第2临时存储区域中的图像作为对象图像Ic(输入图像)来进行说明。
基准图像选择部11具有选择对位用基准图像Ir的功能。所谓基准图像Ir，是指成为对象图像Ic的对位基准的图像。例如，基准图像选择部11是可参照保存有与已输入图像相关的信息的已输入图像存储器25地构成。已输入图像是在对象图像Ic之前由输入部10所输入的图像，一个或多个图像成为已输入图像。即，若将第n个对象图像Ic设为Ic(n-1)，则已输入图像为Ic(n-2)、Ic(n-3)、...Ic0。基准图像选择部11在已输入图像为一张的情况下，选择该图像Ic1来作为对象图像Ic2的基准图像Ir0。以下，除了满足规定条件的情况，基准图像选择部11不变更该基准图像。
对于规定条件，例如可预先决定为基准图像Ir与对象图像Ic(n)的距离相隔规定值以上的情况。此时，基准图像选择部11选择对象图像Ic(n)来作为下次的新的对象图像Ic(n+1)的基准图像Ir(k)，将与对象图像Ic(n)相关的信息保存至已输入图像存储器25。所谓与对象图像Ic(n)相关的信息，例如也可仅为由后述的匹配部12所导出的特征点的像素值及位置信息。如此，通过对记录在已输入图像存储器25中的信息进行限制，从而与保存基准图像Ir其自身的情况相比，能够削减使用存储器容量。
基准图像选择部11在输入有对象图像Ic(n+1)时，参照已输入图像存储器25，选择对象图像Ic(n)来作为基准图像Ir(k)。继而，基准图像选择部11将与基准图像Ir相关的图像信息(至少包含特征点的像素信息及位置信息的信息)输出至匹配部12。
匹配部12获取基准图像Ir及对象图像Ic的对应关系。匹配部12获取与基准图像Ir的特征点及对象图像Ic的特征点相关的信息。匹配部12例如基于特征点的像素值来获取基准图像Ir及对象图像Ic的对应关系。作为匹配方法，可使用块匹配(block matching)法或梯度法等公知的方法。
另外，匹配部12也可在对基准图像Ir及对象图像Ic进行多分辨率化之后进行匹配。例如，匹配部12分别阶段性地变更基准图像Ir及对象图像Ic的分辨率，以生成分辨率不同的多个图像。然后，匹配部12也可在分辨率最小的图像间获取特征点的平行移动量，在分辨率更大的图像间进行特征点的像素(pixel)单位的匹配。此时，能够实现处理的高速化及运算成本的降低。
匹配部12获取已算出基准图像Ir与对象图像Ic的对应关系的特征点对的位置信息(坐标信息)。即，匹配部12成对地获取基准图像Ir的某特征点的位置信息和与该特征点对应的对象图像Ic的特征点的位置信息。此时，匹配部12为了进行后述的对位处理而获取多个特征点对。
匹配部12将所获取的特征点对输出至转换矩阵推定部13。另外，如前所述，在基准图像选择部11追加该对象图像Ic来作为接下来的基准图像Ir时，匹配部12将对象图像Ic的特征点的像素值及位置信息输出至基准图像选择部11。
转换矩阵推定部13基于从匹配部12输出的基准图像Ir与对象图像Ic的对应关系，来推定使基准图像Ir的坐标系与对象图像Ic的坐标系对应的转换式即转换矩阵。
对位部14使用由转换矩阵推定部13所推定出的转换矩阵，来进行基准图像Ir与对象图像Ic的对位。
在仅输入有第一张图像的情况下，选择该图像来作为基准图像Ir0。并且，在输入有第二张图像(对象图像Ic)的情况下，对位部14将基准图像Ir0的位置作为基准来使对象图像Ic对位。
此处，所谓对位，是指决定基准图像Ir0的规定点(例如中心C0)与对象图像Ic的规定点(例如中心C1)的相对位置。对位部14探寻由匹配部12所获取的特征点对彼此最重合的位置。并且，当基准图像Ir0与对象图像Ic的对位完成时，记录位置关系已彼此链接(link)的意旨(链接Rel)。
例如，当八张输入图像的中心C0～C7之间被链接(链接Rel～Re7)时，反复进行基准图像选择部11选择基准图像Ir且对位部14形成链接的动作，由此能够使八张图像一边对位一边拼接。
另外，如前所述，通过对位部14而对位完成，当基准图像Ir0与对象图像Ic的相对距离成为规定值以上时，基准图像选择部11必须追加该对象图像Ic来作为接下来的基准图像Ir1，因此匹配部12将对象图像Ic的特征点的像素值及位置信息输出至基准图像选择部11。
若设旋转前的拍摄机20的拍摄面设为S0、旋转后的拍摄机20的拍摄面为S1，则拍摄面S0与拍摄面S1不存在于同一平面内。因此，使特征点对通过平行移动而重合的位置将不同于原本的重合位置。即，当进行对位时，必须考虑拍摄机的移动来进行对位，以使基准图像Ir的特征点的位置与对象图像Ic的特征点的位置在同一三维坐标系上一致。
基于所述理由，转换矩阵推定部13推定使基准图像Ir0的三维坐标系与对象图像Ic的三维坐标系一致的转换矩阵。
此处，转换矩阵推定部13具有下述功能，即，视基准图像Ir与对象图像Ic之间的移动仅为拍摄机20的旋转运动，从而限定拍摄机20的移动，使用特征点对的位置信息来推定转换式。本实施方式中，转换矩阵推定部13将特征点的二维坐标投影至三维空间的球面上，使用投影所得的坐标的对应关系来推定转换矩阵，并将推定出的转换矩阵输出至对位部14及拍摄控制部31。
图像合成部15使用由转换矩阵推定部13所推定出的转换矩阵，将通过对位部14而在三维空间的球面上对位的图像群作为描绘图像，将该描绘图像Id投影至作为二维平面的合成平面Sp上。并且，将描绘图像作为一张合成图像而输出至显示部35，并且记录至输出图像用缓冲器。显示部35显示从图像合成部15输出的图像信息。
拍摄控制部31设定引导信息。在设于拍摄机20的输入画面等上，当用户选择自拍引导摄影模式时，该信息经由输入部10而输出至拍摄控制部31，拍摄控制部31开始引导信息的设定处理。
拍摄控制部31例如设定作为全景图像而生成的摄影范围(以下称作“全景拍摄范围”)、摄影的张数(以下称作“摄影张数”)、每一次摄影的拍摄机20的旋转角度(以下称作“单位旋转角度”)，以作为引导信息。具体而言，例如将全景拍摄范围设定为“150度”的范围，将摄影张数设定为“5张”，将单位旋转角度设定为“30度”。另外，单位旋转角度只要是比拍摄机20的视场角(拍摄机的可摄影角度)小的角度即可，优选的是，可使各摄影时的拍摄范围分别重合10度以上。
基于从拍摄控制部31输出的全景拍摄范围、摄影张数及单位旋转角度，引导显示设定部32生成摄影引导图像，并显示于拍摄机20的拍摄待机画面上。如后所述，摄影引导图像是以告知一边使本装置转动一边使用拍摄机20来摄影的方法的形态而显示。由此，用户能够一眼掌握恰当的拍摄机的移动。而且，通过依照告知来使拍摄机20旋转地进行摄影，从而能够进行优质的全景图像生成所需的摄影。
移动传感器30是内置或附设于拍摄机20的传感器(sensor)，对用户移动拍摄机时的拍摄机20的移动信息进行检测。移动传感器30是具备对三轴的加速度进行检测的加速度传感器、对三轴的角速度进行检测的角速度传感器(陀螺仪传感器(gyro sensor))、及将这些传感器封装化的惯性计测装置(Inertial Measurement Unit，IMU)等传感器单元而构成。移动传感器30检测加速度或角速度来作为移动信息，并将检测出的移动信息输出至拍摄控制部31。通过使用由移动传感器30所检测的角速度或加速度，能够检测拍摄机20的方向及位移。
另外，作为图像处理装置1与外部装置间(例如拍摄机20与输入部10间以及图像合成部15与显示部35间等)的通信方式，可适用经由遵循规定通信规格的电缆(cable)来进行有线连接的形式、经由被称作支架(cradle)的兼用为充电器的中间装置来连接的形式、利用近距离无线通信来进行无线连接的形式等各种方式。
[1-2.处理]
当用户操作拍摄机20上所设的按钮(button)等来进行第一张的摄影时，将第一张摄影图像从拍摄机20输出至输入部10。输入部10向拍摄控制部31输出通知第一张的摄影已结束的摄影结束信号。
根据摄影结束信号而侦测到第一张的摄影结束的拍摄控制部31将以第一张的摄影时的拍摄机位置及方向为原点的拍摄机的当前位置信息输出至引导显示设定部32。引导显示设定部32将表示拍摄机的当前位置信息的标示(以下称作“当前位置标示”)显示于拍摄待机画面上。另外，此处是在第一张的摄影后显示当前位置标示，但也可在第一张的摄影前一并显示摄影引导图像。此时的当前位置标示只要以重合于表示第一张的摄影位置的摄影引导图像的方式来显示即可。
拍摄机20的当前位置信息通过从移动传感器30输出至引导拍摄控制部31的拍摄机20的移动信息而随时更新。更新后的移动信息通过显示于拍摄待机画面的当前位置标示的移动而告知给用户。
继而，拍摄控制部31经由引导显示设定部32而将摄影引导图像更新为第二张的摄影引导图像。第二张的摄影引导图像成为向用户告知使拍摄机20旋转的方向及旋转量目标的形态。例如，在如上所述般将单位旋转角度设定为“30度”的情况下，第二张摄影引导图像成为与拍摄机从第一张的摄影时朝规定方向旋转30度的位置对应的图像。
用户使拍摄机20旋转，以使拍摄待机画面的当前位置标示重合于第二张摄影引导图像所表示的位置。拍摄控制部31在基于从移动传感器30输出的移动信息而侦测到拍摄机20旋转了规定角度(例如30度)时，经由引导显示设定部32来对用户进行催促第二张的摄影的告知。用户基于该告知来操作拍摄机20上所设的按钮等来进行第二张的摄影。以下，同样进行第三张至第五张为止的摄影。
另外，所述说明中，说明了摄影全部通过用户的操作来进行的情况，但也可由侦测到拍摄机20旋转了规定角度的拍摄控制部31通过向拍摄机20输出摄影指示信号来自动进行摄影。此时，只要以使用户在旋转拍摄机20的中途不进行摄影的方式对用户进行实施摄影的意旨的告知，在移动传感器30侦测到用户依照告知而停止了拍摄机20的旋转后进行摄影即可。
而且，所述说明中，是通过移动传感器30来检测拍摄机20的移动信息，但并不限定于此。例如，也可基于各图像的特征点间的距离来检测拍摄机20的移动信息。以下，使用图1来说明该方法。
以下的说明中，设第一张摄影图像(自拍图像)为基准图像Ir0，第二张以后的摄影图像为对象图像IcN(N＝1、2...Nmax)来进行说明。
第二张以后的摄影图像IcN的位置如上所述，是通过从基准图像Ir0计起的旋转角度设定而在摄影前预先设定。
拍摄机20将映入拍摄机20内部的透镜(1ens)的光信号通过影像元件而转换为电信号，并输出至输入部10及显示部35。该图像信息作为拍摄待机画面而显示于显示部35上。该拍摄待机画面为实时图像(随时或每隔规定的时间间隔而更新的动态图像)。
将显示于拍摄待机画面且随时或每隔规定的时间间隔而更新的动态图像的图像之一设为当前图像IctM(M＝N-1)。以下，使用当前图像Ict0(在从基准图像Ir0的摄影后直至第二张的摄影(Ic1的摄影)为止的期间内实时显示于拍摄待机画面上的图像)来进行说明。
当前图像Ict0从拍摄机20经由输入部10而输出至匹配部12，匹配部12成对地获取基准图像Ir0与当前图像Ict0的中心位置的坐标信息。接下来，匹配部12将所获取的所述中心坐标对输出至转换矩阵推定部13，转换矩阵推定部13推定使基准图像Ir0的坐标系与当前图像Ict0的坐标系对应的转换式即转换矩阵。
接下来，转换矩阵推定部13将推定出的转换矩阵输出至拍摄控制部31。
拍摄控制部31基于推定出的转换矩阵来进行基准图像Ir0与当前图像Ict0的对位。继而，算出使基准图像Ir0的特征点(例如中心坐标)旋转规定角度(此时为30度)后的坐标，若该坐标与当前图像Ict0的特征点(例如中心位置)的坐标的距离为规定值及以下或小于规定值，则判定为拍摄机旋转了规定角度。另外，也可由对位部14来进行基于该转换矩阵的对位及拍摄机的旋转判定，并将判定结果输出至拍摄控制部31。
以下，Ictl(在从第二张的摄影直至第三张的摄影为止的期间内实时显示于拍摄待机画面上的图像)、Ict2也同样。
另外，也可同时采用上文所说明的使用移动传感器的方法及使用各图像的特征点坐标的方法，以提高拍摄机的移动检测的精度。
而且，对于全景拍摄范围、摄影张数及单位旋转角度，只要将若干个设定的组合预先存储在图像处理装置1或拍摄机20的存储部中，由用户根据用途来选择即可。而且，也可由用户输入任意的数值来设定。此时，在输入有无法设定的数值时(例如输入有在所使用的拍摄机的视场角下无法摄影的旋转角度时)，只要将该意旨显示为输入错误(error)而告知给用户即可。
[1-3.变形例]
以上说明的图像处理装置1表示了本发明的图像处理装置的一例，但本发明的图像处理装置并不限于图像处理装置1，也可在不变更各权利要求所记载的主旨的范围内，对实施方式的图像处理装置进行变形，或者适用于其他装置。
例如，所述实施方式中，对拍摄机20连续拍摄静态图像的示例进行了说明，但拍摄机20也可拍摄动态图像。此时，输入部10也可具有从所拍摄的动态图像中提取连续的图像的功能。而且，输入部10所输入的图像也可为从其他设备经由网络(network)而发送的图像。
而且，所述实施方式中，对由拍摄机20所拍摄的图像的大小为相同的情况进行了说明，但所拍摄的图像的大小也可在每次拍摄时为不同的大小。
而且，所述实施方式中，对图像处理装置1具备输入部10、基准图像选择部11、匹配部12、转换矩阵推定部13、对位部14、图像合成部15、拍摄控制部31及引导显示设定部32的结构进行了说明，但也可根据所要求的性能来适当变更这些结构。
例如，采用图像处理装置1具备输入部10、拍摄控制部31及引导显示设定部32的结构，以使连接于图像处理装置1的外部服务器(server)等信息处理终端具备与图像合成相关的功能，即，具备相当于基准图像选择部11、匹配部12、转换矩阵推定部13、对位部14及图像合成部15的功能。此时，只要采用下述结构即可，即：由拍摄机20所拍摄的图像信息经由图像处理装置1的输入部10及通信线路而输出至外部服务器，外部服务器使用图像信息来进行图像合成处理，且由外部服务器所生成的合成图像经由通信线路而输出至显示部35。
[2.实施例]
接下来，作为具备所述图像处理装置1的电子设备的一例，对智能电话2的实施例进行说明。但是，可适用本发明的实施例当然不限定于以下说明的实施例。
[2-1.功能结构]
图2(a)及图2(b)是表示本发明的智能电话2的一结构例的立体图。
图2(a)示出了智能电话2的框体60的前表面61，图2(b)示出了智能电话2的框体60的背面71。
智能电话2包含框体60、前置拍摄机62、后置拍摄机72、显示画面(触控面板(touchpanel))63、操作按钮64、进行声音输出的扬声器(speaker)73及闪光灯(flash light)74等。
前置拍摄机62、显示画面(触控面板)63及操作按钮64被设在框体60的前表面61，后置拍摄机72、扬声器73及闪光灯74被设在框体60的背面。
显示画面(触控面板)63例如包含：显示装置，具有包含液晶显示器(LiquidCrystal Display，LCD)的显示画面；以及触摸传感器(touch sensor)，检测对显示画面的触摸操作。
操作按钮64是以物理方式设于框体50，通过用户的按下操作来执行预先分配的功能。或者，也可使操作按钮64以图标(icon)形状显示于触控面板上，通过用户的触摸操作来进行操作。
图3是表示智能电话2的功能结构的一例的框图。
智能电话2具备处理部100、操作部200、显示部300、声音输出部400、拍摄部500、通信部600、时钟部700、存储部800、振动部750及移动传感器760。
处理部100是依照存储部800中所存储的***程序(system program)等各种程序来统一控制智能电话2的各部，或者进行与图像处理相关的各种处理的处理装置，是具有CPU或DSP等处理器或者ASIC等集成电路而构成。
处理部100具有基准图像选择部110、匹配部120、转换矩阵推定部130、对位部140、图像合成部160、显示控制部170、拍摄控制部150及引导显示控制部180，以作为主要的功能部。这些功能部分别对应于图1的图像处理装置1所具备的功能部。
操作部200是具有操作按钮或操作开关、鼠标(mouse)等供用户进行对智能电话2的各种操作输入的输入装置而构成。而且，操作部200具有与显示部300一体地构成的触控面板250，该触控面板250作为用户与智能电话2之间的输入接口(interface)发挥功能。依照用户操作的操作信号从操作部200输出至处理部100。
显示部300是具有液晶显示器(Liquid Crystal Display，LCD)等而构成的显示装置，基于从处理部100输出的显示信号来进行各种显示。显示部300是与触控面板250一体地构成而形成触摸屏(touch screen)。在显示部300上，显示摄影图像或修正图像等各种图像。
声音输出部400是具有扬声器等而构成的声音输出装置，进行基于从处理部100输出的声音输出信号的各种声音输出。
拍摄部500是可对任意场景(scene)的图像进行摄影地构成的拍摄装置，是具有电荷耦合器件(Charge Coupled Device，CCD)影像传感器或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)影像传感器等拍摄元件而构成。拍摄部500将光信号转换为电信号，并将数字化的摄影图像的数据输出至处理部100。
拍摄部500具备配设在智能电话2的显示部300侧的前置拍摄机62、及配设在其相反侧的后置拍摄机72以作为拍摄装置。
前置拍摄机62与后置拍摄机72可通过用户输入等来切换地构成。前置拍摄机62主要用于保持智能电话2的用户拍摄用户自身的自拍或群摄用。后置拍摄机72用于拍摄用户以外的人物或风景。
通信部600是用于与外部的信息处理装置之间收发在装置内部利用的信息的通信装置。作为通信部600的通信方式，可适用经由遵循规定通信规格的电缆(cable)来进行有线连接的形式、经由被称作支架的兼用为充电器的中间装置来连接的形式、利用近距离无线通信来进行无线连接的形式等各种方式。另外，以下的实施例中，显示于智能电话2的显示部300上的图像也可显示在经由通信部600而有线或无线连接于智能电话2的外部的显示终端装置上。
时钟部700为智能电话2的内部时钟，例如具有晶体振子及作为振荡电路的晶体振荡器而构成。时钟部700的计时时刻被随时输出至处理部100。
存储部800是具有只读存储器(Read Only Memory，ROM)或电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、快闪存储器(flash memory)、随机存取存储器(Random Access Memory，RAM)等易失性或非易失性的存储器、或者硬盘(hard disk)装置等而构成的存储装置。存储部800存储处理部100用于控制智能电话2的***程序、或者用于进行各种图像处理的程序或数据。
本实施例中，在存储部800中，存储有由处理部100所读出并作为拍摄机模式处理而执行的拍摄机模式处理程序810。拍摄机模式处理程序810包含作为图像生成处理而执行的图像生成程序811以作为子程序(subroutine)。
而且，在存储部800中，包含：已输入图像数据库830，保存从拍摄部500输入至处理部100的摄影图像的图像信息来作为已输入图像；输入图像用缓冲器850，暂时保存依次输入的摄影图像；以及输出图像用缓冲器870，保存最终生成的合成图像。
振动部750是具有马达等而构成的振动产生装置，进行基于从处理部100输出的振动产生信号的各种振动产生。该装置作为对用户的告知部件的一例，在使智能电话2振动时使用。
移动传感器760是可对智能电话2的移动信息进行检测地构成的传感器。移动传感器760将使智能电话2的移动信息转换为电信号的数据输出至处理部100。
拍摄控制部150是对与后述的智能电话2的自拍引导摄影模式相关的处理等进行控制的功能部，对从操作部200、拍摄部500、匹配部120、转换矩阵推定部130及移动传感器760等输出的数据进行处理，并输出至引导显示设定部180、显示部300、声音输出部400、拍摄部500及振动部750。
引导显示设定部180基于从拍摄控制部150输出的数据而生成引导图像等，并将它们输出至显示部300。
[2-2.处理]
图4是表示智能电话2的处理部100依照存储部800中所存储的拍摄机模式处理程序810而执行的拍摄机模式处理的流程的一例的流程图。该拍摄机模式处理是通过由用户启动拍摄机的应用(application)而执行的处理。
首先，处理部100判定由用户经由操作部200而选择的模式是否为自拍引导摄影模式(A10)。当选择了自拍引导摄影模式时(A10；是(Yes))，拍摄控制部150设定全景拍摄范围、摄影张数及单位旋转角度，并将各设定值输出至引导显示设定部180。引导显示设定部180基于各设定值信息来生成以下说明的摄影引导图像及当前位置标示图像，并显示于显示部300的拍摄待机画面(A15)。
另外，在进行人脸区域检测处理的情况下，只要在自拍引导摄影模式选择(A10)与自拍引导摄影设定(A15)之间设置进行人脸区域检测的步骤即可。
自拍引导摄影模式的拍摄待机画面包含当前图像、摄影引导图像及当前位置标示图像。当前图像是每隔规定的时间间隔而更新的所谓实时图像。经由拍摄部500(自拍引导摄影模式时为前置拍摄机62)中所设的透镜而入射至影像传感器的光信号由影像元件转换为电信号后，随时输出至处理部100，并通过显示控制部190而显示于显示部300。以下，随时更新当前图像，直至在A15中设定的摄影张数(例如5张)的摄影结束为止。
摄影引导图像是用于对用户进行催促其使智能电话2转动至规定角度的告知、与告知摄影张数及摄影顺序等的图像。而且，当前位置标示图像是用于告知智能电话2的当前位置信息的图像。
用户一边看着拍摄待机画面一边将拿着智能电话2的手臂伸向前方，使智能电话2的拍摄部500朝向用户自身的方向。继而，通过操作设于操作部200的按钮等，从而进行第一张的摄影(A35)。另外，由于第一张是用户的自拍图像，因此省略从旋转检测处理(A20)直至催促摄影的告知(A30)为止的处理。而且，此时，当前位置标示图像的显示可省略。
当拍摄部500的拍摄结束时，显示控制部190将所拍摄的摄影图像显示于显示部300上(A40)。
此时，若浏览了摄影图像的用户欲重新拍摄图像，则用户也可操作设于操作部200的按钮等而返回A35，进行使拍摄部500再次拍摄一张图像的拍摄处理。
接下来，若摄影张数小于在A15中设定的摄影张数(A45；否(No))，处理部100使处理返回A15。并且，拍摄控制部150将摄影引导图像更新为第二张的摄影引导图像，并对用户进行催促其使智能电话2旋转至进行第二张摄影的旋转角度(以下称作“拍摄旋转角度”。)为止的告知(A15)。
用户按照告知内容来使智能电话2旋转，以使拍摄待机画面的当前位置标示图像重合于第二张的摄影引导图像所示的位置。拍摄控制部150基于从移动传感器760输出的移动信息来执行智能电话2的旋转检测处理(A20)。然后，当侦测到智能电话2旋转了在A15中设定的规定角度(例如30度)时(A25；是)，拍摄控制部150经由引导显示设定部180来对用户进行催促第二张摄影的告知(A30)。
继而，用户操作设于操作部200的按钮等来进行第二张的摄影(A35)。以下，同样地进行第3张以后的摄影。当在A15中设定的摄影张数(5张)的摄影结束时(A45；是)，继而，处理部100判定是否由用户经由操作部200进行了生成全景图像的执行操作(A50)，若判定为未进行(A50；否)，则返回A15，再次进行自拍引导摄影设定。
另一方面，若判定为由用户进行了生成全景图像的执行操作(A50；是)，则处理部100依照存储部800中所存储的图像生成程序811来执行图像生成处理(A55)。
继而，显示控制部190将在图像生成处理中生成的合成图像作为全景图像而显示控制于显示部300(A60)。随后，判定是否由用户进行了结束自拍引导摄影模式的操作(A65)，若判定为未进行操作(A65；否)，则使处理返回A15。
另一方面，若在A10中判定为自拍引导摄影模式未被选择(A10；否)，则处理部100进行通常摄影模式处理(A100)。在通常摄影模式处理中，处理部100根据用户对操作部200的摄影操作来使拍摄部500进行一张图像的拍摄，使所拍摄的摄影图像存储于存储部800中，并显示于显示部300。
若在A65中判定为进行了结束自拍引导摄影模式的操作(A65；是)，或者，在A100的通常摄影模式处理的执行后，处理部100判定是否由用户进行了结束拍摄机模式的操作(A70)，若判定为未进行结束操作(A70；否)，则使处理返回A10。另一方面，若判定为进行了结束操作(A70；是)，则结束拍摄机模式处理。
另外，所述说明中，摄影全部是通过用户的按钮操作等来进行，但也可通过基于由移动传感器760所检测出的旋转角度而侦测到智能电话2的方向已与摄影引导所示的拍摄方向一致(智能电话2旋转了规定角度)的拍摄控制部150向拍摄部500输出摄影指示信号，从而自动进行摄影。此时，较佳的是设定为：以使用户在使智能电话2旋转的中途不进行摄影的方式，在移动传感器760检测到智能电话2停止了规定时间(例如一秒钟)后，自动进行摄影。
而且，也可设定为：由移动传感器760侦测到智能电话2旋转了规定角度(例如30度)的拍摄控制部150对用户进行引导旋转动作停止的告知，随后，侦测到智能电话2停止了规定时间(例如一秒钟)的拍摄控制部150向拍摄部500输出摄影指示信号，由此来自动进行摄影。而且，所述引导旋转动作停止的告知不仅在旋转了规定角度(例如30度)时，也可在相对于规定的旋转角度而接近至规定范围为止时(例如相对于30度而旋转至25度为止时)进行。而且，也可在达到规定的旋转角度时、与相对于规定的旋转角度而接近至规定范围为止时，进行不同形态的告知。在如上所述般自动进行摄影时，省略对用户催促摄影操作的告知(A30)。
而且，所述说明中，设通过移动传感器760来侦测智能电话2的移动信息(A20)，但并不限定于此，也可如[1-2.处理]中所说明般，基于图像的特征点间的距离来侦测智能电话2的移动。而且，也可使用借助移动传感器760的侦测、与基于特征点间距离的侦测这两者。
(外部服务器的活用)
而且，所述实施例中，对智能电话2的处理部100具备基准图像选择部110、匹配部120、转换矩阵推定部130、对位部140、图像合成部160、显示控制部170、拍摄控制部150及引导显示控制部180的结构进行了说明，但也可适当变更这些结构。
例如，采用智能电话2的处理部100具备拍摄控制部150、显示控制部170及引导显示设定部180的结构，使设在智能电话2外部的服务器等信息终端具备与图像合成相关的功能，即，具备相当于基准图像选择部110、匹配部120、转换矩阵推定部130、对位部140及图像合成部160的功能。由拍摄部500所拍摄的图像信息经由通信部600及通信线路而输出至外部服务器，外部服务器使用图像信息来进行图像合成处理。由外部服务器所生成的合成图像经由通信部600及通信线路而输出至智能电话2的显示部300。
只要设定为如下即可：从智能电话2向外部服务器的图像信息的输出是对应于每次拍摄、每规定的拍摄张数、每规定时间或者成为智能电话2可连接至外部服务器的状态时等，基于来自拍摄控制部150的输出命令而进行。例如，较佳的是，在依照摄影引导图像而规定张数的拍摄结束的时机，进行图像信息的输出。而且，只要设定为如下即可：外部服务器的图像合成处理是在输入有规定张数的图像信息的时机自动进行。或者也可设定为如下：例如拍摄控制部150在依照摄影引导图像而规定张数的拍摄结束的时机，将图像合成处理命令发送至外部服务器。而且，也可设定为如下：来自外部服务器的合成图像的输出及显示可在合成图像的生成结束后自动进行，例如通过用户操作智能电话2的操作部200来进行。
如此，通过根据摄影图像的张数或像素数而在外部服务器中进行数据处理量变大的图像合成处理，从而能够降低智能电话2的数据处理量。而且，图像合成处理中的对位处理由于数据处理的负载大，因此若在智能电话2等移动终端中搭载的处理部(CPU或DSP等处理器或者ASIC等集成电路)的数据处理能力下高速进行图像合成处理，则有时不得不生成粗略地对位的合成图像。如上所述，通过在数据处理能力大幅高于移动终端的服务器中进行图像合成处理，从而能够高速且准确地获得对位的合成图像。
而且，所述实施例中，对下述情况进行了说明，即，在智能电话2的存储部800中包含：已输入图像数据库830，保存从拍摄部500输入至处理部100的摄影图像的图像信息来作为已输入图像；输入图像用缓冲器850，暂时保存依次输入的摄影图像；以及输出图像用缓冲器870，保存最终生成的合成图像，但是，合成图像也可保存在连接于智能电话2的外部服务器的存储部中。借此，能够降低智能电话2的存储部800的存储量。
而且，合成图像的显示并不限于智能电话2的显示部300，也可显示于与外部服务器有线或无线连接的外部的显示终端装置。合成图像在外部的显示终端装置上的显示既可通过用户操作智能电话2的操作部200来进行，也可不经由智能电话2的操作及处理而从外部的显示终端装置读出外部服务器的存储部中所保存的合成图像并予以显示。借此，即使在智能电话2中进行有其他作业的情况下，也能够在外部的显示终端中参照合成图像。而且，用户能够在比智能电话2的显示部300大的外部的显示终端画面上参照合成图像。而且，能够不经由智能电话2的操作及处理而从外部的显示终端装置参照合成图像，由此，例如用户能够参照由过去拍摄的图像所生成的合成图像，一边将其作为参考一边进行下个拍摄引导图像的设定及拍摄操作。
[2-3.显示画面]
图5(a)及图5(b)是表示显示部300上所显示的自拍引导摄影模式的拍摄待机画面的一例的图。
图5(a)图示了下述状态，即，在图4的拍摄机模式处理中启动自拍引导摄影模式，在拍摄待机画面上，显示有当前图像、摄影引导图像及当前位置标示图像(A15)。
在图5(a)的拍摄待机画面上，显示有单手拿着智能电话2的用户40及其背景，以作为当前图像。
作为摄影引导图像，显示有使椭圆的圆弧的一部分具备规定宽度的形状的旋转引导41、及圆形的中心引导43这两种。当前位置标示显示有与旋转引导41对应的旋转标示42、及与中心引导43对应的中心标示44这两种。旋转引导41及中心引导43的中心位置被配置于显示部300的左右方向的中心线(中心轴)上。
图5(a)所示的旋转引导41的使椭圆的圆弧的一部分具备规定宽度的形状，是为了对用户引导下述动作而有效的形状，即，将显示部300的左右方向的中心线作为旋转的中心轴来使智能电话2朝左右方向转动以进行多次摄影。只要用户能够领会旋转的中心轴的位置，即使不将旋转的中心轴显示在显示部300也可以。如图5(a)所示，用户可以藉由旋转引导41的形状领会旋转的中心轴在显示部300的左右方向的中心线位置，因此不进行旋转的中心轴的显示。
而且，构成旋转引导41的外缘的、椭圆的一部分的角度(内角)成为与作为全景图像而生成的摄影范围(全景拍摄范围)对应的角度。作为设定角度的一例，图5(a)中的该角度设为150度。当全景拍摄范围窄于150度，例如被设定为90度时，旋转引导41的该角度则与此对应地设定得较小。
而且，旋转引导41基于所设定的单位旋转角度(例如30度)而分割成旋转引导单元41a～41e这五个区域来显示。旋转引导41的分割数即旋转引导单元的数量表示了将要进行的摄影的摄影张数为五张。而且，如图5(a)及图5(b)所示，通过对旋转引导单元标注影线(hatching)，从而将表示下个拍摄方向的旋转引导单元告知给用户。此处，图5(a)表示了第一张的摄影(用户的正面方向的自拍摄影)时的拍摄待机画面，因此仅对旋转引导单元41c标注影线，从而可与其他旋转引导单元识别地予以显示。
由此，用户只要一看旋转引导41，便可想起使智能电话2转动以进行多次摄影的动作，且可认识到全景拍摄范围、单位旋转角度、摄影张数及下个拍摄方向。
另外，旋转引导41的形状如后所述，并不限于图5(a)所示的形状。例如，也可将矩形板状的旋转引导单元排列在椭圆或圆的外周上。进而，也可设为使该板状引导单元具备纵深的形状。
而且，图5(a)的各旋转引导单元是以实线划分而显示，但显示的形态并不限于此，只要是能够视认相邻的旋转引导单元间的边界的形态即可。
而且，图5(b)中，对表示下个拍摄方向的旋转引导单元标注了影线，但也可将图5(b)中标注了影线的区域，以例如规定的不透明度(例如50％)的规定色(例如蓝色)而显示。借此，可在能够视认当前图像的状态下，一眼视认到表示下个拍摄方向的旋转引导单元。另外，显示的形态并不限于此，只要是可识别表示下个拍摄方向的旋转引导单元与除此以外的旋转引导单元的形态即可。例如，也可为使表示下个拍摄方向的旋转引导单元的外框的显示色不同或闪烁等的形态。
旋转标示42在图5(a)中，重合于旋转引导单元41c而显示。以下，将此种状态称为引导与标示一致的状态。对于旋转标示42与旋转引导单元41a～41e，使用图5(b)及图6(a)及图6(b)来后述。
外观旋转引导45为智能电话2的外观示意图，以对应于智能电话2的转动动作而旋转的方式予以显示。通过外观旋转引导45，用户能够一眼就直观地掌握使智能电话2旋转的方向。
图5(a)及图5(b)中，旋转标示42是以比旋转引导41粗的实线来表示，但显示形态并不限于此，例如为了提高旋转标示42的视认性，只要采用与旋转引导41不同的显示色即可。而且，也可在与旋转标示42和旋转引导41的距离远隔的状态一致的状态下，使旋转标示42的颜色发生变化。而且，当引导与标示一致时，也可进行使旋转标示42闪烁等借助光的告知或者使智能电话2振动的告知、借助声音的告知。
而且，也可将旋转引导41以椭圆或圆的圆弧的一部分的线(实线或虚线等)来显示，将旋转标示42以图形、文字、符号等来显示。此时，只要在各旋转引导单元的圆弧的中央显示图形、文字、符号等标记(mark)，使智能电话2旋转而在该标记与旋转标示42一致的位置进行摄影即可。
接下来，对图5(a)所示的中心引导43及中心标示44进行说明。
当为了第二张以后的摄影而使智能电话2旋转时，考虑智能电话2朝上下左右移动的情况。例如，当用户结束自身左侧的摄影，继而为了进行右侧的摄影而使智能电话2再次旋转到用户的正面时，有时会因拿着智能电话2的手臂的疲劳等而导致智能电话2的位置从第一幅摄影时的位置朝上下左右移动。若在此状态下使智能电话2旋转来进行用户右侧的摄影，则所拍摄的图像会相对于第一张摄影图像而产生大的偏移，结果有可能损害所生成的全景图像的美观。中心引导43及中心标示44将此种朝向上下左右方向的偏移告知给用户，以催促用户进行智能电话2的位置修正。
中心引导43是以将拍摄待机画面的中心位置作为原点的圆形来显示。例如，当用户进行第一张的自拍图像摄影时，如图5(a)所示，只要使智能电话2移动以使中心引导43位于脸的中心，便能够使脸的中心与画面的中心一致。即，拍摄待机画面的中心位置可以说是表示瞄准哪个位置来进行摄影即可的瞄准位置。
以比中心引导43大的圆而显示的中心标示44是对应于智能电话2朝向上下左右方向的移动而显示于拍摄待机画面的标示。图5(a)表示了第一张摄影时的拍摄待机画面，因此中心标示44及中心引导43是作为将拍摄待机画面的中心位置作为原点的圆而显示，该状态为无偏移状态的显示形态。
为了将如上所述的朝向上下左右方向的偏移告知给用户，例如将第一张摄影时的拍摄待机画面的中心位置作为中心引导43而持续显示于拍摄待机画面上。在用户使智能电话2旋转时智能电话2发生了移动的情况下，以中心标示44相对于中心引导43而朝移动方向发生了偏移的状态予以显示。
图5(a)及图5(b)中，中心引导43是以圆形而显示，中心标示44是以使圆的外周具备宽度的形状而显示，进而，中心引导43及中心标示44是以规定的不透明度(例如50％)而显示，但显示的形态并不限于此。例如，中心引导43及中心标示44也可为正方形、菱形(diamond)形状等的其他图形或文字、符号等，而非圆。而且，例如为了提高中心标示44的视认性，只要采用与中心引导43不同的显示色即可。而且，也可在与中心标示44和中心引导43的距离远隔的状态一致的状态下，使中心标示44的颜色发生变化。而且，当中心引导43与中心标示44一致时，也可进行使中心标示44闪烁等借助光的告知或者使智能电话2振动的告知、借助声音的告知。
当第一张的摄影结束时(A35)，由于摄影张数小于所设定的必要摄影张数(A45：否)，因此拍摄控制部150将摄影引导图像更新为第二张的摄影引导图像(A15)。
图5(b)表示了用户按照第二张的摄影引导图像来使智能电话2旋转的状态。
第二张的摄影引导图像中，对于旋转引导41的表示下个拍摄方向的旋转方向的引导41b及引导41d标注有影线，用户只要选择左右任一方向来使智能电话2旋转即可。图5(b)中表示了：用户使智能电话2朝向旋转引导单元41b的方向(左方向)旋转，旋转标示42对应于该旋转角度而移动。
而且，图5(b)的中心标示44显示在从中心引导43朝左偏移的位置。这表示：当用户使智能电话2旋转时，使智能电话2朝左方向进行了平行移动。用户使智能电话2朝右方向平行移动，直至中心标示44的圆的中心与中心引导43的圆的中心重合的位置为止，即，直至中心引导43与中心标示44的位置关系成为与图5(a)的显示状态相同为止，从而修正朝向平行方向的偏移。而且，图5(b)中表示了朝左方向偏移的示例，在朝上下方向发生了偏移的情况，只要同样地进行修正即可。
而且，在图5(a)及图5(b)的拍摄待机画面的上部，配置了模仿智能电话2的外观的外观旋转引导45。外观旋转引导45是与旋转标示42同样地设定为，对应于智能电话2的旋转方向与角度而旋转。用户通过同时视认实际的智能电话2的旋转方向与外观旋转引导45的旋转方向，从而能够容易地使智能电话2朝下个拍摄方向旋转。
以下，使用图6(a)及图6(b)、图7(a)及图7(b)与图8(a)及图8(b)来说明图5(a)所示的摄影引导图像及当前位置标示图像的变形例。本发明的实施例并不限于以下的变形例，在不变更各权利要求所记载的主旨的范围内，实施例的摄影引导图像及当前位置标示图像的形状、显示位置及组合可进行变更。
(在旋转引导41的中心位置配置中心引导43)
图6(a)是在构成旋转引导41的椭圆的中心位置显示中心引导43的示例。具体而言，配置成：中心引导43的中心位置与构成旋转引导41的外缘的椭圆的中心位置一致。图6(a)中，进而显示有连结旋转引导41的端部与椭圆的中心位置的虚线47。此时，也可在中心位置进而显示图形或符号。旋转引导41及中心引导43的中心位置是与图5(a)同样地，配置于显示部300的左右方向的中心轴上。旋转标示42与中心标示44的功能与图5(a)及图5(b)中说明的功能相同。
通过如图6(a)般显示旋转引导41与中心引导43，从而用户无须移动视线便能够视认旋转引导41与中心引导43这两者。因此，能够容易地进行智能电话2的旋转与朝向上下左右方向的位置修正。
(中心标示44与旋转引导41联动地移动)
图6(b)是对应于中心标示44的位置变动而使旋转引导41的显示位置发生变动的示例。
在如图5(b)般智能电话2朝左方向进行了平行移动的情况下，对应于该位置变动，中心标示44相对于显示在显示部300中央的中心引导43而朝左方向偏移。此时，图5(b)中，旋转标示42为不移动的设定。与此相对，图6(b)所示的示例中，对应于中心标示44的位置变动，旋转引导41也朝左方向移动。
借此，用户更易掌握当前的智能电话2的位置从中心位置发生了偏移的情况。
(移动操作错误告知：旋转标示42发生变形)
图7(a)是当智能电话2进行了旋转动作以外的移动时，通过使旋转标示42发生变形，从而对用户进行移动操作错误告知的示例。
当智能电话2朝左方向进行了平行移动时，设定为，旋转标示42对应于该位置变动而发生变形。例如，只要设定为如下即可：如图7(a)所示般，原本呈与旋转引导单元41b一致的形状的旋转标示42例如以矩形来显示。进而，也可设为进行使旋转标示42的颜色发生变化、闪烁等处理的设定。
借此，只要显示旋转引导41及旋转标示42，便能够对用户进行智能电话2的移动操作错误告知。
(移动操作错误告知：旋转引导41发生变形)
图7(b)是当智能电话2进行了旋转动作以外的移动时，通过使旋转引导41或旋转引导单元41b发生变形，从而对用户进行操作错误告知的示例。
如图7(a)或图7(b)般，当旋转标示42的一部分或旋转引导41(旋转引导单元41b)变形为矩形状时，用户能够一眼就掌握：即便在该位置使智能电话2旋转，也无法如后述的图9(c)所示般使旋转标示42与旋转引导单元41b一致(即无法进行拍摄)。
(移动操作错误告知：旋转标示42进行移动)
图8(a)是当智能电话2进行了旋转动作以外的移动时，通常位于构成旋转引导41的形状内或沿着形状移动的旋转标示42以从旋转引导41偏移的状态而显示，由此来对用户进行移动操作错误告知的示例。
例如，如图8(a)所示，当智能电话2朝上方向进行了平行移动时，设定为，对应于该位置变动而旋转标示42移动至从旋转引导41朝上方向偏移的状态。同样，当智能电话2朝左方向进行了平行移动时，只要设定为如下即可：使旋转标示42以从旋转引导41朝左方向平行移动而偏移的状态予以显示。
当旋转标示42从旋转引导41发生了偏移时，用户能够一眼就掌握：即便在该位置使智能电话2旋转，也无法如后述的图9(c)所示般使旋转标示42与旋转引导单元41b一致(即无法进行拍摄)。
(将中心引导43的中心与中心标示44的中心间连线)
也可如图8(b)所示，显示将中心引导43的中心位置与中心标示44的中心位置间予以连结的直线46。借此，能够使用户明确认识到必须使中心引导43的中心位置与中心标示44的中心位置一致。而且，若在直线46的一端附加朝向中心引导43的中心位置的方向，即用户进行智能电话2的位置修正的方向的箭头，则成为更有效的告知。
而且，也可对应于直线46的长度(中心引导43的中心位置与中心标示44的中心位置间的距离)而使直线46的线宽及线的颜色发生变化。此时，例如只要采用下述等设定即可：直线46的长度越短则使线宽越粗；当直线46的长度变长时，线的颜色从蓝色变化为红色。
而且，当用户修正智能电话2的位置以使中心引导43的中心与中心标示44的中心一致时及旋转引导单元与旋转标示一致时，也可使这些引导或标示的一部分或全部的显示色发生变化或闪烁，由此来对用户进行告知。
以上说明的示例中，是使用表示引导及标示的图形、符号、文字等，利用其移动或颜色的变化等来对用户进行告知，但也可在显示部300上显示数值信息，由此来对用户进行告知，以引导进行恰当的摄影所需的动作。
例如，如图5(b)所示，当智能电话2朝左方向进行平行移动时，将智能电话2的位置修正所需的距离、例如从当前位置朝右移动10英寸(inch)的距离作为数值信息而实时显示于显示部300上。用户一边参照将0英寸作为目标值而实时显示的数值信息一边使智能电话2朝右平行移动，由此能够修正智能电话2的位置变动。
同样，当进行智能电话2的旋转动作时，将旋转方向与单位旋转角度(例如朝左30度)作为数值信息而显示于显示部300上，同时将从当前位置旋转30度为止的旋转角度作为数值信息而实时显示。用户一边参照将30度作为目标值而实时显示的数值信息一边使智能电话2旋转，由此能够使智能电话2旋转至适合于摄影的旋转角度为止。
而且，以上说明的示例中，将用户依照告知来修正智能电话2的位置以继续下次摄影作为前提而进行了说明，但若偏移量大，则有时不进行位置修正而暂时中断摄影的做法更有效率。为了执行该操作，只要将经由移动传感器760而检测到偏移量大于规定值的拍摄控制部150中断摄影模式的步骤设置于A25与A30之间，摄影中断后返回A15，返回第一张的摄影引导设定处理或该摄影引导的设定处理即可。进而，只要将该意旨的文本消息(textmessage)显示于显示部300，以对用户进行告知即可。
图9(a)至图9(e)表示进行第1张至第4张为止的摄影的期间的、作为拍摄待机画面而显示于显示部300上的旋转引导41及旋转标示42的显示变化的示例。
图9(a)及图9(b)中，与图5(a)及图5(b)的旋转引导41及旋转标示42相同，因此省略说明。
图9(c)中，与图9(a)同样，旋转引导单元41b与旋转标示42成为一致的状态。即，表示已由用户使智能电话2旋转至第二张的摄影位置为止。对于用户，显示催促第二张的摄影操作的告知(A30)。
在第二张的摄影结束后，与第一张的摄影结束后同样，将摄影引导图像更新为接下来的第三张的摄影引导图像。即，成为下述状态：对旋转引导单元41b标注的影线消失，取而代之，对旋转引导单元41a标注有影线。图9(d)表示用户按照第三张的摄影引导图像的显示来改变智能电话2的角度，从而旋转引导单元41a与旋转标示42一致的状态。在此状态下进行第三张的摄影。
图9(e)同样表示用户按照第四张的摄影引导图像的显示来改变智能电话2的角度，从而旋转引导单元41d与旋转标示42一致的状态。在此状态下，进行第四张的摄影。
继而，在未图示的第五张的摄影引导图像中，仅对剩余的旋转引导单元41e标注有影线。用户按照第五张的摄影引导图像的显示来改变智能电话2的角度，直至旋转引导单元41e与旋转标示42一致为止，从而进行第五张的摄影。
图10(a)及图10(b)是表示旋转引导的另一显示形态的示例的图。
在图5(a)及图5(b)～图9(a)至图9(e)中，为了表示摄影顺序，对表示下个摄影角度的旋转引导单元标注了影线。图10(a)及图10(b)是以数字来显示摄影顺序的示例。首先，用户在图10(a)所示的显示为“1”的旋转引导单元41c的位置进行第一张的摄影。继而，按照所显示的数字的顺序，在旋转引导单元41b、41a、41d、41e的位置进行摄影。另外，数字的显示也可如图10(b)所示般设定为，在各旋转引导单元位置处的摄影结束后不再显示。而且，也可将表示摄影顺序的数字与影线处理加以组合而显示。
(上下方向引导摄影模式)
以上说明的实施例中，对下述情况进行了说明，即，使智能电话2以显示部300的左右方向的中心线作为旋转的中心轴而使智能电话2旋转以进行多次摄影，从而获得左右方向为广角范围的全景合成图像，但本发明的引导功能对于下述情况也有效，即，以显示部300的上下方向的中心线作为旋转的中心轴而使智能电话2朝上下方向旋转以进行多次摄影，从而获得上下方向为广角范围的全景合成图像。
为了执行该操作，只要在拍摄机模式处理开始后设置选择上下方向引导摄影模式的步骤即可。进而，当上下方向引导摄影模式受到选择时，只要取代自拍引导摄影设定、引导显示及引导更新(A15)，而设置进行上下方向引导摄影设定、引导显示及引导更新的步骤即可。
此时，作为对用户的引导，显示旋转的中心轴线、上下方向较长的矩形的旋转引导、将旋转引导根据单位旋转角度而分割为例如三个的旋转引导单元、及与旋转引导单元的形状对应的旋转标示。上下方向较长的旋转引导的中心是配置于旋转的中心轴线上。即，成为在水平方向上旋转的中心轴线横切上下方向较长的旋转引导的中心的形态。旋转引导例如也可设为上底短于下底的梯形或三角形，只要将使其以单位旋转角度来分割而成者作为各旋转引导单元即可。而且，也可同时显示中心引导及中心标示。
(正圆型的旋转引导)
以上所说明的示例中，作为旋转引导41，表示了使椭圆的圆弧的一部分具备规定宽度的形状，但旋转引导41的形状并不限定于此，也可如图11(a)所示，采用使正圆的圆弧的一部分具备规定宽度的形状。图11(a)表示了与旋转引导41一同而在与图6(a)同样的位置显示有中心引导43及中心标示44的示例。
(椭圆或圆的局部形状型的旋转引导)
以上所说明的示例中，将旋转引导41的形状如图5(a)及图5(b)～图10(a)及图10(b)及图11(a)般设为使椭圆或圆的圆弧的一部分具备规定宽度的形状(将从椭圆或圆的中心点至规定距离为止的内周部予以去除的形状)，但也可设为将椭圆或圆沿着从其中心点朝向外周的方向分割而成的形状。此时，旋转引导单元成为具有规定角度(例如150度)的内角的椭圆或圆的局部形状，各旋转引导单元成为具有单位旋转角度(例如30度)的内角的椭圆或圆的局部形状。
或者，也可将旋转引导单元的外周设为直线形状而非椭圆或圆的圆弧。此时，进而在未将从旋转引导的中心点至规定距离为止的内周部予以去除的情况下，各旋转引导单元成为具有单位旋转角度(例如30度)的内角的三角形的形状。
(引导的组合：在旋转引导的中心位置显示外观旋转引导)
而且，多种引导显示的组合并不限于旋转引导41与中心引导43的组合。例如，也可如图11(b)所示，将旋转引导41与外观旋转引导45加以组合。图11(b)中，在使椭圆的圆弧的一部分具备规定宽度的形状的旋转引导41的圆弧的中心位置，配置有旋转的中心轴48及外观旋转引导45。
通过设为如图11(b)般，用户无须移动视线便能够视认旋转引导41及外观旋转引导45这两者。而且，通过一同显示旋转的中心轴48，从而能够让用户明确地意识到旋转的中心轴位于智能电话2上。
(屏幕(screen)型的旋转引导)
或者，也可如图11(c)所示，将旋转引导41的形状设为如下所述的形状，即，使多个四边形的旋转引导单元沿水平方向排列，对中央的旋转引导单元41c左右的旋转引导单元(此时为旋转引导单元41b及旋转引导单元41d)赋予倾斜。进而，也可将旋转的中心轴48显示于旋转引导单元41(c)的左右方向的中心线上。通过将旋转引导单元如此般设为四边形的形状(屏幕形状)而配置多个，从而能够以面来显示旋转引导单元的倾斜方向及倾斜程度，因此具有容易与实际的智能电话2的倾斜方向及倾斜程度进行比较的优点。
(圆柱、多棱形型的旋转引导)
或者，也可如图11(d)所示，将旋转引导41的形状设为圆柱形状。此时，旋转引导单元41a～41e成为将圆柱的侧面基于单位旋转角度(例如30度)而沿垂直方向予以分割的形状。而且，也可如图11(d)所示，将连结圆柱的上表面及下表面的中心点的直线显示为旋转的中心轴48，进而，在旋转的中心轴48上显示外观旋转引导45。而且，圆柱也可为多棱柱，此时，旋转引导单元41a～41e成为构成多棱柱的侧面的矩形形状。
(引导的显示位置)
而且，对于显示部300内的摄影引导的显示位置，也可以下述方式构成。另外，为了简化说明，在以下的结构例中，使用旋转引导41及旋转标示42来进行说明，但应明确的是，本发明并不限定于此。
(显示在画面中央或人脸区域的中心)
图12(a)表示使旋转引导41显示在显示部300的中心位置的状态。图12(a)中，使位于旋转引导41中央的旋转引导单元41c的中心位置一致于显示部300的中心位置而显示，但也可使构成旋转引导41外缘的椭圆的中心位置一致于显示部300的中心位置而显示。
或者，也可执行人脸区域检测，并以旋转引导单元41c的中心位置或构成旋转引导41外缘的椭圆的中心位置、与所述检测的结果显示的矩形区域即人脸区域49的中心位置一致的方式，来显示旋转引导41。
此处，所谓人脸区域检测，是指对人物的脸进行检测的物体检测处理的一例，采用维奥拉琼斯(Viola-Jones)法或使用类哈尔(Haar-like)特征量的人脸区域检测法等公知的方法。为了执行人脸区域检测，只要在自拍引导摄影模式判定(A10；是)与自拍引导摄影设定(A15)之间，新设置人脸区域检测处理的步骤。而且，为了简化说明，将所检测的人脸区域设为矩形来进行说明，但应明确的是，人脸区域的形状并不限于矩形，也可为正方形、圆或椭圆等。
借此，作为摄影者的用户无须移动视线，便能够视认旋转引导41及摄影对象(此时为用户40的脸)这两者。
(显示在人脸区域以外)
或者，也可如图12(b)所示，在人脸区域49以外的位置显示旋转引导41及旋转标示42。此处，在图12(b)中，是在人脸区域49以外且显示部300的上部显示旋转引导41及旋转标示42，但也可显示在人脸区域49的显示区域以外且显示部300的下部。借此，由于人脸区域49与旋转引导41及旋转标示42并不重合而是分开显示，因此具有容易视认被摄物的状态(此时为用户自身的表情等)的优点。
进而，也可在不与人脸区域49重合的范围内、且尽可能接近人脸区域49的位置，显示旋转引导41及旋转标示42。即，使图12(b)所示的旋转引导41移动到更接近人脸区域49的矩形范围的位置。借此，用户无须移动视线便能够视认被摄物的状态与旋转引导41这两者。
(显示在前置拍摄机附近)
而且，也可如图13(a)所示，在靠近智能电话2的前置拍摄机62的位置显示旋转引导41及旋转标示42。在前置拍摄机62与旋转引导41及旋转标示42的位置分开的情况下，在摄影时，预计用户的视线会朝向旋转引导41及旋转标示42而非前置拍摄机62，由此将在用户的视线较前置拍摄机62偏向下方向的状态下进行摄影。与此相对，通过如图13(a)般将旋转引导41及旋转标示42显示在接近前置拍摄机62的位置，从而能够在用户的视线更接近地朝向前置拍摄机62的状态下进行摄影。而且，用户能够在将视线维持在接近前置拍摄机62的位置的状态下，一边看着旋转引导41及旋转标示42一边使智能电话2旋转来进行摄影，因此操作性提高。
(多个人脸区域检测：显示在所选择的人脸区域或人脸区域以外、全景拍摄范围的设定)
而且，如群摄般，有时会有作为摄影者的用户以外的多个人物的脸映入显示部300。此种情况下，设定为：以旋转引导单元41c的中心位置或构成旋转引导41外缘的椭圆的中心位置、与多个人脸区域中的所选择的任一个人脸区域的中心位置一致的方式，来显示旋转引导41。人脸区域的选择将通过用户的点击(tap)、双击(double tap)或长按等操作来进行。或者，也可在规定条件下自动进行人脸区域的选择。例如，为了从多个人脸区域中自动选择作为摄影者的用户自身的人脸区域，只要采用下述设定即可，即：自动选择具备最大面积的人脸区域或最接近显示部300中央的人脸区域，以作为用户自身的人脸区域的可能性高的区域。
或者，也可如图13(b)所示，在所检测出的多个人脸区域以外的区域显示旋转引导41。在图13(b)中，在所检测出的多个人脸区域50a、50b及50c以外的区域、且在人脸区域50b的附近显示旋转引导41。
图5(a)的说明中，设旋转引导41的中心位置配置在显示部300的左右方向的中心轴上，以该中心轴为基准来设定全景拍摄范围(例如150度)，但在如上所述般存在多个人脸区域的情况下，也可设置如下所述的设定。
即，如上所述从多个人脸区域中选择一个人脸区域后，以该人脸区域的左右方向的中心轴为基准来设定全景拍摄范围(例如150度)。此时，较佳的是设定为，利用文字或箭头等符号来告知全景拍摄范围的中心已被变更的情况。而且，对于所选择的人脸区域，为了与其他的人脸区域辨别开来，有效的是进行使人脸区域的框的颜色发生变化、闪烁等处理。
借此，在有多个人物的脸映入显示部300的情况下，能够设定以所选择的人脸区域为中心的全景拍摄范围。对于是仅将引导的显示位置设定在所选择的人脸区域或人脸区域以外，还是与此同时变更全景拍摄范围的中心，例如只要在显示部300上显示菜单(menu)以供用户选择即可。
(基于用户操作的引导显示位置的变更)
而且，也可设定为：能够通过用户的点击、双击或长按等操作来选择所显示的旋转引导41，并通过拖曳(drag)操作来使旋转引导41移动到显示部300内的所需位置。而且，也可设为：能够通过点击、双击或长按等操作来选择所显示的旋转引导41，并通过捏合(pinch)操作来变更旋转引导41的大小。
而且，也可使旋转引导41的大小对应于显示部300内的旋转引导41的显示位置及可显示区域的大小而发生变化。例如，如图13(b)所示，当使摄影引导显示在人脸区域以外的位置时，人脸区域以外的区域有时较窄(显示部300中的可显示摄影引导的区域窄)。此种情况下，也可设定为，使摄影引导大小对应于可显示区域的大小而缩小。
(引导的优先显示)
而且，在智能电话2未处于摄影位置的状态下，也可设定为，较被摄物而优先显示引导显示。例如，在智能电话2尚未旋转至下个摄影位置为止(例如单位旋转角度30度)的期间，对引导显示与包含被摄物的映入前置拍摄机62的场景的亮度设置差异，将引导显示的亮度设为比映入前置拍摄机62的场景的亮度高的状态。或者，将映入前置拍摄机62的场景的亮度设为比引导显示的亮度低的状态。引导显示的优先显示的解除只要在智能电话2旋转至摄影位置为止时、或者朝摄影位置接近至规定范围为止时进行即可。而且，也可随着接近摄影位置而逐渐减小亮度差，在旋转至摄影位置为止时消除亮度差，以进行优先显示的解除。而且，优先显示的形态并不限于亮度差，只要使用户观察显示画面时的视认性产生差异即可，例如也可使用明度差、或者亮度与明度的组合差。
(显示矩形的旋转引导与中心轴)
图14(a)至图14(c)是显示有矩形的旋转引导及以智能电话2为中心的旋转中心轴的、引导显示的一例。图14(a)表示用户将智能电话2的前置拍摄机62朝向用户的方向进行自拍的状态。图14(a)中，在显示部300的左右方向的中心位置显示有表示旋转的中心轴48的直线。进而，为了让用户意识到旋转动作，在中心轴48的周围呈圆弧状地显示有附箭头的实线。在显示部300的上端，显示有图14(a)所示的旋转引导41及旋转标示42，所述旋转引导41包含水平方向较长的矩形形状的旋转引导单元41a～41e。图14(b)表示使智能电话2朝旋转引导单元41b的方向旋转的中途的状态。图14(c)表示智能电话2旋转至旋转引导单元41b的位置为止的状态。
另外，较佳的是，在中心轴48上进而显示与图11(b)同样的外观旋转引导45及表示旋转方向的箭头。而且，也可将中心引导43及中心标示44显示在旋转的中心轴上的任意位置。
而且，中心轴48无须如图14(a)至图14(c)所示般显示在智能电话2的显示部300的整个垂直方向上，也可仅显示在上部的规定范围内。或者，也可使中心轴48及圆弧状的附箭头的实线显示在旋转引导41内、例如旋转引导单元41c内部。而且，表示旋转方向的圆弧状的附箭头的实线也可为直线而非圆弧状。
借此，能够让用户明确理解要进行旋转动作来进行摄影。
(矩形的旋转引导、拍摄范围标示、拍摄图像的显示)
以上所说明的示例中，对将旋转引导41及旋转标示42予以组合的引导显示进行了说明，但也可在旋转引导41中显示表示拍摄范围的拍摄范围标示46及所拍摄的图像的缩小图像47。以下，使用图15(a)至图15(c)来说明此情况下的引导显示的一例。
图15(a)表示第一张的摄影(用户正面方向的自拍摄影)时的拍摄待机画面。图15(a)中，在显示部300的上部右上，显示有旋转引导41及拍摄范围标示46，该旋转引导41包含垂直方向较长的旋转引导单元41b～41d。拍摄范围标示46是重合于位于旋转引导41中央的旋转引导单元41c而显示，在拍摄范围标示46及旋转引导单元41c的位置，显示有在旋转引导单元41c的位置所拍摄的第一张图像(用户正面方向的自拍图像)的缩小图像47。进而，在旋转引导41之下，显示有与图11(b)同样的外观旋转引导45。
拍摄范围标示46是表示当前的智能电话2的前置拍摄机62的拍摄范围及旋转状态的标示。拍摄范围标示46对应于拍摄旋转角度而在旋转引导41中左右移动。而且，拍摄范围标示46的形状被设定为，在用户使智能电话2旋转的中途，对应于智能电话2的旋转方向及旋转角度而由矩形变形为梯形，当智能电话2旋转至下个拍摄旋转角度为止时，再次恢复为矩形。
旋转引导单元41c的垂直方向与水平方向的尺寸比是对应于拍摄图像的垂直方向与水平方向尺寸比，理想的是设定为相同的尺寸比。位于旋转引导单元41c左右的旋转引导单元41b及旋转引导单元41d的水平方向的尺寸既可设为与旋转引导单元41c相同，也可如图15(a)至图15(c)所示，设定为比旋转引导单元41c短。
在外观旋转引导45中，显示表示下个旋转方向的圆弧状的附箭头的实线。另外，表示下个旋转方向的附箭头的实线也可显示在旋转引导41内。而且，也可为直线形状而非圆弧状。
进而，较佳的是，在显示部300上显示催促朝左方向或右方向旋转的文本消息。而且，也可与图5(b)同样地，在旋转引导单元41c的位置处的摄影后，对旋转引导单元41b及旋转引导单元41d标注影线，由此来将下个拍摄方向告知给用户。
图15(b)表示用户为了在旋转引导单元41b的位置进行第二张的摄影而使智能电话2旋转的中途的拍摄待机画面。拍摄范围标示46的形状是对应于智能电话2的旋转方向及旋转角度而由矩形变形为梯形来显示。而且，外观旋转引导45是以与智能电话2的旋转方向及旋转角度对应的倾斜而显示，进而标注有表示当前的旋转方向的箭头(此时为左方向的箭头)。另外，较佳的是在显示部300上显示文本消息，该文本消息是催促在到达下个拍摄旋转角度为止的期间内继续旋转。
继而，图15(c)表示第二张的摄影时的拍摄待机画面。拍摄范围标示46的形状由梯形恢复为矩形，对应于智能电话2的旋转方向及旋转角度朝左方向移动而显示。进而，在拍摄范围标示46的位置，显示有第二张摄影时的图像(在旋转引导单元41b的位置处拍摄的图像)的缩小图像47。如此，通过将所拍摄的图像的缩小图像47显示在旋转引导41内，从而用户无须从旋转引导41移开视线，便能够一边视认拍摄范围间的重合状态一边进行全景摄影。
在图15(c)的外观旋转引导45中，显示有表示下个旋转方向的箭头(此时为右方向的箭头)。进而，较佳的是，在显示部300上显示催促朝向相反方向的旋转的文本消息。而且，也可与图9(d)同样地，在第二张的摄影后对旋转引导单元41d标注影线，由此来将下个拍摄方向告知给用户。
另外，旋转引导41的显示位置并不限于显示部300的上部右上，也可为显示部300内的任意位置，例如上部中央、上部左上。而且，也可将中心引导43及中心标示44显示于显示部300的中心位置。
(以用户为基准的拍摄角度)
以上所说明的示例中的旋转引导41及旋转标示42是以智能电话2为基准来表示从用户所见的智能电话2的方向(旋转方向与旋转程度)。而且，显示于拍摄待机画面上的图像为镜像。与此相对，也可以用户为基准，使根据智能电话2的方向而变化的作为摄影对象的内容反映至旋转引导。以下，使用图16(a)至图16(c)来说明此时的旋转引导的一例。
图16(a)表示第一张图像摄影时的状态。标示51是以使矩形的外周的一部分具备宽度的形状而显示，其中心位置被固定于显示部300的中心位置。旋转引导41′包含矩形的旋转引导单元41a′～41e′，其整体对应于智能电话2的旋转而横向移动。图16(a)是对位于旋转引导单元41a′～41e′中央的旋转引导单元41c′，标注有表示为摄影位置的影线的状态。进而，也可显示表示下个摄影方向(此时为旋转引导单元41b′)的箭头52。旋转引导单元是与图5(a)及图5(b)～图10(a)及图10(b)的示例相反地，以位于端部的旋转引导单元41a′及旋转引导单元41e′排列在显示画面的靠近侧的方式而显示。而且，显示于拍摄待机画面的图像成为与图5(a)及图5(b)～图14(a)至图14(c)的示例左右反转的图像。
第一张的摄影结束后，用户使智能电话2旋转，以使旋转引导单元41b′收聚在标示51的范围内。对应于智能电话2的旋转，旋转引导41′朝横向(此时为右方向)移动。在旋转引导单元41b′中，预先显示有当智能电话2旋转至旋转引导单元41b′所表示的摄影位置为止时成为摄影对象的内容(映入前置拍摄机62的场景)，用户通过在智能电话2的旋转操作过程中视认显示于旋转引导单元41b′的内容，从而能够预先掌握接下来会拍摄怎样的图像。
图16(b)是第二张图像摄影时的状态。在用户使智能电话2旋转而使旋转引导单元41b′收聚在标示51的范围内的状态下，进行第二张的摄影。第三张以后的摄影也同样。而且，图16(c)是将图16(a)的旋转引导41′的上部与下部的外缘设为椭圆外缘的局部形状的变形例。
借此，较之图5(a)及图5(b)～图14(a)至图14(c)所示的旋转引导的显示形态，难以引起是否要以使智能电话旋转的形式来对被摄物周围进行摄影之类的误认。而且，能够以将要拍摄怎样的图像预先提示给用户的形式来进行摄影。
而且，图16(a)至图16(c)的示例中，并未显示图5(a)及图5(b)～图14(a)至图14(c)的示例中所说明的当前位置标示。这是因为，如上所述，在图16(a)至图16(c)中显示于拍摄待机画面上的图像是相对于图5(a)及图5(b)～图14(a)至图14(c)的示例而左右反转的图像。具体而言，若在图16(a)至图16(c)中进而显示当前位置标示以欲修正智能电话2的左右方向的位置，则当前位置标示的移动与实际的智能电话2的移动方向为相反，用户有可能发生混乱。因而，理想的是省略当前位置标示图像的显示，或者，作为当前位置标示图像的代替，利用表示修正方向的箭头之类的图形信息、“右(RIGHT)”、“左(LEFT)”之类的文字信息及表示位置修正所需的距离的数值信息等，来显示智能电话2的位置修正所需的信息。
而且，若在智能电话2的旋转时存在上下方向的偏移，则也可设定为，相对于引导51而偏移地显示旋转引导41′。而且，若存在朝向平行方向的偏移，则也可设定为，使旋转引导41′整体或相应的旋转引导单元的矩形显示发生变化(例如变形为梯形形状)。
以上，对摄影引导的显示形态的示例及显示位置的示例进行了说明，但对于所使用的摄影引导的种类、组合及显示位置，例如只要在显示部300上显示菜单以供用户选择即可。
而且，所述说明中，对以第一张摄影图像为中心来左右均等地使智能电话2旋转的示例进行说明，但本实施例的形态并不限于此。例如，也可设置能够选择仅在用户的左侧或右侧进行第二张以后的摄影的步骤，以设定全景拍摄范围。并且，当用户选择仅对左侧进行摄影时，仅显示旋转引导单元41a～41c，而不显示旋转引导单元41d及旋转引导单元41e。或者，只要将“缩小摄影范围(摄影中途结束)”的图标显示于触控面板250上，在旋转引导单元41a～41c的范围的摄影结束后，通过触摸该图标来结束摄影，从而进行全景图像生成即可。或者，也可通过用手指来点击所显示的旋转引导单元，从而能够各别地切换旋转引导单元的显示与不显示。
而且，所述说明中，是对在A15中设定的旋转引导41的范围(全景拍摄范围)进行摄影，但本实施例的形态并不限于此。例如，也可设置下述步骤，即，能够进行选择，以使用户能对较所设定的旋转引导41更广的范围进行摄影。
例如，在图5(a)中设定为：当在用户使智能电话2旋转而结束旋转引导单元41a的位置处的摄影后，进一步使智能电话2朝同方向旋转时，拍摄控制部150对用户显示是否进行摄影范围的放大的选择菜单。当用户选择摄影范围的放大时，更新旋转引导41，并朝同方向追加显示旋转引导单元。同时更新所需摄影张数的信息。
或者，只要在旋转引导41的左右端的任一摄影结束时，使“放大摄影范围”的图标显示于触控面板250，通过用户触摸该图标，从而拍摄控制部150更新旋转引导41，而追加显示旋转引导单元即可。
或者，只要设定为如下即可：当在旋转引导41的左右端的任一摄影结束后，用户进一步使智能电话2朝放大全景拍摄范围的方向旋转时，根据移动传感器760的输出而判断为摄影范围已放大的拍摄控制部150自动更新旋转引导41，并朝所放大的方向追加显示旋转引导单元。
而且，所述说明中，对于在A15中所设定的摄影范围(全景拍摄范围)，设为进行设定为相同的摄影张数的摄影，但本实施例的形态并不限于此。例如，也可通过对智能电话2朝向相反方向的旋转进行检测，从而重新设定摄影范围及摄影张数。
具体而言，例如，在图5(a)中，在结束旋转引导单元41c及旋转引导单元41b的摄影的阶段，用户使智能电话2朝相反方向旋转。此时设定为，经由移动传感器760而检测到用户使智能电话2朝相反方向旋转的拍摄控制部150判断为旋转引导单元41a的位置处的摄影已被取消(cancel)，对旋转引导41的显示进行更新，将相反方向的旋转引导单元41d作为下一个摄影位置而告知给用户。进而，也可采用下述设定：基于旋转引导单元41a被取消的情况，位于相反方向的线对称位置的旋转引导单元41e也予以取消。
以上为缩小摄影范围的示例，但摄影范围的追加也同样。例如，假设在结束旋转引导单元41c、41b及41a的摄影的阶段，用户使智能电话2进一步朝同方向旋转。此时，拍摄控制部150判断为追加了从旋转引导单元41a进一步旋转的位置处的摄影，对旋转引导41的显示进行更新，在旋转引导单元41a的左侧追加旋转引导单元。旋转引导单元的追加反复进行至用户使智能电话2朝向相反方向旋转为止。经由移动传感器760而检测到用户使智能电话2朝相反方向旋转的拍摄控制部150判断为同旋转方向的摄影已结束，从而将相反方向的旋转引导单元41d作为下个摄影位置而告知给用户。进而，也可采用下述设定：将旋转引导单元41a左侧的摄影范围所追加的数量份，追加至位于相反方向的线对称位置的旋转引导单元数。
而且，所述说明中，对于在A15中所设定的摄影范围，设为进行设定为相同的摄影张数的摄影，但本实施例的形态并不限于此。例如也可设定为，在第一张的摄影阶段，仅将一个单位旋转角度、即仅将一个旋转引导单元显示为引导，并根据随后的用户操作来追加旋转引导单元以使摄影范围放大。
例如，在图5(a)中，仅将A15中的旋转引导41的显示设定设为单位旋转角度(例如30度)的旋转引导单元41c。此时，引导设定及显示所需的信息仅为单位旋转角度。假设在该位置处进行第一张的摄影后，用户使智能电话2朝左方向旋转。经由移动传感器760而检测到用户使智能电话2旋转的拍摄控制部150判断为摄影张数已追加，对旋转引导41的显示进行更新，在旋转引导单元41c的左侧追加旋转引导单元41b。同样，也可进一步追加左侧的旋转引导单元41a、右侧的旋转引导单元41d及旋转引导单元41e来进行摄影。摄影结束(A45)的判断只要通过用户对操作按钮的操作等来进行即可。
而且，为了使用户意识到智能电话2的旋转动作，也可在自拍引导摄影模式判定(A10；是)或自拍引导摄影设定(A15)的步骤中，将表示第一张的摄影位置的旋转引导单元41c与使椭圆的一部分(内角150度)的圆弧具备规定宽度的形状的旋转引导41的外缘一同显示。
或者，也可在摄影开始时刻不显示旋转引导单元，而在第一张的摄影结束后显示所摄影的范围的旋转引导单元(此时为旋转引导单元41c)。
另外，所述说明中，第一张的摄影是以旋转引导单元41c来进行，但也可将除此以外的旋转引导单元用于第一张的摄影。
而且，所述说明中，是将在自拍引导摄影模式下所摄影的摄影图像(所述说明中为五张)用于全景图像的生成，但也可不将它们全部用于全景图像的生成。
例如，在自拍引导摄影模式下对旋转引导单元41a至旋转引导单元41e为止的五张进行摄影后，通过摄影图像的显示控制(A40)，用户对摄影图像进行确认。此时，例如有时欲将旋转引导41a的位置处的摄影图像从全景生成的对象图像中予以去除。为了执行该操作，只要在摄影图像的显示控制(A40)与图像生成执行操作(A55)之间，新设置用户可从摄影图像中选择欲用于A55的全景图像生成的图像的步骤即可。
而且，为了生成更佳的全景图像，也可多次(例如连续两次)进行自拍引导摄影模式下的摄影，并使用户能够从对应于每个旋转角度引导单元而保存的多个摄影图像中选择用于全景图像生成的摄影图像。此时，用户例如能够对旋转引导单元41b～41e选择第1次的摄影图像，而仅对剩余的旋转引导单元41a选择第2次的摄影图像来执行全景图像生成。
(换手辅助)
当用户用右手拿着智能电话2时，使智能电话2朝向用户的右侧方向旋转要比朝向左方向的旋转难。而且，若勉强进行大角度的旋转，则拿着智能电话2的手臂朝上下左右移动的可能性高。为了防止此现象，例如在用户左侧的摄影结束的时机，进行催促将拿着智能电话2的手由右手改为左手的告知。例如，优选的是，将“换手中”图标显示于触控面板250上，当由右手换为左手时，通过触摸该图标，从而能够临时中断及重新开始自拍引导摄影模式。
(旋转速度限制)
移动传感器760对智能电话2的移动信息进行检测，但若以规定的速度以下使智能电话2旋转，则预计测定误差会变大。而且，若旋转耗费时间，则拿着智能电话2的手臂的疲劳度会相应地提高，从而手臂整体的位置有可能下降。因此，即使从摄影结束经过规定时间以上(例如10秒以上)仍未侦测到直至下个摄影引导为止的旋转时或者未进行摄影时，可在拍摄待机画面上告知该意旨以催促用户注意。而且，也可设定为，自动中断自拍引导摄影模式。
(全景拍摄范围设定)
以下说明下述示例，即：如图17(a)所示，当将人物C设为作为摄影者的用户，而欲获得将横向排列的A～D这四个人物设为被摄物的全景合成图像58时，在进行实际的摄影之前，进行全景拍摄范围设定。
为了执行全景拍摄范围设定，只要在自拍引导摄影模式判定(A10；是)与自拍引导摄影设定(A15)之间，设置进行全景拍摄范围设定及告知的步骤即可。进而，若在全景拍摄范围设定之前设置进行人脸区域检测的步骤，则更为效果。
图17(b)、图17(c)及图17(d)是人物C使智能电话2旋转时，作为拍摄待机画面而显示于显示部300上的图像的示例，人脸区域50a、50b、50c、50d分别表示通过人物A、B、C、D的人脸区域检测而设定的人脸区域。旋转引导41、旋转引导单元41a～41e及旋转标示42是在以下说明的全景拍摄范围设定后显示(图17(d))。或者，在全景拍摄范围设定之前，也可如图17(b)及图17(c)所示，例如以150度的范围来暂时显示使椭圆的一部分的圆弧具备宽度的形状的旋转引导41，以催促用户进行智能电话2的旋转动作。
在以下说明的全景拍摄范围设定中，在进行摄影之前，用户使智能电话2旋转，以包含欲生成为全景合成图像58的范围，即，在图17(a)至图17(d)的示例中包含人物A～D，拍摄控制部150基于用户所旋转的角度范围的信息来设定全景拍摄范围。
首先，用户使智能电话2旋转，以使包含位于左端的人物A的人脸区域50a的所需图像显示在拍摄待机画面上为止，并将该位置维持规定时间(例如两秒钟)(图17(b))。将其设为全景拍摄范围的端部1。此时，也可进行“请将智能电话2旋转到左右任一端，并维持此状态两秒钟”等的告知。
移动传感器760对智能电话2的直至全景拍摄范围的端部1为止的旋转角度进行检测，并输出至拍摄控制部150。随后，对在规定时间(此时为两秒钟)无智能电话2的旋转及移动的情况进行侦测，并将端部1的设定结束的信号输出至拍摄控制部150。
接下来，用户使智能电话2旋转至包含位于右端的人物D的人脸区域50d的所需图像显示在拍摄待机画面上为止，并将智能电话2的位置维持规定时间(例如两秒钟)(图17(c))。将其设为全景拍摄范围的端部2。此时，也可进行“请将智能电话2旋转到相反侧的一端，并维持此状态两秒钟”等的告知。
移动传感器760对智能电话2的直至全景拍摄范围的端部2为止的旋转角度进行检测，并输出至拍摄控制部150。随后，对在规定时间(此时为两秒钟)无智能电话2的旋转及移动的情况进行侦测，并将端部2的设定结束的信号输出至拍摄控制部150。
另外，在智能电话2的旋转后，也可取代将该状态维持规定时间的操作，而通过用户按下智能电话2的操作按钮等的操作来进行端部1及端部2的设定。或者，也可通过检测到智能电话2朝向一方向旋转后已朝相反方向旋转的移动传感器760将该信息输出至拍摄控制部150，从而进行端部1及端部2的设定。
进到A15，拍摄控制部150基于直至所述端部1及端部2为止的旋转角度的信息来设定全景拍摄范围，且引导显示设定部180基于从拍摄控制部150输出的信息，将旋转引导41、旋转引导单元41a～41e及旋转标示42显示于显示部300上(图17(d))。
此时，如图17(d)所示，旋转引导41的中心(全景拍摄范围的中心)是配置于作为摄影者的人物C的人脸区域50c左右的中心线上。人物A及人物B位于人物C的左侧，人物D位于右侧，因此旋转引导41并非左右均等。即，设定为，显示旋转引导单元41a～41d，而未包含在全景拍摄范围内的旋转引导单元41e不显示。或者，如图17(d)所示般设定为，仅旋转引导单元41e以与其他旋转引导单元41a～41d不同的显示形态而显示(本例中，以虚线来显示旋转引导单元41e的框)。随后，进行A15～A55的处理，通过图像生成处理(A55)而生成全景图像58。
借此，用户能够在进行实际的摄影之前，设定包含欲摄影的多个人脸的全景拍摄范围。而且，能够掌握全景图像的生成所需的摄影张数。
(后置拍摄机用引导摄影模式)
以上说明的实施例中，对在自拍或群摄时，使用搭载于智能电话2的框体60的前表面61的前置拍摄机62的情况进行了说明，但本发明的引导功能在使用搭载于智能电话2的背面71侧的后置拍摄机72的情况下也有效。
以下，使用图18(a)至图18(d)～图20来作具体说明。
对图18(a)所示的欲获得广范围的风景全景合成图像59的情况进行说明。
当如风景全景合成图像59般进行作为摄影者的用户自身不包含在被摄物中的摄影时，用户有时会使用后置拍摄机72而非前置拍摄机62来作为摄影用拍摄机。
为了执行该操作，只要在拍摄机模式处理开始后，设置选择后置拍摄机用引导摄影模式的步骤即可。进而，当由用户选择了后置拍摄机用引导摄影模式时，只要取代自拍引导摄影设定、引导显示及引导更新(A15)，而设置进行后置拍摄机用引导摄影设定、后置拍摄机用引导显示及引导更新的步骤即可。
图18(b)表示后置拍摄机用引导摄影模式下的第一张的摄影阶段。另外，旋转引导55的形状成为与使用前置拍摄机62的情况相反的方向、即朝显示画面的里侧弯曲的、使椭圆的圆弧的一部分具备规定宽度的形状。用户与自拍引导摄影模式同样地，按照旋转引导55、旋转引导单元55a～55c、旋转标示56的显示，在图18(b)的标注有影线的旋转引导单元55a所示的位置处进行第一张的摄影。继而，用户使智能电话2旋转至图18(c)及图18(d)所示的标注有影线的与旋转引导单元对应的位置为止，来进行第2张与第3张的摄影。随后，通过图像生成处理(A55)，能够获得图18(a)所示的广范围的风景全景合成图像59。
(后置拍摄机用的全景拍摄范围设定)
图19(a)至图19(c)是将使用图17(a)至图17(d)所说明的自拍引导摄影中的全景拍摄范围设定适用于后置拍摄机用引导摄影模式的示例。
用户使智能电话2旋转至显示出成为全景合成图像左端的图像的所需位置为止，以进行端部1的设定(图19(a))。继而，使智能电话2旋转至显示出成为全景合成图像右端的图像的所需位置为止，以进行端部2的设定(图19(b))。进到A15，拍摄控制部150基于直至所述端部1及端部2为止的旋转角度的信息来设定旋转引导55(图19(c))。
(整周引导摄影模式)
图20是并用后置拍摄机72及前置拍摄机62来进行以作为摄影者的用户为中心的整周(360度)图像摄影，从而进行整周全景图像合成时的引导显示的一例。
为了执行该操作，只要在拍摄机模式处理开始后设置选择整周引导摄影模式的步骤即可。
在整周引导摄影模式下，用户在自拍引导摄影模式及后置拍摄机用引导摄影模式进行摄影之后，处理部100按照存储于存储部800中的图像生成程序811来执行图像生成处理(A55)，从而生成整周全景图像。
当对用户的相反侧进行摄影时，用户使用后置拍摄机72，依照旋转引导单元57a～57c来使智能电话2旋转以进行摄影。
当对用户侧进行摄影时，用户使用前置拍摄机62，依照旋转引导单元57e～57g来使智能电话2旋转以进行摄影。
对于与用户侧和跟用户为相反侧的中间位置对应的、旋转引导单元57d及旋转引导单元57h的位置处的摄影，只要用户选择前置拍摄机62与后置拍摄机72中的任一个来预先设定即可。或者，只要设置下述步骤即可：当智能电话2旋转到与旋转引导单元57d或旋转引导单元57h对应的位置为止时，拍摄控制部150对用户进行催促切换拍摄机的告知，让用户选择要使用的拍摄机。
(摄影辅助器材)
而且，所述说明中，是用户使拿在手中的智能电话2转动来进行多次摄影，但也可将智能电话2安装于摄影辅助器材的具备旋转机构的固定部，通过使该固定部旋转来进行智能电话2的旋转。例如用户将智能电话2通过夹具等而固定于摄影辅助器材的具备旋转机构的固定部。继而，用户一边视认智能电话2的显示部300上所显示的旋转引导41一边操作遥控器等，以进行摄影辅助器材的固定部的旋转及停止动作。旋转及停止动作是由智能电话2的移动传感器760进行检测，检测结果被随时输出至拍摄控制部150。摄影是通过侦测到智能电话2旋转了规定角度之后停止了规定时间(例如一秒钟)的拍摄控制部150向智能电话2的拍摄部500输出摄影指示信号而自动进行。或者，也可由用户一边视认旋转引导41与旋转标示42，一边操作智能电话2的操作按钮或遥控器来进行摄影。
或者，也可设定为：在摄影辅助器材的控制部中预先存储将规定角度的旋转与停止动作进行规定次数的设定，摄影辅助器材的固定部自动将旋转及停止动作进行规定次数。此时，在智能电话2被安装于摄影辅助器材的状态下，用户启动摄影辅助器材。继而，摄影辅助器材的固定部自动进行预先设定的规定角度的旋转及规定时间的停止动作。旋转及停止动作的检测以及摄影的指示是由智能电话2的移动传感器760及拍摄控制部150来进行。
或者，也可从智能电话2的处理部100向摄影辅助器材的控制部输出旋转方向、单位旋转角度及摄影范围等信息。摄影辅助器材的控制部也可基于该信息来驱动摄影辅助器材的固定部，以进行旋转及停止动作。
作为摄影辅助器材，有设置于桌面的器材、连接于拍摄机的一脚或三脚的器材、连接于自拍杆的器材等，但应明确的是并不限定于这些器材。
借此，能够将智能电话2的移动仅限定于旋转方向，因此能够防止因朝向上下左右方向的平行移动等造成的摄影失败。
而且，所述说明中，对针对用户的视觉告知进行了说明，但本实施例的告知方法并不限于此，包括使用智能电话2的振动部750来使智能电话2振动的告知、使用智能电话2的声音输出部400来进行借助声音引导的告知、或者借助它们的组合的告知等。
[3.变形例]
可适用本发明的实施例当然并不限定于所述实施例，可在不脱离本发明的主旨的范围内进行适当变更。以下，对变形例进行说明，但对于与所述实施例相同的结构标注相同的符号，并省略再次的说明。
[3-1.电子设备]
图像处理装置1可配设在智能电话或拍摄机、数码拍摄机、平板终端、PDA、个人计算机(personal computer)等电子设备中。只要是具备拍摄部的电子设备，则可在各种电子设备中具备本发明的图像处理装置1。
而且，用户也可使显示在智能电话2中的显示部300上的合成图像显示于其他电子设备(信息处理装置)的显示部上。具体而言，例如，用户将手边的智能电话2与个人计算机进行通信连接。然后，用户将显示在智能电话2的显示部300上的合成图像转发至个人计算机。个人计算机使从智能电话2转发的合成图像显示在显示器上，用户在个人计算机的显示画面上浏览合成图像。
另外，此时，也可设为将由智能电话2所拍摄的摄影图像的全套图像数据发送至个人计算机，由个人计算机取代智能电话2来生成合成图像，并显示于个人计算机的显示器上。此时，智能电话及个人计算机成为本发明中的图像处理装置1。
[3-2.记录介质]
所述实施方式中，与图像生成相关的各种程序或数据被存储在图像处理装置1的存储部或智能电话2的存储部800中，通过处理部读出并执行这些程序，从而实现所述各实施方式中的图像处理。此时，各装置的存储部除了ROM或EEPROM、快闪存储器，硬盘、RAM等内部存储装置以外，还可具备存储卡(memory card)(安全数字(Secure Digital，SD)卡)或紧凑快闪(Compact Flash，CF)(注册商标)卡、存储棒(memory stick)、通用串行总线(Universal Serial Bus，USB)存储器、可重写光盘(Compact Disc-ReWritable，CD-RW)(光盘)、磁光盘(Magneto Optical，MO)等记录介质(记录媒体、外部存储装置)，也可在这些记录介质中存储所述的各种程序或数据。
图21是表示此时的记录介质的一例的图。
在智能电话2中，设有用于***存储卡9的卡槽(card slot)910，并设有用于对***卡槽910内的存储卡9中存储的信息进行读取或者向存储卡9中写入信息的卡读写器(card reader writer)(R/W)920。卡读写器920进行下述动作，即：通过处理部100的控制，将记录于存储部800中的程序或数据写入存储卡9中。通过以智能电话2以外的外部装置(例如个人计算机)读取存储卡9中记录的程序或数据，从而能够在该外部装置中实现所述实施方式中的合成图像的生成。

Claims (28)

1.一种图像处理装置，具备显示拍摄对象的显示装置与对所述拍摄对象进行拍摄的拍摄装置，所述图像处理装置的特征在于还包括：
引导显示控制部件，使所述显示装置显示用于从不同的拍摄角度对所述拍摄对象进行拍摄的引导；以及
图像合成部件，将通过从不同的拍摄角度对所述拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述引导是提示使所述拍摄装置旋转以从不同的拍摄角度对所述拍摄对象进行拍摄。
3.根据权利要求2所述的图像处理装置，其特征在于还包括：
第1检测部件，检测所述拍摄装置的旋转方向及旋转量，
所述引导显示控制部件根据所述拍摄装置的旋转方向及旋转量来使所述引导的显示形态发生变化。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述引导包含第1图像，所述第1图像提示为了生成所述合成图像而通过多次拍摄的应拍摄范围即整体拍摄范围。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述第1图像提示拍摄所述整体拍摄范围所需的拍摄次数。
6.根据权利要求4所述的图像处理装置，其特征在于，
所述引导还包含提示当前的拍摄范围的第2图像，
所述引导显示控制部件根据所述拍摄装置的旋转方向及旋转量来使所述第2图像相对于所述第1图像的相对位置发生变化。
7.根据权利要求6所述的图像处理装置，其特征在于，
通过所述第2图像相对于所述第1图像的相对位置来提示以所述拍摄装置为基准的拍摄角度。
8.根据权利要求4所述的图像处理装置，其特征在于，
所述引导还包含所拍摄的图像的缩小图像，
所述引导显示控制部件根据所述拍摄装置的旋转方向及旋转量来使所述缩小图像相对于所述第1图像的相对位置发生变化。
9.根据权利要求6所述的图像处理装置，其特征在于，
通过所述第2图像相对于所述第1图像的相对位置来提示以用户为基准的拍摄角度。
10.根据权利要求6所述的图像处理装置，其特征在于，
当通过所述第2图像相对于所述第1图像的相对位置来提示拍摄角度时，在提示以所述拍摄装置为基准的拍摄角度的情况下与提示以用户为基准的拍摄角度的情况下，使显示于所述显示装置的图像的左右位置反转。
11.根据权利要求6所述的图像处理装置，其特征在于，
所述第1图像被划分为与拍摄所述整体拍摄范围所需的拍摄次数对应的多个区块，根据所述第2图像位于哪个区块来提示拍摄角度。
12.根据权利要求10所述的图像处理装置，其特征在于，
所述第1图像是提示关于所述多个区块的各个的、与所述区块对应的拍摄顺序。
13.根据权利要求4所述的图像处理装置，其特征在于还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件以将由所述人脸区域检测部件所检测出的人脸区域作为中心而形成所述整体拍摄范围的方式，来设定所述第1图像。
14.根据权利要求4所述的图像处理装置，其特征在于还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件在由所述人脸区域检测部件所检测出的人脸区域存在多个的情况下，以将其中任一者作为中心而形成所述整体拍摄范围的方式，来设定所述第1图像。
15.根据权利要求4所述的图像处理装置，其特征在于还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件在由所述人脸区域检测部件所检测出的人脸区域存在多个的情况下，以形成至少包含两端的人脸区域的所述整体拍摄范围的方式，来设定所述第1图像。
16.根据权利要求3所述的图像处理装置，其特征在于，
所述拍摄装置包含第1拍摄装置及第2拍摄装置，所述第1拍摄装置对与所述显示装置所朝向的方向相同的方向进行拍摄，所述第2拍摄装置对与所述显示装置所朝向的方向相反的方向进行拍摄，用户可选择通过所述第1拍摄装置及所述第2拍摄装置中的哪个拍摄装置来进行拍摄，
根据所选择的所述拍摄装置，所述引导的显示形态不同。
17.根据权利要求4所述的图像处理装置，其特征在于，
所述拍摄装置包含第1拍摄装置及第2拍摄装置，所述第1拍摄装置对与所述显示装置所朝向的方向相同的方向进行拍摄，所述第2拍摄装置对与所述显示装置所朝向的方向相反的方向进行拍摄，用户可选择通过所述第1拍摄装置及所述第2拍摄装置中的哪个拍摄装置来进行拍摄，
所述整体拍摄范围是包含所述第1拍摄装置的拍摄范围及所述第2拍摄装置的拍摄范围这两者的拍摄范围。
18.根据权利要求3所述的图像处理装置，其特征在于还包括：
人脸区域检测部件，对显示于所述显示装置的人物的人脸区域进行检测，
所述引导显示控制部件基于由所述人脸区域检测部件所检测出的人脸区域来设定所述引导的显示位置。
19.根据权利要求3所述的图像处理装置，其特征在于，
所述引导显示控制部件将所述引导的显示位置设定于第1拍摄装置附近，所述第1拍摄装置对与所述显示装置所朝向的方向相同的方向进行拍摄。
20.根据权利要求3所述的图像处理装置，其特征在于，
所述引导显示控制部件在所述拍摄装置尚未旋转至规定旋转量的期间，以视认性高于所述拍摄对象的设定来显示所述引导。
21.根据权利要求3所述的图像处理装置，其特征在于还包括：
第2检测部件，对所述拍摄装置的平行移动方向及平行移动量进行检测，
所述引导显示控制部件根据所述拍摄装置的平行移动方向及平行移动量来使所述引导的显示形态发生变化。
22.根据权利要求3所述的图像处理装置，其特征在于还包括：
辅助引导显示控制部件，使用于抑制拍摄位置变更的辅助引导显示于所述显示装置。
23.根据权利要求22所述的图像处理装置，其特征在于还包括：
第2检测部件，对所述拍摄装置的平行移动方向及平行移动量进行检测，
所述辅助引导显示控制部件根据所述拍摄装置的平行移动方向及平行移动量来使所述辅助引导的显示形态发生变化。
24.根据权利要求23所述的图像处理装置，其特征在于，
所述辅助引导包含第3图像及第4图像，所述第3图像的显示位置不会根据所述拍摄装置的平行移动方向及平行移动量而变化，所述第4图像的显示位置根据所述拍摄装置的平行移动方向及平行移动量而变化。
25.一种图像处理装置，具备显示拍摄对象的显示装置与对所述拍摄对象进行拍摄的拍摄装置，所述图像处理装置的特征在于还包括：
引导显示控制部件，使所述显示装置显示用于从不同的拍摄角度对所述拍摄对象进行拍摄的引导；以及
通信部件，可连接于设在所述图像处理装置外部的图像合成装置，
所述图像合成装置将通过从不同的拍摄角度对所述拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
26.一种图像处理装置，其特征在于包括：
通信部件，可连接于显示装置及拍摄装置，所述显示装置设在所述图像处理装置外部且显示拍摄对象，所述拍摄装置对所述拍摄对象进行拍摄；
引导显示控制部件，使所述显示装置显示用于从不同的拍摄角度对所述拍摄对象进行拍摄的引导；以及
图像合成部件，将通过从不同的拍摄角度对所述拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
27.一种摄影辅助器材，其特征在于包括可装卸图像处理装置的固定机构以及使所述固定机构进行旋转动作的旋转控制机构，所述图像处理装置包括：
显示装置，显示拍摄对象；
拍摄装置，对所述拍摄对象进行拍摄；
引导显示控制部件，使所述显示装置显示引导，所述引导通过根据所述拍摄装置的旋转方向及旋转量来使显示形态发生变化，从而提示使所述拍摄装置旋转以从不同的拍摄角度对所述拍摄对象进行拍摄；
第1检测部件，检测所述拍摄装置的旋转方向及旋转量；以及
图像合成部件，将通过从不同的拍摄角度对所述拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
28.一种图像处理方法，包含使显示装置显示拍摄对象的显示步骤与通过拍摄装置来对所述拍摄对象进行拍摄的拍摄步骤，所述图像处理方法的特征在于还包括：
引导显示控制步骤，使所述显示装置显示用于从不同的拍摄角度对所述拍摄对象进行拍摄的引导；以及
图像合成步骤，将通过从不同的拍摄角度对所述拍摄对象进行拍摄而获得的多个图像予以合成以生成合成图像。
CN201710056984.9A 2016-02-02 2017-01-25 图像处理装置、图像处理方法与摄影辅助器材 Active CN107026973B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016017918 2016-02-02
JP2016-017918 2016-02-02

Publications (2)

Publication Number Publication Date
CN107026973A true CN107026973A (zh) 2017-08-08
CN107026973B CN107026973B (zh) 2020-03-13

Family

ID=59386939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710056984.9A Active CN107026973B (zh) 2016-02-02 2017-01-25 图像处理装置、图像处理方法与摄影辅助器材

Country Status (5)

Country Link
US (1) US10713828B2 (zh)
JP (1) JP6678122B2 (zh)
KR (1) KR101813834B1 (zh)
CN (1) CN107026973B (zh)
TW (1) TWI663876B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465907A (zh) * 2017-08-16 2017-12-12 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107707817A (zh) * 2017-09-27 2018-02-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端
CN107948523A (zh) * 2017-12-19 2018-04-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109977770A (zh) * 2019-02-21 2019-07-05 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、***及存储介质
CN110049226A (zh) * 2018-01-16 2019-07-23 飞狐信息技术（天津）有限公司 一种全景图片素材的拍摄方法及***
CN111066316A (zh) * 2017-09-20 2020-04-24 夏普株式会社 电子设备、程序、控制装置以及控制方法
CN112437231A (zh) * 2020-11-24 2021-03-02 维沃移动通信（杭州）有限公司 图像拍摄方法和装置、电子设备及存储介质
CN112534804A (zh) * 2018-09-26 2021-03-19 欧姆龙株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序
CN113396361A (zh) * 2019-02-07 2021-09-14 富士胶片株式会社 摄影***、摄影部位设定装置、摄影装置及摄影方法
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
TWI775557B (zh) * 2021-08-09 2022-08-21 華碩電腦股份有限公司 影像擷取方法及電子裝置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9282309B1 (en) 2013-12-22 2016-03-08 Jasmin Cosic Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
EP3256067A2 (en) 2015-02-13 2017-12-20 Scapa Flow LLC System and method for medical device placement in bone
US10102226B1 (en) 2015-06-08 2018-10-16 Jasmin Cosic Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
CA2996573A1 (en) * 2017-03-01 2018-09-01 Naim Salem Method and application for aiding self photography
TWI633499B (zh) * 2017-06-22 2018-08-21 宏碁股份有限公司 全景影像的顯示方法及其電子裝置
EP3668426A4 (en) 2017-08-14 2021-10-20 Circinus Medical Technology, LLC SYSTEM AND METHOD USING EXTENDED REALITY WITH SHAPE FITTING TO PLACE A MEDICAL DEVICE IN THE BONE
KR101963449B1 (ko) * 2017-09-20 2019-04-01 주식회사 쓰리아이 360°비디오 생성 시스템 및 방법
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
US10574881B2 (en) * 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
JP7163057B2 (ja) * 2018-04-26 2022-10-31 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
WO2019205170A1 (zh) 2018-04-28 2019-10-31 华为技术有限公司 一种拍照方法和终端设备
JP7051570B2 (ja) * 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
US10955253B2 (en) * 2018-05-16 2021-03-23 Alex MATHEW System and method for aggregating and displaying tactical, intelligence, and military garrison information
US20200053278A1 (en) * 2018-08-08 2020-02-13 Sony Corporation Techniques for improving photograph quality for common problem situations
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
KR102159803B1 (ko) * 2018-10-11 2020-09-24 강산 촬영 가이드 제공 장치 및 프로그램
KR101990252B1 (ko) * 2018-10-26 2019-06-19 주식회사 비포유플랫폼 Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
EP3956812A4 (en) * 2019-04-15 2023-01-04 Circinus Medical Technologies LLC ORIENTATION CALIBRATION SYSTEM FOR IMAGE CAPTURE
CN111107269B (zh) * 2019-12-31 2021-10-26 维沃移动通信有限公司 拍摄方法、电子设备及存储介质
US11477366B2 (en) * 2020-03-31 2022-10-18 Snap Inc. Selfie setup and stock videos creation
US11388334B2 (en) * 2020-05-22 2022-07-12 Qualcomm Incorporated Automatic camera guidance and settings adjustment
CN111741223B (zh) * 2020-07-17 2022-04-26 北京搜房科技发展有限公司 一种全景图像拍摄方法、装置和***
JP6959422B1 (ja) * 2020-10-22 2021-11-02 ヤフー株式会社 送信プログラム、端末装置および送信方法
JP6974573B1 (ja) * 2020-10-22 2021-12-01 ヤフー株式会社 情報処理プログラム、端末装置および情報処理方法
US11509819B2 (en) * 2021-01-19 2022-11-22 Adobe Inc. Providing contextual augmented reality photo pose guidance
WO2022169906A1 (en) * 2021-02-02 2022-08-11 Circinus Medical Technology Llc Systems and methods for simulating three- dimensional orientations of surgical hardware devices about an insertion point of an anatomy
CN113038015B (zh) * 2021-03-19 2023-03-24 城云科技（中国）有限公司 二次拍摄方法和***
US11716531B2 (en) * 2021-03-22 2023-08-01 International Business Machines Corporation Quality of multimedia
CN113329253A (zh) * 2021-05-21 2021-08-31 深圳创维－Rgb电子有限公司 电视拍照方法、装置、设备与计算机可读存储介质
US20220414193A1 (en) * 2021-06-28 2022-12-29 Capital One Services, Llc Systems and methods for secure adaptive illustrations
CN114049260B (zh) * 2022-01-12 2022-03-22 河北工业大学 一种图像拼接方法和装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794203A (zh) * 2009-01-07 2010-08-04 Lg电子株式会社 移动终端及其照相机图像控制方法
CN103873764A (zh) * 2012-12-11 2014-06-18 索尼公司 信息处理装置、信息处理方法及程序
CN103959802A (zh) * 2012-08-10 2014-07-30 松下电器产业株式会社 影像提供方法、发送装置以及接收装置
CN104010135A (zh) * 2013-02-26 2014-08-27 三星电子株式会社 拍摄图像的设备和方法
US20150062289A1 (en) * 2013-08-28 2015-03-05 Samsung Electronics Co., Ltd. Method for shooting image and electronic device thereof
WO2015085589A1 (zh) * 2013-12-13 2015-06-18 华为终端有限公司 一种获取全景图像的方法及终端

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628887B1 (en) * 1998-04-17 2003-09-30 Honeywell International, Inc. Video security system
JP3804313B2 (ja) * 1998-12-03 2006-08-02 カシオ計算機株式会社 パノラマ撮影方法および撮像装置
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
JP3825380B2 (ja) * 2002-09-06 2006-09-27 エヌ・ティ・ティ・インフラネット株式会社 自動モーションコントロール撮影装置
JP2004228711A (ja) * 2003-01-20 2004-08-12 Sony Corp 監視装置及び方法、プログラム並びに監視システム
JP2007318490A (ja) * 2006-05-26 2007-12-06 Olympus Imaging Corp 画像処理装置、カメラ、及び画像処理プログラム
KR20100069844A (ko) 2008-12-17 2010-06-25 삼성전자주식회사 이미지 촬영 방법 및 그를 수행하는 휴대 단말기
TWI395471B (zh) * 2009-07-17 2013-05-01 Altek Corp Panorama image of the leading shooting method
TWM400544U (en) * 2010-05-03 2011-03-21 feng-long Xu Electrically-adjustable camera tripod
JP5853359B2 (ja) * 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
TWI516120B (zh) * 2012-03-29 2016-01-01 華晶科技股份有限公司 產生全景影像的方法及其影像擷取裝置
US10681304B2 (en) * 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US10136054B2 (en) 2012-10-24 2018-11-20 Morpho, Inc. Image processing device for compositing panoramic images, image processing program and recording medium
US20150134651A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search
JP6376753B2 (ja) * 2013-12-25 2018-08-22 キヤノン株式会社 撮像装置、表示制御装置の制御方法、記録装置の制御方法
US20150256754A1 (en) * 2014-03-04 2015-09-10 Neuone, Llc Auto leveling image capture of a hand-held device
US10366487B2 (en) * 2014-03-14 2019-07-30 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
CN104182173A (zh) * 2014-08-15 2014-12-03 小米科技有限责任公司 一种切换摄像头的方法和装置
US9749510B2 (en) * 2014-12-25 2017-08-29 Panasonic Intellectual Property Management Co., Ltd. Imaging unit and imaging apparatus
KR20160088719A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 방법
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794203A (zh) * 2009-01-07 2010-08-04 Lg电子株式会社 移动终端及其照相机图像控制方法
CN103959802A (zh) * 2012-08-10 2014-07-30 松下电器产业株式会社 影像提供方法、发送装置以及接收装置
CN103873764A (zh) * 2012-12-11 2014-06-18 索尼公司 信息处理装置、信息处理方法及程序
CN104010135A (zh) * 2013-02-26 2014-08-27 三星电子株式会社 拍摄图像的设备和方法
US20150062289A1 (en) * 2013-08-28 2015-03-05 Samsung Electronics Co., Ltd. Method for shooting image and electronic device thereof
WO2015085589A1 (zh) * 2013-12-13 2015-06-18 华为终端有限公司 一种获取全景图像的方法及终端

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465907B (zh) * 2017-08-16 2019-08-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107465907A (zh) * 2017-08-16 2017-12-12 维沃移动通信有限公司 一种拍摄方法及移动终端
CN111066316A (zh) * 2017-09-20 2020-04-24 夏普株式会社 电子设备、程序、控制装置以及控制方法
CN107707817A (zh) * 2017-09-27 2018-02-16 维沃移动通信有限公司 一种视频拍摄方法及移动终端
CN107707817B (zh) * 2017-09-27 2019-12-17 维沃移动通信有限公司 一种视频拍摄方法及移动终端
CN107948523A (zh) * 2017-12-19 2018-04-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN110049226A (zh) * 2018-01-16 2019-07-23 飞狐信息技术（天津）有限公司 一种全景图片素材的拍摄方法及***
US11671565B2 (en) 2018-09-26 2023-06-06 Omron Corporation Image processing system, image processing device, image processing method, and non-transitory computer readable medium storing program
CN112534804A (zh) * 2018-09-26 2021-03-19 欧姆龙株式会社 图像处理***、图像处理装置、图像处理方法以及图像处理程序
CN113396361A (zh) * 2019-02-07 2021-09-14 富士胶片株式会社 摄影***、摄影部位设定装置、摄影装置及摄影方法
CN109977770A (zh) * 2019-02-21 2019-07-05 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、***及存储介质
CN109977770B (zh) * 2019-02-21 2023-06-27 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、***及存储介质
CN112437231A (zh) * 2020-11-24 2021-03-02 维沃移动通信（杭州）有限公司 图像拍摄方法和装置、电子设备及存储介质
CN112437231B (zh) * 2020-11-24 2023-11-14 维沃移动通信（杭州）有限公司 图像拍摄方法和装置、电子设备及存储介质
CN114697516A (zh) * 2020-12-25 2022-07-01 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
TWI775557B (zh) * 2021-08-09 2022-08-21 華碩電腦股份有限公司 影像擷取方法及電子裝置

Also Published As

Publication number Publication date
TWI663876B (zh) 2019-06-21
CN107026973B (zh) 2020-03-13
JP6678122B2 (ja) 2020-04-08
KR101813834B1 (ko) 2017-12-29
KR20170092127A (ko) 2017-08-10
US20170221244A1 (en) 2017-08-03
JP2017139759A (ja) 2017-08-10
US10713828B2 (en) 2020-07-14
TW201743602A (zh) 2017-12-16

Similar Documents

Publication Publication Date Title
CN107026973A (zh) 图像处理装置、图像处理方法与摄影辅助器材
US9712745B2 (en) Method and apparatus for operating camera function in portable terminal
US9454834B2 (en) Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device
TWI476505B (zh) 拍攝全景圖的方法與電子裝置
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
JP5739671B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US20110234750A1 (en) Capturing Two or More Images to Form a Panoramic Image
US20090227283A1 (en) Electronic device
US9313405B2 (en) Image processing device, image processing method and program
US20060170687A1 (en) Electronic device and its operation explanation display method
CN109688320A (zh) 便利捕捉连续图像的智能靶
JP2017058812A (ja) 画像表示装置、画像表示方法及びプログラム
CN112578971A (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN112396076A (zh) 车牌图像生成方法、装置及计算机存储介质
CN103780747A (zh) 一种信息处理方法及电子设备
JP2005025268A (ja) 電子機器および表示制御方法
JP2022002393A (ja) 画像処理装置、画像データ提供装置、写真撮影遊戯装置、画像データ提供システム、画像表示方法、および画像表示プログラム
JP2012156628A (ja) 電子カメラ、画像処理装置および画像処理プログラム
CN114299521A (zh) 一种二维码识别方法及装置
CN115499594A (zh) 全景图像生成方法及计算机可读存储介质
JP2014222471A (ja) 表示装置、及びそのプログラム
JPH10293836A (ja) 画像取込装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant