CN107018316A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法以及程序，能够使得鱼眼图像与被拍到该鱼眼图像内的给定的被摄体之间的对应关系明确地提供给用户。图像处理装置具备：检测单元，对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测；修正单元，对所述被摄体部分的图像的失真进行修正；和处理单元，实施将所述广角图像的至少一部分的图像与失真被修正后的所述被摄体部分的图像建立关联的处理。

Description

图像处理装置、图像处理方法以及程序

本申请基于2015年12月22日提交的日本专利申请第2015-249410号和2016年3月16日提交的日本专利申请第2016-052641号并根据35U.S.C.119而要求优先权权益，上述申请包括说明书、权利要求书、附图和摘要的全部公开内容以援引的方式引入本申请中。

技术领域

本发明涉及实施针对用广角拍摄到的广角图像的处理的图像处理装置、图像处理方法以及程序。

背景技术

虽然数码静态相机等摄像装置中所采用的鱼眼镜头例如能够进行视角为大约180°的大范围的摄影，但是为了采用投射方式，用鱼眼镜头拍摄到的图像(鱼眼图像)成为从其中心部起越趋向于端部(周边部)则失真越大的图像。作为显示使用这种鱼眼镜头而拍摄到的鱼眼图像的技术，例如，像日本实用新型注册第3066594号公报那样公开有如下技术，即，从鱼眼图像内切取给定区域内的图像，并对该切取的区域内的图像实施修正畸变的处理从而将无失真的图像(修正图像)提供给用户的技术。此外，像日本特开2015-19162号公报那样公开有如下技术，即，当使用鱼眼镜头拍摄包括会议的各参加者的面部在内的畸变圆形图像(鱼眼图像)时，对各参加者的面部进行识别，与各个参加者的发声时间一起切取并显示各参加者的图像的技术。

根据上述的各专利文献的技术，虽然即使在使用鱼眼镜头来进行大范围的摄影的情况下，对于从其一部分中切取的区域内的图像而言，也能够获得无失真的图像，但是仅仅显示被切取的图像的话，用户将难以确认是在什么样的场景下拍摄到的人物等的、与鱼眼图像的对应关系。

发明内容

本发明的课题在于，能够使得鱼眼图像与被拍到该鱼眼图像内的给定的被摄体的对应关系明确地提供给用户。

本发明的一个形态涉及一种图像处理装置，其特征在于，具备：检测单元，对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测；修正单元，对所述被摄体部分的图像的失真进行修正；和处理单元，实施将所述广角图像的至少一部分的图像与失真被修正后的所述被摄体部分的图像建立关联的处理。

本发明的另一个形态涉及一种图像处理方法，是图像处理装置中的图像处理方法，其特征在于，所述图像处理方法包括：对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测的处理；对检测出的所述被摄体部分的图像的失真进行修正的处理；和将所述广角图像的至少一部分的图像与被修正后的所述被摄体部分的图像建立关联的处理。

本发明的又一个形态涉及一种计算机可读取的存储介质，存储有程序，其特征在于，所述程序用于使图像处理装置的计算机实现如下功能：对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测的功能；对检测出的所述被摄体部分的图像的失真进行修正的功能；和将所述广角图像的至少一部分的图像与被修正后的所述被摄体部分的图像建立关联的功能。

附图说明

将附图说明合并于此，且在构成说明书的一部分的附图中示出了本发明的实施例，并且与上文所述的大体描述以及下文所示的实施例的详细描述一起用以阐释本发明的原理。

图1(1)为表示将构成作为图像处理装置而应用的数码相机的摄像装置10和主体装置20组合为一体的状态的外观图，图1(2)为表示将摄像装置10和主体装置20分离的状态的外观图。

图2(1)为表示摄像装置10的构成的框图，图2(2)为表示主体装置20的构成的框图。

图3(1)、(2)为用于对在摄影时摄像装置10的各种姿势进行说明的图。

图4(1)、(2)为表示使用鱼眼镜头16B拍摄到的鱼眼图像的显示例的图。

图5(1)～(4)为用于对再生鱼眼图像(保存完毕图像)时的情况进行说明的图。

图6为用于对主体装置20侧的图像管理表格23C进行说明的图。

图7为用于对实施360°摄影时的主体装置20侧的动作(第1实施方式的特征部分的动作)进行说明的流程图。

图8为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(第1实施方式的特征部分的动作)的流程图。

图9为表示续接于图8的动作的流程图。

图10为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(第2实施方式的特征部分的动作)的流程图。

图11(1)～(5)为用于对在第2实施方式中再生鱼眼图像(保存完毕图像)时的情况进行说明的图。

图12为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(第3实施方式的特征部分的动作)的流程图。

图13(1)～(3)为用于对在第3实施方式中再生鱼眼图像(保存完毕图像)时的情况进行说明的图。

图14(1)～(3)为用于对在第3实施方式中再生鱼眼图像(保存完毕图像)时的其他情况进行说明的图。

具体实施方式

以下，基于附图来说明本发明的实施方式。

(第1实施方式)

以下，参照图1～图9来对本发明的第1实施方式进行说明。

在本实施方式中，例示了作为图像处理装置而应用于数码相机的情况，该数码相机为能够分离为后述的具备摄像部的摄像装置10和后述的具备显示部的主体装置20的分离型数码相机。图1(1)为表示将摄像装置10和主体装置20组合为一体的状态的图，图1(2)为表示将摄像装置10和主体装置20分离的状态的图。构成该分离型数码相机的摄像装置10和主体装置20能够分别使用可利用的无线通信来进行配对(无线连接识别)，且作为无线通信而使用无线LAN(Wi-Fi)或者Bluetooth(注册商标)。在主体装置20侧，接收获取在摄像装置10侧所拍摄到的图像，并对该摄影图像(实时取景图像)进行显示。另外，在本实施方式中，摄影图像不限于保存完毕的图像，意味着实时取景画面上所显示的图像(实时取景图像：保存前的图像)。

图2(1)为表示摄像装置10的构成的框图，图2(2)为表示主体装置20的构成的框图。

在图2(1)中，摄像装置10具备：控制部11、电源部12、存储部13、通信部14、操作部15、摄像部16和姿势检测部17。控制部11通过来自电源部(二次电池)12的电力供给而进行动作，并根据存储部13内的各种程序来对该摄像装置10的整体动作进行控制，而且在该控制部11中设置有未图示的CPU(中央运算处理装置)、存储器等。存储部13例如是具有ROM、闪存等的构成，且保存有用于实现本实施方式的程序、各种应用等。通信部14向主体装置20侧发送摄影图像，或接收来自主体装置20的操作指示信号等。操作部15具备电源开关等的基本的操作键(硬件键)。

摄像部16构成了能够高精细地拍摄被摄体的相机部，在该摄像部16的镜头单元16A中设置有鱼眼镜头16B、摄像元件16C等。另外，本实施方式的相机能够更换通常的摄像镜头(省略图示)和鱼眼镜头16B，图示的示例表示安装了鱼眼镜头16B的状态。该鱼眼镜头16B例如是由三块结构的透镜***构成的、能够进行视角为大约180°的大范围的摄影的圆周鱼眼镜头(整周鱼眼镜头)，由该鱼眼镜头16B所拍摄到的广角图像(鱼眼图像)的整体成为圆形的图像。在该情况下，为了采用投射方式，用鱼眼镜头16B拍摄到的广角图像(鱼眼图像)成为从其中心起越趋向于端部则失真越大的图像。

也就是说，由于鱼眼镜头16B是能够进行其视角为大约180°的大范围的摄影的圆周鱼眼镜头，因此鱼眼图像的整体成为圆形的图像，从其中心部起越趋向于端部(周边部)则失真越大，并且，由于与鱼眼图像的中心部相比其周边部成为被缩小的图像，因此即使用户欲对该周边部的内容进行详细地目视确认，该确认也是极其困难的。当由这种鱼眼镜头16B拍摄的被摄体像(光学像)在摄像元件(例如CMOS或CCD)16C成像时，被该摄像元件16C光电变换后的图像信号(模拟值的信号)通过省略图示的A/D变换部而被变换为数字信号，并且实施了给定的图像显示处理之后，被发送至主体装置20侧而进行监视器显示。姿势检测部17是对施加于摄像装置10的加速度进行检测的三轴加速度传感器，将根据摄像装置10的姿势而检测出的X、Y、Z方向上的各加速度分量提供给控制部11。

在图2(2)中，主体装置20具有对使用鱼眼镜头等拍摄到的图像进行再生的再生功能，且具备：控制部21、电源部22、存储部23、通信部24、操作部25、触摸显示部26和姿势检测部27。控制部21通过来自电源部(二次电池)22的电力供给而进行动作，并根据存储部23内的各种程序来对该主体装置20的整体动作进行控制，并且在该控制部21中设置有未图示的CPU(中央运算处理装置)、存储器等。存储部23例如是具有ROM、闪存等的构成，且具有保存了用于实现本实施方式的程序、各种应用等的程序存储器23A、临时性地存储为使该主体装置20动作而需的各种信息(例如，标志等)的工作存储器23B、和后述的图像管理表格23C等。

通信部24与摄像装置10之间进行各种数据的发送与接收。操作部25具备电源按钮、释放按钮、对曝光或快门速度等的摄影条件进行设定的设定按钮等按压按钮式的各种按键，控制部21执行与来自该操作部25的输入操作信号相应的处理，或者向摄像装置10发送输入操作信号。触摸显示部26是在高精细液晶等的显示器26A上层叠配置了触摸面板26B的构成，其显示画面成为实时地显示被拍摄到的图像(鱼眼图像)的监视器画面(实时取景画面)，或成为对摄影完毕图像进行再生的再生画面。姿势检测部27是对施加于主体装置20的加速度进行检测的三轴加速度传感器，将根据主体装置20的姿势而检测出的X、Y、Z方向上的各加速度分量提供给控制部21。

在主体装置20侧，当指示摄影的释放按钮***作时，控制部21针对鱼眼图像实施显影处理来生成摄影图像，并且在实施图像压缩处理而变换为标准文件形式之后，将其记录保存在存储部23的记录介质中。在该情况下，控制部21通过实施修正鱼眼图像的畸变的处理从而生成修正图像，并以与鱼眼图像建立对应的方式对该修正图像进行记录保存。在该情况下利用如下技术，即，以在假想球面模型上的任意点处相切的平面为屏幕，通过将假想球面模型上的点坐标变换为平面屏幕上的点，由此对鱼眼图像的失真进行修正的技术，但由于对鱼眼图像的失真进行修正的处理(鱼眼失真修正处理)利用的是在图像处理中一般使用的公知技术，因此省略了其具体的说明。

图3为用于对摄像装置10的姿势进行说明的图。

摄像装置10的整体例如呈箱形，且成为在其正面中央部配置了鱼眼镜头16B的构成。图3(1)表示鱼眼镜头16B的光轴方向与重力方向大致正交的状态，即，表示如相机相对于地面而大致垂直那样进行摄影的情况(实施垂直拍摄的情况)，而且，在图中以虚线所示的半球表示视角为大约180°的鱼眼镜头16B的摄影范围。图3(2)表示使相机的正面方向(鱼眼镜头16B的光轴方向)朝向天空的状态，即，表示如鱼眼镜头16B的光轴方向相对于重力方向而成为大致相反方向那样进行摄影的情况(实施水平拍摄的情况)。

图4为例示了使用鱼眼镜头16B拍摄到的广角图像(鱼眼图像)的图，表示在主体装置20侧的触摸显示部26的再生画面上显示了鱼眼图像的状态。

图示的示例表示通过图3(1)所示的垂直拍摄而拍摄到的鱼眼图像，图4(1)为将前方180°作为摄影范围而进行垂直拍摄时的鱼眼图像，图4(2)为将后方180°作为摄影范围而进行垂直拍摄时的鱼眼图像。在以此方式进行360°摄影的情况下，分为前方180°摄影和后方180°摄影而进行两次摄影。另外，图示的示例为拍摄在室***着餐桌召开派对的情况，且表示在进行了前方180°摄影的图4(1)的鱼眼图像内拍到了一组母女，在进行了后方180°摄影的图4(2)的鱼眼图像内也拍到了一组母子的情况。以此方式进行了360°摄影的各鱼眼图像作为一组鱼眼图像组而被一并进行存储保存。

主体装置20的控制部21接收获取通过摄像装置10所拍摄到的鱼眼图像并进行修正该图像整体的失真的处理，并且在对该修正图像内所包含的给定的被摄体进行识别并针对每个该被摄体检测出该被摄体部分的图像之后，进行将修正图像的一部分的图像与检测出的各被摄体部分的图像建立关联的处理。也就是说，控制部21以上述方式针对进行了360°摄影的各鱼眼图像而实施修正其畸变的处理并生成其修正图像，并针对每个鱼眼图像以与其修正图像建立对应的方式进行记录保存。而且，针对每个修正图像而对其图像进行解析并将修正图像内所包含的给定的被摄体(人物的面部)全部检测出。另外，该面部检测处理是对面部要素进行检测或对肤色进行检测等的、在相机中一般使用的技术，在本实施方式中由于利用的是该公知技术，因此省略其具体的说明。

该面部检测处理的结果为，当检测出修正图像内所包含的所有人物的面部时，控制部21沿着其人物的轮廓而针对每个人物切取其被摄体部分(面部部分)并生成面部图像，并将各面部图像与其鱼眼图像建立对应地进行记录保存。另外，虽然面部图像是指为了能够确定人物而以面部为中心的图像，但是可以是包括上半身(头部、颈部、肩部)在内的图像，而且，不限于面部，还可以从图像内检测特征点并提取基于该特征点的特征区域。此外，控制部21在实施使各面部图像与给定的形状以及尺寸相吻合的图像处理之后进行记录保存。

图5为用于对再生鱼眼图像(保存完毕图像)时的情况进行说明的图。

图5(1)表示在主体装置20侧的触摸显示部26上对各种鱼眼图像(保存完毕图像)进行了缩略图显示的一览画面，图中的圆形表示各个鱼眼图像，并且表示呈3×3矩阵状对鱼眼图像进行了缩略图显示的状态。在此，当任意的缩略图图像的位置被触摸时，控制部21便将被触摸的缩略图图像(鱼眼图像)选择为再生对象。图5(2)表示被选择为再生对象的鱼眼图像，是选择出上述的360°的鱼眼图像中的、进行了前方180°摄影的鱼眼图像(参照图4(1))的情况。

图5(3)表示从与被选择为再生对象的鱼眼图像建立对应地记录保存的修正图像之中切取的给定范围内的图像。在该情况下，从修正图像之中切取给定范围(例如，长方形的切取框)内的图像。该切取框(假想框)与修正图像相似，例如为修正图像的1/4大小的长方形框，而且虽然所述切取框在对鱼眼图像进行选择的最初的时间点被设定于修正图像上的初始位置(中央部的位置)处，但能够通过用户操作而移动到修正图像上的任意位置处。在图示的示例中，表示切取了以虚线所示的长方形的切取框内的图像(包括母女在内的图像)的情况。

图5(4)为表示被选择为再生对象的鱼眼图像的再生画面的图。在该再生画面中，如上述那样，对修正图像的一部分图像(切取框内的图像)进行放大显示，并且，对与鱼眼图像建立了对应的各人物的面部图像进行一览显示。在该情况下，并不限于通过触摸操作而选择的鱼眼图像(例如，图4(1)的鱼眼图像)内所包含的各人物的面部图像，与该鱼眼图像成组的另一鱼眼图像(例如，图4(2)的鱼眼图像)内所包含的各人物的面部图像也一并进行一览显示。此时，各人物的面部图像根据鱼眼图像内的各人物的排列顺序而按照该顺序实施排列并进行一览显示。另外，各人物的面部图像如图示那样在再生画面的下部分处在直线上排列并进行一览显示。在该情况下，在图中，排在左侧的母女的面部图像为图4(1)的鱼眼图像中所包含的人物的面部图像，排在右侧的母子的面部图像为图4(2)的鱼眼图像中所包含的人物的面部图像。

此外，在图中，标注于放大显示的图像(切取框内的图像)的周围的虚线的箭头标记表示通过触摸操作而能够移动的切取框的移动方向，该切取框通过触摸显示部26上的触摸操作(滑动操作)根据其滑动方向、滑动量而被移动。由此，在再生画面上所显示的切取框内的图像(放大显示的图像)的内容也根据切取框的移动而发生变化。另外，切取框的移动方向并不限于上下左右这四个方向，也能够向倾斜方向移动。除了以此方式在再生画面上实施上述的滑动操作之外，连续进行两次的敲击操作(双击操作)也是有效的触摸操作，当在任意面部图像上实施双击操作时，控制部21从修正图像之中检测出包含该面部图像的位置，通过使切取框移动(跳转)到该检测位置，由此使得在再生画面上的放大显示的图像(切取框内的图像)中包含该面部图像。

图6为用于对主体装置20侧的图像管理表格23C进行说明的图。

图像管理表格23C为用于管理鱼眼图像(保存完毕图像)和与其有关联的图像的表格，且具有：“鱼眼图像ID”、“摄影类别”、“链接ID”、“修正图像ID”、“面部图像ID”、“面部图像ID”、…各项目。“鱼眼图像ID”是为了对鱼眼图像进行管理而存储了对其鱼眼图像文件(省略图示)进行识别的信息(连续号码等)的项目，图示的示例表示存储了“A0001”、“A0002”、…的情况。“摄影类别”为存储表示是以180°拍摄到的鱼眼图像还是以360°拍摄到的鱼眼图像的摄影的种类的项目，图示的示例表示“鱼眼图像ID”为“A0002”、“A0003”的各图像是360°摄影的一组鱼眼图像组。

“链接ID”为存储表示在“摄影类别”为360°摄影的情况下成组的另一鱼眼图像的“鱼眼图像ID”的项目，在图示的示例中，在“鱼眼图像ID”为“A0002”的“链接ID”中，作为表示另一鱼眼图像的“鱼眼图像ID”而存储了“A0003”，在“A0003”的“链接ID”中，作为表示另一鱼眼图像的“鱼眼图像ID”而存储了“A0002”。“修正图像ID”是为了与鱼眼图像相对应地管理对其失真进行了修正的修正图像而存储了对其修正图像文件(省略图示)进行识别的信息(连续号码等)的项目，图示的示例表示存储了“B0001”、“B0002”、…的情况。“面部图像ID”是为了与鱼眼图像相对应地管理该鱼眼图像内所包含的各人物的面部图像而存储了对其面部图像文件(省略图示)进行识别的信息(连续号码等)的项目，在图示的示例中表示存储了“C0001”、“C0002”、…的情况。

接下来，参照图7～图9所示的流程图来对第1实施方式中的图像处理装置(数码相机)的动作概念进行说明。在此，这些流程图中所记述的各功能以可读取的程序代码的形式被保存，而且与该程序代码相应的动作被依次执行。此外，还能够依次执行与经由网络等传输介质传输来的上述的程序代码相应的动作。也就是说，除了记录介质之外，还能够利用经由传输介质而被外部供给的程序/数据来执行本实施方式特有的动作。另外，图7～图9为表示数码相机的整体动作中的、第1实施方式的特征部分的动作概要的流程图，在从该图7～图9的流程中退出时将返回至整体动作的主流程(省略图示)。

图7为用于对实施360°摄影时的主体装置20侧的动作(本实施方式的特征部分的动作)进行说明的流程图。另外，360°摄影为从选择各种摄影模式的菜单画面中通过用户操作而被任意选择的菜单项目，在选择了该360°摄影的菜单项目的情况下，将开始执行图7的动作。

首先，主体装置20侧的控制部21在释放操作的等待状态下(步骤A1)，当释放操作被实施时(在步骤A1中：“是”)，针对从摄像装置10接收获取的鱼眼图像而进行显影处理并生成摄影图像，并且在实施图像压缩处理而变换为标准的文件形式之后(步骤A2)，将其记录保存在存储部23的记录介质中(步骤A3)。在该情况下，使进行360°摄影的两张鱼眼图像作为一组图像而记录保存，并且作为新的“鱼眼图像ID”而例如生成“A0002”，并在图像管理表格23C中进行追加登记。

然后，控制部21将“360°摄影”作为与该新的“鱼眼图像ID”对应的“摄影类别”而登记到图像管理表格23C中，并且实施对所对应的“链接ID”进行登记的处理(步骤A4)，但是该“链接ID”的登记是在360°摄影的第二次摄影时实施的。接下来，控制部21针对该鱼眼图像而实施修正畸变的处理并生成其修正图像(步骤A5)，并且使该修正图像记录保存在存储部23的记录介质中，但是此时，作为新的“修正图像ID”而例如生成“B0002”，并与“鱼眼图像ID”的“A0002”建立对应地登记到图像管理表格23C中(步骤A6)。

进而，控制部21通过对该修正图像的整体进行解析而对人物的面部进行检测(步骤A7)。调查其结果为是否已检测出人物的面部(步骤A8)，如果无法检测出人物的面部(在步骤A8中：“否”)，则转移至步骤A11，并检查360°摄影是否已结束。当前由于是360°摄影的第一次摄影结束的情况(在步骤A11中：“否”)，因此返回上述的步骤A1，直至指示360°摄影的第二次摄影的释放***作为止，成为等待状态。

当前，在检测出修正图像内的人物的面部的情况下(在步骤A8中：“是”)，针对每个人物而沿着其人物的轮廓进行剪切并生成其面部图像(步骤A9)。在该情况下，会针对修正图像内所包含的所有人物而生产其面部图像，在像位于鱼眼图像的周边部处的人物那样面部失真过大从而即使实施了其畸变修正也无法高精度地对人物的面部进行检测的情况下，如果存在有人物的可能性，则也可以生成其面部图像。在将以此方式针对每个人物进行剪切而生成的各面部图像调整为给定的形状以及尺寸之后，使其与该鱼眼图像建立对应地记录保存在存储部23的记录介质中，在该情况下，作为“面部图像ID”而生成例如“C0004”、“C0005”，并与“鱼眼图像ID”的“A0002”建立对应地登记在图像管理表格23C中(步骤A10)。然后，重复进行上述的动作(步骤A1～A11)直至360°摄影结束为止，当360°摄影结束时(在步骤A11中：“是“)，从图7的流程中退出。

图8以及图9为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(本实施方式的特征部分的动作)的流程图。

首先，当通过用户操作而指示了鱼眼图像(保存完毕图像)的再生时，控制部21读出被记录保存在存储部23的记录介质中的多个鱼眼图像(保存完毕图像)(步骤B1)，变换为缩略图图像而使之进行一览显示(步骤B2)。在该状态下，调查是否实施了从该一览画面中指定任意的缩略图图像作为再生对象的触摸操作(步骤B3)，如果未实施触摸操作(在步骤B3中：“否”)，则调查作为操作部25的给定键的、指示再生结束的键是否***作了(步骤B4)。在此，如果未指示再生结束(在步骤B4中：“否”)，则返回至上述的步骤B3，而在指示了再生结束的情况下(在步骤B4中：“是”)，则从图8以及图9的流程中退出。

当前，在多个鱼眼图像呈矩阵状被一览显示为缩略图图像的状态下，当其中任意缩略图图像的位置被触摸时(在步骤B3中：“是”)，控制部21将其鱼眼图像选择指定为再生对象(步骤B5)，然后，读出与该指定图像(鱼眼图像)对应地保存的修正图像(步骤B6)，并从该修正图像中切取长方形区域(切取框)内的图像(步骤B7)。在该情况下，由于在鱼眼图像被选择的最初的时间点切取框是被设定在修正图像上的初始位置(中央部的位置)的，因此修正图像的中央部分的图像将被切取。然后，将所切取的图像放大为给定的尺寸，并使之显示在再生画面的中央部分处(步骤B8)。

接下来，读出与上述的指定图像(鱼眼图像)对应地保存的各面部图像(步骤B9)，并将该各面部图像一览显示于再生画面(步骤B10)。在该情况下，如图5(4)所示，将各面部图像在再生画面的下部处排列成横向一列而进行一览显示，其排列顺序如上文所述成为鱼眼图像内的各人物的排列顺序。然后，检查与上述的指定图像(鱼眼图像)成组的另一鱼眼图像、360°的另一鱼眼图像是否为未指定(步骤B11)，如果残留有未指定的鱼眼图像(在步骤B11中：“是”)，则在将该未指定的鱼眼图像指定为再生对象(步骤B12)之后，返回至上述的步骤B9，读出与该新的指定图像(鱼眼图像)对应地保存的各面部图像，并使该各面部图像一览显示于再生画面(步骤B10)。由此，在将360°摄影的各鱼眼图像全部指定而结束的情况下(在步骤B11中：“否”)，转移至图9的流程。

在这种再生画面显示于触摸显示部26上的状态下，当在再生画面上实施了触摸操作时(在步骤B13中：“是”)，检查该触摸操作是对一览显示的面部图像的双击操作(步骤B14)，还是在放大显示的修正图像(切取框内的图像)附近处的滑动操作(步骤B15)。当前，在实施了对面部图像的双击操作的情况下(在步骤B14中：“是”)，从该修正图像内确定包含其面部的位置，并使切取框移动至该检测位置(步骤B16)。例如，如图5(4)所示，当在女孩子的面部图像上实施了双击操作时，从修正图像中确定该女孩子的面部图像，并使切取框进行移动，以使得该面部图像成为切取框的中心位置。然后，切取该切取框内的图像并使之放大显示于再生画面(步骤B17)。之后，返回至步骤B13。

此外，如果再生画面上的触摸操作是在被放大显示的修正图像(切取框内的图像)附近处的滑动操作(在步骤B15中：“是”)，则对其滑动方向以及滑动量进行检测(步骤B18)，并根据该滑动方向以及滑动量使切取框在修正图像上移动(步骤B19)。然后，在从该修正图像中切取了切取框内的图像并放大显示于再生画面(步骤B17)之后，返回至上述的步骤B13。

另一方面，在不是再生画面上的触摸操作(在步骤B13中：“否”)，而是例如作为操作部25的给定键的、指示向360°摄影的另一鱼眼图像的切换的键***作了的情况下(在步骤B20中：“是”)，从实施360°摄影的两张鱼眼图像中指定另一鱼眼图像作为再生对象(步骤B21)之后，读出与该指定图像对应地保存的修正图像(步骤B22)，从该修正图像中切取出切取框内的图像(步骤B23)，使该切取出的图像放大显示于再生画面(步骤B24)。之后，返回至步骤B13。而且，例如，在作为操作部25的给定键的、指示再生结束的键***作了的情况下(在步骤B25中：“是”)，从图7以及图8的流程中退出。

如上文所述，在第1实施方式中，由于主体装置20的控制部21实施如下处理，即，对由摄像装置10拍摄到的广角图像(鱼眼图像)内所包含的给定的被摄体进行识别并对该被摄体部分的图像的失真进行修正，并且将广角图像的一部分的图像和修正后的被摄体部分的图像建立关联的处理，因此能够使得鱼眼图像与被拍到该鱼眼图像内的给定的被摄体的对应关系明确地提供给用户。

由于控制部21实施如下处理，即，对由摄像装置10拍摄到的广角图像(鱼眼图像)的失真进行修正，并且对该修正图像内所包含的给定的被摄体(人物的面部)进行识别并针对每个该被摄体(人物)检测其被摄体部分的图像(面部图像)，将修正图像的一部分的图像与所检测的各被摄体部分的图像(面部图像)建立关联的处理，因此能够将用广角拍摄给定的被摄体而得到的广角图像变换为易于观察到给定的被摄体的形态。例如，在显示图像时，与直接显示失真较大的广角图像相比，如果将修正该失真后的图像与各人物的面部图像建立对应地进行显示，则能够变换为易于观察广角图像的形态进行显示，从而对于用户而言，能够很容易地对其人物进行确认。

由于控制部21使修正图像的给定范围(切取框)内的图像进行放大显示，并且使所检测的各被摄体部分的图像(面部图像)进行一览显示，因此在再生图像时，与显示失真较大的广角图像的整体相比，如果显示修正图像的一部分，则能够以易于观察广角图像的形态进行显示。也就是说，对于用户而言，能够缩减成用广角拍摄到的修正图像的一部分来确认被摄体，而且，能够确认用广角拍摄到的图像内所包含的所有人物，也包括未被显示在修正图像的一部分上的人物。

由于控制部21在使所检测的各被摄体部分的图像(面部图像)进行一览显示时，根据广角图像上的各被摄体(人物)的排列顺序，按照该顺序排列并进行一览显示，因此仅观察面部图像的一览显示就能够很容易地确认在何处有谁等。

由于控制部21通过用户操作(滑动操作)使给定范围(切取框)任意移动，并且使根据该切取框的移动而切取的图像进行放大显示，因此对于用户而言，能够很容易地从修正图像中将所需部分的图像确认至其细节部分。

由于控制部21对以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中所包含的所有给定的被摄体(人物的面部)进行识别并针对每个该被摄体检测其被摄体部分的图像(面部图像)，因此例如即使分为前方180°摄影和后方180°摄影两次来实施360°摄影，也能够检测出其周围所存在的所有人物的面部。

由于控制部21在从以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中指定了显示对象的广角图像的情况下，使该指定的广角图像的修正图像和从广角图像组中检测出的所有被摄体部分的图像(人物的面部)建立对应地进行显示，因此对于用户而言，能够通过多个图像(修正图像)的切换显示来观察该多个图像。

由于控制部21将从改变摄影方向而拍摄到的广角图像组中通过用户操作任意选择的广角图像指定为显示对象，因此对于用户而言，能够从改变摄影方向而拍摄到的多个图像(修正图像)中任意切换指定为所需的图像来观察该图像的放大显示。

由于控制部21在广角图像(鱼眼图像)作为缩略图图像被一览显示的状态下，当通过用户操作而从该缩略图图像中选择了任意的广角图像时，使该选择的广角图像的修正图像进行放大显示，并且使所检测的各被摄体部分的图像(面部图像)进行一览显示，因此对于用户而言，能够从许多鱼眼图像中任意地选择所需的鱼眼图像并以易于观察的形态来对该图像进行确认。

由于控制部21将修正图像和各被摄体部分的图像(面部图像)建立对应地进行记录保存，因此无需在每次实施图像再生时均进行广角图像的失真修正或从修正图像中切取面部图像的处理。

(变形例1)

虽然在上述的第1实施方式中，将从改变摄影方向而拍摄到的一组鱼眼图像组中通过用户操作任意选择的鱼眼图像指定为显示对象，但也可以每隔一定的定时按照预先规定的顺序逐张依次选择各鱼眼图像并对其修正图像进行切换显示。由此，用户能够以给定的顺序观察各鱼眼图像(修正图像)。在该情况下，可以在360°摄影中，对显示中的鱼眼图像(修正图像)内所包含的人物的面部图像和未显示的鱼眼图像(修正图像)内所包含的人物的面部图像进行识别并进行一览显示。由此，能够很容易地确认鱼眼图像(修正图像)与人物的面部图像之间的对应关系。

(变形例2)

虽然在上述的第1实施方式中，对改变摄影方向而拍摄到的一组鱼眼图像组内所包含的所有人物的面部图像进行一览显示，但也可以对特定的面部图像进行识别并显示。例如，也可以确定放大显示中的修正图像的一部分所包含的人物，并仅对该人物的面部图像进行识别显示(例如，用颜色区分来显示、放大显示)。由此，能够对放大显示中的修正图像的一部分所包含的人物和修正图像内的未显示部分所包含的人物进行识别并显示。在此，在通过放大显示来对未显示部分所包含的人物进行确认的情况下，只要使切取框移动以使得切取出该人物即可。

(变形例3)

虽然在上述的第1实施方式中，作为鱼眼镜头16B而例示了圆周鱼眼镜头(整周鱼眼镜头)，但也可以使用对角鱼眼镜头。此外，虽然在上述的实施方式中，使用一个鱼眼镜头16B而分为前方180°摄影和后方180°摄影两次来实施360°摄影，但如果具备两个鱼眼镜头16B，例如，在相机框体的表面和背面两个面分别具备鱼眼镜头，则能够根据360°摄影的指示而同时实施前方180°摄影和后方180°摄影。此外，也可以使用超广角镜头来实施多次摄影从而实施360°摄影。

(变形例4)

虽然在上述的第1实施方式中，主体装置20的控制部21接收获取由摄像装置10拍摄到的鱼眼图像并实施对该图像整体的失真进行修正的处理，并且在对该修正图像内所包含的给定的被摄体进行识别并针对每个该被摄体检测出其被摄体部分的图像之后，实施将修正图像的一部分的图像和检测出的各被摄体部分的图像建立关联的处理，但是并不限于此，主体装置20的控制部21也可以在接收获取由摄像装置10拍摄到的鱼眼图像时，不对鱼眼图像的失真进行修正，而是在对该鱼眼图像内所包括的给定的被摄体进行识别并针对每个该被摄体检测出其被摄体部分的图像之后，实施将鱼眼图像的一部分的图像和检测出的各被摄体部分的图像建立关联的处理。

在该情况下，由于所检测的各被摄体部分的图像仍然残留有失真，因此可以在给定的定时，例如在实施上述的建立关联的处理的同时或其前后的定时、或者在针对每个人物而切取被摄体部分的同时或其前后的定时等，对各被摄体部分的图像实施失真修正。作为将这样直接残留失真的鱼眼图像的一部分的图像与修正后的被摄体部分的图像建立关联的处理，例如，如果实施使鱼眼图像的一部分的图像显示于再生画面，并且使修正后的被摄体部分的图像一览显示于再生画面的处理，则与上述的实施方式相同，能够使得鱼眼图像与被拍到该鱼眼图像内的给定的被摄体之间的对应关系明确地提供给用户。

(变形例5)

虽然在上述的第1实施方式中，显示的是从与被选择为再生对象的鱼眼图像建立对应地记录保存的修正图像中切取的给定范围内的图像，但并不限定于此，也可以显示被选择为再生对象的鱼眼图像本身。也就是说，也可以使残留有失真的鱼眼图像和所检测的各被摄体部分的图像(面部图像)进行一览显示。在该情况下，也与上述的实施方式相同，能够使得鱼眼图像与被拍到该鱼眼图像内的给定的被摄体之间的对应关系明确地提供给用户。

(变形例6)

虽然在上述的第1实施方式中，在从以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中通过用户操作指定了显示对象的广角图像的情况下，将该指定的广角图像的修正图像与从广角图像组中检测到的所有被摄体部分的图像(人物的面部)建立对应地进行显示，但也可以在从广角图像组中通过用户操作指定了显示对象的广角图像的情况下，将该指定的广角图像(残留有失真的图像)与从广角图像组中检测到的所有被摄体部分的图像(人物的面部)建立对应地进行显示。由此，对于用户而言，能够通过多个广角图像的切换显示来观察多个广角图像。

另外，虽然在上述的第1实施方式中，采用了使修正图像的给定范围(切取框)内的图像进行放大显示，并且使所检测的各被摄体部分的图像(面部图像)进行一览显示的构成，但并不限定于此，也可以使得以与被选择为再生对象的鱼眼图像建立对应的方式记录保存的修正图像的整体和所检测的各被摄体部分的图像(面部图像)进行一览显示。

虽然在上述的第1实施方式中，将鱼眼图像、修正图像、各人物的面部图像建立对应地进行记录保存，但也可以将鱼眼图像、修正图像、各人物的面部图像经由例如SD卡、USB存储器等的装卸自如的可移动型存储器(记录介质)或通信单元而输出至外部，并由外部设备将修正图像和各人物的面部图像建立对应地进行显示。

虽然在上述的第1实施方式中，将对鱼眼图像的失真进行了修正的修正图像的一部分(切取框内的图像)放大并显示于再生画面，但也可以将修正图像的整体显示于再生画面。

虽然在上述的第1实施方式中，分为前方180°摄影和后方180°摄影两次来实施360°摄影并将该多张鱼眼图像设为组，但是使用鱼眼镜头16B进行拍摄的范围并不限定于180°摄影，是任意的。此外，显然并未限定于360°摄影，在180°范围内拍摄到的摄影图像中也能够应用。

虽然在上述实施方式中，当在任意面部图像上进行双击操作时，控制部21从修正图像中检测包含该面部图像的位置，并通过使切取框移动(跳转)至该检测位置，由此使再生画面上的放大显示的图像(切取框内的图像)中包含该面部图像，但是，除此以外，还可以通过在任意面部图像上进行滑动操作，由此基于其滑动量而使被显示为任意面部图像的图像发生变化。也就是说，也可以采用如下构成，即，根据其滑动量而使修正图像的包含该任意面部图像的位置移动，从而代替任意面部图像而显示修正图像的其移动目标的位置上的图像。在这种情况下，当在代替任意面部图像而被显示的移动目标图像上进行双击操作时，控制部21从修正图像中检测包含该移动目标图像的位置，并通过使切取框移动到该检测位置，由此使再生画面上的放大显示的图像中包含该移动目标图像。

(第2实施方式)

以下，参照图10以及图11来对本发明的第2实施方式进行说明。

另外，虽然在上述的第1实施方式中，在对鱼眼图像(保存完毕图像)进行再生的情况下，在将多个鱼眼图像显示于缩略图一览画面的状态下，当从其中触摸了任意缩略图图像的显示位置时，将切换显示与该鱼眼图像建立了对应的修正图像的一部分的图像(切取框内的图像)，但是，在该第2实施方式中，当鱼眼图像(缩略图图像)被触摸时，被切换显示为与该鱼眼图像建立了对应的各人物的面部图像的一览画面。

而且，虽然在第1实施方式中，当与修正图像一起显示的面部图像被触摸时，以如下方式进行控制，即，从修正图像中检测包含该面部图像的位置，并通过使切取框移动至该检测出的位置，由此使切取框内的图像中包含该面部图像，但是，在该第2实施方式中，当从面部图像的一览画面中触摸了任意面部图像时，切换显示为与包含该面部图像的鱼眼图像(从缩略图一览画面中选择出的该鱼眼图像)建立了对应的修正图像。在此，对两个实施方式中基本相同或者名称相同的部分标注相同的符号，并省略其说明，并且，在下文中，以第2实施方式的特征部分为中心来进行说明。

该第2实施方式中的摄影时的动作与上述的第1实施方式相同，在对所拍摄到的鱼眼图像进行显影处理并将其记录保存于存储部23的记录介质中的情况下，针对该鱼眼图像而实施修正畸变的处理并生成其修正图像，并且将该修正图像与该鱼眼图像建立对应地进行记录保存。而且，对该修正图像内所包含的各人物的面部进行检测，针对每个人物来切取其面部部分并生成面部图像(修正完毕的图像)，并且与该鱼眼图像建立对应地进行记录保存。

图10为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(第2实施方式的特征部分的动作)的流程图。

首先，当通过用户操作而指示再生鱼眼图像(保存完毕图像)时，控制部21读出存储部23的记录介质中所记录保存的多个鱼眼图像(保存完毕图像)(步骤C1)，将该鱼眼图像变换为缩略图图像并使之进行一览显示(步骤C2)。图11(1)表示鱼眼图像的缩略图一览画面，在图中，配置为3×3矩阵状的圆形表示鱼眼图像的缩略图图像。图11(2)为将该缩略图一览画面的一部分放大而示出的图。

在显示这种缩略图一览画面的状态下，检查是否对任意缩略图图像的显示位置进行了给定的触摸操作(例如，双击操作)(步骤C3)。当前，如果未在缩略图图像上进行连续两次敲击的双击操作(在步骤C3中：“否”)，则转移至步骤C9，但当在缩略图图像上进行了双击操作时(在步骤C3中：“是”)，读出与被双击操作的鱼眼图像建立对应地记录保存的各人物的面部图像(修正完毕的图像)(步骤C4)，将各面部图像进行放大并使之切换显示于再生画面(步骤C5)。图11(3)表示对各人物的面部图像进行了一览显示的画面，例如剪切为矩形的面部图像以例如与上述的第1实施方式相同的排列顺序进行配置显示。

在以此方式显示了面部图像的一览画面的状态下，检查是否对任意面部图像的显示位置进行了给定的触摸操作(例如，双击操作)(步骤C6)。当前，如果未在面部图像上进行双击操作(在步骤C6中：“否”)，则转移至步骤C9，但当进行了双击操作时(在步骤C6中：“是”)，读出与包含被双击操作的面部图像的鱼眼图像建立对应地记录保存的修正图像(步骤C7)，并切换显示(整面显示)为该修正图像(步骤C8)。

虽然在该情况下，作为包含被触摸指定的面部图像的鱼眼图像而确定在缩略图一览画面上选择的该鱼眼图像，并读出与该鱼眼图像建立了对应的修正图像来进行切换显示，但是，此时，将从修正图像中以该面部图像为中心而切取出的图像放大并进行切换显示(整面显示)，使得被触摸指定的面部图像位于中央。图11(4)为例示在如图11(3)所示那样双击了女孩子的面部图像的情况下，将与包含该面部图像的鱼眼图像建立了对应的修正图像的一部分切取出并进行放大显示时的图，且为切换显示以女孩子的面部为中心的放大图像的情况。

图11(5)为用于对与图11(4)的显示例不同的另一显示例进行说明的图。虽然在图11(4)的情况下，作为包含被触摸指定的面部图像的鱼眼图像而确定在缩略图一览画面上选择的该鱼眼图像，但在图11(5)中，则为确定该鱼眼图像以外的包含该面部图像的另一鱼眼图像，并从与该鱼眼图像建立了对应的修正图像中切取其一部分的图像而进行放大显示的情况。在该情况下，也将从修正图像中以其面部图像为中心而切取出的图像放大并使之进行切换显示(整面显示)，以使得被触摸指定的面部图像位于中央。

另外，虽然作为包含被触摸指定的面部图像的鱼眼图像，优先确定在缩略图一览画面上选择的该鱼眼图像，但也可以通过用户操作而预先设定是优先确定该鱼眼图像、或者该鱼眼图像以外的包含被触摸指定的面部图像的另一鱼眼图像中的哪一个鱼眼图像。此外，作为包含被触摸指定的面部图像的鱼眼图像，还可以通过用户操作来切换或者在一定时间后自动切换该鱼眼图像和另一鱼眼图像。而且，如果保存了多张另一鱼眼图像，则也可以通过切换操作而依次确定该多张鱼眼图像，并读出与该确定出的鱼眼图像建立了对应的修正图像并使之进行切换显示。

在以此方式切换显示了修正图像的状态下，检查是否实施了返回指示操作(步骤C9)，如果未实施返回指示操作(在步骤C9中：“否”)，则检查是否实施了其他的指示操作(步骤C10)。在此，在实施了其他指示操作(例如，指示图像编辑的操作)的情况下(在步骤C10中：“是”)，转移至与其他指示相对应的处理，而在实施了返回指示操作的情况下(在步骤C9中：“是”)，返回上述的步骤C3。

像上文这样，由于在第2实施方式中，在将广角图像作为缩略图图像进行一览显示的状态下，当从其中通过用户操作而选择了任意的广角图像时，对该广角图像内所包含的给定的被摄体部分的图像进行一览显示，因此即使将图像整体畸变的广角图像以原样的状态进行缩略图显示，用户也能够很容易地对其被摄体进行目视确认。也就是说，由于广角图像(鱼眼图像)的图像整体失真较大，因此即使观察其缩略图图像也难以准确地掌握拍摄到谁，而且，在通过用户操作来指定任意的缩略图图像的同时进行放大显示来逐个确认拍到该图像内的面部，既费工夫，又会给用户带来负担，但是，在选择了任意的缩略图图像(鱼眼图像)的情况下，由于该鱼眼图像内所包含的各人物的面部图像会被一览显示，因此对于用户而言，能够在通过缩略图显示的鱼眼图像而掌握摄影全局的同时观看到具有临场感的图像，并且能够根据人物的面部图像而很容易地目视确认出拍摄到谁。

而且，由于在上述的面部图像被一览显示的状态下，当通过用户操作而从其中选择了任意的面部图像时，显示的是该面部图像所包含的广角图像的失真修正过的修正图像，因此对于用户而言，能够观察无失真的大范围的图像。

另外，虽然在上述的第2实施方式中，实施对拍摄到的鱼眼图像的失真进行修正的处理并生成修正图像，并且生成从该修正图像中切取出的各人物的面部图像，并与鱼眼图像建立对应地对修正图像以及各人物的面部图像进行记录保存，且在各鱼眼图像的再生时，读出与鱼眼图像建立了对应的各人物的面部图像并进行一览显示，但是，修正图像以及各人物的面部图像也可以在鱼眼图像的再生时生成。也就是说，也可以在鱼眼图像的缩略图显示时，针对任意选择的鱼眼图像而实施修正其失真的处理并生成修正图像之后，生成从该修正图像中切取出的各人物的面部图像。此外，并不限定于生成修正图像之后切取各人物的面部部分的情况，也可以通过从鱼眼图像中切取各人物的面部图像并修正其失真，从而生成面部图像。

虽然在上述的第2实施方式中，表示了对鱼眼图像进行缩略图显示的情况，但也可以将对该鱼眼图像修正了其失真后的修正图像进行缩略图显示。即使在该情况下，当通过用户操作而选择了缩略图图像(修正图像)时，也将切换到一览显示该图像内所包含的各人物的面部图像的画面上，在这点上，与第2实施方式相同。

另外，在上述的第2实施方式中，可以分为前方180°摄影和后方180°摄影两次来实施360°摄影并将该多个鱼眼图像设为组，当然不限定于360°摄影，也可以应用于在180°范围内拍摄到(180°摄影)的摄影图像中。

虽然在上述的实施方式中，当在任意面部图像上进行双击操作时，控制部21从修正图像中检测包含该面部图像的位置，并通过使切取框移动(跳转)到该检测位置，由此使再生画面上的放大显示的图像(切取框内的图像)中包含该面部图像，但除此以外，还可以通过在任意面部图像上进行滑动操作，从而根据其滑动量而使作为任意面部图像被显示的图像发生变化。也就是说，也可以采用如下构成，即，根据其滑动量而使修正图像的包括该任意面部图像的位置移动，从而代替任意面部图像而显示修正图像的其移动目标的位置上的图像。在该情况下，当在代替任意面部图像而被显示的移动目标图像上进行双击操作时，控制部21从修正图像中检测包含其移动目标图像的位置，并通过使切取框移动到其检测位置，由此使再生画面上的放大显示的图像中包含该移动目标图像。

(第3实施方式)

以下，参照图12～图14来对本发明的第3实施方式进行说明。

在该第3实施方式中，在将多个鱼眼图像变换为缩略图图像并进行一览显示时，会在各缩略图图像的附近处将与该鱼眼图像对应保存的各人物的面部图像进行一览显示。也就是说，在缩略图图像的周边处一并显示与该图像相关联的各人物的面部图像。在此，对两个实施方式中基本相同或者名称相同的部分标注相同的符号，并省略其说明，并且，在下文中，以第3实施方式的特征部分为中心来进行说明。另外，在该第3实施方式中，例如，如图4(1)所示那样对前方180°进行垂直拍摄时的鱼眼图像和如图4(2)所示那样对后方180°进行垂直拍摄时的鱼眼图像，即，分为前方180°摄影和后方180°摄影两次摄影(360°摄影)而得到的两张鱼眼图像也作为一组图像来进行记录保存。

图12为表示再生鱼眼图像(保存完毕图像)时的主体装置20侧的动作(第3实施方式的特征部分的动作)的流程图。

首先，当通过用户操作而指示再生鱼眼图像时，控制部21读出被记录保存的多个鱼眼图像(步骤D1)，并将该鱼眼图像变换为缩略图图像而使之进行一览显示(步骤D2)。然后，针对每个鱼眼图像而读出与各鱼眼图像建立对应地记录保存的各人物的面部图像(步骤D3)，并使得在该鱼眼图像(缩略图图像)的附近(周边)配置显示所对应的各面部图像(步骤D4)。

图13(1)为表示鱼眼图像的缩略图一览画面的一个示例的图，在图中，被配置为3×3矩阵状的圆形表示鱼眼图像的缩略图图像，被配置在该鱼眼图像(缩略图图像)的周边处的纵长的小圆(椭圆)表示与该鱼眼图像对应的各人物的面部图像。图13(2)为放大了该缩略图一览画面的一部分的图，且图示的示例表示在对不是360°摄影的情况，即，实施180°摄影时的鱼眼图像进行缩略图显示的状态，且该鱼眼图像内所包含的各人物的面部图像一览显示于该缩略图图像的周边。

图14(1)为表示鱼眼图像的缩略图一览画面的其他示例的图，在图中，鱼眼图像A表示如图4(1)所示那样对前方180°进行垂直拍摄时的鱼眼图像，鱼眼图像B表示如图4(2)所示那样对后方180°进行垂直拍摄时的鱼眼图像。在以此方式分为前方180°摄影和后方180°摄影两次摄影(360°摄影)而得到的一组鱼眼图像的情况下，在其各缩略图图像的周边，除了配置显示自己的鱼眼图像内所包含的人物的面部图像之外，还配置显示了成组的另一鱼眼图像内所包含的人物的面部图像。

图14(2)为将该缩略图一览画面的一部分进行放大来表示的图，且表示鱼眼图像A的缩略图显示。在该情况下，在该缩略图图像的周边，除了一览显示鱼眼图像A内所拍到的母女的面部图像之外，还将与该鱼眼图像A成组的另一鱼眼图像B内所拍到的母子的面部图像也一并进行一览显示。此外，对该鱼眼图像B进行缩略图显示的情况也是相同的，虽然省略了图示，但在该缩略图图像的周边，除了一览显示鱼眼图像B内所拍到的母子的面部图像之外，还将与该鱼眼图像B成组的另一鱼眼图像A内所拍到的母女的面部图像也一并进行一览显示。

另外，在将面部图像配置显示于缩略图图像的周边的情况下，如图13(2)、图14(2)所示那样，调整各面部图像的尺寸而等间隔地平衡优良地进行配置。在显示了该缩略图一览画面的状态下，检查该一览画面内的面部图像的显示位置是否被触摸(双击)(步骤D5)。当前，如果并未双击面部图像的显示位置(在步骤D5中：“否”)，则转移至步骤D8，而当双击时(在步骤D5中：“是”)，从被双击的面部图像中确定所对应的鱼眼图像，读出与该鱼眼图像建立对应地记录保存的修正图像(步骤D6)，并将该修正图像切换显示于缩略图一览画面(步骤D7)。在该情况下，也与上述的第2实施方式相同，对在缩略图一览画面上选择的该鱼眼图像、或者该鱼眼图像以外的包含被触摸指定的面部图像的另一鱼眼图像进行确定，读出与该确定出的鱼眼图像建立了对应的修正图像并使之进行切换显示。

图13(3)表示在如图13(2)所示那样双击了孩子的面部图像时，使得包含该面部图像的修正图像进行放大显示的情况。图14(3)也同样表示使得包含被双击的孩子的面部图像的修正图像进行放大显示的情况，但是，在图13(3)的情况下，显示的是被缩略图显示的图像的修正图像，而在图14(3)的情况下，显示的是与被缩略图显示的图像A成组的图像B的修正图像。

在以此方式切换显示了修正图像的状态下，检查是否实施了返回指示操作(步骤D8)，如果未实施返回指示操作(在步骤D8中：“否”)，则检查是否实施了其他指示操作(步骤D9)。在此，在实施了其他指示操作(例如，指示图像编辑的操作)的情况下(在步骤D9中：“是”)，转移至与其他指示相对应的处理，而在实施了返回指示操作的情况下(在步骤D8中：“是”)，返回上述的步骤D2，并显示缩略图一览画面。

像上文这样，由于在第3实施方式中，将广角图像作为缩略图图像进行一览显示，并且将从广角图像中切取生成的被摄体部分的图像以与该缩略图图像建立对应的方式进行显示，因此即使将图像整体畸变的广角图像以原来的状态进行缩略图显示，用户也能够很容易地对其被摄体进行目视确认。

此外，由于在使得以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中的任一个广角图像进行缩略图显示的情况下，控制部21使该广角图像组中所包含的所有被摄体部分的图像与缩略图图像建立对应地进行显示，因此对于用户而言，仅对广角图像组中的任一个广角图像的缩略图显示进行确认，就能够确认该广角图像组中所包含的所有被摄体部分的图像。例如，在分为前方180°摄影和后方180°摄影两次来实施360°摄影的情况下，对于该前方180°摄影的缩略图图像(鱼眼图像)，在显示该鱼眼图像中所包含的人物的面部图像的同时，也一起显示了后方180°摄影的鱼眼图像中所包含的人物的面部图像，因此即使不对后方180°摄影的鱼眼图像的缩略图显示进行确认，也能够确认该鱼眼图像中所包含的人物的面部图像。

另外，虽然在上述的第3实施方式中，实施对所拍摄到的鱼眼图像的失真进行修正的处理并生成修正图像，并且生成从该修正图像中切取的各人物的面部图像，并与鱼眼图像建立对应地对修正图像以及各人物的面部图像进行记录保存，且在各鱼眼图像的缩略图显示时，读出与鱼眼图像建立了对应的各人物的面部图像并进行一览显示，且在从该一览显示之中被用户指定了任意的面部图像的情况下，读出包含该面部图像的修正图像并进行显示，但是，修正图像以及各人物的面部图像也可以在鱼眼图像的缩略图显示时生成。也就是说，也可以在鱼眼图像的缩略图显示时，实施对鱼眼图像的失真进行修正的处理并生成修正图像，并且生成从该修正图像中切取的各人物的面部图像。此外，并不限定于生成修正图像之后从该修正图像中切取各人物的面部部分的情况，也可以从鱼眼图像中切取各人物的面部图像并修正其失真，由此生成面部图像。

虽然在上述的第3实施方式中，使用一个鱼眼镜头16B而分为前方180°摄影和后方180°摄影两次来实施360°摄影，但是，如果具备两个鱼眼镜头16B，例如在相机框体的表面和背面两个面分别具备鱼眼镜头，则能够根据360°摄影的指示而同时实施前方180°摄影和后方180°摄影。此外，也可以使用超广角镜头来实施多次摄影从而实施360°摄影。

虽然在上述实施方式中，当在任意面部图像上进行双击操作时，控制部21从修正图像中检测包含该面部图像的位置，并通过使切取框移动(跳转)至该检测位置，由此使再生画面上的放大显示的图像(切取框内的图像)中包含该面部图像，但是，除此以外，还可以通过在任意面部图像上进行滑动操作，从而基于其滑动量而使被显示为任意面部图像的图像发生变化。也就是说，也可以采用如下构成，即，根据其滑动量而使修正图像的包含该任意面部图像的位置移动，从而代替任意面部图像而显示修正图像的其移动目标的位置上的图像。在这种情况下，当在代替任意面部图像而被显示的移动目标图像上进行双击操作时，控制部21从修正图像中检测包含该移动目标图像的位置，并通过使切取框移动到该检测位置，由此使再生画面上的放大显示的图像中包含该移动目标图像。

虽然在上述的各实施方式中，示出了作为图像处理装置而应用于数码相机的情况，但并不限定于此，例如也可以为个人计算机、PDA(面向个人的便携式信息通信设备)、平板型终端装置、智能手机等便携式电话机、电子游戏机、音乐播放器等。

此外，在上述的各实施方式中表示的“装置”或“部”，可以按功能不同而分离成多个框体，并不限定于单一框体。此外，上述的流程图中所记述的各步骤并不限定于时间序列上的处理，也可以并行处理多个步骤，或单个独立地进行处理。

此外，虽然在上述的各实施方式中，作为缩略图图像而显示鱼眼图像或广角图像，但例如也可以将对鱼眼图像、广角图像的给定范围的失真进行了修正的图像等、与这些鱼眼图像、广角图像建立了对应的图像作为缩略图图像来显示。

虽然上文对本发明的实施方式进行了说明，但本发明并未被限定于此，还包括要求保护的范围中所记载的发明及其等同的范围。

Claims (22)

1.一种图像处理装置，其特征在于，具备：

检测单元，对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测；

修正单元，对所述被摄体部分的图像的失真进行修正；和

处理单元，实施将所述广角图像的至少一部分的图像与失真被修正后的所述被摄体部分的图像建立关联的处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述修正单元还对所述广角图像的失真进行修正，

所述处理单元实施将失真被修正后的所述广角图像的至少一部分的图像与失真被修正后的所述被摄体部分的图像建立关联的处理。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述处理单元实施将具有失真的所述广角图像的至少一部分的图像与失真被修正后的所述被摄体部分的图像建立关联的处理。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具备显示单元，

所述处理单元通过使所述广角图像的至少一部分的图像显示于所述显示单元，并将失真被修正后的所述被摄体部分的图像显示于所述显示单元，由此来实施所述建立关联的处理。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述处理单元通过将所述广角图像的至少一部分的图像和失真被修正后的所述被摄体部分的图像同时显示于所述显示单元，由此来实施所述建立关联的处理。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置还具备：获取单元，获取给定范围内的图像来作为所述广角图像的一部分，

所述处理单元通过使由所述获取单元获取到的给定范围内的图像显示于所述显示单元，并使失真被修正后的所述被摄体部分的图像显示于所述显示单元，由此来实施所述建立关联的处理。

7.根据权利要求4所述的图像处理装置，其特征在于，

所述检测单元对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测，

所述处理单元通过使所述广角图像的至少一部分的图像显示于所述显示单元，并使由所述检测单元检测出的被摄体部分的图像一览显示于所述显示单元，由此来实施所述建立关联的处理。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述图像处理装置还具备：第二选择单元，在所述被摄体部分的图像被一览显示于所述显示单元的状态下，根据用户操作而从该被摄体部分中选择任意的被摄体部分的图像，

所述处理单元在由所述第二选择单元选择出任意的被摄体部分的图像时，通过将与由所述第二选择单元选择出的所述被摄体部分对应的所述广角图像的至少一部分的图像显示于所述显示单元，由此来实施所述建立关联的处理。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述修正单元还对包含由所述第二选择单元选择出的被摄体部分的图像在内的所述广角图像的给定范围的失真进行修正，

所述处理单元在由所述第二选择单元选择出任意的被摄体部分的图像时，通过将由所述修正单元修正后的给定范围的广角图像的修正图像显示于所述显示单元，由此来实施所述建立关联的处理。

10.根据权利要求7至9中任一项所述的图像处理装置，其特征在于，

所述处理单元通过切换所述显示单元的显示，使得从所述被摄体部分的图像被一览显示的状态变为所述广角图像的至少一部分的图像被显示的状态，由此来实施所述建立关联的处理。

11.根据权利要求8或9所述的图像处理装置，其特征在于，

所述处理单元通过切换所述显示单元的显示，使得从所述被摄体部分的图像被一览显示于所述显示单元的状态变为与由所述第二选择单元选择出的所述被摄体部分对应的所述广角图像的至少一部分的图像被显示于所述显示单元的状态，由此来实施所述建立关联的处理。

12.根据权利要求7所述的图像处理装置，其特征在于，

所述检测单元对以广角拍摄到的广角图像内所包含的多个给定的被摄体进行识别，并针对每个被摄体检测其被摄体部分的图像，

所述处理单元在使由所述检测单元检测出的各被摄体部分的图像一览显示于所述显示单元时，根据所述广角图像上的各被摄体的排列顺序而按照该顺序进行排列来一览显示。

13.根据权利要求6所述的图像处理装置，其特征在于，

所述图像处理装置还具备：移动指示单元，通过用户操作而使所述给定范围任意移动，

所述获取单元获取通过所述移动指示单元移动的给定范围内的图像。

14.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置还具备：第一选择单元，在所述广角图像或与所述广角图像对应的对应图像作为缩略图图像被一览显示于所述显示单元的状态下，通过用户操作而从该缩略图图像中选择任意的广角图像或对应图像，

所述检测单元对由所述第一选择单元选择出的广角图像或对应图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测，

所述处理单元在由所述第一选择单元选择出任意的广角图像或对应图像时，将由所述检测单元检测出且由所述修正单元修正后的被摄体部分的图像一览显示于所述显示单元。

15.根据权利要求4所述的图像处理装置，其特征在于，

所述图像处理装置还具备：第一选择单元，在所述广角图像或与所述广角图像对应的对应图像作为缩略图图像被一览显示的状态下，通过用户操作而从该缩略图图像中选择任意的广角图像或对应图像，

所述处理单元在由所述第一选择单元选择出任意的广角图像或对应图像时，通过使该广角图像或对应的广角图像与失真被修正后的所述被摄体部分的图像同时显示于所述显示单元，由此来实施所述建立关联的处理。

16.根据权利要求4所述的图像处理装置，其特征在于，

所述检测单元对以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中所包含的所有给定的被摄体进行识别，并针对每个被摄体检测其被摄体部分的图像，

所述处理单元在所述广角图像组中的任一个广角图像被进行了缩略图显示的情况下，通过使由所述检测单元检测出且由所述修正单元修正后的该广角图像组内所包含的所有被摄体部分的图像与被进行了缩略图显示的所述广角图像建立对应地进行显示。

17.根据权利要求1所述的图像处理装置，其特征在于，

所述检测单元对以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中所包含的所有给定的被摄体进行识别，并针对每个被摄体检测其被摄体部分的图像。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述图像处理装置还具备：指定单元，从以改变摄影方向而拍摄到的多个广角图像为组的广角图像组中指定一个广角图像，

所述处理单元实施将由所述指定单元指定出的广角图像与由所述检测单元从广角图像组中检测出的所有被摄体部分的图像建立关联的处理。

19.根据权利要求1所述的图像处理装置，其特征在于，

所述处理单元实施将所述广角图像与由所述检测单元检测出的所述被摄体部分的图像建立对应地进行记录保存的处理。

20.根据权利要求1所述的图像处理装置，其特征在于，

所述广角图像是使用鱼眼镜头而拍摄到的鱼眼图像。

21.一种图像处理方法，是图像处理装置中的图像处理方法，其特征在于，

所述图像处理方法包括：

对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测的处理；

对检测出的所述被摄体部分的图像的失真进行修正的处理；和

将所述广角图像的至少一部分的图像与被修正后的所述被摄体部分的图像建立关联的处理。

22.一种计算机可读取的存储介质，存储有程序，其特征在于，

所述程序用于使图像处理装置的计算机实现如下功能：

对以广角拍摄到的广角图像内所包含的给定的被摄体进行识别，并对其被摄体部分的图像进行检测的功能；

对检测出的所述被摄体部分的图像的失真进行修正的功能；和

将所述广角图像的至少一部分的图像与被修正后的所述被摄体部分的图像建立关联的功能。