CN104333690A - 摄影装置以及摄影方法 - Google Patents

Abstract

本发明提供摄影装置以及摄影方法。摄影装置具有摄影部、图像处理部、视线方向判定部、主要被摄体判定部、强调处理部。所述视线方向判定部判定通过所述图像处理部取得的所述图像数据中的所述摄影者的视线方向。所述主要被摄体判定部根据通过所述视线方向判定部判定的所述视线方向，判定所述摄影者欲摄影的所述主要被摄体。所述强调处理部对通过所述主要被摄体判定部判定的所述主要被摄体进行强调处理。

Description

摄影装置以及摄影方法

技术领域

本发明涉及在全方位、全周、全景等较大的摄影范围内对被摄体摄影的摄影装置和摄影方法。

背景技术

关于在全方位的摄影范围内对被摄体摄影的摄影装置的技术，例如具有日本特开2011-40898号公报。该公报公开的技术具有：摄影单元，其对沿着规定的摄影面的360°方向的全景图像进行摄影；检测单元，其检测配设了摄影单元的该摄影再现装置的壳体的一个结构面相对的方位；记录单元，其将通过摄影单元的摄影得到的全景图像的图像数据与表示通过检测单元检测出的方位的信息关联起来记录；显示单元，其显示图像；以及显示控制单元，其根据与通过记录单元记录的图像数据关联起来记录的表示方位的信息，以使得作为预先设定的基准的方位为图像的中心的方式，将全景图像在显示单元上显示。根据该公报，欣赏全景图像的人能够容易理解该全景图像中显现的被摄体在摄影时所处的方位。

在该公报中，在全方位的摄影、全周摄影、全景等较大范围的摄影中，仅能提供一种单纯记录而未传递意图的印象较浅的图像，既无法得知摄影者正在看着较大视场角的图像中的哪个部分，又无法得知以哪个被摄体为目的进行了摄影。

本发明的目的在于提供一种既能够提供全景图像、全方位图像那样的较大视场角的图像，又能够获得传递摄影者所看着的主要对象物的图像的摄影装置和摄影方法。

发明内容

本发明的摄影装置具有：摄影部，其对包含位于前方的被摄体和位于后方的摄影者的至少眼部的范围同时进行摄影，所述被摄体包含主要被摄体在内；图像处理部，其对所述摄影部的输出信号进行图像处理，取得图像数据；视线方向判定部，其判定由所述图像处理部取得的所述图像数据中的所述摄影者的视线方向；主要被摄体判定部，其根据由所述视线方向判定部判定的所述视线方向，判定所述摄影者欲摄影的所述主要被摄体；以及强调处理部，其对由所述主要被摄体判定部判定的所述主要被摄体进行强调处理。

本发明的摄影方法对包含位于前方的被摄体和位于后方的摄影者的至少眼部的范围同时进行摄影，所述被摄体包括主要被摄体在内，对通过所述摄影获得的摄影信号进行图像处理并取得图像数据，判定所述图像数据中的所述摄影者的视线方向，根据所述视线方向判定所述摄影者欲摄影的所述主要被摄体，对所述欲摄影的所述主要被摄体进行强调处理。

以下进一步说明本发明的优点，其部分内容可从说明中显而易见地得到，或者可以通过本发明的实践而得知。本发明的优点可以通过手段的组合实现，并可特别通过下文中指出的手段获得。

附图说明

附图被并入说明书中并构成说明书的一部分，其示出了本发明的实施例，并且与基于以上内容的一般描述和以下提供的实施例的详细描述一起用于解释本发明的原理。

图1是表示本发明的摄影装置的一个实施方式的结构框图。

图2是表示该装置的摄影光学***的结构图。

图3A是表示通过该装置的摄影取得全景图像时的全方位摄影的情形的图。

图3B是表示该装置的全方位摄影的摄影结果的图。

图3C是表示通过该装置取得的全景图像的图。

图4是用于说明该装置中基准视线方向的设定的图。

图5A是表示通过该装置根据摄影者的鼻孔部的有无进行基准视线方向的设定时的状态的图。

图5B是表示在通过该装置摄影时摄影者的视线朝向被摄体的状态的图。

图6A是表示通过该装置判定摄影者的瞳孔位置时的状态的图。

图6B是表示通过该装置判定摄影者的瞳孔位置时的状态的图。

图6C是表示通过该装置根据摄影者的瞳孔位置进行基准视线方向的设定时的状态的图。

图7A是通过该装置表示摄影者的视线方向在前方的图。

图7B是通过该装置表示摄影者的视线方向在自身朝向的左侧的图。

图7C是通过该装置表示摄影者的视线方向在自身朝向的右侧的图。

图8A是通过该装置表示摄影者的视线方向在自身朝向的左侧的图。

图8B是通过该装置表示摄影者的视线方向在自身朝向的右侧的图。

图9是表示通过该装置取得的全景图像的纵向宽度的角度φ的设定的图。

图10是通过该装置表示对由多个人物构成的一群人物的强调范围的设定的图。

图11是用于说明该装置的基于标记的强调范围的设定根据的图。

图12是该装置的相机控制流程图。

图13是该装置的本装置侧视线方向的判定流程图。

图14是该装置的视线方向的朝向判定流程图。

具体实施方式

以下，参照附图说明本发明的一个实施方式。

图1表示摄影装置10的结构框图。本装置(相机)10具有用于进行全方位摄影的摄影光学***11。本装置10具有摄影光学***11，从而在约360°的大致全方位(以下，意味着全方位)的摄影范围内对被摄体摄影，例如取得全景图像。

图2表示摄影光学***11的结构图。摄影光学***11具有形成鱼眼镜头等超广角镜头的多个镜头。摄影光学***11通过鱼眼镜头使光轴P周围的全方位的摄影区域的光成像。该全方位的摄影区域还包含与光轴P对应的区域。摄影光学***11不限于通过鱼眼镜头对全方位的摄影区域的光成像，还可以对除去包含光轴P的中央区域之外的光轴P周围的环状的摄影区域的光成像。摄影光学***11对环状的摄影区域的光成像，从而对全景风格的带状区域的光成像。摄影光学***11不限于鱼眼镜头等超广角的镜头。若为本装置10那样将光轴朝向天顶进行摄影的方式，则不使用包含光轴P的中心部的图像。因此，根据本装置10的摄影方式，摄影光学***11可使用取得光轴周围180°的周边图像的反射型的光学***。摄影光学***11还可以将多个镜头组合以能够对全周进行摄影。

本实施方式中的全方位包含严格意义上的所有方位的摄影区域和光轴P周围的环状的摄影区域。因此，鱼眼镜头和广角镜头组入到本装置(相机)10中的情况下，虽然并非在严格意义上的所有方位的摄影区域进行摄影，然而在本实施方式中，设为能够进行全方位的摄影。

摄影光学***11如图2所示，既可以固定设置在本装置主体10a上，也可以以能够旋转的方式设置。在固定式的情况下，摄影者握持本装置10来摆放，从而本装置10的姿势发生变化，因此摄影光学***11的光轴P的方向与本装置10的姿势的变化一起发生改变。在能够旋转的情况下，摄影光学***11能够相对于本装置主体10a旋转，因此即使摄影者将摄影光学***11的光轴P朝向天顶方向来摆放，摄影光学***11的光轴P也通过重力或致动器的力而朝向天顶方向。

摄影光学***11在能够旋转的情况下，如图2所示包含例如形成为球状的旋转摄影体13。旋转摄影体13被设置为能够相对于本装置主体10a自由旋转。在旋转摄影体13的内部设有摄影光学***11、基板14、配重15等。在基板14设有摄影部12。摄影光学***11、摄影部12、基板14、配重15等与旋转摄影体13的旋转一起一体地旋转。

配重15设置于旋转摄影体13的下部、摄影光学***11的光轴P的延长线上。在旋转摄影体13上被施加配重15的重力。无论本装置主体10a的倾斜如何，旋转摄影体13都相对于本装置主体10a旋转，光轴P的朝向都保持天顶方向。

若如上述那样将旋转摄影体13构成为能够转动，则通过配重15使得摄影光学***11朝向天顶。因此，即使摄影者未集中注意力摆放好本装置10，因为摄影光学***11的光轴P朝向天顶，因此能够对水平方向的全景容易地进行摄影。本装置10在不特别具备该旋转摄影体13等机构的情况下也成立。

若在摄影光学***11的光轴P朝向天顶方向的状态下进行了全方位摄影，则摄影者的脸部和眼部进入摄影光学***11的摄影区域内，该摄影者的脸部和眼部被摄影的可能性变大。在本实施方式中，摄影者为了进行全方位的摄影，在使摄影光学***11的光轴P朝向天顶方向的状态下，观看在前面显示部27上显示的图像进行摄影。

在旋转摄影体13能够转动的情况下，旋转限制销16设置于旋转摄影体13的下部、摄影光学***11的光轴P的延长线上。旋转限制销16将旋转摄影体13的旋转限制在特定的旋转范围内。

在摄影光学***11的光轴P上设有摄影部12。摄影部12将通过了摄影光学***11的光转换为电子的数字信号，并作为图像数据输出。

本装置10具有由计算机构成的控制部20。控制部20控制本装置10的整体。控制部20上连接有摄影部12、麦克风21、操作判定部22、记录部24、通信部25、姿势判定部26、前面侧显示部27、前面侧触摸面板28、背面显示部29、背面侧触摸面板30。控制部20具有内部存储器。在本装置10上也可以设置相机(眼部传感器)23等。在本装置10中，摄影者可以通过观看相机(眼部传感器)23从而将图像的显示切换为前面侧显示部27或背面显示部29。设置在本装置10的背面的显示部不仅可以为背面显示部29，还可以设置其他的显示部。

本装置10的前面侧是设有摄影光学***11的面侧。在本装置10的前面侧设有前面侧显示部27和前面侧触摸面板28。

麦克风21收集周围气氛的声音，其中包括操作本装置10的摄影者的声音、该摄影者以外的例如小孩等人物的主要被摄体的声音，将该收集的声音转换为电气信号，并作为声音检测信号输出。关于是否利用麦克风21进行声音的收集，例如可以按照各种摄影模式自动选择。也可以设置一对麦克风21。一对麦克风21分别收集声音，进行立体声录音。

操作判定部22包括由摄影者手动操作的各种操作部件。操作判定部22判定对各种操作部件的操作，输出与该操作对应的操作判定信号。各种操作部件例如包括进行用于调整对主要被摄体的焦点调整和被摄体的明亮度的光圈的操作等的调整部件、释放按钮、动态图像按钮、模式拨盘、选择键、电源按钮等。

本装置10可以设置触眼式的电子取景器(EVF)。EVF可以设置于本装置10中以与背面显示部29并用。本装置10若并用EVF，则能够在不受到外部光的影响的情况下进行被摄体的观察。本装置10可以在背面设置背面相机(眼部传感器)23和EVF。根据这种本装置10，例如检测摄影者的眼部是否与EVF接近到预先设定的距离内，若摄影者的眼部接近到预先设定的距离内，则EVF开始动作。

记录部24例如记录在大致360°的全方位的摄影范围内对被摄体进行摄影取得的全景图像、从该全景图像切取出特定区域的图像、包含通过脸部检测部41检测出的摄影者A的脸部的图像等。记录部24例如预先记录人体的脸部中的眼部等各部位的图像词典。图像词典例如包括具有脸部上的眼部、鼻部、嘴部等的阴影图形的多个图像。记录部24例如为存储卡等。

通信部25在本装置10与外部装置之间进行例如包括通过摄影部12的摄影取得的各种图像和从操作判定部22输出的操作信号等的数据的通信。

姿势判定部26检测本装置10的姿势或该姿势的变化。

前面显示部27设置于本装置10的前表面。前面显示部27显示实时取景图像的显示、通过摄影取得的全景图像等。前面显示部27例如为液晶显示器或有机EL显示器等。

前面侧触摸面板28设置于前面显示部27的前表面。前面侧触摸面板28检测摄影者的触摸操作引起的按压，输出表示该触摸操作的位置的触摸坐标信号。通过这种配置，摄影者能够一边通过摄像部12对脸部进行摄像一边观看前面显示部27的显示，或进行对前面侧触摸面板28的操作。

前面侧触摸面板28也可以具备与释放按钮同样的功能。例如在前面显示部27上显示实时取景图像的状态下，摄影者若对前面侧触摸面板28进行触摸操作，则控制部20检测对前面侧触摸面板28的触摸操作，进行对被摄体的摄影控制。

作为摄影者对前面侧触摸面板28进行触摸操作时的其他功能，控制部20也可以对准与触摸位置对应的前面显示部27上的图像中的主要被摄体进行焦点调整和曝光。

在将本装置10的光轴P朝向天顶方向进行摄影的模式中，前面侧显示部27的前面朝天顶方向配置。摄影者观察在朝向天顶方向的前面侧显示部27上显示的图像，能够确认被摄体的构图等。

本装置10具有摄影部12，其对包含具有位于前方的主要被摄体的被摄体、位于后方的摄影者的至少眼部的范围同时进行摄影。由此，本装置10能够通过配置为与摄像部12相同朝向的前面侧显示部27进行如下的操作。

本装置10的摄影光学***11和前面侧显示部27都设置于本装置10的前表面。因此，摄影者在将前面侧显示部27朝向天顶方向配置，进行全方位的摄影的情况下，在向前面侧显示部27投去视线时，成为注视前面侧显示部27的姿势。

若摄影者基于这种姿势进行全方位的摄影，则摄影者的脸部(眼部)会进入摄影光学***11的摄影范围内，因此摄影者的脸部(眼部)通过摄影光学***11而被摄影的概率变高。由此，在前面侧显示部27上显示的图像中会显示出摄影者，因此该摄影者通过观看在前面侧显示部27上显示的图像就能够确认摄影者自身。

在将前面侧显示部27朝向天顶方向的状态下进行了全方位的摄影时，在前面侧显示部27上显示的图像中，例如包含处于摄影者的前方的该摄影者的家人等主要被摄体的被摄体和摄影者本身一起被摄影。在这种摄影中，即使摄影者的家人等存在于该摄影者的前方，也能获得摄影者自身与摄影者的家人等一起进入其中的图像。

根据这种本装置10，能够通过一次摄影获得摄影者与家人等一起进入到被摄体内的图像，能够实现对摄影者而言便利且快乐的照片摄影。

在摄影者向在背面显示部29上显示的图像投去视线并进行摄影的情况下，存在在摄影者对背面显示部29的视线方向的延长线上的被摄体，本装置10对该被摄体进行摄影。这种情况下，本装置10能够与通常的相机同样地正常用于由观察者拿着本装置10对前方的被摄体进行摄影的用途。

本装置10将前表面的尺寸形成得较大，在该前表面设置摄影光学***11和前面侧显示部27，从而能够使该本装置10小型化、薄型化。

本装置10还能够用于将摄影光学***11的光轴P朝向摄影者自身的摄影、即所谓的自拍等。

本装置10不限于将通过摄影光学***11摄影的图像显示于在与设有该摄影光学***11的面相同的面(前表面)的前面侧显示部27，还可以使其显示于设置在与前面侧显示部27相反侧的面上的背面显示部29上。

背面显示部29可以设置为以该背面显示部29的一边为旋转轴相对于本装置10转动。即使在这种背面显示部29上显示图像，也能获得与在前面侧显示部27上显示摄影者自身进入到被摄体的图像的情况同样的效果。

背面显示部29设置于本装置10的背面。背面显示部29显示实时取景图像的显示、通过摄影取得的全景图像等。背面显示部29例如为液晶显示器或有机EL显示器等。背面显示部29并非主要用于本装置10。

背面侧触摸面板30设置于背面显示部29的前表面。背面侧触摸面板30检测摄影者的触摸操作引起的按压，输出表示该触摸操作位置的触摸坐标信号。背面侧触摸面板30与前面侧触摸面板28可以同样地例如在背面显示部29上显示实时取景图像的状态下，在摄影者进行了触摸操作时，作为由释放开关进行了该触摸操作而发挥功能。

关于前面侧显示部27和背面显示部29的各显示动作，可以例如分别按照各种摄影模式自动选择，或按照本装置10的姿势等选择性地进行显示动作。

控制部20具有内部存储器等。内部存储器预先存储本装置10的摄影程序。内部存储器等也可以记录摄影结果。控制部20通过执行该摄影程序从而实现如下的功能。摄影程序使由计算机构成的控制部20实现如下功能，即对包含具有主要被摄体的被摄体和摄影者的至少眼部的范围进行摄影的摄影功能、对摄影功能的输出信号进行图像处理并取得图像数据的图像处理功能、判定通过图像处理功能取得的图像数据中的摄影者的视线方向的视线方向判定功能、根据通过视线方向判定功能判定的视线方向判定摄影者欲进行摄影的主要被摄体的主要被摄体判定功能、对通过主要被摄体判定功能判定的主要被摄体进行强调处理的强调处理功能。

下面说明主要被摄体的强调处理。

图3A至图3C示出用于说明利用本装置10的摄影取得全景图像的图，该图3A示出全方位摄影的情形，该图3B示出摄影结果，该图3C示出将摄影结果加工为全景图像。从全方位的图像中抽取必要的部分，以宽幅显示的情况下的图像就是全景图像。宽幅和全景的定义为，比与本装置1的前面侧触摸面板28或背面侧触摸面板30的纵横比相比，横长较长，横向长度相比纵向长度例如为2倍以上的长度。

图3A示出通过全方位摄影对作为摄影者本人的摄影者A、作为主要被摄体的例如父亲等人物(以下，称之为父亲)B、小孩等人物(以下，称之为小孩)C这3人进行摄影的情形。摄影者A的视线方向(视线方向)S朝向父亲B。

在该图所示的状态下进行了全方位摄影时，可获得与图3B所示的摄影光学***11的图像圈对应的圆形的摄影结果。在该图中，根据摄影者A的视线方向S判定摄影者A欲摄影的主要被摄体、此时为小孩C和父亲B，为了对小孩C和父亲B进行强调显示而附加圆形的标记F。

图3C示出在全景图像上为了对父亲B进行强调显示而附加了环状的标记F的图。

控制部20进行用于实现主要被摄体的强调显示的控制。控制部20具有图像处理部40、脸部检测部41、视线方向判定部42、主要被摄体判定部43、强调显示部44、显示控制部45、声音检测部46。

图像处理部40输入从摄影部12输出的全方位摄影的图像数据，对该图像数据实施白平衡校正和伽马校正等的图像处理。

脸部检测部41从通过摄影部12的摄影取得的例如全方位摄影的图像数据中检测摄影者A等的人物的脸部。具体而言，脸部检测部41读出在记录部24中预先记录的图像词典的脸部的眼部、鼻部、嘴部等各部位的阴影图形。脸部检测部41对全方位摄影的图像数据与在记录部24中预先记录的图像词典的脸部的眼部、鼻部、嘴部等各部位的阴影图形进行比较，根据该比较结果从通过摄影部12的摄影取得的图像数据中检测脸部和该脸部的眼部、鼻部、嘴部等各部位。

视线方向判定部42对通过脸部检测部41检测出的脸部和该脸部的眼部、鼻部、嘴部等各部位中例如眼部的眼白和黑眼珠的位置和大小、眼白和黑眼珠的配置、例如黑眼珠的左右上下的位置等进行检测，根据该黑眼珠的左右上下的位置等的检测结果判定视线方向。

具体而言，视线方向判定部42获取通过脸部检测部41检测出的全方位摄影的图像数据中的人物、此时作为人物为摄影者A的脸部的图像，根据摄影者A的脸部的至少鼻孔部的有无或眼部的瞳孔位置中的任意一方或双方来判定视线方向S。作为摄影者A的判定，如上所述能够根据所摄影的脸部图像的方向和区域等进行判定，作为脸部检测的结果，也可以判别相机的所持者。若能够进行脸部的检测，则也能够根据脸部的阴影图形判定眼部的位置。

具体说明视线方向S的判定。

视线方向判定部42判定摄影者A的视线方向S是否为本装置10侧。视线方向S为本装置10侧指的是摄影者A向本装置10投去视线。判定的结果若视线方向S为本装置10侧，则视线方向判定部42将该本装置10侧的视线方向S设定为图4所示的原点方向(基准视线方向)G。

视线方向判定部42在设定基准视线方向G之后，通过眼白和黑眼珠的配置来比较该基准视线方向G与摄影者A的视线方向S，判定该摄影者A的视线方向S。

即，摄影者A在以摄影者A自身、小孩C和父亲B为中心准备进行全景摄影时，首先，向图3A所示小孩C和父亲B投去视线并将小孩C和父亲B以及摄影者A自身纳入到本装置10的摄影范围内。此后，摄影者A如图4所示向在前面显示部27上显示的实时取景图像投去视线，确认小孩C和父亲B以及摄影者A自身进入到本装置10的摄影范围内。此后，摄影者A对本装置10的释放按钮进行按压操作或在前面显示部27上的触摸面板28进行触摸操作，从而本装置10进行摄影动作，获得图3B所示的摄影结果，并取得图3C所示的全景图像。

因此，视线方向判定部42如图4所示在摄影者A将视线方向S从小孩C和父亲B朝向本装置10侧时，将该视线方向S设定为基准视线方向G。关于该视线方向S，并不能够严格地判定视线方向S本身。该视线方向S是通过眼白和黑眼珠的配置以及相对变化推测得到的。

设定了基准视线方向G之后，视线方向判定部42比较该基准视线方向G与摄影者A的视线方向S，判定该摄影者A的视线方向S。

在该摄影者A的视线方向S的判定中，视线方向判定部42根据基准视线方向G与摄影者A的视线方向S的比较结果，判定摄影者A的视线方向(眼部的部分的黑眼珠的位置变化或基于眼白与黑眼珠的分配的差异)S相对于基准视线方向G为左侧、右侧或前方的哪个。关于该摄影者A的视线方向S的判定，可以以鼻梁的图形、鼻孔、脸部的轮廓图形为基准，观察黑眼珠的位置(或眼白的位置)的变化来判定。关于该摄影者A的视线方向S的判定，可以确定眼白、黑眼珠的基准位置，基于与该基准位置的差异，判断正在看着哪个方向。

视线方向判定部42根据在上述判定的摄影者A的视线方向S上存在的人物等主要被摄体、通过声音检测部46检测出的摄影者A和人物等主要被摄体的声音、摄影者A和人物等主要被摄体的各图像，判定在摄影者A与人物等主要被摄体之间是否存在会话。该判定的结果，若存在会话，则视线方向判定部42将摄影者A的瞳孔位置与上述判定出的左侧、右侧或前方中的任意一个视线方向S关联起来，将该关联起来的数据存储于内部存储器等。关联起来的数据例如可以记录于存储卡等记录部24。

下面说明摄影者A的视线方向S的基准视线方向G的设定和摄影者A的视线方向S的判定的一例。

视线方向判定部42如上所述，根据通过图像处理部40取得的全方位摄影的图像数据中的摄影者A的脸部的鼻孔部的有无或两眼部的瞳孔位置中的任意一方或两方来判定视线方向S。以下，举出具体例子说明对视线方向S的判定。

图5A表示摄影者A的视线方向S朝向本装置10的前面显示部27的情况。视线方向S大致等同于朝向本装置10的摄影光学***11。将该摄影者A的视线方向S朝向本装置10的前面显示部27时设作基准视线方向G，而此时的摄影者A的脸部整面朝下。因此，在通过本装置10的摄影光学***11而由摄影部12摄影的全方位摄影的图像数据中，摄影者A的脸部的鼻孔部几乎没有被摄影。

与此相对，图5B表示摄影者A的视线方向S如图3A所示朝向小孩C和父亲B的情况。此时的摄影者A的脸部整面朝上。由此，在通过本装置10的摄影光学***11而由摄影部12摄影的全方位摄影的图像数据中，拍摄到了摄影者A的鼻孔部。

因此，如图5A所示在通过图像处理部40取得的全方位摄影的图像数据中若没有拍摄到摄影者A的鼻孔部，则视线方向判定部42判定为摄影者A的视线方向S朝向本装置10的前面显示部27。视线方向判定部42将该视线方向S设定为基准视线方向G。

如图5B所示在通过图像处理部40取得的全方位摄影的图像数据中若拍摄到了摄影者A的鼻孔部，则视线方向判定部42判定为摄影者A的视线方向S朝向小孩C和父亲B，不进行基准视线方向G的设定。

接着，说明由视线方向判定部42根据图像数据中的摄影者A的脸部中的眼部的瞳孔位置来判定视线方向S时的具体例。

图6A表示摄影者A的视线方向S朝向小孩C和父亲B的情况。此时，通过本装置10的摄影光学***11而由摄影部12摄影的全方位摄影的图像数据是拍摄到了摄影者A的眼部中的瞳孔和该瞳孔周围的眼白的图像数据。

图6B表示摄影者A的视线方向S朝向小孩C和父亲B的上方的情况。此时，通过摄影部12摄影的全方位摄影的图像数据是拍摄到了摄影者A的眼部中的瞳孔和眼白位于2个区域、例如瞳孔位置为上方和眼白位置为下方这2个区域的图像数据。

图6C表示判断为摄影者A的视线方向S朝向本装置10的前面显示部27，将视线方向S设定为基准视线方向G的情况。此时，通过摄影部12摄影的全方位摄影的图像数据是拍摄到了摄影者A的眼部中的瞳孔和眼白位于2个区域、例如瞳孔位置为下方而眼白位置为上方这2个区域的图像数据。

因此，如图6C所示在通过图像处理部40取得的全方位摄影的图像数据中例如在瞳孔位置为下方而眼白位置为上方的2个区域进行了摄影，则视线方向判定部42判定为摄影者A的视线方向S朝向本装置10的前面显示部27，将此时的视线方向S设定为基准视线方向G。另外，在图6A和图6B所示状态下，不进行基准视线方向G的设定。

接着，说明通过视线方向判定部42判定摄影者A的视线方向相对于基准视线方向G为左侧、右侧或前方中的哪个时的具体例。

图7A至图7C表示摄影者A的脸部朝向前方而仅眼部的瞳孔朝向前方、左方向(左侧)、右方向(右侧)的情况，图7A表示摄影者A的视线方向S位于前方的情况。摄影者A在正面朝向本装置10的摄影光学***11的状态下被摄影。摄影者A的鼻部的鼻梁H存在于两眼部之间。

在通过图像处理部40取得的全方位摄影的图像数据上瞳孔位于眼部的中心，以该瞳孔为中心在左右两侧大致均等地拍摄到了眼白部，因此视线方向判定部42判定为摄影者A的视线方向S位于前方。

图7B表示摄影者A的视线方向S在自身朝向的左侧的情况。在通过图像处理部40取得的全方位摄影的图像数据上瞳孔位于眼部的右侧，在该瞳孔的左侧拍摄到了眼白部，因此视线方向判定部42判定为摄影者A的视线方向S在自身朝向的左侧。

图7C表示摄影者A的视线方向S在自身朝向的右侧的情况。在通过图像处理部40取得的全方位摄影的图像数据上瞳孔位于眼部的左侧，在该瞳孔的右侧拍摄到了眼白部，因此视线方向判定部42判定为摄影者A的视线方向S在自身朝向的右侧。

图8A和图8B表示摄影者A的脸部朝向侧向而眼部的瞳孔朝向左方向(左侧)、右方向(右侧)的情况。图8A表示摄影者A的视线方向S位于自身朝向的左侧的情况。在通过图像处理部40取得的全方位摄影的图像数据上瞳孔位于眼部的右侧，在该瞳孔的左侧拍摄到了眼白部，因此视线方向判定部42判定为摄影者A的视线方向S在自身朝向的左侧。

图8B表示摄影者A的视线方向S在自身朝向的右侧的情况。在通过图像处理部40取得的全方位摄影的图像数据上瞳孔位于眼部的左侧，在该瞳孔的右侧拍摄到了眼白部，因此视线方向判定部42判定为摄影者A的视线方向S在自身朝向的右侧。

主要被摄体判定部43根据通过视线方向判定部42判定的视线方向S来判定摄影者A欲摄影的被摄体中的主要被摄体、即在视线方向S的延长线上存在的例如图3B和图3C所示的小孩C和父亲B。

如果在具有摄影者A的鼻孔部的上方瞳孔位置朝下并且摄影者A的鼻梁和瞳孔位置不存在偏移，或者虽然不存在摄影者的鼻孔部然而瞳孔位置不存在上下方向的偏移且摄影者A的鼻梁和瞳孔位置不存在偏移，则主要被摄体判定部43判定为摄影者A的视线方向S是本装置10侧。

强调显示部44对通过主要被摄体判定部43判定的主要被摄体进行强调显示。具体地，强调显示部44对与通过图像处理部40取得的图像数据中的主要被摄体、例如图3B和图3C所示的小孩C和父亲B对应的图像区域进行强调用的图像处理。关于强调用的图像处理，例如进行向小孩C和父亲B等主要被摄体附加强调用的标记、改变主要被摄体的配置位置或使与主要被摄体对应的区域的浓淡级别相对改变之中的至少1个处理。

强调用的标记F例如图3B和图3C所示，在全景图像上使小孩C和父亲B强调显示。标记F形成为环状。标记F不限于环状，也可以为椭圆状、四边形状等其他的形状。关于标记F，也可以改变小孩C和父亲B等主要被摄体在图像数据上的配置位置。标记F还可以改变小孩C和父亲B等主要被摄体的区域的浓淡级别，例如提高该区域的亮度。标记F还可以进行图像处理以向小孩C和父亲B等主要被摄体照射点光源。标记F还可以进行降低对比度或改变曝光等。

强调显示部44在全方位摄影的图像数据中设定了对主要被摄体进行强调显示的强调范围。图9中，将通过本装置10取得的全方位摄影的图像数据、例如全景图像的纵向宽度设定为角度φ。纵向宽度的角度φ例如是将本装置10配置于作为主要被摄体的父亲B的胸部的高度位置处进行摄影时，相对于将本装置10与父亲B的胸部的高度位置连结的水平线为下侧的角度-10°、为上侧的角度50°的角度范围(-10°～50°＝60°)。关于通过标记F强调的范围，若以该角度范围(-10°～50°＝60°)进行强调，则不易得知强调的区域，因此例如设定为角度范围60°的一半30°的范围。

标记F例如在椭圆状的情况下，如图10所示对由多个人物构成的一群人物D进行了摄影时，相对于该一群人物D的中心部将上侧25°、下侧10°设定为强调范围。

如上在摄像部12与摄影者之间设有前面侧显示部27。前面侧显示部27上能够显示与图像数据对应的图像和主要被摄体判定单元43的判定结果。摄影者通过观看主要被摄体判定部43的判定结果，能够确认是否正确反映了摄影者的意图。在摄影者看着被摄体和对象物时，难以同时观看前面侧显示部27等的显示。也可以采用预先记录摄影者看着被摄体的结果，将该结果持续显示一段时间的做法。还可以对摄影者观看了前面侧显示部27的显示的情况进行检测，进行强调显示。

下面，参照图11说明基于标记F的强调范围的设定的根据。

摄影者A拿着本装置10在例如距地面的高度为1.2m处对人物E等主要被摄体进行摄影。人物E的身高例如为1.7m，在本装置10与人物E之间的间隔例如为1m的条件下进行摄影。本装置10的摄影光学***11的高度位置在水平方向J上与人物E的胸部的高度位置对应。

在这种条件下，通过本装置10对人物E摄影，为了使该人物E从胸部到脸部进入到摄影范围内，需要相对于水平方向J使上侧的角度φ(＝25°)。另外，φ＝arctan(0.5)≒25°。其中，若仅对从人物E的胸部到脸部进行摄影，则不存在人物E的背景，对于图像的欣赏而言有不合适的地方，因而对角度φ增倍而使上侧的角度为50°。

在不存在由声音检测部46检测出的对声音的检测且通过视线方向判定部42判定为主要被摄体是由多个人物构成的人物群时，强调显示部44对人物群进行强调显示。

显示控制部45将通过图像处理部40取得的全方位摄影的图像数据、例如实时取景图像或全景图像等显示在前面显示部27或背面显示部29中的任意一方或两方上。

声音检测部46输入从麦克风21输出的声音检测信号，对包含摄影者的声音和该摄影者以外的人物等主要被摄体的周围的声音进行检测。

接着，按照图12所示的相机控制流程图说明如上构成的装置的动作。

控制部20在步骤S101中，判定是否设定为摄影模式。若判定的结果为设定为摄影模式，则控制部20在步骤S102中，判定包含摄影光学***11的旋转摄影体13是否朝向天顶。即，控制部20判定是否为全方位摄影。

若判定的结果为朝向天顶，则控制部20在步骤S103中，将被摄体的实时取景图像等显示在前面显示部27或背面显示部29中的任意一方或两方上。即，摄影光学***11通过具备作为鱼眼镜头的功能的多个镜头对光轴P周围的环状的摄影区域的光成像。摄影部12将通过摄影光学***11成像的光转换为电气模拟信号，将该模拟信号转换为数字信号作为全方位摄影的图像数据。图像处理部40输入从摄影部12输出的图像数据，对该图像数据实施白平衡校正和伽马校正等图像处理。显示控制部45将通过图像处理部40取得的全方位摄影的图像数据、此处为实时取景图像显示在前面显示部27或背面显示部29中的任意一方或两方上。

若上述步骤S101的判定结果并非摄影模式而是设定为其他模式、例如再现模式，则控制部20转移到该再现模式。若上述步骤S102的判定结果为包含摄影光学***11的旋转摄影体13并非朝向天顶，则控制部20在步骤S104中转移到通常摄影模式。

控制部20在步骤S105中，判断在显示实时取景图像的是否为前面显示部27。即，判断在显示实时取景图像的显示部是否为设置在与设有摄影光学***11的面相同的面(前面侧的面)上的前面显示部27。通过该判断如果在显示实时取景图像的是背面显示部29，则控制部20将实时取景图像的显示切换为前面显示部27。

若在通过图像处理部40取得的全方位摄影的图像数据中包含摄影者A，则视线方向判定部42在步骤S111中判定该摄影者A的视线方向S是否为本装置10侧(相机侧)。即，摄影者A例如图3A所示以摄影者A自身、小孩C和父亲B为中心进行全景摄影时，如图4所示将视线投向本装置10的在显示实时取景图像的前面显示部27侧或小孩C和父亲B侧。

在判定摄影者A的视线方向S是否为本装置10侧时，脸部检测部41将通过图像处理部40取得的全方位摄影的图像数据的阴影图形与在记录部24中记录的阴影图形的图像词典进行比较，根据比较结果判定图像数据中的脸部，判定该脸部为哪个人物的。

视线方向判定部42如图5A所示判定通过图像处理部40取得的全方位摄影的图像数据中是否拍摄到了摄影者A的鼻孔部。

如果判定的结果为未拍摄到摄影者A的鼻孔部，则视线方向判定部42认为摄影者A的视线方向S朝向本装置10的前面显示部27(本装置10侧)。

视线方向判定部42在步骤S112中，如图5A所示将朝向本装置10的前面显示部27(本装置10侧)的摄影者A的视线方向S设定为基准视线方向G。

视线方向判定部42将包含设定了基准视线方向G时的摄影者A的脸部的图像数据作为该摄影者A的脸部的初始图形例如记录于记录部24等。

视线方向判定部42在步骤S113中，判定是否已进行了摄影者A的视线方向S相对于基准视线方向G为左侧、右侧或前方中的哪一个的判定、即摄影者A的视线方向S的朝向的判定。

其中，由于未进行摄影者A的视线方向S相对于基准视线方向G在左侧、右侧或前方中的哪一个的判定，因此控制部20经过步骤S115而返回步骤S102，在步骤S111中再次判定摄影者A的视线方向S是否为本装置10侧(相机侧)。

摄影者A的视线方向S为本装置10侧的判定已完毕，因此视线方向判定部42在步骤S121中，判定是否记录了摄影者A的脸部的初始图形。

判定的结果，摄影者A的脸部的初始图形已在上述步骤S112中进行了记录，因此视线方向判定部42在步骤S122中，比较摄影者A的脸部的初始图形与当前时刻通过图像处理部40取得的全方位摄影的图像数据中的摄影者A的脸部(以下，称之为当前时刻的摄影者A的脸部)。

比较的结果为，视线方向判定部42在步骤S123中，判定当前时刻的摄影者A的脸部是否与摄影者A的脸部的初始图形相比朝上、即如图6B所示摄影者A的视线方向S是否朝向小孩C和父亲B的上方。

若判定的结果为当前时刻的摄影者A的脸部并未朝上，则视线方向判定部42在步骤S124中，认为未判定为朝上，通过步骤S115返回步骤S102。

若当前时刻的摄影者A的脸部朝上，则视线方向判定部42在步骤S131中，判定当前时刻的摄影者A的脸部相对于摄影者A的脸部的初始图形是否朝右、即图7C所示摄影者A的视线方向S是否在自身朝向的右侧。

若判定的结果为当前时刻的摄影者A的脸部朝右，则视线方向判定部42在步骤S132中，判定为当前时刻的摄影者A的脸部朝右。

另一方面，若当前时刻的摄影者A的脸部并非朝右，则视线方向判定部42在步骤S133中，判定当前时刻的摄影者A的脸部相对于摄影者A的脸部的初始图形是否朝左、即如图7B所示摄影者A的视线方向S是否在自身朝向的左侧。

若判定的结果为当前时刻的摄影者A的脸部朝左，则视线方向判定部42在步骤S134中，判定为当前时刻的摄影者A的脸部朝左。

若当前时刻的摄影者A的脸部并非朝左，则由于已进行了当前时刻的摄影者A的脸部并非朝右的判定(步骤S131)，因此视线方向判定部42在步骤S135中，判定为当前时刻的摄影者A的脸部朝向前方。

通过以上的处理，视线方向判定部42结束摄影者A的视线方向S相对于基准视线方向G为左侧、右侧或前方中的哪一个的摄影者A的视线方向S的朝向的判定。

控制部20通过步骤S115返回步骤S102，在步骤S113中，再次判定是否结束了摄影者A的视线方向S相对于基准视线方向G为左侧、右侧或前方中的哪一个的朝向的判定。判定的结果为该判定已结束，因此控制部20转移到步骤S114。

主要被摄体判定部43在步骤S114中，根据通过视线方向判定部42判定的视线方向S，判定摄影者A欲摄影的被摄体中的主要被摄体、例如图3B和图3C所示的小孩C和父亲B。

强调显示部44对与通过图像处理部40取得的全方位摄影的图像数据中的主要被摄体、例如图3B和图3C所示的小孩C和父亲B对应的图像区域进行强调用的图像处理。作为强调用的图像处理，例如进行对小孩C和父亲B等主要被摄体附加强调用的标记、改变主要被摄体的配置位置或相对地改变与主要被摄体对应的区域的浓淡级别之中的至少1个处理。

强调用的标记F例如图3B和图3C所示在全景图像上也形成为用于使小孩C和父亲B强调显示的环状。附加了强调用的标记F的图像数据作为实时取景图像在前面显示部27上显示。

控制部20在步骤S115中，判定是否进行摄影。即，若进行了对于操作判定部22的释放按钮的按压操作或对于前面侧触摸面板28的触摸操作，则控制部20在该操作时进行全景摄影，将通过该全景摄影取得的全景的图像数据记录于记录部24。

即，若如图3A所示进行了全方位摄影，则图像处理部40取得与该图3B所示的摄影光学***11的图像圈对应的环状的作为摄影结果的图像数据。主要被摄体判定部43在该图像数据上，根据摄影者A的视线方向S判定摄影者A欲摄影的主要被摄体、此处为小孩C和父亲B。强调显示部44为了使小孩C和父亲B强调显示而将环状的标记F附加到图像数据上。控制部20将与摄影光学***11的图像圈对应的环状的摄影结果解压缩作为图3C所示的全景图像，并且获得为了使父亲B强调显示而附加了环状的标记F的全景图像。

接着，说明视线方向判定部42进行的摄影者A的视线方向S是否在本装置10侧的判定。

视线方向(尤其是摄影者A的视线方向)S原本利用图5A和图5B的箭头S表现，而并非能够将该箭头S方向作为正确的视线方向检测出来。在本实施方式中，从鼻梁和眼部的阴影部检测脸部的朝向，并且考虑眼白和黑眼珠的配置来判定作为视线方向的箭头S方向。

例如，如图7A所示，若鼻梁位于两眼部的中央部，而且两眼部关于鼻梁位于对称的位置，则判定为视线方向是图5A和图5B所示的箭头S方向。在该视线方向S的判定中，如果无法判定鼻孔的图形，则如图5A所示判定为视线方向S相比水平方向而朝向下方。如果能够检测出鼻孔的图形，则判定为视线方向S如图5B所示朝向水平方向或相比水平方向朝向上方。

在视线方向S的判定中，例如可以预先记录图5A和图5B所示的视线方向S作为基准视线方向，将该基准视线方向与应判定的视线方向进行比较，根据该比较结果推测应判定的视线方向。

在视线向左右移动的情况下，通过检测黑眼珠的位置相对于鼻梁向左右方向的哪个方向偏向，从而判定视线方向S为左方向或右方向。

接着，参照图13所示的本装置侧视线方向的判定流程图说明摄影者A的视线方向S的具体的判定。

视线方向判定部42在步骤S201中，判定是否通过脸部检测部41在通过图像处理部40取得的全方位摄影的图像数据中在作为本装置10侧的区域中检测到了脸部、例如摄影者A的脸部。作为本装置10侧的区域，例如为在将本装置10摆放成摄影者A向前面侧显示部27投出视线，在直立的状态下能够观看到该前面侧显示部27的图像的情况下，在该图像数据中拍入了摄影者A的区域。

上述判定的结果为在作为本装置10侧的区域中检测到摄影者A的脸部时，视线方向判定部42在步骤S202中，根据通过图像处理部40取得的全方位摄影的图像数据，例如判定是否图7A所示摄影者A的鼻部的鼻梁H存在于两眼部之间，而且瞳孔是否分别位于两眼部的中心且左右没有偏移。

若判定的结果为摄影者A的鼻部的鼻梁H存在于两眼部之间，瞳孔分别位于各眼部的中心且左右没有偏移，则视线方向判定部42在步骤S203中，判定为摄影者A的视线方向S是本装置10侧。

若在作为本装置10侧的区域中未检测到摄影者A的脸部，则视线方向判定部42从步骤S201移至步骤S204，判定是否如图5B所示摄影者A的脸部朝上，拍摄到了摄影者A的鼻孔部，并且摄影者A的瞳孔位置位于下方而视线方向S在下方侧，该摄影者A的视线方向S朝向本装置10的前面显示部27。

若判定的结果为摄影者A的脸部朝上且该摄影者A的视线方向S在下方侧，则视线方向判定部42转移到上述步骤S202。

另一方面，若摄影者A的脸部朝上且该摄影者A的视线方向S不在下方侧，则视线方向判定部42在步骤S205中，根据通过图像处理部40取得的全方位摄影的图像数据，判定是否如图5A所示摄影者A的脸部的鼻孔部几乎未被拍摄到，而且不存在摄影者A的瞳孔位置的向上下方向的偏移。

若判定的结果为摄影者A的脸部的鼻孔部几乎未被拍摄到，而且不存在摄影者A的瞳孔位置的向上下方向的偏移，则视线方向判定部42转移到上述步骤S202。

另一方面，若摄影者A的脸部的鼻孔部被拍摄到，而且存在摄影者A的瞳孔位置的向上下方向的偏移，则视线方向判定部42在步骤S206中，判定为摄影者A的视线方向S在本装置10侧以外。

接着，参照图14所示的视线方向S的朝向判定流程图，具体说明视线方向判定部42对视线方向S的朝向判定(图12所示的步骤S132、134、135)。另外，摄影者A的视线方向S的朝向相对于基准视线方向G为左侧、右侧或前方中的任意一个，将这些视线方向S的朝向表现为X。

视线方向判定部42在步骤S300中，判定能否按照例如图7A至图7C、图8A和图8B所示的各瞳孔位置判定摄影者A的视线方向S的朝向。

若判定的结果为无法判定，则视线方向判定部42在步骤S301中，根据通过图像处理部40取得的全方位摄影的图像数据来判定摄影者A的脸部的图像与通过麦克风21收集的摄影者A和小孩C以及父亲B等主要被摄体的各声音的关系。即，视线方向判定部42在步骤S302中，判定在视线方向S的朝向X、即相对于基准视线方向G的左侧、右侧或前方的视线方向S的延长线上是否存在小孩C和父亲B等主要被摄体的脸部。以下，X表示左侧、右侧或前方。

若判定的结果为相对于基准视线方向G在左侧、右侧或前方(X)的视线方向S的延长线上存在主要被摄体的脸部，则视线方向判定部42在步骤S303中，判定存在于上述左侧、右侧或前方(X)的视线方向S的延长线上的主要被摄体的脸部中的嘴部是否存在变化、例如嘴部是否存在开闭等的动作。嘴部的开闭动作的有无用于判定摄影者A是否正在与例如小孩C和父亲B等主要被摄体进行会话。

若判定的结果为主要被摄体的嘴部存在变化，则视线方向判定部42在步骤S304中，判定是否收集了从摄影者A的嘴部发出的声音。麦克风21通过立体声收集声音，因此控制部20能够根据从该麦克风21输出的声音信号来判定收集的声音的方向。因此，视线方向判定部42通过使收集的声音的方向与通过图像处理部40取得的全方位摄影的图像数据中的摄影者A的位置对应起来，从而判定是否正在从摄影者A的脸部发出声音。

若判定的结果为从摄影者A的脸部发出声音，则视线方向判定部42在步骤S305中，根据从麦克风21输出的声音信号，判定是否例如从左侧、右侧或前方的摄影者A的脸部发出声音。

若判定的结果为从存在于视线方向S为左侧、右侧或前方的视线方向S的延长线上的摄影者A的脸部发出声音，则视线方向判定部42在步骤S306中，将与根据从麦克风21输出的声音信号获得的视线方向S在左侧、右侧或前方对应的摄影者A的眼部的瞳孔位置与例如在上述图7A至图7C、图8A和图8B所示的各瞳孔位置对应起来，例如记录于记录部24，并进行数据库化。

强调显示部44在步骤S310中，对在摄影者A的视线方向S为左侧、右侧或前方时的该视线方向S的延长线上存在的例如小孩C和父亲B等主要被摄体进行强调处理。

若上述步骤S305的判定的结果为在从摄影者A观察时左侧、右侧或前方的视线方向S的延长线上存在的例如小孩C和父亲B等主要被摄体没有发出声音，则视线方向判定部42在步骤S307中，判定在从摄影者A观察时左侧、右侧或前方的视线方向S的延长线上存在的人物等主要被摄体是否为1人。

若判定的结果为人物等主要被摄体是1人，则强调显示部44在上述步骤S310中，对在摄影者A的左侧、右侧或前方的视线方向S的延长线上存在的人物等主要被摄体的脸部进行强调处理。

若人物等主要被摄体并非1人，则强调显示部44在步骤S312中，对在摄影者A的左侧、右侧或前方的视线方向S的延长线上存在的多个人物等主要被摄体群的各脸部进行强调处理。

若上述步骤S302的判定结果为没有存在于视线方向S的朝向X、即相对于基准视线方向G为左侧、右侧或前方的视线方向S的延长线上的人物等主要被摄体，则视线方向判定部42在步骤S311中，利用标记F，在上述左侧、右侧或前方的视线方向S上、例如角度范围30°的角度范围内对人物等主要被摄体进行强调。

若上述步骤S300的判定的结果为能够按照例如图7A至图7C、图8A和图8B所示的各瞳孔位置判定摄影者A的视线方向S的朝向，则视线方向判定部42在步骤S321中，按照该图7A至图7C、图8A和图8B所示的各瞳孔位置判定摄影者A的视线方向S的朝向。

根据上述一个实施方式，在全方位的摄影范围对被摄体进行摄影，若在从该全方位的摄影取得的全方位摄影的图像数据中包含摄影者A，则判定该摄影者A的视线方向S，根据该判定的视线方向S判定摄影者A欲摄影的被摄体中的例如小孩C和父亲B等主要被摄体，对该判定的主要被摄体进行强调显示，因此能够取得能够对摄影者A看着的被摄体中的例如小孩C和父亲B等主要被摄体进行强调的全景图像。

在上述实施方式中，说明的是对于视线方向S的判定使用脸部的轮廓或鼻孔等的图像判定等，然而不限于此，还可以使用预置基准位置的方法或将每个基本的视线方向的多个眼部的图像图形预先作为词典图像进行记录，通过对全方位摄影的图像数据与词典图像进行比较从而判定视线方向的方法等，可以仅利用眼部的图像来判定视线方向。

本装置10不限于具有用于在全方位的摄影范围对被摄体进行摄影以取得全景图像的摄影光学***11，还可以具有能够对摄影者A的眼部与摄影者A所看着的方向同时进行摄影的摄影光学***。

在强调处理中，使用了形成为环状的标记F，然而不限于该环状的标记F，还可以将椭圆状、四边形状等其他形状用作标记F。强调处理可以为如下处理：在小孩C和父亲B等主要被摄体的图像数据上改变配置位置；改变小孩C和父亲B等主要被摄体的区域的浓淡级别，例如提高该区域的亮度；进行图像处理以向小孩C和父亲B等主要被摄体照射点光源；降低对比度；或改变曝光。

关于进行强调的区域、例如利用形成为环状的标记F来进行强调的范围，例如可以设定为角度范围30°，或者将相对于由多个人物构成的一群人物D的中心部的上侧25°、下侧10°设定为强调范围。该基于标记F的强调范围适合于用于进行强调的小孩C和父亲B等主要被摄体的大小。

如果是这种基于标记F的强调范围，则能够明确地知道摄影者看着全景图像中的哪个部分。可知摄影者以哪个被摄体为目的进行了摄影。能够得到在摄影现场的气氛中，知道摄影者欲摄影的对象的被摄体、摄影者所看着的被摄体、摄影者印象较深的被摄体的全景图像。因而，在日后欣赏全景图像时，容易得知在摄影时所看着的被摄体，对于欣赏全景图像而言是较大的帮助。

由于对摄影者A的左侧、右侧或前方的视线方向S进行判定，因此在强调处理中，能够强调在该摄影者A的左侧、右侧或前方的视线方向S的延长线上存在的人物等主要被摄体的脸部。

本装置10在使用摄影者A的脸部的图像的用户界面具有特征，未必限于摄影装置。例如，本装置10还能应用于各种设备的遥控器那样针对产业用、医疗用装置的操作部件等对象物进行操作的结构或摆放设备的操作部位，这都是不言自明的。

本装置10若应用于相机，则能够用于以强调显示的部位等的图像区域为对象进行无线操作的设备或集中观察的设备。在能够对被摄体和摄影者进行摄影的设备中，为了由摄影者摆放该相机并对脸部的朝向进行判定并操作，需要进行协调处理的技术。只要是符合这些条件的设备，就都能够应用其中。在车载设备那样摄影者希望迅速向设备传递意图的结构中也是有效的。因而本装置10属于信息处理装置。

在上述实施方式所述的本装置10的各流程图所示的各处理都能够作为可使控制部20执行的程序进行存储。该程序可存储在存储卡(ROM卡、RAM卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等的外部存储装置的存储介质中。

本领域技术人员熟知且容易想到所附加的优点和变更。因此，本发明具备更广的范围而不局限于以上示出和描述的具体细节和代表性实施例。因此，在不脱离本发明的总体发明构思的精神的范围内可以做出各种变更，本发明通过所附权利要求书及其等同物进行限定。

相关申请的相互参考

本申请基于在2013年7月22日提出的在先日本专利申请2013-151929、并要求其优先权，在此将其全部内容并入本文作为参考。

Claims (14)

1.一种摄影装置，其具有：

摄影部，其对包含位于前方的被摄体和位于后方的摄影者的至少眼部的范围同时进行摄影，所述被摄体包括主要被摄体；

图像处理部，其对所述摄影部的输出信号进行图像处理，取得图像数据；

视线方向判定部，其判定由所述图像处理部取得的所述图像数据中的所述摄影者的视线方向；

主要被摄体判定部，其根据由所述视线方向判定部判定的所述视线方向，判定所述摄影者欲摄影的所述主要被摄体；以及

强调处理部，其对由所述主要被摄体判定部判定的所述主要被摄体进行强调处理。

2.根据权利要求1所述的摄影装置，其中，

所述摄影装置具有显示部，该显示部设置于所述摄像部与所述摄影者之间，能够显示与所述图像数据对应的图像和所述主要被摄体判定部的判定结果。

3.根据权利要求1所述的摄影装置，其中，

所述视线方向判定部判定所述摄影者的所述视线方向是否朝着本装置侧，若所述视线方向朝着所述本装置侧，则将所述本装置侧的所述视线方向作为基准，比较该基准视线方向与所述摄影者的所述视线方向，判定该摄影者的所述视线方向。

4.根据权利要求3所述的摄影装置，其中，

所述视线方向判定部根据所述基准视线方向与所述摄影者的所述视线方向之间的比较结果，判定所述摄影者的所述视线方向相对于所述基准视线方向为左侧、右侧或前方中的哪个方向。

5.根据权利要求3所述的摄影装置，其中，

如果具有所述摄影者的鼻孔部，瞳孔位置朝向下方且所述摄影者的鼻梁和所述瞳孔位置不存在偏移，则所述视线方向判定部判定为所述摄影者的所述视线方向朝着所述本装置侧。

6.根据权利要求3所述的摄影装置，其中，

如果没有所述摄影者的鼻孔部，瞳孔位置在上下方向上没有偏移，且所述摄影者的鼻梁和所述瞳孔位置不存在偏移，则所述视线方向判定部判定为所述摄影者的所述视线方向朝着所述本装置侧。

7.根据权利要求3所述的摄影装置，其中，

如果所述摄影者的鼻梁和瞳孔位置存在偏移，则所述视线方向判定部判定为所述摄影者的所述视线方向朝着所述本装置以外。

8.根据权利要求3所述的摄影装置，其中，

如果不存在所述摄影者的鼻孔部，瞳孔位置存在偏移，则所述视线方向判定部判定为所述摄影者的所述视线方向朝着所述本装置以外。

9.根据权利要求4所述的摄影装置，其中，

所述摄影装置还具有检测所述摄影者和所述主要被摄体的声音的声音检测部，

所述视线方向判定部根据在上述判定出的所述视线方向上存在的所述主要被摄体、由所述声音检测部检测出的所述声音、所述摄影者和所述主要被摄体的各图像，判定在所述摄影者与所述主要被摄体之间是否存在会话，当判定为存在所述会话时，将所述摄影者的瞳孔位置与所述左侧、所述右侧或所述前方中的任意一个所述视线方向关联起来。

10.根据权利要求6所述的摄影装置，其中，

当所述视线方向判定部判定为所述声音检测部没有检测出所述声音且所述主要被摄体为由多个人物构成的人物群时，

所述强调处理部对所述人物群进行强调处理。

11.根据权利要求1所述的摄影装置，其中，

所述强调处理部对所述图像数据中的与所述主要被摄体对应的图像区域进行强调用的图像处理，

所述强调用的图像处理进行如下处理中的至少1个处理：对所述主要被摄体附加强调用的标记的处理、改变所述主要被摄体的配置位置的处理、或相对地改变与所述主要被摄体对应的区域的浓淡级别的处理。

12.根据权利要求1所述的摄影装置，其中，

所述强调处理部在所述图像数据中设定对所述主要被摄体进行强调显示的强调范围。

13.根据权利要求1所述的摄影装置，其中，

所述摄影部具有用于全方位进行摄影的摄影光学***，输出全方位摄影的图像数据。

14.一种摄影方法，包括如下步骤：

对包含位于前方的被摄体和位于后方的摄影者的至少眼部的范围同时进行摄影，所述被摄体包括主要被摄体，

对通过所述摄影获得的摄影信号进行图像处理而取得图像数据，

判定所述图像数据中的所述摄影者的视线方向，

根据所述视线方向判定所述摄影者欲摄影的所述主要被摄体，

对所述欲摄影的所述主要被摄体进行强调处理。