CN110622501B - 图像处理装置及电子设备 - Google Patents

Abstract

图像处理装置具备：输入部，输入第1图像数据，该第1图像数据用于通过反复进行使拍摄到第1被拍摄对象和第2被拍摄对象的图像的显示于显示部的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在显示了所述第1被拍摄对象之后显示所述第2被拍摄对象，并再次将所述第1被拍摄对象显示于所述显示部；和图像生成部，在第1距离比第2距离长的情况下，根据所述第1图像数据生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

Description

图像处理装置及电子设备

技术领域

本发明涉及图像处理装置及电子设备。

背景技术

已知有将由超广角摄像头拍摄到的拍摄图像的一部分截出并进行显示或记录的摄像头(例如，专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2012-119804号公报

发明内容

根据第1方案，图像处理装置具备：输入部，输入第1图像数据，该第1图像数据用于通过反复进行使拍摄到第1被拍摄对象和第2被拍摄对象的图像的显示于显示部的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在显示了所述第1被拍摄对象之后显示所述第2被拍摄对象，并再次将所述第1被拍摄对象显示于所述显示部；和图像生成部，在第1距离比第2距离长的情况下，根据所述第1图像数据生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

根据第2方案，图像处理装置具备：输入部，输入第1图像数据，该第1图像数据用于通过反复进行使拍摄到第1被拍摄对象和第2被拍摄对象的图像的显示于显示部的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在显示了所述第1被拍摄对象之后显示所述第2被拍摄对象，并再次将所述第1被拍摄对象显示于所述显示部；和图像生成部，根据所述第1图像数据生成基于第1距离和第2距离而配置了所述第1被拍摄对象和所述第2被拍摄对象的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

根据第3方案，电子设备具备：显示部，显示拍摄到第1被拍摄对象和第2被拍摄对象的图像；控制部，通过反复进行使显示于所述显示部的、所述图像的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在使所述第1被拍摄对象显示之后使所述第2被拍摄对象显示，并再次使所述第1被拍摄对象显示于所述显示部；以及图像生成部，在第1距离比第2距离长的情况下，生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

根据第4方案，电子设备具备：显示部，显示拍摄到第1被拍摄对象和第2被拍摄对象的第1图像数据；控制部，通过反复进行使显示于所述显示部的、所述第1图像数据的一部分向第1方向移动而使所述第1图像数据的没有显示于所述显示部的部分显示的控制，在使所述第1被拍摄对象显示之后使所述第2被拍摄对象显示，并再次使所述第1被拍摄对象显示于所述显示部；以及图像生成部，根据所述第1图像数据生成基于第1距离和第2距离而配置了所述第1被拍摄对象和所述第2被拍摄对象的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

根据第5方案，图像处理装置具备：输入部，输入由拍摄部拍摄到的包含第1被拍摄对象和第2被拍摄对象的全周图像；和图像生成部，将所述全周图像中的包含所述第1被拍摄对象、所述第2被拍摄对象及存在于从所述第1被拍摄对象到所述第2被拍摄对象的最短路径的第3被拍摄对象的部分图像中的、从所述第1被拍摄对象向所述第2被拍摄对象的方向设为第1方向，根据所述全周图像生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的图像。

根据第6方案，图像处理装置具备：输入部，输入由拍摄部拍摄到的包含第1被拍摄对象和第2被拍摄对象的全周图像；和图像生成部，根据所述全周图像生成基于所述全周图像中的、从所述第1被拍摄对象到所述第2被拍摄对象的最短路径而配置了所述第1被拍摄对象和所述第2被拍摄对象的图像。

附图说明

图1是示意性地示出图像处理***的构成的框图。

图2是示意性地示出拍摄装置的构成的框图。

图3是拍摄部的拍摄范围及全球图像的示意图。

图4是示意性地示出图像处理装置及再现装置的构成的框图。

图5是全球图像的再现处理的说明图。

图6是二维图像制作处理的说明图。

图7是例示二维图像的图。

图8是二维动态图像制作处理的流程图。

图9是全球图像的变形例的示意图。

图10是示意性地示出兼备图像处理装置和再现装置的电子设备的框图。

图11是二维图像制作处理的说明图。

图12是二维图像制作处理的说明图。

图13是二维图像制作处理的说明图。

具体实施方式

(第1实施方式)

图1是示意性地示出图像处理***1的构成的框图。图像处理***1具有拍摄装置2、图像处理装置3及再现装置4。拍摄装置2例如是数码摄像头、智能手机、平板终端等电子设备。图像处理装置3例如是数码摄像头、智能手机、平板终端、个人计算机等电子设备。再现装置4例如是数码摄像头、智能手机、平板终端、个人计算机、数码相框、头戴显示器等电子设备。

拍摄装置2具有静态图像拍摄功能和动态图像拍摄功能。静态图像拍摄功能是拍摄全球图像(后述)的功能。动态图像拍摄功能是反复拍摄全球图像而制作各帧为全球图像的全球动态图像的功能。图像处理装置3根据由拍摄装置2制作的全球动态图像，制作各帧为视场角比全球图像窄的二维图像的二维动态图像(后述)。再现装置4再现(显示)全球图像、二维动态图像。

(拍摄装置2的说明)

图2是示意性地示出拍摄装置2的构成的框图。拍摄装置2具有拍摄部20、第1拍摄光学***21、第2拍摄光学***22及存储部23。拍摄部20具有第1拍摄元件201及第2拍摄元件202。

第1拍摄光学***21及第2拍摄光学***22是所谓的鱼眼镜头。第1拍摄光学***21使半球的范围的被拍摄对象像成像于第1拍摄元件201的拍摄面。换言之，第1拍摄元件201构成为能够对在水平方向上360度、在垂直方向上180度的范围进行拍摄。将第1拍摄元件201的拍摄范围称作第1半球。

第2拍摄光学***22使与第1半球不同的半球的范围的被拍摄对象像成像于第2拍摄元件202的拍摄面。换言之，第2拍摄元件202构成为能够对在水平方向上360度、在垂直方向上180度的范围进行拍摄。将第2拍摄元件202的拍摄范围称作第2半球。

第1半球和第2半球构成全球。也就是说，拍摄部20通过第1拍摄元件201及第2拍摄元件202，对在水平方向上360度、在垂直方向上360度的全球的范围进行拍摄。在以下的说明中，将具有在水平方向上360度、在垂直方向上360度的视场角的、对全球的范围进行了拍摄而得到的图像称作全球图像。

在用户利用了静态图像拍摄功能时，存储部23将由拍摄部20拍摄到的单个全球图像存储于存储介质51(例如存储卡等)。在用户利用了动态图像拍摄功能时，存储部23将包含由拍摄部20反复拍摄到的多个全球图像的全球动态图像存储于存储介质51。如前述那样，全球动态图像的各帧是全球图像。此外，在图2中设为存储介质51能够相对于拍摄装置2插拔，但是，拍摄装置2也可以内置有存储介质51。

(全球图像的说明)

图3的(a)是拍摄部20的拍摄范围的示意图。拍摄部20将拍摄部20的设置位置(摄像头位置)作为原点O，对图3的(a)所示的全球60的范围进行拍摄。图3的(b)是例示由拍摄部20拍摄到的全球图像的示意图。图3的(b)例示的全球图像61包含由第1拍摄元件201拍摄到的第1半球图像62和由第2拍摄元件202拍摄到的第2半球图像63。第1半球图像62包含第1拍摄光学***21所成像的圆形像64。第2半球图像63包含第2拍摄光学***22所成像的圆形像65。

通过将图3的(b)例示的全球图像61的一部分截出并变形，能够得到任意视场角的图像。例如，在想要得到图3的(a)所示的视场角66的图像的情况下，将图3的(b)的区域67截出并变形为长方形即可。另外，在想要得到如图3的(a)所示，全球的上半部分的半球中的、在图3的(a)中阴影所示的、线段A-B在水平方向上绕一周的范围68的图像的情况下，将图3的(b)的区域69截出并变形为长方形即可。将此时得到的图像70例示于图3的(c)。图像70是横长的全景图像(panoramic image)。此外，图3的(c)例示的图像70的左端71与右端72实际上如图3的(a)所示那样相连续。即，图3的(c)例示的图像70是对拍摄部20的周围360度的范围进行拍摄而得到的全周图像。全周图像70包含绕全球60的表面一周的路径600。路径600是将原点O作为中心并具有与全球60的直径相同的直径的圆的圆周。原点O是全球60的中心，所以该圆与由通过全球60的中心的平面截取的全球60的剖面的圆周一致。

线段A-B的长度可以任意设定。例如，通过将点A设定为所谓的北极并将点B设定为所谓的南极，全球图像61所拍摄的范围与作为全周图像的图像70所拍摄的范围一致。即，全周图像也可以说是将全球图像61投影(mapping)到二维图像而得到的图像。

图3的(c)例示的图像70是在拍摄部20的水平方向上对周围360度的范围进行拍摄而得到的全周图像。因此，全周图像70包含相当于所谓的赤道的路径600。全周图像不限定于拍摄部20的水平方向，可以是在拍摄部20的所有方向上对周围360度的范围进行拍摄而得到的图像。例如，可以设为沿着全球60的经线对拍摄部20的周围360度的范围进行拍摄而得到的图像。

在以下的说明中，为了便于说明，将全球图像作为像图3的(c)例示那样的在水平方向上对360度的范围进行拍摄而得到的全周图像而例示。也就是说，在以下的说明中，如图3的(c)的图像70那样宛若全周图像那样图示出的全球图像，只要没有特别记载，就是实际上图3的(a)所示的拍摄了全球60的范围的图像。

此外，拍摄部20也可以不是具有第1拍摄元件201、第2拍摄元件202这两个，而是具有更多的拍摄元件。通过这样，即便各个拍摄元件能够拍摄的范围是比半球窄的范围，也能够得到全球图像。也就是说，也可以不是将对半球的范围进行拍摄的两个拍摄元件组合来对全球60的范围进行拍摄，而是将对更窄的范围进行拍摄的三个以上的拍摄元件组合来对全球60的范围进行拍摄。各个拍摄元件的拍摄范围也可以彼此局部重叠。例如，第1拍摄元件201的拍摄范围与第2拍摄元件202的拍摄范围也可以局部重叠。同样，拍摄装置2也可以不是具有第1拍摄光学***21、第2拍摄光学***22这两个，而是具有分别使比半球窄的范围的被拍摄对象像成像的更多的拍摄光学***。

另外，拍摄部20也可以不是具有第1拍摄元件201、第2拍摄元件202这两个，而是具有单个拍摄元件。例如，通过利用反射镜等使来自第1拍摄光学***21的光和来自第2拍摄光学***22的光均朝向单个拍摄元件，能够利用单个拍摄元件拍摄圆形像64和圆形像65。通过这样，能够减少拍摄元件的个数，能够谋求拍摄部20的成本降低。

(图像处理装置3的说明)

图4的(a)是示意性地示出图像处理装置3的构成的框图。图像处理装置3具有图像生成部30、输入部31及输出部32。输入部31从存储有全球动态图像的存储介质51读出全球动态图像并向图像生成部30输入。图像生成部30对被输入的全球动态图像执行后述的二维动态图像制作处理。二维动态图像制作处理是根据全球动态图像制作二维动态图像的处理。也就是说，图像生成部30根据被输入的全球动态图像制作二维动态图像。二维动态图像是各帧由视场角比全球图像窄的图像构成的动态图像。例如，二维动态图像具有与在图3的(a)的原点O放置具有一般的50度～25度左右的视场角的摄影机而拍摄到的动态图像同等的内容。输出部32将由图像生成部30制作的二维动态图像存储于存储介质52。存储介质52既可以是与拍摄装置2存储有全球动态图像的存储介质51同一存储介质，也可以是另外的存储介质。此外，在图4的(a)中，存储介质51及存储介质52设置于图像处理装置3的外部，但是，也可以是图像处理装置3内置有存储介质51及存储介质52的一方或双方。另外，存储介质51及存储介质52也可以构成为经由有线或无线的网络与图像处理装置连接。另外，也可以构成为取代存储介质51，而从拍摄装置2经由网络直接输入全球动态图像。

另外，根据全球动态图像制作的二维动态图像的各帧也可以是具有视场角比全球图像窄的两张以上图像而不是仅具有视场角比全球图像窄的一张图像。

(再现装置4的说明)

图4的(b)是示意性地示出再现装置4的构成的框图。再现装置4具有显示部40、输入部41、控制部42及操作部43。输入部41从存储有全球图像的存储介质51读出全球图像并向控制部42输入。输入部41从存储有二维动态图像的存储介质52读出二维动态图像并向控制部42输入。控制部42进行使被输入的全球图像、二维动态图像显示于显示部40的控制。显示部40例如具有由液晶面板等构成的显示画面。显示部40基于通过控制部42进行的控制，将全球图像或二维动态图像显示于显示画面。此外，在图4的(b)中，存储介质51及存储介质52设置于再现装置4的外部，但是，也可以是再现装置4内置有存储介质51及存储介质52的一方或双方。显示部40例如是智能手机的液晶显示器、平板终端的液晶显示器、头戴显示器。因此，若在显示部40一次性显示全球图像的全部图像区域，则360度的范围会显示于二维显示器而用户难以视认。于是，已知有将具有360度的视场角的全球图像的一部分截出，在二维平面的显示画面(显示部40)显示全球图像的一部分来进行再现的方法。在以后的说明中，以在显示部40显示全球图像的一部分来进行再现的方法为前提。

操作部43是被输入由用户进行的操作的操作部件。在本实施方式中，操作部43是重叠于显示部40的显示画面的接触式传感器。操作部43检测用户的手指等接触到显示画面的位置并向控制部42传递。即，操作部43检测用户的触碰操作并向控制部42输入。触碰操作例如有用户使手指等接触显示画面的某个位置，维持着接触状态而使该手指等向上下左右的任一方向滑动，之后使该手指等成为不与显示画面接触的状态的滚动操作等。在本实施方式中，使手指等向左方向动作的滚动操作是向左方向的滚动操作。

在此，滚动操作指的是使显示于显示部40的图像在显示部40向任意的方向移动的操作。

此外，也可以使操作部43为与接触式传感器不同的操作部件。例如，在再现装置4是头戴显示器的情况下，也可以将用户向左摇头的操作设为向左方向的滚动操作。在该情况下，操作部43是伴随着用户的头的动作而检测头戴显示器的变位(朝向、位置等)的传感器。显示于显示部40的图像移动与头戴显示器的变位相当的量。例如，通过进行向左摇头的操作，显示于显示部40的图像向右移动而显示。

此外，操作部43所使用的操作部件，只要是使显示于显示部40的图像在显示部40向任意的方向移动的部件即可，不限定于上述的部件。

对通过再现装置4进行的全球图像的再现处理(显示处理)进行说明。图5是全球图像的再现处理的说明图。图5的(a)、图5的(c)及图5的(e)是例示再现对象的全球图像73的图。全球图像73是拍摄了被拍摄对象74和被拍摄对象75的图像。图5的(b)、图5的(d)及图5的(f)是例示再现了全球图像73的显示部40的显示画面的图。

控制部42将图5的(a)所示的全球图像73中的一部分的范围76截出，并如图5的(b)那样显示于显示部40。在图5的(b)中，显示部40显示了包含被拍摄对象74的范围76。当用户进行向画面左方向的滚动操作时，控制部42进行如下控制：如图5的(c)及图5的(d)所示，使显示于显示部40的全球图像73的一部分向左方向移动，在图5的(b)的时间点使全球图像73的未曾显示于显示部40的部分显示。即，控制部42将显示于显示部40的图像从曾显示于显示部40的全球图像73的一部分置换为全球图像73的更靠右侧的另一部分。换言之，控制部42将当前显示于显示部40的全球图像73的一部分暂时消隐，将图5的(a)所示的范围76变更为图5的(c)所示的范围77，将与范围77对应的全球图像73的新的一部分显示于显示部40。此时，从用户看来就像全球图像73向左方向移动了距离78。换言之，从用户看来就像显示于显示部40的图像向左方向移动了距离78。此外，距离78可以以构成显示部40的像素为单位来计测。例如，通过使向画面左方向的滚动操作为最小，全球图像73在显示部40向左方向移动1像素。通过计测到范围77显示于显示部40为止图像移动了多少像素，能够以像素为单位来规定距离78。在以下的说明中，将从图5的(a)及图5的(b)所示的显示状态向图5的(c)及图5的(d)所示的显示状态的变化表达成“显示于显示部40的图像向左方向移动了距离78”。

当用户反复进行向画面左方向的滚动操作时，控制部42反复进行上述的控制。其结果，如图5的(e)及图5的(f)所示，控制部42会将包含被拍摄对象75的范围79截出并显示于显示部40。如前述那样，由于全球图像73的右端与左端相连续，所以，当用户进一步反复进行向画面左方向的滚动操作时，控制部42再次将被拍摄对象74显示于显示部40。也就是说，显示部40的显示内容再次成为图5的(a)及图5的(b)所示的内容。

如以上那样，全球图像73是如下图像数据，该图像数据被用于：通过反复进行使拍摄到被拍摄对象74和被拍摄对象75的图像的一部分且是显示于显示部40的全球图像73的一部分向左方向移动而使全球图像73的没有显示于显示部40的部分显示的控制，在显示了被拍摄对象74之后显示被拍摄对象75，并再次使被拍摄对象74显示于显示部40。

这样，将从被拍摄对象74显示于显示部40起反复进行向画面左方向的滚动操作而到被拍摄对象75显示于显示部40为止显示于显示部40的图像所移动的距离80(图5的(e))称作从被拍摄对象74到被拍摄对象75为止的关于左方向的距离。同样，将从被拍摄对象75显示于显示部40起反复进行向画面左方向的滚动操作而到被拍摄对象74显示于显示部40为止显示于显示部40的图像所移动的距离81(图5的(e))称作从被拍摄对象75到被拍摄对象74为止的关于左方向的距离。

此外，在从图5的(a)及图5的(b)所示的状态下，用户反复进行了向画面右方向而非向画面左方向的滚动操作的情况下也同样，在显示了被拍摄对象74之后显示被拍摄对象75，并再次将被拍摄对象74显示于显示部40。不过，在图5的(a)及图5的(b)的例子中，在被拍摄对象75位于被拍摄对象74的上方向而非右方向的情况下，通过向例如画面上方向等方向而非画面左右方向进行滚动操作，在显示了被拍摄对象74之后，被拍摄对象74从画面消失，之后，显示被拍摄对象75，并会再次显示被拍摄对象74。也就是说，全球图像73所拍摄到的两个任意的被拍摄对象通过使滚动操作的方向一定而能够如上述那样显示。

如以上那样，本实施方式的再现装置4，将在垂直方向及水平方向上具有360度的视场角的全球图像的一部分截出，通过二维平面的显示画面进行再现。在以上的说明中，将全球图像设为静态图像而进行了说明，但是，各帧为全球图像的全球动态图像也能够通过同样的处理而再现。在该情况下，在使全球动态图像暂时停止而进行了再现的情况下，与上述的说明完全是同样的。当再现全球动态图像时，构成全球动态图像的各帧(全球图像)仅在时间上变化这一点不同。

在全球图像的再现中，通过用户执行任意的方向的滚动操作，将主要的被拍摄对象显示于显示部40，能够视认。然而，在全球动态图像的再现中，构成全球动态图像的各帧(全球图像)在显示部40仅显示极短的时间，所以，难以使该帧的没有显示于显示部40的部分显示。通常，滚动操作作为对下一帧的控制结果而显示于显示部40。其结果是，用户有可能漏看例如在显示画面当前没有再现的部分、主要的被拍摄对象进行了应该注意的动作的场景。另外，用户也许都不会发觉在该全球动态图像中存在着自己没有视认的主要的被拍摄对象。另外，每当欣赏动态图像时需要进行上述那样的滚动操作来调节显示位置，很麻烦。而且，例如两个主要的被拍摄对象在不同的部位进行着希望注意的动作的情况下，为了看到其双方，需要多次再现动态图像。这样，全球动态图像的再现对用户来说负担大。于是，本实施方式的图像处理***1，根据全球动态图像自动地制作合适的注意到被拍摄对象的二维动态图像，通过再现该二维动态图像，来解决上述那样的问题。

对基于再现装置4的二维动态图像的再现处理(显示处理)进行说明。如后述那样，二维动态图像由按时间顺序排列的多个二维图像构成。将构成二维动态图像的各二维图像称作帧。控制部42通过将这多个帧依次显示于显示部40，来再现二维动态图像。

此外，从拍摄装置2向图像处理装置3的全球动态图像的输入，也可以通过不使用存储介质51的方法来实现。例如，也可以将拍摄装置2及图像处理装置3通过通信线缆电连接，通过数据通信将全球动态图像向图像处理装置3输入。或者，也可以是拍摄装置2及图像处理装置3通过经由电波的无线通信而授受全球动态图像。关于从拍摄装置2向再现装置4的全球图像的输入及从图像处理装置3向再现装置4的二维动态图像的输入也是同样的。

(二维动态图像制作处理的说明)

对图像生成部30执行的二维动态图像制作处理进行说明。图像生成部30通过执行二维动态图像制作处理，来根据全球动态图像制作二维动态图像。二维动态图像制作处理是如下的处理：从全球图像确定主要被拍摄对象，制作包含确定出的主要被拍摄对象的二维动态图像。

二维动态图像制作处理包括被拍摄对象确定处理及二维图像制作处理。被拍摄对象确定处理是从全球动态图像所包含的全球图像确定主要被拍摄对象的处理。二维图像制作处理是根据全球图像来制作包含通过被拍摄对象确定处理而确定出的主要被拍摄对象的二维图像的处理。以下，对被拍摄对象确定处理及二维图像制作处理依次进行说明。

(被拍摄对象确定处理的说明)

图像生成部30例如使用面部识别、图案匹配等公知技术，从一个全球动态图像所包含的各帧确定主要被拍摄对象。例如，在主要被拍摄对象是人物的情况下，通过识别人的面部的技术，检测全球图像所包含的面部，能够根据该面部的朝向、位置、颜色等来确定与该面部对应的人物的全身。此外，所谓“确定主要被拍摄对象”是指识别(检测)映入全球图像的各种被拍摄对象的位置及形状，且从这些被拍摄对象中选择主要的被拍摄对象。例如，在主要被拍摄对象是人物且从全球图像中检测到3人以上的人物时，图像生成部30将这些人物全部确定为主要被拍摄对象。

主要被拍摄对象的识别可以基于图像中的被拍摄对象的尺寸、显著性(saliency)等各种要素(参数)来决定。另外，可以通过使用在时间上连续的多张图像而非一张图像并基于被拍摄对象的动作等来决定。此外，可以将参数数值化，通过使用阈值处理，来将预定的阈值以上的被拍摄对象作为主要被拍摄对象。若使用阈值处理，则有时多个被拍摄对象会被认定为主要被拍摄对象。主要被拍摄对象既可以是一个也可以是多个。此外，在全球图像中，由于拍摄到360度的范围，所以，与基于通常的摄像头的拍摄相比，多个被拍摄对象被认定为主要被拍摄对象的可能性高。

(二维图像制作处理的说明)

二维图像制作处理是根据全球动态图像的各帧制作包含主要被拍摄对象的二维图像的处理。本实施方式的图像处理***1，根据全球动态图像自动地制作包含主要被拍摄对象的二维动态图像。此外，将构成二维动态图像的各图像称作帧。二维图像制作处理是根据全球图像制作包含在被拍摄对象确定处理中确定出的主要被拍摄对象的二维图像(帧)的处理。在二维图像制作处理中，若主要被拍摄对象为1个，则生成包含1个主要被拍摄对象的帧，若主要被拍摄对象为两个，则生成包含两个主要被拍摄对象的帧。

图7的(a)～(c)是例示在主要被拍摄对象被认定为两个的情况下通过二维图像制作处理生成的二维图像(帧)的图。第1被拍摄对象201和第2被拍摄对象202是被认定为主要被拍摄对象的被拍摄对象。图7的(a)所例示的二维图像610是从全球图像中截出包含第1被拍摄对象201和第2被拍摄对象202的部分图像(视场角)而作为二维图像(帧)的图像。另外，也可以如图7的(b)所示，将第1被拍摄对象201从全球图像中截出，将第2被拍摄对象202从全球图像中截出，将该截出的两个部分图像上下左右贴合而制作二维图像611。另外，也可以如图7的(c)所示，将从全球图像截出第1被拍摄对象201而得到的部分图像613重叠合成到从全球图像截出包含第2被拍摄对象202的大范围而得到的图像，来制作二维图像612。

以下，使用利用拍摄装置2拍摄排球比赛的例子，来说明二维图像制作处理中的课题。

图6是二维图像制作处理的说明图。图6的(a)是排球的球场的俯视图。在图6的例子中，拍摄装置2设置于球场200的中央。在球场200的纸面左侧存在作为主要被拍摄对象的人物(以下，称作第1被拍摄对象201)。在球场200的纸面右侧存在作为另一主要被拍摄对象的人物(以下，称作第2被拍摄对象202)。即，是主要被拍摄对象被认定为两个的情形。图6的(b)中示出以拍摄装置2为中心的三维空间中的第1被拍摄对象201及第2被拍摄对象202的配置。

在此，考虑图像生成部30将如图7的(a)那样包含第1被拍摄对象201和第2被拍摄对象202的二维图像(帧)从全球图像截出的情况。若假设图像生成部30以包含图6的(b)的路径204的方式生成二维图像(帧)，则所生成的二维图像610中，第1被拍摄对象201配置于右侧，第2被拍摄对象202配置于左侧。另一方面，若假设图像生成部30以包含图6的(b)的路径209的方式生成二维图像(帧)，则所生成的二维图像610中，第1被拍摄对象201配置于左侧，第2被拍摄对象202配置于右侧。上述配置的问题，关于二维图像611、二维图像612也同样产生。即，在全球图像的性质上，图像生成部30能够将第1被拍摄对象201和第2被拍摄对象202配置成至少2种(将第1被拍摄对象201配置于左侧，将第2被拍摄对象202配置于右侧。或者，将第1被拍摄对象201配置于右侧，将第2被拍摄对象202配置于左侧)。此外，图7的(a)中，为了容易理解，图示了图6的(b)所示的路径204。

在再现了图像生成部30所生成的二维图像(或二维动态图像)的情况下，用户的视认性根据配置的方式而迥然不同。例如，在本排球的例子中，若将第1被拍摄对象201设为接球手，将第2被拍摄对象202设为攻击手，则基于二维图像610中拍摄到的与排球的关系，根据第1被拍摄对象201和第2被拍摄对象202的配置，会成为具有违和感的图像(影像)。因此，图像生成部30需要生成合适地配置了多个主要被拍摄对象(两个主要被拍摄对象)的二维图像(帧)。

本实施方式的图像生成部30在二维图像制作处理中，制作包含第1被拍摄对象201及第2被拍摄对象202双方的主要被拍摄对象的二维图像。图像生成部30使用通过被拍摄对象确定处理确定出的第1被拍摄对象201及第2被拍摄对象202的位置，将包含第1被拍摄对象201及第2被拍摄对象202的视场角决定为二维图像的视场角。例如，在图6的(a)所示的位置存在第1被拍摄对象201及第2被拍摄对象202的情况下，图像生成部30将包含第1被拍摄对象201及第2被拍摄对象202的视场角203决定为二维图像的视场角。图像生成部30通过从全球图像截出与该视场角203相当的内容并变形为长方形，来制作二维图像。

包含第1被拍摄对象201及第2被拍摄对象202的视场角存在多个。例如，既存在将第1被拍摄对象201配置于画面左且将第2被拍摄对象202配置于画面右的视场角，也存在将第1被拍摄对象201配置于画面右且将第2被拍摄对象202配置于画面左的视场角。图像生成部30从这样的许多视场角中，选择“包含在三维空间中连结第1被拍摄对象201及第2被拍摄对象202的最短的路径204且包含第1被拍摄对象201及第2被拍摄对象202”的视场角。例如，在图6的(a)中，包含第1被拍摄对象201及第2被拍摄对象202的视场角认为有视场角203、视场角205等许多视场角。图像生成部30选择这些视场角中的、包含连结第1被拍摄对象201及第2被拍摄对象202的最短的路径204且包含第1被拍摄对象201及第2被拍摄对象202的视场角203。此外，所谓“包含最短的路径204”，也可以认为是“包含存在于最短的路径204的与第1被拍摄对象201及第2被拍摄对象202不同的第3被拍摄对象”。

对“在全球图像中连结第1被拍摄对象201及第2被拍摄对象202的最短路径”的确定方法进行说明。在以通过全球60的中心且通过第1被拍摄对象201及第2被拍摄对象202的平面将全球60截断的情况下，全球60的截面的圆周的一部分成为连结第1被拍摄对象201及第2被拍摄对象202的最短路径。在图6的(b)所示的全球图像206中，若将第1被拍摄对象201及第2被拍摄对象202视为点，则可以说，天球60的截面的圆周是将路径204与路径209相连而成的。路径204和路径209中的短的一方成为最短路径。即，在全球图像中连结第1被拍摄对象201及第2被拍摄对象202的最短路径是路径204。除了第1被拍摄对象201和第2被拍摄对象202位于全球60的正相反的情况之外，最短路径能够唯一地确定。

图像生成部30如以下这样算出第1被拍摄对象201和第2被拍摄对象202的最短路径。例如，在图6的(c)所示的全球图像(全周图像)206中，图像生成部30在第1被拍摄对象201的右方向配置第2被拍摄对象202。或者，图像生成部30准备在第1被拍摄对象201的右方向配置有第2被拍摄对象202的全球图像206。其结果，在全球图像206中连结第1被拍摄对象201和第2被拍摄对象202的直线与以通过全球60的中心且通过第1被拍摄对象201及第2被拍摄对象202的平面将全球60截断的情况下的全球60的截面的圆周一致。图像生成部30将从第2被拍摄对象202关于左方向到第1被拍摄对象201为止的路径209与从第1被拍摄对象201关于左方向到第2被拍摄对象202为止的最短路径204进行比较。此外，在比较时，图像生成部30算出第1被拍摄对象201的左方向上的到第2被拍摄对象202为止的距离208(以下，称作第1距离208)。同样，图像生成部30算出第2被拍摄对象202的左方向上的到第1被拍摄对象201为止的距离207(以下，称作第2距离207)。距离可以通过对构成全球图像(全周图像)206的像素进行计数而算出。图像生成部30将第1距离208与第2距离207进行比较。在图6的例子中，第2距离207比第1距离208长。

接着，对基于图像生成部30的二维图像(帧)的生成方法进行说明。图像生成部30如上述那样将第1距离208与第2距离207进行比较，判断为第2距离207比第1距离208长。于是，图像生成部30以第1被拍摄对象201配置于右且第2被拍摄对象202配置于左的方式，生成二维图像(帧)。另一方面，在第1距离208比第2距离207长的情况下，图像生成部30与此相反，以第1被拍摄对象201配置于左且第2被拍摄对象202配置于右的方式，生成二维图像(帧)。

另外，图像生成部30也可以如下这样生成二维图像(帧)。图像生成部30将第1距离208与第2距离207进行比较，在判断为第2距离207比第1距离208长时，以包含最短路径204且包含第1被拍摄对象201及第2被拍摄对象202的方式决定视场角。当以决定出的视场角从全球图像(全周图像)206截出部分图像时，在部分图像中，第1被拍摄对象201配置于第2被拍摄对象202的右侧。于是，图像生成部30以第1被拍摄对象201配置于右且第2被拍摄对象202配置于左的方式，生成二维图像(帧)。

此外，上述的第1距离207在前述的基于再现装置4的全球图像的再现处理中，相当于在用户反复进行了向左方向的滚动操作时在从第1被拍摄对象201显示于显示部40起到第2被拍摄对象202显示于显示部40为止显示于显示部40的图像所移动的距离。上述的第2距离208，在前述的基于再现装置4的全球图像的再现处理中，相当于在用户反复进行了向左方向的滚动操作时从第2被拍摄对象202显示于显示部40起到第1被拍摄对象201显示于显示部40为止显示于显示部40的图像所移动的距离。

如以上那样，图像生成部30根据全球图像，生成基于在从第1被拍摄对象201显示于显示部40起到第2被拍摄对象202显示于显示部40为止显示于显示部40的图像所移动的第1距离207、和在从第2被拍摄对象202显示于显示部40起到第1被拍摄对象201显示于显示部40为止显示于显示部40的图像所移动的第2距离208而配置了第1被拍摄对象201和第2被拍摄对象202的二维图像。具体地说，图像生成部30，在第1距离207比第2距离208长的情况下，根据全球图像生成包含第1被拍摄对象201和第2被拍摄对象202且将第2被拍摄对象202配置于第1被拍摄对象201的左方向侧的二维图像。

使用图7的(d)，对第1被拍摄对象201的左方向侧(第1方向侧)指的是什么样的方向进行详述。此外，在图7的(d)中，为了简化说明，将第1被拍摄对象201的位置201a及第2被拍摄对象202的位置202a以点来表现。在判明了第1被拍摄对象201的位置201a和第2被拍摄对象202的位置202a时，能够求出以第1被拍摄对象201为起点且以第2被拍摄对象202为终点的向量615。将向量615分解成左方向(横向)的成分616和与左方向正交的方向(纵向)的成分617。在左方向的成分616在左方向上为正时，第2被拍摄对象202被配置于第1被拍摄对象201的左方向侧。也就是说，所谓“将第2被拍摄对象202配置于第1被拍摄对象201的左方向侧(第1方向侧)”，指的是以第1被拍摄对象201的位置201a为起点且以第2被拍摄对象202的位置202a为终点的向量615具有左方向(第1方向)的正的成分。此外，该向量615的与左方向(第1方向)正交的方向(纵向)的成分617为何种状态都没有关系。

此外，在图像生成部30生成二维图像(帧)时，在图6中说明了使用了第1距离207及第2距离208的想法，但是，也可以使用三维空间中的角度而非距离来进行说明。例如，在图6的(b)中，考虑从原点O朝向第1被拍摄对象201的向量与从原点O朝向第2被拍摄对象202的向量所成的角度。这两个向量所成的角度可以认为有锐角和钝角这2种。其中，锐角对应于最短路径204及视场角203，钝角对应于路径209及视场角205。因此，图像生成部30以这两个向量所成的角度成为最小且包含第1被拍摄对象201及第2被拍摄对象202的方式决定视场角。当以决定出的视场角从全球图像(全周图像)206截出部分图像时，在部分图像中，第1被拍摄对象201配置于第2被拍摄对象202的右侧。于是，图像生成部30以第1被拍摄对象201配置于右且第2被拍摄对象202配置于左的方式，生成二维图像(帧)。

图像生成部30通过以上说明的处理来生成(制作)二维图像(帧)。图像生成部30生成(制作)包含这些二维图像的二维动态图像，并存储于存储介质52。

图8是二维动态图像制作处理的流程图。在步骤S10中，图像生成部30针对全球动态图像所包含的各帧，执行被拍摄对象确定处理。由此，关于各帧，确定主要被拍摄对象。

在步骤S30中，图像生成部30选择全球动态图像所包含的1个帧。图像生成部30取得在所选择的帧中确定出的主要被拍摄对象的数量。在主要被拍摄对象为1个的情况下(步骤S30：是)，使处理进入步骤S35。在步骤S35中，图像生成部30基于全球图像(帧)，制作包含主要被拍摄对象的二维图像(帧)。

在主要被拍摄对象具有两个以上的情况下(步骤S30：否)，使处理进入步骤S40。在步骤S40中，图像生成部30算出所选择的帧中的第1距离。即，图像生成部30将两个主要被拍摄对象中的一方设为第1被拍摄对象，将另一方设为第2被拍摄对象，算出从第1被拍摄对象朝向第1方向到达第2被拍摄对象为止的距离。在步骤S50中，图像生成部30算出所选择的帧中的第2距离。即，图像生成部30算出从第2被拍摄对象朝向第1方向到达第1被拍摄对象为止的距离。此外，所谓第1方向是如下的方向：在使全球动态图像所包含的帧的一部分显示于显示部40的情况下，在用户反复进行了向某方向的滚动操作时，在第1被拍摄对象201显示于显示部40之后，第1被拍摄对象201从显示部40消失，之后，显示第2被拍摄对象202，并再次将第1被拍摄对象201显示于显示部40。

在步骤S60中，图像生成部30判定在步骤S40中算出的第1距离是否比在步骤S50中算出的第2距离长。在第1距离比第2距离长的情况下，图像生成部30使处理进入步骤S70。在步骤S70中，图像生成部30基于在步骤S30中所选择的全球图像(帧)，制作将第2被拍摄对象配置于第1被拍摄对象的第1方向侧的二维图像。另一方面，在步骤S60中第1距离为第2距离以下的情况下，图像生成部30使处理进入步骤S80。在步骤S80中，图像生成部30基于在步骤S30中所选择的帧，制作将第1被拍摄对象配置于第2被拍摄对象的第1方向侧的二维图像。

在步骤S90中，图像生成部30判定全球动态图像中是否残留有未选择的帧。在残留有未选择的帧的情况下，图像生成部30使处理进入步骤S30。另一方面，在全部帧都已经被选择了的情况下，图像生成部30使处理进入步骤S100。在步骤S100中，图像生成部30控制输出部32，以将由在步骤S70及步骤S80中制作的二维图像构成的二维动态图像存储于存储介质52。

根据上述的实施方式，能够得到如下的作用效果。

(1)根据本实施方式的构成，能够根据全球图像自动地生成适于鉴赏的二维图像。

(第1实施方式的变形例)

此外，也可以是单个装置具有拍摄部20、图像生成部30及显示部40中的两个以上。例如，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30。在该情况下，拍摄装置2兼备图像处理装置3的作用。因此，图像处理装置3可以不包含于图像处理***1。作为别的例子，可以是图像处理装置3除了图像生成部30之外还具有显示部40。在该情况下，图像处理装置3兼备再现装置4的作用。因此，再现装置4可以不包含于图像处理***1。作为别的例子，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30及显示部40。在该情况下，拍摄装置2兼备图像处理装置3及再现装置4的作用。即，拍摄装置2单独地提供与图像处理***1同等的功能。

图10是示意性地示出兼备图像处理装置3和再现装置4的电子设备1000的框图。电子设备1000例如是智能手机、平板终端。电子设备1000具有图像生成部30、输入部31、输出部32、显示部40、控制部42及操作部43。电子设备1000能够进行二维动态图像的制作、制作的二维动态图像的基于显示部40的再现、制作的二维动态图像的向存储介质52的存储、全球图像(全球动态图像)的基于显示部40的再现。此外，关于电子设备1000的各部的动作，与第1实施方式相同，所以省略说明。

根据上述的变形例，能够得到如下的作用效果。

(2)根据本实施方式的构成，能够得到与上述的实施方式同样的作用效果。

此外，基于图像生成部30的二维动态图像的制作，既可以与基于拍摄部20的全球动态图像的制作并行地实时进行，也可以从全球动态图像的制作完成后开始。同样，基于显示部40的二维动态图像的显示，既可以与基于图像生成部30的二维动态图像的制作并行地实时进行，也可以从二维动态图像的制作完成后开始。

在上述的实施方式中，设为拍摄部20对全球进行拍摄而进行了说明。即，设为拍摄部20能够对拍摄部20的周围360度的范围进行拍摄而进行了说明，但是，拍摄部20也可以关于垂直方向和/或水平方向，仅能够对比全球窄的范围进行拍摄。例如，拍摄部20也可以构成为能够对半球进行拍摄。或者，拍摄部20也可以仅能够对比半球更窄的范围进行拍摄。例如，也可以仅能够拍摄图3的(a)中阴影所示的范围68的图像。二维动态图像在拍摄部20的视场角比全球窄的情况下，由比其更窄的视场角的图像构成。

另外，全周图像不一定是对360度全部的范围进行拍摄而得到的图像。例如，也能够将对300度左右的范围进行拍摄而得到的图像当成左右端相连的全周图像。关于全球图像也是同样的，也可以将全球的缺失了一部分的图像当成整体连贯的全球图像。

在本说明书中，所谓全球图像，是通过反复进行使显示于显示部40的、图像的一部分向第1方向移动而使图像的没有显示于显示部40的部分显示的控制而在显示了该图像所包含的第1被拍摄对象201之后显示第2被拍摄对象202，并再次将第1被拍摄对象201显示于显示部40的图像。关于全球的缺失了一部分的图像，通过使缺失了的部分连贯，从而通过反复进行使显示于显示部40的、图像的一部分向第1方向移动而使图像的没有显示于显示部40的部分显示的控制而在显示了该图像所包含的第1被拍摄对象201之后显示第2被拍摄对象202并再次将第1被拍摄对象201显示于显示部40，所以，也是全球图像。

图9的(a)是示出全球图像的例子的示意图。与半球对应的像620及像621是对比360度小的范围进行拍摄而得到的像，半球的一部分缺失。图像生成部30及控制部42能够当成边E-F与边G-F相连续。也就是说，图9的(a)所示的图像是全球图像。

图9的(b)是示出全周图像的例子的示意图。图9的(b)中图示了对在水平方向上非连续的范围进行拍摄而得到的图像622、图像623及图像624。这三个图像是对关于水平方向比360度小的范围进行拍摄而得到的像，360度的一部分缺失。图像生成部30及控制部42能够当成边A-B之间、边C-D之间、边E-F之间连续。具体地说，控制部42反复进行在图像622的一部分显示于显示部40的状态下使图像622向水平左方向移动而使图像622的没有显示于显示部40的部分显示的控制。其结果，边C-D显示，接着边E-F显示。而且，通过进一步反复进行控制，边A-B显示，回到图像622的一部分显示于显示部40的状态。因此，图9的(b)所示的图像622、图像623、图像624是全周图像。这是因为，图9的(b)所示的图像(图像622、图像623、图像624)，通过将该图像所包含的适当的被拍摄对象设为第1被拍摄对象201、第2被拍摄对象202，从而是通过反复进行使显示于显示部40的、图像的一部分向第1方向移动而使图像的没有显示于显示部40的部分显示的控制而在显示了该图像所包含的第1被拍摄对象201之后显示第2被拍摄对象202并再次将第1被拍摄对象201显示于显示部40的图像。此外，在此所说的全周图像(或全球图像)完全没有将图像内容的连续性当作问题。也就是说，例如，在显示部40显示了包含边C-D的图像的情况下，用户有可能将边C-D的左侧的图像内容和边C-D的右侧的图像内容作为图像内容而视认为不连续。然而，图像内容的连续性不是问题，图像的连续性才是重要的。也就是说，边C-D的左侧的图像和边C-D的右侧的图像只要连续即可。

例如，在图像622中，通过将边A-B和边C-D当成连续，图像622可以说是全周图像。另外，在图像623中，通过将边C-D和边E-F当成连续，图像623也可以说是全周图像。关于全部图像，通过同样地对待，而成为通过反复进行使显示于显示部40的、图像的一部分向第1方向移动而使图像的没有显示于显示部40的部分显示的控制而在显示了该图像所包含的第1被拍摄对象201之后显示第2被拍摄对象202，并再次将第1被拍摄对象201显示于显示部40的图像，所以，是全球图像(全周图像)。

此外，如图9的(b)那样，即便是实际上不连续的全周图像、全球图像(图像622、图像623、图像624)，关于基于图像生成部30的二维图像生成处理，与上述的实施方式没有任何差异。即，根据全周图像(图像622、图像623、图像624)生成如何配置有第1被拍摄对象201和第2被拍摄对象202的二维图像(帧)，能够与上述的实施方式同样地判断。例如，将从第1被拍摄对象201显示于显示部40起反复进行向画面左方向的滚动操作到第2被拍摄对象202显示于显示部40为止显示于显示部40的图像所移动的距离、与从第2被拍摄对象202显示于显示部40起反复进行向画面左方向的滚动操作到第1被拍摄对象201显示于显示部40为止显示于显示部40的图像所移动的距离进行比较，在前者的距离比后者的距离长的情况下，以第2被拍摄对象202配置于第1被拍摄对象201的左方向的方式制作二维图像即可。

根据上述的变形例，能够得到如下的作用效果。

(3)根据本实施方式的构成，能够根据全周图像自动地生成适于鉴赏的二维图像。

此外，包含第1被拍摄对象201和第2被拍摄对象202的二维图像(帧)也可以通过上述的图7的(a)～图7的(c)以外的方法制作。例如，也可以使用接缝裁剪(seam carving)等技术，制作将第1被拍摄对象201与第2被拍摄对象202之间的空间压缩了的二维图像。或者，也可以将位于第1被拍摄对象201与第2被拍摄对象202之间的被拍摄对象去掉或缩小来制作二维图像。

图像生成部30也可以仅针对一部分的帧执行被拍摄对象确定处理而非针对全部帧执行被拍摄对象确定处理。例如，图像生成部30可以以第1帧、第31帧、第61帧等，每30帧确定主要被拍摄对象。图像生成部30针对第1帧与第31帧之间的29帧，不执行被拍摄对象确定处理。

例如，若全球动态图像的帧率为60fps，则30帧相当于0.5秒钟。若是0.5秒钟程度的期间，则可以期待主要被拍摄对象的位置几乎没有发生变化。也就是说，这29帧中的主要被拍摄对象的位置，能够容易地根据第1帧中的主要被拍摄对象的位置和第31帧中的主要被拍摄对象的位置来推定。

这样，通过仅针对一部分的全球图像执行被拍摄对象确定处理(仅从一部分的全球图像中确定主要被拍摄对象)，能够削减二维动态图像制作处理的执行所需的运算量。

(第2实施方式)

对于第2实施方式的图像处理***，图像生成部30所执行的二维动态图像制作处理的内容与第1实施方式不同。此外，在本实施方式中不提及的点，与在第1实施方式中所说明的内容相同。即，在第1实施方式中所说明的内容，全部加入第2实施方式。以下，关于第2实施方式的图像处理***，以与第1实施方式的图像处理***不同的点为中心来进行说明。

图像生成部30与第1实施方式同样，针对各帧执行被拍摄对象确定处理。图像生成部30关于由此确定出的主要被拍摄对象，执行确定帧内的主要被拍摄对象的朝向的方向确定处理。在本实施方式中，主要被拍摄对象是人物，所谓主要被拍摄对象的朝向，是图像内的人物的面部的朝向。在方向确定处理中，图像生成部30执行周知的面部识别处理，识别主要被拍摄对象的面部及其面部的朝向。图像生成部30将图像内的主要被拍摄对象的面部的朝向确定为该主要被拍摄对象的朝向。

接着，对图像中的主要被拍摄对象的朝向的确定方法进行说明。首先，决定三维空间中的主要被拍摄对象的朝向。例如，在主要被拍摄对象是人的情况下，将鼻子所朝的方向作为主要被拍摄对象的朝向。在该情况下，能够将以面部的中心为起点且以鼻子的顶点为终点的向量的朝向作为主要被拍摄对象的朝向。此外，关于三维空间中的主要被拍摄对象的朝向的决定的方式后述。当确定出表示三维空间中的主要被拍摄对象的朝向的向量后，将该向量投影于图像(或拍摄面)。其结果，被投影到拍摄到主要被拍摄对象的二维图像的向量(投影向量)成为图像中的主要被拍摄对象的朝向。

图11是二维图像制作处理的说明图。图11所示的全球图像300包含作为主要被拍摄对象的第1被拍摄对象301和第2被拍摄对象302。通过使显示于显示部40的全球图像300的一部分向左方向移动的控制，在从第1被拍摄对象显示于显示部40起到第2被拍摄对象显示于显示部40为止显示于显示部40的图像所移动的距离(从第1被拍摄对象301向右方向到第2被拍摄对象302为止的距离)，比从第2被拍摄对象302向右方向到第1被拍摄对象301为止的距离长，所以，在假设进行与第1实施方式同样的处理而制作二维图像的情况下，制作第2被拍摄对象302被配置于第1被拍摄对象301的左侧的二维图像。

如上述那样，在全球图像的性质上，图像生成部30能够将第1被拍摄对象201和第2被拍摄对象202配置成至少2种(将第1被拍摄对象201配置于左侧，将第2被拍摄对象202配置于右侧。或者，将第1被拍摄对象201配置于右侧，将第2被拍摄对象202配置于左侧)。另一方面，在再现了图像生成部30所生成的二维图像(或二维动态图像)的情况下，用户的视认性根据配置的方式而迥然不同。图像生成部30需要生成合适地配置了多个主要被拍摄对象(两个主要被拍摄对象)的二维图像(帧)。

本实施方式的图像处理部30，制作在图像内第1被拍摄对象301朝向第2被拍摄对象302那一方的二维图像。在图11所例示的图像中，第1被拍摄对象301朝向纸面右方向。通过制作以第1被拍摄对象301朝向第2被拍摄对象302那一方的方式配置了第1被拍摄对象301和第2被拍摄对象302的二维图像(帧)，能够使得成为用户没有违和感的图像(影像)。图像处理部30以第1被拍摄对象301配置于第2被拍摄对象302的左侧的方式制作二维图像。

接着，对在图像内第1被拍摄对象301朝向第2被拍摄对象302那一方这一点进行说明。如上述那样，在将表示三维空间中的主要被拍摄对象的朝向的向量投影到图像(或拍摄面)时，投影向量是图像中的主要被拍摄对象的朝向。例如，在图11中所示的向量是第1被拍摄对象301的投影向量。在图像300中，以第1被拍摄对象301为原点，在从第1被拍摄对象301朝向第2被拍摄对象302的方向上取X轴。此时，若第1被拍摄对象301的投影向量的X轴方向的成分为正，则能够判断为第1被拍摄对象301朝向第2被拍摄对象302那一方。相反，若第1被拍摄对象301的投影向量的X轴方向的成分为负，则能够判断为第1被拍摄对象301没有朝向第2被拍摄对象302那一方。

图像生成部30，在从第1被拍摄对象301显示于显示部40起到第2被拍摄对象302显示于显示部40为止显示于显示部40的图像所移动的第1距离，比在从第2被拍摄对象302显示于显示部40起到第1被拍摄对象301显示于显示部40为止显示于显示部40的图像所移动的第2距离长的情况下，在从第2被拍摄对象302显示于显示部40起到第1被拍摄对象301显示于显示部40为止显示于显示部40的图像中，第1被拍摄对象301没有朝向第2被拍摄对象302那一方时，根据全球图像，生成包含第1被拍摄对象301和第2被拍摄对象302且将第1被拍摄对象301配置于第2被拍摄对象302的第1方向侧的二维图像。

接着，对三维空间中的被拍摄对象的朝向的决定的方式进行说明。作为例子，对人物的鼻子的朝向进行了说明，但是，也可以是被拍摄对象(人物)的面部的朝向。作为面部的朝向，既可以是眼睛所朝的方向，在将面部作为平面而模型化了的情况下，也可以设为该平面的法线方向。另外，作为被拍摄对象的朝向，也可以采用人物的身体的朝向而非人物的面部的朝向。在采用了身体的朝向的情况下，也可以将胸作为平面而模型化，将该平面的法线方向设为身体的朝向。无论如何，通过预先规定三维空间中的被拍摄对象的朝向，能够唯一地决定三维空间中的被拍摄对象的朝向。另外，在作为主要被拍摄对象而采用人物以外的被拍摄对象的情况下，与被拍摄对象相配合地适当规定朝向即可。例如，若主要被拍摄对象是车辆、其他移动体，则将该车辆的行进方向(移动方向)设为主要被拍摄对象的朝向即可。另外，若主要被拍摄对象是建筑物，则将该建筑物的正面的出入口的朝向设为主要被拍摄对象的朝向即可。

接着，对三维空间中的被拍摄对象的朝向的取得的方式进行说明。如上述那样，与被拍摄对象相配合地规定了朝向，所以，例如，图像生成部30可以通过对全球图像进行图像解析，或者根据另外于拍摄部20设置的传感器的输出，或者使用了拍摄部20的测距运算，取得三维空间中的主要被拍摄对象的朝向。若能够取得表示三维空间中的主要被拍摄对象的朝向的向量，则通过投影该向量，能够取得投影向量。并且，图像生成部30可以如上述那样，基于投影向量而算出图像中的主要被拍摄对象的朝向。

根据上述的实施方式，能够得到如下的作用效果。

(1)根据本实施方式的构成，能够根据全球图像自动地生成适于鉴赏的二维图像。

(第2实施方式的变形例)

此外，也可以是单个装置具有拍摄部20、图像生成部30及显示部40中的两个以上。例如，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30。在该情况下，拍摄装置2兼备图像处理装置3的作用。因此，图像处理装置3可以不包含于图像处理***1。作为别的例子，可以是图像处理装置3除了图像生成部30之外还具有显示部40。在该情况下，图像处理装置3兼备再现装置4的作用。因此，再现装置4可以不包含于图像处理***1。作为别的例子，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30及显示部40。在该情况下，拍摄装置2兼备图像处理装置3及再现装置4的作用。即，拍摄装置2单独地提供与图像处理***1同等的功能。

图10是示意性地示出兼备图像处理装置3和再现装置4的电子设备1000的框图。电子设备1000例如是智能手机、平板终端。电子设备1000具有图像生成部30、输入部31、输出部32、显示部40、控制部42及操作部43。电子设备1000能够进行二维动态图像的制作、制作的二维动态图像的基于显示部40的再现、制作的二维动态图像的向存储介质52的存储、全球图像的基于显示部40的再现。此外，关于电子设备1000的各部的动作，与第1实施方式相同，所以省略说明。

根据上述的变形例，能够得到如下的作用效果。

(2)根据本实施方式的构成，能够得到与上述的实施方式同样的作用效果。

此外，基于图像生成部30的二维动态图像的制作，既可以与基于拍摄部20的全球动态图像的制作并行地实时进行，也可以从全球动态图像的制作完成后开始。同样，基于显示部40的二维动态图像的显示，既可以与基于图像生成部30的二维动态图像的制作并行地实时进行，也可以从二维动态图像的制作完成后开始。

根据上述的变形例，能够得到如下的作用效果。

(3)根据本实施方式的构成，能够根据全周图像自动地生成适于鉴赏的二维图像。

(第3实施方式)

对于第3实施方式的图像处理***，图像生成部30所执行的二维动态图像制作处理的内容与第1实施方式不同。此外，在本实施方式中不提及的点，与在第1实施方式中所说明的内容相同。即，在第1实施方式中所说明的内容，全部加入第3实施方式。以下，关于第3实施方式的图像处理***，以与第1实施方式的图像处理***不同的点为中心来进行说明。本实施方式的图像生成部30，与第1实施方式同样，执行被拍摄对象确定处理。该内容与第1实施方式同样，所以省略说明。

图12及图13是二维图像制作处理的说明图。图12的(a)及图13的(a)是排球的球场的俯视图。在图12及图13的例子中，拍摄装置2设置于球场400的中央。将时刻t1下的球场400的样子示于图12的(a)，将在时刻t1拍摄到的第1帧(以下，称作第1全球图像500)示于图12的(b)。此时，设为图像生成部30将作为人物的被拍摄对象403(以下，称作第3被拍摄对象403)认定为主要被拍摄对象。因此，图像生成部30在图8所示的流程图中，通过步骤S35，制作包含第3被拍摄对象403的二维图像(帧)。

将时刻t1之后的时刻t2下的球场400的样子示于图13的(a)，将在时刻t2拍摄到的第31帧(以下，称作第2全球图像510)示于图13的(b)。此时，在球场400，存在作为前述的时刻t1下的主要被拍摄对象的第3被拍摄对象403、时刻t2下的作为人物的主要被拍摄对象404(以下，称作第4被拍摄对象404)、作为人物的主要被拍摄对象405(以下，称作第5被拍摄对象405)。在此，设为图像生成部30将第4被拍摄对象404及第5被拍摄对象405确定为两个主要被拍摄对象。此外，在时刻t2下，设为第3被拍摄对象403没有被确定为主要被拍摄对象。

拍摄装置2与第4被拍摄对象404及第5被拍摄对象405的位置关系，与图6所示的例子相同。即，在图13的(b)中，通过使显示于显示部40的第2全球图像510的一部分向左方向移动的控制而在从第4被拍摄对象404显示于显示部40起到第5被拍摄对象405显示于显示部40为止显示于显示部40的图像所移动的距离(第4被拍摄对象404的右方向上的到第5被拍摄对象405为止的距离(以下，称作第1距离))，比第5被拍摄对象405的右方向上的到第4被拍摄对象404为止的距离(以下，称作第2距离)长。因此，假设进行与第1实施方式同样的处理而根据第2全球图像510制作二维图像的情况下，制作第5被拍摄对象405被配置于第4被拍摄对象404的左侧的二维图像。

相对于此，本实施方式的图像生成部30，重视在时间上靠前的帧、即在图12的(b)所示的时刻t1下拍摄到的第1全球图像500中的主要被拍摄对象的位置来生成二维图像。具体地说，图像生成部30确定包含时刻t1下的主要被拍摄对象(第3被拍摄对象403)的视场角即视场角401。然后，从在时刻t2拍摄到的第2全球图像510确定处于与视场角401相当的位置的部分图像511。然后，图像生成部30制作基于第2全球图像510中的部分图像511、第4被拍摄对象404、第5被拍摄对象405的位置关系而配置了第4被拍摄对象404和第5被拍摄对象405的二维图像。

对基于图像生成部30的二维图像制作处理进行详述。图像生成部30设想第2全球图像中的、处于与第1全球图像中的包含第3被拍摄对象403的部分图像相当的位置的部分图像511(即，第2全球图像中的、相当于视场角401的部分图像。以下，称作第1部分图像511)。图像生成部30设想第4被拍摄对象404、第5被拍摄对象405、在第4被拍摄对象404及第5被拍摄对象405之间包含第1部分图像511的部分图像(即，第2全球图像中的、相当于视场角406的部分图像。以下，称作第2部分图像)。图像处理部30制作维持第2部分图像中的、第4被拍摄对象404与第5被拍摄对象405的左右的位置关系那样的二维图像。

此外，重视在时刻t1拍摄到的第1全球图像500中的主要被拍摄对象的位置来生成二维图像，是基于以下的理由。图像生成部30根据在时刻t1拍摄到的第1全球图像500，生成包含第3被拍摄对象403的二维图像(帧)。即，作为再现了二维动态图像的影像，用户观看相当于视场角401的方向预定期间。然后，到了时刻t2而主要被拍摄对象从第3被拍摄对象403变更为第4被拍摄对象404和第5被拍摄对象405。其结果，图像生成部30根据在时刻t2拍摄到的第2全球图像510，生成包含第4被拍摄对象404和第5被拍摄对象405的二维图像(帧)。这是因为，对于作为再现了二维动态图像的影像而观看了相当于视场角401的方向预定期间的用户来说，通过以第3被拍摄对象403的位置(即，相当于视场角401的方向)为基准来配置第4被拍摄对象404和第5被拍摄对象405，容易理解三维空间的被拍摄对象的配置。也就是说，在图13的(a)中，若从拍摄装置2来看将视场角401的方向作为基准，则第4被拍摄对象404存在于左，第5被拍摄对象405存在于右。因此，在二维动态图像的再现时，在从包含第3被拍摄对象403的二维图像(帧)切换成了包含第4被拍摄对象404和第5被拍摄对象405的二维图像(帧)时，在该二维图像中，通过第4被拍摄对象404配置于左且第5被拍摄对象405配置于右，能够减少用户的违和感。

这样，通过重视时间上靠前的帧的视场角来决定视场角，能够避免由突然的场景切换导致的鉴赏时的混乱。也就是说，若与前帧全然不同的方向突然再现，则有可能不知道全球图像中的哪一部分是截出的画面。本实施方式的图像生成部30，如上述那样，重视前帧的视场角来决定视场角，所以，能够容易地掌握空间，制作适于鉴赏的二维动态图像。

此外，所谓“维持左右的位置关系”，意味着在忽视上下的位置关系而仅考虑左右方向的位置关系时，维持着该关系。也就是说，无论上下的位置关系如何变化，只要维持与左右方向相关的位置关系，那么这就是维持了左右的位置关系。

根据上述的实施方式，能够得到如下的作用效果。

(1)根据本实施方式的构成，能够根据全球图像自动地生成适于鉴赏的二维图像。

(第3实施方式的变形例)

此外，也可以是单个装置具有拍摄部20、图像生成部30及显示部40中的两个以上。例如，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30。在该情况下，拍摄装置2兼备图像处理装置3的作用。因此，图像处理装置3可以不包含于图像处理***1。作为别的例子，可以是图像处理装置3除了图像生成部30之外还具有显示部40。在该情况下，图像处理装置3兼备再现装置4的作用。因此，再现装置4可以不包含于图像处理***1。作为别的例子，可以是拍摄装置2除了拍摄部20之外还具有图像生成部30及显示部40。在该情况下，拍摄装置2兼备图像处理装置3及再现装置4的作用。即，拍摄装置2单独地提供与图像处理***1同等的功能。

图10是示意性地示出兼备图像处理装置3和再现装置4的电子设备1000的框图。电子设备1000例如是智能手机、平板终端。电子设备1000具有图像生成部30、输入部31、输出部32、显示部40、控制部42及操作部43。电子设备1000能够进行二维动态图像的制作、制作的二维动态图像的基于显示部40的再现、制作的二维动态图像的向存储介质52的存储、全球图像的基于显示部40的再现。此外，关于电子设备1000的各部的动作，与第1实施方式相同，所以省略说明。

根据上述的变形例，能够得到如下的作用效果。

(2)根据本实施方式的构成，能够得到与上述的实施方式同样的作用效果。

此外，基于图像生成部30的二维动态图像的制作，既可以与基于拍摄部20的全球动态图像的制作并行地实时进行，也可以从全球动态图像的制作完成后开始。同样，基于显示部40的二维动态图像的显示，既可以与基于图像生成部30的二维动态图像的制作并行地实时进行，也可以从二维动态图像的制作完成后开始。

根据上述的变形例，能够得到如下的作用效果。

(3)根据本实施方式的构成，能够根据全周图像自动地生成适于鉴赏的二维图像。

以上，对在左右方向上存在被拍摄对象的例子进行了说明，但是，关于两个主要被拍摄对象存在于左右以外的方向的情况，也是同样的。另外，在主要被拍摄对象不仅在左右方向上还在上下方向上移动那样的情况下，也可以以维持上下的位置关系而非维持左右的位置关系的方式制作二维图像。

以下的优先权基础申请的公开内容作为引用文而援引至此。

日本专利申请2017年第48861号(2017年3月14日申请)

标号说明

1…图像处理***，2…拍摄装置，3…图像处理装置，4…再现装置，20…拍摄部，30…图像生成部，31…输入部，40…显示部，42…控制部

Claims (7)

1.一种图像处理装置，具备：

输入部，输入第1图像数据，该第1图像数据用于通过反复进行使拍摄到第1被拍摄对象和第2被拍摄对象的图像的显示于显示部的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在显示了所述第1被拍摄对象之后显示所述第2被拍摄对象，并再次将所述第1被拍摄对象显示于所述显示部；和

图像生成部，在第1距离比第2距离长的情况下，根据所述第1图像数据生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

2.根据权利要求1所述的图像处理装置，

使所述图像的没有显示于所述显示部的部分显示的控制是使所述图像的没有显示于所述显示部的部分中的至少一部分显示的控制。

3.一种图像处理装置，具备：

输入部，输入第1图像数据，该第1图像数据用于通过反复进行使拍摄到第1被拍摄对象和第2被拍摄对象的图像的显示于显示部的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在显示了所述第1被拍摄对象之后显示所述第2被拍摄对象，并再次将所述第1被拍摄对象显示于所述显示部；和

图像生成部，根据所述第1图像数据生成基于第1距离和第2距离而配置了所述第1被拍摄对象和所述第2被拍摄对象的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

4.根据权利要求3所述的图像处理装置，

所述图像生成部，在所述第1距离比所述第2距离长的情况下，根据所述第1图像数据生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的第2图像数据。

5.一种电子设备，具备：

显示部，显示拍摄到第1被拍摄对象和第2被拍摄对象的图像；

控制部，通过反复进行使显示于所述显示部的、所述图像的一部分向第1方向移动而使所述图像的没有显示于所述显示部的部分显示的控制，在使所述第1被拍摄对象显示之后使所述第2被拍摄对象显示，并再次使所述第1被拍摄对象显示于所述显示部；以及

图像生成部，在第1距离比第2距离长的情况下，生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

6.一种电子设备，具备：

显示部，显示拍摄到第1被拍摄对象和第2被拍摄对象的第1图像数据；

控制部，通过反复进行使显示于所述显示部的、所述第1图像数据的一部分向第1方向移动而使所述第1图像数据的没有显示于所述显示部的部分显示的控制，在使所述第1被拍摄对象显示之后使所述第2被拍摄对象显示，并再次使所述第1被拍摄对象显示于所述显示部；以及

图像生成部，根据所述第1图像数据生成基于第1距离和第2距离而配置了所述第1被拍摄对象和所述第2被拍摄对象的第2图像数据，所述第1距离为从所述第1被拍摄对象显示于所述显示部起到所述第2被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离，所述第2距离为从所述第2被拍摄对象显示于所述显示部起到所述第1被拍摄对象显示于所述显示部为止、显示于所述显示部的图像所移动的距离。

7.根据权利要求6所述的电子设备，

所述图像生成部，在所述第1距离比所述第2距离长的情况下，根据所述第1图像数据生成包含所述第1被拍摄对象和所述第2被拍摄对象且将所述第2被拍摄对象配置于所述第1被拍摄对象的所述第1方向侧的第2图像数据。

Images