CN110691230B - 信息处理装置及其控制方法以及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种信息处理装置及其控制方法以及计算机可读存储介质。一种信息处理装置，包括：设置单元，用于针对基于从多个照相机获得的多视点图像的虚拟视点图像生成，设置第一虚拟视点；以及生成单元，用于基于所述设置单元设置的所述第一虚拟视点，来生成表示在位置和方向中的至少一者上与所述设置单元设置的所述第一虚拟视点不同、且对应于与所述第一虚拟视点共同的时刻的第二虚拟视点的视点信息。

Description

信息处理装置及其控制方法以及计算机可读存储介质

技术领域

本发明涉及一种关于虚拟视点图像的生成的信息处理装置及其控制方法，以及计算机可读存储介质。

背景技术

目前，已注意到利用通过在不同位置安装多个照相机并从多个视点执行同步摄影而获得的多个视点图像来生成虚拟视点图像的技术。例如，生成虚拟视点图像的技术允许用户从各种角度观看足球或篮球的集锦，并且可以给予他/她高度身临其境的感觉。

通过将多个照相机拍摄的图像收集到诸如服务器等图像处理单元中并通过图像处理单元执行诸如三维模型生成和渲染的处理来生成基于多个视点图像的虚拟视点图像。虚拟视点图像的生成需要设置虚拟视点。例如，内容创建者通过随时间移动虚拟视点的位置来生成虚拟视点图像。即使对于单一时刻的图像，根据观看者的品味和偏好，各种虚拟视点也可能是必需的。在日本特开2015-187797号公报中，生成多个视点图像和包括表示推荐虚拟视点的元数据的自由视点图像数据。用户可以使用包括在自由视点图像数据中的元数据来容易地设置各种虚拟视点。

当虚拟视点图像被提供给多个不同品味的观看者、或者当观看者想要观看给定视点处的虚拟视点图像和另一视点处的虚拟视点图像这二者时，生成与同一时刻的多个虚拟视点对应的多个虚拟视点图像。然而，如果单独设置多个时间序列的虚拟视点以生成多个虚拟视点图像，则与传统技术类似，虚拟视点的设置会耗费大量时间。日本特开2015-187797号公报中公开的技术减少了用于设置单个虚拟视点的劳动。然而，当设置多个虚拟视点时，设置仍然很麻烦。

发明内容

本发明提供一种技术，使得能够容易设置关于虚拟视点图像生成的多个虚拟视点。

根据本发明的一方面，提供一种信息处理装置，包括：设置单元，用于针对基于从多个照相机获得的多视点图像的虚拟视点图像生成，设置第一虚拟视点；以及生成单元，用于基于所述设置单元设置的所述第一虚拟视点，来生成表示在位置和方向中的至少一者上与所述设置单元设置的所述第一虚拟视点不同、且对应于与所述第一虚拟视点共同的时刻的第二虚拟视点的视点信息。

根据本发明的另一方面，提供一种信息处理装置，包括：设置单元，用于针对基于从多个照相机获得的多视点图像的虚拟视点图像生成，设置第一虚拟视点；以及生成单元，用于基于所述多视点图像中包括的对象的位置，来生成表示在位置和方向中的至少一者上与所述设置单元设置的所述第一虚拟视点不同、且对应于与所述第一虚拟视点共同的时刻的第二虚拟视点的视点信息。

根据本发明的又一方面，提供一种控制信息处理装置的方法，包括：针对基于从多个照相机获得的多视点图像的虚拟视点图像生成，设置第一虚拟视点；以及基于所设置的第一虚拟视点，生成表示在位置和方向中的至少一者上与所设置的第一虚拟视点不同、且对应于与所述第一虚拟视点共同的时刻的第二虚拟视点的视点信息。

根据本发明的又一方面，提供一种控制信息处理装置的方法，包括：针对基于从多个照相机获得的多视点图像的虚拟视点图像生成，设置第一虚拟视点；以及基于包括在所述多视点图像中的对象的位置，生成表示在位置和方向中的至少一者上与所设置的第一虚拟视点不同、且对应于与所述第一虚拟视点共同的时刻的第二虚拟视点的视点信息。

根据本发明的又一方面，提供一种计算机可读介质，用于存储使得计算机执行上述信息处理装置的控制方法的各步骤的程序。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据实施例的图像生成装置的功能结构的示例的框图。

图2是示出根据第一实施例的虚拟视点的配置的示例的示意图。

图3A和图3B是示出视点轨迹的示例的视图。

图4A和图4B是示出根据第一实施例的另一视点生成单元和虚拟视点图像生成单元的处理的流程图。

图5是示出根据第二实施例的视点(虚拟照相机)的配置的示例的示意图。

图6A是三维地示出视点(虚拟照相机)的配置的示例的视图。

图6B是示出视点信息的视图。

图7是用于说明根据第二实施例的视点(虚拟照相机)配置方法的视图。

图8是示出根据第二实施例的另一视点生成单元的处理的流程图。

图9是用于说明根据第二实施例的视点(虚拟照相机)的配置的另一示例的视图。

图10A和10B是示出来自图9中所示的视点的虚拟视点图像的示例的视图。

图11A是示出虚拟视点图像生成***的视图。

图11B是示出图像生成装置的硬件配置的示例的框图。

具体实施方式

现在将参照附图描述本发明的几个实施例。在本说明书中，图像是“视频”、“静止图像”和“运动图像”的总称。

<第一实施例>

图11A是示出根据第一实施例的虚拟视点图像生成***的配置的示例的框图。在图11A中，多个照相机1100连接到局域网(LAN 1101)。服务器1102经由LAN 1101将照相机1100获得的多个图像作为多视点图像1104存储在存储设备1103中。服务器1102从多视点图像1104生成用于生成虚拟视点图像的素材数据1105(包括三维对象模型、三维对象的位置、纹理等)，并将其存储在存储设备1103中。图像生成装置100经由LAN 1101从服务器1102获得素材数据1105(必要的话，多视点图像1104)，并生成虚拟视点图像。

图11B是示出用作图像生成装置100的信息处理装置的硬件配置的示例的框图。在图像生成装置100中，CPU 151通过执行存储在用作主存储器的ROM 152或RAM 153中的程序来实现图像生成装置100中的各种处理。ROM 152是只读非易失性存储器，RAM 153是随机存取易失性存储器。网络I/F 154连接到LAN 1101，并且执行例如与服务器1102的通信。输入设备155是诸如键盘或鼠标的设备，并且接受来自用户的操作输入。显示设备156在CPU 151的控制下提供各种显示。外部存储设备157由诸如硬盘或硅盘等非易失性存储器构成，并存储各种数据和程序。总线158连接上述单元并执行数据传送。

图1是示出根据第一实施例的图像生成装置100的功能配置的示例的框图。注意，图1中所示的各个单元可以通过CPU 151执行预定程序实现、由专用硬件实现或者通过软件和硬件之间的协作来实现。

视点输入单元101接受用于设置虚拟照相机的虚拟视点的用户输入。由视点输入单元101接受的输入指定的虚拟视点将被称为输入视点。经由输入设备155执行用于指定输入视点的用户输入。另一视点生成单元102生成与输入视点不同的虚拟视点，以便基于由用户指定的输入视点设置另一虚拟照相机的位置。由另一视点生成单元102生成的虚拟视点将被称为另一视点。素材数据获得单元103从服务器1102获得用于生成虚拟视点图像的素材数据1105。基于来自视点输入单元101的输入视点和来自另一视点生成单元102的另一视点，虚拟视点图像生成单元104利用素材数据获得单元103获得的素材数据而生成与各个虚拟视点对应的虚拟视点图像。显示控制单元105执行控制，以在显示设备156上显示由素材数据获得单元103获得的素材数据(例如，多视点图像1104中的一个图像)的图像和由虚拟视点图像生成单元104生成的虚拟视点图像。数据存储单元107利用外部存储设备157存储由虚拟视点图像生成单元104生成的虚拟视点图像、从视点输入单元101或另一视点生成单元102发送的视点的信息等。注意，图像生成装置100的配置不限于图1所示的那一个。例如，视点输入单元101和另一视点生成单元102可以安装在图像生成装置100之外的信息处理装置中。

图2是示出虚拟视点(虚拟照相机)的配置的示例的示意图。图2示出了例如足球比赛中的进攻选手、防守选手和虚拟照相机之间的位置关系。在图2中，2a是从侧面看时选手、球和虚拟照相机的配置的视图，2b是从顶部看时选手、照相机和球的视图。在图2中，进攻者201控制球202。防守者203是对方队伍中试图阻止进攻者201进攻并面向进攻者201的选手。虚拟照相机204是与用户(例如，内容创建者)设置的输入视点211对应的虚拟照相机，配置在进攻者201后面，并且从进攻者201朝向防守者203定向。虚拟照相机的位置、方向、姿势和视角等被设置为输入视点211(虚拟照相机204)的视点信息，但是视点信息不限于此。例如，可以通过指定虚拟照相机的位置和注视点的位置来设置虚拟照相机的方向。

虚拟照相机205是与基于输入视点211设置的另一视点212对应的虚拟照相机，并且被配置为面向虚拟照相机204。在图2的示例中，虚拟照相机205被布置在防守者203的后面，并且照相机的视线方向是从防守者203到进攻者201的方向。基于通过内容创建者手动输入用于确定例如照相机位置和方向的参数而设置的输入视点211来配置虚拟照相机204。相反，，另一视点212(虚拟照相机205)由另一视点生成单元102响应于配置输入视点211(虚拟照相机204)而自动配置。注视点206是虚拟照相机204和205中的每一个的视线与地面交叉的点。在该实施例中，输入视点211的注视点和另一视点212的注视点是共同的。

在图2的2a中，输入视点211和进攻者201之间的距离是h1。输入视点211和另一视点212中的每一个离地面的高度是h2。注视点206与从输入视点211和另一视点212中的每一个到地面的垂线的位置之间的距离是h3。另一视点212的视点位置和视线方向是通过以通过注视点206的垂线213为轴将输入视点211的视点位置和视线方向围绕其旋转180°而获得的。

图3A是示出图2所示的输入视点211和另一视点212的轨迹的视图。输入视点211的轨迹(照相机路径)是通过点A1、A2、A3、A4及A5的曲线301，另一视点212的轨迹(照相机路径)是通过点B1、B2、B3、B4和B5的曲线302。图3B是示出输入视点211和另一视点212在各时刻的位置的视图，其中横坐标表示时间。在时刻T1至T5，输入视点211位于A1至A5，另一视点212位于B1至B5。例如，A1和B1表示在相同时刻T1的输入视点211和另一视点212的位置。

在图3A中，连接点A1和B1、点A2和B2、点A3和B3、点A4和B4以及点A5和B5的直线的方向表示在时刻T1至T5输入视点211和另一视点212的视线方向。也就是说，在该实施例中，两个虚拟视点(虚拟照相机)的视线定向在它们在每个时刻总是彼此面对的方向上。这也适用于两个虚拟视点之间的距离。在每个时刻输入视点211和另一视点212之间的距离被设置为一直恒定。

接下来，将描述另一视点生成单元102的操作。图4A是示出由视点输入单元101和另一视点生成单元102获得视点信息的处理的流程图。在步骤S401中，视点输入单元101确定内容创建者是否已输入输入视点211的视点信息。如果在步骤S401中视点输入单元101确定内容创建者已输入视点信息，则处理进入步骤S402。在步骤S402中，视点输入单元101将输入视点211的视点信息提供给另一视点生成单元102和虚拟视点图像生成单元104。在步骤S403中，另一视点生成单元102基于输入视点的视点信息生成另一视点。例如，如参照图2所述，另一视点生成单元102基于输入视点211生成另一视点212，并生成其视点信息。在步骤S404中，另一视点生成单元102将所生成的另一视点的视点信息提供给虚拟视点图像生成单元104。在步骤S405中，另一视点生成单元102确定是否已结束从视点输入单元101接收视点信息。如果另一视点生成单元102确定已结束视点信息的接收，则流程结束。如果另一视点生成单元102确定正在接收视点信息，则处理返回到步骤S401。

通过上述处理，随着从视点输入单元101在时间序列中输入的视点，另一视点生成单元102在时间序列中生成另一视点。例如，当输入移动以便绘制图3A所示的曲线301的输入视点211时，另一视点生成单元102生成另一视点212，以跟随曲线301绘制曲线302。虚拟视点图像生成单元104从来自视点输入单元101的视点信息和来自另一视点生成单元102的另一视点信息中生成虚拟视点图像。

接下来，将描述虚拟视点图像生成单元104的虚拟视点图像生成处理。图4B是示出虚拟视点图像生成单元104生成虚拟视点图像的处理的流程图。在步骤S411中，虚拟视点图像生成单元104确定是否已从视点输入单元101接收到输入视点211的视点信息。如果在步骤S411中虚拟视点图像生成单元104确定其已经接收到视点信息，则处理进入步骤S412。如果虚拟视点图像生成单元104确定其尚未接收到视点信息，则处理返回到步骤S411。在步骤S412中，虚拟视点图像生成单元104基于接收到的视点信息来配置虚拟照相机204，并生成要由虚拟照相机204拍摄的虚拟视点图像。

在步骤S413中，虚拟视点图像生成单元104确定是否已从另一视点生成单元102接收到另一视点212的视点信息。如果在步骤S413中虚拟视点图像生成单元104确定其已接收到另一视点212的视点信息，则处理进入步骤S414。如果虚拟视点图像生成单元104确定其尚未接收到另一视点212的视点信息，则处理返回到步骤S413。在步骤S414中，虚拟视点图像生成单元104基于步骤S413中接收的视点信息来配置虚拟照相机205，并生成要由虚拟照相机205拍摄的虚拟视点图像。在步骤S415中，虚拟视点图像生成单元104确定是否已结束从视点输入单元101和另一视点生成单元102中的每一个接收视点信息。如果虚拟视点图像生成单元104确定完成了视点信息的接收，则流程图的处理结束。如果虚拟视点图像生成单元104确定还未完成视点信息的接收，则处理返回到步骤S411。

尽管在图4B的流程图中以时间序列执行作为生成虚拟视点图像的处理的步骤S412和S414，但是本发明不限于此。可以与多个虚拟视点相对应地提供多个虚拟视点图像生成单元104，以并列执行步骤S412和S414中的虚拟视点图像生成处理。注意，步骤S412中生成的虚拟视点图像是可以由虚拟照相机204拍摄的图像。类似地，步骤S414中生成的虚拟视点图像是可以由虚拟至照相机205拍摄的图像。

接下来，将参照图2、3A和3B进一步说明关于输入视点211(虚拟照相机204)的另一视点212(虚拟照相机205)的生成(步骤S403)。在该实施例中，当内容创建者指定一个输入视点211时，根据预定规则，基于输入视点211设置另一视点212。作为预定规则的示例，将在本实施例中描述以下配置：其中共同注视点206用于输入视点211和另一视点212，并且通过将输入视点211以通过注视点206的垂线213为旋转轴旋转预定角度来生成另一视点212。

内容创建者将输入视点211配置在进攻者201后面距离h1处，并且在高于进攻者201的高度h2处。在时刻T1，输入视点211的视线方向定向为朝向防守者203的方向。在该实施例中，地面和输入视点211的视线的交叉点用作注视点206。相反，在时刻T1，在图4A的步骤S403中，由另一视点生成单元102生成另一视点212。在该实施例中，另一视点生成单元102通过将输入视点211的位置以通过注视点206、且是垂直于地面的线的垂线213为旋转轴旋转预定角度(在该实施例中为180°)来获得另一视点212。结果，另一视点212配置在距注视点206高度为h2和距离为h3的三维范围内。

注意，在该实施例中，注视点206被设置在地面，但不限于此。例如，当由输入视线信息表示的输入视点211的视线方向平行于地面时，注视点可以设置在通过注视点206的垂线213上的高度h2处的点。另一视点生成单元102根据按时间序列设置的输入视点生成另一视点，以维持输入视点与另一视点之间在距离和视线方向上的关系。因此，从输入视点211生成另一视点212的方法不限于上述方法。例如，可以单独设置输入视点211的注视点和另一视点212的注视点。

在图3A的示例中，曲线301表示从时刻T1开始经过时间后的输入视点211的轨迹，并且在时刻T2、T3、T4和T5，输入视点211的位置(虚拟照相机204的位置)分别是A2、A3、A4和A5。类似地，在时刻T2、T3、T4和T5，另一视点212的位置(虚拟照相机205的位置)分别是曲线302上的B2、B3、B4和B5。输入视点211和另一视点212之间的位置关系在时刻T1保持相对状态，并且在各个时刻，输入视点211和另一视点212被配置在关于通过注视点206的垂线213对称的位置处。基于通过用户输入设置的输入视点211自动配置另一视点212的位置(虚拟照相机205的位置)，以便在时刻T1至T5中的各个时刻建立该位置关系。无需赘言，另一视点的位置不限于上述位置关系，并且另一视点的数量不限于一个。

在第一实施例中，基于内容创建者创建的输入视点211的视点信息(例如，视点位置和视线方向)，将虚拟照相机205配置在以通过注视点206的垂线213为轴围绕其进行180°旋转所获得的位置，但不限于此。在图2中，可以根据特定规则改变确定另一视点212的位置的视点高度h2、水平位置h3和视线方向的参数。例如，另一视点212的高度和距注视点206的距离可以与输入视点211的高度和距离不同。此外，其他视点可以分别配置在每次以垂线213为轴围绕其将输入视点211旋转120°所获得的位置处。可以在与输入视点相同的位置处，以不同姿势和/或视角生成另一视点。

如上所述，根据第一实施例，当生成虚拟视点图像时，通过用户输入来设置输入视点，并且自动设置在位置和方向中的至少一个上与输入视点不同的另一视点。根据第一实施例，可以容易地获得在共同时刻与多个虚拟视点对应的多个虚拟视点图像。

<第二实施例>

在第一实施例中，已经描述了基于用户设置的输入视点(例如，虚拟照相机204的视点)自动设置另一视点(例如，配置虚拟照相机205的视点)的配置。在第二实施例中，利用对象的位置自动设置另一视点。注意，第二实施例中的虚拟视点图像生成***和图像生成装置100的硬件配置和功能配置与第一实施例中相同(图11A、11B和图1)。注意，另一视点生成单元102可以从素材数据获得单元103接收素材数据。

图5是示出足球比赛的模拟的示意图，并且是示出从顶部观看足球场时的视点(虚拟照相机)的配置的视图。在图5中，空白方形物体和阴影物体代表足球选手，有无阴影代表他们所属的队伍。在图5中，选手A保持球。内容创建者在选手A后面(与球的位置相反的一侧)设置输入视点211，并且安装基于输入视点211的虚拟照相机501。选手A的队伍和对方队伍中的选手B到G位于选手A周围。另一视点212a(虚拟照相机502)配置在选手B后面，另一视点212b(虚拟照相机503)配置在选手F后面，并且另一视点212c(虚拟照相机504)配置在可以从侧面观看所有选手A至G的位置处。注意，选手B和F的输入视点211侧被称为前方，而相对侧被称为后方。

图6A是三维地示出图5中的足球场的视图。在图6A中，足球场的四个角中的一个被定义为三维坐标的原点，足球场的长边方向定义为x轴，短边方向定义为y轴，高度方向定义为z轴。图6A仅示出了图5中所示选手中的选手A和B，并示出了图5中所示的视点(虚拟照相机)中的输入视点211(虚拟照相机501)和另一视点212a(虚拟照相机502)。图6B是示出图6A所示的输入视点211和另一视点212a的视点信息的视图。输入视点211的视点信息包括视点位置的坐标(x1，y1，z1)和注视点位置的坐标(x2，y2，z2)。另一视点212a的视点信息包括视点位置的坐标(x3，y3，z3)和注视点位置的坐标(x4，y4，z4)。

图7示出了在图5所示的鸟瞰图中绘制的输入视点211(虚拟照相机501)和另一视点212a(虚拟照相机502)的视点位置和注视点位置的三维坐标(图6B)。输入视点211(虚拟照相机501)朝向选手A连接到球的方向，而另一视点212a(虚拟照相机502)朝向选手B连接到选手A的方向。

图8是示出根据第二实施例的另一视点生成单元102对另一视点212a的生成处理的流程图。在步骤S801中，另一视点生成单元102确定是否从视点输入单元101接收到输入视点211的视点信息。如果在步骤S801中另一视点生成单元102确定已经接收到视点信息，则处理进入步骤S802。如果另一视点生成单元102确定其尚未接收到视点信息，则处理重复步骤S801。在步骤S802中，另一视点生成单元102确定是否已经从素材数据获得单元103获得了包括在素材数据中的选手A至G的坐标(对象的坐标)。如果另一视点生成单元102确定其已经获得了素材数据，则处理进入步骤S803。如果另一视点生成单元102确定其尚未获得素材数据，则处理重复步骤S802。

在步骤S803中，另一视点生成单元102基于在步骤S801中获得的视点信息和在步骤S802中获得的素材数据(对象的坐标)生成虚拟照相机502的视点位置和注视点位置(另一视点)。在步骤S804中，另一视点生成单元102确定是否已经结束从视点输入单元101接收视点信息。如果另一视点生成单元102确定视点信息的接收已经结束，则流程图结束。如果另一视点生成单元102确定正在接收视点信息，则处理返回到步骤S801。

将详细描述步骤S803中的另一视点的生成。如图7所示，由内容创建者设置的输入视点211位于选手A后面的坐标(x1，y1，z1)处，并且输入视点211的注视点位置的坐标是(x2，y2，z2)。将对输入视点211设定的视线方向上的视线与预定高度(例如，地面)的平面相交的位置定义为注视点206。或者，内容创建者可以指定注视点206a来设置视线方向以连接输入视点211和注视点206。根据该实施例的另一视点生成单元102基于包括在多视点图像1104中的两个对象(在该示例中，选手A和B)之间的位置关系生成另一视点。在该实施例中，在如此生成的另一视点被确定为初始视点之后，使得该另一视点跟随对象(选手A)的位置以便与另一物体(选手A)保持位置和视线方向的关系。

接下来，将说明初始视点确定方法。首先，另一视点生成单元102从视点输入单元101获得包括视点位置的坐标(x1，y1，z1)和注视点位置的坐标(x2，y2，z2)的输入视点211的视点信息。然后，另一视点生成单元102从素材数据获得单元103获得每个选手的位置坐标(素材数据中的对象位置的信息)。例如，选手A的位置坐标是(xa，ya，za)。选手A的位置坐标中的高度方向上的值za可以是例如选手的脸部中心的高度或身高。当使用身高时，预先登记每个选手的身高。

在该实施例中，在选手B后面生成另一视点212a(虚拟照相机502)。另一视点生成单元102基于最接近输入视点211的选手A的位置来确定另一视点212a的注视点。在该实施例中，xy平面上的注视点的位置被设置为选手A在xy平面上的位置(xa，ya)，z方向上的位置被设置为离地面的高度。在该示例中，注视点位置的坐标被设置为(x4，y4，z4)＝(xa，ya，0)。另一视点生成单元102将连接选手B的位置坐标和另一视点212a的注视点位置的坐标(x4，y4，z4)的线上、与选手B的位置隔开预定距离的位置设置为另一视点212a的视点位置。在图7中，坐标(x3，y3，z3)被设置为另一视点212a(虚拟照相机502)的视点位置。预定距离可以是用户预先设置的距离，或者可以由另一视点生成单元102基于选手A和B之间的位置关系(例如，距离)来确定。

在基于选手A和B之间的位置关系确定另一视点212a的视点位置、并且以这种方式基于选手A的位置坐标确定注视点位置之后，视点212a和选手A以及视线方向之间的距离被固定。也就是说，在根据输入视点211的设置确定另一视点212a的视点位置和注视点位置之后，另一视点212a相对于从选手A的位置坐标确定的注视点的距离和方向被固定。通过该设置，即使选手A和B的位置坐标随时间改变，另一视点212a(虚拟照相机502)与选手A之间的位置关系仍被保持。在根据输入视点211(虚拟照相机501)和选手A和B的位置坐标确定了另一视点212a的视点信息之后，从选手A的位置坐标确定另一视点212a(虚拟照相机502)的视点位置和注视点位置。

注意，另一视点生成单元102需要指定选手A和B的两个对象以便生成另一视点212a。选手A和B都是来自输入视点211的虚拟视点图像中包括的对象。例如，选择最接近输入视点211的对象作为选手A，并且可以通过用户从输入视点211的虚拟视点图像中选择对象来指定选手B。尽管在上面的描述中，另一视点212a与选手A及视线方向之间的距离是固定的，但本发明不限于此。例如，可以继续基于选手A和B的位置确定另一视点212a的处理(上述确定初始视点的处理)。或者，可以基于对象的属性来选择用于生成另一视点的对象(对应于选手B的对象)。例如，可以基于对象的队服来确定每个对象所属的队伍，并且可以从存在于虚拟照相机501获得的虚拟视点图像中的对象中选择属于对方队伍或选手A的队伍的对象作为选手B。通过选择用于设置另一视点的多个对象，可以同时设置多个视点。

上面已经描述了这样的配置：响应于内容创建者设置输入视点211，而在选手A附近的选手后面设置另一视点。然而，另一视点设置方法不限于此。如图9所示，另一视点212c可以沿选手A和B的横向方向配置，从而在视角内拍摄选手A和B这二者，即，以另一视点212c的视场拍摄选手A和B这二者。在图9中，连接选手A和B的位置坐标的线段901的中间(例如，中点(x7，y7，z7))被设置为注视点206c，并且针对虚拟照相机504的另一视点212c被设置于在注视点206c处与线段901垂直的线上。设置从另一视点212c到注视点206c的距离和视角，使得选手A和B都落在视角内，并且确定另一视点212c的位置坐标(x6，y6，z6)。注意，还可以固定视角并设定另一视点212c和注视点206c之间的距离，使得选手A和B都落在视角内。

由配置在另一视点212c处的虚拟照相机504拍摄的虚拟视点图像是例如如图10A所示的图像。如图10B所示，通过在另一视点212c(虚拟照相机504)的位置坐标(x6，y6，z6)中设置大的z6，可以获得从场地上方观看到的图像，以便拍摄选手A周围的选手。另外，可以以连接选手A和B的位置的线段901为轴围绕其将另一视点212c从x-y平面旋转预定角度。

注意，显示控制单元105在显示设备156上显示由虚拟视点图像生成单元104生成的输入视点和另一视点的虚拟视点图像。显示控制单元105可以同时显示多个虚拟视点图像，使得用户可以选择他/她想要的虚拟视点图像。

如上所述，根据各个实施例，根据内容创建者设置一个输入视点的操作来自动设置另一视点。由于根据设置一个虚拟视点的操作获得在一个虚拟视点的设定时刻处的多个虚拟视点，因此可以容易地创建相同时刻的多个虚拟视点(和虚拟视点图像)。尽管在各实施例的描述中由内容创建者设置输入视点，但是不限于此，也可以由最终用户或其他人设置。或者，图像生成装置100可以从外部获得表示输入视点的视点信息，并生成表示与输入视点对应的另一视点的视点信息。

图像生成装置100可以根据输入的用户操作、摄影目标区域中的对象数量、摄影目标区域中事件的发生时刻，来确定是否设置其他视点或者要设置的其他视点的数量。当设置输入视点和另一视点时，图像生成装置100可以在显示单元上显示与输入视点对应的虚拟视点图像和与另一视点对应的虚拟视点图像，或者切换并显示它们。

尽管在各实施例的描述中例示了足球，但是本发明不限于此。例如，本发明可以应用于诸如橄榄球、棒球或滑冰之类的运动，或是在舞台上进行的表演。尽管在各实施例中基于选手之间的位置关系来设置虚拟照相机，但是本发明不限于此，可以考虑例如裁判或评分者的位置来设置虚拟照相机。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (16)

1.一种信息处理装置，包括：

设置单元，用于针对基于从多个照相机获得的多个图像的虚拟视点图像生成，设置第一虚拟视点，其中，所述第一虚拟视点由用户指定；以及

生成单元，用于基于所述设置单元设置的所述第一虚拟视点，来生成表示第二虚拟视点的视点信息，其中，所述第二虚拟视点的位置与所述设置单元设置的所述第一虚拟视点的位置不同，并且所述第二虚拟视点的视向方向与所述设置单元设置的所述第一虚拟视点的视向方向不同并且朝向所述设置单元设置的所述第一虚拟视点的视向方向所朝向的注视点，其中，所述第一虚拟视点和第二虚拟视点对应于相同的时刻。

2.根据权利要求1所述的信息处理装置，其中，所述设置单元在时间序列中设置第一虚拟视点，以及

所述生成单元生成表示时间序列中设置的所述第二虚拟视点的视点信息，以维持所述第一虚拟视点与所述第二虚拟视点之间在距离和视向方向上的关系。

3.根据权利要求1所述的信息处理装置，其中，通过以通过所述注视点的垂线为旋转轴，将所述第一虚拟视点围绕所述垂线旋转预定角度，来生成表示所述第二虚拟视点的所述视点信息。

4.根据权利要求1所述的信息处理装置，其中，通过用户指定所述第一虚拟视点的视点位置和所述注视点的位置，来确定所述第一虚拟视点的视向方向。

5.根据权利要求1至4任一个所述的信息处理装置，还包括：图像生成单元，用于生成与所述设置单元设置的所述第一虚拟视点对应的虚拟视点图像和与所述生成单元生成的所述视点信息表示的所述第二虚拟视点对应的虚拟视点图像。

6.一种信息处理装置，包括：

设置单元，用于针对基于从多个照相机获得的多个图像的虚拟视点图像生成，设置第一虚拟视点，其中，所述第一虚拟视点由用户指定；以及

生成单元，用于基于所述设置单元设置的所述第一虚拟视点和所述多个图像中包括的对象的位置，来生成表示第二虚拟视点的视点信息，其中，所述第二虚拟视点的位置与所述设置单元设置的所述第一虚拟视点的位置不同，所述第二虚拟视点的视向方向与所述设置单元设置的所述第一虚拟视点的视向方向不同，并且所述设置单元设置的所述第一虚拟视点的视场中所包括的第一对象，和不同于所述第一对象的第二对象被包括在所述第二虚拟视点的视场中，其中，所述第一虚拟视点和第二虚拟视点对应于相同的时刻并且所述第一对象和所述第二对象被包括在所述多个图像中。

7.根据权利要求6所述的信息处理装置，其中，所述生成单元基于所述第一对象和所述第二对象之间的位置关系确定所述第二虚拟视点，然后使得所述第二虚拟视点跟随所述第一对象，以维持与所述第一对象在位置和视向方向上的关系。

8.根据权利要求6所述的信息处理装置，其中，将所述第二虚拟视点的注视点设置在所述第一对象和所述第二对象之间的中间处。

9.根据权利要求6至8中的任一个所述的信息处理装置，其中，所述第一对象和所述第二对象是包括在对应于所述设置单元设置的所述第一虚拟视点的虚拟视点图像中的对象，且所述第一对象是最接近所述第一虚拟视点的对象。

10.根据权利要求6至8中的任一个所述的信息处理装置，还包括：指定单元，用于基于用户操作指定所述第二对象。

11.根据权利要求6至8中的任一个所述的信息处理装置，还包括：获得单元，用于从用于生成虚拟视点图像的素材数据中获得包括在所述多个图像中的对象的位置。

12.根据权利要求6至8中的任一个所述的信息处理装置，还包括：图像生成单元，用于生成与所述设置单元设置的所述第一虚拟视点对应的虚拟视点图像和与所述生成单元生成的所述视点信息表示的所述第二虚拟视点对应的虚拟视点图像。

13.一种信息处理装置的控制方法，包括：

基于从多个照相机获得的多个图像设置关于虚拟视点图像生成的第一虚拟视点，其中，所述第一虚拟视点由用户指定；以及

基于所设置的第一虚拟视点，生成表示第二虚拟视点的视点信息，其中，所述第二虚拟视点的位置与设置的所述第一虚拟视点的位置不同，并且所述第二虚拟视点的视向方向与设置的所述第一虚拟视点的视向方向不同并且朝向设置的所述第一虚拟视点的视向方向所朝向的注视点，其中，设置的第一虚拟视点和第二虚拟视点对应于相同的时刻。

14.一种信息处理装置的控制方法，包括：

针对基于从多个照相机获得的多个图像的虚拟视点图像生成，设置第一虚拟视点，其中，所述第一虚拟视点由用户指定；以及

基于设置的所述第一虚拟视点和包括在所述多个图像中的对象的位置，生成表示第二虚拟视点的视点信息，其中，所述第二虚拟视点的位置与设置的所述第一虚拟视点的位置不同，所述第二虚拟视点的视向方向与设置的所述第一虚拟视点的视向方向不同，并且设置的所述第一虚拟视点的视场中所包括的第一对象，和不同于所述第一对象的第二对象被包括在所述第二虚拟视点的视场中，其中，设置的第一虚拟视点和第二虚拟视点对应于相同的时刻并且所述第一对象和所述第二对象被包括在所述多个图像中。

15.根据权利要求13或14所述的方法，还包括：生成与所设置的第一虚拟视点对应的虚拟视点图像和与所生成的视点信息表示的所述第二虚拟视点对应的虚拟视点图像。

16.一种计算机可读介质，用于存储使得计算机执行权利要求13或14中限定的信息处理装置的控制方法的各步骤的程序。

Images