CN113826378B - 布置确定装置、***、布置确定方法和存储介质 - Google Patents

布置确定装置、***、布置确定方法和存储介质 Download PDF

Info

Publication number
CN113826378B
CN113826378B CN202080035989.3A CN202080035989A CN113826378B CN 113826378 B CN113826378 B CN 113826378B CN 202080035989 A CN202080035989 A CN 202080035989A CN 113826378 B CN113826378 B CN 113826378B
Authority
CN
China
Prior art keywords
imaging
arrangement
imaging devices
cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080035989.3A
Other languages
English (en)
Other versions
CN113826378A (zh
Inventor
相泽道雄
四方靖
宇野绅一郎
伊达厚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019172187A external-priority patent/JP2020191618A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113826378A publication Critical patent/CN113826378A/zh
Application granted granted Critical
Publication of CN113826378B publication Critical patent/CN113826378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了布置确定装置、***、布置确定方法和存储介质。用于确定用于生成虚拟视点图像的多个相机102的布置的布置确定装置108获取指示成像对象区域503的信息,并基于该信息确定多个相机102的布置,使得通过多个相机102中的两个或更多个相机102拍摄成像对象区域503的整个区域的图像,并且通过多个相机102中的不同于所述两个或更多个相机102的其他两个或更多个相机102拍摄成像对象区域503的整个区域的图像。

Description

布置确定装置、***、布置确定方法和存储介质
技术领域
本发明涉及确定多个成像装置的布置的技术。
背景技术
近年来,将多个成像装置布置在不同位置、同步拍摄图像并使用通过摄像获得的多个图像生成从指定的虚拟视点观看的虚拟视点图像的技术受到关注。
专利文献1(PTL 1)讨论了生成虚拟视点图像的技术,并且讨论了沿着作为成像对象区域的圆的圆周布置多个成像装置以将多个成像装置指向圆的中心。
引用列表
专利文献
PTL 1:日本特开2010-79505号公报
发明内容
技术问题
在PTL 1中,对作为成像对象区域的圆的中心附近的被摄体的图像进行拍摄的成像装置的数量,与对远离圆的中心的位置处的被摄体的图像进行拍摄的成像装置的数量不同。在成像对象区域大的情况下,差异变得更大。因此,虚拟视点图像中的被摄体的再现性的差异有时在虚拟视点之间变大。
鉴于上述问题,本发明旨在即使在宽范围成像对象区域中也减小虚拟视点之间的被摄体的再现性的差异。
解决问题的技术方案
本发明的方面如下。一种布置确定装置,其确定用于生成虚拟视点图像的多个成像装置的布置,所述布置确定装置包括:区域获取部,其被构造为获取指示成像对象区域的信息,所述成像对象区域用作要由所述多个成像装置进行的摄像的对象;以及布置确定部,其被构造为基于由所述区域获取部获取的信息,确定所述多个成像装置的布置,使得通过所述多个成像装置中的两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像,并且通过所述多个成像装置中的与所述两个或更多个成像装置不同的其他两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像。
本发明的有利效果
根据本发明的示例性实施例,即使在宽范围成像对象区域中也能够减小虚拟视点之间的被摄体的再现性的差异。
附图说明
[图1]图1是示出图像处理***的构造示例的图。
[图2]图2是示出布置确定装置的硬件构造示例的图。
[图3]图3是示出根据第一示例性实施例的布置确定装置的构造示例的图。
[图4]图4是示出根据第一示例性实施例的布置确定装置的处理过程示例的流程图。
[图5A]图5A是示出根据第一示例性实施例的成像对象区域的示例的图。
[图5B]图5B是示出根据第一示例性实施例的成像对象区域的示例的图。
[图6]图6是示出分辨率的图。
[图7]图7是示出布置区域的示例的图。
[图8]图8是示出布置区域中的多个相机的布置示例的图。
[图9]图9是示出多个相机的理想布置的图。
[图10]图10是示出多个相机的布置示例的图。
[图11A]图11A是示出多个相机的另一布置示例的图。
[图11B]图11B是示出多个相机的另一布置示例的图。
[图12]图12是示出多个相机的另一布置示例的图。
[图13]图13是示出确定的布置示例的图。
[图14]图14是示出根据第二示例性实施例的布置确定装置的处理过程示例的流程图。
[图15]图15是示出从布置区域观看的成像对象区域的角度的图。
[图16]图16是示出根据第二示例性实施例的布置确定装置的构造示例的图。
[图17A]图17A是示出根据第一示例性实施例的布置确定装置要参考的表的示例的图。
[图17B]图17B是示出根据第一示例性实施例的布置确定装置要参考的表的示例的图。
[图17C]图17C是示出根据第一示例性实施例的布置确定装置要参考的表的示例的图。
[图18]图18是示出根据第三示例性实施例的布置确定装置的构造示例的图。
[图19A]图19A是示出根据第三示例性实施例的布置确定装置要参考的表的示例的图。
[图19B]图19B是示出根据第三示例性实施例的布置确定装置要参考的表的示例的图。
[图19C]图19C是示出根据第三示例性实施例的布置确定装置要参考的表的示例的图。
[图20A]图20A是示出根据第三示例性实施例的成像对象区域的示例的图。
[图20B]图20B是示出根据第三示例性实施例的成像对象区域的示例的图。
[图21]图21是示出根据第三示例性实施例的布置确定装置的处理过程示例的流程图。
具体实施方式
下文中将参考附图描述本发明的示例性实施例。以下示例性实施例并不意图限制本发明。另外,本示例性实施例中描述的特征的所有组合并非总是本发明的技术方案所必须的。相同的构造将被分配相同的附图标记来进行描述。
<第一示例性实施例>
图1是示出图像处理***100的构造示例的图。图像处理***100包括多相机***101、集线器104、控制装置105和虚拟视点图像生成装置106。另外,图像处理***100可以包括虚拟视点指定装置107和布置确定装置108。
图像处理***100是这样的***,其基于通过由多个成像装置进行的摄像而获得的多个图像和指定的虚拟视点来生成从指定的视点观看的虚拟视点图像。本示例性实施例中的虚拟视点图像也将被称为自由视点视频。虚拟视点图像不限于与用户自由(任意)指定的视点相对应的图像。例如,与用户从多个候选中选择的视点相对应的图像也包括在虚拟视点图像中。另外,在本示例性实施例中,将主要描述通过用户操作进行虚拟视点的指定的情况,但是可以基于图像分析的结果自动进行虚拟视点的指定。另外,在本示例性实施例中,将主要描述虚拟视点图像是运动图像的情况,但是虚拟视点图像可以是静止图像。
多相机***101包括从多个方向拍摄成像对象空间的图像的多个相机(成像装置)102aa至102lc。多个相机102aa至102lc属于多个相机组103a至103l中的任何一个相机组。在以下描述中,在不需要区分的情况下,将相机102aa至102lc描述为相机102,并将相机组103a至103l描述为相机组103。
相机组103中的各个包括一个或更多个相机102。具体地,三个相机102aa、102ab和102ac属于相机组103a。属于相机组103的相机的数量不限于三个,也可以是小于等于两个或大于等于四个。另外,属于单个相机组103的相机102的数量可以相同,也可以不同。
由多个相机102拍摄的多个图像通过集线器104发送至虚拟视点图像生成装置106。控制装置105控制多相机***101的摄像并管理在多相机***101中所包括的多个相机102的布置状态。
虚拟视点图像生成装置106基于由多相机***101拍摄的多个图像,生成从由虚拟视点指定装置107指定的视点观看的虚拟视点图像。由虚拟视点指定装置107指定的视点信息是指示虚拟视点的位置和朝向的信息。具体地,视点信息是参数集,该参数集包括指示虚拟视点的三维位置的参数和指示虚拟视点在横摇(pan)、纵摇(tilt)和滚动(roll)方向上的朝向的参数。视点信息的内容不限于上述内容。例如,用作视点信息的参数集可以包括指示虚拟视点的视场的大小(场角)的参数。此外,视点信息可以包括多个参数集。例如,视点信息可以是包括多个参数集并且指示虚拟视点在多个连续时间点的位置和朝向的信息,各参数集对应于包括在虚拟视点图像的运动图像中的多个帧中的不同帧。虚拟视点指定装置107以有线或无线方式与虚拟视点图像生成装置106或图像处理***100连接。
例如,虚拟视点图像生成装置106通过以下方法生成虚拟视点图像。首先,通过使用多个成像装置从不同方向进行摄像来获取多个图像。接下来,从多个图像中获取通过提取与诸如人或球的预定被摄体相对应的前景区域而获得的前景图像、以及通过提取除前景区域以外的背景区域而获得的背景图像。此外,基于前景图像生成表示预定被摄体的三维形状的前景模型和用于对前景模型着色的纹理数据。例如,基于背景图像生成用于对表示体育场背景的三维形状的背景模型着色的纹理数据。然后,通过相对于前景模型和背景模型映射纹理数据并根据视点信息所指示的虚拟视点进行渲染来生成虚拟视点图像。背景的示例包括场地和球门柱。虚拟视点图像的生成方法不限于此。可以使用各种方法,诸如通过对拍摄图像的投影变换而不使用三维模型来生成虚拟视点图像的方法。
布置确定装置108确定在如下所述的多相机***101中所包括的多个相机102的布置。布置确定装置108可包括在图像处理***100中,也可不包括在图像处理***100中。布置确定装置108以有线或无线方式与控制装置105或图像处理***100连接。
例如,上述前景图像和背景图像可以从由虚拟视点图像生成装置106拍摄的图像中提取,或者可以由诸如相机102的其他装置提取。在前景图像和背景图像由相机102提取的情况下,前景图像和背景图像都可以由多个相机102中的各个提取,或者多个相机102中的一个或更多个相机可以提取前景图像,并且多个相机102中的与所述一个或更多个相机不同的其他相机可以提取背景图像。此外,多个相机102可以包括既不提取前景图像也不提取背景图像的相机102。
图2是示出布置确定装置108的硬件构造的示例的图。中央处理单元(CPU)201通过使用存储在只读存储器(ROM)202和随机存取存储器(RAM)203中的计算机程序和数据控制整个信息处理装置来实现信息处理装置的各功能。信息处理装置可以包括一个或更多个不同于CPU 201的专用硬件部件,并且专用硬件部件可以执行CPU 201要执行的处理的至少一部分。专用硬件部件的示例包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)。ROM 202存储不需要改变的程序。
RAM 203临时存储从辅助存储设备204提供的程序和数据以及经由通信接口(I/F)207从外部提供的数据。辅助存储设备204包括例如硬盘驱动器,并且存储诸如图像数据和语音数据的各种类型的数据。显示单元205包括例如液晶显示器和发光二极管(LED),并且显示供用户操作信息处理装置的图形用户界面(GUI)。
操作单元206包括例如键盘、鼠标、操纵杆和触摸面板,并且通过接收用户进行的操作向CPU 201输入各种指令。通信I/F 207用于与信息处理装置的外部装置进行通信。例如,在信息处理装置以有线方式与外部装置连接的情况下,通信线缆连接到通信I/F 207。在信息处理装置具有与外部装置进行无线通信的功能的情况下,通信I/F 207包括天线。总线208连接信息处理装置的部件并传送信息。
在本示例性实施例中,显示单元205和操作单元206配设在布置确定装置108中,但是显示单元205和操作单元206中的至少一个可以作为其他装置配设在布置确定装置108的外部。在这种情况下,CPU 201可以用作用于控制显示单元205的显示控制单元和用于控制操作单元206的操作控制单元。
图3是示出布置确定装置108的功能构造的示例的图。布置确定装置108包括容许值获取单元303、成像对象区域获取单元304、相机组数量获取单元305、以及布置确定单元306。布置确定装置108还可以包括事件信息存储单元301和场所信息存储单元302。在本示例性实施例中,将描述如下示例,其中,布置确定装置108包括事件信息存储单元301和场所信息存储单元302。另选地,事件信息存储单元301和场所信息存储单元302可以包括在与布置确定装置108不同的装置中,并且布置确定装置108可以从该装置获取必要的信息。
事件信息存储单元301存储关于成像对象事件的信息。例如,事件信息包括以下信息:可以识别事件类型和其他事件的信息、关于场地的大小的信息、关于被摄体的移动范围的信息、关于被摄体的密度的信息、关于虚拟视点图像的预期目的的信息、以及有关事件的规模的信息。事件的类型的示例包括体育赛事(诸如橄榄球、足球、抱石、棒球、竞技运动、水上运动和冰上运动)、音乐会和戏剧表演,但不具体限制。场地是指如下平面,作为事件中的被摄体的人或球、或者诸如在事件中使用的工具的移动物体可以在该平面上移动。针对各事件设置被摄体的移动范围。被摄体的密度是指在事件中作为被摄体的人密集的情况下的人的密度的数值。例如,当比较橄榄球、足球、棒球的密度时,橄榄球的密度最大,而棒球的密度最小。橄榄球中的被摄体密度大是因为发生诸如并列争球(scrum)和围挤抢球(maul)的状况。虚拟视点图像的预期目的的示例是用于现场直播、用于档案分发以及用于行为分析或策略分析。
场所信息存储单元302存储关于布置有多个相机102的场所的信息。例如,场所信息包括以下信息:关于场所名称的信息、关于场所大小的信息、关于能够在其上设置相机102的结构以及该结构在场所中的位置的信息、关于能够布置的相机102的数量的信息。场所是用作橄榄球或足球的比赛场地的体育场,或戏剧表演或音乐会的场所。场所可以是运动队的训练场。指示能够在其上设置相机102的结构和该结构的位置的信息可以由二维图像表示或可以由三维数据表示。
当相机102拍摄预定基准被摄体的图像时,容许值获取单元303设置并获取作为图像中的被摄体的大小的分辨率的下限值。具体地,容许值获取单元303根据虚拟视点图像的预期目的设置下限分辨率。例如,在虚拟视点图像的预期目的是用于现场直播的俯瞰图像的情况下,设置较小的下限分辨率。在虚拟视点图像的预期目的是回放图像的情况下,设置较大的下限分辨率。下面将描述下限分辨率。
容许值获取单元303可以预先存储具有用作一种事件信息的虚拟视点图像的预期目的与下限分辨率之间的对应关系的表,并通过参考该表来设置下限分辨率。更具体地,在容许值获取单元303经由操作单元206从操作者接收用于识别事件的信息的输入的情况下,容许值获取单元303可以通过参考存储在事件信息存储单元301中的事件信息及事件信息的表,来获取下限分辨率。图17A示出了要参考的表的示例。要参考的表不限于此,只要关于虚拟视点图像的预期目的的信息与关于下限分辨率的信息相关联即可。除了上述事件信息之外的事件信息可以与关于下限分辨率的信息相关联。在要参考的表中,用于识别事件的信息(诸如事件的名称)可以与下限分辨率相关联。要参考的表可以存储在事件信息存储单元301中或者可以存储在外部装置中。
容许值获取单元303可以经由操作单元206直接从操作者获取关于下限分辨率的数值的信息。
成像对象区域获取单元304基于事件信息确定作为用作多相机***101的成像对象的区域的成像对象区域。具体地,成像对象区域获取单元304具有以下构造。成像对象区域获取单元304最初存储将事件信息的至少部分信息与指示成像对象区域的信息相关联的表。事件信息的至少部分信息包括关于场地大小的信息和关于被摄体的移动范围的信息。然后,在成像对象区域获取单元304经由操作单元206从操作者接收到用于识别事件的信息的输入的情况下,成像对象区域获取单元304通过参考存储在事件信息存储单元301中的事件信息及事件信息的表,来确定成像对象区域。图17B示出了要参考的表的示例。要参考的表不限于此,只要将关于场地的大小的信息、关于被摄体的移动范围的信息和关于成像对象区域的信息相关联即可。除了上述事件信息之外的事件信息可以与关于成像对象区域的信息相关联。在要参考的表中,用于识别事件的信息(诸如事件的名称)可以与成像对象区域相关联。要参考的表可以存储在事件信息存储单元301中或者可以存储在外部装置中。
成像对象区域获取单元304可以经由操作单元206直接从操作者获取关于成像对象区域的信息。
将描述成像对象区域。图5A是示出成像对象区域的示例的图。图5A示出了事件是橄榄球的示例情况。成像对象区域503是二维平面并且构成图5B所示的空间504的一部分。成像对象区域503由成像对象区域获取单元304基于场地501的大小和诸如人(运动员)或球的被摄体的移动范围来确定。移动范围不仅包括场地501上的移动范围,还包括场地501周围的移动范围,这是因为,例如当运动员由于边线发球而掷界外球时,运动员站在边线的外侧。可以根据事件设置移动范围的大小。例如,在橄榄球的情况下,移动距离可以由距边线、死球线、得分区线和球门柱502的距离或角度定义,或者可以由被设置为包括场地501的范围定义。此外,在足球的情况下,移动距离可以类似地由距边线、球门线和角旗位置的距离或角度来定义。另外,在棒球的情况下,移动距离可以被设置为包括犯规区的移动范围。
以上述方式,成像对象区域503被设置为包括比赛区域(场地501)并且还包括比赛区域外部的预定范围。通过以这种方式设置成像对象区域503,可以在场地501的整个区域上生成高质量的虚拟视点图像。
图5B是示出考虑高度方向的空间504被设置为成像对象区域的示例的图。换言之,在图5B所示的示例中,成像对象区域是三维空间。在图5B中,考虑到球主要移动的范围,将成像对象区域设置为包括包含球门柱502上方的空间的范围。除此之外,成像对象区域可以是考虑到距场地501的预定高度而设置的空间。例如,预定高度是人(运动员)的身高、人跳跃的高度、或边线发球时运动员被举起的到达点。
相机组数量获取单元305获取包括在多相机***101中的相机组103的数量,以从多个方向拍摄成像对象区域503的图像。具体地,相机组数量获取单元305基于被摄体的密度来设置相机组103的数量。在被摄体的密度大的情况下,与被摄体的密度小的情况相比,相机组数量获取单元305设置更多数量的相机组103。相机组数量获取单元305可以预先存储具有作为一种事件信息的被摄体的密度与相机组103的数量之间的对应关系的表,并通过参考该表来设置相机组103的数量。更具体地,在相机组数量获取单元305经由操作单元206从操作者接收用于识别事件的信息的输入的情况下,相机组数量获取单元305可以通过参考存储在事件信息存储单元301中的事件信息及事件信息的表,来获取相机组103的数量。图17C示出了要参考的表的示例。要参考的表不限于此,只要关于被摄体的密度的信息和关于相机组103的数量的信息相关联即可。除了上述事件信息之外的事件信息可以与关于相机组103的数量的信息相关联。在要参考的表中,用于识别事件的信息(诸如事件的名称)可以与相机组103的数量相关联。要参考的表可以存储在事件信息存储单元301中或者可以存储在外部装置中。
相机组数量获取单元305可以经由操作单元206直接从操作者获取关于相机组103的数量的信息。
布置确定单元306基于下限分辨率、成像对象区域503、相机组的数量和场所信息来确定相机102的布置。容许值获取单元303获取下限分辨率,成像对象区域获取单元304获取成像对象区域503,并且相机组数量获取单元305获取相机组的数量。另外,场所信息存储在场所信息存储单元302中。基于经由操作单元206输入的用于识别场所的信息,布置确定单元306从场所信息存储单元302获取必要的场所信息。例如,要获取的场所信息包括关于能够在其上设置相机102的结构和该结构的位置的信息以及关于能够布置的相机102的数量的信息。
具体地,布置确定单元306最初基于成像对象区域503、相机组的数量和场所信息确定相机组103的布置位置。接下来,布置确定单元306针对各相机组103确定属于不同相机组103的多个相机102的布置。此时,布置确定单元306确定属于各相机组103的多个相机102的布置,使得通过属于相机组103的多个相机102拍摄成像对象区域503的整个区域的图像。此外,布置确定单元306确定多个相机102的布置,使得属于相机组103的多个相机102的分辨率在成像对象区域503的整个区域上超过下限分辨率。布置确定单元306确定多个相机102的布置,使得在所有相机组103中都满足关于上述成像对象区域的条件和关于分辨率的条件,但是该确定不限于此。例如,布置确定单元306可以确定多个相机102的布置,使得仅属于预定数量的相机组103的多个相机102满足上述条件。布置确定单元306可以确定属于存在于预定位置的相机组103或处于预定关系的相机组103的多个相机102的布置,使得相机组103满足上述条件。换句话说,可以布置属于相机组103的一部分的多个相机102,使得通过多个相机102拍摄成像对象区域503部分区域(而不是整个区域)的图像。属于相机组103的一部分的多个相机102的分辨率在成像对象区域503的部分区域中不超过下限分辨率。
图4是示出布置确定装置108的处理过程的示例的流程图。将参考图4描述布置确定装置108进行的处理。
首先,布置确定装置108经由操作单元206从操作者接收布置确定的指令。在步骤S401中,容许值获取单元303根据该指令获取下限分辨率。
在描述下限分辨率之前,将描述分辨率。分辨率是指相机102拍摄的图像中的基准被摄体的大小,并由像素数表示。基准被摄体可以是典型被摄体或虚拟被摄体,也可以是成像对象事件中的特定被摄体或任意被摄体。例如,身高为两米的直立运动员被定义为基准被摄体。在这种情况下,与身高为两米的直立运动员的从头顶到脚趾的部分相对应的像素数被视为相机102拍摄的图像中的分辨率。
图6是示出分辨率的图。具有存在于场地501中的位置602a处的基准被摄体(在该示例中,身高为两米的直立运动员)的身高的拍摄图像中的像素数被表示为分辨率601a。另外,具有位置602b处的基准被摄体的身高的拍摄图像中的像素数被表示为分辨率601b。分辨率根据距相机102的距离或相机102的焦距而变化。例如,靠近相机102的位置602a处的分辨率601a大于远处位置602b处的分辨率601b。
下限分辨率是相机102拍摄的图像中的分辨率的容许值。下限分辨率影响虚拟视点图像中被摄体的图像质量。换言之,如果在虚拟视点图像中基准被摄体的像素数大于下限分辨率,则图像劣化是由类似于数字变焦的效果引起的。因此,根据虚拟视点图像中被摄体的期望大小和期望构图(composition)来确定下限分辨率。以如下情况为例,即基准被摄体以虚拟视点图像的四分之一大小出现。虚拟视点图像的大小设置为1920像素×1080像素。在这种情况下,下限分辨率确定为1080像素/4=270像素。可以确定下限分辨率,使得允许在一定程度上进行数字变焦。例如,如果确定允许1.2倍数字变焦,则确定下限分辨率为270/1.2=225像素。
下限分辨率指示在拍摄图像中的表示场地501中的任意位置处的基准被摄体的最少像素数。下限分辨率不限于此。例如,下限分辨率可以指示拍摄图像中的表示场地501中的预定位置处或预定范围内(而不是任意位置处)的基准被摄体的最少像素数。
如上所述,容许值获取单元303基于由操作者经由操作单元206输入的用于识别事件的信息和预先存储的表,来确定并获取下限分辨率。
接下来,在步骤S402中,成像对象区域获取单元304确定并获取成像对象区域503。具体地,如上所述,基于由操作者经由操作单元206输入的用于识别事件的信息和预先存储的表,来确定成像对象区域503。成像对象区域503如上所述。
在步骤S403中,相机组数量获取单元305确定并获取相机组103的数量。根据虚拟视点图像生成装置106准确生成被摄体的三维形状数据所需的方向数量,来确定相机组103的数量。生成被摄体的三维形状数据所需的方向数量根据被摄体的密度而变化。相机组数量获取单元305预先存储被摄体的密度与所需的方向数量(即,相机组的数量)相互关联的表。例如,相机组数量获取单元305使用对被摄体建模的计算机图形(CG)来生成虚拟视点图像,并且考虑到生成的虚拟视点图像的图像质量,预先存储所需的方向数量及其视点位置与被摄体的密度相关联的表。例如,在诸如棒球投手的被摄体单独存在的情况下,因为不太可能发生遮挡,因此从少数方向进行摄像就足够了。相反,在大量被摄体密集的情况下,诸如橄榄球的并列争球,要从大量方向进行摄像。确定的方向数量被确定为相机组103的数量。以下,作为示例,相机组103的数量被确定为12。虽然可以在该步骤中确定相机组103的布置区域,但是在本示例性实施例中,在下一步骤S404中确定相机组103的布置区域。
在步骤S404中,布置确定单元306基于相机组的数量和场所信息确定相机组103的布置区域。将参考图7至图12详细描述布置确定处理。图7是示出相机组103的布置位置的示例的图。首先,例如基于场所信息(诸如体育场702的设计图),将可以布置相机102的区域确定为布置区域701a至701l的候选。布置区域701a至701l的候选包括体育场702的支柱、通道、栏杆和天花板。可以在显示单元205上显示所确定的布置区域的候选。以下,布置区域701a至701l被称为布置区域701,除非发生特殊情况。
接下来,根据以下标准,从布置区域701的候选中,确定相机组103的布置区域701。如果拍摄被摄体的图像的两个相邻相机组103之间的间隔变大,则从在相机组103之间的位置处指定的虚拟视点生成的虚拟视点图像的图像质量下降。因此,如果相机组103之间的间隔不均匀,则虚拟视点图像的图像质量根据指定的虚拟视点的位置而变化。为此,当从成像对象区域503中的被摄体观看时,期望以尽可能相等的间隔确定相机组103的布置区域701。例如,确定布置区域701,使得当从成像对象区域503的中心703处的被摄体观看时,相邻布置区域701之间的角度变得相等。在相机组103的数量为12的情况下,相邻布置区域701之间的理想角度为360度/12=30度。因此,例如,确定布置区域701a和701b,使得它们之间的角度704ab变为30度。在一些可能的情况下,由于体育场702的结构(诸如支柱的位置),不能等间隔地确定布置区域701。因此,例如,可以通过预先提供诸如将容许范围设置为理想角度的1.5倍的标准,来确定布置区域701。换言之,确定布置区域701,使得当从被摄体观看时相邻布置区域701之间的角度不超过预定值。
在步骤S405中,基于相机组103的布置区域701、下限分辨率和成像对象区域503,布置确定单元306确定针对各相机组103属于不同相机组103的两个或更多个相机102的数量和相机102的布置。此时,确定属于不同相机组103的两个或更多个相机102的数量和相机102的布置,使得满足以下条件。更具体地,对于各相机组103,确定两个或更多个相机102的数量和相机102的布置,使得拍摄成像对象区域503的整个区域的图像。此外,确定相机102的数量和相机102的布置,使得在成像对象区域503的整个区域上分辨率超过下限分辨率。另外,确定相机102的布置,使得相机102的数量尽可能少。相机102的布置包括相机102的位置和朝向。
首先,将参考图8描述布置区域701中的布置有多个相机102的位置。属于不同相机组103的多个相机102布置在对应的一个布置区域701中。例如,属于相机组103a的多个相机102布置在与相机组103a对应的布置区域701a中。在各布置区域701中,属于对应的一个相机组103的多个相机102布置在尽可能靠近的位置处。
图9示出了作为理想状态的如下示例,其中布置同一相机组103a中的三个相机102aa、102ab和102ac,使得它们的光学中心彼此交叠。相机102aa具有成像范围901aa。相机102ab具有成像范围901ab。相机102ac具有成像范围901ac。相机102的成像范围901径向扩展。因此,在光学中心交叠的情况下,可以布置相机102aa、102ab和102ac,使得成像范围901aa、901ab和901ac彼此接触。通过使摄像范围901彼此不交叠地接触,三个相机102aa至102ac可以有效地覆盖宽区域。在现实世界的设置中,由于相机102的物理限制,无法将相机102布置成使得光学中心彼此交叠。因此,通过将相机102布置在尽可能靠近的位置,减少了成像范围901之间的交叠。
返回参考图8,例如,当从成像对象区域503的中心703观看时,属于相机组103h的多个相机102ha、102hb和102hc布置在预定角度801h的范围内。例如,属于相机组103的多个相机102布置在预定距离内。
将从另一方面进行描述。与其他相机组103的相机102相比,各相机102被布置为更靠近相机102所属的相机组103的相机102。例如,将描述相邻的相机组103g和103h。相机102ga、102gb和102gc属于相机组103g。相机102ha、102hb和102hc属于相机组103h。在这种情况下,与相机102ha、102hb和102hc相比,相机102gc被布置为更靠近相机102ga和102gb。原因如下。如果相机102gc被布置为更靠近相机102ha,则相机102gc与布置在相机组103h的相对侧的相机组103f的相机102之间的间隔变大,并且虚拟视点图像的图像质量在某个方向上下降。
接下来,将参考图10至图12描述如下示例,其中,属于相机组103的多个相机102拍摄成像对象区域503的整个区域的图像。
图10示出了如下示例,其中成像对象区域503的整个区域的图像由相机组103i的三个相机102ia、102ib和102ic拍摄。相机102ia具有成像范围901ia。相机102ib具有成像范围901ib。相机102ic具有成像范围901ic。成像对象范围对应于拍摄图像中基准被摄体的分辨率超过下限分辨率的区域。如图10所示,如果组合这些成像范围901ia、901ib和901ic,则拍摄成像对象区域503的整个区域的图像。例如,通过将相机102ib布置在中心、将相机102ia布置在右侧并且将相机102ic布置在左侧,来将三个相机102布置成扇形形状。因此,各个成像范围901ia、901ib和901ic也以扇形形状扩展。
图10是示出在成像对象区域503的面内方向上的相机102ia至102ic的成像范围901ia至901ic的图。成像对象区域可以是包括直到场地501的预定高度的空间的三维空间。在这种情况下,相机102将被布置为使得可以拍摄包括场地501的预定高度方向的成像对象区域的图像。例如,因为三个相机102的光学中心的位置不同,所以成像范围901ic和901ib彼此部分交叠。通过尽可能靠近地布置三个相机102,可以减少成像范围901之间的交叠,并且可以更有效地进行布置。换言之,可以减少相机组103所需的相机102的数量。
在该示例中,相机102的光轴与体育场702的场地501之间的交点被定义为相机102的观察点(注视点)1001。在图10中,相机102ia具有观察点1001ia。相机102ib具有观察点1001ib。相机102ic具有观察点1001ic。如图10所示,所有观察点1001的位置彼此不同。换言之,属于相机组103的多个相机102的所有观察点都不同。另选地,一个相机组103可以包括具有相同观察点的相机102。
在图10中的相机102的布置示例中,相机102ia至102ic的光轴朝向彼此不同的方向。另外,通过将连接相机102ia至102ic及其各自观察点的线段投影到场地501上而获得的线段彼此不相交。
图11A和图11B是示出属于相机组103的相机102的布置示例的图。在相机组103g中包括六个相机102ga、102gb、102gc、102gd、102ge和102gf。通过相机102ga、102gb、102gc、102gd、102ge和102gf,拍摄成像对象区域503的整个区域的图像。
图11A是示出从上方观看的成像对象区域503的图,并且是示出在成像对象区域503的面内方向上的相机102ga、102gb、102gc、102gd、102ge和102gf的布置的图。相机102ga具有成像范围901ga和观察点1101ga。这同样适用于相机102gb至102gf。将六个相机102进一步划分为两个子组。相机102ga、102gb和102gc属于第一子组,并且被布置为在从布置区域701观看时拍摄成像对象区域503的前侧(更靠近相机组103g的布置区域701g的一侧)的图像。相机102gd、102ge和102gf属于第二子组,并且被布置为在从布置区域701观看时拍摄成像对象区域503的后侧(远离相机组103g的布置区域701g的一侧)的图像。如图11A所示,布置各子组中的相机102,使得成像范围901以扇形形状扩展。
图11B是示出从侧面观看的成像对象区域503的图,并且是示出成像对象区域503的高度方向上的相机102的布置的图。如图11B所示,拍摄成像对象区域503的前侧的图像的相机102ga、102gb和102gc以及拍摄成像对象区域503的后侧的图像的相机102gd、102ge和102gf被布置在不同的高度处。例如,拍摄成像对象区域503的前侧的图像的相机102gb比拍摄后侧的图像的相机102ge具有更大的俯角。因此,通过将拍摄成像对象区域503的前侧的图像的相机102gb布置在下侧,可以在不引起物理干扰的情况下将相机102布置得更近。换言之,属于相机组103的多个相机102可以被划分为子组,并且各子组的相机102可以布置在不同的高度。
图12是示出属于相机组103g的相机102的另一示例布置的图。相机组103g包括六个相机102ga、102gb、102gc、102gd、102ge和102gf。通过相机102ga、102gb、102gc、102gd、102ge和102gf,拍摄成像对象区域503的整个区域的图像。在该示例中,各子组的相机102布置在彼此不同的位置。例如,布置区域701g被设置为包括两个支柱。然后,将子组分别分配给两个支柱。例如,属于第一子组的相机102ga、102gb和102gc布置在从成像对象区域503观看的左支柱上。属于第二子组的相机102gd、102ge和102gf布置在从成像对象区域503观看的右支柱上。换言之,属于相机组103的多个相机102可以被划分为子组,并且各子组的相机102可以布置在彼此不同的位置处。
基于下限分辨率的差异,各相机组103的相机102的数量不同。如果下限分辨率增加,则将使相机102的焦距变长。然后,如果使焦距变长,则相机102的成像范围901变小。因此,拍摄成像对象区域503的整个区域的图像所需的相机102的数量增加。相反,如果下限分辨率降低,则可以使相机102的焦距更短。如果使焦距变短,则相机102的成像范围901变大。因此,拍摄成像对象区域503的整个区域的图像所需的相机102的数量减少。
在步骤S406中,布置确定单元306计算在步骤S405中针对各相机组103确定的相机102的总数,并确定多相机***101所需的相机102的数量。
在步骤S407中,布置确定单元306确定在步骤S406中计算的相机数量是否没有问题。具体地,在相机的数量大于或小于预定数量的情况下,布置确定单元306确定计算出的相机数量有问题。在确定计算出的相机数量没有问题的情况下(步骤S407中的“是”),处理结束。在确定计算出的相机数量有问题的情况下(步骤S407中的“否”),处理进行到步骤S408。预定数量可以基于预算来设置,或者可以基于虚拟视点图像生成装置106的处理能力和发送拍摄图像时的传输带容量来设置。
在步骤S408中,布置确定单元306确定要改变的布置条件。可改变的布置条件是成像对象区域503、下限分辨率和相机组103的数量中的任何一个。要改变的布置条件可以由布置确定单元306自动确定,或者可以由操作者经由操作单元206直接输入。即使在布置确定单元306自动确定要改变的布置条件的情况下,操作者也可以对要改变的布置条件预设优先级或预先指定要改变的布置条件。
在步骤S409中,布置确定单元306确定要改变的布置条件是否是成像对象区域503。在要改变的布置条件是成像对象区域503的情况下(步骤S409中的“是”),处理进行到步骤S410。在要改变的布置条件不是成像对象区域503的情况下(步骤S409中的“否”),处理进行到步骤S411。
在步骤S410中,成像对象区域获取单元304改变成像对象区域503。在步骤S407中由于“相机数量较大”而确定计算出的相机数量有问题的情况下,成像对象区域获取单元304使成像对象区域503变小。相反,在步骤S407中由于“相机数量较小”而确定计算出的相机数量有问题的情况下,成像对象区域获取单元304使成像对象区域503变大。在成像对象区域获取单元304改变成像对象区域503的情况下,处理进行到步骤S405,并且布置确定单元306基于改变后的成像对象区域503再次确定相机102的数量和布置。成像对象区域获取单元304可以经由操作单元206从操作者获取成像对象区域。
在步骤S411中,布置确定单元306确定要改变的布置条件是否是下限分辨率。在要改变的布置条件是下限分辨率的情况下(步骤S411中的“是”),处理进行到步骤S412。在要改变的布置条件不是下限分辨率的情况下(步骤S411中的“否”),处理进行到步骤S413。
在步骤S412中,容许值获取单元303改变下限分辨率。在步骤S407中由于“相机数量较大”而确定计算出的相机数量有问题的情况下,容许值获取单元303使下限分辨率变小。相反,在步骤S407中由于“相机数量较小”而确定计算出的相机数量有问题的情况下,容许值获取单元303使下限分辨率变大。在容许值获取单元303改变下限分辨率之后,处理进行到步骤S405,并且布置确定单元306基于改变后的下限分辨率再次确定相机102的数量和布置。容许值获取单元303可以经由操作单元206从操作者获取下限分辨率。
在步骤S413中,相机组数量获取单元305改变相机组103的数量。在步骤S407中由于“相机数量较大”而确定计算出的相机数量有问题的情况下,相机组数量获取单元305使相机组103的数量变小。相反,在步骤S407中由于“相机数量较小”而确定计算出的相机数量有问题的情况下,相机组数量获取单元305使相机组103的数量变大。在相机组数量获取单元305改变相机组103的数量之后,处理进行到步骤S404,并且布置确定单元306再次确定相机组103的布置区域701。然后,处理进行到步骤S405,并且布置确定单元306再次确定相机102的数量和布置。相机组数量获取单元305可以经由操作单元206从操作者获取相机组的数量。
将参考图13描述由布置确定装置108确定的布置的效果。在各相机组103中,布置属于对应的一个相机组103的多个相机102,使得拍摄成像对象区域503的整个区域的图像。换句话说,通过各相机组103中的至少一个相机102拍摄在成像对象区域503中的任意位置处的被摄体的图像。将考虑位置1301处的被摄体。在相机组103a中,相机102aa拍摄位置1301处的被摄体的图像。在相机组103b中,相机102ba拍摄位置1301处的被摄体的图像。这同样适用于其余的相机组。换言之,通过与相机组103的数量相同数量的相机102来拍摄成像对象区域503中任意位置处的被摄体的图像。以尽可能相等的间隔来确定各自对应于不同的一个相机组103的布置区域701。换言之,可以生成在成像对象区域503中的任意位置处的被摄体的高质量虚拟视点图像。
<第二示例性实施例>
在本示例性实施例中,将描述与第一示例性实施例中不同的布置确定装置1600的示例。图16示出了本示例性实施例中的布置确定装置1600的功能构造示例。如图16所示,布置确定装置1600包括相机数量获取单元1601,代替图3所示的容许值获取单元303。布置确定装置1600包括布置确定单元1602,代替图3所示的布置确定单元306。因为布置确定装置1600的硬件构造与图2所示的相同,所以将省略描述。
相机数量获取单元1601经由操作单元206直接从操作者获取包括在多相机***101中的相机102的数量。例如,相机102的数量可以基于虚拟视点图像生成装置106的处理性能来设置。随着虚拟视点图像生成装置106的处理性能变得更高,可以处理更多数量的图像。换言之,随着虚拟视点图像生成装置106的处理性能变得更高,可以将更大的值设置为相机102的数量。可以基于预算来设置相机102的数量。如果相机102的数量增加,则布置所需的成本增加。换言之,随着预算变大,可以将更大的值设置为相机102的数量。
相机数量获取单元1601可以具有以下构造。相机数量获取单元1601将作为一种事件信息的事件规模和被摄体的密度与相机102的数量相关联,并存储指示对应关系的表。然后,在相机数量获取单元1601经由操作单元206从操作者接收用于识别事件的信息的输入的情况下,相机数量获取单元1601可以通过参考存储在事件信息存储单元301中的事件信息及事件信息的表,来获取相机102的数量。例如,在事件的规模大的情况下,与事件的规模小的情况相比,相机102的数量被确定为更大。在被摄体的密度大的情况下,与被摄体的密度小的情况相比,相机102的数量被确定为更大。
布置确定单元1602基于相机102的数量、成像对象区域503、相机组的数量和场所信息来确定相机102的布置。相机数量获取单元1601获取相机102的数量,成像对象区域获取单元304获取成像对象区域503,并且相机组数量获取单元305获取相机组的数量。
图14是示出布置确定装置1600的处理过程的示例的流程图。因为步骤S402至S404中的处理与图4中的处理相同,所以将省略描述。
在步骤S1401中,相机数量获取单元1601获取相机102的数量。例如,可以基于虚拟视点图像生成装置106的处理性能来设置相机102的数量。随着虚拟视点图像生成装置106变得更高,可以处理更多数量的图像。换言之,随着虚拟视点图像生成装置106的处理性能变得更高,可以将更大的值设置为相机102的数量。例如,可以基于预算来设置相机102的数量。如果相机102的数量增加,则布置所需的成本增加。换言之,随着预算变大,可以将更大的值设置为相机102的数量。
在步骤S1402中,布置确定单元1602将在步骤S1401中获取的数量的相机102分配给在步骤S403中获取的数量的相机组103。相机组103所需的相机102的数量根据在步骤S402中获取的成像对象区域503与布置区域701之间的关系而变化。例如,如图15所示,从布置区域701观看的成像对象区域503由角度1501指示。从布置区域701a观看的成像对象区域503的角度1501是角度1501a。然后,根据角度1501将相机102分配给相机组103。换言之,大量相机102被分配给具有从布置区域701观看的成像对象区域503的大角度1501的相机组103。
在步骤S1403中,布置确定单元1602基于在步骤S1402中分配给各相机组103的相机102的数量和场所信息,针对各相机组103确定相机102的布置。确定相机102的具体布置,使得可以拍摄成像对象区域503的整个区域的图像。布置相机102,使得分辨率在成像对象区域503的整个区域上变得尽可能高。
在步骤S1404中,布置确定单元1602针对各相机组103计算成像对象区域503的整个区域中的分辨率。在相机102的成像范围彼此交叠的区域中,通过多个相机102拍摄被摄体的图像。在这种情况下,具有较大分辨率的相机102的值被用作分辨率。
在步骤S1405中,布置确定单元1602确定在步骤S1404中计算出的分辨率是否没有问题。例如,在成像对象区域503内存在分辨率小于预定值的区域的情况下,确定计算出的分辨率有问题。在确定计算出的分辨率没有问题的情况下(步骤S1405中的“是”),处理结束。在确定计算出的分辨率有问题的情况下(步骤S1405中的“否”),处理进入步骤S1406。
在步骤S1406中,布置确定单元1602确定要改变的布置条件。可改变的布置条件是相机组103的数量和成像对象区域503中的任一个。
在步骤S1407中,布置确定单元1602确定要改变的布置条件是否是成像对象区域503。在要改变的布置条件是成像对象区域503的情况下(步骤S1407中的“是”),处理进入步骤S1408。在要改变的布置条件不是成像对象区域503的情况下(步骤S1407中的“否”),处理进入步骤S1409。
在步骤S1408中,成像对象区域获取单元304改变成像对象区域503。具体地,成像对象区域获取单元304将成像对象区域503改变为更小,以获得更高的计算分辨率。在通过成像对象区域获取单元304改变了成像对象区域503之后,处理进行到步骤S1403,并且布置确定单元1602针对各相机组103确定相机102的布置。然后,处理进行到步骤S1404,并且布置确定单元306再次确定相机102的数量和布置。成像对象区域获取单元304可以经由操作单元206从操作者获取成像对象区域。
在步骤S1409中,相机组数量获取单元305改变相机组103的数量。具体地,相机组数量获取单元305将相机组103的数量改变为更小,以获得更高的计算分辨率。这是因为,如果相机组103的数量减少,则分配给相机组103的相机102的数量增加,并且分辨率变高。在相机组数量获取单元305改变相机组103的数量之后,处理进行到步骤S404,并且布置确定单元1602再次确定相机组103的布置区域701。然后,处理进行到步骤S1402和S1403,并且布置确定单元1602再次确定相机102的数量和布置。相机组数量获取单元305可以经由操作单元206从操作者获取相机组的数量。
同样在本示例性实施例中,可以获得与第一示例性实施例类似的效果。换句话说,在成像对象区域503中的任意位置处的被摄体的图像由与相机组103的数量相同数量的相机102拍摄。另外,以尽可能相等的间隔来确定各自对应于不同的一个相机组103的布置区域701。换言之,可以生成在成像对象区域503中的任意位置处的被摄体的高质量虚拟视点图像。
<第三示例性实施例>
在本示例性实施例中,将描述与第一示例性实施例中不同的布置确定装置1800的示例。图18示出了本示例性实施例中的布置确定装置1800的功能构造示例。如图18所示,布置确定装置1800包括事件信息存储单元1801、场所信息存储单元1802、容许值获取单元1803、成像对象区域获取单元1804、相机组数量获取单元1805、以及布置确定单元1806。布置确定装置1800还包括类型获取单元1807、区域设置单元1808、等级信息设置单元1809和组数量设置单元1810。类型获取单元1807、区域设置单元1808、等级信息设置单元1809和组数量设置单元1810是用于生成事件信息的功能单元,并且布置确定装置可以不包括这些功能单元。换言之,只要由类型获取单元1807、区域设置单元1808、等级信息设置单元1809和组数量设置单元1810生成的事件信息存储在事件信息存储单元1801中,就可以基于事件信息确定相机的布置。因为布置确定装置1800的硬件构造与图2所示的相同,所以将省略描述。下面将主要描述与第一示例性实施例的不同之处。
在本示例性实施例中,在用作多个相机的成像对象的空间(例如,图5B中的空间504)中定义多个空间,并且将定义的多个空间中的各个视为成像对象区域。然后,对于多个成像对象区域,本示例性实施例中的布置确定装置1800确定相机组的数量和布置、以及各相机组的相机数量和布置。本示例性实施例不需要应用于多个成像对象区域中的所有成像对象区域,并且本示例性实施例可以应用于多个成像对象区域中的一个。
定义的多个空间中的全部包括在用作多个相机的成像对象的空间(例如,图5B中的空间504)中。可以排他地定义所述定义的多个空间。换言之,多个空间可以定义为划分图5B中的空间504的多个空间。在定义的多个空间中,任意两个空间可以彼此部分交叠,并且一个空间可以被另一个空间包围。
类型获取单元1807获取主要出现在事件中的前景(被摄体)的类型及其移动范围。通过操作者经由操作单元206进行输入,关于被摄体的类型及其移动范围的信息被输入,并且类型获取单元1807获取该信息。图19A示出了信息的示例。图19A示出了如下示例,其中事件是橄榄球,输入人(运动员)和球作为主要被摄体的类型,并且输入的人被分类为静止人物和移动人物。此外,与被摄体的类型相关联地输入各被摄体的移动范围。移动范围指示在橄榄球比赛期间人或球可能存在的范围。例如,静止人物的移动范围指示静止人物可能存在的范围。因此,静止人物的移动范围的长度基本上等于场地的垂直长度和水平长度。例如,高度方向上的长度等于运动员的身高(例如,两米)。另一方面,移动人物的移动范围大于静止人物的移动范围。例如,由于运动员有时会因橄榄球中的边线发球而举起另一名运动员来掷界外球,因此在高度方向上,移动人物的移动范围大于静止人物的移动范围。具体而言,将高度设置为约五米。球的移动范围更大。例如,由于橄榄球中踢出的球升得很高,因此将球的移动范围的高度设置为20m。此外,在垂直方向和水平方向(即,场地的面内方向)上,移动人物和球的移动范围也比静止人物的移动范围大。
类型获取单元1807获取的信息被输出到区域设置单元1808,也被输出到事件信息存储单元1801,并由事件信息存储单元1801存储。具体地,事件信息存储单元1801存储图19A所示的表。事件信息存储单元1801可以以不同于图19A所示的表的格式来存储由类型获取单元1807输出的信息。
为了输入图19A所示的信息,类似于第一示例性实施例,操作者输入用于识别事件类型和其他事件的信息、关于场地大小的信息、关于被摄体密度的信息、以及关于虚拟视点图像的预期目的的信息。在布置确定装置1800仅用于特定事件的情况下,可以省略用于识别事件类型和其他事件的信息的输入。
区域设置单元1808基于指示由类型获取单元1807获取的被摄体的类型及其移动范围的信息来设置多个成像对象区域。在多个成像对象区域中,任意两个或者更多个成像对象区域可以彼此部分交叠。图20A和图20B示出了在设置了三个成像对象区域的示例中的成像对象区域之间的关系。图20A是示出从上方观看的场地的示意图,并且示出了三个成像对象区域之间的垂直大小和水平大小的关系。图20B是示出从侧面观看的场地的图,并且示出了三个成像对象区域之间的高度的关系。在本例中,第一成像对象区域2001对应于静止人物的移动范围,第二成像对象区域2002对应于移动人物的移动范围,并且第三成像对象区域2003对应于球的移动范围。第一成像对象区域2001、第二成像对象区域2002和第三成像对象区域2003的范围依次变大。第一成像对象区域2001包括在第二成像对象区域2002中,并且第二成像对象区域2002包括在第三成像对象区域2003中。第一成像对象区域2001的一部分(而不是全部)可以包括在第二成像对象区域2002中。第二成像对象区域2002的一部分(而不是全部)可以包括在第三成像对象区域2003中。
指示由区域设置单元1808设置的多个成像对象区域的信息被输出到等级信息设置单元1809,还被输出到事件信息存储单元1801,并由事件信息存储单元1801存储。
区域设置单元1808可以设置成像对象区域,使得相同的成像对象区域对应于静止人物和移动人物的移动范围。具体地,在不设置图20A和图20B中的第一成像对象区域2001的情况下,区域设置单元1808可以设置剩余区域、第二成像对象区域2002和第三成像对象区域2003。
对于由区域设置单元1808设置的多个成像对象区域中的各个,等级信息设置单元1809设置三维形状数据的质量要求等级和下限分辨率的要求等级。等级信息设置单元1809接收操作者经由操作单元206进行的输入,并设置要求等级。图19B示出了与各成像对象区域相对应的三维形状数据的质量要求等级和下限分辨率的要求等级的示例。在本示例中,将三维形状数据的质量要求等级和下限分辨率的要求等级定义为“高”、“中”、“低”三个等级。如第一示例性实施例中所述,下限分辨率的要求等级可以由指示下限分辨率的像素数来定义。
第一成像对象区域2001的主要被摄体是静止人物。通过在虚拟视点图像中以高图像质量显示静止人物,可以提高虚拟视点图像的质量。因此,针对与静止人物的移动范围相对应的第一成像对象区域2001,等级信息设置单元1809将“高”设置为三维形状数据的质量要求等级和下限分辨率的要求等级。下限分辨率的“高”要求等级是指至少面部的容貌和轮廓变得清晰的等级。作为具体的数值示例,400个像素被设置为拍摄图像中与两米的高度相对应的像素数。这对应于要求至少0.5厘米/像素的分辨率。
第二成像对象区域2002的主要被摄体是移动人物。因为与静止人物不同,移动人物正在移动,所以移动人物的图像质量低于静止人物的图像质量是允许的。因此,针对第二成像对象区域2002,将“中”设置为三维形状数据的质量要求等级和下限分辨率要求等级。作为下限分辨率等级的具体数值示例,200个像素被设置为拍摄图像中与两米的高度相对应的像素数。
第三成像对象区域2003的主要被摄体是球。在橄榄球中,球可以比人移动得更快,而且比人小。因此,球的图像质量低于移动人物的图像质量是允许的。
在图19B中,针对一个成像对象区域的三维形状数据的质量要求等级和下限分辨率的要求等级处于同一等级,但是根据事件,三维形状数据的质量要求等级和下限分辨率的要求等级可能不在同一等级。例如,针对一个成像对象区域的三维形状数据的质量要求等级可以是“高”,而针对该成像对象区域的下限分辨率的要求等级可以是“低”。
等级信息设置单元1809设置的信息被输出到组数量设置单元1810和事件信息存储单元1801,并由事件信息存储单元1801存储。具体地,事件信息存储单元1801存储图19B所示的表。事件信息存储单元1801可以以不同于图19B所示的表的格式来存储由类型获取单元1807输出的信息。
组数量设置单元1810基于由等级信息设置单元1809设置的三维形状数据的质量要求等级,来设置相机组103的数量。相机组的数量越大,三维形状数据的精度越高。因此,随着要求等级变得更高,相机组数量设置得更大。图19C示出了各成像对象区域和相机组的数量。图19C示出了如下示例,其中,在三维形状数据的质量要求等级为“高”的情况下,将相机组的数量设置为“30”,在三维形状数据的质量要求等级为“中”的情况下,将相机组的数量设置为“24”,并且在三维形状数据的质量要求等级为“低”的情况下,将相机组的数量设置为“10”。由组数量设置单元1810设置的信息也被输出到事件信息存储单元1801并由事件信息存储单元1801存储。具体地,事件信息存储单元1801存储图19C所示的表。事件信息存储单元1801可以以不同于图19C所示的表的格式来存储由类型获取单元1807输出的信息。
组数量设置单元1810可以基于三维形状数据的质量要求等级来唯一地设置相机组的数量,但是也可以基于被摄体的密度来设置相机组的数量。在橄榄球的示例中,虽然因为发生诸如并列争球和围挤抢球的状况而使第一成像对象区域2001中的密度高,但是第二成像对象区域2002和第三成像对象区域2003中的密度低。组数量设置单元1810也考虑到这一点来设置相机组的数量。更具体地,随着密度变得更高,组数量设置单元1810设置更大数量的相机组。
事件信息存储单元1801存储关于成像对象事件的信息。除了第一示例性实施例中描述的信息之外,事件信息可以包括指示被摄体类型的信息、指示摄像区域的信息以及关于各摄像区域的被摄体的密度的信息,已经针对各事件设置了这些信息。
场所信息存储单元1802存储关于布置有多个相机102的场所的信息。场所信息是与第一示例性实施例中描述的信息类似的信息。
当相机102拍摄预定基准被摄体的图像时,容许值获取单元1803设置作为图像中被摄体的大小的分辨率的下限值。具体而言,基于指示作为一种事件信息的针对各事件设置的多个成像对象区域与下限分辨率的要求等级之间的对应关系的信息,容许值获取单元1803设置各成像对象区域的下限值。指示针对各事件设置的多个成像对象区域与下限分辨率的要求等级之间的对应关系的信息可以作为图19B所示的对应表存储在事件信息存储单元1801中,或者可以存储在外部存储设备中。通过这种构造,在容许值获取单元1803经由操作单元206从操作者接收用于识别事件的信息输入的情况下,容许值获取单元1803设置针对事件设置的多个成像对象区域的下限分辨率。
容许值获取单元1803可以经由操作单元206直接从操作者获取诸如下限分辨率的数值的信息。
基于事件信息,成像对象区域获取单元1804确定与事件相对应的多个成像对象区域。具体地,成像对象区域获取单元1804需要具有以下构造。成像对象区域获取单元1804最初存储将事件信息的至少部分信息与指示多个成像对象区域的信息相关联的表。事件信息的至少部分信息包括指示被摄体类型的信息、关于被摄体的移动范围的信息、以及关于场地大小的信息。然后,在成像对象区域获取单元1804经由操作单元206从操作者接收用于识别事件的信息的输入的情况下,成像对象区域获取单元1804通过参考事件信息存储单元1801中存储的事件信息及事件信息的表,来确定多个成像对象区域。要参考的表不限于此,只要关于被摄体的类型的信息、关于被摄体的移动范围的信息和关于多个成像对象区域的信息相关联即可。除了上述事件信息之外的信息也可以与关于成像对象区域的信息相关联。在要参考的表中,用于识别事件的信息(诸如事件的名称)可以与多个成像对象区域相关联。要参考的表可以存储在事件信息存储单元1801中,或者可以存储在外部装置中。
成像对象区域获取单元1804可以经由操作单元206直接从操作者获取关于成像对象区域的信息。
相机组数量获取单元1805可以通过参考将事件信息与相机组103的数量相关联的表来设置相机组。换言之,在相机组数量获取单元305经由操作单元206接收用于识别事件的信息的输入的情况下,相机组数量获取单元1805通过参考存储在事件信息存储单元1801中的事件信息及事件信息的表,来获取各成像对象区域的相机组103的数量。图19C示出了要参考的表的示例。要参考的表不限于此,只要关于成像对象区域的信息和关于相机组103的数量的信息相关联即可。要参考的表可以存储在事件信息存储单元1801中,或者可以存储在外部装置中。
相机组数量获取单元1805可以经由操作单元206直接从操作者获取关于相机组103的数量的信息。
布置确定单元1806基于下限分辨率、多个成像对象区域、多个成像对象区域中的各个的相机组的数量和场所信息,来确定相机102的布置。容许值获取单元1803获取下限分辨率,成像对象区域获取单元1804获取多个成像对象区域,并且相机组数量获取单元1805获取相机组的数量。场所信息存储在场所信息存储单元1802中。布置确定单元1806基于已经经由操作单元206输入的用于识别场所的信息,从场所信息存储单元1802获取必要的场所信息。例如,要获取的场所信息包括:关于可以布置相机102的场所中的结构以及该结构的位置的信息、以及关于可以布置的相机102的数量的信息。
与第一示例性实施例类似,布置确定单元1806最初针对多个成像对象区域中的各个,基于相机组的数量和场所信息来确定相机组103的布置位置。接下来,布置确定单元1806针对各相机组103确定属于不同相机组103的多个相机102的布置。此时,布置确定单元1806确定属于各相机组103的多个相机102的布置,使得各成像对象区域的整个区域的图像由属于相机组103的多个相机102拍摄。换言之,确定属于针对第一成像对象区域2001的相机组103的多个相机102的布置,使得第一成像对象区域2001的整个区域的图像由属于相机组103的多个相机102拍摄。以类似的方式确定属于针对第二成像对象区域2002的相机组103的多个相机102和属于针对第三成像对象区域2003的相机组103的多个相机102的布置。
此外,布置确定单元1806确定多个相机102的布置,使得属于相机组103的多个相机102的分辨率在各成像对象区域的整个区域上超过下限分辨率。布置确定单元1806确定多个相机102的布置,使得在各自与不同成像对象区域相对应的所有相机组103中满足关于上述成像对象区域的条件和关于分辨率的条件,但确定不限于此。例如,布置确定单元1806可以确定多个相机102的布置,使得仅属于预定数量的相机组103的多个相机102满足上述条件。布置确定单元1806可以确定属于预定位置处的相机组103或预定关系的相机组103的多个相机102的布置,使得相机组103满足上述条件。换句话说,可以布置属于相机组103的一部分的多个相机102,使得各成像对象区域的部分区域(而不是整个区域)的图像由多个相机102拍摄。属于相机组103的一部分的多个相机102的分辨率不需要超过各成像对象区域的部分区域中的下限分辨率。
图21是示出布置确定装置1800的处理过程的示例的流程图。将参考图21描述布置确定装置1800进行的处理。
首先,布置确定装置1800经由操作单元206从操作者接收布置确定的指令。然后,在步骤S2101中,成像对象区域获取单元1804确定并获取多个成像对象区域。具体地,基于经由操作单元206从操作者输入的用于识别事件的信息和预先存储的表,来确定多个成像对象区域。作为多个成像对象区域,如图20A和图20B所示设置第一成像对象区域2001、第二成像对象区域2002和第三成像对象区域2003。
接下来,在步骤S2102中,容许值获取单元1803获取三维形状数据的质量要求等级和下限分辨率的等级。容许值获取单元1803基于经由操作单元206从操作者输入的用于识别事件的信息和预先存储的表,来确定并获取各成像对象区域的三维形状数据的质量要求等级和下限分辨率的等级。
接下来,在步骤S2103中,相机组数量获取单元1805针对各成像对象区域确定并获取相机组103的数量。根据由虚拟视点图像生成装置106生成的三维形状数据的质量要求等级来确定相机组103的数量。生成三维形状数据所需的方向数量根据三维形状数据的质量要求等级而变化。换言之,在三维形状数据的质量要求等级高的情况下,也就是说,在要提高三维形状数据的精度的情况下,因为要从更多的方向进行摄像,所以相机组103的数量变得更多。另一方面,在三维形状数据的质量要求等级低的情况下,因为三维形状数据的精度可能较低,所以可以减少摄像方向的数量,并因此可以减少相机组103的数量。
相机组数量获取单元1805可以通过将三维形状数据的质量要求等级与所需的方向数量(即相机组的数量)相关联并参考表,来确定相机组103的数量。因为三维形状数据的质量要求等级与成像对象区域相关联,所以在该示例中,通过参考将成像对象区域(而不是三维形状数据的质量要求等级)与相机组103的数量相关联的表(图19C)来确定相机组的数量。
以下,作为示例,将第一成像对象区域2001、第二成像对象区域2002和第三成像对象区域2003的相机组103的数量分别确定为30、24和10。可以在处理中确定相机组103的布置区域。在本示例性实施例中,示出了在下一步骤S2104中确定相机组103的布置区域的示例。
在步骤S2104中,布置确定单元1806基于相机组的数量和场所信息,针对各成像对象区域确定相机组103的布置区域。因为该处理对应于针对多个成像对象区域中的各个进行与图4的步骤S404中的处理类似的处理,所以将省略描述。
在步骤S2105中,布置确定单元1806基于相机组103的布置区域和下限分辨率要求等级,针对各个成像对象区域的各相机组103,确定属于相机组103的两个或更多个相机102的数量和布置。因为该处理对应于针对多个成像对象区域中的各个进行与图4的步骤S405中的处理类似的处理,所以将省略描述。布置确定单元1806确定的相机102的布置也与第一示例性实施例类似。
在步骤S2106中,布置确定单元1806计算在步骤S2105中针对各个成像对象区域的各相机组103确定的相机102的总数,并确定多相机***101所需的相机102的数量。
在步骤S2107中,布置确定单元1806确定在步骤S2106中计算的相机数量是否没有问题。因为步骤S2107中的处理是与图4的步骤S407中的处理类似的处理,所以将省略详细描述。在确定计算出的相机数量没有问题的情况下(步骤S2107中的“是”),处理结束。在确定计算出的相机数量有问题的情况下(步骤S2107中的“否”),处理进入步骤S2108。
在步骤S2108中,布置确定单元1806确定要改变的布置条件。可改变的布置条件是成像对象区域、下限分辨率和相机组103的数量中的任一个。因为步骤S2108中的处理是与图4的步骤S408中的处理类似的处理,所以将详细描述省略。
在步骤S2109中,布置确定单元1806确定要改变的布置条件是否是成像对象区域。在要改变的布置条件是成像对象区域的情况下(步骤S2109中的“是”),处理进入步骤S2110。在要改变的布置条件不是成像对象区域的情况下(步骤S2109中的“否”),处理进入步骤S2111。
在步骤S2110中,成像对象区域获取单元1804改变成像对象区域。成像对象区域获取单元1804改变多个成像对象区域中的一个或更多个成像对象区域。换句话说,成像对象区域获取单元1804不需要改变所有的成像对象区域。在步骤S2107中由于“相机数量较大”而确定计算出的相机数量有问题的情况下,成像对象区域获取单元1804使多个成像对象区域中的一个或更多个成像对象区域变小。相反,在步骤S2107中由于“相机数量较小”而确定计算出的相机数量有问题的情况下,成像对象区域获取单元1804使多个成像对象区域中的一个或更多个成像对象区域变大。在成像对象区域获取单元1804改变成像对象区域后,处理进入步骤S2105,并且布置确定单元1806基于包括改变后的成像对象区域的多个成像对象区域,再次确定相机102的数量和布置。成像对象区域获取单元1804可以经由操作单元206从操作者获取成像对象区域。
在步骤S2111中,布置确定单元1806确定要改变的布置条件是否是下限分辨率。在要改变的布置条件是下限分辨率的情况下(步骤S2111中的“是”),处理进行到步骤S2112。在要改变的布置条件不是下限分辨率的情况下(步骤S2111中的“否”),处理进行到步骤S2113。
在步骤S2112中,容许值获取单元1803改变下限分辨率要求等级。在由于“相机数量较大”而确定计算出的相机数量有问题的情况下,容许值获取单元1803使一个或更多个成像对象区域的下限分辨率要求等级变小。相反,在由于“相机数量较小”而确定计算出的相机数量有问题的情况下,容许值获取单元1803使一个或更多个成像对象区域的下限分辨率要求等级变大。在容许值获取单元1803改变下限分辨率之后,处理进行到步骤S2105,并且布置确定单元1806再次确定相机102的数量和布置。容许值获取单元1803可以经由操作单元206从操作者获取下限分辨率要求等级。
在步骤S2113中,相机组数量获取单元1805改变相机组103的数量。在步骤S2107中由于“相机数量较大”而确定计算出的相机数量有问题的情况下,相机组数量获取单元1805使一个或更多个成像对象区域的相机组103的数量变小。相反,在步骤S2107中由于“相机数量较小”而确定计算出的相机数量有问题的情况下,相机组数量获取单元1805使一个或更多个成像对象区域的相机组103的数量变大。在相机组数量获取单元1805改变相机组103的数量之后,处理进行到步骤S2104,并且布置确定单元1806再次确定相机组103的布置区域。然后,处理进行到步骤S2105,并且布置确定单元1806再次确定相机102的数量和布置。相机组数量获取单元1805可以经由操作单元206从操作者获取相机组的数量。
根据本示例性实施例,产生了与第一示例性实施例类似的效果。更具体地,布置属于各个成像对象区域的各相机组103的多个相机102,使得拍摄与相机组103相对应的成像对象区域的整个区域的图像。为此,通过各相机组103中的至少一个相机102拍摄成像对象区域中任意位置处的被摄体的图像。然后,通过与相机组103的数量相同数量的相机102来拍摄成像对象区域中任意位置处的被摄体的图像。另外,以尽可能相等的间隔确定各个相机组103的布置区域。换言之,可以生成成像对象区域中任意位置处的被摄体的高质量虚拟视点图像。
在本示例性实施例中,在基于被摄体的类型及其移动范围而在图像中存在多个分辨率要求等级的情况下,针对多个要求等级中的各个设置成像对象区域。然后,通过针对各成像对象区域确定相机组103的数量和布置、以及相机组内的相机102的数量和布置,可以将适合于被摄体类型的适当数量的相机布置在适当位置。例如,在第一示例性实施例的图5中的空间504与图20A和图20B中的第三成像对象区域2003相同的情况下,与第一示例性实施例相比,可以更多地减少相机102的数量。这是因为在第一示例性实施例中,无论被摄体的类型和移动范围如何,都统一确定相机组103的数量和相机102的数量。例如,在第一示例性实施例中,因为即使在远离地平面的区域(即,第三成像对象区域2003的不包括在第二成像对象区域2002中的区域)中也通过属于相机组的所有相机进行摄像,所以相机102的数量较大。因为在该区域中只有球用作被摄体,所以三维形状数据的质量要求等级可能较低,并且不需要进行高分辨率的摄像。因此,根据本示例性实施例,鉴于这一点,减少了用于拍摄该区域的图像的相机组103的数量。此外,也减少了属于相机组103的相机102的数量。
在第三示例性实施例中,例如,第一成像对象区域2001和第二成像对象区域2002可以共享一个或更多个相机组。在这种情况下,可以更多地减少相机102的数量。在这种情况下,进行以下处理:如下进行步骤S404中的处理。布置确定单元1806针对第一成像对象区域2001确定相机组103的布置。此外,布置确定单元1806针对第二成像对象区域2002确定相机组103的布置。然后,布置确定单元1806确定针对第一成像对象区域2001确定的相机组103是否包括设置在靠近针对第二成像对象区域2002确定的相机组103的位置处的相机组103。在第一成像对象区域2001的相机组103包括设置在靠近针对第二成像对象区域2002确定的相机组103的位置处的相机组103的情况下,从第一成像对象区域2001中排除相机组103。与上面的描述类似,基于与相机组103相对应的成像对象区域,根据下限分辨率要求等级和三维形状数据的质量要求等级,来确定属于相机组103的相机102的数量和布置。例如,针对第一成像对象区域2001确定如图7所示的十二个布置区域701a至701l。另一方面,针对第二成像对象区域2002确定靠近如图7所示的布置区域701b、701d、701f、701h、701j和701k的位置。在这种情况下,从第一成像对象区域2001的相机组中排除布置区域701b、701d、701f、701h、701j和701k。换句话说,布置区域701a、701c、701e、701g、701i和701l作为第一成像对象区域2001的相机组保留,并进行后续处理。
以这种方式,可以使用其中第一成像对象区域2001和第二成像对象区域2002共享一个或更多个相机组的多相机***适当地生成三维形状数据。另外,通过交替布置第一成像对象区域2001的相机组103和第二成像对象区域2002的相机组103,可以在生成三维形状数据时减小质量等级的方向不均匀性。在第二成像对象区域2002中,不仅使用第二成像对象区域2002的相机组103的相机的拍摄图像,而且使用第一成像对象区域2001的相机组103的相机的拍摄图像来生成被摄体的三维形状数据。为了提高在确定虚拟视点图像的像素值时的图像质量,使用下限分辨率要求等级高的第一成像对象区域2001的相机组103的相机的拍摄图像。在优先使用第一成像对象区域2001的相机组103的相机的拍摄图像的情况下,也可以使用第二成像对象区域2002的相机组103的相机的拍摄图像。例如,在通过使用权重对多个拍摄图像中的与对象像素相对应的位置的像素值进行平均处理来确定虚拟视点图像中的对象像素的像素值的情况下,进行如下处理。使第一成像对象区域2001的相机组103的相机的拍摄图像中与对象像素相对应的位置的像素值的权重,大于第二成像对象区域2002的相机组103的相机的拍摄图像中与对象像素相对应的位置的像素值的权重。
以第一成像对象区域2001和第二成像对象区域2002为例,但也可以通过共享多个成像对象区域的任意两个或更多个成像对象区域的一部分相机组来减少相机102的数量。
此外,类型获取单元1807可以获取关于多个成像对象区域(代替被摄体的类型)的信息。换言之,例如,在图19A中,可以获取成像对象区域的类型(第一成像对象区域2001、第二成像对象区域2002、第三成像对象区域2003)以及指示定义成像对象区域的在垂直方向、水平方向和高度方向上的长度的信息。已经描述了事件是橄榄球的示例,但是本示例性实施例也可以应用于诸如足球的球类运动和竞技运动。例如,在作为田径事件的100米短跑比赛中,认为与运动员奔跑的跑道上的其他位置相比,终点附近更需要高质量的虚拟视点图像。在这种情况下,可以针对终点附近的区域提高各种要求等级,而在其他区域中降低各种要求等级。
<其他示例性实施例>
本发明的目的也可以通过以下构造来实现。记录实现上述示例性实施例的功能的软件的程序代码的存储介质被提供给***或设备。***或装置的计算机(或CPU或微处理单元(MPU))读出并执行存储介质中存储的程序代码。
在这种情况下,从存储介质读出的程序代码本身实现上述示例性实施例的功能,并且存储程序代码的存储介质包括在本发明中。
作为用于提供程序代码的存储介质,例如可以使用软盘、硬盘、光盘、磁光盘、光盘只读存储器(CD-ROM)、可记录的CD(CD-R)、磁带、非易失性存储卡或ROM。
此外,还包括通过以下处理实现上述示例性实施例的功能的情况。基于计算机读出的程序代码的指令,在计算机上运行的操作***(OS)进行部分或全部的实际处理。
此外,还包括通过以下处理实现上述示例性实施例的功能的情况。首先,将从存储介质读出的程序代码写入包括在***计算机中的功能扩展板或连接到计算机的功能扩展单元中的存储器。接下来,基于程序代码的指令,包括在功能扩展板或功能扩展单元中的CPU进行部分或全部的实际处理。
本发明不限于上述示例性实施例,并且可以在不背离本发明的精神和范围内的情况下做出各种改变和变型。因此,附上权利要求以阐明本发明的范围。
本申请要求2019年5月16日提交的日本专利申请第2019-092773号、以及2019年9月20日提交的日本专利申请第2019-172187号的优先权,这些申请的全部内容通过引用并入本文。

Claims (22)

1.一种布置确定装置,其确定用于生成虚拟视点图像的多个成像装置的布置,所述布置确定装置包括:
区域获取部,其被构造为获取表示由所述多个成像装置拍摄的成像对象区域的信息;
分辨率获取部,其被构造为获取与由成像装置拍摄的图像的分辨率有关的信息;
组获取部,其被构造为获取关于与要拍摄成像对象区域的多个方向相对应的多个组的信息;以及
布置确定部,其被构造为基于由所述区域获取部获取的信息、由所述分辨率获取部获取的信息和由组获取部获取的信息,确定所述多个成像装置的布置,使得通过所述多个成像装置中的两个或更多个成像装置从第一方向拍摄所述成像对象区域的整个区域,通过所述多个成像装置中的与所述两个或更多个成像装置不同的其他两个或更多个成像装置从与第一方向不同的第二方向拍摄所述成像对象区域的整个区域,且由所述多个成像装置拍摄的图像的像素满足所述分辨率,所述两个或更多个成像装置属于多个组当中的与第一方向相对应的第一组,所述其他两个或更多个成像装置属于多个组当中的与第二方向相对应的第二组。
2.根据权利要求1所述的布置确定装置,
其中,在基准被摄体在所述成像对象区域中的情况下,由分辨率获取部获取的信息表示像素数的容许值,所述像素数的容许值表示在通过所述成像装置进行摄像而获取的图像中所述基准被摄体的大小,以及
其中,所述布置确定部还基于由所述分辨率获取部获取的所述容许值,确定所述多个成像装置的布置,使得通过所述多个成像装置中的属于第一组的所述两个或更多个成像装置从第一方向拍摄所述成像对象区域的整个区域,通过属于第二组的所述其他两个或更多个成像装置从第二方向拍摄所述成像对象区域的整个区域,并且在通过所述多个成像装置拍摄的图像中所述基准被摄体的大小超过所述容许值。
3.根据权利要求2所述的布置确定装置,其中,所述基准被摄体是在相对于所述成像对象区域的预定方向上具有预定大小的被摄体。
4.根据权利要求2所述的布置确定装置,其中,所述基准被摄体是具有预定身高的直立的人。
5.根据权利要求2所述的布置确定装置,其中,所述分辨率获取部基于所述虚拟视点图像的预期目的,来确定所述容许值。
6.根据权利要求5所述的布置确定装置,其中,与在档案分发中使用所述虚拟视点图像的情况下相比,在现场直播中使用所述虚拟视点图像的情况下,所述容许值更小。
7.根据权利要求1所述的布置确定装置,所述布置确定装置还包括:
数量获取部,其被构造为获取所述成像装置的数量,
其中,所述布置确定部还基于由所述数量获取部获取的所述数量,确定所述多个成像装置的布置,使得通过所述多个成像装置中的所述两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像,并通过所述其他两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像。
8.根据权利要求7所述的布置确定装置,其中,所述数量获取部基于用于生成虚拟视点图像的装置的处理性能,来确定所述数量。
9.根据权利要求1所述的布置确定装置,其中,所述布置确定部还基于关于布置有所述多个成像装置的场所的信息,确定所述多个成像装置的布置,使得通过所述多个成像装置中的所述两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像,并通过所述其他两个或更多个成像装置拍摄所述成像对象区域的整个区域的图像。
10.根据权利要求1所述的布置确定装置,其中,组获取部获取与多个方向相对应的多个组的数量,
其中,所述布置确定部基于由所述组获取部获取的组的数量,确定组的布置区域,并且
其中,针对各个组,所述布置确定部确定属于所述组的成像装置的布置。
11.根据权利要求1所述的布置确定装置,其中,所述组获取部基于事件的类型获取组的数量。
12.根据权利要求1所述的布置确定装置,其中,所述布置确定部确定组的布置区域,使得由连接所述成像对象区域中的预定位置和各自相邻两个组的布置区域的线段形成的角度不超过预定值。
13.根据权利要求1所述的布置确定装置,其中,所述布置确定部确定所述多个成像装置的布置,使得组中的成像装置之间的间隔不超过预定距离。
14.根据权利要求1所述的布置确定装置,其中,所述布置确定部确定所述多个成像装置的布置,使得所述两个或更多个成像装置中的更靠近所述其他两个或更多个成像装置的成像装置,与距所述其他两个或更多个成像装置中的所有成像装置的距离相比,距所述两个或更多个成像装置中的不同成像装置的距离更近。
15.根据权利要求1所述的布置确定装置,其中,所述成像对象区域是用作要由所述多个成像装置进行的摄像的对象的空间的至少一部分。
16.根据权利要求15所述的布置确定装置,
其中,所述空间包括第一成像对象区域、以及不同于所述第一成像对象区域的第二成像对象区域,
其中,所述布置确定部确定所述多个成像装置的布置,使得通过所述多个成像装置中的两个或更多个第一成像装置拍摄所述第一成像对象区域的整个区域的图像,并通过所述多个成像装置中的不同于所述第一成像装置的两个或更多个第二成像装置拍摄所述第一成像对象区域的整个区域的图像,并且
其中,所述布置确定部确定所述多个成像装置的布置,使得通过所述多个成像装置中的不同于所述第一成像装置和所述第二成像装置的两个或更多个第三成像装置拍摄所述第二成像对象区域的整个区域的图像,并通过所述多个成像装置中的不同于所述第一成像装置至所述第三成像装置的两个或更多个第四成像装置拍摄所述第一成像对象区域的整个区域的图像。
17.根据权利要求16所述的布置确定装置,其中,所述第二成像对象区域包括所述第一成像对象区域。
18.一种成像***,其包括:
多个成像装置,其被构造为用于生成虚拟视点图像,以及
生成装置,其被构造为基于由多个成像装置获取的拍摄图像来生成虚拟视点图像,并且
其中,布置所述多个成像装置中的两个或更多个成像装置,使得所述两个或更多个成像装置拍摄成像对象区域,由多个成像装置中的两个或更多个成像装置从第一方向拍摄成像对象区域的整个区域,且由多个成像装置中的其他两个或更多个成像装置从第二方向拍摄成像对象区域的整个区域,且通过所述多个成像装置拍摄的图像的像素满足预定分辨率,所述两个或更多个成像装置属于包括在与多个方向相对应的多个组中的第一组且与多个方向中包括的第一方向相对应,所述其他两个或更多个成像装置属于包括在与多个方向相对应的多个组中包括的第二组并且与多个方向的第二方向相对应。
19.根据权利要求18所述的成像***,其中,所述两个或更多个成像装置中的更靠近所述其他两个或更多个成像装置的成像装置被布置为,与距所述其他两个或更多个成像装置中的所有成像装置的距离相比,距所述两个或更多个成像装置中的不同成像装置的距离更近。
20.根据权利要求18或19所述的成像***,所述成像***还包括:
生成部,其被构造为基于通过由所述多个成像装置进行的摄像而获取的图像,生成虚拟视点图像。
21.一种布置确定方法,其确定用于生成虚拟视点图像的多个成像装置的布置,所述布置确定方法包括:
区域获取处理,获取表示由所述多个成像装置拍摄的成像对象区域的信息;
分辨率获取处理,获取与由成像装置拍摄的图像的分辨率有关的信息;
组获取处理,获取关于与要拍摄成像对象区域的多个方向相对应的多个组的信息;以及
布置确定处理,基于在所述区域获取处理中获取的信息、在所述分辨率获取处理中获取的信息和由组获取处理获取的信息,确定所述多个成像装置的布置,使得通过所述多个成像装置中的两个或更多个成像装置从第一方向拍摄所述成像对象区域的整个区域,通过所述多个成像装置中的不同于所述两个或更多个成像装置的其他两个或更多个成像装置从与第一方向不同的第二方向拍摄所述成像对象区域的整个区域,且由所述多个成像装置拍摄的图像的像素满足所述分辨率,所述两个或更多个成像装置属于多个组当中的与第一方向相对应的第一组,所述其他两个或更多个成像装置属于多个组当中的与第二方向相对应的第二组。
22.一种非暂时性计算机可读存储介质,其存储使计算机执行布置确定方法的程序,所述布置确定方法用于确定用于生成虚拟视点图像的多个成像装置的布置,所述布置确定方法包括:
获取表示由所述多个成像装置拍摄的成像对象区域的信息;
获取与由成像装置拍摄的图像的分辨率有关的信息;
获取关于与要拍摄成像对象区域的多个方向相对应的多个组的信息;以及
基于所获取的信息,确定所述多个成像装置的布置,使得通过所述多个成像装置中的两个或更多个成像装置从第一方向拍摄所述成像对象区域的整个区域,通过所述多个成像装置中的不同于所述两个或更多个成像装置的其他两个或更多个成像装置从与第一方向不同的第二方向拍摄所述成像对象区域的整个区域,且由所述多个成像装置拍摄的图像的像素满足所述分辨率,所述两个或更多个成像装置属于多个组当中的与第一方向相对应的第一组,所述其他两个或更多个成像装置属于多个组当中的与第二方向相对应的第二组。
CN202080035989.3A 2019-05-16 2020-05-11 布置确定装置、***、布置确定方法和存储介质 Active CN113826378B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019092773 2019-05-16
JP2019-092773 2019-05-16
JP2019-172187 2019-09-20
JP2019172187A JP2020191618A (ja) 2019-05-16 2019-09-20 配置決定装置、システム、配置決定方法、及びプログラム
PCT/JP2020/018779 WO2020230751A1 (ja) 2019-05-16 2020-05-11 配置決定装置、システム、配置決定方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN113826378A CN113826378A (zh) 2021-12-21
CN113826378B true CN113826378B (zh) 2024-05-07

Family

ID=73289390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080035989.3A Active CN113826378B (zh) 2019-05-16 2020-05-11 布置确定装置、***、布置确定方法和存储介质

Country Status (6)

Country Link
US (1) US12010437B2 (zh)
EP (1) EP3972238A4 (zh)
JP (1) JP2024097877A (zh)
KR (1) KR102629225B1 (zh)
CN (1) CN113826378B (zh)
WO (1) WO2020230751A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900651B (zh) * 2022-03-30 2023-10-27 联想(北京)有限公司 一种信息处理方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012619A (ja) * 2003-06-20 2005-01-13 Mitsubishi Electric Corp パノラマ画像生成装置
WO2007013231A1 (ja) * 2005-07-29 2007-02-01 Matsushita Electric Industrial Co., Ltd. 撮影領域調整装置
JP2011237713A (ja) * 2010-05-13 2011-11-24 Canon Inc 画像撮影装置、及び画像撮影方法
JP2014215855A (ja) * 2013-04-26 2014-11-17 富士通テン株式会社 画像生成装置及び画像生成方法
JP2017097799A (ja) * 2015-11-27 2017-06-01 日本電信電話株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2018107793A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 仮想視点画像の生成装置、生成方法及びプログラム
CN109196854A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
CN109389545A (zh) * 2017-08-10 2019-02-26 佳能株式会社 图像处理装置、方法和存储介质
CN109561296A (zh) * 2017-09-22 2019-04-02 佳能株式会社 图像处理装置、图像处理方法、图像处理***和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548403B1 (ko) * 2003-08-23 2006-02-02 엘지전자 주식회사 카메라를 구비한 이동 통신 단말기 및 이를 이용한 영상촬영 방법
US8675068B2 (en) * 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
JP5035195B2 (ja) 2008-09-25 2012-09-26 Kddi株式会社 画像生成装置及びプログラム
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107330917B (zh) * 2017-06-23 2019-06-25 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
JP7042571B2 (ja) * 2017-08-10 2022-03-28 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP7106202B2 (ja) 2017-11-22 2022-07-26 株式会社大一商会 遊技機
JP7026555B2 (ja) 2018-03-29 2022-02-28 しげる工業株式会社 部品接合方法、車両外装品およびルーフスポイラのサイド部とその製造方法
KR102300570B1 (ko) 2020-07-31 2021-09-09 주식회사 쓰리아이 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012619A (ja) * 2003-06-20 2005-01-13 Mitsubishi Electric Corp パノラマ画像生成装置
WO2007013231A1 (ja) * 2005-07-29 2007-02-01 Matsushita Electric Industrial Co., Ltd. 撮影領域調整装置
JP2011237713A (ja) * 2010-05-13 2011-11-24 Canon Inc 画像撮影装置、及び画像撮影方法
JP2014215855A (ja) * 2013-04-26 2014-11-17 富士通テン株式会社 画像生成装置及び画像生成方法
JP2017097799A (ja) * 2015-11-27 2017-06-01 日本電信電話株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
CN109196854A (zh) * 2016-03-31 2019-01-11 株式会社尼康 摄像装置、图像处理装置及电子设备
JP2018107793A (ja) * 2016-12-27 2018-07-05 キヤノン株式会社 仮想視点画像の生成装置、生成方法及びプログラム
CN109389545A (zh) * 2017-08-10 2019-02-26 佳能株式会社 图像处理装置、方法和存储介质
CN109561296A (zh) * 2017-09-22 2019-04-02 佳能株式会社 图像处理装置、图像处理方法、图像处理***和存储介质

Also Published As

Publication number Publication date
WO2020230751A1 (ja) 2020-11-19
US20220060638A1 (en) 2022-02-24
KR20220003608A (ko) 2022-01-10
US12010437B2 (en) 2024-06-11
KR102629225B1 (ko) 2024-01-29
JP2024097877A (ja) 2024-07-19
EP3972238A1 (en) 2022-03-23
EP3972238A4 (en) 2023-10-25
CN113826378A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
US11463678B2 (en) System for and method of social interaction using user-selectable novel views
JP5806215B2 (ja) 複数のカメラの相対制御のための方法及び装置
US9744457B2 (en) System and method for optical player tracking in sports venues
US8154633B2 (en) Line removal and object detection in an image
US9041722B2 (en) Updating background texture for virtual viewpoint animations
US8049750B2 (en) Fading techniques for virtual viewpoint animations
US8441476B2 (en) Image repair interface for providing virtual viewpoints
US8073190B2 (en) 3D textured objects for virtual viewpoint animations
EP3745700A1 (en) Virtual image processing method, image processing system, and storage medium
JP2024097877A (ja) システム
JP7207913B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020191618A (ja) 配置決定装置、システム、配置決定方法、及びプログラム
US20240177407A1 (en) Massively pre-rendered virtual billboard system for high speed, high quality digital advertising insertion in live media broadcasts
US20240046552A1 (en) Generation apparatus, generation method, and non-transitory computer-readable storage medium
EP3796260A1 (en) Information processing apparatus, shape data generation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant