CN115004237A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN115004237A
CN115004237A CN202180009320.1A CN202180009320A CN115004237A CN 115004237 A CN115004237 A CN 115004237A CN 202180009320 A CN202180009320 A CN 202180009320A CN 115004237 A CN115004237 A CN 115004237A
Authority
CN
China
Prior art keywords
shadow
information
light source
model
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180009320.1A
Other languages
English (en)
Inventor
阿克失·卡达姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115004237A publication Critical patent/CN115004237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

该信息处理装置(10a)的自由视点图像生成单元(24)(生成单元)生成用于从任意视点位置观看叠加在背景信息(92)上的3D模型(90M)(3D对象)的自由视点图像(J)。然后，影子赋予单元(27)基于指示与背景信息(92)有关的光源的位置和由光源发射的光线的方向的光源信息(93)、3D模型(90M)的深度信息(D)(三维信息)和视点位置，生成在根据视点位置的3D模型(90M)中产生的光源的影子(94)，并将光源的影子(94)赋予自由视点图像(J)。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序，并且更特别地涉及能够将根据视点位置的3D对象的影子赋予通过从自由视点观察3D对象即被摄体获得的视频(自由视点视频)的信息处理装置、信息处理方法和程序。
背景技术
通常，提出了一种技术，在该技术中当将从自由视点观察到的被摄体的三维模型(下文中被称为3D模型)发送至重放设备时，分别发送该被摄体的3D模型和被摄体的影子，并且当重放设备重放3D模型时，选择影子的存在或不存在(例如，专利文献1)。
引文列表
专利文献
专利文献1：WO 2019/031259 A
发明内容
技术问题
然而，在专利文献1中，当在重放侧赋予影子时，不执行用于在没有不自然性的情况下赋予由任意光源在3D模型上产生的影子的控制。
本公开内容提出了信息处理装置、信息处理方法和程序，其能够将根据视点位置的3D对象的影子赋予通过从自由视点观察3D对象获得的自由视点视频。
问题的解决方案
为了解决上述问题，根据本公开内容的实施方式的信息处理装置包括：生成单元，其生成自由视点视频，在该自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及影子赋予单元，其基于指示与背景信息有关的光源的位置以及由光源发射的光线的方向的光源信息、3D对象的三维信息和视点位置，生成由光源在根据视点位置在3D对象上产生的影子，并将所生成的影子赋予自由视点视频。
附图说明
图1是示出生成3D模型的处理的流程的概述的图。
图2是示出表示3D模型所需的数据内容的图。
图3是示出用于生成通过从自由视点观察3D模型获得的自由视点视频的方法的图。
图4是示出根据第一实施方式的信息处理装置的硬件配置的示例的硬件框图。
图5是示出根据第一实施方式的信息处理装置的功能配置的示例的功能框图。
图6是示出根据第一实施方式的信息处理装置将影子赋予3D模型的方法的图。
图7是示出由根据第一实施方式的信息处理装置赋予3D模型的影子的示例的图。
图8是用于说明根据第一实施方式的信息处理装置将影子赋予3D模型的处理的流程的图。
图9是示出由根据第一实施方式的信息处理装置执行的处理的流程的示例的流程图。
图10是用于说明时间冻结的具体示例的图。
图11是示出当根据第二实施方式的信息处理装置执行时间冻结时用于影子强度控制的表的示例的图。
图12是示出根据第二实施方式的信息处理装置的功能配置的示例的框图。
图13是示出当根据第二实施方式的信息处理装置赋予影子时的处理的流程的示例的流程图。
图14是示出第三实施方式中的背景信息改变的自由视点视频的示例的图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的实施方式。注意，在以下实施方式中的每一个中，相同的部件由相同的附图标记表示，并且将省略冗余描述。
此外，将根据以下项的顺序来描述本公开内容。
1.第一实施方式
1-1.前提的说明——3D模型的生成
1-2.前提的说明——3D模型的数据结构
1-3.前提的说明——自由视点视频的生成
1-4.根据第一实施方式的信息处理装置的硬件配置的描述
1-5.根据第一实施方式的信息处理装置的功能配置的描述
1-6.影子赋予方法的描述
1-7.影子赋予处理的描述
1-8.由第一实施方式的信息处理装置执行的处理的流程的描述
1-9.第一实施方式的效果
2.第二实施方式
2-1.时间冻结的描述
2-2.影子强度控制的描述
2-3.根据第二实施方式的信息处理装置的功能配置的描述
2-4.由第二实施方式的信息处理装置执行的处理的流程的描述
2-5.第二实施方式的效果
3.第三实施方式
3-1.背景信息改变的自由视点视频的描述
3-2.第三实施方式的效果
(1.第一实施方式)
在描述根据本公开内容的第一实施方式的信息处理装置10a之前，将描述生成对象的3D模型的处理。
[1-1.前提的描述——3D模型的生成]
图1是示出生成3D模型的处理的流程的概述的图。如图1所示，3D模型的生成包括由多个成像设备70(70a、70b、70c)对被摄体90的捕获和用于生成具有被摄体90的3D信息的3D模型90M的3D建模。注意，尽管在图1中示出了三个成像设备70，但是成像设备70的数量不限于三个。
如图1所示，多个成像设备70被布置在被摄体90的外部以面对被摄体90，以围绕在真实世界中存在的被摄体90。图1示出了成像设备的数量为三个并且三个成像设备70被布置在被摄体90周围的示例。注意，在图1中，执行预定动作的人员是被摄体90。
使用由三个成像设备70从不同视点同步地通过体积捕获而捕获的多个图像来执行3D建模，并且以三个成像设备70的视频帧为单位生成被摄体90的3D模型90M。注意，体积捕获是获取包括被摄体90的纹理和深度(距离)的信息。
3D模型90M是具有被摄体90的3D信息的模型。注意，3D模型90M是本公开内容中的3D对象的示例。3D模型90M包括其中被摄体90的几何信息由顶点与顶点之间的连接表达的被称为多边形网格的网格数据、以及与每个多边形网格对应的纹理信息和深度信息(距离信息)。注意，3D模型90M中包括的信息不限于此，并且可以包括其他信息。注意，例如，基于与被摄体90的同一区域有关的视差，根据由彼此相邻的多个成像设备70捕获的图像计算被摄体90的深度信息。注意，可以在成像设备70的附近安装包括诸如飞行时间(ToF)摄像装置的距离测量机构的传感器，并且可以通过传感器测量到被摄体90的距离来获得深度信息。注意，3D模型90M可以是由计算机图形(CG)生成的人工模型。
3D模型90M经受所谓的纹理映射，在所谓的纹理映射中根据网格位置来粘贴表示网格的颜色、图案或质感的纹理。在纹理映射中，为了提高3D模型90M的真实性，期望根据视点位置粘贴(视图相关的)纹理。因此，当从任意视点(下文中称为自由视点)捕获3D模型90M时，纹理根据视点位置而改变，使得可以生成更高质量的自由视点视频。然而，由于计算量增加，因此不依赖于视线位置的(视图无关的)纹理可能被粘贴至3D模型90M。稍后将详细描述3D模型90M的数据结构(参见图2)。
注意，可以以称为点云信息(点云)的形式来表达3D模型90M。点云将被摄体90描述为形成被摄体90的表面的多条点云信息。由于形成点云的每个点具有颜色信息和亮度信息，因此由点云描述的3D模型90M包括被摄体90的形状信息和纹理信息。
包括读取的3D模型90M的内容数据被发送至在重放侧的设备。然后，在重放侧的设备中渲染3D模型90M，并且重放包括3D模型90M的内容数据。
作为重放侧的设备，例如，使用诸如智能电话或平板终端的移动终端20。然后，将包括3D模型90M的图像显示在移动终端20的显示画面上。注意，信息处理装置10a本身可以具有重放内容数据的功能。
当重放内容数据时，3D模型90M通常与背景信息92叠加地被显示。背景信息92可以是在与被摄体90的环境不同的环境中捕获的视频，或者可以是CG。
背景信息92通常是在照明环境下捕获的。因此，为了使重放的视频更自然，也将由照明环境产生的影子94赋予叠加在背景信息92上的3D模型90M。信息处理装置10a基于与背景信息92的照明有关的信息(例如，包括光源的位置和照明方向(光线的方向)的光源信息)，赋予根据自由视点的位置在3D模型90M上产生的影子94。稍后将描述细节。注意，影子94具有与3D模型90M的形式对应的形状，但是为了简单起见，影子94的图示形状全部被简化。
[1-2.前提的说明——3D模型的数据结构]
接下来，将参照图2描述表示3D模型90M所需的数据内容。图2是用于说明表示3D模型所需的数据内容的图。
被摄体90的3D模型90M由指示被摄体90的形状的网格信息M、指示被摄体90的3D形状的深度信息D以及指示被摄体90的表面的质感(色调、图案等)的纹理信息T。
网格信息M通过将3D模型90M的表面上的一些部分作为顶点连接来表示3D模型90M的形状(多边形网格)。深度信息D是指示从用于观察被摄体90的视点位置到被摄体90的表面的距离的信息。例如基于从由相邻成像设备捕获的图像中检测到的被摄体90的同一区域的视差来计算被摄体90的深度信息D。注意，深度信息D是本公开内容中的三维信息的示例。
在本实施方式中，使用两种类型的数据作为纹理信息T。一种是不依赖于观察3D模型90M的视点位置的(VI)纹理信息Ta。例如，纹理信息Ta是其中以如图2所示的UV纹理图那样的展开图的形式存储3D模型90M的表面的纹理的数据。即，纹理信息Ta是不依赖于视点位置的数据。例如，在3D模型90M是穿着服装的人员的情况下，准备表示服装的图案的UV纹理图作为纹理信息Ta。然后，可以通过在表示3D模型90M的网格信息M的表面上粘贴纹理信息Ta(VI渲染)来绘制3D模型90M。然后，此时，即使当用于观看3D模型90M的视点位置改变时，相同的纹理信息Ta也被粘贴至表示同一区域的网格。如上所述，通过将由3D模型90M穿戴的服装的纹理信息Ta粘贴至表示服装的部分的所有网格来执行使用纹理信息Ta的VI渲染。因此，数据量通常是小的，并且渲染处理的计算负荷也是轻的。然而，由于粘贴的纹理信息Ta是均匀的，并且即使观察位置(观看位置)改变，纹理也不改变，因此纹理的质量通常是低的。
另一条纹理信息T是依赖于观察3D模型90M的视点位置的(VD)纹理信息Tb。纹理信息Tb由通过从多个视点观察被摄体90获得的一组图像来表达。即，纹理信息Ta是与视点位置对应的数据。具体地，在由N个摄像装置70观察被摄体90的情况下，纹理信息Tb由每个摄像装置70同时捕获的N个图像来表达。然后，在3D模型90M的任意网格中渲染纹理信息Tb的情况下，从N个图像中检测到与对应网格对应的所有区域。然后，将在多个检测到的区域中的每一个中捕获的纹理加权并粘贴至对应网格。如上所述，使用纹理信息Tb的VD渲染通常具有大数据量，并且渲染处理的计算负荷是重的。然而，由于粘贴的纹理信息Tb根据视点位置而改变，因此纹理的质量通常是高的。
3D模型90M所基于的被摄体90通常随时间移动。因此，所生成的3D模型90M也会随时间而改变。即，以上描述的网格信息M、纹理信息Ta和纹理信息Tb通常形成随时间改变的时间序列数据。
[1-3.前提的说明——自由视点视频的生成]
图3是示出用于生成通过从自由视点观察3D模型获得的自由视点视频的方法的图。在图3中，成像设备70(70a、70b、70c)是用于创建被摄体90的3D模型90M的成像设备。在使用3D模型90M的各种应用中，期望可以从尽可能多的各种方向重放所生成的3D模型90M。因此，信息处理装置10a生成通过从与成像设备70的位置不同的位置(自由视点)观察3D模型90M而获得的自由视点视频。
例如，在图3中，假设生成当放置在自由视点Vl处的虚拟摄像装置72a捕获3D模型90M时获得的自由视点视频Jl(未示出)。自由视点视频J1是通过对由摄像装置70a和放置在虚拟摄像装置72a的附近的摄像装置70c捕获的3D模型90M的图像进行插值而生成的。即，通过将由成像设备70a捕获的3D模型90M的图像与由成像设备70c捕获的3D模型90M的图像相关联来计算被摄体90的深度信息D。然后，通过将与计算的深度信息D对应的区域的纹理投影到虚拟摄像装置72a上，可以生成从虚拟摄像装置72a观看的3D模型90M(被摄体90)的自由视点视频J1。
类似地，可以通过对由成像设备70b捕获的3D模型90M的图像和由成像设备70c捕获的3D模型90M的图像进行插值来生成从放置在成像设备70b和成像设备70c的附近的自由视点V2处的虚拟摄像装置72b观看到的3D模型90M的自由视点视频J2(未示出)。在下文中，将虚拟摄像装置72a和72b统称为虚拟摄像装置72。此外，将自由视点V1和V2统称为自由视点V，并且将自由视点视频J1和J2统称为自由视点视频J。注意，在图3中，为了说明起见，成像设备70和虚拟摄像装置72被描绘为背面面向被摄体90，但实际上是面向箭头的方向——即被摄体90的方向——安装的。
例如，使用这样的自由视点视频J使得能够实现由时间冻结表示的有效视频表示。
时间冻结是视频表示，在该视频表示中在重放3D模型90M(被摄体90)的一系列移动期间停止(冻结)时间的经过，并且在3D模型90M静止的状态下从不同的自由视点连续地重放3D模型90M。
信息处理设备10a叠加背景信息92和3D模型90M以生成从自由视点V观察到的自由视点视频J。注意，背景信息92可以在自由视点视频J的重放期间改变。
被摄体90的3D模型90M不具有关于被摄体90上产生的影子的信息。因此，信息处理装置10a基于与背景信息92有关的光源信息，将与自由视点V对应的影子赋予叠加在背景信息92上的3D模型90M。稍后将描述细节(参见图6)。
[1-4.根据第一实施方式的信息处理装置的硬件配置的描述]
接下来，将参照图4描述信息处理装置10a的硬件配置。图4是示出根据第一实施方式的信息处理装置的硬件配置的示例的硬件框图。
信息处理装置10a具有其中中央处理单元(CPU)40、只读存储器(ROM)41、随机存取存储器(RAM)42、存储单元43、输入/输出控制器44和通信控制器45通过内部总线46连接的配置。
CPU 40开发并执行存储在存储单元43中的控制程序P1和存储在RAM 42上的ROM41中的诸如摄像装置参数的各种数据，从而控制信息处理装置10a的整体操作。即，信息处理装置10a具有通过控制程序P1操作的一般计算机的配置。注意，控制程序P1可以经由有线或无线传输介质(例如，局域网、因特网或数字卫星广播)提供。此外，信息处理装置10a可以通过硬件执行一系列处理。注意，由CPU 40执行的控制程序P1可以是按照本公开内容中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要的定时(例如在进行呼叫时)执行处理的程序。
存储单元43例如包括即使当电力关闭时也保存所存储的信息的诸如闪速存储器的存储设备，并且存储由CPU 40执行的控制程序Pl、3D模型90M、背景信息92和光源信息93。
如上所述，3D模型90M是包括被摄体90的网格信息M、纹理信息T和深度信息D的模型。3D模型90M是基于通过由上述成像设备70从不同方向捕获被摄体90获得的多个图像生成的。注意，被摄体90可以是单个被摄体或多个被摄体。此外，被摄体可以是静止的或移动的。此外，由于3D模型90M通常具有大容量，因此可以根据需要从经由因特网等连接至信息处理装置10a的外部服务器(未示出)下载3D模型并将其存储在存储单元43中。
背景信息92是作为布置有3D模型90M的背景的视频信息，其由摄像装置等(图4中未示出)来捕获。背景信息92可以是运动图像或静止图像。此外，背景信息92可以在预设定时处切换多个不同的背景。此外，背景信息92可以是CG。
光源信息93是汇总对背景信息92进行照明的照明光源的规格的数据文件。具体地，光源信息93包括照明光源的安装位置和照明方向。注意，安装的照明光源的数量不受限制，并且可以安装具有相同规格的多个光源或具有不同规格的多个光源。
输入/输出控制器44经由触摸面板接口47获取堆叠在液晶显示器52上的触摸面板50的操作信息，该液晶显示器52显示与信息处理装置10a有关的信息。此外，输入/输出控制器44经由显示接口48在液晶显示器52上显示视频信息。此外，输入/输出控制器44经由摄像装置接口49控制成像设备70的操作。
通信控制器45经由无线通信连接至移动终端20。移动终端20接收由信息处理装置10a生成的自由视点视频，并在移动终端20的显示设备上显示自由视点视频。因此，移动终端20的用户观看自由视点视频。
注意，信息处理装置10a可以经由通信控制器45与外部服务器(未示出)等进行通信，以获取在远离信息处理装置10a的地方创建的3D模型90M。
[1-5.根据第一实施方式的信息处理装置的功能配置的描述]
接下来，将参照图5描述信息处理装置10a的功能配置。图5是示出根据第一实施方式的信息处理装置的功能配置的示例的功能框图。信息处理装置10a的CPU 40在RAM 42上开发控制程序P1并运行控制程序以实现图5中所示的每个功能单元。
根据本公开内容的第一实施方式的信息处理装置10a将由摄像装置捕获的背景信息92叠加在被摄体90的3D模型90M上以生成其中从自由视点V观看3D模型90M的自由视点视频J。此外，信息处理装置10a基于与背景信息92有关的光源信息，将与视点位置对应的影子赋予所生成的自由视点视频J。此外，信息处理装置10a重放所生成的自由视点视频J。即，信息处理装置10a的CPU 40实现图5所示的3D模型获取单元21、背景信息获取单元22、视点位置设置单元23、自由视点视频生成单元24、区域提取单元25、光源信息获取单元26、影子赋予单元27、渲染处理单元28和显示控制单元29作为功能单元。
3D模型获取单元21获取由成像设备70捕获的被摄体90的3D模型90M。注意，3D模型获取单元21从存储单元43获取3D模型90M，但不限于此，并且例如，可以从连接至信息处理装置10a的服务器设备(未示出)获取3D模型90M。
背景信息获取单元22获取用于布置3D模型90M的背景信息92。注意，背景信息获取单元22从存储单元43获取背景信息92，但不限于此，并且例如可以从连接至信息处理装置10a的服务器设备(未示出)获取背景信息92。
视点位置设置单元23设置用于观看被摄体90的3D模型90M的自由视点V的位置。
自由视点视频生成单元24生成其中从由视点位置设置单元23设置的自由视点V的位置观看叠加在背景信息92上的被摄体90的3D模型90M的自由视点视频J。注意，自由视点视频生成单元24是本公开内容中的生成单元的示例。
区域提取单元25从自由视点视频J中提取3D模型90M的区域。注意，区域提取单元25是本公开内容中的提取单元的示例。具体地，区域提取单元25通过计算背景信息92与自由视点视频J之间的帧差来提取3D模型90M的区域。稍后将描述细节(参见图8)。
光源信息获取单元26获取光源信息93，该光源信息93指示与背景信息92有关的光源的位置以及由光源发射的光线的方向。
基于与背景信息92有关的光源信息93、包括在被摄体90的3D模型90M(3D对象)中的深度信息D(三维信息)和自由视点V的位置，影子赋予单元27生成由光源根据自由视点V的位置在3D模型90M上产生的影子94，并将所生成的影子赋予自由视点视频J。更具体地，影子赋予单元27将基于由区域提取单元25提取的3D模型90M的区域、包括在3D模型90M中的深度信息D(三维信息)、光源信息93和自由视点V的位置生成的3D模型90M的影子94赋予叠加在背景信息92上的与自由视点V的位置(视点位置)对应的3D模型90M(3D对象)。
渲染处理单元28渲染自由视点视频J。
显示控制单元29例如使移动终端20显示所呈现的自由视点视频J。
[1-6.影子赋予方法的描述]
接下来，将参照图6和图7描述信息处理装置10a将与自由视点V的位置对应的影子赋予被摄体90的3D模型90M的方法。图6是示出根据第一实施方式的信息处理装置将影子赋予3D模型的方法的图。图7是示出由根据第一实施方式的信息处理装置赋予3D模型的影子的示例的图。
影子赋予单元27基于光源信息93生成存储从光源观看的3D模型90M的深度信息D的阴影图Sm。
在图6中，假设光源L被布置在(X1，Y1，Z1)的位置处并且照亮3D模型90M的方向。此外，光源L是点光源，并且从光源L发射的光线在辐射角θ的范围内传播。
影子赋予单元27首先生成阴影图Sm，该阴影图Sm存储从光源L观看的3D模型90M的深度值。具体地，基于预先已知的3D模型90M的布置位置和作为光源L的安装位置的(X1，Y1，Z1)来计算光源L与3D模型90M之间的距离。然后，例如，将3D模型90M上的点E1与光源L之间的距离存储在根据光源L的辐射方向布置的阴影图Sm的点F1中。类似地，将3D模型90M上的点E2与光源L之间的距离存储在阴影图Sm的点F2中，并且将3D模型90M上的点E3与光源L之间的距离存储在阴影图Sm的点F3中。此外，当光源L直接照射布置有3D模型90M的地板表面时，将地板表面上的点E4与光源L之间的距离存储在阴影图Sm的点F4中。
影子赋予单元27使用以这种方式生成的阴影图Sm将3D模型90M的影子94赋予与自由视点V对应的位置。
具体地，影子赋予单元27使用自由视点V的位置和阴影图Sm搜索从光源L观看时被3D模型90M隐藏的区域。即，影子赋予单元27将XYZ坐标系上的点与光源L之间的距离H1与存储在与XYZ坐标系上的点对应的阴影图Sm中的距离H2进行比较。
然后，当H1＝H2时，不将影子94赋予兴趣点。另一方面，当H1＞H2时，将影子94赋予兴趣点。注意，不满足H1<H2。
例如，在图6中，关注作为连接光源L和点E1的直线与地板表面的交点的点G1。此时，点G1与光源L之间的距离H1大于光源L与点E1之间的距离H2，即大于阴影图Sm的点F1中存储的值。因此，影子赋予单元27将影子94赋予从自由视点V观察到的点G1的位置。
同时，关注地板表面上的点E4。此时，点E4与光源L之间的距离H1等于光源L与点E4之间的距离H2，即等于存储在阴影图Sm的点F4中的值。因此，影子赋予单元27不将影子94赋予从自由视点V观察到的点E4的位置。
以这种方式，在从作为任意设置的自由视点V的设置位置的(X0，Y0，Z0)观察布置有3D模型90M的空间时，影子赋予单元27搜索3D模型90M的影子94出现的区域。
注意，光源L(X1，Y1，Z1)的安装位置不限于一个。即，可以安装多个点光源。在这种情况下，影子赋予单元27使用为每个光源生成的阴影图Sm来搜索影子94的出现区域。
此外，光源L不限于点光源。即，可以安装表面光源。在这种情况下，与通过从点光源发射的发散光通量在透视投影中生成的情况不同，通过从表面光源发射的准直的光通量在正交投影中生成影子94。
影子赋予单元27需要高效地生成阴影图Sm，以便以低计算负荷高速地赋予影子94。根据本实施方式的信息处理装置10a通过使用稍后将描述的算法(参见图8)来高效地生成阴影图Sm。注意，影子94是通过降低与影子94对应的区域的亮度来提供的。亮度被降低多少可以根据光源L的强度、背景信息92的亮度等来适当地确定。
当影子赋予单元27赋予影子94时，可以对如图7所示的自由视点视频J给予真实感。
图7所示的自由视点视频Ja是其中3D模型90M叠加在背景信息92上的视频。此时，不将影子94赋予3D模型90M。因此，在自由视点视频Ja中，由于前景即3D模型90M看上去是浮动的，因此视频缺乏真实感。
另一方面，在自由视点视频Jb中，将影子94赋予叠加在背景信息92上的3D模型90M。通过以这种方式将对应于与背景信息92有关的光源的影子94赋予3D模型90M，可以将自由视点视频Jb制作成具有真实感的视频。
[1-7.影子赋予处理的描述]
接下来，将参照图8描述由影子赋予单元27执行的影子赋予处理的流程。图8是用于说明根据第一实施方式的信息处理装置将影子赋予3D模型的处理的流程的图。注意，图8所示的处理由信息处理装置10a的影子赋予单元27和渲染处理单元28执行。
区域提取单元25计算背景信息92与通过将与自由视点V的位置对应的3D模型90M叠加在背景信息92的预定位置上获得的自由视点视频J之间的帧差。通过该计算，获得指示3D模型90M的区域的轮廓图像Si。
随后，影子赋予单元27通过使用由轮廓图像Si指示的3D模型90M的区域信息、包括在3D模型90M中的深度信息D以及光源信息93来生成阴影图Sm。
接下来，影子赋予单元27使用自由视点V的位置和阴影图Sm将影子94赋予3D模型90M。然后，渲染处理单元28绘制影子94被赋予3D模型90M的图像。
[1-8.由根据第一实施方式的信息处理装置执行的处理的流程的描述]
接下来，将参照图9描述由信息处理装置10a执行的一系列处理的流程。图9是示出由根据第一实施方式的信息处理装置执行的处理的流程的示例的流程图。
背景信息获取单元22获取背景信息92(步骤S10)。
3D模型获取单元21获取3D模型90M(步骤S11)。
视点位置设置单元23获取用于观看被摄体90的3D模型90M的自由视点V的位置(步骤S12)。
自由视点视频生成单元24将3D模型90M叠加在背景信息92上并且生成从自由视点V的位置观察到的自由视点视频J(步骤S13)。
影子赋予单元27根据自由视点视频J和背景信息92生成轮廓图像Si(步骤S14)。
光源信息获取单元26获取光源信息93，该光源信息93指示与背景信息92有关的光源的位置和由光源发射的光线的方向(步骤S15)。
基于光源信息93，影子赋予单元27生成存储从光源观看的3D模型90M的深度信息D的阴影图Sm(步骤S16)。
影子赋予单元27将影子94赋予自由视点视频J中的3D模型90M(步骤S17)。
渲染处理单元28渲染自由视点视频J(步骤S18)。
显示控制单元29例如使移动终端20显示所渲染的自由视点视频J(步骤S19)。
自由视点视频生成单元24确定自由视点视频J的生成是否完成(步骤S20)。当确定自由视点视频J的生成完成(步骤S20：是)时，信息处理准直10a结束图9的处理。另一方面，当确定自由视点视频J的生成未完成(步骤S20：否)时，处理进行至步骤S21。
自由视点视频生成单元24确定是否要改变自由视点视频J的背景(步骤S21)。当确定要改变自由视点视频J的背景(步骤S21：是)时，处理进行至步骤S22。另一方面，在确定不改变自由视点视频J的背景(步骤S21：否)时，处理返回至步骤S12，并且重复图9的处理。
当在步骤S21中确定为是时，背景信息获取单元22获取新的背景信息92(步骤S22)。此后，处理返回至步骤S12，并且重复图9的处理。
[1-9.第一实施方式的效果]
如上所述，根据第一实施方式的信息处理装置10a，自由视点视频生成单元24(生成单元)生成从任意视点位置观看叠加在背景信息92上的3D模型90M(3D对象)的自由视点视频J。然后，影子赋予单元27基于指示与背景信息92有关的光源的位置和由光源发射的光线的方向的光源信息93、包括在3D模型90M中的深度信息D(三维信息)和视点位置，生成在根据视点位置的3D模型90M上产生的光源的影子94，并将所生成的影子赋予自由视点视频J。
因此，可以将根据视点位置的3D模型90M的影子94赋予通过从自由视点观察3D模型90M获得的自由视点视频J。
此外，根据第一实施方式的信息处理装置10a，区域提取单元25(提取单元)从自由视点视频J中提取3D模型90M的区域，并且影子赋予单元27在基于由区域提取单元25提取的3D模型90M的区域、3D模型90M的三维信息、光源信息93和视点位置生成的3D模型90M上，将影子94赋予根据叠加在背景信息92上的自由视点V的位置所对应的3D模型90M。
因此，由于可以容易地提取3D模型90M的区域，因此可以以低计算负荷高效地执行将影子94赋予3D模型90M的处理。
此外，在第一实施方式的信息处理装置10a中，3D对象由通过从多个视点位置捕获同一对象获得的多个图像构成。
因此，可以容易地生成自由视点视频(图像)J。
此外，在第一实施方式的信息处理装置10a中，3D模型90M(3D对象)具有根据视点位置的纹理信息。
这使得能够以高质量渲染3D模型90M。
此外，在第一实施方式的信息处理装置10a中，3D模型90M(3D对象)是CG。
因此，可以赋予影子94而不管被摄体的类型(实景或CG)如何。
(2.第二实施方式)
接下来，将描述根据本公开内容的第二实施方式的信息处理装置10b。信息处理装置10b是将本公开内容应用至被称为时间冻结的视频效果的示例。
[2-1.时间冻结的描述]
在描述本实施方式之前，首先将描述时间冻结。时间冻结是一种视频效果，其中自由视点视频J的重放被暂停，并且在暂停状态下从不同的自由视点V连续地观看自由视点视频J中的3D模型90M以强调所聚焦的3D模型90M。
图10是用于描述时间冻结的具体示例的图。在图10中，在时刻t0之前，由成像设备70捕获的视频被重放。此时，在背景中存在光源的情况下，在3D模型90M上生成由于光源而产生的影子94。
信息处理装置10b在时刻t0处暂停视频的重放。然后，信息处理装置10b在时刻t0与时刻t1之间将自由视点V绕3D模型90Ma移动360°的同时，生成自由视点视频J。然后，假设从时刻t0到时刻t1将照亮3D模型90M的光源设置在背景中。
即，在时间冻结时段期间，依次生成3D模型90Ma、90Mb、90Mc、90Md和90Me作为自由视点视频J。然后，将与背景信息有关的光源的影子赋予这些3D模型。如图10所示的影子94a、94b、94c、94d和94e那样，所赋予的影子根据自由视点V的位置而改变。
然后，当在时刻t1处解除时间冻结时，关闭光源，并且再次开始对由成像设备70捕获的视频的重放。
[2-2.影子强度控制的描述]
信息处理装置10b具有调整被赋予3D模型90M的影子94的强度的功能。例如，在时间冻结时段期间，为了强调3D模型90M而使用与背景信息有关的新光源用光照亮3D模型90M的情况下，在时间冻结开始之前的视频与时间冻结期间的视频之间影子的存在或不存在突然改变，并且因此存在获得不自然的视频的可能性。类似地，存在以下可能性：时间冻结期间的视频与解除时间冻结之后的视频之间的接缝根据影子的存在或不存在而变得不自然。信息处理装置10b具有在视频之间的这样的接缝处调整影子94的强度的功能。
将参照图11描述信息处理装置10a控制影子94的强度的状态。图11是示出当根据第二实施方式的信息处理装置执行时间冻结时用于影子强度控制的表的示例的图。
当执行时间冻结时，假设预先设置用于执行时间冻结的所需的时间W。即，在图11中，在时刻t＝t0处开始时间冻结的情况下，在时刻t＝t0+W＝t1处解除时间冻结。
信息处理装置10b根据图11所示的表来调整被赋予3D模型90M的影子94的强度I。即，在时间冻结开始时，将影子94的强度I设置为0(没有影子的状态)。然后，随着时间的过去，将影子94的强度逐渐调整为强，并且在时刻t＝t0+Δt处，影子94的强度I被设置为正常强度。
此后，在时刻t＝t1-Δt之后，影子94的强度I被逐渐调整为弱，并且在时刻t＝t1处，即在解除时间冻结的时刻处，将影子94的强度I设置为0。注意，适当设置了Δt的值。
注意，在图10中，在时间冻结之前和之后光源没有变化的情况下，不需要调整视频之间的接缝处的影子94的强度。因此，期望信息处理装置10b根据生成自由视点视频J的环境、特别是要设置的光源的设置状态来确定是否调整影子94的强度。
[2-3.根据第二实施方式的信息处理装置的功能配置的描述]
接下来，将参照图12描述信息处理装置10b的功能配置。图12是示出根据第二实施方式的信息处理装置的功能配置的示例的框图。
关于信息处理装置10a的功能配置(参见图5)，信息处理装置10b具有包括替代影子赋予单元27的影子赋予单元27a的配置。除了影子赋予单元27的功能之外，影子赋予单元27a还具有控制要赋予的影子94的强度的功能。例如，基于图11所示的表来控制强度。注意，信息处理装置10b的硬件配置与信息处理装置10a(参见图4)的硬件配置相同。
[2-4.由第二实施方式的信息处理装置执行的处理的流程的描述]
接下来，将参照图13描述由信息处理装置10b执行的处理的流程。图13是示出当根据第二实施方式的信息处理装置赋予影子时的处理的流程的示例的流程图。注意，由信息处理装置10b执行的一系列处理的流程与由信息处理装置10a(参见图9)执行的处理的流程基本相同，并且仅赋予影子的处理(图9中的步骤S17)不同。因此，将参照图13仅描述用于赋予影子的处理的流程。
影子赋予单元27a确定信息处理装置10b是否已开始时间冻结(步骤S30)。当确定信息处理装置10b已开始时间冻结(步骤S30：是)时，处理进行至步骤S31。另一方面，如果确定信息处理装置10b未开始时间冻结(步骤S30：否)，则处理进行至步骤S32。
当在步骤S30中确定为否时，影子赋予单元27a在不执行时间冻结的条件下将影子94赋予3D模型90M(步骤S32)。此后，影子赋予单元27a结束影子的赋予。注意，在步骤S32中执行的处理与在图9中的步骤S17中执行的处理相同。
当在步骤S30中确定为是时，影子赋予单元27a获取时间冻结已开始的时刻t0(步骤S31)。
随后，影子赋予单元27a参考图11中的表并获取与当前时刻对应的影子的强度I(步骤S33)。
影子赋予单元27a将具有强度I的影子94赋予3D模型90M(步骤S34)。注意，在步骤S34中执行的处理与在图9中的步骤S17中执行的处理相同，除了要赋予的影子94的强度I不同。
随后，影子赋予单元27a获取当前时刻t(步骤S35)。
影子赋予单元27a确定当前时刻t是否等于t0+W(步骤S36)。当确定当前时刻t等于t0+W(步骤S36：是)时，影子赋予单元27a结束影子的赋予。另一方面，当确定当前时刻t不等于t0+W(步骤S36：否)时，处理返回至步骤S33并且重复上述处理。
[2-5.第二实施方式的效果]
如上所述，在根据第二实施方式的信息处理装置10b中，当开始或结束自由视点视频J的生成时，影子赋予单元27a控制基于与背景信息92有关的光源信息93生成的3D模型90M(3D对象)的影子94的强度I。
因此，可以防止由于在自由视点视频J之间的接缝处的3D模型90M(3D对象)的影子94的不连续性而导致视频变得不自然。
此外，在根据第二实施方式的信息处理装置10b中，当在由成像设备70捕获的视频与自由视点视频J之间切换时，影子赋予单元27a控制基于光源信息93生成的3D模型90M(3D对象)的影子94的强度I。
因此，可以防止由于自由视点视频J之间的接缝处的影子94的不连续性而导致视频变得不自然。
此外，在根据第二实施方式的信息处理装置10b中，当开始或结束自由视点视频J的生成时，影子赋予单元27a执行控制之一以逐渐增强3D模型90M(3D对象)的影子94的强度I并且进行控制以逐渐减弱强度I。
因此，赋予3D模型90M的影子94的强度I逐渐增强或减弱，使得影子94的不连续性得到缓和，由此可以提高自由视点视频J的自然度。
此外，在根据第二实施方式的信息处理装置10b中，影子赋予单元27a在自由视点视频生成单元24(生成单元)开始自由视点视频J的生成之后的预定时间内逐渐增强3D模型90M(3D对象)的影子94的强度I，并且从自由视点视频生成单元24结束自由视点视频J的生成之前的预定时间起逐渐减弱3D模型90M的影子94的强度I。
因此，赋予3D模型90M的影子94的不连续性得到缓和，使得自由视点视频J的自然度可以被提高。
此外，在根据第二实施方式的信息处理装置10b中，自由视点视频生成单元24(生成单元)生成自由视点视频J，在该自由视点视频J中，在暂停自由视点视频J的状态下，从不同的自由视点V连续地观看自由视点视频J中的3D模型90M(3D对象)。
因此，由于可以在时间冻结的开始和结束时控制3D模型90M的影子94的强度I，即使在由于视频效果而出现影子94的不连续性的情况下，也通过控制强度I来缓解不连续性，使得自由视点视频J的自然度可以被提高。
(3.第三实施方式)
在第二实施方式中，已经描述了在时间冻结的开始和结束时控制影子94的强度I的示例。然而，期望控制影子94的强度I的场景不限于时间冻结场景。以下描述的根据本公开内容的第三实施方式的信息处理装置10c是将影子强度控制应用至背景信息随时间改变的场景的示例。注意，由于信息处理装置10c的硬件配置和功能配置与第二实施方式中描述的信息处理装置10b的硬件配置和功能配置相同，因此将省略其描述。
[3-1.背景信息改变的场景的描述]
图14是示出背景信息改变的场景的示例的图。图14是表示3D模型90M从时刻t0起随时间逐渐接近自由视点V的场景的自由视点视频J的示例。
特别地，在图14的示例中，在时刻t1处，背景信息92从第一背景信息92a切换至第二背景信息92b。此外，光源的位置从时刻t0到时刻t1以及在时刻t1之后改变。因此，在时刻t0与时刻t1之间赋予3D模型90M的影子94a和在时刻t1之后赋予3D模型90M的影子94b在不同方向上延伸。
在背景信息92以这种方式改变的场景中，信息处理装置10c在切换场景的时刻t1之前和之后控制影子的强度I。
即，3D模型90M的影子94a的强度I在时刻t1-Δt与t＝t1之间逐渐减弱。在时刻t1处，影子94a在背景信息92从第一背景信息92a切换到第二背景信息92b的定时处消失。
然后，在时刻t1与时刻t1+Δt之间，3D模型90M的影子94b的强度I逐渐增强。因此，由于在切换背景信息92的时刻t1之前和之后不连续地切换影子，因此可以生成自然的自由视点视频J。注意，用于调整影子的强度I的方法与第二实施方式中描述的方法相同，因此省略其描述。
此外，在光源的位置在时刻t1处不改变的情况下，即使在时刻t1之后，也保持在时刻t1之前赋予的影子94a的状态。在这种情况下，影子94的强度I不受控制。
[3-2.第三实施方式的效果]
如上所述，在根据第三实施方式的信息处理装置10c中，当在基于第一背景信息92a生成的自由视点视频J与基于第二背景信息92b生成的自由视点视频J之间切换时，影子赋予单元27a控制基于与第一背景信息92a有关的光源信息93生成的3D模型90M(3D对象)的影子94a的强度I和基于与第二背景信息92b有关的光源信息93生成的3D模型90M的影子94b的强度I。
因此，可以缓和自由视点视频J的切换部分(背景变化部分)处的接缝的不自然性。
注意，本说明书中描述的效果仅是示例而非限制的，并且可以提供其他效果。此外，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。
例如，本公开内容也可以具有以下配置。
(1)
一种信息处理装置，包括：
生成单元，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予单元，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
(2)
根据(1)所述的信息处理装置，其中，
当开始或结束所述自由视点视频的生成时，所述影子赋予单元控制基于与所述背景信息有关的所述光源信息生成的所述3D对象的影子的强度。
(3)
根据(1)或(2)所述的信息处理装置，其中，
当在由成像设备捕获的视频与所述自由视点视频之间切换时，所述影子赋予单元控制基于所述光源信息生成的所述3D对象的影子的强度。
(4)
根据(1)所述的信息处理装置，其中，
当在基于第一背景信息生成的所述自由试点视频与基于第二背景信息生成的所述自由视点视频之间切换时，所述影子赋予单元控制基于与所述第一背景信息有关的所述光源信息生成的所述3D对象的影子的强度和基于与所述第二背景信息有关的所述光源信息生成的所述3D对象的影子的强度。
(5)
根据(2)至(4)中的任意一项所述的信息处理装置，其中，
当开始或结束所述自由视点视频的生成时，所述影子赋予单元执行逐渐增强所述3D对象的影子的强度的控制以及逐渐减弱所述影子的强度的控制中的一个控制。
(6)
根据(2)至(5)中的任意一项所述的信息处理装置，其中，
所述影子赋予单元：
在所述生成单元开始所述自由视点视频的生成之后的预定时间内，逐渐增强所述3D对象的影子的强度；以及
从所述生成单元结束所述自由视点视频的生成之前的预定时间起，逐渐减弱所述3D对象的影子的强度。
(7)
根据(1)至(6)中任一项所述的信息处理装置，还包括：
提取单元，其从所述自由视点视频中提取所述3D对象的区域，其中，
所述影子赋予单元：
将基于由所述提取单元提取的所述3D对象的区域、所述3D对象的三维信息、所述光源信息和所述视点位置生成的所述3D对象的影子赋予至叠加在所述背景信息上并与所述视点位置对应的所述3D对象。
(8)
根据(1)至(3)中的任意一项所述的信息处理装置，其中，
所述生成单元生成自由视点视频，在所述自由视点视频中，在暂停所述自由视点视频的状态下，从不同的自由视点连续地观看所述自由视点视频中的3D对象。
(9)
根据(1)至(8)中的任意一项所述的信息处理装置，其中，
所述3D对象由通过从多个视点位置捕获同一被摄体获得的多个图像构成。
(10)
根据(1)至(9)中的任意一项所述的信息处理装置，其中，
所述3D对象具有与视点位置对应的纹理信息。
(11)
根据(1)至(10)中的任意一项所述的信息处理装置，其中，
所述3D对象是CG(计算机图形)。
(12)
一种信息处理方法，包括：
生成步骤，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予步骤，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
(13)
一种程序，所述程序使计算机用作：
生成单元，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予单元，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
附图标记列表
10a、10b 信息处理装置
20 移动终端
21 3D模型获取单元
22 背景信息取单元
23 视点位置设置单元
24 自由视点视频生成单元(生成单元)
25 区域提取单元(提取单元)
26 光源信息获取单元
27、27a 影子赋予单元
28 渲染处理单元
29 显示控制单元
70、70a、70b、70c 成像设备
72、72a、72b 虚拟摄像装置
90 被摄体
90M、90Ma、90Mb、90Mc、90Md、90Me 3D模型(3D对象)
92 背景信息
92a 第一背景信息
92b 第二背景信息
93 光源信息
94 影子
D 深度信息(三维信息)
H1、H2 距离
J、Ja、Jb、J1、J2 自由视点视频
L 光源
M 网格信息
Si 轮廓图像
Sm 阴影图
T、Ta、Tb 纹理信息
V、V1、V2 自由视点

Claims (13)

1.一种信息处理装置，包括：
生成单元，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予单元，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
2.根据权利要求1所述的信息处理装置，其中，
当开始或结束所述自由视点视频的生成时，所述影子赋予单元控制基于与所述背景信息有关的所述光源信息生成的所述3D对象的影子的强度。
3.根据权利要求2所述的信息处理装置，其中，
当在由成像设备捕获的视频与所述自由视点视频之间切换时，所述影子赋予单元控制基于所述光源信息生成的所述3D对象的影子的强度。
4.根据权利要求1所述的信息处理装置，其中，
当在基于第一背景信息生成的所述自由试点视频与基于第二背景信息生成的所述自由视点视频之间切换时，所述影子赋予单元控制基于与所述第一背景信息有关的所述光源信息生成的所述3D对象的影子的强度和基于与所述第二背景信息有关的所述光源信息生成的所述3D对象的影子的强度。
5.根据权利要求2所述的信息处理装置，其中，
当开始或结束所述自由视点视频的生成时，所述影子赋予单元执行逐渐增强所述3D对象的影子的强度的控制以及逐渐减弱所述影子的强度的控制中的一个控制。
6.根据权利要求5所述的信息处理装置，其中，
所述影子赋予单元：
在所述生成单元开始所述自由视点视频的生成之后的预定时间内，逐渐增强所述3D对象的影子的强度；以及
从所述生成单元结束所述自由视点视频的生成之前的预定时间起，逐渐减弱所述3D对象的影子的强度。
7.根据权利要求1所述的信息处理装置，还包括：
提取单元，其从所述自由视点视频中提取所述3D对象的区域，其中，
所述影子赋予单元：
将基于由所述提取单元提取的所述3D对象的区域、所述3D对象的三维信息、所述光源信息和所述视点位置生成的所述3D对象的影子赋予至叠加在所述背景信息上并与所述视点位置对应的所述3D对象。
8.根据权利要求1所述的信息处理装置，其中，
所述生成单元生成自由视点视频，在所述自由视点视频中，在暂停所述自由视点视频的状态下，从不同的自由视点连续地观看所述自由视点视频中的3D对象。
9.根据权利要求1所述的信息处理装置，其中，
所述3D对象由通过从多个视点位置捕获同一被摄体获得的多个图像构成。
10.根据权利要求9所述的信息处理装置，其中，
所述3D对象具有与视点位置对应的纹理信息。
11.根据权利要求1所述的信息处理装置，其中，
所述3D对象是CG(计算机图形)。
12.一种信息处理方法，包括：
生成步骤，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予步骤，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
13.一种程序，所述程序使计算机用作：
生成单元，其生成自由视点视频，在所述自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及
影子赋予单元，其基于指示与所述背景信息有关的光源的位置以及由所述光源发射的光线的方向的光源信息、所述3D对象的三维信息和所述视点位置，生成由所述光源根据所述视点位置在所述3D对象上产生的影子，并将所生成的影子赋予至所述自由视点视频。
CN202180009320.1A 2020-01-23 2021-01-12 信息处理装置、信息处理方法以及程序 Pending CN115004237A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020008905 2020-01-23
JP2020-008905 2020-01-23
PCT/JP2021/000599 WO2021149526A1 (ja) 2020-01-23 2021-01-12 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN115004237A true CN115004237A (zh) 2022-09-02

Family

ID=76992958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180009320.1A Pending CN115004237A (zh) 2020-01-23 2021-01-12 信息处理装置、信息处理方法以及程序

Country Status (4)

Country Link
US (1) US20230063215A1 (zh)
JP (1) JPWO2021149526A1 (zh)
CN (1) CN115004237A (zh)
WO (1) WO2021149526A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11668805B2 (en) 2020-09-04 2023-06-06 Ours Technology, Llc Multiple target LIDAR system
WO2023100703A1 (ja) * 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム
WO2023100704A1 (ja) * 2021-12-01 2023-06-08 ソニーグループ株式会社 画像制作システム、画像制作方法、プログラム

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
WO1997018667A1 (fr) * 1995-11-14 1997-05-22 Sony Corporation Dispositif pour effets speciaux, procede de traitement d'images et procede de generation d'ombres
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
US6667741B1 (en) * 1997-12-24 2003-12-23 Kabushiki Kaisha Sega Enterprises Image generating device and image generating method
US6496597B1 (en) * 1999-03-03 2002-12-17 Autodesk Canada Inc. Generating image data
US6313842B1 (en) * 1999-03-03 2001-11-06 Discreet Logic Inc. Generating image data
JP4001227B2 (ja) * 2002-05-16 2007-10-31 任天堂株式会社 ゲーム装置及びゲームプログラム
JP4096622B2 (ja) * 2002-05-21 2008-06-04 株式会社セガ 画像処理方法及び装置、並びにプログラム及び記録媒体
JP4833674B2 (ja) * 2006-01-26 2011-12-07 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP3926828B1 (ja) * 2006-01-26 2007-06-06 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
US20100060640A1 (en) * 2008-06-25 2010-03-11 Memco, Inc. Interactive atmosphere - active environmental rendering
JP4948218B2 (ja) * 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
JP4612031B2 (ja) * 2007-09-28 2011-01-12 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、ならびに、プログラム
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
US9171390B2 (en) * 2010-01-19 2015-10-27 Disney Enterprises, Inc. Automatic and semi-automatic generation of image features suggestive of motion for computer-generated images and video
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
JP6000670B2 (ja) * 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
CN104541290A (zh) * 2012-07-23 2015-04-22 Metaio有限公司 提供图像特征描述符的方法
US9041714B2 (en) * 2013-01-31 2015-05-26 Samsung Electronics Co., Ltd. Apparatus and method for compass intelligent lighting for user interfaces
GB2514583B (en) * 2013-05-29 2015-03-04 Imagination Tech Ltd Relightable texture for use in rendering an image
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2015018294A (ja) * 2013-07-08 2015-01-29 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法
US9530243B1 (en) * 2013-09-24 2016-12-27 Amazon Technologies, Inc. Generating virtual shadows for displayable elements
GB2526838B (en) * 2014-06-04 2016-06-01 Imagination Tech Ltd Relightable texture for use in rendering an image
US9262861B2 (en) * 2014-06-24 2016-02-16 Google Inc. Efficient computation of shadows
GB201414144D0 (en) * 2014-08-08 2014-09-24 Imagination Tech Ltd Relightable texture for use in rendering an image
US9646413B2 (en) * 2014-08-27 2017-05-09 Robert Bosch Gmbh System and method for remote shadow rendering in a 3D virtual environment
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
KR20170036416A (ko) * 2015-09-24 2017-04-03 삼성전자주식회사 트리를 탐색하는 장치 및 방법
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
EP3300022B1 (en) * 2016-09-26 2019-11-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
EP3316566B1 (en) * 2016-10-27 2019-09-18 OCE Holding B.V. Printing system for printing an object having a surface of varying height
US10282815B2 (en) * 2016-10-28 2019-05-07 Adobe Inc. Environmental map generation from a digital image
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10158939B2 (en) * 2017-01-17 2018-12-18 Seiko Epson Corporation Sound Source association
US10440403B2 (en) * 2017-01-27 2019-10-08 Gvbb Holdings S.A.R.L. System and method for controlling media content capture for live video broadcast production
JP7013139B2 (ja) * 2017-04-04 2022-01-31 キヤノン株式会社 画像処理装置、画像生成方法及びプログラム
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7109907B2 (ja) * 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7023696B2 (ja) * 2017-12-12 2022-02-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7051457B2 (ja) * 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6407460B1 (ja) * 2018-02-16 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11184967B2 (en) * 2018-05-07 2021-11-23 Zane Coleman Angularly varying light emitting device with an imager
US10816939B1 (en) * 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager
US11276197B2 (en) * 2018-05-08 2022-03-15 Sony Interactive Entertainment Inc. Information processing apparatus and subject information acquisition method
JP6933776B2 (ja) * 2018-05-08 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
JP2019197340A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN110533707B (zh) * 2018-05-24 2023-04-14 微软技术许可有限责任公司 照明估计
US10825230B2 (en) * 2018-08-10 2020-11-03 Nvidia Corporation Watertight ray triangle intersection
US10740952B2 (en) * 2018-08-10 2020-08-11 Nvidia Corporation Method for handling of out-of-order opaque and alpha ray/primitive intersections
US10573067B1 (en) * 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
JP7391542B2 (ja) * 2019-06-04 2023-12-05 キヤノン株式会社 画像処理システム、画像処理方法、およびプログラム
WO2021079402A1 (ja) * 2019-10-21 2021-04-29 日本電信電話株式会社 映像処理装置、表示システム、映像処理方法、およびプログラム
JP7454648B2 (ja) * 2020-03-17 2024-03-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11694379B1 (en) * 2020-03-26 2023-07-04 Apple Inc. Animation modification for optical see-through displays
JP7451291B2 (ja) * 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11270494B2 (en) * 2020-05-22 2022-03-08 Microsoft Technology Licensing, Llc Shadow culling
US11295508B2 (en) * 2020-06-10 2022-04-05 Nvidia Corporation Hardware-based techniques applicable for ray tracing for efficiently representing and processing an arbitrary bounding volume
US20230260207A1 (en) * 2020-06-30 2023-08-17 Interdigital Ce Patent Holdings, Sas Shadow-based estimation of 3d lighting parameters from reference object and reference virtual viewpoint
GB2600944B (en) * 2020-11-11 2023-03-01 Sony Interactive Entertainment Inc Image rendering method and apparatus
US11823327B2 (en) * 2020-11-19 2023-11-21 Samsung Electronics Co., Ltd. Method for rendering relighted 3D portrait of person and computing device for the same
US11941729B2 (en) * 2020-12-11 2024-03-26 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and storage medium
WO2022159494A2 (en) * 2021-01-19 2022-07-28 Krikey, Inc. Three-dimensional avatar generation and manipulation
US11551391B2 (en) * 2021-02-15 2023-01-10 Adobe Inc. Digital image dynamic shadow generation
US11096261B1 (en) * 2021-02-25 2021-08-17 Illuscio, Inc. Systems and methods for accurate and efficient scene illumination from different perspectives
EP4057233A1 (en) * 2021-03-10 2022-09-14 Siemens Healthcare GmbH System and method for automatic light arrangement for medical visualization
JP2022184354A (ja) * 2021-06-01 2022-12-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7500512B2 (ja) * 2021-08-30 2024-06-17 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2023071511A (ja) * 2021-11-11 2023-05-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20230283759A1 (en) * 2022-03-04 2023-09-07 Looking Glass Factory, Inc. System and method for presenting three-dimensional content

Also Published As

Publication number Publication date
US20230063215A1 (en) 2023-03-02
JPWO2021149526A1 (zh) 2021-07-29
WO2021149526A1 (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
CN115004237A (zh) 信息处理装置、信息处理方法以及程序
US8907968B2 (en) Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
CN102834849B (zh) 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US10755675B2 (en) Image processing system, image processing method, and computer program
US11508123B2 (en) Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images
CN110060351B (zh) 一种基于rgbd相机的动态三维人物重建和直播方法
JPH07325934A (ja) 仮想世界に向上したグラフィックスを提供する方法および装置
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
CN110087128A (zh) 直播互动方法、直播互动装置及直播设备
JP2019046077A (ja) オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
US11557087B2 (en) Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
KR20230032893A (ko) 화상처리장치, 화상처리방법 및 기억 매체
US11579746B2 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
RU2606875C2 (ru) Способ и система отображения масштабных сцен в режиме реального времени
JP6965439B2 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
CN116075860A (zh) 信息处理装置、信息处理方法、视频分发方法和信息处理***
CN117376540A (zh) 一种基于深度图的虚拟视角合成方法和装置
WO2021171982A1 (ja) 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム
Hisatomi et al. Method of 3D reconstruction using graph cuts, and its application to preserving intangible cultural heritage
JP2022184354A (ja) 画像処理装置、画像処理方法及びプログラム
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
CN108985275A (zh) 增强现实设备及电子设备的显示追踪方法和装置
EP4290868A1 (en) 3d object streaming method, device, and program
WO2022244131A1 (ja) 画像データ生成装置、表示装置、画像表示システム、画像データ生成方法、画像表示方法、および、画像データのデータ構造
US20230328222A1 (en) Real-time multiview video conversion method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination