CN110998669A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN110998669A
CN110998669A CN201880050528.6A CN201880050528A CN110998669A CN 110998669 A CN110998669 A CN 110998669A CN 201880050528 A CN201880050528 A CN 201880050528A CN 110998669 A CN110998669 A CN 110998669A
Authority
CN
China
Prior art keywords
dimensional
data
image
shadow
shading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880050528.6A
Other languages
English (en)
Other versions
CN110998669B (zh
Inventor
菅野尚子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110998669A publication Critical patent/CN110998669A/zh
Application granted granted Critical
Publication of CN110998669B publication Critical patent/CN110998669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本技术涉及使得能够分别传输被摄对象的三维模型和与被摄对象的阴影有关的信息的图像处理装置和图像处理方法。编码***的生成单元基于从被摄对象的视点图像生成的三维模型生成二维图像数据和深度数据，该视点图像是在多个视点处捕获并且经过阴影去除处理。编码***的发送单元将二维图像数据、深度数据以及与被摄对象的阴影有关的信息发送至解码***。本技术可适用于自由视点图像传输***。

Description

图像处理装置和方法
技术领域
本技术涉及图像处理装置和图像处理方法。特别地，本技术涉及能够以分离的方式传输被摄对象的三维模型和被摄对象的阴影信息的图像处理装置和图像处理方法。
背景技术
专利文献1提出了将根据多个摄像机捕获的视点图像生成的三维模型转换为二维图像数据和深度数据，并且对这些数据进行编码和发送。根据该提议，使用二维图像数据和深度数据在显示端重建(转换为)三维模型，并且通过投影显示重建的三维模型。
引文列表
专利文献
PTL 1：WO 2017/082076
发明内容
本发明要解决的问题
然而，根据PTL1的提议，三维模型包括被摄对象和成像时的阴影。因此，当基于二维图像数据和深度数据在显示端将被摄对象的三维模型重建为与已执行成像的三维空间不同的三维空间时，成像时的阴影也会被投影。也就是说，为了生成显示图像，将三维模型和成像时的阴影投影到与已执行成像的三维空间不同的三维空间。这使得显示图像显示不自然。
鉴于上述情况实现本技术，以使得能够以分离的方式传输被摄对象的三维模型和被摄对象的阴影信息。
解决问题的方案
根据本技术的一方面的一种图像处理装置包括生成器和发送器。该生成器基于从被摄对象的每个视点图像生成的三维模型生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。发送器发送二维图像数据、深度数据以及阴影信息，阴影信息是与被摄对象的阴影有关的信息。
根据本技术的方面的一种图像处理方法包括生成和发送。在生成中，图像处理装置基于从被摄对象的每个视点图像生成的三维模型生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。在发送中，图像处理装置发送二维图像数据、深度数据和阴影信息，阴影信息是与被摄对象的阴影有关的信息。
根据本技术的方面，基于从被摄对象的每个视点图像生成的三维模型来生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。对二维图像数据、深度数据和阴影信息进行发送，阴影信息是与被摄对象的阴影有关的信息。
根据本技术的另一方面的一种图像处理装置包括接收器和显示图像生成器。接收器接收二维图像数据、深度数据和阴影信息。基于从被摄对象的每个视点图像生成的三维模型来生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。阴影信息是与被摄对象的阴影有关的信息。显示图像生成器使用基于二维图像数据和深度数据重建的三维模型来生成从预定视点展现被摄对象的显示图像。
根据本技术的又一方面的图像处理方法包括接收和生成。在接收中，图像处理装置接收二维图像数据、深度数据和阴影信息。基于从被摄对象的每个视点图像生成的三维模型来生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。阴影信息是与被摄对象的阴影有关的信息。在生成中，图像处理装置使用基于二维图像数据和深度数据重建的三维模型来生成从预定视点展现被摄对象的显示图像。
根据本技术的另一方面，接收二维图像数据、深度数据和阴影信息。基于从被摄对象的每个视点图像生成的三维模型来生成二维图像数据和深度数据。视点图像是通过从多个视点成像而被捕获并且经过阴影去除处理。阴影信息是与被摄对象的阴影有关的信息。使用基于二维图像数据和深度数据重建的三维模型来生成从预定视点展现被摄对象的显示图像。
本发明的效果
本技术能够以分离的方式传输被摄对象的三维模型和该被摄对象的阴影信息。
应当注意，上述效果不一定是限制性的。可以发挥本公开内容中描述的任何效果。
附图说明
[图1]图1是示出根据本技术的实施方式的自由视点图像传输***的配置的示例的框图。
[图2]图2是说明阴影处理的图。
[图3]图3是示出投影到包括与成像时的背景不同的背景的投影空间的纹理映射的三维模型的示例的图。
[图4]图4是示出编码***和解码***的配置的示例的框图。
[图5]图5是示出编码***中包括的三维数据成像装置、转换装置和编码装置的配置的示例的框图。
[图6]图6是示出三维数据成像装置中包括的图像处理单元的配置的示例的框图。
[图7]图7是示出用于背景减法处理的图像的示例的图。
[图8]图8是示出被用于阴影去除处理的图像的示例的图。
[图9]图9是示出转换装置中包括的转换单元的配置的示例的框图。
[图10]图10是示出虚拟视点的摄像机位置的示例的图。
[图11]图11是示出解码***中包括的解码装置、转换装置和三维数据显示装置的配置的示例的框图。
[图12]图12是示出转换装置中包括的转换单元的配置的示例的框图。
[图13]图13是说明生成投影空间的三维模型的处理的图。
[图14]图14是说明要由编码***执行的处理的流程图。
[图15]图15是说明图14的步骤S11处的成像处理的流程图。
[图16]图16是说明图15的步骤S56处的阴影去除处理的流程图。
[图17]图17是说明图15的步骤S56处的阴影去除处理的另一示例的流程图。
[图18]图18是说明图14的步骤S12处的转换处理的流程图。
[图19]图19是说明图14的步骤S13处的编码处理的流程图。
[图20]图20是说明要由解码***执行的处理的流程图。
[图21]图21是说明图20的步骤S201处的解码处理的流程图。
[图22]图22是说明图20的步骤S202处的转换处理的流程图。
[图23]图23是示出解码***中包括的转换装置的转换单元的另一配置的示例的框图。
[图24]图24是说明要由图23中的转换单元执行的转换处理的流程图。
[图25]图25是示出比较黑暗的两种类型的区域的示例的图。
[图26]图26是示出通过存在或不存在阴影或阴暗而产生的效果的示例的图。
[图27]图27示出编码***和解码***的另一配置的示例的框图。
[图28]图28是示出编码***和解码***的又一配置的示例的框图。
[图29]图29是示出计算机的配置的示例的框图。
具体实施方式
下面描述本技术的实施方式。按以下顺序给出描述。
1.第一实施方式(自由视点图像传输***的配置示例)
2.编码***中的装置的配置示例
3.解码***中的装置的配置示例
4.编码***的操作示例
5.解码***的操作示例
6.解码***的修改示例
7.第二实施方式(编码***和解码***的另一配置示例)
8.第三实施方式(编码***和解码***的另一配置示例)
9.计算机的示例
<<1.自由视点图像传输***的配置示例>>
图1是示出根据本技术的实施方式的自由视点图像传输***的配置的示例的框图。
图1中的自由视点图像传输***1包括解码***12以及包括摄像机10-1至10-N的编码***11。
摄像机10-1至10-N的每一个包括成像器和测距仪，并且被布置在放置预定对象作为被摄对象2的成像空间中。在下文中，在不需要将摄像机彼此区分的情况下，适当地将摄像机10-1至10-N统称为摄像机10。
摄像机10中的每一个中包括的成像器执行成像以捕获被摄对象的运动图像的二维图像数据。成像器可以捕获被摄对象的静止图像。测距仪包括诸如ToF摄像机和有源传感器的部件。测距仪生成表示从与成像器的视点相同的视点到被摄对象2的距离的深度图像数据(以下称为深度数据)。摄像机10提供表示来自各个视点的被摄对象2的状态的多条二维图像数据以及来自各个视点的多条深度数据。
应当注意，这些深度数据不必来自同一视点，因为深度数据能够根据摄像机参数进行计算。此外，现有的摄像机无法同时从同一视点捕获彩色图像数据和深度数据。
编码***11对来自各个视点的多条捕获的二维图像数据执行阴影去除处理(去除被摄对象2的阴影的处理)，并且基于来自各个视点的多条深度数据和多条去除阴影的二维图像数据来生成被摄对象的三维模型。本文生成的三维模型是成像空间中的被摄对象2的三维模型。
此外，编码***11将三维模型转换成二维图像数据和深度数据，并且通过对转换后的数据以及通过阴影去除处理获得的被摄对象2的阴影信息进行编码来生成编码流。编码流例如包括对应于多个视点的多条二维图像数据和多条深度数据。
应当注意，编码流还包括用于虚拟视点位置信息的摄像机参数，并且用于虚拟视点位置信息的摄像机参数适当地包括虚拟地设置在三维模型的空间中的视点以及与摄像机10的安装位置对应的视点，并且根据摄像机参数实际执行二维图像数据的成像、捕获等。
由编码***11生成的编码流经由网络或诸如记录介质的预定传输路径被发送至解码***12。
解码***12对从编码***11提供的编码流进行解码，并且获得被摄对象2的二维图像数据、深度数据和阴影信息。解码***12基于二维图像数据和深度数据生成(重建)被摄对象2的三维模型，并且基于三维模型生成显示图像。
解码***12通过对基于编码流而生成的三维模型以及作为虚拟空间的投影空间的三维模型进行投影来生成显示图像。
可以从编码***11发送与投影空间有关的信息。此外，根据需要将被摄对象的阴影信息添加至投影空间的三维模型，并且对投影空间的三维模型和被摄对象的三维模型进行投影。
应当注意，已经描述了如下示例：在图1中的自由视点图像传输***1中的摄像机设置有测距仪。然而，通过使用RGB图像进行三角测量能够获得深度信息，并且因此无需测距仪就可以执行被摄对象的三维建模。可以利用仅包括多个摄像机的成像装置、利用都包括多个摄像机和多个测距仪的成像装置或者仅利用多个测距仪来执行三维建模。测距仪为ToF摄像机的配置能够获取IR图像，使测距仪仅利用点云即可执行三维建模。
图2是说明阴影处理的图。
图2的A是示出由具有特定视点的摄像机捕获的图像的图。图2的A中的摄像机图像21展现出被摄对象(在图2的A中示出的示例中的篮球)21a及其阴影21b。应当注意，此处描述的图像处理与在图1中的自由视点图像传输***1中要执行的处理不同。
图2的B是示出从摄像机图像21生成的三维模型22的图。图2的B中的三维模型22包括表示被摄对象21a的形状及其阴影22b的三维模型22a。
图2的C是示出纹理映射的三维模型23的图。三维模型23包括三维模型23a及其阴影23b。通过对三维模型22a执行纹理映射来获得三维模型23a。
在本技术中此处使用的阴影是指从摄像机图像21生成的三维模型22的阴影22b或纹理映射的三维模型的阴影23b。
现有的三维建模是基于图像的。也就是说，阴影也要进行建模和纹理映射，使得难以将阴影与生成的三维模型分开。
对于阴影23b，纹理映射的三维模型23倾向于看起来更自然。然而，对于阴影22b，从摄像机图像21生成的三维模型22可能看起来不自然，并且需要去除阴影22b。
图3是示出投影到包括与成像时的背景不同的背景的投影空间26的纹理映射的三维模型23的示例的图。
在照明器25位于与在投影空间26中成像时的位置不同的位置的情况下，如图3所示，纹理映射的三维模型23的阴影23b的位置由于与来自照明器25的光的方向不一致而可能是不自然的。
因此，根据本技术的自由视点图像传输***1对摄像机图像执行阴影去除处理，并且以分离的方式发送三维模型和阴影。因此，可以在显示端选择在解码***12中向三维模型添加阴影还是从三维模型中去除阴影，以使该***对用户而言是方便的。
图4是示出编码***和解码***的配置的示例的框图。
编码***11包括三维数据成像装置31、转换装置32以及编码装置33。
三维数据成像装置31控制摄像机10对被摄对象执行成像。三维数据成像装置31对来自各个视点的多条二维图像数据执行阴影去除处理，并且基于去除阴影的二维图像数据和深度数据生成三维模型。三维模型的生成还涉及摄像机10的每一个的摄像机参数的使用。
三维数据成像装置31将所生成的三维模型以及摄像机参数和阴影图提供给转换装置32，阴影图是与成像时的摄像机位置对应的阴影信息。
转换装置32根据从三维数据成像装置31提供的三维模型确定摄像机位置，并且根据确定的摄像机位置生成摄像机参数、二维图像数据和深度数据。转换装置32生成与虚拟视点的摄像机位置对应的阴影图，该虚拟视点是与成像时的摄像机位置不同的摄像机位置。转换装置32将摄像机参数、二维图像数据、深度数据和阴影图提供给编码装置33。
编码装置33通过对从转换装置32提供的摄像机参数、二维图像数据，深度数据和阴影图进行编码来生成编码流。编码装置33发送生成的编码流。
相比之下，解码***12包括解码装置41、转换装置42和三维数据显示装置43。
解码装置41接收从编码装置33发送的编码流并且根据与编码装置33中采用的编码方案对应的方案对编码流进行解码。通过解码，解码装置41获取来自多个视点的二维图像数据和深度数据以及作为元数据的阴影图和摄像机参数。然后，解码装置41将所获取的数据提供给转换装置42。
转换装置42执行以下处理作为转换处理。也就是说，转换装置42基于从解码装置41提供的元数据和在解码***12中采用的显示图像生成方案，从预定视点选择二维图像数据和深度数据。转换装置42通过基于从预定视点选择的二维图像数据和深度数据生成(重建)三维模型并且投影该三维模型来生成显示图像数据。所生成的显示图像数据被提供给三维数据显示装置43。
三维数据显示装置43包括例如二维或三维头戴式显示器、二维或三维监视器或投影仪。三维数据显示装置43基于从转换装置42提供的显示图像数据二维或三维地显示显示图像。
<<2.编码***中的装置的配置示例>>
现在，将描述编码***11中的每个装置的配置。
图5是示出编码***11中包括的三维数据成像装置31、转换装置32和编码装置33的配置的示例的框图。
三维数据成像装置31包括摄像机10和图像处理单元51。
图像处理单元51对从各个摄像机10获得的来自各个视点的二维图像数据执行阴影去除处理。在阴影去除处理之后，图像处理单元51执行建模以使用来自各个视点的多条二维图像数据和多条深度数据以及摄像机10的每一个的摄像机参数来创建网格或点云。
图像处理单元51生成与所创建的网格以及该网格的二维图像(纹理)数据有关的信息作为被摄对象的三维模型，并且将该三维模型提供给转换装置32。作为与去除的阴影有关的信息的阴影图也被提供给转换装置32。
转换装置32包括转换单元61。
如上面关于转换装置32所述的，转换单元61基于摄像机10的每一个的摄像机参数和被摄对象的三维模型来确定摄像机位置，并且根据确定的摄像机位置生成摄像机参数、二维图像数据和深度数据。此时，还根据确定的摄像机位置来生成作为阴影信息的阴影图。如此生成的信息被提供给编码装置33。
编码装置33包括编码单元71和发送单元72。
编码单元71对从转换单元61提供的摄像机参数、二维图像数据、深度数据和阴影图进行编码以生成编码流。摄像机参数和阴影图被编码为元数据。
投影空间数据(如果存在)也作为元数据从诸如计算机的外部装置被提供给编码单元71，并且由编码单元71进行编码。投影空间数据是投影空间(例如房间)的三维模型及其纹理数据。纹理数据包括房间的图像数据、在成像中使用的背景的图像数据或与三维模型形成集合的纹理数据。
可以采用诸如MVCD(多视点和深度视频编码)方案、AVC方案和HEVC方案的编码方案。不管编码方案是MVCD方案还是编码方案是AVC方案或HEVC方案，阴影图都可以与二维图像数据和深度数据一起被编码，或者可以被编码为元数据。
在编码方案是MVCD方案的情况下，来自所有视点的多条二维图像数据和多条深度数据被一起编码。因此，生成了包括元数据以及二维图像数据和深度数据的编码数据的一个编码流。在这样的情况下，元数据中的摄像机参数被存储在编码流的参考显示信息SEI中。此外，元数据中的深度数据被存储在深度表示信息SEI中。
相比之下，在编码方案是AVC方案或HEVC方案的情况下，来自各个视点的多条深度数据和来自各个视点的多条二维图像数据被分别编码。因此，生成以下编码流：与包括元数据和来自各个视点的多条二维图像数据的视点对应的编码流；以及与包括元数据和来自各个视点的多条深度数据的编码数据的视点对应的编码流。在这样的情况下，元数据被存储在例如每个编码流的用户未注册SEI中。此外，元数据包括将编码流与诸如摄像机参数的信息相关联的信息。
应当注意，元数据不一定包括将编码流与诸如摄像机参数的信息相关联的信息。也就是说，每个编码流可以仅包括与编码流对应的元数据。编码单元71将根据任何上述方案通过编码获得的编码流(多个编码流)提供给发送单元72。
发送单元72将从编码单元71提供的编码流发送至解码***12。应当注意，尽管本文的元数据通过被存储在编码流中来发送，但是元数据可以与编码流分开地发送。
图6是示出三维数据成像装置31的图像处理单元51的配置的示例的框图。
图像处理单元51包括摄像机校准部101、帧同步部102、背景减法部103、阴影去除部104、建模部105、网格创建部106和纹理映射部107。
摄像机校准部101使用摄像机参数对从摄像机10的每一个提供的二维图像数据(摄像机图像)执行校准。校准方法的示例包括：使用棋盘的Zhang方法、通过对三维目标进行成像来确定参数的方法以及通过使用投影仪获得投影图像来确定参数的方法。
摄像机参数例如包括内在参数和外在参数。内在参数是特定于摄像机的参数，并且是摄像机镜头变形或图像传感器以及镜头倾斜(变形系数)、图像中心和图像(像素)大小。在存在多个摄像机的情况下，外在参数指示在多个摄像机之间的位置关系或者指示在世界坐标系中的镜头中心的坐标(平移)和镜头光轴的方向(旋转)。
摄像机校准部101将校准后的二维图像数据提供给帧同步部102。摄像机参数通过未示出的路径被提供给转换单元61。
帧同步部102使用摄像机10-1至10-N中的一个作为基准摄像机，而将其他摄像机作为参考摄像机。帧同步部102使参考摄像机的二维图像数据的帧与基准摄像机的二维图像数据的帧同步。帧同步部102将经过帧同步的二维图像数据提供给背景减法部103。
背景减法部103对二维图像数据执行背景减法处理并且生成轮廓图像，该轮廓图像是针对提取被摄对象(前景)的掩模。
图7是示出被用于背景减法处理的图像的示例的图。
如图7所示，背景减法部103获得仅包括预先获取的背景的背景图像151与包括前景区域和背景区域两者的摄像机图像152作为处理目标之间的差，从而获取其中包含差的区域(前景区域)对应于1的二元轮廓图像153。像素值通常受噪声影响，噪声取决于执行成像的摄像机。因此，很少有背景图像151的像素值与摄像机图像152的像素值完全匹配的情况。因此，通过使用阈值θ并且将具有小于或等于阈值θ的差的像素值确定为背景的像素值并且将其他像素值确定为前景的像素值来生成二元轮廓图像153。轮廓图像153被提供给阴影去除部104。
近来提出了一种背景减法处理，例如使用卷积神经网络(CNN)进行深度学习(https://arxiv.org/pdf/1702.01731.pdf)进行背景提取。使用深度学习和机器学习的背景减法处理也是公知的。
阴影去除部104包括阴影图生成部121和背景减法提炼部122。
即使在摄像机图像152已经被轮廓图像153遮盖之后，被摄对象的图像也伴随有阴影的图像。
因此，阴影图生成部121生成阴影图以便对被摄对象的图像执行阴影去除处理。阴影图生成部121将所生成的阴影图提供给背景减法提炼部122。
背景减法提炼部122将阴影图应用于在背景减法部103中获得的轮廓图像，以生成去除阴影的轮廓图像。
CVPR 2015中介绍了阴影去除处理的方法，该方法以“源于结构化深边缘检测的阴影优化”为代表，并且使用从这些方法中选择的预定方法。替选地，可以将SLIC(简单线性迭代聚类)用于阴影去除处理，或者可以使用通过有源传感器获得的深度图像来生成无阴影的二维图像。
图8是示出被用于阴影去除处理的图像的示例的图。下面参照图8描述根据将图像划分为超像素以确定区域的SLIC的阴影去除处理。该描述还适当地参照图7。
阴影图生成部121将摄像机图像152(图7)划分为超像素。阴影图生成部121识别通过背景减法已被排除的超像素(与轮廓图像153的黑色部分对应的超像素)的一部分与作为阴影而保留的超像素(与轮廓图像153的白色部分对应的超像素)的一部分之间的相似度。
假设在背景减法中将超像素A确定为0(黑色)的情况下给出示例，这是正确的。在背景减法中，超像素B被确定为1(白色)，这是不正确的。在背景减法中，超像素C被确定为1(白色)，这是正确的。重新识别相似度，以纠正对超像素B的错误确定。因此，发现超像素A与超像素B之间的相似度高于超像素B和超像素C之间的相似度，从而确认了错误的确定。轮廓图像153基于该确认被校正。
阴影图生成部121使用保留在轮廓图像153(被摄对象或阴影)中并且通过SLIC被确定为地板的(超像素的)区域作为阴影区域来生成如图8所示的阴影图161。
阴影图161的类型可以是0、1(二元)阴影图或彩色阴影图。
在0、1阴影图中，阴影区域被表示为1，而非阴影背景区域被表示为0。
在彩色阴影图中，除了上述的0、1阴影图中，阴影图还由四个RGBA通道显示。RGB表示阴影的颜色。Alpha通道可以表示透明度。可以将0、1阴影图添加到Alpha通道。只有三个RGB通道可以使用。
此外，不必非常清楚地展现阴影区域，并且因此阴影图161可以是低分辨率的。
背景减法提炼部122执行背景减法提炼。也就是说，背景减法提炼部122将阴影图161应用于轮廓图像153以使轮廓图像153成形，从而生成去除阴影的轮廓图像162。
此外，还可以通过引入诸如ToF摄像机、LIDAR和激光器的有源传感器并且使用通过有源传感器获得的深度图像来执行阴影去除处理。应当注意，根据该方法，不对阴影成像，并且因此不生成阴影图。
阴影去除部104根据使用背景深度图像和前景背景深度图像的深度差生成深度差轮廓图像。背景深度图像表示从摄像机位置到背景的距离，而前景背景深度图像表示从摄像机位置到前景的距离以及从摄像机位置到背景的距离。此外，阴影去除部104使用背景深度图像和前景背景深度图像根据深度图像获得到前景的深度距离。然后，阴影去除部104通过将该深度距离的像素定义为1并且将其他距离的像素定义为0来生成指示有效距离的有效距离掩模。
阴影去除部104通过用有效距离掩模对掩模深度差轮廓图像进行遮盖来生成无阴影轮廓图像。也就是说，生成与去除阴影的轮廓图像162等效的轮廓图像。
再次参照图6，建模部105使用来自各个视点的二维图像数据和深度数据、去除阴影的轮廓图像和摄像机参数，通过例如视觉外壳执行建模。建模部105将每个轮廓图像反投影到原始三维空间，并且获得视锥的交点(视觉外壳)。
网格创建部106针对由建模部105获得的视觉外壳创建网格。
纹理映射部107生成所创建的网格和几何形状的二维图像数据作为被摄对象的纹理映射的三维模型，所创建的网格和几何形状指示形成网格的顶点的三维位置和由该顶点定义的多边形。然后，纹理映射部107将所生成的纹理映射的三维模型提供给转换单元61。
图9是示出转换装置32的转换单元61的配置示例的框图。
转换单元61包括摄像机位置确定部181、二维数据生成部182和阴影图确定部183。从图像处理单元51提供的三维模型被输入到摄像机位置确定部181。
摄像机位置确定部181根据预定的显示图像生成方案和摄像机位置的摄像机参数来确定多个视点的摄像机位置。然后，摄像机位置确定部181将表示摄像机位置和摄像机参数的信息提供给二维数据生成部182和阴影图确定部183。
二维数据生成部182基于与从摄像机位置确定部181提供的与多个视点对应的摄像机参数，针对每个视点对与三维模型对应的三维被摄对象执行透视投影。
具体地，使用内在摄像机参数A和外在摄像机参数R|t，由以下表达式(1)表示与各个像素的二维位置对应的矩阵m'与和世界坐标系的三维坐标对应的矩阵M之间的关系。
[数学公式.1]
sm'＝A[R|t]M…(1)
更具体地，表达式(1)由以下表达式(2)表示。
[数学公式.2]
Figure BDA0002379579070000131
在表达式(2)中，(u,v)表示图像上的二维坐标，并且fx、fy表示焦距。此外，Cx、Cy表示主要点，r11至r13、r21至r23、r31至r33以及t1至t3表示参数，并且(X,Y,Z)表示世界坐标系的三维坐标。
因此，二维数据生成部182使用摄像机参数根据上述表达式(1)和(2)来确定与每个像素的二维坐标对应的三维坐标。
然后，二维数据生成部182针对每个视点，将与三维模型的每个像素的二维坐标对应的三维坐标的二维图像数据作为每个像素的二维图像数据。也就是说，二维数据生成部182使用三维模型的每个像素作为二维图像上的对应位置中的像素，从而生成将每个像素的二维坐标与二维图像相关联的二维图像数据。
此外，二维数据生成部182针对每个视点，基于与三维模型中的每个像素的二维坐标对应的三维坐标，确定每个像素的深度，从而生成将每个像素的二维坐标与深度相关联的深度数据。也就是说，二维数据生成部182使用三维模型的每个像素作为二维图像上的对应位置中的像素，从而生成将每个像素二维坐标与深度相关联的深度数据。深度例如被表示为被摄对象在深度方向上的位置z的倒数1/z。二维数据生成部182将来自各个视点的多条二维图像数据和多条深度数据提供给编码单元71。
二维数据生成部182基于从摄像机位置确定部181提供的摄像机参数，从图像处理单元51提供的三维模型中提取三维遮挡数据。然后，二维数据生成部182将三维遮挡数据作为可选的三维模型提供给编码单元71。
阴影图确定部183确定与由摄像机位置确定部181确定的摄像机位置对应的阴影图。
在由摄像机位置确定部181确定的摄像机位置与成像时的摄像机位置相同的情况下，阴影图确定部183将与成像时的摄像机位置对应的阴影图作为成像时的阴影图提供给编码单元71。
在由摄像机位置确定部181确定的摄像机位置与成像时的摄像机位置不同的情况下，阴影图确定部183用作插值阴影图生成部，并且生成与虚拟视点的摄像机位置对应的阴影图。也就是说，阴影图确定部183通过视点插值来估计虚拟视点的摄像机位置，并且通过设置与虚拟视点的摄像机位置对应的阴影来生成阴影图。
图10是示出虚拟视点的摄像机位置的示例的图。
图10示出了围绕以三维模型170的位置为中心的表示用于成像的摄像机的摄像机10-1至10-4的位置。图10还示出了摄像机10-1的位置与摄像机10-2的位置之间的虚拟视点的摄像机位置171-1至171-4。在摄像机位置确定部181中适当地确定用于虚拟视点的摄像机位置171-1至171-4。
只要已知三维模型170的位置，就可以通过视点插值来定义摄像机位置171-1至171-4并且生成虚拟视点图像，虚拟视点图像是来自虚拟视点的摄像机位置的图像。在这样的情况下，虚拟视点图像是根据使用用于(在理想情况下设置在实际摄像机10的位置之间的)虚拟视点的摄像机位置171-1至171-4(可以将摄像机位置171-1到171-4设置到其他任何位置，但是这样做可能会导致遮挡)由实际摄像机10捕获的信息通过视点插值来生成的。
尽管图10示出了仅在摄像机10-1的位置与摄像机10-2的位置之间的虚拟视点的摄像机位置171-1至171-4，但是可以自由地确定摄像机位置171的数目和位置。例如，可以在摄像机10-2与摄像机10-3之间、摄像机10-3与摄像机10-4之间，或摄像机10-4与摄像机10-1之间设置虚拟视点的摄像机位置171-N。
阴影图确定部183基于来自如此设置的虚拟视点的虚拟视点图像如上所述生成阴影图，并且将阴影图提供给编码单元71。
<<3.解码***中的装置的配置示例>>
现在，将描述解码***12中的每个装置的配置。
图11是示出解码***12中包括的解码装置41、转换装置42以及三维数据显示装置43的配置的示例的框图。
解码装置包括接收单元201和解码单元202。
接收单元201接收从编码***11发送的编码流，并且将编码流提供给解码单元202。
解码单元202根据与编码装置33中采用的编码方案对应的方案，对由接收单元201接收到的编码流进行解码。通过解码，解码单元202获取来自多个视点的二维图像数据和深度数据以及作为元数据的阴影图和摄像机参数。然后，解码单元202将获取的数据提供给转换装置42。如上所述，在存在编码投影空间数据的情况下，该数据也被解码。
转换装置42包括转换单元203。如以上关于转换装置42所述的，转换单元203通过基于来自预定视点选择的二维图像数据或基于来自预定视点选择的二维图像数据和深度数据来生成(重建)三维模型并且投影该三维模型来生成显示图像数据。所生成的显示图像数据被提供给三维数据显示装置43。
三维数据显示装置43包括显示单元204。如以上关于三维数据显示装置43所述的，显示单元204包括例如二维头戴式显示器、二维监视器、三维头戴式显示器、三维显示器、或投影仪。显示单元204基于从转换单元203提供的显示图像数据来二维或三维地显示显示图像。
图12是示出转换装置42的转换单元203的配置的示例的框图。图12示出了在投影了三维模型的投影空间与成像时的投影空间相同的情况(换句话说，就是使用从编码***11发送来的投影空间数据的情况)下的配置示例。
转换单元203包括建模部221、投影空间模型生成部222以及投影部223。从解码单元202提供的来自多个视点的摄像机参数、二维图像数据和深度数据被输入到建模部221。此外，将从解码单元202提供的投影空间数据和阴影图输入到投影空间模型生成部222。
建模部221从解码单元202提供的来自多个视点的摄像机参数、二维图像数据和深度数据中选择来自预定视点的选择摄像机参数、二维图像数据和深度数据。建模部221使用来自预定视点的摄像机参数、二维图像数据和深度数据通过例如视觉外壳执行建模来生成(重建)被摄对象的三维模型。所生成的被摄对象的三维模型被提供给投影部223。
如以上关于编码端所述的，投影空间模型生成部222使用从解码单元202提供的投影空间数据和阴影图来生成投影空间的三维模型。然后，投影空间模型生成部222将投影空间的三维模型提供给投影部223。
投影空间数据是诸如房间的投影空间的三维模型及其纹理数据。纹理数据包括房间的图像数据、在成像中使用的背景的图像数据或与三维模型形成集合的纹理数据。
投影空间数据不限于从编码***11提供，并且可以是包括诸如外部空间、城市和游戏空间的任何空间的三维模型的数据以及在解码***12处设置的其纹理数据。
图13是说明生成投影空间的三维模型的处理的图。
投影空间模型生成部222通过使用投影空间数据对期望的投影空间的三维模型执行纹理映射来生成如图13中间所示的三维模型242。投影空间模型生成部222还通过将基于如图13的左端所示的阴影图241生成的阴影的图像添加到三维模型242来生成如图13的右端所示的添加有阴影243a的投影空间的三维模型243。
投影空间的三维模型可以由用户手动生成或者可以下载。替选地，例如，投影空间的三维模型可以根据设计自动生成。
此外，也可以手动执行纹理映射，或者可以基于三维模型自动应用纹理。可以未经处理使用三维模型和集成的纹理。
在使用较少数量的摄像机执行成像的情况下，成像时的背景图像数据缺少与三维模型空间对应的数据，并且仅可能进行部分纹理映射。在使用更多数量的摄像机执行成像的情况下，成像时的背景图像数据倾向于覆盖三维模型空间，并且可以基于使用三角测量的深度估计进行纹理映射。因此，在成像时的背景图像数据足够的情况下，可以使用背景图像数据执行纹理映射。在这样的情况下，可以在将阴影信息从阴影图添加到纹理数据之后执行纹理映射。
投影部223对与投影空间的三维模型和被摄对象的三维模型对应的三维目标执行透视投影。投影部223使用三维模型的每个像素作为二维图像上对应位置中的像素，从而生成将每个像素的二维坐标与图像数据相关联的二维图像数据。
所生成的二维图像数据被提供给显示单元204作为显示图像数据。显示单元204显示与显示图像数据对应的显示图像。
<<4.编码***的操作示例>>
现在，将描述具有上述配置的每个装置的操作。
首先，将参照图14中的流程图描述将由编码***11执行的处理。
在步骤S11处，三维数据成像装置31对其中安装有摄像机10的被摄对象执行成像处理。下面将参照图15中的流程图描述该成像处理。
在步骤S11处，对从摄像机10的视点对捕获的二维图像数据执行阴影去除处理，并且根据从摄像机10的视点的去除阴影的二维图像数据和深度数据生成被摄对象的三维模型。所生成的三维模型被提供给转换装置32。
在步骤S12处，转换装置32执行转换处理。下面将参照图18中的流程图描述该转换处理。
在步骤S12处，根据被摄对象的三维模型确定摄像机位置，并且根据确定的摄像机位置生成摄像机参数、二维图像数据和深度数据。也就是说，通过转换处理，将被摄对象的三维模型转换为二维图像数据和深度数据。
在步骤S13处，编码装置33执行编码处理。下面将参照图19中的流程图描述该编码处理。
在步骤S13处，从转换装置32提供的摄像机参数、二维图像数据、深度数据和阴影图被编码并且被发送至解码***12。
接下来，将参照图15中的流程图描述图14中的步骤S11处的成像处理。
在步骤S51处，摄像机10执行被摄对象的成像。摄像机10的每一个的成像器捕获被摄对象的运动图像的二维图像数据。摄像机10的每一个的测距仪从与摄像机10的视点相同的视点生成深度数据。二维图像数据和深度数据被提供给摄像机校准部101。
在步骤S52处，摄像机校准部101使用摄像机参数对从摄像机10的每一个提供的二维图像数据执行校准。校准的二维图像数据被提供给帧同步部102。
在步骤S53处，摄像机校准部101将摄像机参数提供给转换装置32的转换单元61。
在步骤S54处，帧同步部102使用摄像机10-1至10-N中的一个作为基准摄像机，并且使用其他摄像机作为参考摄像机，以将参考摄像机的二维图像数据的帧与基准摄像机的二维图像的帧同步。二维图像的同步帧被提供给背景减法部103。
在步骤S55处，背景减法部103对二维图像数据执行背景减法处理。也就是说，从包括前景图像和背景图像的每个摄像机图像中减去背景图像以生成用于提取被摄对象(前景)的轮廓图像。
在步骤S56处，阴影去除部104执行阴影去除处理。以下将参照图16中的流程图描述该阴影去除处理。
在步骤S56处，生成阴影图，并且将所生成的阴影图应用于轮廓图像以生成去除阴影的轮廓图像。
在步骤S57处，建模部105和网格创建部106创建网格。建模部105使用来自各个摄像机10的视点的二维图像数据和深度数据、去除阴影的轮廓图像以及摄像机参数，通过例如视觉外壳来执行建模以获得视觉外壳。网格创建部106针对从建模部105提供的视觉外壳创建网格。
在步骤S58处，纹理映射部107生成所创建的网格和几何形状的二维图像数据作为被摄对象的纹理映射的三维模型，所创建的网格和几何形状指示形成网格的顶点的三维位置和由该顶点定义的多边形。然后，纹理映射部107将纹理映射的三维模型提供给转换单元61。
接下来，将参照图16中的流程图描述图15中步骤S56处的阴影去除处理。
在步骤S71处，阴影去除部104的阴影图生成部121将摄像机图像152(图7)划分为超像素。
在步骤S72处，阴影图生成部121识别通过划分而获得的通过背景减法而排除的部分超像素与作为阴影保留的部分超像素之间的相似度。
在步骤S73处，阴影图生成部121将保留在轮廓图像153中并且通过SLIC被确定为地板的区域用作阴影，以生成阴影图161(图8)。
在步骤S74处，背景减法提炼部122执行背景减法提炼并且将阴影图161应用于轮廓图像153。这使轮廓图像153成形，从而生成去除阴影的轮廓图像162。
背景减法提炼部122利用去除阴影的轮廓图像162遮盖摄像机图像152。这生成被摄对象的阴影去除图像。
以上参照图16描述的用于阴影去除处理的方法仅是示例，并且可以采用其他方法。例如，可以通过采用以下描述的方法来执行阴影去除处理。
以下参照图17的流程图描述图15中步骤S56处的阴影去除处理的另一示例。应当注意，该处理是通过引入诸如ToF摄像机、LIDAR和激光器的有源传感器并且使用通过有源传感器获得的深度图像来执行阴影去除处理的情况的示例。
在步骤S81处，阴影去除部104使用背景深度图像和前景背景深度图像生成深度差轮廓图像。
在步骤S82处，阴影去除部104使用背景深度图像和前景背景深度图像生成有效距离掩模。
在步骤S83处，阴影去除部104通过利用有效距离掩模遮盖深度差轮廓图像来生成无阴影轮廓图像。也就是说，生成去除阴影的轮廓图像162。
接下来，将参照图18中的流程图来描述图14中的步骤S12处的转换处理。图像处理单元51将三维模型提供给摄像机位置确定部181。
在步骤S101处，摄像机位置确定部181根据预定的显示图像生成方案和摄像机位置的摄像机参数，确定多个视点的摄像机位置。摄像机参数被提供给二维数据生成部182和阴影图确定部183。
在步骤S102处，阴影图确定部183确定摄像机位置是否与成像时的摄像机位置相同。在步骤S102中确定摄像机位置与成像时的摄像机位置相同的情况下，处理进行至步骤S103。
在步骤S103处，阴影图确定部183将与成像时的摄像机位置对应的阴影图作为成像时的阴影图提供给编码装置33。
在步骤S102中确定摄像机位置与成像时的摄像机位置不同的情况下，处理进行至步骤S104。
在步骤S104处，阴影图确定部183通过视点插值估计虚拟视点的摄像机位置，并且生成与虚拟视点的摄像机位置对应的阴影。
在步骤S105处，阴影图确定部183将与虚拟视点的摄像机位置对应的阴影图提供给编码装置33，阴影图是从与虚拟视点的摄像机位置对应的阴影获得的。
在步骤S106处，二维数据生成部182基于与从摄像机位置确定部181提供的与多个视点对应的摄像机参数，针对每个视点对与三维模型对应的三维被摄对象进行透视投影。然后，二维数据生成部182如上所述生成二维数据(二维图像数据和深度数据)。
如上所述生成的二维图像数据和深度数据被提供给编码单元71。摄像机参数和阴影图也被提供给编码单元71。
接下来，将参照图19中的流程图来描述图14中的步骤S13处的编码处理。
在步骤S121处，编码单元71通过对从转换单元61提供的摄像机参数、二维图像数据、深度数据和阴影图进行编码来生成编码流。摄像机参数和阴影图被编码为元数据。
诸如三维遮挡数据(如果存在)的三维数据与二维图像数据和深度数据一起被编码。投影空间数据(如果存在)也作为元数据从例如诸如计算机的外部装置被提供给编码单元71，并且由编码单元71进行编码。
编码单元71将编码流提供给发送单元72。
在步骤S122处，发送单元72将从编码单元71提供的编码流发送至解码***12。
<<5.解码***的操作示例>>
接下来，将参照图20中的流程图描述由解码***12执行的处理。
在步骤S201处，解码装置41接收编码流，并且根据与编码装置33中采用的编码方案对应的方案对编码流进行解码。下面将参照图21中的流程图详细描述解码处理。
因此，解码装置41获取来自多个视点的二维图像数据和深度数据以及作为元数据的阴影图和摄像机参数。然后，解码装置41将获取的数据提供给转换装置42。
在步骤S202处，转换装置42执行转换处理。也就是说，转换装置42根据从解码装置41提供的元数据和在解码***12中采用的显示图像生成方案，基于来自预定视点的二维图像数据和深度数据来生成(重建)三维模型。然后，转换装置42投影三维模型以生成显示图像数据。下面将参照图22中的流程图详细描述转换处理。
由转换装置42生成的显示图像数据被提供给三维数据显示装置43。
在步骤S203处，三维数据显示装置43基于从转换装置42提供的显示图像数据二维或三维地显示显示图像。
接下来，将参照图21中的流程图描述图20中的步骤S201处的解码处理。
在步骤S221处，接收单元201接收从发送单元72发送的编码流，并且将编码流提供给解码单元202。
在步骤S222处，解码单元202根据与在编码单元71中采用的编码方案对应的方案，对由接收单元201接收到的编码流进行解码。因此，解码单元202获取来自多个视点的二维图像数据和深度数据，以及作为元数据的阴影图和摄像机参数。然后，解码单元202将获取的数据提供给转换单元203。
接下来，将参照图22的流程图描述图21中的步骤S202处的转换处理。
在步骤S241处，转换单元203的建模部221使用来自预定视点的选择的二维图像数据、深度数据和摄像机参数来生成(重建)被摄对象的三维模型。被摄对象的三维模型被提供给投影部223。
在步骤S242处，投影空间模型生成部222使用从解码单元202提供的投影空间数据和阴影图来生成投影空间的三维模型，并且将投影空间的三维模型提供给投影部223。
在步骤S243处，投影部223对与投影空间的三维模型和被摄对象的三维模型对应的三维目标执行透视投影。投影部223使用三维模型的每个像素作为二维图像上对应位置的像素，从而生成将每个像素的二维坐标与图像数据相关联的二维图像数据。
在上面的描述中，已经描述了投影空间与成像时的投影空间相同的情况，换句话说，是使用从编码***11发送的投影空间数据的情况。下面描述由解码***12生成投影空间数据的示例。
<<6.解码***的修改示例>>
图23是示出解码***12的转换装置42的转换单元203的另一配置的示例的框图。
图23中的转换单元203包括建模部261、投影空间模型生成部262、阴影生成部263以及投影部264。
基本上，建模部261的配置与图12中的建模部221的配置类似。建模部261使用来自预定视点的摄像机参数、二维图像数据和深度数据，例如通过视觉外壳执行建模来生成被摄对象的三维模型。所生成的被摄对象的三维模型被提供给阴影生成部263。
由用户选择的投影空间的数据例如被输入到投影空间模型生成部262。投影空间模型生成部262使用输入的投影空间数据生成投影空间的三维模型，并且将投影空间的三维模型提供给阴影生成部263。
阴影生成部263使用从建模部261提供的被摄对象的三维模型和从投影空间模型生成部262提供的投影空间的三维模型，根据投影空间中的光源的位置生成阴影。在普通CG(计算机图形学)中生成阴影的方法是公知的，例如在诸如Unity和Unreal Engine的游戏引擎中编写方法。
将投影空间的三维模型和已经为其生成阴影的被摄对象的三维模型提供给投影部264。
投影部264对与投影空间的三维模型和生成阴影的被摄对象的三维模型对应的三维目标执行透视投影。
接下来，将参照图24中的流程图描述由图23中的转换单元203执行的在图20中步骤S202中的转换处理。
在步骤S261处，建模部261使用来自预定视点的选择的二维图像数据、深度数据和摄像机参数来生成被摄对象的三维模型。被摄对象的三维模型被提供给阴影生成部263。
在步骤S262处，投影空间模型生成部262使用从解码单元202提供的投影空间数据和阴影图来生成投影空间的三维模型，并且将投影空间的三维模型提供给阴影生成部263。
在步骤S263处，阴影生成部263使用从建模部261提供的被摄对象的三维模型和从投影空间模型生成部提供的投影空间的三维模型，根据投影空间中光源的位置生成阴影。
在步骤S264处，投影部264对与投影空间的三维模型和被摄对象的三维模型对应的三维目标执行透视投影。
如上所述，由于本技术通过将阴影与三维模型隔离，使得能够以分离的方式传输三维模型和阴影，因此可以选择在显示端添加还是去除阴影。
当将三维模型投影到与成像时的三维空间不同的三维空间时，不使用成像时的阴影。因此可以显示自然的阴影。
当将三维模型投影到与成像时的投影空间相同的三维空间时，可以显示自然阴影。到那时，阴影已经被传输，从而节省了时间和精力来从光源生成阴影。
由于能够接受阴影是模糊的或低分辨率的，所以其传输量相对于二维图像数据的传输量可能非常小。
图25是示出比较黑暗的两种类型的区域的示例的图。
两种类型的“比较黑暗区域”是阴影和阴暗。
用环境光301照射目标302会创建阴影303和阴暗304。
当目标302被环境光301照射时，阴影303与目标302一起出现，该阴影是由目标302阻挡环境光301而创建的。当目标302被环境光301照射时，阴暗304出现在目标302与其光源侧的相反侧，由环境光301创建。
本技术能够应用于阴影和阴暗两者。因此，在阴影和阴暗没有彼此区分的情况下，在此使用术语“阴影”，其也包括阴暗。
图26是示出通过添加阴影或阴暗并且通过不添加阴影或阴暗而产生的效果的示例的图。术语“开”表示通过添加阴影、阴暗或两者而产生的效果。关于阴暗的术语“关”表示通过不添加阴暗而产生的效果。关于阴影的术语“关”表示通过不添加阴影而产生的效果。
阴影、阴暗或两者的添加会例如在实况再现和真实呈现中产生效果。
不添加阴暗会在面部图像或目标图像的绘制、阴影更改以及捕获的实况图像的CG呈现方面产生效果。
也就是说，当显示三维模型时，阴影信息是从与阴暗共存的三维模型中提取出来的，该阴暗例如是面部阴暗、手臂阴暗、衣服或人的任何物体。这有助于绘制或更改阴影，使能够容易地编辑三维模型的纹理。
例如，在期望面部成像中避免产生高光的同时消除面部上的棕色阴暗的情况下，可以通过在强调阴暗之后擦除阴暗来从面部消除阴暗。
相比之下，不添加阴影会在运动分析、AR呈现和目标叠加中产生效果。
也就是说，在运动分析中，例如，以分开的方式发送阴影和三维模型允许当显示运动员的纹理三维模型或执行运动员的AR呈现时，删除阴影信息。应当注意，可商购的运动分析软件还能够输出运动员的二维图像和与运动员有关的信息。然而，在此输出中，阴影出现在运动员的脚上。
像本技术一样，在去除阴影信息的情况下绘制与运动员、轨迹等有关的信息，对于运动分析中的可视性更有效且更有用。在自然地涉及多个运动员(目标)的足球或篮球比赛的情况下，去除阴影可以防止阴影干扰其他目标。
相比之下，在将图像视为实况图像的情况下，该图像更加自然且带有阴影。
如上所述，根据本技术，可以选择是添加还是去除阴影，从而提高用户的便利性。
<<7.编码***和解码***的另一配置示例>>
图27是示出编码***和解码***的另一配置示例的框图。在图27所示的构成元件中，与参照图5或图11所描述的构成元件相同的构成元件使用与图5或图11相同的附图标记。适当地省略冗余描述。
图27中的编码***11包括三维数据成像装置31和编码装置401。编码装置401包括转换单元61、编码单元71和发送单元72。也就是说，图27中的编码装置401的配置包括图5中的编码装置33的配置以及此外图5中的转换装置32的配置。
图27中的解码***12包括解码装置402和三维数据显示装置43。解码装置402包括接收单元201、解码单元202以及转换单元203。也就是说，图27中的解码装置402的配置包括图11中的解码装置41的配置以及此外图11的转换装置42的配置。
<<8.编码***和解码***的另一配置示例>>
图28是示出编码***和解码***的又一配置示例的框图。在图28所示的构成元件中，与参照图5或图11说明的构成元件相同的构成元件使用与图5或图11相同的附图标记。适当地省略冗余描述。
图28中的编码***11包括三维数据成像装置451和编码装置452。三维数据成像装置451包括摄像机10。编码装置401包括图像处理单元51、转换单元61、编码单元71和发送单元72。也就是说，图28中的编码装置452的配置包括图27中的编码装置401的配置以及此外图5中的三维数据成像装置31的图像处理单元51的配置。
如在图27中所示的配置，在图28中的解码***12包括解码装置402和三维数据显示装置43。
如上所述，每个元件可以被包括在编码***11和解码***12中的任何装置中。
上述一系列处理能够由硬件或软件执行。在通过软件执行一系列处理的情况下，将构成该软件的程序安装在计算机上。本文中计算机的示例包括例如结合在专用硬件中的计算机以及可以通过在其中安装各种程序来执行各种功能的通用个人计算机。
<<9.计算机的示例>>
图29是示出通过程序执行上述一系列处理的计算机的硬件的配置的框图。
计算机600包括通过总线604彼此耦接的CPU(中央处理单元)601、ROM(只读存储器)602和RAM(随机存取存储器)603。
此外，输入/输出接口605耦接至总线604。输入单元606、输出单元607、存储装置608、通信单元609和驱动器610耦接至输入/输出接口605。
输入单元606例如包括键盘、鼠标和麦克风。例如，输出单元607是显示器或扬声器。存储装置608例如包括硬盘和非易失性存储器。例如，通信单元609是网络接口。驱动器610驱动可移除介质611，例如磁盘、光盘、磁光盘或半导体存储器。
在具有上述配置的计算机600中，例如，通过CPU 601经由输入/输出接口605和总线604将存储在存储装置608中的程序加载到RAM 603中并且执行程序来执行上述一系列处理。
例如，可以将由计算机600(CPU 601)执行的程序记录在用作包装介质等的可移除介质611中并以这种形式提供。替选地，可以通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供程序。
可以通过将可移除介质611附接至驱动器610并且经由输入/输出接口605将程序安装在存储装置608上来将程序安装在计算机600上。替选地，该程序可以由通信单元609通过有线或无线传输介质接收并安装在存储装置608上。替选地，该程序可以预安装在ROM602或存储装置608上。
应当注意，要由计算机执行的程序可以是根据本文所述的顺序按时间顺序执行处理的程序、同时执行处理的程序、或者是在必要时(例如当程序被调用时)执行处理的程序。
此外，本文中的***意味着多个构成元件(装置，模块(部件)等)的集合，而不管所有构成元件是否都在同一壳体中。也就是说，容纳在单独的壳体中并且经由网络彼此耦接的多个装置是***，并且包括容纳在单个壳体中的多个模块的单个装置也是***。
应当注意，本文描述的效果仅是示例性的而不是限制性的，并且本技术可以施加其他效果。
本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如，本技术可以具有云计算的配置，其中多个装置经由网络共享并共同处理单个功能。
此外，参照流程图描述的每个步骤可以由单个装置执行或由多个装置共享并执行。
此外，在单个步骤包括多个处理的情况下，包括在单个步骤中的多个处理可以由单个装置执行或者可以由多个装置共享并执行。
本技术可以具有以下任何配置。
(1)
一种图像处理装置，包括：
生成器，其基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
发送器，其发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。
(2)
根据(1)所述的图像处理装置，还包括阴影去除器，其对所述视点图像中的每个执行所述阴影去除处理，其中，
所述发送器发送与通过所述阴影去除处理去除的阴影有关的信息作为各视点的阴影信息。
(3)
根据(1)或(2)所述的图像处理装置，还包括阴影信息生成器，其根据虚拟视点生成所述阴影信息，所述虚拟视点是与所述成像时的摄像机位置不同的位置。
(4)
根据(3)所述的图像处理装置，其中，所述图像处理装置通过基于所述成像时的所述摄像机位置执行视点插值来估计所述虚拟视点，以生成根据所述虚拟视点的所述阴影信息。
(5)
根据(1)至(4)中任一项所述的图像处理装置，其中，所述生成器将所述三维模型的像素中的每个用作二维图像上对应位置处的像素，从而生成将所述像素中的每个的二维坐标与图像数据相关联的所述二维图像数据，并且所述生成器将所述三维模型的所述像素中的每个用作所述二维图像上对应位置处的像素，从而生成将所述像素中的每个的所述二维坐标与深度相关联的所述深度数据。
(6)
根据(1)至(5)中任一项所述的图像处理装置，其中，在生成展现所述被摄对象的显示图像的一生成侧，通过基于所述二维图像数据和所述深度数据重建所述三维模型，以及将所述三维模型投影到作为虚拟空间的投影空间来生成所述显示图像，并且
所述发送器发送所述投影空间的投影空间数据和纹理数据，所述投影空间数据是所述投影空间的三维模型的数据。
(7)
一种图像处理方法，包括：
由图像处理装置基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
由所述图像处理装置发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。
(8)一种图像处理装置，包括：
接收器，其接收二维图像数据、深度数据和阴影信息，所述二维图像数据和所述深度数据是基于三维模型而生成的，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的，所述阴影信息是与所述被摄对象的阴影有关的信息；以及
显示图像生成器，其使用基于所述二维图像数据和所述深度数据重建的三维模型来生成根据预定视点展现所述被摄对象的显示图像。
(9)
根据(8)所述的图像处理装置，其中，所述显示图像生成器通过将所述被摄对象的三维模型投影到作为虚拟空间的投影空间来从所述预定视点生成所述显示图像。
(10)
根据(9)所述的图像处理装置，其中，所述显示图像生成器基于所述阴影信息根据所述预定视点添加所述被摄对象的阴影以生成所述显示图像。
(11)
根据(9)或(10)所述的图像处理装置，其中，所述阴影信息是与通过针对所述视点中的每个的所述阴影去除处理去除的所述被摄对象的阴影有关的信息，或者是与根据虚拟视点的所述被摄对象的阴影有关的生成信息，所述虚拟视点是与所述成像时摄像机的位置不同的位置。
(12)
根据(9)至(11)中任一项所述的图像处理装置，其中，所述接收器接收所述投影空间的投影空间数据和纹理数据，所述投影空间数据是所述投影空间的三维模型的数据，并且
所述显示图像生成器通过将所述被摄对象的三维模型投影到由所述投影空间数据表示的所述投影空间来生成所述显示图像。
(13)
根据(9)至(12)中任一项所述的图像处理装置，还包括阴影信息生成器，其基于与所述投影空间中的光源有关的信息来生成与所述被摄对象的阴影有关的信息，其中，
所述显示图像生成器将所述被摄对象的生成的阴影添加到所述投影空间的三维模型以生成所述显示图像。
(14)
根据(8)至(13)中任一项所述的图像处理装置，其中，所述显示图像生成器生成要被用于显示三维图像或二维图像的所述显示图像。
(15)
一种图像处理方法，包括：
由图像处理装置接收二维图像数据、深度数据和阴影信息，所述二维图像数据和所述深度数据是基于三维模型而生成的，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的，所述阴影信息是与所述被摄对象的阴影有关的信息；以及
由所述图像处理装置使用基于所述二维图像数据和所述深度数据来重建的三维模型来生成根据预定视点展现所述被摄对象的显示图像。
附图标记列表
1：自由视点图像传输***
10-1至10-N：摄像机
11：编码***
12：解码***
31：二维数据成像装置
32：转换装置
33：编码装置
41：解码装置
42：转换装置
43：三维数据显示装置
51：图像处理单元
16：转换单元
71：编码单元
72：发送单元
101：摄像机校准部
102：帧同步部
103：背景减法部
104：阴影去除部
105：建模部
106：网格创建部
107：纹理映射部
121：阴影图生成部
122：背景减法提炼部
181：摄像机位置确定部
182：二维数据生成部
183：阴影图确定部
170：三维模型
171-1至171-N：虚拟摄像机位置
201：接收单元
202：解码单元
203：转换单元
204：显示单元
221：建模部
222：投影空间模型生成部
223：投影部
261：建模部
262：投影空间模型生成部
263：阴影生成部
264：投影部
401：编码装置
402：解码装置
451：三维数据成像装置
452：编码装置

Claims (15)

1.一种图像处理装置，包括：
生成器，其基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
发送器，其发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。
2.根据权利要求1所述的图像处理装置，还包括阴影去除器，其对所述视点图像中的每个执行所述阴影去除处理，其中，
所述发送器发送与通过所述阴影去除处理去除的阴影有关的信息作为各视点的阴影信息。
3.根据权利要求1所述的图像处理装置，还包括阴影信息生成器，其根据虚拟视点生成所述阴影信息，所述虚拟视点是与所述成像时的摄像机位置不同的位置。
4.根据权利要求3所述的图像处理装置，其中，所述阴影信息生成器通过基于所述成像时的所述摄像机位置执行视点插值来估计所述虚拟视点，以生成根据所述虚拟视点的所述阴影信息。
5.根据权利要求1所述的图像处理装置，其中，所述生成器将所述三维模型的像素中的每个用作二维图像上对应位置处的像素，从而生成将所述像素中的每个的二维坐标与图像数据相关联的所述二维图像数据，并且所述生成器将所述三维模型的所述像素中的每个用作所述二维图像上对应位置处的像素，从而生成将所述像素中的每个的所述二维坐标与深度相关联的所述深度数据。
6.根据权利要求1所述的图像处理装置，其中，在生成展现所述被摄对象的显示图像的一生成侧，通过基于所述二维图像数据和所述深度数据重建所述三维模型，以及将所述三维模型投影到作为虚拟空间的投影空间来生成所述显示图像，并且
所述发送器发送所述投影空间的投影空间数据和纹理数据，所述投影空间数据是所述投影空间的三维模型的数据。
7.一种图像处理方法，包括：
由图像处理装置基于三维模型生成二维图像数据和深度数据，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的；以及
由所述图像处理装置发送所述二维图像数据、所述深度数据和阴影信息，所述阴影信息是与所述被摄对象的阴影有关的信息。
8.一种图像处理装置，包括：
接收器，其接收二维图像数据、深度数据和阴影信息，所述二维图像数据和所述深度数据是基于三维模型而生成的，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的，所述阴影信息是与所述被摄对象的阴影有关的信息；以及
显示图像生成器，其使用基于所述二维图像数据和所述深度数据重建的三维模型来生成根据预定视点展现所述被摄对象的显示图像。
9.根据权利要求8所述的图像处理装置，其中，所述显示图像生成器通过将所述被摄对象的三维模型投影到作为虚拟空间的投影空间来根据所述预定视点生成所述显示图像。
10.根据权利要求9所述的图像处理装置，其中，所述显示图像生成器基于所述阴影信息根据所述预定视点添加所述被摄对象的阴影以生成所述显示图像。
11.根据权利要求9所述的图像处理装置，其中，所述阴影信息是与通过针对所述视点中的每个的所述阴影去除处理去除的所述被摄对象的阴影有关的信息，或者是与根据虚拟视点的所述被摄对象的阴影有关的生成信息，所述虚拟视点是与所述成像时摄像机的位置不同的位置。
12.根据权利要求9所述的图像处理装置，其中，所述接收器接收所述投影空间的投影空间数据和纹理数据，所述投影空间数据是所述投影空间的三维模型的数据，并且
所述显示图像生成器通过将所述被摄对象的三维模型投影到由所述投影空间数据表示的所述投影空间来生成所述显示图像。
13.根据权利要求9所述的图像处理装置，还包括阴影信息生成器，其基于与所述投影空间中的光源有关的信息来生成与所述被摄对象的阴影有关的信息，其中，
所述显示图像生成器将所述被摄对象的生成的阴影添加到所述投影空间的三维模型以生成所述显示图像。
14.根据权利要求8所述的图像处理装置，其中，所述显示图像生成器生成要被用于显示三维图像或二维图像的所述显示图像。
15.一种图像处理方法，包括：
由图像处理装置接收二维图像数据、深度数据和阴影信息，所述二维图像数据和所述深度数据是基于三维模型而生成的，所述三维模型是根据通过从多个视点进行成像而被捕获并且经过阴影去除处理的被摄对象的视点图像中的每个生成的，所述阴影信息是与所述被摄对象的阴影有关的信息；以及
由所述图像处理装置使用基于所述二维图像数据和所述深度数据来重建的三维模型来生成根据预定视点展现所述被摄对象的显示图像。
CN201880050528.6A 2017-08-08 2018-07-26 图像处理装置和方法 Active CN110998669B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017153129 2017-08-08
JP2017-153129 2017-08-08
PCT/JP2018/028033 WO2019031259A1 (ja) 2017-08-08 2018-07-26 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN110998669A true CN110998669A (zh) 2020-04-10
CN110998669B CN110998669B (zh) 2023-12-08

Family

ID=65271035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050528.6A Active CN110998669B (zh) 2017-08-08 2018-07-26 图像处理装置和方法

Country Status (4)

Country Link
US (1) US20210134049A1 (zh)
JP (1) JP7003994B2 (zh)
CN (1) CN110998669B (zh)
WO (1) WO2019031259A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815750A (zh) * 2020-06-30 2020-10-23 深圳市商汤科技有限公司 对图像打光的方法及装置、电子设备和存储介质
CN112258629A (zh) * 2020-10-16 2021-01-22 珠海格力精密模具有限公司 一种模具制造处理方法、装置及服务器
WO2021249091A1 (zh) * 2020-06-10 2021-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及电子设备
WO2023071574A1 (zh) * 2021-10-25 2023-05-04 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7322460B2 (ja) * 2019-03-29 2023-08-08 凸版印刷株式会社 情報処理装置、三次元モデルの生成方法、及びプログラム
JP7352374B2 (ja) * 2019-04-12 2023-09-28 日本放送協会 仮想視点変換装置及びプログラム
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
CN112541972B (zh) * 2019-09-23 2024-05-14 华为技术有限公司 一种视点图像处理方法及相关设备
CN115004237A (zh) * 2020-01-23 2022-09-02 索尼集团公司 信息处理装置、信息处理方法以及程序
JP7451291B2 (ja) * 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022067171A (ja) * 2020-10-20 2022-05-06 キヤノン株式会社 生成装置、生成方法、及び、プログラム
US11922542B2 (en) * 2022-01-18 2024-03-05 Microsoft Technology Licensing, Llc Masking and compositing visual effects in user interfaces
JP2023153534A (ja) 2022-04-05 2023-10-18 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN117252789B (zh) * 2023-11-10 2024-02-02 中国科学院空天信息创新研究院 高分辨率遥感影像阴影重建方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082076A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4468694A (en) * 1980-12-30 1984-08-28 International Business Machines Corporation Apparatus and method for remote displaying and sensing of information using shadow parallax
US5083287A (en) * 1988-07-14 1992-01-21 Daikin Industries, Inc. Method and apparatus for applying a shadowing operation to figures to be drawn for displaying on crt-display
US5359704A (en) * 1991-10-30 1994-10-25 International Business Machines Corporation Method for selecting silhouette and visible edges in wire frame images in a computer graphics display system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6016150A (en) * 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
JP3635359B2 (ja) * 1995-11-09 2005-04-06 株式会社ルネサステクノロジ 透視投影計算装置および透視投影計算方法
US6014472A (en) * 1995-11-14 2000-01-11 Sony Corporation Special effect device, image processing method, and shadow generating method
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
JP3467725B2 (ja) * 1998-06-02 2003-11-17 富士通株式会社 画像の影除去方法、画像処理装置及び記録媒体
JP3417883B2 (ja) * 1999-07-26 2003-06-16 コナミ株式会社 画像作成装置、画像作成方法、画像作成プログラムが記録されたコンピュータ読み取り可能な記録媒体およびビデオゲーム装置
JP3369159B2 (ja) * 2000-02-17 2003-01-20 株式会社ソニー・コンピュータエンタテインメント 画像描画方法、画像描画装置、記録媒体及びプログラム
US6760024B1 (en) * 2000-07-19 2004-07-06 Pixar Method and apparatus for rendering shadows
JP4443012B2 (ja) * 2000-07-27 2010-03-31 株式会社バンダイナムコゲームス 画像生成装置、方法および記録媒体
JP3876142B2 (ja) 2001-02-26 2007-01-31 株式会社ナブラ 画像表示システム
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7439975B2 (en) * 2001-09-27 2008-10-21 International Business Machines Corporation Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7133083B2 (en) * 2001-12-07 2006-11-07 University Of Kentucky Research Foundation Dynamic shadow removal from front projection displays
KR20040083476A (ko) * 2001-12-19 2004-10-02 액츄앨리티 시스템즈, 인크. 방사선 조절 시스템 및 그 방법
JP4079410B2 (ja) * 2002-02-15 2008-04-23 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP3992629B2 (ja) * 2003-02-17 2007-10-17 株式会社ソニー・コンピュータエンタテインメント 画像生成システム、画像生成装置、画像生成方法
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US20080088631A1 (en) * 2003-11-19 2008-04-17 Reuven Bakalash Multi-mode parallel graphics rendering and display system supporting real-time detection of scene profile indices programmed within pre-profiled scenes of the graphics-based application
US8497865B2 (en) * 2006-12-31 2013-07-30 Lucid Information Technology, Ltd. Parallel graphics system employing multiple graphics processing pipelines with multiple graphics processing units (GPUS) and supporting an object division mode of parallel graphics processing using programmable pixel or vertex processing resources provided with the GPUS
US7961194B2 (en) * 2003-11-19 2011-06-14 Lucid Information Technology, Ltd. Method of controlling in real time the switching of modes of parallel operation of a multi-mode parallel graphics processing subsystem embodied within a host computing system
JP4321287B2 (ja) * 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
US7508390B1 (en) * 2004-08-17 2009-03-24 Nvidia Corporation Method and system for implementing real time soft shadows using penumbra maps and occluder maps
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
JP2010520565A (ja) * 2007-03-02 2010-06-10 オーガニック・モーション 三次元の物体を追跡記録するシステム及び方法
JP4948218B2 (ja) * 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US20080303748A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Remote viewing and multi-user participation for projections
CN102132091B (zh) * 2007-09-21 2013-10-16 皇家飞利浦电子股份有限公司 借助投影仪以3d对象的更改的2d图像来照明该3d对象的方法，以及适合于执行该方法的投影仪
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
JP2010033296A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的***和方法
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
IL196161A (en) * 2008-12-24 2015-03-31 Rafael Advanced Defense Sys Download shadows from images within a video signal
EP2234069A1 (en) * 2009-03-27 2010-09-29 Thomson Licensing Method for generating shadows in an image
JP2011087128A (ja) * 2009-10-15 2011-04-28 Fujifilm Corp 複眼カメラ及び被写体判別方法
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
KR101643612B1 (ko) * 2010-01-29 2016-07-29 삼성전자주식회사 촬영 방법 및 장치와 그 기록 매체
US8872824B1 (en) * 2010-03-03 2014-10-28 Nvidia Corporation System, method, and computer program product for performing shadowing utilizing shadow maps and ray tracing
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
ES2384732B1 (es) * 2010-10-01 2013-05-27 Telefónica, S.A. Método y sistema para segmentación de primer plano de imágenes en tiempo real.
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US20120146904A1 (en) * 2010-12-13 2012-06-14 Electronics And Telecommunications Research Institute Apparatus and method for controlling projection image
JP2012256214A (ja) * 2011-06-09 2012-12-27 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9332156B2 (en) * 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
US20120313945A1 (en) * 2011-06-13 2012-12-13 Disney Enterprises, Inc. A Delaware Corporation System and method for adding a creative element to media
US8824797B2 (en) * 2011-10-03 2014-09-02 Xerox Corporation Graph-based segmentation integrating visible and NIR information
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
AU2013215218B2 (en) * 2012-01-31 2015-04-23 Google Inc. Method for improving speed and visual fidelity of multi-pose 3D renderings
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130329073A1 (en) * 2012-06-08 2013-12-12 Peter Majewicz Creating Adjusted Digital Images with Selected Pixel Values
US9600927B1 (en) * 2012-10-21 2017-03-21 Google Inc. Systems and methods for capturing aspects of objects using images and shadowing
US9025022B2 (en) * 2012-10-25 2015-05-05 Sony Corporation Method and apparatus for gesture recognition using a two dimensional imaging device
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9007372B2 (en) * 2012-12-26 2015-04-14 Adshir Ltd. System for primary ray shooting having geometrical stencils
US9041714B2 (en) * 2013-01-31 2015-05-26 Samsung Electronics Co., Ltd. Apparatus and method for compass intelligent lighting for user interfaces
US10074211B2 (en) * 2013-02-12 2018-09-11 Thomson Licensing Method and device for establishing the frontier between objects of a scene in a depth map
US9454845B2 (en) * 2013-03-14 2016-09-27 Dreamworks Animation Llc Shadow contouring process for integrating 2D shadow characters into 3D scenes
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) * 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
GB2520312A (en) * 2013-11-15 2015-05-20 Sony Corp A method, apparatus and system for image processing
GB2520311A (en) * 2013-11-15 2015-05-20 Sony Corp A method, device and computer software
US9519999B1 (en) * 2013-12-10 2016-12-13 Google Inc. Methods and systems for providing a preloader animation for image viewers
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
US9465361B2 (en) * 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US10229483B2 (en) * 2014-04-30 2019-03-12 Sony Corporation Image processing apparatus and image processing method for setting an illumination environment
US9547918B2 (en) * 2014-05-30 2017-01-17 Intel Corporation Techniques for deferred decoupled shading
US9576393B1 (en) * 2014-06-18 2017-02-21 Amazon Technologies, Inc. Dynamic rendering of soft shadows for interface elements
JP2016050972A (ja) * 2014-08-29 2016-04-11 ソニー株式会社 制御装置、制御方法、及びプログラム
US9639976B2 (en) * 2014-10-31 2017-05-02 Google Inc. Efficient computation of shadows for circular light sources
US10068369B2 (en) * 2014-11-04 2018-09-04 Atheer, Inc. Method and apparatus for selectively integrating sensory content
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
GB2533581B (en) * 2014-12-22 2016-12-07 Ibm Image processing
JP6625801B2 (ja) * 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6520406B2 (ja) * 2015-05-29 2019-05-29 セイコーエプソン株式会社 表示装置及び画質設定方法
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9710934B1 (en) * 2015-12-29 2017-07-18 Sony Corporation Apparatus and method for shadow generation of embedded objects
GB2546811B (en) * 2016-02-01 2020-04-15 Imagination Tech Ltd Frustum rendering
US20190051039A1 (en) * 2016-02-26 2019-02-14 Sony Corporation Image processing apparatus, image processing method, program, and surgical system
US9846924B2 (en) * 2016-03-28 2017-12-19 Dell Products L.P. Systems and methods for detection and removal of shadows in an image
US10531064B2 (en) * 2016-04-15 2020-01-07 Canon Kabushiki Kaisha Shape reconstruction using electronic light diffusing layers (E-Glass)
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
US10134174B2 (en) * 2016-06-13 2018-11-20 Microsoft Technology Licensing, Llc Texture mapping with render-baked animation
US10438370B2 (en) * 2016-06-14 2019-10-08 Disney Enterprises, Inc. Apparatus, systems and methods for shadow assisted object recognition and tracking
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
ES2756677T3 (es) * 2016-09-26 2020-04-27 Canon Kk Aparato de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa
JP7286159B2 (ja) * 2016-09-29 2023-06-05 シグニファイ ホールディング ビー ヴィ サーマルセンシングによる奥行き手がかり
US10521664B2 (en) * 2016-11-04 2019-12-31 Loveland Innovations, LLC Systems and methods for autonomous perpendicular imaging of test squares
US10306254B2 (en) * 2017-01-17 2019-05-28 Seiko Epson Corporation Encoding free view point data in movie data container
US10158939B2 (en) * 2017-01-17 2018-12-18 Seiko Epson Corporation Sound Source association
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
EP3352137A1 (en) * 2017-01-24 2018-07-25 Thomson Licensing Method and apparatus for processing a 3d scene
JP6812271B2 (ja) * 2017-02-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US10210664B1 (en) * 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US10417810B2 (en) * 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
JP6924079B2 (ja) * 2017-06-12 2021-08-25 キヤノン株式会社 情報処理装置及び方法及びプログラム
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
JP2019053423A (ja) * 2017-09-13 2019-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN114777681A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
JP7109907B2 (ja) * 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN111480342B (zh) * 2017-12-01 2024-04-23 索尼公司 编码装置、编码方法、解码装置、解码方法和存储介质
US10885701B1 (en) * 2017-12-08 2021-01-05 Amazon Technologies, Inc. Light simulation for augmented reality applications
JP7051457B2 (ja) * 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10636200B2 (en) * 2018-01-19 2020-04-28 Htc Corporation Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium
US10643336B2 (en) * 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
US10699477B2 (en) * 2018-03-21 2020-06-30 Zoox, Inc. Generating maps without shadows
US10504282B2 (en) * 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
WO2019210087A1 (en) * 2018-04-25 2019-10-31 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for testing visual function using virtual mobility tests
CN110533707B (zh) * 2018-05-24 2023-04-14 微软技术许可有限责任公司 照明估计
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理***及影像处理方法
US10638151B2 (en) * 2018-05-31 2020-04-28 Verizon Patent And Licensing Inc. Video encoding methods and systems for color and depth data representative of a virtual reality scene
US10573067B1 (en) * 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
US10715784B2 (en) * 2018-08-24 2020-07-14 Verizon Patent And Licensing Inc. Methods and systems for preserving precision in compressed depth data representative of a scene
US10867404B2 (en) * 2018-08-29 2020-12-15 Toyota Jidosha Kabushiki Kaisha Distance estimation using machine learning
TWI699731B (zh) * 2018-09-11 2020-07-21 財團法人資訊工業策進會 影像處理方法與影像處理裝置
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10909713B2 (en) * 2018-10-25 2021-02-02 Datalogic Usa, Inc. System and method for item location, delineation, and measurement
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera
US10949978B2 (en) * 2019-01-22 2021-03-16 Fyusion, Inc. Automatic background replacement for single-image and multi-view captures
US10846920B2 (en) * 2019-02-20 2020-11-24 Lucasfilm Entertainment Company Ltd. LLC Creating shadows in mixed reality
US10762695B1 (en) * 2019-02-21 2020-09-01 Electronic Arts Inc. Systems and methods for ray-traced shadows of transparent objects
JP7391542B2 (ja) * 2019-06-04 2023-12-05 キヤノン株式会社 画像処理システム、画像処理方法、およびプログラム
GB2586157B (en) * 2019-08-08 2022-01-12 Toshiba Kk System and method for performing 3D imaging of an object
KR102625458B1 (ko) * 2019-08-27 2024-01-16 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
JP7451291B2 (ja) * 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20210407174A1 (en) * 2020-06-30 2021-12-30 Lucasfilm Entertainment Company Ltd. Rendering images for non-standard display devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082076A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李莹莹: "面向三维激光扫描的纹理图像处理技术研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249091A1 (zh) * 2020-06-10 2021-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及电子设备
US11776202B2 (en) 2020-06-10 2023-10-03 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer storage medium, and electronic device
CN111815750A (zh) * 2020-06-30 2020-10-23 深圳市商汤科技有限公司 对图像打光的方法及装置、电子设备和存储介质
CN112258629A (zh) * 2020-10-16 2021-01-22 珠海格力精密模具有限公司 一种模具制造处理方法、装置及服务器
WO2023071574A1 (zh) * 2021-10-25 2023-05-04 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210134049A1 (en) 2021-05-06
JPWO2019031259A1 (ja) 2020-09-10
WO2019031259A1 (ja) 2019-02-14
JP7003994B2 (ja) 2022-01-21
CN110998669B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN110998669B (zh) 图像处理装置和方法
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP5160643B2 (ja) ２次元画像からの３次元オブジェクト認識システム及び方法
US9020241B2 (en) Image providing device, image providing method, and image providing program for providing past-experience images
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US11227428B2 (en) Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region
CN111480342B (zh) 编码装置、编码方法、解码装置、解码方法和存储介质
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
JP2016537901A (ja) ライトフィールド処理方法
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
US11228707B1 (en) Scene capture for reconstruction of obscured views
JP2020173726A (ja) 仮想視点変換装置及びプログラム
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
US11627297B1 (en) Method for image processing of image data for a two-dimensional display wall with three-dimensional objects
CN114641980A (zh) 使用任意捕获的输入对捕获图像的遮挡视图的重构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant