CN109964253A - 图像处理设备、图像处理***、图像处理方法和程序 - Google Patents

图像处理设备、图像处理***、图像处理方法和程序 Download PDF

Info

Publication number
CN109964253A
CN109964253A CN201780067201.5A CN201780067201A CN109964253A CN 109964253 A CN109964253 A CN 109964253A CN 201780067201 A CN201780067201 A CN 201780067201A CN 109964253 A CN109964253 A CN 109964253A
Authority
CN
China
Prior art keywords
image
visual point
virtual visual
point image
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780067201.5A
Other languages
English (en)
Other versions
CN109964253B (zh
Inventor
高间康文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201911223799.XA priority Critical patent/CN110944119B/zh
Publication of CN109964253A publication Critical patent/CN109964253A/zh
Application granted granted Critical
Publication of CN109964253B publication Critical patent/CN109964253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

图像处理设备1基于多个相机从各个不同的方向对被摄体的拍摄和基于根据虚拟视点的指定的信息的虚拟视点图像，接受图像的生成指令。图像处理设备1然后以根据基于拍摄的图像和与虚拟视点的指定对应的信息生成输出到第一显示设备的第一虚拟视点图像和输出到第二显示设备的第二虚拟视点图像的方式，与生成指令的接受对应地执行控制。第二虚拟视点图像是具有比第一虚拟视点图像高的图像质量的虚拟视点图像。

Description

图像处理设备、图像处理***、图像处理方法和程序
技术领域
本发明涉及用于生成虚拟视点图像的技术。
背景技术
近来，用于通过在不同位置安装多个相机从多个视点拍摄被摄体并通过使用通过拍摄获得的多个视点图像生成虚拟视点图像或三维模型的技术引起了关注。根据如上所述的用于从多个视点图像生成虚拟视点图像的技术，例如，由于可以从各种角度观察足球或篮球中的突出场景，因此，与正常图像相比，能够向用户提供高度逼真的感觉。
根据PTL 1，描述了在通过相互组合从多个视点拍摄的图像生成虚拟视点图像的情况下，通过减少在图像中的物体的边界区域中呈现的单元来改善虚拟视点图像的图像质量。
引文列表
专利文献
PTL 1：日本专利公开No.2013-223008
发明内容
技术问题
但是，根据现有技术，可以想到在某些情况下不能生成与关于图像质量的多个不同要求对应的虚拟视点图像。例如，在仅生成具有高图像质量的虚拟视点图像的情况下，可以想到与生成有关的处理时间被延长，并且担心变得难以响应于即使图像质量低也愿意实时观察虚拟视点图像的用户的期望。另一方面，在仅生成具有低图像质量的虚拟视点图像的情况下，担心变得难以响应于虚拟视点图像的高图像质量优先于实时性能的用户的期望。
本发明是鉴于上述问题而完成的，并且其目的在于生成与关于图像质量的多个不同要求对应的虚拟视点图像。
问题的解决方案
为了解决上述的问题，根据本发明的图像处理设备包括例如以下的配置。即，图像处理设备包括：用于基于多个相机从各个不同的方向拍摄的拍摄图像和与虚拟视点的指定对应的视点信息接受虚拟视点图像的生成指令的接受装置；和用于以基于拍摄图像和虚拟视点信息通过生成装置生成供用户指定虚拟视点的第一虚拟视点图像和基于用户对虚拟视点的指定生成的第二虚拟视点图像的方式、根据接受装置对生成指令的接受来控制生成装置的控制装置，第二虚拟视点图像与第一虚拟视点图像相比具有高的图像质量。
本发明的有利效果
根据本发明，能够生成与关于图像质量的多个不同的要求对应的虚拟视点图像。
附图说明
图1是用于描述图像处理***10的配置的说明图。
图2是用于描述图像处理设备1的硬件配置的说明图。
图3是用于描述图像处理设备1的操作的一种模式的流程图。
图4是用于描述显示设备3的显示画面的配置的说明图。
图5是用于描述图像处理设备1的操作的一种模式的流程图。
图6是用于描述图像处理设备1的操作的一种模式的流程图。
具体实施方式
[***配置]
以下，将参考附图来描述本发明的实施例。首先，将通过使用图1来描述生成并输出虚拟视点图像的图像处理***10的配置。根据本实施例的图像处理***10包括图像处理设备1、相机组2、显示设备3和显示设备4。
应当注意，根据本实施例的虚拟视点图像是在从虚拟视点拍摄被摄体的情况下获得的图像。换句话说，虚拟视点图像是代表指定视点处的外观的图像。虚拟视点(假想视点)可以由用户指定，或者也可以基于图像分析的结果等被自动指定。即，虚拟视点图像包括与用户任意指定的视点对应的任意视点图像(自由视点图像)。另外，在虚拟视点图像中，还包括与多个候选中的由用户指定的视点对应的图像和与由设备自动指定的视点对应的图像。应当注意，根据本实施例，主要描述虚拟视点图像是运动图像的情况，但是虚拟视点图像也可以是静止图像。
相机组2包括多个相机，并且相机中的每一个从各个不同的方向拍摄被摄体。根据本实施例，包含于相机组2中的多个相机中的每一个连接到图像处理设备1，并且将拍摄图像和各相机的参数等传送到图像处理设备1。但是，应注意，配置不限于此，并且，包含于相机组2中的多个相机可以是相互可通信的，并且包含于相机组2中的相机中的任何一个可以将由多个相机拍摄的图像和多个相机的参数等传送到图像处理设备1。另外，作为拍摄图像的替代，包含于相机组2中的相机中的任何一个可以传送基于相机组2的拍摄的图像，诸如基于通过多个相机拍摄的图像之间的差异生成的图像。
显示设备3接受用于生成虚拟视点图像的虚拟视点的指定，并且将与指定对应的信息传送到图像处理设备1。例如，显示设备3包括诸如操纵杆、微动拨盘、触摸板、键盘或鼠标之类的输入单元，并且，指定虚拟视点的用户(操作者)操作输入单元以指定虚拟视点。根据本实施例的用户是操作显示设备3的输入单元以指定虚拟视点的操作者或观察由显示设备4显示的虚拟视点图像的观察者，并且，在不特别地相互区分操作者和观察者的情况下，简单地提到用户。根据本实施例，将主要描述观察者与操作者不同的情况，但是配置不限于此，并且观察者和操作者可以是同一用户。应当注意，根据本实施例，从显示设备3传送到图像处理设备1的与虚拟视点的指定对应的信息是指示虚拟视点的位置和取向的虚拟视点信息。但是，应当注意，配置不限于此，并且与虚拟视点的指定对应的信息可以是指示根据虚拟视点确定的内容的信息，诸如虚拟视点图像中的被摄体的形状或取向，并且，图像处理设备1可以基于与虚拟视点的指定对应的上述信息生成虚拟视点图像。
并且，显示设备3根据基于相机组2的拍摄的图像和由显示设备3接受的虚拟视点的指定，显示由图像处理设备1生成并输出的虚拟视点图像。据此，操作者可以在观察显示于显示设备3上的虚拟视点图像的同时执行虚拟视点的指定。应当注意，根据本实施例，显示虚拟视点图像的显示设备3被配置为接受虚拟视点的指定，但配置不限于此。例如，接受虚拟视点的指定的设备和显示虚拟视点图像以供操作者指定虚拟视点的显示设备可以是分开的设备。
显示设备3还基于操作者的操作对于图像处理设备1执行用于开始生成虚拟视点图像的生成指令。应当注意，生成指令不限于此，并且，例如，可以是对于图像处理设备1预约虚拟视点图像的生成使得在预定时间开始生成虚拟视点图像的指令。另外，生成指令可以是使得例如在发生预定事件的情况下开始生成虚拟视点图像的预约指令。应当注意，对于图像处理设备1执行虚拟视点图像的生成指令的设备可以是与显示设备3不同的设备，并且，用户可以对于图像处理设备1直接输入生成指令。
显示设备4对于与指定虚拟视点的操作者不同的用户(观察者)基于使用了显示设备3的操作者对虚拟视点的指定，显示由图像处理设备1生成的虚拟视点图像。应当注意，图像处理***10可以包括多个显示设备4，并且多个显示设备4可以分别显示不同的虚拟视点图像。例如，在图像处理***10中，可以包括显示要实况广播的虚拟视点图像(实况图像)的显示设备4和显示要在记录之后广播的虚拟视点图像(非实况图像)的显示设备4。
图像处理设备1包括相机信息获得单元100、虚拟视点信息获得单元110(以下，视点获得单元110)、图像生成单元120和输出单元130。相机信息获得单元100从相机组2获得要输出到图像生成单元120的基于相机组2的拍摄的图像、包括在相机组2中的各个相机的外部参数和内部参数等。视点获得单元110从显示设备3获得要输出到图像生成单元120的与操作者对虚拟视点的指定对应的信息。视点获得单元110还接受由显示设备3对虚拟视点图像的生成指令。图像生成单元120根据由相机信息获得单元100获得的基于拍摄的图像、由视点获得单元110获得的与指定对应的信息以及由视点获得单元110接受的生成指令，生成要输出到输出单元130的虚拟视点图像。输出单元130将由图像生成单元120生成的虚拟视点图像输出到诸如显示设备3或显示设备4之类的外部设备。
应当注意，根据本实施例，图像处理设备1生成要输出到与各个虚拟视点图像对应的输出目的地的、具有不同图像质量的多个虚拟视点图像。例如，与生成有关的处理时间短的具有低图像质量的虚拟视点图像被输出到由期望实时(低延迟)虚拟视点图像的观察者观察的显示设备4。另一方面，与生成有关的处理时间长的具有高图像质量的虚拟视点图像被输出到由期望具有高图像质量的虚拟视点图像的观察者观察的显示设备4。应当注意，根据本实施例的延迟与从执行相机组2的拍摄到显示基于拍摄的虚拟视点图像为止的时段对应。但是，应当注意，延迟的定义不限于此，并且例如，现实世界时间与和显示图像对应的时间之间的时间差可以被设定为延迟。
随后，将通过使用图2来描述图像处理设备1的硬件配置。图像处理设备1包括CPU201、ROM 202、RAM 203、辅助存储装置204、显示单元205、操作单元206、通信单元207和总线208。CPU 201通过使用存储于ROM 202或RAM 203中的计算机程序和数据来控制整个图像处理设备1。应当注意，图像处理设备1可以包括GPU(图形处理单元)，并且GPU可以执行CPU201的处理的至少一部分。ROM202存储不需要改变的程序和参数。RAM 203暂时存储从辅助存储装置204供给的程序和数据和经由通信单元207从外部供给的数据等。辅助存储装置204例如由硬盘驱动器等构成，并存储诸如静止图像和运动图像的内容数据。
显示单元205例如由液晶显示器等构成，并显示供用户操作图像处理设备1的GUI(图形用户界面)等。操作单元206例如由键盘或鼠标等构成，并接受用户的操作并将各种指令输入到CPU 201。通信单元207执行与诸如相机组2、显示设备3或显示设备4之类的外部设备的通信。例如，在图像处理设备1以有线方式连接到外部设备的情况下，LAN线缆等连接到通信单元207。应当注意，在图像处理设备1包括用于与外部设备无线通信的功能的情况下，通信单元207设置有天线。总线208通过将图像处理设备1的各个单元相互连接来传送信息。
应当注意，根据本实施例，显示单元205和操作单元206存在于图像处理设备1内部，但是也可以采用图像处理设备1未设置有显示单元205和操作单元206中的至少一个的配置。另外，显示单元205和操作单元206中的至少一个可以作为另一设备存在于图像处理设备1的外部，并且CPU 201可以作为控制显示单元205的显示控制单元和控制操作单元206的操作控制单元来操作。
[操作流程]
接下来，将通过使用图3来描述图像处理设备1的操作的一种模式。图3中所示的处理在视点获得单元110执行虚拟视点图像的生成指令的接受时开始，并且被周期性地重复(例如，在虚拟视点图像是运动图像的情况下，为每帧)。但是，应当注意，图3中所示的处理的开始定时不限于上述定时。当CPU 201将存储在ROM 202中的程序扩展到RAM 203中以执行时，实现图3中所示的处理。应当注意，图3中所示的处理的至少一部分可以由与CPU 201不同的专用硬件来实现。
在图3中所示的流程中，S2010和S2020对应于用于获得信息的处理，并且S2030至S2050对应于用于生成和输出供操作者指定虚拟视点的虚拟视点图像(指定图像)的处理。另外，S2070至S2100对应于用于生成和输出实况图像的处理。S2110至S2130对应于用于生成和输出非实况图像的处理。以下，将描述各个步骤中的处理的细节。
在S2010中，相机信息获得单元100获得基于相机组2的拍摄的各个相机的拍摄图像以及各个相机的外部参数和内部参数。外部参数是关于相机的位置和取向的信息，并且内部参数是关于相机的焦距和图像中心的信息。
在S2020中，视点获得单元110获得作为与操作者对虚拟视点的指定对应的信息的虚拟视点信息。根据本实施例，虚拟视点信息对应于从虚拟视点拍摄被摄体的虚拟相机的外部参数和内部参数，并且，需要一条虚拟视点信息以生成虚拟视点图像的一个帧。
在S2030中，图像生成单元120基于相机组2的拍摄图像估计对应于被摄体的物体的三维形状。对应于被摄体的物体例如是存在于相机组2的拍摄范围中的人、运动物体等。图像生成单元120计算从相机组2获得的拍摄图像与先前获得的对应于各个相机的背景图像之间的差异，以生成其中对应于拍摄图像中的物体的部分(前景区域)被提取的轮廓图像。然后，图像生成单元120使用对应于各个相机的轮廓图像和各个相机的参数来估计物体的三维形状。例如，视觉外形(Visual Hull)技术用于三维形状的估计。作为该处理的结果，获得代表对应于被摄体的物体的三维形状的3D点组(具有三维坐标的点集)。应当注意，从相机组2的拍摄图像导出物体的三维形状的方法不限于此。
在S2040中，图像生成单元120基于获得的虚拟视点信息执行3D点组和背景3D模型的呈现，并且生成虚拟视点图像。背景3D模型例如是诸如其中安装了相机组2的比赛场地的CG模型，并且被预先创建以保存在图像处理***10中。在通过迄今为止的处理生成的虚拟视点图像中，分别以预定颜色(例如，单色)显示对应于物体的区域和背景区域。应当注意，用于执行3D点组和背景3D模型的呈现的处理在游戏和电影领域中是已知的，并且，已知快速执行处理的方法，例如，通过使用GPU执行处理的方法。出于这种原因，可以根据相机组2的拍摄和操作者对虚拟视点的指定，迅速生成在直到S2040的处理中生成的虚拟视点图像。
在S2050中，输出单元130将由图像生成单元120在S2040中生成的虚拟视点图像输出到显示设备3，以供操作者指定虚拟视点。这里，将通过使用图4来描述显示设备3的显示画面30的画面配置。显示画面30由区域310、区域320和区域330构成。例如，在区域310中显示作为指定图像生成的虚拟视点图像，在区域320中显示作为实况图像生成的虚拟视点图像，并且在区域330中显示作为非实况图像生成的虚拟视点图像。即，在区域310中显示在S2040中生成并在S2050中输出的虚拟视点图像。然后，操作者在观察区域310的画面的同时执行虚拟视点的指定。应当注意，当显示设备3至少显示指定图像并且不一定需要显示实况图像和非实况图像时，这是足够的。
在S2060中，图像生成单元120确定是否执行用于生成与在S2040中生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的处理。例如，在仅需要用于指定虚拟视点的具有低图像质量的图像的情况下，流程不前进到S2070，并且处理结束。另一方面，在需要具有更高图像质量的图像的情况下，流程前进到S2070，并且处理继续。
在S2070中，例如，图像生成单元120通过使用照片外形(PhotoHull)技术进一步增加在S2030中估计的物体的形状模型(3D点组)的精度。具体而言，通过将3D点组的各个点投影到各个相机的拍摄图像上并评估各个拍摄图像中的颜色匹配率，确定该点是否是代表被摄体形状所需要的点。例如，关于3D点组中的某个点，投影目的地处的像素值的方差高于阈值，确定该点作为代表被摄体形状的点是不正确的，并且将该点从3D点组删除。关于3D点组中的所有点执行该处理，以实现物体的形状模型的精度的增加。应当注意，增加物体的形状模型的精度的方法不限于此。
在S2080中，图像生成单元120执行用于对在S2070中增加精度的3D点组进行着色并将其投影到虚拟视点的坐标上以生成对应于前景区域的前景图像的处理和用于生成从虚拟视点观察的背景图像的处理。然后，图像生成单元120将前景图像重叠到生成的背景图像上，以生成虚拟视点图像作为实况图像。
这里，将描述生成虚拟视点图像的前景图像(对应于物体的区域的图像)的方法的示例。执行用于着色3D点组的处理以生成前景图像。着色处理由点的可见性确定和颜色的计算处理构成。在可见性确定中，能够从3D点组中的各个点与包括在相机组2中的多个相机之间的位置关系识别可以关于各个点执行拍摄的相机。接下来，关于各个点，点被投影到可以拍摄该点的相机的拍摄图像上，并且投影目的地处的像素的颜色被设定为该点的颜色。在由多个相机拍摄某个点的情况下，该点被投影到多个相机的拍摄图像上，并且，获得投影目的地处的像素值，使得通过计算像素值的平均值来决定该点的颜色。当通过有关技术的CG呈现技术来执行由此着色的3D点组的呈现时，能够生成虚拟视点图像的前景图像。
接下来，将描述生成虚拟视点图像的背景图像的方法的示例。首先，设定背景3D模型的顶点(例如，对应于比赛场地边缘的点)。然后，这些顶点被投影到靠近虚拟视点的两个相机(被设定为第一相机和第二相机)的坐标系和虚拟视点的坐标系上。另外，通过使用虚拟视点和第一相机的对应点以及虚拟视点和第二相机的对应点，计算虚拟视点和第一相机之间的第一投影矩阵以及虚拟视点和第二相机之间的第二投影矩阵。然后，通过使用第一投影矩阵和第二投影矩阵将第一相机的拍摄图像和第二相机的拍摄图像投影到背景图像的各个像素上，并且计算投影目的地处的像素值的平均值，使得背景图像的像素值被决定。应当注意，可以通过类似的方法从三个或更多个相机的拍摄图像决定背景图像的像素值。
可以通过在由此获得的虚拟视点图像的背景图像上重叠前景图像来生成着色的虚拟视点图像。即，关于颜色的层次(gradation)的数量，在S2080中生成的虚拟视点图像与在S2040中生成的虚拟视点图像相比具有高的图像质量。相反，包含于在S2040中生成的虚拟视点图像中的颜色的层次的数量低于包含于在S2080中生成的虚拟视点图像中的颜色的层次的数量。应当注意，将颜色信息添加到虚拟视点图像的方法不限于此。
在S2090中，输出单元130将由图像生成单元120在S2080中生成的虚拟视点图像作为实况图像输出到显示设备3和显示设备4。输出到显示设备3的图像显示在区域320中并且可以由操作者观察，并且输出到显示设备4的图像可以由观察者观察。
在S2100中，图像生成单元120确定是否执行用于生成与在S2080中生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的处理。例如，在虚拟视点图像仅对于观察者被提供以实况广播的情况下，流程不前进到S2110，并且处理结束。另一方面，在记录之后要向观察者广播具有更高图像质量的图像的情况下，流程前进到S2110，并且处理继续。
在S2110中，图像生成单元120进一步增加在S2070中生成的物体的形状模型的精度。根据本实施例，通过删除形状模型的孤立点来实现精度的增加。在孤立点去除中，首先，关于由照片外形计算的体素集(3D点组)，研究是否在各个体素的周围存在另一个体素。在体素不存在于周围的情况下，确定体素是孤立点，并且从体素集删除该体素。当通过使用从中删除了孤立点的形状模型执行类似于S2080的处理时，生成与在S2080中生成的虚拟视点图像相比获得物体的形状的更高精度的虚拟视点图像。
在S2120中，图像生成单元120对在S2110中生成的虚拟视点图像的前景区域与背景区域之间的边界应用平滑处理，并且校正图像，使得边界区域被平滑地显示。
在S2130中，输出单元130将在S2120中由图像生成单元120生成的虚拟视点图像作为非实况图像输出到显示设备3和显示设备4。输出到显示设备3的非实况图像显示于区域330中。
通过上述处理，图像处理设备1基于一组拍摄图像和虚拟视点信息生成作为供操作者指定虚拟视点的指定图像的虚拟视点图像和对应于与指定图像相比具有高的图像质量的要对于观察者显示的虚拟视点图像的实况图像。这里，基于操作者对虚拟视点的指定生成实况图像。具体而言，实况图像是对应于根据由操作者对于指定图像的指定操作决定的虚拟视点的虚拟视点图像。另外，图像处理设备1还生成对应于与实况图像相比具有高的图像质量的虚拟视点图像的非实况图像。然后，图像处理设备1将生成的实况图像和非实况图像输出到显示设备4，使得在显示非实况图像之前显示实况图像。图像处理设备1还将生成的指定图像输出到显示设备3，使得在显示设备4上显示实况图像之前在显示设备3上显示指定图像。
据此，显示设备4可以显示具有低图像质量的指定图像、与指定图像相比具有高的图像质量的要实况广播的实况图像以及与实况图像相比具有甚至更高的图像质量的要在记录之后广播的非实况图像。应当注意，显示设备4还可以仅显示实况图像和非实况图像中的一个，并且，在上述情况下，图像处理设备1输出适合显示设备4的虚拟视点图像。另外，显示设备3可以显示包括作为指定图像的具有低图像质量的虚拟视点图像、作为实况图像的具有中等图像质量的虚拟视点图像以及作为非实况图像的具有高图像质量的虚拟视点图像的三种类型的虚拟视点图像。应当注意，当显示设备3不显示实况图像和非实况图像中的至少任何一个时，也是足够的。
即，图像处理设备1将指定图像输出到显示设备3以供用户指定虚拟视点。然后，图像处理设备1将与指定图像相比具有高的图像质量的实况图像和非实况图像中的至少任一个输出到显示设备4，用于显示基于用户对虚拟视点的指定生成的虚拟视点图像。据此，能够响应于期望为了指定虚拟视点而以低延迟显示虚拟视点图像的操作者和期望观察具有高图像质量的虚拟视点图像的观察者两者的要求。
应当注意，在上述处理中，根据基于相机组2的拍摄的图像和与虚拟视点的指定对应的信息生成虚拟视点图像，并且，基于用于生成的处理的结果生成具有高图像质量的虚拟视点图像。出于这种原因，与通过独立处理分别生成具有低图像质量的虚拟视点图像和具有高图像质量的虚拟视点图像的情况相比，可以减少整体处理量。但是，应当注意，也可以通过独立处理生成具有低图像质量的虚拟视点图像和具有高图像质量的虚拟视点图像。另外，在安装在比赛场地或音乐会场地中的显示器上显示虚拟视点图像的情况下或者在对应于在记录之后不需要广播图像的情况的广播实况中，图像处理设备1不执行用于生成非实况图像的处理。据此，能够减少用于生成具有高图像质量的非实况图像的处理量。
另外，作为要实况广播的实况图像的替代，或者除了实况图像之外，图像处理设备1可以生成要在拍摄之后显示的重放图像。例如，在相机组2的拍摄目标是诸如比赛场地中的足球比赛之类的比赛的情况下，重放图像在半场期间或比赛结束之后显示在比赛场地的显示器上。重放图像与指定图像相比具有高的图像质量，并且还以使得可以直到比赛结束或半场为止完成生成以用于显示的图像质量被生成。
接下来，将通过使用图5来描述图像处理设备1的操作的另一个模式。根据以上通过使用图3描述的操作模式，通过在生成具有低图像质量的虚拟视点图像之后另外执行新类型的处理来生成具有高图像质量的虚拟视点图像。另一方面，在下面将通过使用图5描述的操作模式中，通过增加用于生成虚拟视点图像的相机的数量实现虚拟视点图像的图像质量的增加。在以下的解释中，将省略与图3中的处理类似的部分的描述。
在视点获得单元110执行虚拟视点图像的生成指令的接受的定时，图5中所示的处理开始。但是，应当注意，图5的处理的开始定时不限于此。在S2010和S2020中，图像处理设备1通过类似于图3中所述的处理，获得相机组2的各个相机的拍摄图像和虚拟视点信息。
在S4030中，图像生成单元120设定对应于用于生成虚拟视点图像的拍摄图像的相机的数量。这里，图像生成单元120设定相机的数量，使得在短于或等于预定阈值的处理时间(例如，在虚拟视点图像是运动图像的情况下，对应于一帧的时间)内完成S4050至S4070中的处理。例如，假设通过预先使用100个相机的拍摄图像执行S4050至S4070中的处理，并且处理时间是0.5秒。在这种情况下，当期望在对应于帧速率为60fps(每秒帧数)的虚拟视点图像的一帧的0.016秒内完成S4050至S4070中的处理时，相机的数量被设定为3。
应当注意，在通过S4050至S4070中的处理输出虚拟视点图像之后、在S4080中确定继续图像生成的情况下，流程返回到S4030，并且再次设定使用的相机的数量。这里，延长允许的处理时间，使得将生成与先前输出的虚拟视点图像相比具有高的图像质量的虚拟视点图像，并且根据它增加相机的数量。例如，对应于要使用的拍摄图像的相机的数量被设定为20，使得在短于或等于0.1秒的处理时间内完成S4050至S4070中的处理。
在S4040中，图像生成单元120根据在S4030中设定的相机的数量，从相机组2选择对应于要使用的拍摄图像的相机，以生成虚拟视点图像。例如，在从100个相机选择3个相机的情况下，选择最靠近虚拟视点的相机和从该相机计数的第34个相机和第67个相机。
另外，在生成虚拟视点图像一次之后，在通过增加要使用的拍摄图像的数量第二次执行处理的情况下，由于在第一次处理中估计的形状模型的精度进一步增加，因此选择在第一处理中选择的相机之外的相机。具体而言，在从100个相机中选择20个相机的情况下，首先从在第一处理中未选择的相机中选择最靠近虚拟视点的相机，并且以每五个相机的间隔选择相机。此时，跳过在第一处理中已经选择的相机，并且选择下一个相机。应当注意，例如，在生成作为非实况图像的具有最高图像质量的虚拟视点图像的情况下，选择包含于相机组2中的所有相机，并且通过使用各个相机的拍摄图像执行S4050至S4070中的处理。
应当注意，选择对应于要使用的拍摄图像的相机的方法不限于此。例如，可以优先选择靠近虚拟视点的相机。在这种情况下，在对应于被摄体的物体的形状估计中从虚拟视点看不到的背面区域的形状估计的精度降低，但是从虚拟观点看到的正面区域的形状估计的精度得到改善。即，可以优先改善观察者在虚拟视点图像中容易观察的区域中的图像质量。
在S4050中，图像生成单元120通过使用经由在S4040中选择的相机拍摄的图像执行物体形状估计处理。这里的处理例如是图3中的S2030中的处理(视觉外形)和S2070中的处理(照片外形)的组合。视觉外形的处理包括用于计算对应于要使用的多个拍摄图像的多个相机的视觉体积的逻辑积的处理。另外，照片外形的处理包括用于将形状模型的各个点投影到多个拍摄图像上并计算像素值的一致性的处理。出于这种原因，随着对应于要使用的拍摄图像的相机的数量减少，形状估计的精度降低，并且处理时间缩短。
在S4060中，图像生成单元120执行呈现处理。这里的处理类似于图3中的S2080中的处理，并且包括用于3D点组的着色处理和用于背景图像的生成处理。用于3D点组的着色处理和用于背景图像的生成处理均包括用于通过利用对应于多个拍摄图像的点进行像素值的计算来决定颜色的处理。出于这种原因，随着对应于要使用的拍摄图像的相机的数量减少，呈现的精度降低，并且处理时间缩短。
在S4070中，输出单元130将在S4060中由图像生成单元120生成的虚拟视点图像输出到显示设备3或显示设备4。
在S4080中，图像生成单元120确定是否执行用于生成与在S4060中生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的处理。例如，在S4060中生成的虚拟视点图像是供操作者指定虚拟视点的图像并且要进一步生成实况图像的情况下，流程返回到S4030，并且，通过增加使用的相机的数量来生成作为实况图像的虚拟视点图像。另外，在生成实况图像之后进一步生成非实况图像的情况下，通过进一步增加相机的数量来生成作为非实况图像的虚拟视点图像。即，由于对应于用于生成作为实况图像的虚拟视点图像的拍摄图像的相机的数量高于对应于用于生成作为指定图像的虚拟视点图像的拍摄图像的相机的数量，因此实况图像与指定图像相比具有高的图像质量。类似地，由于对应于用于生成作为非实况图像的虚拟视点图像的拍摄图像的相机的数量高于对应于用于生成作为实况图像的虚拟视点图像的拍摄图像的相机的数量，因此非实况图像与实况图像相比具有高的图像质量。
应当注意，在S4080中，在确定不需要生成与已经生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的情况或者确定不能生成具有更高图像质量的虚拟视点图像的情况下，处理结束。
通过上述处理，图像处理设备1可以生成在分别适当的定时处逐步改善图像质量的多个虚拟视点图像以供输出。例如，通过将用于生成虚拟视点图像的相机的数量限制到可以在设定的处理时间内完成生成处理的数量，能够以很小的延迟生成指定图像。另外，在要生成实况图像和非实况图像的情况下，当通过增加使用的相机的数量执行生成处理时，能够生成更高图像质量的图像。
接下来，将通过使用图6来描述图像处理设备1的操作的另一个模式。根据以上通过使用图5描述的操作模式，当用于生成虚拟视点图像的相机的数量增加时，实现虚拟视点图像的图像质量的增加。另一方面，根据以下通过使用图6描述的操作模式，通过逐步增加虚拟视点图像的分辨率来实现虚拟视点图像的图像质量的增加。在以下的解释中，将省略与图3或图5中的处理类似的部分的描述。应当注意，根据下面描述的操作模式，要生成的虚拟视点图像的像素数量被常规地设定为4K(3840×2160)，并且取决于对各大像素块还是各小像素块执行像素值的计算来控制虚拟视点图像的分辨率。但是，应当注意，配置不限于此，并且可以通过改变要生成的虚拟视点图像的像素的数量来控制分辨率。
在视点获得单元110执行虚拟视点图像的生成指令的接受的定时，图6中所示的处理开始。但是，应当注意，图6的处理的开始定时不限于此。在S2010和S2020中，图像处理设备1通过类似于在图3中描述的处理，获得相机组2的各个相机的拍摄图像和虚拟视点信息。
在S5030中，图像生成单元120设定要生成的虚拟视点图像的分辨率。这里，图像生成单元120设定使得在短于或等于预定阈值的处理时间内完成S5050和S4070中的处理的分辨率。例如，假设执行预先生成具有4K分辨率的虚拟视点图像的情况下的S5050和S4070中的处理并且处理时间被设定为0.5秒。在这种情况下，当期望在对应于帧速率为60fps的虚拟视点图像的一帧的0.016秒内完成S5050和S4070中的处理时，分辨率需要为4K的0.016/0.5＝1/31.25倍或更低。鉴于上述情况，当虚拟视点图像的垂直和水平分辨率分别被设定为4K分辨率的1/8时，要计算像素值的像素块的数量变为1/64，并且可以在不到0.016秒内完成处理。
应当注意，在S4080中确定在通过S5050和S4070中的处理输出虚拟视点图像之后继续图像生成的情况下，流程返回到S5030，并且再次设定分辨率。这里，允许处理时间延长，使得生成与先前输出的虚拟视点图像相比具有高的图像质量的虚拟视点图像，并且根据它增加分辨率。例如，当垂直和水平分辨率分别被设定为4K分辨率的1/4时，可以在短于或等于0.1秒的处理时间内完成S5050和S4070中的处理。在S5040中，图像生成单元120根据在S5030中设定的分辨率，决定要在虚拟视点图像中计算像素值的像素的位置。例如，在虚拟视点图像的分辨率被设定为4K分辨率的1/8的情况下，分别以垂直和水平的方式对每八个像素计算像素值。然后，对于存在于计算像素值的像素(x，y)和像素(x+8，y+8)之间的像素设定与像素(x，y)相同的像素值。
另外，在生成虚拟视点图像一次之后，在通过增加分辨率执行第二次处理的情况下，通过跳过第一次计算了像素值的像素来计算像素值。例如，在分辨率被设定为4K分辨率的1/4的情况下，计算像素(x+4，y+4)的像素值，并且，对存在于像素(x+4，y+4)和像素(x+8，y+8)之间的像素，设定与像素(x+4，y+4)相同的像素值。以这种方式，当增加计算像素值的像素的数量时，可以将虚拟视点图像的分辨率增加到最大4K分辨率。
在S5050中，图像生成单元120通过计算在S5040中决定的位置中的像素的像素值，对虚拟视点图像执行着色处理。作为像素值的计算方法，例如，可以使用基于图像的视觉外形的方法。由于根据该方法对各像素计算像素值，因此，随着要计算像素值的像素的数量减少，即，随着虚拟视点图像的分辨率降低，处理时间缩短。
在S4070中，输出单元130将在S5050中由图像生成单元120生成的虚拟视点图像输出到显示设备3或显示设备4。
在S4080中，图像生成单元120确定是否执行用于生成与在S5050中生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的处理。例如，在S5050中生成的虚拟视点图像是供操作者指定虚拟视点的图像并且要进一步生成实况图像的情况下，流程返回到S5030，并且，生成具有增加的分辨率的虚拟视点图像。另外，在生成实况图像之后并且要进一步生成非实况图像时，生成作为非实况图像的分辨率进一步增加的虚拟视点图像。即，由于作为实况图像的虚拟视点图像与作为指定图像的虚拟视点图像相比具有高的分辨率，因此实况图像与指定图像相比具有高的图像质量。类似地，由于作为非实况图像的虚拟视点图像与作为实况图像的虚拟视点图像相比具有高的分辨率，因此非实况图像与实况图像相比具有高的图像质量。
应当注意，在S4080中，在确定不需要生成与已经生成的虚拟视点图像相比具有高的图像质量的虚拟视点图像的情况或者确定不能生成具有更高图像质量的虚拟视点图像的情况下，结束处理。
通过上述处理，图像处理设备1可以生成分别在适当的定时逐步改善分辨率的多个虚拟视点图像以供输出。例如，通过将虚拟视点图像的分辨率设定为使得可以在设定的处理时间内完成生成处理的分辨率，可以以很小的延迟生成指定图像。另外，在要生成实况图像和非实况图像的情况下，当通过增加分辨率执行生成处理时，能够生成更高图像质量的图像。
如上所述，图像处理设备1执行用于改善虚拟视点图像的图像质量以生成具有高图像质量的图像(例如，非实况图像)的图像处理。图像处理设备1还通过在对应于包括在图像处理中的部分处理的、短于或等于预定阈值的处理时间内执行的处理来生成具有低图像质量的图像(例如，实况图像)。据此，可以生成并显示要以短于或等于预定时间的延迟显示的虚拟视点图像和具有高图像质量的虚拟视点图像两者。
应当注意，在图6的解释中，假定估计用于在短于或等于预定阈值的处理时间内完成生成处理的生成参数(分辨率)并且虚拟视点图像是由估计的生成参数生成的。但是，应当注意，配置不限于此，并且图像处理设备1可以逐步改善虚拟视点图像的图像质量，并且在处理时间达到预定阈值的时间点处输出已经生成的虚拟视点图像。例如，在处理时间达到预定阈值的时间点处已经生成分辨率是4K分辨率的1/8的虚拟视点图像并且未完成分辨率是4K分辨率的1/4的虚拟视点图像的情况下，可以输出分辨率为1/8的虚拟视点图像。另外，可以输出在中途执行用于将分辨率从1/8分辨率改善到1/4分辨率的处理的虚拟视点图像。
根据本实施例，主要描述包含于图像处理设备1中的图像生成单元120基于由相机信息获得单元100获得的图像和由视点获得单元110获得的虚拟视点信息控制虚拟视点图像的生成并生成具有不同图像质量的多个虚拟视点图像的情况。但是，应当注意，配置不限于此，并且，用于控制虚拟视点图像的生成的功能和用于实际生成虚拟视点图像的功能可以分别包含于不同的设备中。
例如，具有图像生成单元120的功能并生成虚拟视点图像的生成设备(未示出)也可以存在于图像处理***10中。然后，图像处理设备1可以基于由相机信息获得单元100获得的图像和由视点获得单元110获得的信息控制生成设备对虚拟视点图像的生成。具体而言，图像处理设备1将拍摄图像和虚拟视点信息传送到生成设备并执行用于控制虚拟视点图像的生成的指令。然后，生成设备基于接受的拍摄图像和虚拟视点信息生成第一虚拟视点图像和要在比第一虚拟视点图像的显示更早的定时显示的第二虚拟视点图像，第二虚拟视点图像与第一虚拟视点图像相比具有低的图像质量。这里，第一虚拟视点图像是例如非实况图像，并且第二虚拟视点图像是例如实况图像。但是，应当注意，第一虚拟视点图像和第二虚拟视点图像的使用目的不限于此。应当注意，图像处理设备1可以执行控制，使得第一虚拟视点图像和第二虚拟视点图像由各自不同的生成设备生成。另外，图像处理设备1可以执行用于控制生成设备的虚拟视点图像的输出目的地和输出定时等的输出控制。
另外，生成设备可以包括视点获得单元110和图像生成单元120的功能，并且图像处理设备1可以基于通过相机信息获得单元100获得的图像来控制生成设备对虚拟视点图像的生成。这里，由相机信息获得单元100获得的图像是基于拍摄的图像，诸如由相机组2拍摄的拍摄图像和基于多个拍摄图像之间的差异生成的图像。另外，生成设备可以包括相机信息获得单元100和图像生成单元120的功能，并且图像处理设备1可以基于通过视点获得单元100获得的图像控制生成设备对虚拟视点图像的生成。这里，由视点获得单元110获得的图像是与虚拟视点的指定对应的信息，诸如指示根据虚拟视点确定的内容的信息(诸如虚拟视点图像中的被摄体的形状或取向)和虚拟视点信息。即，图像处理设备1可以获得包括基于拍摄的图像和与虚拟视点的指定对应的信息中的至少一个的与虚拟视点图像的生成有关的信息，并且基于获得的信息控制虚拟视点图像的生成。
另外，例如，存在于图像处理***10中的生成设备可以包括相机信息获得单元100、视点获得单元110和图像生成单元120的功能，并且图像处理设备1可以基于与虚拟视点图像的生成有关的信息控制生成设备对虚拟视点图像的生成。在这种情况下与虚拟视点图像的生成有关的信息包括例如由生成设备生成的关于第一虚拟视点图像的图像质量的参数和关于第二虚拟视点图像的图像质量的参数中的至少任一个。关于图像质量的参数的具体示例包括对应于用于生成虚拟视点图像的拍摄图像的相机的数量、虚拟视点图像的分辨率和作为与虚拟视点图像的生成有关的处理时间的允许时间等。图像处理设备1例如基于操作者的输入获得关于图像质量的这些参数，并且通过将参数传送到生成设备等来基于获得的参数控制生成设备。据此，操作者可以生成具有相互不同的期望图像质量的多个虚拟视点图像。
如上所述，图像处理设备1根据基于多个相机从各个不同方向对被摄体的拍摄的图像和与虚拟视点的指定对应的信息，接受虚拟视点图像的生成指令。然后，图像处理设备1根据生成指令的接受执行控制，使得根据基于拍摄的图像和与虚拟视点的指定对应的信息生成要输出到第一显示设备的第一虚拟视点图像和要输出到第二显示设备的第二虚拟视点图像。这里，第二虚拟视点图像是与第一虚拟视点图像相比具有高的图像质量的虚拟视点图像。据此，例如，在期望实时观察虚拟视点图像的用户和与实时性能相比优先考虑虚拟视点图像的高图像质量的用户均存在的情况下，也能够生成适于要执行显示的定时的虚拟视点图像。
应当注意，根据本实施例，已经描述了颜色层次、分辨率和对应于用于虚拟视点图像的生成的拍摄图像的相机的数量作为虚拟视点图像的图像质量被控制的情况，但是其它的参数可以作为图像质量被控制。另外，可以同时控制关于图像质量的多个参数。
也可以通过实现上述实施例的一个或更多个功能的程序经由网络或存储介质被供给到***或设备并且***或设备的计算机中的一个或多个处理器读出并且执行程序的处理，实现本发明。另外，本发明可以由实现一个或多个功能的电路(例如，ASIC等)来实现。另外，程序可以记录在要提供的计算机可读记录介质中。
本发明不限于上述的实施例，并且，可以在不背离本发明的精神和范围的情况下进行各种修改和变更。因此，为了使得本发明的范围公开，附带以下的权利要求。
本申请要求在2016年10月28日提交的日本专利申请No.2016-211905的利益，在此通过引用将其全部内容并入本文。

Claims (20)

1.一种图像处理设备，其特征在于包括：
接受装置，用于基于通过多个相机从各个不同的方向拍摄的拍摄图像和根据虚拟视点的指定的视点信息来接受虚拟视点图像的生成指令；和
控制装置，用于以基于所述拍摄图像和虚拟视点信息通过生成装置生成供用户指定所述虚拟视点的第一虚拟视点图像和基于用户对所述虚拟视点的指定生成的第二虚拟视点图像的方式，根据所述接受装置对所述生成指令的接受，来控制生成装置，所述第二虚拟视点图像与所述第一虚拟视点图像相比具有高的图像质量。
2.根据权利要求1所述的图像处理设备，其特征在于，所述第二虚拟视点图像是对于与指定所述虚拟视点的用户不同的观察者显示的虚拟视点图像。
3.根据权利要求1或2所述的图像处理设备，其特征在于，还包括输出控制装置，用于以在显示所述第二虚拟视点图像之前显示所述第一虚拟视点图像的方式，控制根据通过所述控制装置的控制生成的所述第一虚拟视点图像和所述第二虚拟视点图像的输出。
4.根据权利要求1或2所述的图像处理设备，其特征在于，还包括输出控制装置，用于以所述第一虚拟视点图像被输出到第一显示设备并且所述第二虚拟视点图像被输出到与所述第一显示设备不同的第二显示设备的方式，控制根据通过所述控制装置的控制生成的所述第一虚拟视点图像和所述第二虚拟视点图像的输出。
5.根据权利要求1至4中的任一项所述的图像处理设备，其特征在于，所述控制装置以除了所述第一虚拟视点图像和所述第二虚拟视点图像以外基于所述拍摄图像和所述视点信息通过所述生成装置生成与所述第二虚拟视点图像相比具有高的图像质量的第三虚拟视点图像的方式，根据所述接受装置对所述生成指令的接受，来控制所述生成装置。
6.根据权利要求5所述的图像处理设备，其特征在于，
所述第二虚拟视点图像是要被实况广播的虚拟视点图像，以及
所述第三虚拟视点图像是要在记录之后被广播的虚拟视点图像。
7.根据权利要求1至6中的任一项所述的图像处理设备，其特征在于，所述控制装置以通过使用用于生成所述第一虚拟视点图像的处理的结果生成所述第二虚拟视点图像的方式，来控制所述生成装置。
8.根据权利要求1至4中的任一项所述的图像处理设备，其特征在于，所述控制装置以通过执行用于改善虚拟视点图像的图像质量的图像处理生成所述第二虚拟视点图像并且通过在短于或等于对应于包含于所述图像处理中的部分处理的预定阈值的处理时间内执行的处理生成所述第一虚拟视点图像的方式，来控制所述生成装置。
9.根据权利要求1至8中的任一项所述的图像处理设备，其特征在于，包含于与所述第一虚拟视点图像相比具有高的图像质量的所述第二虚拟视点图像中的颜色的层次的数量高于包含于所述第一虚拟视点图像中的颜色的层次的数量。
10.根据权利要求1至9中的任一项所述的图像处理设备，其特征在于，与所述第一虚拟视点图像相比具有高的图像质量的所述第二虚拟视点图像是与所述第一虚拟视点图像相比具有高的分辨率的虚拟视点图像。
11.根据权利要求1至10中的任一项所述的图像处理设备，其特征在于，对应于用于生成与所述第一虚拟视点图像相比具有高的图像质量的所述第二虚拟视点图像的所述拍摄图像的相机的数量高于对应于用于生成所述第一虚拟视点图像的所述拍摄图像的相机的数量。
12.根据权利要求1至11中的任一项所述的图像处理设备，其特征在于，包括用于根据通过所述控制装置的控制生成所述第一虚拟视点图像和所述第二虚拟视点图像的所述生成装置。
13.根据权利要求1至11中的任一项所述的图像处理设备，其特征在于，通过所述控制装置的控制包括用于将所述拍摄图像和所述视点信息中的至少任一个输出到所述生成装置的处理。
14.根据权利要求1至11中的任一项所述的图像处理设备，其特征在于，通过所述控制装置的控制包括用于将关于所述虚拟视点图像的图像质量的参数输出到所述生成装置的处理。
15.根据权利要求14所述的图像处理设备，其特征在于，关于图像质量的参数包括对应于用于生成所述虚拟视点图像的所述拍摄图像的相机的数量、所述虚拟视点图像的分辨率和作为与所述虚拟视点图像的生成有关的处理时间的允许时间中的至少一个。
16.根据权利要求1至15中的任一项所述的图像处理设备，其特征在于，通过所述接受装置接受的所述生成指令是用于开始所述虚拟视点图像的生成的指令或者是用于预约所述虚拟视点图像的生成的指令。
17.一种图像处理***，用于基于通过多个相机从各个不同的方向的拍摄和基于虚拟视点的指定的虚拟视点图像来生成图像，所述图像处理***的特征在于包括：
获得装置，用于获得基于拍摄的图像；
第一生成装置，用于基于通过所述获得装置获得的图像生成供用户指定所述虚拟视点的第一虚拟视点图像；和
生成装置，用于基于对于通过所述第一生成装置生成的所述第一虚拟视点图像的虚拟视点的指定和通过所述获得装置获得的图像，生成与所述第一虚拟视点图像相比具有高的图像质量的第二虚拟视点图像。
18.一种图像处理方法，其特征在于包括：
接受步骤，基于通过多个相机从各个不同的方向拍摄的拍摄图像和根据虚拟视点的指定的视点信息，接受虚拟视点图像的生成指令；和
生成步骤，根据所述接受步骤中的所述生成指令的接受、基于所述拍摄图像和所述视点信息，生成供用户指定所述虚拟视点的第一虚拟视点图像和基于用户对所述虚拟视点的指定生成的第二虚拟视点图像，所述第二虚拟视点图像与所述第一虚拟视点图像相比具有高的图像质量。
19.根据权利要求18所述的图像处理方法，其特征在于，所述第二虚拟视点图像是对于与指定所述虚拟视点的用户不同的观察者显示的虚拟视点图像。
20.一种用于导致计算机作为根据权利要求1至16中的任一项的图像处理设备的各装置操作的程序。
CN201780067201.5A 2016-10-28 2017-10-20 图像处理设备、图像处理***、图像处理方法和存储介质 Active CN109964253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911223799.XA CN110944119B (zh) 2016-10-28 2017-10-20 图像处理***、图像处理方法和存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016211905A JP6419128B2 (ja) 2016-10-28 2016-10-28 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2016-211905 2016-10-28
PCT/JP2017/037978 WO2018079430A1 (ja) 2016-10-28 2017-10-20 画像処理装置、画像処理システム、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911223799.XA Division CN110944119B (zh) 2016-10-28 2017-10-20 图像处理***、图像处理方法和存储介质

Publications (2)

Publication Number Publication Date
CN109964253A true CN109964253A (zh) 2019-07-02
CN109964253B CN109964253B (zh) 2020-01-31

Family

ID=62023396

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911223799.XA Active CN110944119B (zh) 2016-10-28 2017-10-20 图像处理***、图像处理方法和存储介质
CN201780067201.5A Active CN109964253B (zh) 2016-10-28 2017-10-20 图像处理设备、图像处理***、图像处理方法和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911223799.XA Active CN110944119B (zh) 2016-10-28 2017-10-20 图像处理***、图像处理方法和存储介质

Country Status (11)

Country Link
US (2) US11128813B2 (zh)
EP (2) EP4012661A1 (zh)
JP (1) JP6419128B2 (zh)
KR (3) KR102364052B1 (zh)
CN (2) CN110944119B (zh)
AU (3) AU2017351012B2 (zh)
BR (1) BR112019008387B1 (zh)
CA (1) CA3041976C (zh)
ES (1) ES2908243T3 (zh)
RU (1) RU2708437C1 (zh)
WO (1) WO2018079430A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
JP6868288B2 (ja) * 2018-09-11 2021-05-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム
JP7353782B2 (ja) * 2019-04-09 2023-10-02 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021117482A1 (ja) * 2019-12-09 2021-06-17 ソニーグループ株式会社 情報処理装置および方法、プログラム、並びに、情報処理システム
JP7389140B2 (ja) * 2019-12-26 2023-11-29 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021131365A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、及びプログラム
JP6708917B1 (ja) * 2020-02-05 2020-06-10 リンクウィズ株式会社 形状検出方法、形状検出システム、プログラム
JP7476160B2 (ja) 2021-11-29 2024-04-30 キヤノン株式会社 情報処理装置、情報処理システム、及びプログラム
CN115883792B (zh) * 2023-02-15 2023-05-05 深圳市完美显示科技有限公司 一种利用5g和8k技术的跨空间实景用户体验***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061131A1 (en) * 2000-10-18 2002-05-23 Sawhney Harpreet Singh Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
CN1694512A (zh) * 2005-06-24 2005-11-09 清华大学 一种交互式多视点视频***中虚拟视点的合成方法
CN101080741A (zh) * 2005-07-15 2007-11-28 松下电器产业株式会社 用于图像合成的设备及方法
JP2013175988A (ja) * 2012-02-27 2013-09-05 Nec Casio Mobile Communications Ltd 映像送信装置、端末装置、映像送信方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486579B2 (ja) * 1999-09-02 2004-01-13 キヤノン株式会社 空間描画方法、仮想空間描画装置および記憶媒体
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
JP2004280250A (ja) * 2003-03-13 2004-10-07 Canon Inc 情報処理装置および方法
KR100779634B1 (ko) * 2003-06-20 2007-11-26 니폰 덴신 덴와 가부시끼가이샤 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치
JP2007150747A (ja) * 2005-11-28 2007-06-14 Matsushita Electric Ind Co Ltd 受信装置及び本線映像配信装置
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP4895042B2 (ja) 2007-07-20 2012-03-14 富士フイルム株式会社 画像圧縮装置、画像圧縮方法、及びプログラム
US9041722B2 (en) * 2007-11-16 2015-05-26 Sportvision, Inc. Updating background texture for virtual viewpoint animations
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
JP5517598B2 (ja) * 2009-12-22 2014-06-11 キヤノン株式会社 映像再生装置及びその制御方法
US8611674B1 (en) * 2010-01-18 2013-12-17 Disney Enterprises, Inc. System and method for invariant-based normal estimation
US8823797B2 (en) * 2010-06-03 2014-09-02 Microsoft Corporation Simulated video with extra viewpoints and enhanced resolution for traffic cameras
JP2012114816A (ja) * 2010-11-26 2012-06-14 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
CA2827621C (en) * 2011-03-18 2019-02-26 Sony Corporation Image processing apparatus and image processing method
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP6128748B2 (ja) 2012-04-13 2017-05-17 キヤノン株式会社 画像処理装置及び方法
KR101224221B1 (ko) * 2012-05-10 2013-01-22 쉐어쉐어주식회사 응용프로그램을 이용한 콘텐츠 운영 시스템
BR112014030593A2 (pt) * 2012-06-12 2017-06-27 Sony Corp dispositivo de processamento de informação, método de processamento de informação, e, programa
CN102801997B (zh) * 2012-07-11 2014-06-11 天津大学 基于感兴趣深度的立体图像压缩方法
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
CN105264876B (zh) * 2013-05-26 2019-04-23 皮克索洛特公司 低成本电视制作的方法及***
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
EP3055763A1 (en) * 2013-10-07 2016-08-17 VID SCALE, Inc. User adaptive 3d video rendering and delivery
JP6607433B2 (ja) 2014-06-23 2019-11-20 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ
JP6299492B2 (ja) * 2014-07-03 2018-03-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6477214B2 (ja) 2015-05-01 2019-03-06 セイコーエプソン株式会社 傾斜度測定方法及び装置並びに電子機器及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061131A1 (en) * 2000-10-18 2002-05-23 Sawhney Harpreet Singh Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
CN1694512A (zh) * 2005-06-24 2005-11-09 清华大学 一种交互式多视点视频***中虚拟视点的合成方法
CN101080741A (zh) * 2005-07-15 2007-11-28 松下电器产业株式会社 用于图像合成的设备及方法
JP2013175988A (ja) * 2012-02-27 2013-09-05 Nec Casio Mobile Communications Ltd 映像送信装置、端末装置、映像送信方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GREGOR MILLER 等: "Interactive Free-Viewpoint Video", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/228741517》 *

Also Published As

Publication number Publication date
KR20190064649A (ko) 2019-06-10
RU2708437C1 (ru) 2019-12-06
AU2017351012B2 (en) 2019-11-14
KR20210068629A (ko) 2021-06-09
CN109964253B (zh) 2020-01-31
EP3534337B1 (en) 2022-02-16
KR20200023513A (ko) 2020-03-04
EP3534337A4 (en) 2020-08-26
JP6419128B2 (ja) 2018-11-07
EP3534337A1 (en) 2019-09-04
ES2908243T3 (es) 2022-04-28
CN110944119A (zh) 2020-03-31
BR112019008387B1 (pt) 2021-02-23
CA3041976C (en) 2020-07-28
CA3041976A1 (en) 2018-05-03
CN110944119B (zh) 2022-04-26
AU2021269399A1 (en) 2021-12-16
AU2020200831A1 (en) 2020-02-20
KR102083767B1 (ko) 2020-03-02
KR102262731B1 (ko) 2021-06-10
KR102364052B1 (ko) 2022-02-18
AU2017351012A1 (en) 2019-05-23
AU2021269399B2 (en) 2023-09-28
US20210344848A1 (en) 2021-11-04
US20190253639A1 (en) 2019-08-15
BR112019008387A2 (pt) 2019-07-09
WO2018079430A1 (ja) 2018-05-03
JP2018073105A (ja) 2018-05-10
US11128813B2 (en) 2021-09-21
EP4012661A1 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
CN109964253A (zh) 图像处理设备、图像处理***、图像处理方法和程序
CN108765272B (zh) 图像处理方法、装置、电子设备及可读存储介质
KR101655078B1 (ko) 움직이는 사진 생성 방법 및 장치
JP2006107213A (ja) 立体画像印刷システム
JP7439146B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP7422468B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR20210059775A (ko) 이미지 합성
US20230394701A1 (en) Information processing apparatus, information processing method, and storage medium
CN108833772A (zh) 基于深度相机的拍照引导***及方法
JP6672417B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
JP2020102124A (ja) 画像生成装置、画像生成方法及びプログラム
CN110248104A (zh) 一种图像处理方法、装置及电子设备
CN109410306B (zh) 图像渲染方法、装置、存储介质、设备和虚拟现实***
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program
EP4296961A1 (en) Image processing device, image processing method, and program
JP7412826B1 (ja) 映像合成装置、映像合成方法、及びプログラム
KR20170082116A (ko) 움직이는 사진 생성 방법 및 장치
CN112381708A (zh) 滤镜切换方法、电子设备和计算机可读存储介质
JP2004054571A (ja) テクスチャマッピング方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant