CN112640472B - 信息处理设备、信息处理方法和存储介质 - Google Patents

信息处理设备、信息处理方法和存储介质 Download PDF

Info

Publication number
CN112640472B
CN112640472B CN201980055528.XA CN201980055528A CN112640472B CN 112640472 B CN112640472 B CN 112640472B CN 201980055528 A CN201980055528 A CN 201980055528A CN 112640472 B CN112640472 B CN 112640472B
Authority
CN
China
Prior art keywords
virtual viewpoint
virtual
camera
playback speed
viewpoint image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980055528.XA
Other languages
English (en)
Other versions
CN112640472A (zh
Inventor
米田圭吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112640472A publication Critical patent/CN112640472A/zh
Application granted granted Critical
Publication of CN112640472B publication Critical patent/CN112640472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了信息处理设备、信息处理方法和存储介质。所述信息处理设备进行控制以使得根据接受了与以第一回放速度回放虚拟视点图像期间的特定用户操作相对应的输入而改变的虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。

Description

信息处理设备、信息处理方法和存储介质
技术领域
本发明涉及信息处理设备、信息处理方法和存储介质。
背景技术
近年来，一种技术正受到关注，该技术用于通过将多个照相机安装在不同位置进行多视点同步摄像，并且使用通过摄像操作所获得的多个视点图像以不仅生成来自照相机安装位置的图像、而且还生成由一个或多个任意视点形成的虚拟视点图像。
使用虚拟视点图像的服务允许视频制作者根据例如通过拍摄足球比赛或篮球比赛所获得的视频来制作有影响的视点内容。另外，还允许作为内容的观看者的用户通过自由地移动他/她的视点来观看比赛，并且与传统的拍摄图像相比，向用户提供更逼真的观看体验。
专利文献1公开了用于实现虚拟照相机的操作者所期望的构图的虚拟照相机的控制方法。更具体地，公开了一种布置，其中，在包括任意视点视频数据的视频内容数据的回放期间，如果用户进行用以移动任意视点视频数据的视点的操作，则针对正回放的任意视点视频中的各区域来控制视点移动量。
引文列表
专利文献
专利文献1：日本特开2012-109719
发明内容
发明要解决的问题
然而，专利文献1中所描述的技术存在难以根据被摄体的移动来生成具有操作者所期望的构图的虚拟视点图像的问题。
考虑到上述问题而做出本发明，并且本发明的目的是提供一种便于生成具有虚拟视点的操作者所期望的构图的虚拟视点图像的技术。
用于解决问题的方案
根据本发明的实现上述目的的信息处理设备的特征在于包括：确定部件，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；接受部件，用于接受与以所述确定部件所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及控制部件，用于进行控制以基于所述接受部件所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。
发明的效果
根据本发明，便于生成具有虚拟视点的操作者所期望的构图的虚拟视点图像。
通过以下结合附图的描述，本发明的其它特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的组件。
附图说明
结合在说明书中并构成说明书一部分的附图例示了本发明的实施例，并且与说明书一起用于解释本发明的原理。
图1A是示出根据第一实施例的图像处理***的整体结构的示例的框图；
图1B是示出信息处理设备的硬件布置的示例的框图；
图2是示出根据第一实施例的信息处理设备的布置的示例的框图；
图3是示出根据第一实施例的时间概念的示例的图；
图4是例示根据第一实施例的记录时间计算单元的处理的示例的流程图；
图5A是例示根据第一实施例的信息处理设备的处理的示例的流程图；
图5B是例示根据第一实施例的信息处理设备的处理的示例的流程图；
图6是示出根据第二实施例的信息处理设备的布置的示例的框图；
图7是示出根据第二实施例的通信单元向虚拟视点图像生成服务器或记录编辑设备发送的照相机参数的示例的表；
图8是示出根据第三实施例的用于生成重放虚拟视点图像的UI的示例的图；以及
图9是示出根据第三实施例的控制器的示例的图。
具体实施方式
以下将参考附图描述实施例。注意，在下面描述的实施例中示出的布置仅是示例，并且本发明不限于所例示的布置。
(第一实施例)
<概述>
在第一实施例中，将描述在创建虚拟照相机的照相机路径时与再现照相机路径时之间改变虚拟视点图像的回放速度的示例。更具体地，当创建照相机路径时，通过在以两倍于实际时间(以0.5倍速度)回放虚拟视点图像的同时操作并移动与虚拟视点相对应的虚拟照相机来创建照相机路径。通过操作者指定适于创建照相机路径的回放速度，可以精确地移动虚拟照相机，并且这使得容易地追随虚拟视点图像中所包括的被摄体。此外，操作者还可以指定再现照相机路径时的回放速度。例如，以实际时间回放虚拟视点图像(两倍于创建照相机路径时的0.5倍速度)。这使得可以回放舒适的虚拟视点图像。照相机路径是指示与虚拟视点图像相对应的虚拟视点的时间变化的视点信息的示例。
<图像处理***的结构>
图1A是示出根据本实施例的图像处理***10的整体结构的框图。图像处理***10包括摄像***101、虚拟视点图像生成服务器102和信息处理设备103。图像处理***10能够生成虚拟视点图像。
摄像***101包括安装在不同位置的多个照相机，并且从多个视点同步拍摄多个图像。然后，将从多个视点同步拍摄的多个图像发送到虚拟视点图像生成服务器102。
虚拟视点图像生成服务器102基于从多个视点同步拍摄的多个图像生成从虚拟照相机观察到的虚拟视点图像，该虚拟照相机是与在摄像空间中可移动的虚拟视点相对应的虚拟照相机。也就是说，虚拟视点图像生成服务器102能够生成虚拟视点图像，该虚拟视点图像还包括从与摄像***101中包括的任何照相机的视点不同的视点观察到的图像。虚拟照相机的视点通过由稍后描述的信息处理设备103所确定的照相机参数来表示。
虚拟视点图像生成服务器102根据接收到的多个图像顺次生成虚拟视点图像。也就是说，虚拟视点图像生成服务器102可以生成实时虚拟视点图像。注意，可以由图像处理***10生成的实时虚拟视点图像是基于在考虑到相对于当前时间的摄像***101和虚拟视点图像生成服务器102中的处理延迟所确定的时间由摄像***101拍摄的多个图像的虚拟视点图像。
此外，虚拟视点图像生成服务器102包括数据库，并且具有记录所接收的多个图像的功能。因此，虚拟视点图像生成服务器102能够生成重放虚拟视点图像。重放虚拟视点图像是基于摄像***101在任意时间拍摄的图像的虚拟视点图像，例如在再现所创建的照相机路径时回放的虚拟视点图像。注意，除非另有说明，否则说明书中使用的词语“图像”包括运动图像的概念和静止图像的概念这两者。也就是说，图像处理***10可以处理静止图像和运动图像这两者。
信息处理设备103控制虚拟照相机并确定表示虚拟照相机的视点的照相机参数。虚拟照相机的照相机参数至少包括用于指定虚拟照相机的位置、姿势和时间的参数。虚拟照相机的照相机参数还可以包括变焦。照相机参数的时间是稍后将参考图3描述的播放开始时间和播放结束时间之间的时间。该时间可以以诸如20xx年x月x日x时x钟x秒等的格式表示，或者可以表示为当播放开始时间用作基准(零)时所获得的时间。
由照相机参数指定的虚拟照相机的位置可以是指示三维坐标组的位置。另外，由虚拟照相机的照相机参数指定的位置可以由三轴笛卡尔坐标系的X轴、Y轴和Z轴各自的坐标来指示。在这种情况下，由虚拟照相机的照相机参数指定的位置是指示坐标组的位置，并且可以由三个轴(即，X轴、Y轴和Z轴)的参数形成。注意，可以将摄像空间中的任意位置设置为原点。
由照相机参数指定的虚拟照相机的姿势可以由平摇、俯仰和侧倾的三个轴形成的角度来指示。在这种情况下，由照相机参数指定的虚拟照相机的姿势可以由三个轴(平摇、俯仰和侧倾)的参数形成。由照相机参数指定的虚拟照相机的变焦例如由作为一个轴的焦距来指示，并且变焦和时间各自被定义为一个轴的参数。
因此，虚拟照相机的照相机参数可以至少包括八个轴的参数。信息处理设备103可以控制这八个轴。注意，照相机参数可以包括定义其它元素的参数，并且可以不包括上述八个轴的所有参数。
信息处理设备103将所确定的虚拟照相机的照相机参数发送到虚拟视点图像生成服务器102。接着，虚拟视点图像生成服务器102基于所接收的照相机参数生成虚拟视点图像，并且将所生成的虚拟视点图像发送到信息处理设备103。注意，可以布置成使得实时虚拟视点图像和重放虚拟视点图像将按照本实施例的方式由一个信息处理设备103生成，或者可以布置成使得通过准备两个信息处理设备，在不同设备中生成实时虚拟视点图像和重放虚拟视点图像。
注意，图像处理***10的结构不限于图2所示的结构。例如，信息处理设备103可以包括虚拟视点图像生成服务器102。
<信息处理设备的硬件布置>
图1B是示出根据本实施例的信息处理设备103的硬件布置的示例的框图。信息处理设备103包括CPU 111、RAM 112、ROM 113、通信单元114和输入/输出单元115。
CPU 111通过读出并执行RAM 112和ROM 113中所存储的计算机程序和数据来控制信息处理设备103的整体操作。RAM 112临时存储从ROM 113读出的计算机程序、计算等的中间结果、经由通信单元114从外部供应的数据等。注意，ROM 113保存不需要改变的计算机程序和数据。注意，RAM 112和ROM 113被统称为存储器。
通信单元114包括以太网
Figure SMS_1
或USB等的通信单元，并且与虚拟视点图像生成服务器102通信。输入/输出单元115包括用于控制虚拟照相机的多个控制器和用于输出并显示虚拟照相机的状态等的多个显示单元。控制器例如是诸如操纵杆、滚轮式拨盘、触摸面板、键盘和鼠标等操作单元，并且各控制器可以接受与操作者的用户操作相对应的输入。例如，通过操作操纵杆，操作者可以自由地移动虚拟照相机在空间中的位置，或者自由地改变虚拟照相机在创建照相机路径时回放的虚拟视点图像中的方位和视角。更具体地，操作者可以在观察当创建照相机路径时回放的虚拟视点图像的同时、移动虚拟照相机以追随球场上的特定选手的一侧来生成照相机路径。
<信息处理设备的功能布置>
图2是示出根据本实施例的形成图像处理***10的信息处理设备103的功能布置的示例的框图。信息处理设备103包括通信单元114、输入/输出单元115、记录时间计算单元116、位置/姿势获得单元117和照相机路径存储单元118。信息处理设备103连接到虚拟视点图像生成服务器102。
通信单元114将使用以太网或USB等的通信单元从位置/姿势获得单元117或照相机路径存储单元118输入的照相机参数顺次输出到虚拟视点图像生成服务器102或输入/输出单元115。此外，通信单元114可以将使用以太网或USB等的通信单元从虚拟视点图像生成服务器102输入的虚拟视点图像顺次输出到输入/输出单元115。
输入/输出单元115将由操作者使用控制器输入的照相机参数或虚拟视点图像的模式输出到记录时间计算单元116。此外，输入/输出单元115将虚拟照相机的初始位置、初始姿势或移动指示量输出到位置/姿势获得单元117。移动指示量例如是与作为控制器的操纵杆的操作量(倾斜量)相对应的倾斜方向上的距离。可选地，移动指示量可以是与操纵杆的倾斜次数相对应的量。在这种情况下，可以预先确定为通过一次倾斜移动预定距离。可选地，如果从控制器输入相对于当前位置在x、y和z方向上的移动量，则可以使用这些值。虚拟照相机的操作者可以通过操作控制器来指定虚拟照相机的照相机参数或虚拟照相机的移动指示量。虚拟视点图像的模式的详情将稍后描述。
此外，输入/输出单元115将由操作者使用控制器输入的、基于摄像***101的摄像时间(下文中为播放时间)的重放虚拟视点图像的播放开始时间和播放结束时间输出到记录时间计算单元116。播放开始时间和播放结束时间各自例如由如下确定：视频制作者向虚拟照相机的操作者指示用于回放通过拍摄足球比赛等所获得的视频的实际时间，并且操作者使用控制器将实际时间输入到输入/输出单元115。注意，视频制作者和虚拟照相机的操作者不必是不同的人，并且视频制作者和虚拟照相机的操作者可以是同一人。此外，确定播放开始时间和播放结束时间的方法不限于该示例，并且也可以由图像处理***10自动地提取诸如得分场景等的特征场景的实际开始时间和实际结束时间来确定播放开始时间和播放结束时间。
此外，输入/输出单元115将由操作者使用控制器输入的、创建照相机路径时的虚拟视点图像的回放速度的信息和/或再现照相机路径时的虚拟视点图像的回放速度的信息输出到记录时间计算单元116。此外，输入/输出单元115将由操作者使用控制器输入的虚拟照相机的移动速度输出到位置/姿势获得单元117。假定创建照相机路径时的虚拟视点图像的回放速度由基于实际时间的速度的比率确定，但是回放速度的概念不限于此。另外，假定再现照相机路径时的虚拟视点图像的回放速度由基于用于在创建照相机路径时登记照相机参数的帧频(例如，60fps)的比率来确定，但是本发明不限于此。此外，假定虚拟照相机的移动速度由基于人类奔跑速度(例如，10m/s)的比率确定，但是移动速度的概念不限于此。注意，虚拟视点图像的回放速度不限于基于用户的指定操作来确定，并且可以自动地确定。例如，可以基于由摄像***101获得的多个拍摄图像中的至少任意拍摄图像中所包括的被摄体的移动来确定虚拟视点图像的回放速度。
另外，输入/输出单元115包括诸如多个显示器等的显示单元，并且显示从通信单元114输入的虚拟视点图像、照相机参数和虚拟照相机的状态。这使得操作者能够在观察显示单元上所显示的虚拟视点图像的同时使用控制器操作虚拟照相机。然而，本发明不限于此，并且操作显示单元的操作者和操作控制器的操作者可以不是同一人。
信息处理设备103包括用于控制虚拟视点图像的回放速度的至少两个模式。一个是照相机路径创建模式，并且另一个是照相机路径再现模式。例如，可以配置为使得切换按钮设置在作为输入/输出单元115的用户界面(UI)上，并且可以根据按钮的按下来切换模式。
<照相机路径创建模式>
照相机路径创建模式是如下模式：在该模式中，在从虚拟照相机所处的虚拟视点观察正在回放的虚拟视点图像(视频)的同时，基于操作者的操作在摄像空间中移动虚拟照相机，并且虚拟照相机的移动轨迹被存储为照相机路径。换句话说，照相机路径创建模式是如下模式：在该模式中，根据虚拟视点图像的回放期间的用户操作来改变与正在回放的虚拟视点图像相对应的虚拟视点，并且存储指示根据用户操作的虚拟视点的变化的视点信息。
在照相机路径创建模式中，记录时间计算单元116基于从输入/输出单元115输入的照相机参数、播放开始时间、播放结束时间和创建照相机路径时的虚拟视点图像的回放速度来确定要生成的虚拟视点图像的实际时间。然后，更新照相机参数中所包括的时间。此外，记录时间计算单元116将记录照相机路径信息的实际时间(照相机参数记录时间)添加到照相机参数，并且将照相机参数输出到位置/姿势获得单元117。这里，照相机参数的时间和照相机参数记录时间是不同的信息。
要生成的虚拟视点图像的时间从播放开始时间开始。当更新要生成的虚拟视点图像的时间时，基于先前生成的虚拟视点图像的时间和虚拟视点图像的回放速度来确定该时间。假定要生成的虚拟视点图像的时间不应超过播放结束时间。注意，确定时间的方法不限于此。此外，最初的照相机参数记录时间(照相机路径记录开始时间)和最后的照相机参数记录时间(照相机路径记录结束时间)存储在存储器中。
<照相机路径再现模式>
照相机路径再现模式是生成沿着所创建的照相机路径的虚拟视点图像(视频)的模式。在照相机路径再现模式中，记录时间计算单元116基于从输入/输出单元115输入的再现照相机路径时的虚拟视点图像的回放速度来计算要生成的虚拟视点图像的照相机参数记录时间。然后，记录时间计算单元116将计算出的照相机参数记录时间输出到照相机路径存储单元118。在计算照相机参数记录时间的方法中，例如，该时间从存储器中所存储的照相机路径记录开始时间开始，并且，如果照相机路径回放速度是1倍速度，则该时间以与记录照相机路径时相同的速度前进，以及如果照相机路径回放速度是2倍速度，则该时间以记录照相机路径的速度的两倍前进。注意，计算照相机参数记录时间的方法不限于此。
位置/姿势获得单元117基于从输入/输出单元115输入的虚拟照相机的移动指示量和移动速度、初始位置和初始姿势、以及从记录时间计算单元116输入的照相机参数，计算并获得要生成的虚拟视点图像的虚拟照相机的位置和姿势。然后，位置/姿势获得单元117更新照相机参数的位置和姿势，并且将更新后的照相机参数的信息输出到通信单元114和照相机路径存储单元118。虚拟照相机的位置和姿势分别从初始位置和初始姿势开始。在更新位置和姿势时，假定基于先前生成的虚拟视点图像的照相机参数的位置和姿势、虚拟照相机的移动指示量和移动速度来确定位置和姿势。注意，确定虚拟照相机的位置和姿势的方法不限于此。
照相机路径存储单元118顺次存储从位置/姿势获得单元117输入的虚拟照相机的照相机参数。此外，照相机路径存储单元118基于从记录时间计算单元116输入的照相机参数记录时间，从存储器中所存储的照相机参数中获得在该记录时间的照相机参数，并且将其输出到通信单元114。
<创建照相机路径和再现照相机路径时的虚拟视点图像的回放>
这里，图3是在创建照相机路径时以0.5倍回放速度回放虚拟视点图像并且在再现照相机路径时以两种速度(正常速度(1倍速度)和2倍速度)回放虚拟视点图像的情况下的根据第一实施例的时间轴的图像视图。
例如，将运动的播放时间(实际时间)定义为从播放开始时间到播放结束时间的时间。例如，假定为足球等的高光场景。由于创建照相机路径时的虚拟视点图像的回放速度是0.5倍速度，因此其回放时间变为播放时间的两倍。照相机路径记录时间是实际时间，并且与创建照相机路径时的虚拟视点图像的回放时间的长度相同。也就是说，照相机路径记录时间是播放时间的两倍。
在正常速度(1倍速度)的情况下，再现照相机路径时的虚拟视点图像的回放时间与创建照相机路径时的虚拟视点图像的回放时间和照相机路径记录时间的长度相同。也就是说，再现照相机路径时的虚拟视点图像的回放时间是播放时间的两倍。在2倍速度的情况下，再现照相机路径时的虚拟视点图像的回放时间与播放时间的长度相同。
也就是说，如果再现照相机路径时的虚拟视点图像的回放速度为正常速度(1倍速度)，则使重放虚拟视点图像的回放速度为播放时间的2倍。如果再现照相机路径时的虚拟视点图像的回放速度为2倍速度，则使重放虚拟视点图像的回放时间与播放时间的长度相同。
利用这种布置，在被摄体快速移动的情况下，操作者可以在减小照相机路径创建模式中的虚拟视点图像的回放速度(例如，以0.5倍速度)以便于追随被摄体的同时创建照相机路径。相反，在被摄体移动太慢(例如，观察缓慢移动的动物、或观察昆虫的羽化等)的情况下，操作者可以在增加照相机路径创建模式中的虚拟视点图像的回放速度以便于追随被摄体的同时创建照相机路径。
通常，照相机路径可以仅以与照相机路径记录时间相等的时间被再现。然而，根据本实施例，能够以播放时间(或任意时间)再现所创建的照相机路径。也就是说，在回放基于所创建的照相机路径以及多个拍摄图像而生成的虚拟视点图像的照相机路径再现模式中，通过设置与照相机路径创建模式中的回放速度不同的回放速度(例如，照相机路径创建模式中的回放速度的两倍)，可以以适于观看的回放速度回放虚拟视点图像。
<处理>
图4是例示由根据第一实施例的信息处理设备103的记录时间计算单元116进行的、在创建照相机路径时的照相机路径创建模式与再现照相机路径时的模式之间的切换处理的过程的流程图。
在步骤S401中，记录时间计算单元116从输入/输出单元115获得虚拟视点图像的回放速度的模式和各种参数。在步骤S402中，记录时间计算单元116判断在步骤S401中获得的模式的种类。如果模式是照相机路径创建模式，则处理前进至步骤S403。另一方面，如果模式是照相机路径再现模式，则处理前进至步骤S404。在步骤S403中，记录时间计算单元116计算播放时间，并更新照相机参数。然后，照相机参数被输出到位置/姿势获得单元117。在步骤S404中，记录时间计算单元116计算用于生成虚拟视点图像的照相机参数记录时间，并且将其输出到照相机路径存储单元118。由此，结束图4所例示的一系列处理。
<创建照相机路径时的处理>
接着，图5A是示出由根据第一实施例的信息处理设备进行的创建照相机路径时的处理的过程的流程图。
在步骤S501中，输入/输出单元115获得照相机参数(位置、姿势和时间)、虚拟照相机的初始位置和初始姿势以及重放虚拟视点图像的开始时间和结束时间作为初始参数。在步骤S502中，输入/输出单元115获得虚拟照相机的移动指示量、虚拟照相机的移动速度和创建照相机路径时的虚拟视点图像的回放速度作为参数。在步骤S503中，输入/输出单元115检查所获得的数据。如果输入/输出单元115能够检查所获得的数据，则处理前进至步骤S504。如果输入/输出单元115不能检查所获得的数据，则处理结束。
在步骤S504中，记录时间计算单元116基于全部由记录时间计算单元116所获得照相机参数、开始时间和结束时间、以及虚拟视点图像的回放速度，确定要生成的虚拟视点图像的播放时间，并且更新照相机参数的时间。注意，该时间从播放开始时间开始，并且不应超过播放结束时间。
在步骤S505中，位置/姿势获得单元117基于全部由位置/姿势获得单元117所获得的移动指示量、虚拟照相机的移动速度、初始位置和初始姿态以及照相机参数，计算要生成的虚拟视点图像的虚拟照相机的位置和姿势，并且更新照相机参数的位置和姿势。虚拟照相机的位置和姿势分别从初始位置和初始姿势开始。当更新位置和姿势时，基于先前照相机参数的位置和姿势、移动指示量和虚拟照相机的移动速度来确定位置和姿势。
在步骤S506中，照相机路径存储单元118将所确定的照相机参数记录在存储器中。在步骤S507中，通信单元114将更新后的移动目的地处的虚拟照相机的视点处的照相机参数发送到虚拟视点图像生成服务器102，并且指示生成虚拟视点图像。基于照相机参数中所包括的时间的信息，虚拟视点图像生成服务器102确定要生成的虚拟视点图像的时间，并且以所确定的时间的虚拟照相机的位置和姿势生成虚拟视点图像。
在步骤S508中，通信单元114从虚拟视点图像生成服务器102接收由虚拟视点图像生成服务器102生成的虚拟视点图像。
在步骤S509中，输入/输出单元115在诸如显示器等的显示单元上显示所接收的虚拟视点图像。然后，处理返回到步骤S502。虚拟照相机的操作者可以在观察虚拟视点图像的同时在步骤S502中使用输入/输出单元115的控制器操作并移动虚拟照相机。虚拟照相机的移动轨迹被创建为照相机路径。此外，如果需要，操作者可以在步骤S502中使用输入/输出单元115的控制器调整虚拟视点图像的回放速度或虚拟照相机的移动速度。注意，在图3所示的示例中，以恒定回放速度生成照相机路径，使得在不从固定值改变回放速度的情况下重复一系列处理。由此，图5A所例示的一系列处理结束。
<再现照相机路径时的处理>
接着，图5B是示出由根据第一实施例的信息处理设备进行的再现照相机路径时的处理的过程的流程图。
在步骤S510中，输入/输出单元115获得再现照相机路径时的虚拟视点图像的回放速度的信息作为参数。在步骤S511中，记录时间计算单元116基于所获得的虚拟视点图像的回放速度的信息来计算照相机参数记录时间。照相机参数记录时间从照相机路径记录开始时间开始。
在步骤S512中，照相机路径存储单元118从在步骤S506中记录在存储器中的照相机路径中获得与在步骤S511中计算的照相机参数记录时间相对应的照相机参数。在步骤S513中，照相机路径存储单元118检查在步骤S512中获得的数据。如果照相机路径存储单元118能够检查所获得的数据，则处理前进至步骤S514。另一方面，如果照相机路径存储单元118不能检查所获得的数据，则处理结束。
在步骤S514中，通信单元114将所获得的照相机参数发送到虚拟视点图像生成服务器102，并且指示生成虚拟视点图像。虚拟视点图像生成服务器102基于照相机参数中所包括的时间的信息来确定要生成的虚拟视点图像的时间，并且以所确定的时间的虚拟照相机的位置和姿势来生成虚拟视点图像。在步骤S515中，通信单元114从虚拟视点图像生成服务器102接收由虚拟视点图像生成服务器102生成的虚拟视点图像。
在步骤S516中，输入/输出单元115在诸如显示器等的显示单元上显示所接收到的虚拟视点图像。然后，处理返回到步骤S510。虚拟照相机的操作者可以在观察虚拟视点图像的同时在步骤S510中使用输入/输出单元115的控制器来调整再现照相机路径时的虚拟视点图像的回放速度。这使得能够在操作者认为重要的高光场景中以低的回放速度回放虚拟视点图像，而在不认为重要的场景中以高的回放速度回放虚拟视点图像。注意，在图3所示的示例中，以恒定回放速度再现照相机路径，使得在不从固定值改变回放速度的情况下重复一系列处理。由此，图5B所示的一系列处理结束。
如上所述，在本实施例中，进行如下处理：获得照相机路径创建模式中的虚拟视点图像的回放速度的信息，并且接受用于通过在虚拟视点图像中虚拟照相机从当前正在以所获得的回放速度回放的虚拟照相机的视点进行移动来创建照相机路径的操作，其中该照相机路径创建模式用于创建表示在回放虚拟视点图像的同时能够在摄像空间内自由移动的虚拟照相机的移动轨迹的照相机路径。
利用该处理，可以在创建照相机路径时将虚拟视点图像的回放速度调整为与被摄体的速度相对应的适当速度。例如，在被摄体快速移动的情况下，通过减小虚拟视点图像的回放速度并操作虚拟照相机，操作者可以容易地追随被摄体的移动，并且容易地创建照相机路径。相反，在被摄体移动太慢(例如，观察缓慢移动的动物、或观察昆虫的羽化等)的情况下，操作者可以在增加虚拟视点图像的回放速度以便于追随被摄体的同时创建照相机路径。
此外，配置为使得除了创建照相机路径时的虚拟视点图像的回放速度以外，还能够将再现照相机路径时的虚拟视点图像的回放速度调整为操作者的优选速度。由此，也可以以实际时间(或任意时间)再现所创建的照相机路径。
也就是说，在创建照相机路径时创建照相机路径变得容易，并且可以在再现照相机路径时提供基于实际时间且无违和感的虚拟视点图像。
(第二实施例)
在第二实施例中，将描述信息处理设备将虚拟视点图像的照相机参数(虚拟照相机的位置、姿势和时间等)中的一些或全部发送到外部设备并且外部设备记录和编辑重放虚拟视点图像的示例。
图6是示出根据本实施例的使用外部设备生成重放虚拟视点图像的图像处理***的结构示例的框图。图像处理***20包括摄像***201、虚拟视点图像生成服务器202和信息处理设备203，并且能够与作为外部设备的记录/编辑设备204通信。信息处理设备203包括通信单元214、输入/输出单元215、记录时间计算单元216、位置/姿势获得单元217和照相机路径存储单元218。
摄像***201与图2所示的摄像***101相同。虚拟视点图像生成服务器202可以将从通信单元214输入的照相机参数中的全部或一些的信息添加到虚拟视点图像，并将虚拟视点图像输出到记录/编辑设备204。假定通过例如在SDI(串行数字接口)信号的辅助区域中描述该信息来进行将信息添加到虚拟视点图像的方法，但是该方法不限于此。
通信单元214除了具有图2所示的通信单元114的功能之外，还具有使用以太网或USB等的通信部件将从位置/姿势获得单元217或照相机路径存储单元218输入的照相机参数中的全部或一些顺次发送到记录/编辑设备204的功能。
输入/输出单元215与图2所示的输入/输出单元115相同。记录时间计算单元216除了具有图2所示的记录时间计算单元116的功能之外，还具有将虚拟视点图像的回放速度添加到照相机参数的功能。位置/姿势获得单元217除了具有图2所示的位置/姿势获得单元117的功能之外，还具有将虚拟照相机的移动速度添加到照相机参数的功能。照相机路径存储单元218与图2所示的照相机路径存储单元118相同。
记录/编辑设备204记录从虚拟视点图像生成服务器202或通信单元214输入的虚拟视点图像。此外，记录/编辑设备204使用从虚拟视点图像生成服务器202或通信单元214输入的虚拟视点图像以及从通信单元214输入的照相机参数中的全部或一些来编辑虚拟视点图像。注意，这里获得的信息是照相机参数、虚拟视点图像的回放速度的信息和虚拟照相机的移动速度的信息。
编辑虚拟视点图像的方法的示例是操作者或***参考包括虚拟照相机的照相机参数(位置、姿势和时间等)、虚拟视点图像的回放速度和移动速度的信息的方法，并且如果虚拟视点图像的回放速度是0.5倍速度，则以2倍速度回放虚拟视点图像。这使得能够创建以实际时间回放的重放虚拟视点图像。注意，编辑虚拟视点图像的方法不限于此。
图7示出由通信单元214输出到虚拟视点图像生成服务器202或记录/编辑设备204的照相机参数的示例。然而，描述要输出的照相机参数的方法不限于此。在图7所示的示例中，时间为01：02：03：00，虚拟视点图像的回放模式为照相机路径创建模式，虚拟视点图像的回放速度为0.5，虚拟照相机的移动速度为0.5，虚拟照相机的x位置为100，并且虚拟照相机的y位置为200。注意，要从通信单元214向虚拟视点图像生成服务器202或记录/编辑设备204输出的参数不限于此。例如，在要输出的参数中可以包括指示与照相机路径创建模式中的回放速度不同的回放速度的信息(其是指示照相机路径再现模式中的回放速度的信息)。
利用如上所述的处理，信息处理设备能够将虚拟视点图像的照相机参数中的一些或全部发送到外部设备(例如，记录/编辑设备)，并且外部设备对重放虚拟视点图像进行记录/编辑。
根据本实施例，根据照相机路径的创建，虚拟视点图像及其元信息被顺次输出到记录/编辑设备。这使得能够更快地记录和编辑，以使得更快的视频分发成为可能。此外，存在于图像处理***外部的第三方可以使用记录/编辑设备来进行记录/编辑。
(第三实施例)
在第三实施例中，将描述虚拟照相机的操作者改变与虚拟视点图像的回放速度有关的参数或者与虚拟照相机的移动速度有关的参数的示例。
图8是根据本实施例的由操作者用来改变与虚拟视点图像的回放速度有关的参数以及与虚拟照相机的移动速度有关的参数的用户界面(UI)的图像视图。UI包括场景回放速度303、虚拟照相机移动速度404、慢照相机辅助率控制条702和场景回放速度控制条703。
操作者操作慢照相机辅助率控制条702作为与虚拟照相机的移动速度有关的参数。此外，操作者操作场景回放速度控制条703作为与虚拟视点图像的回放速度有关的参数。慢照相机辅助率控制条702和场景回放速度控制条703独立地操作。然而，慢照相机辅助率控制条702和场景回放速度控制条703的操作不限于此。例如，可以配置为使得：如果操作者操作场景回放速度控制条703以改变虚拟视点图像的回放速度，则适合于改变后的回放速度的虚拟照相机的移动速度可以自动地计算并且反映在慢照相机辅助率控制条702上，从而使慢照相机辅助率控制条702同步操作。
UI可以被显示在诸如输入/输出单元115中所包括的显示器等的显示单元上。可以使用诸如输入/输出单元115中所包括的控制器等的输入单元来操作UI。
在图8中，场景回放速度303是由输入/输出单元115输入并显示的虚拟视点图像的回放速度，并且该速度被输出到记录时间计算单元116。“100％”意味着正常回放速度。如果场景回放速度303低于100％，则进行慢回放。例如，如果实际时间1秒的视频被回放2秒，则场景回放速度303是50％。如果场景回放速度303高于100％，则进行快进回放。如果场景回放速度303是0％，则停止在输入/输出单元115上显示的虚拟视点图像。注意，即使场景回放速度303是0％，也可以控制虚拟照相机。例如，能够生成拍摄选手踢球的瞬间的该选手四周的虚拟视点图像。
慢照相机辅助率404是当启用慢照相机辅助功能时降低由输入/输出单元115输入并显示的照相机的移动速度的比率，并且该比率被输出到位置/姿势获得单元117。此时，根据照相机路径创建模式中的虚拟视点图像的回放速度自动地确定虚拟照相机的移动速度。也就是说，配置为使得虚拟照相机的移动速度根据场景回放速度(虚拟视点图像的回放速度)的改变而自动地改变。
例如，如果场景回放速度改变为50％，则与以改变后的回放速度回放虚拟视点图像期间的用户操作相对应的虚拟照相机的移动速度可以减小到正常移动速度的50％。此外，例如，如果场景回放速度改变为25％，则虚拟照相机的移动速度可以减小到正常移动速度的25％。慢照相机辅助减小场景回放速度和虚拟照相机的移动速度这两者，并且这便于用于记录重放剪辑的操作。例如，在创建用于追随快速移动的球的重放剪辑时，这便于虚拟照相机的操作。注意，如果场景回放速度被设置为100％或更高以进行快进，则虚拟照相机的移动速度也可以被设置为等于或高于正常速度。
慢照相机辅助率控制条702控制慢照相机辅助的执行期间将由输入/输出单元115输入并显示的虚拟照相机的移动速度，并且该移动速度被输出到位置/姿势获得单元117。场景回放速度控制条703控制由输入/输出单元115输入并显示的场景回放速度，并且场景回放速度被输出到记录时间计算单元116。
慢照相机辅助率控制条702和场景回放速度控制条703各自的功能不仅可以以如图8所示的条的形式实现，而且可以以例如使用下拉菜单的选择或使用文本框的直接输入的形式实现。此外，可以使用输入/输出单元115中所包括的控制器。这里，图9是示出根据本实施例的作为用于操作慢照相机辅助率或场景回放速度的控制器的窗口的示例的图。滑块1014被假定用于设置慢照相机辅助率或场景回放速度。
注意，滑块1014可以与慢照相机辅助率控制条702或场景回放速度控制条703同步。此外，可以预先在按钮1001至1013各自中设置值。通过按下按钮，慢照相机辅助率或场景回放速度的值可以由设置值代替，并且可以通过按下确定滑块1014来反映该设置值。然而，使用控制器的设置方法不限于此。
利用如上所述的处理，虚拟照相机的操作者可以容易地改变与虚拟视点图像的回放速度有关的参数或者与虚拟照相机的移动速度有关的参数。
注意，在以照相机路径创建模式作为示例的同时描述了上述各实施例。然而，本发明不仅适用于在创建照相机路径时而且适用于在操作虚拟照相机时。例如，通过根据虚拟视点图像的回放速度来改变虚拟照相机的移动速度(与用户操作相对应的虚拟照相机的移动量)，操作虚拟照相机以追随被摄体的移动变得容易。注意，可以配置为使得虚拟视点图像的回放速度和虚拟照相机的移动速度各自可以由操作者自由设置，或者根据虚拟视点图像的回放速度自动地确定虚拟照相机的移动速度。
根据虚拟视点图像的回放速度控制的虚拟视点的变化速度不限于虚拟照相机的移动速度(位置的变化速度)，并且其可以是虚拟照相机的方位或视角的变化速度。此外，可以基于虚拟视点图像的回放速度和与用户操作相对应的输入来确定虚拟视点的变化速度。例如，如果用户大幅倾斜控制器的操纵杆，则可以增加虚拟视点的变化速度，并且如果用户稍微倾斜操纵杆，则可以减小虚拟视点的变化速度。随着虚拟视点图像的回放速度增加，与用户操作相对应的虚拟视点的变化的灵敏度可以增加。此外，随着虚拟视点图像的回放速度增加，操纵杆倾斜到最大时的虚拟视点的变化速度的上限可以增加。
此外，上面描述了首先确定虚拟视点图像的回放速度、并且根据所确定的回放速度来控制虚拟视点的变化速度的示例，但是相反控制也是可以的。也就是说，可以根据与用户操作相对应的虚拟视点的变化速度来控制照相机路径创建模式中的虚拟视点图像的回放速度。例如，在用户不移动虚拟照相机时，可以以正常速度(1倍速度)回放虚拟视点图像，并且在用户正移动虚拟视点期间，可以以低于正常速度的速度(例如，0.5倍速度)回放虚拟视点图像。
(其它实施例)
本发明可以如下处理来实现：经由网络或存储介质将用于实现上述实施例的一个或多个功能的程序提供至***或设备，并且使该***或设备的计算机中的一个或多个处理器读出并执行程序。本发明还可以通过用于实现一个或多个功能的电路(例如，ASIC)来实现。
本发明不限于前述实施例，并且在本发明的精神内可以进行各种变化/改变。
本申请要求于2018年7月12日提交的日本专利申请2018-132639的优先权，其通过引用合并于此。

Claims (16)

1.一种信息处理设备，其特征在于，包括：
确定部件，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；
接受部件，用于接受与以所述确定部件所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及
控制部件，用于进行控制以基于所述接受部件所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。
2.根据权利要求1所述的信息处理设备，其特征在于，还包括：
视点信息生成部件，用于生成指示根据所述控制部件的控制的虚拟视点的时间变化的视点信息；以及
图像生成部件，用于基于所述视点信息生成部件所生成的视点信息以及所述多个拍摄图像，生成要以与所述确定部件所确定的回放速度不同的回放速度回放的虚拟视点图像。
3.根据权利要求1所述的信息处理设备，其特征在于，包括：
视点信息生成部件，用于生成指示根据所述控制部件的控制的虚拟视点的变化的视点信息；以及
输出部件，用于将所述视点信息生成部件所生成的视点信息输出到用于基于所述多个拍摄图像生成虚拟视点图像的图像生成设备。
4.根据权利要求3所述的信息处理设备，其特征在于，所述输出部件输出指示所述图像生成设备所生成的虚拟视点图像的回放速度的信息。
5.根据权利要求4所述的信息处理设备，其特征在于，所述确定部件所确定的回放速度与所述输出部件输出的信息所指示的回放速度不同。
6.根据权利要求1所述的信息处理设备，其特征在于，所述确定部件基于用户的指定操作来确定所述虚拟视点图像的回放速度。
7.根据权利要求1所述的信息处理设备，其特征在于，所述确定部件基于所述多个拍摄图像中的至少任意拍摄图像中所包括的被摄体的移动来确定所述虚拟视点图像的回放速度。
8.根据权利要求1所述的信息处理设备，其特征在于，所述控制部件基于所述确定部件所确定的回放速度来确定所述虚拟视点的变化速度的上限。
9.根据权利要求1所述的信息处理设备，其特征在于，所述控制部件基于所述确定部件所确定的回放速度来确定与用户操作相对应的所述虚拟视点的变化的灵敏度。
10.根据权利要求1所述的信息处理设备，其特征在于，所述控制部件基于所述接受部件所接受的输入来改变所述虚拟视点的位置、方位和视角其中至少任意项。
11.根据权利要求1所述的信息处理设备，其特征在于，所述确定部件确定照相机路径创建模式中的虚拟视点的回放速度，其中，在所述照相机路径创建模式中，在虚拟视点图像的回放期间创建指示该虚拟视点的移动轨迹的照相机路径。
12.一种存储介质，其存储用于使计算机用作权利要求1至11中任一项所述的信息处理设备的程序。
13.一种信息处理方法，其特征在于，包括：
确定步骤，用于确定基于多个拍摄图像的虚拟视点图像的回放速度；
接受步骤，用于接受与以所述确定步骤所确定的回放速度回放所述虚拟视点图像期间的用户操作相对应的输入；以及
控制步骤，用于进行控制以基于所述接受步骤中所接受的输入来改变与所述虚拟视点图像相对应的虚拟视点，并且进行控制以使得根据接受了与以第一回放速度回放所述虚拟视点图像期间的特定用户操作相对应的输入而改变的所述虚拟视点的变化速度变得低于根据接受了与以高于所述第一回放速度的第二回放速度回放所述虚拟视点图像期间的所述特定用户操作相对应的输入而改变的所述虚拟视点的变化速度。
14.根据权利要求13所述的信息处理方法，其特征在于，包括：
视点信息生成步骤，用于生成指示根据所述控制步骤中的控制的虚拟视点的时间变化的视点信息；以及
图像生成步骤，用于基于所述视点信息生成步骤中所生成的视点信息以及所述多个拍摄图像，生成要以与所述确定步骤中所确定的回放速度不同的回放速度回放的虚拟视点图像。
15.根据权利要求13所述的信息处理方法，其特征在于，在所述控制步骤中，基于所述确定步骤中所确定的回放速度来确定所述虚拟视点的变化速度的上限。
16.根据权利要求13所述的信息处理方法，其特征在于，在所述控制步骤中，基于所述确定步骤中所确定的回放速度来确定与用户操作相对应的所述虚拟视点的变化的灵敏度。
CN201980055528.XA 2018-07-12 2019-04-18 信息处理设备、信息处理方法和存储介质 Active CN112640472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018132639A JP7170441B2 (ja) 2018-07-12 2018-07-12 情報処理装置、情報処理方法及びプログラム
JP2018-132639 2018-07-12
PCT/JP2019/016562 WO2020012748A1 (ja) 2018-07-12 2019-04-18 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN112640472A CN112640472A (zh) 2021-04-09
CN112640472B true CN112640472B (zh) 2023-06-09

Family

ID=69142314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055528.XA Active CN112640472B (zh) 2018-07-12 2019-04-18 信息处理设备、信息处理方法和存储介质

Country Status (6)

Country Link
US (1) US11368666B2 (zh)
EP (1) EP3823287A4 (zh)
JP (1) JP7170441B2 (zh)
KR (1) KR102500615B1 (zh)
CN (1) CN112640472B (zh)
WO (1) WO2020012748A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2021199735A1 (zh) * 2020-03-30 2021-10-07
JP7451291B2 (ja) 2020-05-14 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2022032483A (ja) 2020-08-12 2022-02-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2022124047A1 (ja) * 2020-12-07 2022-06-16 ソニーグループ株式会社 情報処理装置、情報処理システム及び情報処理方法
US11941729B2 (en) 2020-12-11 2024-03-26 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
WO2018051688A1 (ja) * 2016-09-15 2018-03-22 キヤノン株式会社 仮想視点画像の生成に関する情報処理装置、方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066550B1 (ko) * 2008-08-11 2011-09-21 한국전자통신연구원 가상시점 영상 생성방법 및 그 장치
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
KR101665049B1 (ko) * 2010-08-11 2016-10-11 삼성전자주식회사 영상 처리 장치 및 방법
JP2012109719A (ja) 2010-11-16 2012-06-07 Canon Inc 映像処理装置及びその制御方法
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
WO2016038964A1 (ja) * 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置及び情報処理方法
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
JP6613774B2 (ja) * 2015-09-30 2019-12-04 アイシン精機株式会社 周辺監視装置
JP6482498B2 (ja) * 2016-05-25 2019-03-13 キヤノン株式会社 制御装置、制御方法、及び、プログラム
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP6840562B2 (ja) 2017-02-15 2021-03-10 キヤノン株式会社 光走査装置及び画像形成装置
JP2018182428A (ja) * 2017-04-06 2018-11-15 株式会社フューチャリズムワークス 映像配信装置、映像配信システム及び映像配信方法
JP7079242B2 (ja) * 2017-04-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
DE102017125544B3 (de) * 2017-05-15 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verarbeitungsverfahren und Verarbeitungssystem für Videodaten
US10360727B2 (en) * 2017-08-02 2019-07-23 Omnivor, Inc. Methods for streaming visible blocks of volumetric video
JPWO2019031306A1 (ja) * 2017-08-07 2020-08-06 シャープ株式会社 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
CN108289220B (zh) * 2018-01-15 2020-11-27 深圳市奥拓电子股份有限公司 虚拟图像处理方法、图像处理***及存储介质
JP7051457B2 (ja) 2018-01-17 2022-04-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7330683B2 (ja) 2018-11-06 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
WO2018051688A1 (ja) * 2016-09-15 2018-03-22 キヤノン株式会社 仮想視点画像の生成に関する情報処理装置、方法及びプログラム

Also Published As

Publication number Publication date
EP3823287A4 (en) 2022-04-20
CN112640472A (zh) 2021-04-09
KR20210016613A (ko) 2021-02-16
US20210120224A1 (en) 2021-04-22
JP7170441B2 (ja) 2022-11-14
KR102500615B1 (ko) 2023-02-16
EP3823287A1 (en) 2021-05-19
WO2020012748A1 (ja) 2020-01-16
JP2020010301A (ja) 2020-01-16
US11368666B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112640472B (zh) 信息处理设备、信息处理方法和存储介质
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7330683B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20200275083A1 (en) Information processing apparatus, information processing method, and computer readable storage medium
KR102484197B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP7458889B2 (ja) 画像表示装置、制御方法、およびプログラム
JP2007133660A (ja) 多視点映像合成装置及び多視点映像合成システム
JP2001202531A (ja) 動画像編集方法
JP7146472B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021230073A1 (ja) 情報処理装置、情報処理方法、及び表示装置
JP2020205549A (ja) 映像処理装置、映像処理方法、及びプログラム
JP2024019537A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021197082A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2006073026A (ja) 動画像編集方法
JP2022043539A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP5411806B2 (ja) 画像合成装置およびそのプログラム
JP2021043922A (ja) 情報処理装置、システム、生成方法、及び、プログラム
CN116964544A (zh) 信息处理装置、信息处理终端、信息处理方法和程序
JP2023173577A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023183059A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2020095465A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant