CN115039410A - 信息处理***、信息处理方法和程序 - Google Patents

信息处理***、信息处理方法和程序 Download PDF

Info

Publication number
CN115039410A
CN115039410A CN202180012433.7A CN202180012433A CN115039410A CN 115039410 A CN115039410 A CN 115039410A CN 202180012433 A CN202180012433 A CN 202180012433A CN 115039410 A CN115039410 A CN 115039410A
Authority
CN
China
Prior art keywords
viewer
effect
content
sight
viewers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012433.7A
Other languages
English (en)
Inventor
本间俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115039410A publication Critical patent/CN115039410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

该信息处理***包括控制单元。控制单元从当前参与通过网络实时再现通过对表演者的表演进行成像而获得的内容的多个观看者终端，获取指示在其中存在观看者的空间的坐标系上观看者的视线或位置的观看状态信息的集合以及识别观看者的识别信息。控制单元基于获取的各个观看状态信息的集合为各个观看者向内容添加效果。

Description

信息处理***、信息处理方法和程序
技术领域
本技术涉及信息处理***、信息处理方法和程序，其能够在***中向表演者呈现关于观看者的信息，该***用于将通过对表演者的表演进行成像而获得的内容经由网络实时分发给观看者。
背景技术
随着网络技术的发展，到远程位置的内容递送服务持续增长。例如，包括电影内容的运动图像分发已经通过其中内容数据从分发者分发给观看者并且观看者享受分发的内容的单向***来实现。
近年来，例如，在实时运动图像分发服务中，已经实现了其中分发者和观看者可以彼此通信的交互***。该***提供了通过内容以及内容本身来体验通信的新价值。
在这样的***中，用于将消息从观看者发送至分发者的通信手段主要是字符信息或声音信息。特别地，对于字符信息，将由观看者输入的字符信息叠加在分发的运动图像上，使得实现观看者之间以及分发者与观看者之间的通信。
作为用于通过网络实现通信的手段，例如，下面的专利文献1公开了用于多个用户在同一虚拟空间中执行平等的基于文本的通信的手段。
此外，下面的专利文献2公开了用于使用相同内容的用户彼此掌握他们的状态的手段。
引文列表
专利文献
专利文献1：日本专利申请公开第2009-211528号
专利文献2：日本专利第6519468号
发明内容
技术问题
在传统技术中，文本信息和声音信息主要用作用于在分发者与观看者之间进行通信的手段。然而，在通过网络执行的通信与直到现在在物理上接近的距离(另一方可以看到的距离)处执行的通信之间存在作为体验的大量差异。
例如，出于给予远程位置处的客户在有限的地方举行的现场音乐会的体验的目的，假设这样的服务，其中分发者实时获取表演者的图像和声音数据，将这些数据转换成用于分发的内容数据，并且经由网络将数据分发给电影院或每个家庭。在这种情况下，内容作为显示在屏幕上的内容被分发给电影院，并且作为可以在TV上观看的内容或作为可以在头戴式显示器(HMD)上观看的内容被分发给每个家庭。
在实际举行现场音乐会的场所中，表演者可以在确认有多少观众在场、观众在哪里、观众的物理分布如何、观众对表演者的演技、舞台风格、表演的反应如何等的同时适当地确定接下来的动作。另外，在观众的位置上，由于表演者在观察观众的位置和反应的同时确定接下来的动作，因此观众可以体验到除了收听音乐之外的通信，例如，让表演者的视线对着观众的方向、享受舞台风格——其中观众回应表演者的呼喊并且表演者回应观众的所谓的“呼喊和应答”、以及感受其他观众的反应。
另一方面，使用经由网络使用文本或声音的传统的通信手段很难再现这些通信体验。出于该原因，即使对于同一现场音乐会的观众，在实际场所获得的体验与经由网络在远程位置获得的体验之间也存在很大差距。
还存在这样的***，其中观看者可以将效果添加至经由网络分发的内容。由于这样的效果的外观对于任何观看者均是相同的，因此观看者不能从内容获得很大的真实感。
特别地，在每个观看者可以从虚拟视线(位置)观看的内容例如虚拟现实(VR)内容中，如果效果的外观是统一的，则这导致缺乏真实感。
鉴于上面的情况，本技术的目的是提供能够将与远程位置处的观看者的视线或位置对应的效果添加至实时分发的内容的信息处理***、信息处理方法和程序。
问题的解决方案
为了实现上述目的，根据本技术的实施方式的信息处理***包括控制器。控制器从多个观看者的终端获取观看状态信息以及观看者识别信息，终端经由网络正在实时再现其中对表演者的表演进行成像的内容，观看状态信息指示每个观看者的在其中存在观看者的空间的坐标系中的视线或位置，观看者识别信息识别观看者。此外，控制器基于所获取的观看状态信息为观看者中的每一个向内容添加效果。
结果，信息处理***可以将与远程位置的观看者的视线或位置对应的效果添加至实时分发的内容。这里，效果包括一切，例如包括颜色或光的舞台风格、化身图像等。
控制器可以与观看状态信息一起获取指示观看者的属性的属性信息，并且可以根据属性信息改变效果。
控制器可以当将效果添加至多个观看者中的第一观看者时，计算在空间的坐标系中设置的虚拟平面与不同于第一观看者的第二观看者的视线之间的交点的坐标，并且可以在内容中的与交点的坐标对应的位置处添加效果。
控制器可以将虚拟平面设置在空间的坐标系中第一观看者的观看位置后方。
结果，信息处理***可以将表达另一观看者的观看状态的效果添加至内容而不妨碍观看者的观看。
随着第二观看者的数目增加，控制器可以为与第二观看者对应的每个效果设置更低的分辨率。
结果，信息处理***可以防止由于正在观看内容的其他观看者的数目的增加而引起的添加效果的处理负荷增加，并且防止内容本身的质量劣化。
如果与第二观看者的视线的交点的坐标在第一观看者的坐标系中的视角锥外，则控制器可以改变效果的在视角锥内的添加位置。
结果，信息处理***使得观看者能够不断地浏览由另一观看者添加的效果，而不管另一观看者的视线位置如何。
控制器可以在与两个交点中的远离每个观看者的交点的坐标对应的位置处为多个观看者中的每一个添加效果，所述两个交点在其中存在表演者的空间的坐标系中的以表演者的位置为中心设置的区域与多个观看者中的每一个的视线之间。
结果，信息处理***可以为每个观看者添加效果并再现内容，以便不妨碍正在关注内容中的表演者的每个观看者的观看。
控制器可以响应于包括指示效果的属性的效果识别信息的效果添加请求来添加效果，效果添加请求是从每个观看者的终端接收的，并且当由效果识别信息指示的属性是平面效果时，可以在其中存在表演者的空间的坐标系中的表演者后方并且在每个观看者的视线上为每个观看者设置预定平面，并且可以将效果添加在预定平面上。
结果，信息处理***可以以适合于每个观看者的形式再现具有特定属性的效果。
控制器可以响应于从每个观看者的终端接收的效果添加请求而添加效果，并且当将效果添加至多个观看者中的第一观看者时，可以仅响应于多个观看者的效果添加请求中的来自第二观看者的效果添加请求而添加效果，该第二观看者的视线或位置在第一观看者的视线或位置的预定距离内。
结果，信息处理***可以通过仅过滤接近观看者的效果而不是响应于所有效果添加请求添加效果，防止由于处理量的增加而引起的内容分发的延迟和通信数据的增加。
控制器可以获取指示正在再现内容的观看者的终端的数目的信息，并且可以根据数目增加所添加的效果的成效。
结果，信息处理***可以使得观看者能够通过效果的成效掌握同时观看的其他观看者的规模。这里，效果的成效例如是在光线的效果的情况下的光线的数目，或者在光的效果的情况下的光的亮度，但是本技术不限于此。
根据本技术的另一实施方式的信息处理方法包括：从多个观看者的终端获取观看状态信息以及观看者识别信息，终端经由网络正在实时再现其中对表演者的表演进行成像的内容，观看状态信息指示每个观看者的在其中存在观看者的空间的坐标系中的视线或位置，观看者识别信息识别观看者；以及基于所获取的观看状态信息为观看者中的每一个向内容添加效果。
根据本技术的另一实施方式的程序使信息处理装置执行以下步骤：从多个观看者的终端获取观看状态信息以及观看者识别信息，终端经由网络正在实时再现其中对表演者的表演进行成像的内容，观看状态信息指示每个观看者的在其中存在观看者的空间的坐标系中的视线或位置，观看者识别信息识别观看者；以及基于所获取的观看状态信息为观看者中的每一个向内容添加效果。
发明的有益效果
如上所述，根据本技术，可以将与远程位置处的观看者的视线或位置对应的效果添加至实时分发的内容。然而，上述成效并不限制本技术。
附图说明
[图1]是示出根据本技术的实施方式的内容分发***的配置的图。
[图2]是示出内容分发***的工作室中的设备安装示例的图。
[图3]是示出内容分发***中包括的观看者信息管理服务器的硬件配置的图。
[图4]是示出由内容分发***进行的内容分发处理的流程的流程图。
[图5]是示出当在内容分发***中存在相对于内容具有不同位置和姿势的观看者时的显示示例的图。
[图6]是示出由内容分发***进行的观看者信息显示处理的流程的流程图。
[图7]是示出在内容分发***中观看者的视线信息向表演者的呈现示例的图。
[图8]是示出在内容分发***中与观看者的移动对应的视线信息的显示示例的图。
[图9]是示出内容分发***的工作室中的设备安装示例的修改示例的图。
[图10]是示出在内容分发***中的相同位置处显示具有不同视线的不同观看者的信息的示例的图。
[图11]是示出在内容分发***中与观看者的视线是否指向表演者对应的视线信息的显示示例的图。
[图12]示出了在内容分发***中示出可以由观看者针对表演者请求的效果与其动作之间的关系的表。
[图13]是示出在内容分发***中从观看者到表演者的效果的显示示例的图。
[图14]是示出直方图的显示示例的图，该直方图示出了在内容分发***中表演者和观看者的视线相配的次数。
[图15]是示出内容分发***响应于来自观看者的请求而向内容添加效果的流程的流程图。
[图16]是示出内容分发***响应于来自观看者的请求而向内容添加效果的流程的概念图。
[图17]是示出在内容分发***中向内容添加效果的处理的修改示例的图。
[图18]示出了在内容分发***中表演者、多个观看者和显示器具有特定位置关系的情况的图。
[图19]是示出在图18的情况下将表示其他观看者的观看状态的信息添加至特定观看者观看的内容的状态的图。
[图20]是示出在图18的情况下通过虚拟地移动和放大显示，将表示观看者的观看状态的信息添加至特定观看者观看的内容的状态的图。
[图21]是示出在内容分发***中根据来自观看者的请求的光的效果的再现示例的图。
[图22]是示出图21的效果的再现位置的调整示例的图。
[图23]是示出在内容分发***中能够设置效果生成中心的区域的图，该区域被设置为以表演者为中心。
[图24]是示出使用在图23的示例中设置的区域为每个观看者设置效果生成中心的状态的图。
[图25]是示出在内容分发***中为具有不同视线的每个观看者布置具有不同平面参数的背景内容的示例的图。
[图26]是示出在图25的情况下效果的再现示例的图。
实现发明的方式
在下文中，将参照附图描述根据本技术的实施方式。
[***的概述]
图1是示出根据本技术的实施方式的内容分发***的配置的图。
图1是示出***的整体配置的图，以及图2是示出***中包括的内容成像工作室中的设备安装示例的图。
如两图中所示，本***包括内容成像工作室中的观看者信息管理服务器、表演者输出***300、内容创建服务器400和内容分发服务器500，以及经由网络50例如因特网连接至上面这些的多个观看者输出***200。
内容创建服务器400使用上面提及的专门用于创建内容的工作室，以通过对表演者的表演实时地进行成像来创建内容。创建的内容经由网络50流式传输至观看者。
分发给观看者的内容是基于3D模型和环绕声配置的虚拟现实(VR)内容。如图2所示，工作室包括用于创建内容的包括一个或更多个相机51和麦克风52的成像设备，并且内容创建服务器400基于成像数据来创建分发内容。
观看者信息管理服务器100从观看者输出***200适当地获取与观看者的观看状态有关的信息(例如，观看者的虚拟视线或虚拟位置)，并且管理信息。
表演者输出***300包括用于将与观看者的观看状态有关的信息输出至出现在内容中的表演者的一个或更多个显示器53。
观看者信息管理服务器100将从观看者输出***200接收的信息例如观看者的观看状态发送至内容创建服务器400。内容创建服务器400还可以根据信息来改变分发内容。
由内容创建服务器400创建和改变的内容由内容分发服务器500经由网络50从内容分发服务器500分发给每个内容观看者(观看者输出***200)。
[观看者信息管理服务器的硬件配置]
图3是示出观看者信息管理服务器100的硬件配置的图。
如图3所示，观看者信息管理服务器100包括中央处理单元(CPU)11、只读存储器(ROM)12和随机存取存储器(RAM)13。此外，观看者信息管理服务器100可以包括主机总线14、桥接器15、外部总线16、接口17、输入装置18、输出装置19、存储装置20、驱动器21、连接端口22和通信装置23。此外，观看者信息管理服务器100可以根据需要包括成像装置26和传感器27。替代CPU 11或除了CPU 11之外，观看者信息管理服务器100可以包括诸如数字信号处理器(DSP)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)的处理电路。
CPU 11用作算术处理单元和控制单元，并且根据记录在ROM 12、RAM 13、存储装置20中或可移除记录介质24上的各种程序来控制观看者信息管理服务器100的整体操作或操作中的一部分。ROM 12存储要由CPU 11使用的程序、算术参数等。RAM 13主要存储要在CPU11的执行中使用的程序、在执行中适当改变的参数等。CPU 11、ROM 12和RAM13通过由诸如CPU总线的内部总线配置的主机总线14彼此连接。此外，主机总线14经由桥接器15连接至诸如观看者信息管理服务器I(***部件互连/接口)总线的外部总线16。
输入装置18是由用户操作的装置，例如触摸面板、物理按钮、开关和控制杆。输入装置18可以是例如使用红外线或其他无线电波的远程控制装置，或者可以是诸如与观看者信息管理服务器100的操作对应的智能电话或智能手表的外部连接装置25。输入装置18包括输入控制电路，该输入控制电路基于由用户输入的信息来生成输入信号并且将输入信号输出至CPU 11。用户操作输入装置18以将各种类型的数据输入至观看者信息管理服务器100或指示观看者信息管理服务器100执行处理操作。
输出装置19由能够使用视觉、听觉、触觉等向用户通知所获取的信息的装置构成。输出装置19例如可以是诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置、诸如扬声器的声音输出装置等。输出装置19例如将通过观看者信息管理服务器100的处理获得的结果输出为文本或诸如图像的视频、声音或诸如声学的声音、或振动。
存储装置20是用于存储数据的装置，其被配置为观看者信息管理服务器100的存储单元的示例。存储装置20例如由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光学存储装置或磁光存储装置构成。存储装置20存储例如要由CPU 11执行的程序、各种类型的数据、从外部获取的各种类型的数据、从观看者输出***200获取的数据(稍后要描述的视线参数、观看者的化身图像等)等。
驱动器21是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质24的读取器/写入器，并且内置地或外部地附接至观看者信息管理服务器100。驱动器21读取记录在所安装的可移除记录介质24上的信息，并且将所读取的信息输出至RAM 13。此外，驱动器21将记录写入所安装的可移除记录介质24。
连接端口22是用于将装置连接至观看者信息管理服务器100的端口。连接端口22可以是例如通用串行总线(USB)端口、IEEE1394端口或小型计算机***接口(SCSI)端口。此外，连接端口22可以是RS-232C端口、光学音频端子、高清晰度多媒体接口(HDMI)端口等。外部连接装置25连接至连接端口22，使得可以在观看者信息管理服务器100与外部连接装置25之间交换各种类型的数据。
通信装置23是例如通信接口，该通信装置23由用于连接至通信网络50的通信装置构成。通信装置23可以是例如用于局域网(LAN)、蓝牙(注册商标)、Wi-Fi或无线USB(WUSB)的通信卡。此外，通信装置23可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器或用于各种通信的调制解调器。通信装置23使用诸如TCP/IP的预定协议将信号等发送至例如因特网或其他通信装置，以及从例如因特网或其他通信装置接收信号等。此外，连接至通信装置23的通信网络50也可以是以有线方式或无线方式连接的网络，并且包括例如因特网、家庭LAN、红外通信、无线电通信或卫星通信等。
成像装置26例如是用于通过使用诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的成像元件、以及诸如透镜的用于控制被摄体图像到成像元件的形成的各种构件，对真实空间进行成像以生成捕获图像的相机。成像装置26可以是捕获静止图像的装置，或者可以是捕获运动图像的装置。
传感器27的示例包括各种传感器，例如加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、大气压传感器、深度传感器和声音传感器(麦克风)。
上面提及的部件中的每一个可以使用通用构件来配置，或者可以由专用于每个部件的功能的硬件来配置。这样的配置可以取决于实现时的技术水平适当地改变。
尽管图中未示出，但是观看者输出***200、表演者输出***300、内容创建服务器400和内容分发服务器500也具有与上面提及的观看者信息管理服务器100的硬件类似的用作计算机的硬件。
[内容分发***的操作]
接下来，将描述如上所述配置的内容分发***的操作。操作与诸如CPU 11和观看者信息管理服务器100的通信单元的硬件以及存储在ROM 12、RAM 13、存储装置20或可移除记录介质24中的软件协作执行。
图4是示出分发给观看者输出***200的内容的显示处理的流程图的图。此外，图5是示出当存在相对于内容具有不同位置和姿势的观看者时内容的显示示例的图。
内容观看者接收内容并且通过每个观看者的观看者输出***观看内容。这里，观看者输出***200是例如具有能够估计观看者的头部的位置和姿势的头部跟踪功能的头戴式显示器。
如图4所示，观看者输出***200初始化观看者的头部在内容的坐标系(其中存在表演者的空间中的坐标系)中的位置和姿势(步骤41)，并且通过头部跟踪功能估计观看者的头部在内容坐标系中的位置和姿势(步骤42)。
随后，观看者输出***200将根据位置和姿势分发的3D内容投影到虚拟图像平面上(步骤43)，并且将投影的内容输出至显示器(步骤44)。
作为用于实现头部跟踪功能的技术，例如，可以例示使用相机和惯性测量单元(IMU)传感器的同步定位和建图(SLAM)技术。
通常，用于观看VR内容的双目立体视觉要求观看者的右眼和左眼的位置和姿态，这可以通过使用从估计的头部位置到双眼的偏移来计算。
如图5所示，在内容坐标系中，正从正侧方观看内容的观看者1(图5的A)和正从正前方观看内容的观看者2(图5的B)根据头部的位置和姿势而具有不同的观看内容的方式。
观看者可以利用诸如控制器的输入装置虚拟地移动头部的位置和姿势，而不是观看者输出***200在具有或不具有头部跟踪功能的情况下估计和使用观看者的头部的实际位置和姿势。
该实施方式的内容分发***能够向表演者呈现在内容分发处理期间观看者对表演者的虚拟视线信息(包括观看者的虚拟位置信息)和指示观看者的反应的效果。另一方面，内容分发***能够在内容分发处理期间添加指示观看者对内容的反应的效果。下面将描述上面的处理的细节。
[观看者的视线信息向表演者的呈现]
图6是示出向表演者呈现观看者的视线信息和效果的处理的流程的流程图。
如图左侧的流程所示，首先，观看者输出***200计算观看者在内容坐标系中的视线参数(步骤51)。
观看者输出***200可以将在头戴式显示器坐标系(其中存在观看者的空间中的坐标系)中预先定义的视线参数转换成内容坐标系的视线参数以获得视线参数，或者如果观看者输出***200具有用于实时估计观看者的视线方向的装置，则观看者输出***200可以将参数转换为内容坐标系的视线参数以获得视线参数。
可以针对右眼和左眼分别输出视线参数，但是这里，考虑通过诸如采用右眼和左眼中之一或者获得右眼和左眼的平均的一些方法，将视线参数限制为一个参数。此外，观看者输出***200可以不使用观看者的眼睛的位置，而是例如在观看者始终面向表演者的方向的假设下，使用将表演者的头部的位置与观看者的头部的位置连接的直线作为视线参数。此外，观看者输出***200可以通过将头戴式显示器的装置坐标系中的特定方向设置为视线方向来确定视线参数。
内容坐标系中的视线参数可以不是由观看者输出***200计算的，而是由工作室侧的观看者信息管理服务器100计算的。在这种情况下，观看者输出***200将头戴式显示器坐标系中的观看者的视线参数发送至观看者信息管理服务器100，并且观看者信息管理服务器100将视线参数转换成内容坐标系中的视线参数。
接下来，观看者输出***200将在内容坐标系中表达的观看者的视线参数发送至观看者信息管理服务器100(步骤52)。
观看者信息管理服务器100对从每个观看者发送的视线参数执行表演者输出***300所需的处理。
例如，当在表演者输出***300中输出观看者的化身图像作为视线信息时，观看者信息管理服务器100可以执行将视线参数与发送了该信息的观看者的化身图像链接的处理。
观看者信息管理服务器100(CPU 11)具有安装在工作室中的显示器53在内容坐标系中的位置和姿势信息，并且基于在内容坐标系中表达的观看者的视线参数来计算显示器53和观看者的视线的交点坐标(步骤53)。
例如，当表演者输出***300包括多个显示器53时，如果用平面方程表达每个显示器53并且用直线方程表达观看者的视线参数，则观看者信息管理服务器100可以计算显示器53和视线的交点坐标。
这也可以应用于显示器53是弯曲表面的情况。替选地，观看者信息管理服务器100可以在将视线参数转换成每个显示器坐标系的视线参数之后，获得每个显示器坐标系中的交点坐标。
随后，观看者信息管理服务器100(CPU 11)使表演者输出***300基于计算的交点坐标以能够由表演者识别的形式将观看者的视线信息输出至显示器53(步骤54)。
例如，如图7所示，这可以通过将在内容坐标系中表达的交点坐标I转换成显示器坐标系中的交点坐标，并在对应的位置处显示每个观看者的化身图像71来实现。在图的示例中，在观看者1的虚拟视线VL1、观看者2的虚拟视线VL2、以及观看者3的虚拟视线VL3与显示器53的交点坐标I处，显示分别与其对应的化身图像71a、71b和71c。
如图8所示，通过观看显示在显示器53上的化身图像71，表演者P可以识别远程位置处的观看者V的视线以及观看者V实时存在的方向，并且可以采取适当的动作，例如将表演者的视线引导到那里或朝向该方向进行表演。图的示例示出了观看者V在t1、t2和t3的时间序列中从右向左移动视线L，如图8的B所示，虚拟视线VL也相应地移动，如图8的A所示，并且化身图像71也相应地移动。
此外，这使得观看者V能够具有好像表演者P和观看者V在物理上彼此接近的交流体验(例如，视线相配)。
[与视线信息的呈现有关的修改示例]
在下文中，将描述与观看者的视线信息向表演者的呈现有关的修改示例。
随着观看者的数目的增加，观看者的视线可以集中在表演者输出***300的显示器53上的相同坐标上。此时，如果显示为每个观看者设置的化身图像71等，则多个化身图像71彼此交叠，并且表演者的可视性降低。
在这样的情况下，观看者信息管理服务器100可以使表演者输出***300用表达多个观看者的视线的集中的其他图像等代替观看者中的每一个的多个化身图像71并显示它们。
例如，如果X个或更多个人的视点聚集在显示器53上具有预定面积或更小的区域中，则表演者输出***300可以用图像A代替观看者的化身图像71的组并显示它。当Y个或更多个人的视点聚集在上述区域中时，表演者输出***300可以用与图像A不同的图像B代替化身图像71的组并显示它。此外，表演者输出***300可以在显示器53上显示指示视线的集中程度的热图，而不是化身图像71。
观看者信息管理服务器100可以通过使用由观看者信息管理服务器100管理的观看者属性信息或添加至从观看者输出***200获取的视线参数信息的观看者属性信息，来改变或处理显示在表演者输出***300的显示器上的观看者的化身图像71。
例如，观看者信息管理服务器100可以根据观看者的年龄、性别、国籍、居住地、观看时间、观看或购买由同一表演者出演的内容的次数、在内容坐标系中距表演者的距离、或与观看者相关联的其他参数，来向化身图像71提供不同颜色的框、改变化身图像71的大小、或改变透明度。
表演者输出***300的视频输出装置可以是除了显示器53之外的装置。例如，在使用投影仪的情况下，观看者信息管理服务器100可以通过在内容坐标系中表达投影仪的投影目的地的平面，以与使用显示器53的情况相同的方式来计算观看者的化身图像71等要被绘制的位置。
此外，为了提高显示器53对表演者的可视性，代替图2中示出的配置，如图9所示，可以使用其中多个相机51和麦克风52(例如，以矩阵)嵌入在与显示器53相同的平面中的显示装置。
如图10所示，还考虑即使在表演者输出***300的显示器53上的同一位置处显示诸如化身图像71的不同观看者的信息，观看者也不会看向表演者(视线VL1指向表演者P，但是视线VL2不指向表演者P)。
在这种情况下，为了向表演者P发送观看者V的更准确的视线信息，例如，如图11所示，观看者信息管理服务器100可以在内容坐标系中在观看者V的视线指向表演者P的情况与观看者V的视线不指向表演者P的情况之间改变化身图像71的大小或框的颜色，或者可以避免显示化身图像71本身。
在图的示例中，由于虚拟视线VL1和VL2指向表演者P，因此与其对应的化身图像71A和71B以正常大小显示。然而，由于虚拟视线VL3不指向表演者P，因此与其对应的化身图像71C被显示得小于化身图像71A和71B。
观看者的视线是否指向表演者P可以例如通过表演者是否被包括在以观看者的视线为中心的任何大小的视角锥中来确定。
显示在表演者输出***300上的观看者信息(化身图像71)的位置可以以任何间隔更新。如果某一观看者的视线与显示器的交点位置c(t)与之前刚计算出的对于同一观看者的交点位置c(t-1)不同，则观看者信息管理服务器100可以移动观看者信息以在连接两个交点的轨迹上移动。
[观看者对表演者的效果的呈现]
接下来，将给出关于这样的手段的描述：该手段用于通过在表演者输出***300中附加地显示除了观看者的视线之外的信息来将诸如观看者的反应或兴奋的信息发送至表演者。
通过获得这样的信息，表演者可以向观看者给出适当的表演。内容分发者创建由观看者向表演者输出***请求再现的效果，如图12的A中示出的效果表那样。效果表是其中用于识别效果的效果ID与由效果ID指示的效果的内容相关联的表。效果表被存储在例如观看者信息管理服务器100的存储装置20中。
每个观看者根据观看者自己的输入装置登记用于发出每个效果的再现请求的动作，如图12的B1至B3的观看者动作表所示。这里，动作是指将特定命令或移动输入至观看者输出***200中包括的装置。
如图6右侧的流程所示，首先，观看者输出***200从观看者的动作获取要请求再现的效果的效果ID(步骤61)。
例如，图12的B中的观看者1重复地上下移动头部，从而针对具有效果ID 1000的效果发出在表演者输出***300中再现效果的请求。具有有着头部跟踪功能的观看环境的观看者可以使用头部的移动作为请求，如图12的B中的观看者1，或者使用运动控制器的观看者可以使用特定运动作为请求，如观看者2。
随后，观看者输出***200将与效果ID对应的效果再现请求发送至观看者信息管理服务器100(步骤62)。
将每个观看者的效果再现请求作为其中用于识别观看者的观看者ID与效果ID彼此相关联的数据发送至观看者信息管理服务器100。
然后，观看者信息管理服务器100(CPU 11)基于交点坐标，在与表演者输出***300的交点坐标对应的位置(例如，化身图像71的附近)再现与效果ID对应的效果(步骤63)。
例如，如图13所示，响应于来自观看者1的再现请求，再现具有图12的A所示的效果ID 1004(彩虹)的视觉效果72。响应于来自观看者2的再现请求，再现具有图12的A所示的效果ID 1003(星星)的视觉效果72，并且响应于来自观看者3的再现请求，再现具有图12的A所示的效果ID 1000(言语气球中的评论，“可爱”)的视觉效果72。
[针对表演者的效果呈现处理的修改示例]
在下文中，将描述针对表演者的效果呈现处理的修改示例。
类似于以上提及的视线信息，如果观看者的数目增加，则效果再现请求可以集中在表演者输出***300的显示器53上的相同坐标附近。此时，如果再现观看者中的每一个请求的效果，则表演者的可视性由于多个效果的交叠而降低。
在这样的情况下，观看者信息管理服务器100可以使表演者输出***300用诸如表达多个效果再现请求的集中的另一效果代替多个观看者的效果并再现它。
例如，当从显示器53上的预定区域中的X个或更多个人接收到相同的效果再现请求时，表演者输出***300可以用表达效果的集中的特殊效果代替各个观看者的效果并再现它。
观看者信息管理服务器100可以使用由观看者信息管理服务器100管理的观看者属性信息或添加至从观看者输出***200获取的视线参数信息的观看者属性信息，来控制由表演者输出***300再现的效果的大小和可以请求的效果的类型。
例如，观看者信息管理服务器100可以根据观看者的观看时间、观看或购买由同一表演者出演的内容的次数、以及与观看者相关联的其他参数来控制可以请求的效果的类型。
观看者信息管理服务器100可以再现不取决于视线位置的效果，以表达观看者的整体兴奋。
例如，如果观看者信息管理服务器100在特定定时从特定数目或更多的观看者接收到相同的效果再现请求，则观看者信息管理服务器100可以使表演者输出***300再现指示接收到相同的效果再现请求的特殊效果(例如，在整个显示器53上显示的视觉效果)。
表演者输出***300可以包括诸如扬声器的声音再现装置。这使得观看者能够请求声音效果以及视觉效果。
例如，通过使用其中多个扬声器以与图9中相同的方式嵌入在显示器53中的显示装置，有可能从位于与发出了声音效果的再现请求的观看者对应的化身图像71(交点坐标I)附近的扬声器再现由观看者请求的声音效果。
[向内容添加效果]
接下来，将给出关于这样的方法的描述：该方法通过根据观看者的动作向分发内容添加特定效果来实时通知在观看相同分发内容的观看者之间正在提供哪种反应。
类似于呈现给表演者的效果，内容分发者创建观看者可以请求添加至分发内容的效果。类似地，每个观看者根据观看者的输入装置登记用于发出添加效果的请求的动作。例如，与效果有关的表(例如，以与图12中示出的格式相同的格式)也被存储在观看者管理服务器100的存储装置20中。
图15是示出直到响应于特定观看者的效果添加请求而将添加了效果的VR内容分发给观看者的流程的流程图。此外，图16是示出流程的概念图。
如图15所示，首先，观看者信息管理服务器100的CPU 11从每个观看者的观看者输出***200接收每个观看者的效果添加请求(步骤151)。接收效果添加请求作为其中观看者ID与效果ID彼此相关联的数据。
随后，CPU 11根据效果添加请求指定效果ID(步骤152)。
随后，CPU 11将包括效果ID的效果添加请求发送至内容创建服务器400(步骤153)。
然后，由内容创建服务器400添加了与效果ID对应的效果的内容被从内容分发服务器500分发给观看者输出***200(步骤154)。
效果添加请求可以在不通过观看者信息管理服务器100的情况下直接发送至内容创建服务器400。
如图16所示，当例如在表演者P周围闪耀的视觉请求从观看者2发送至观看者信息管理服务器100时，由内容创建服务器400将这样的效果添加至内容，并且将内容分发给每个观看者的观看者输出***200。因此，观看者可以视觉识别来自不同视线L1、L2和L3的添加效果。特别地，观看者1和观看者3可以实时了解观看者2对内容的反应如何。
[与向内容添加效果有关的修改示例]
在下文中，将描述向内容添加效果的处理的修改示例。
与在针对表演者的效果呈现处理中描述的修改类似的修改是可能的。
换言之，类似于呈现给表演者的视线信息和效果，如果观看者的数目增加，则效果添加请求可以集中在内容的相同位置附近(例如，表演者周围)。此时，如果添加观看者中的每一个请求的效果，则多个效果彼此交叠，并且观看者的可视性降低。
在这样的情况下，观看者信息管理服务器100可以使内容创建服务器400用表达多个效果添加请求的集中的另一效果代替多个观看者的效果并添加它。
例如，如果从X个或更多个人接收到相同的效果添加请求，则内容创建服务器400可以用表达效果的集中的特殊效果代替各个观看者的效果并添加它。
观看者信息管理服务器100可以使用由观看者信息管理服务器100管理的观看者属性信息或添加至从观看者输出***200获取的视线参数信息的观看者属性信息，来控制添加至内容的效果的大小或可以请求的效果的类型。
例如，观看者信息管理服务器100可以根据观看者的观看时间、观看或购买由同一表演者出演的内容的次数、以及与观看者相关联的其他参数来控制可以请求添加的效果的类型。
此外，当在特定定时从特定数目或更多的观看者接收到相同的效果添加请求时，内容创建服务器400还可以添加指示效果添加请求的特殊效果(例如，在整个内容中显示的视觉效果)。
观看者信息管理服务器100可以使用由观看者信息管理服务器100管理的观看者属性信息或添加至视线参数信息的观看者属性信息来改变VR内容，而无需观看者有意地发出请求。
例如，如图17所示，观看者信息管理服务器100存储观看者居住区属性表，该观看者居住区属性表指示世界各地的观看者的每个居住地的观看者的数目。然后，内容创建服务器400可以通过根据居住地的观看者的数目改变诸如表示各地(例如，在日本，东京塔；在美国，自由女神像；在意大利，比萨斜塔；以及在新加坡，狮头鱼尾像；等)的地标的3D模型的显示大小并且将显示大小与表演者P的背景合成来创建内容。
在图中的示例中，由于观看者的数目按照日本、美国、意大利和新加坡顺序较大，因此按照作为内容的背景的东京塔、自由女神像、比萨斜塔和狮头鱼尾像的顺序来设置3D模型的大小。
[与向内容添加效果有关的扩展示例]
通过使用观看者的视线信息和位置信息以及表演者的视线信息和位置信息，可以在观看者之间共享观看状态，并且可以更有效地向内容添加效果。下面将描述若干示例。
观看者之间的观看状态的共享
作为共享观看状态的方法之一，能够想到将另一观看者的观看状态(例如，观看者的位置)添加至分发内容并观看内容的方法。此时，如果无条件地将另一观看者的观看状态添加至分发内容，则出现这样的问题：附加内容(效果)出现在分发内容的观看被妨碍的位置处，或者分发内容被埋没在附加内容中而看不到。
图18示出了表演者P、多个虚拟观看者V和显示器53具有特定位置关系的情况。此时，如果基于另一观看者的观看位置或另一观看者的化身图像71的位置，将表示另一观看者的观看状态的化身内容添加至由观看者V1观看的内容，如图19所示，则附加内容(化身内容72)出现在观看者1的视角锥内的交点坐标I附近，并且存在观看者V1的分发内容的观看被妨碍的可能性。
为了解决该问题，如图20所示，内容创建服务器400参照观看者V1的位置虚拟地移动和放大显示器53，并且使用另一观看者的视线与虚拟显示器53的交点作为附加内容的显示位置，并且因此可以将表达另一观看者的观看状态的内容添加至分发内容，而不妨碍观看者V1的观看。
可以任意改变虚拟显示器的位置和大小。例如，内容创建服务器400可以将虚拟显示器设置为一定在观看者V1相对于内容的观看位置后方。
此外，内容创建服务器400可以使用任何平面或球形表面或其组合来代替虚拟显示器以确定与另一观看者的视线的交点，并且使用交点作为附加内容的显示位置。
如果观看者的数目大，则当将所有观看者的化身图像71添加至内容时，内容创建服务器400的处理负荷可能增加，或者整个内容的质量可能由于附加内容的过度密集而劣化。
另一方面，观看者信息管理服务器100可以仅与每个观看者所属的组或团体的成员(例如，从SNS等获取的)共享观看状态。此外，内容创建服务器400可以用更容易绘制的图像(较低分辨率)代替观看者的化身内容72。
效果的再现位置的调整
当在观看者之间共享响应于效果添加请求而添加的效果时，可以适当地调整效果添加位置。在本文中描述了三种具体情况，但是本技术不限于此。
(情况1：在每个观看者的视角锥内再现效果)
即使响应于来自另一观看者的添加请求而再现某一效果，观看者也不能注意到该效果，除非在视角锥内再现该效果。
例如，如图21所示，假设在内容坐标系中随机再现光线的效果的被称为“随机光线”的效果。当再现该效果时，每个观看者能够看到的光线的数目取决于每个观看者的视角锥的位置而变化。
另一方面，内容创建服务器400可以通过调整效果的再现位置使得在每个观看者的视角锥内再现效果，来保持由每个观看者看到的再现效果的质量恒定。
图22示出了如何根据观看者1的视角锥VC调整由另一观看者请求的“随机光线”的效果再现位置。图的上图示出了调节之前的位置，图的下图示出了调整之后的位置。调整在上图中位于视角锥VC外的光线2和光线4的再现位置，以在下图中在视角锥VC内可视。
如上所述的用于确定效果再现位置的视角锥VC的创建可以以观看者的视线方向为中心或者可以以头部方向为中心。
(情况2：根据每个观看者的视线方向和表演者的位置来调整效果生成中心)
如果以相同方式将由某一观看者请求添加的效果添加至分发给另一观看者的内容，则可能妨碍正在从与发出了请求的观看者的视点不同的视点观看分发的内容的观看者的观看。
例如，存在在观看者与表演者之间的空间中再现由另一观看者请求的效果的情况。作为用于避免该问题的手段之一，当要在观看者与表演者之间的空间中再现具有或不具有特定属性的效果时，该观看者的观看者输出***200停止目标效果的再现。然而，如果使用该手段，则存在某一观看者不能看到由具有不同视点的其他观看者请求的效果的可能性。
为了解决该问题，每个观看者输出***200可以根据每个观看者的视线方向和表演者的位置来调整再现效果生成中心。
这里，考虑将效果生成中心设置在以表演者的位置作为参考定义的表演者坐标系中。效果生成中心是用作用于确定具有或不具有特定属性的效果的再现位置的参考的坐标。
图23示出了其中可以以表演者P为中心设置效果生成中心的区域A。这里，作为示例，将具有与地面水平的半径r[m]的圆设置为具有高度h[m]，并且将其中心设置为表演者P，但是设置区域A的方法不受限制。
图24示出了通过使用上面提及的设置区域A为每个观看者设置效果生成中心C的状态。效果生成中心C是通过将每个观看者的视线L映射到效果生成中心可设置区域A存在的平面，并且通过使用映射的视线与效果生成中心可设置区域A之间的交点中远离观看者的一个交点来设置的。
在图中，发现为每个观看者设置了不同的效果生成中心C1至效果生成中心C3。在图的状态下，例如，如果观看者2(对应于视线L2)发出某个效果再现请求，则观看者1(对应于视线L1)的观看者输出***200A在观看者1的效果生成中心C1的位置处再现效果，并且观看者3的输出***200C在观看者3的效果生成中心C3的位置处再现效果。
结果，可以观看由另一观看者请求的效果，而不会阻止任何观看者观看分发内容。
区域A和效果生成中心C的设置处理可以不是由每个观看者输出***200执行，而是由直接或经由观看者信息管理服务器100从各个观看者输出***200接收各个观看者的视线参数的内容创建服务器400执行。
(情况3：根据每个观看者的视线方向和效果属性来调整效果再现位置)
通过使用观看者的视线方向和背景内容的属性来调整具有特定属性的效果的再现位置，使得适合于每个观看者的效果再现成为可能。
作为示例，要再现的效果具有文本属性，并且具有这样的文本属性的效果被定义为在具有一定程度或更大程度的背景内容的平面上再现。在图25中，具有不同平面参数的背景内容平面1和背景内容平面2分别设置在观看者1的视线(L1)和观看者2的视线(L2)前方。
此时，如果生成具有文本属性的效果的再现请求，如图26所示，则观看者1的观看者输出***200A在平面1上再现效果，并且观看者2的观看者输出***200B在平面2上再现效果。
因此，可以以适合每个观看者的形式再现具有文本属性的效果。注意，如果在观看者的视线前方不存在适当的平面，则能够想到在从观看者观看的表演者后方创建虚拟平面，并且在平面上再现效果。
每个背景内容的显示处理可以不是由每个观看者输出***200执行，而是由直接或经由观看者信息管理服务器100从各个观看者输出***200接收各个观看者的视线参数的内容创建服务器400执行。
向分发内容添加效果的处理和处理位置
如果生成大量的效果再现请求，则出现诸如由于将效果添加至分发内容的处理量的增加和通信数据的增加而引起的分发延迟的问题。为了避免这样的问题，可以使用观看者的视线信息来执行过滤再现请求的处理。
例如，内容创建服务器400可以在要分发给某一观看者的内容中仅反映具有接近该观看者的视线参数的视线参数的另一观看者的效果再现请求。
另外，还能够想到，可以取决于同时观看的观看者的数目来调整效果的成效。例如，在参照图21和图22描述的“随机光线”效果的情况下，如果同时观看的观看者的数目是X或更多，则内容创建服务器400可以响应于一个再现请求而将要再现的光线的数目设置为n，而如果同时观看的观看者的数目不小于Y——其大于上面提及的X，则内容创建服务器400可以将光线的数目设置为y——其大于上面提及的x。
此外，内容创建服务器400不向从内容分发服务器500分发的内容添加其再现位置根据观看者的视线信息来确定的效果，而是将与效果有关的信息发送至每个观看者输出***200以添加效果，这使得可以减少内容创建服务器400和内容分发服务器500上的负荷。
取决于效果的属性使用不同的再现方法
作为取决于效果的属性改变再现方法的方法，除了上述属性之外，还能够想到以下属性。
例如，能够想到以下属性：具有根据观看者的视线方向改变或不改变显示姿势的属性的效果；具有根据表演者的方向改变或不改变显示姿势的属性的效果；具有在观看者与表演者之间的视角锥中未显示的属性的效果；具有使用观看者与表演者之间的距离作为参数执行再现的属性的效果；具有使用表演者与观看者之间的视线的一致程度作为参数执行再现的属性的效果；等。
如上所述，根据该实施方式，内容分发***使得表演者能够在与表演者的空间相同的空间中掌握观看者的虚拟视线，并且使得表演者即使对于远程位置的观看者也能够根据观看者的反应执行适当的表演。
除了上述以外，即使在远程位置，表演者和观看者也可以像他们在物理上彼此接近一样进行通信。
此外，由于每个观看者可以根据每个观看者的输入装置设置效果再现请求，因此可以从任何装置发送相同的请求。(由拥有的装置引起的差异被吸收。)
此外，由于观看者的动作被映射到效果ID并且被发送至观看者信息管理服务器100，因此用于表达观看者的动作的通信数据量大大减少。
此外，由于内容分发者创建可以请求的效果，因此例如，消除了在任何文本可用的通信中发生的恶意动作。
此外，内容分发***将观看者的动作反映在分发内容中，并且因此正在观看共同内容的观看者可以共享体验。
此外，内容分发***可以通过控制可以为每个观看者请求再现和添加的效果来区分为每个观看者提供的服务。
[修改示例]
本发明不限于上述实施方式，并且可以在不脱离本发明的要旨的情况下对其进行各种修改。
在上述实施方式中，设想当确定在表演者与观看者之间已经建立了特定通信时，观看者信息提供服务器100或内容创建服务器300向目标观看者的分发内容或所有观看者的分发内容添加特殊效果，以增强通信体验。特定通信的建立包括例如表演者的视线与观看者的视线相配的情况、接收到观看者对表演者的特定表演的特定效果再现请求的情况等。
观看者信息管理服务器100或内容创建服务器300例如仅需要基于表演者的视线是否面向显示器上的某一观看者的化身图像71的方向、以及表演者的视线向量与观看者的视线向量的内积的绝对值是否小于使得两者的视线向量基本上平行的这样的预定阈值，来确定表演者的视线与观看者的视线是否相配。
此外，当表演者的视线与观看者的视线相配时，观看者信息管理服务器100可以在显示器53上输出来自与观看者对应的化身图像(交点坐标)附近的特殊视觉效果或声音效果。
此外，观看者信息管理服务器100对视线与每个观看者相配的次数进行计数，使得可以将指示视线在每个方向上相配的频率的值与显示器53的交点坐标I相关联地显示为直方图。基于这样的信息，表演者在视线与观看者的视线较不频繁地相配的方向上给出表演，从而提高观看者整体的满意度。
图14示出了在显示器53上显示指示上面提及的频率的频率直方图73的示例。作为频率直方图73的值，能够想到使用通过将视线与存在于每个方向上的观看者的视线相配的总次数除以存在于该方向上的观看者的数目而获得的值。
此外，即使在远程位置，表演者和观看者也能够执行接近实际体验的通信，并且因此，可以在实况流式传输服务中向特定观看位置提供附加值。
例如，在表演者经常针对特定观看位置进行通信的假设下，内容分发***例如可以创建高附加值的观看位置，同时对使用该位置的观看者收取比通常更高的观看费用，并且限制可以使用该观看位置的观看者的数目。
在上述实施方式中，内容由固定至成像工作室的相机51成像。然而，代替相机51，可以由例如无人机在移动的同时对内容进行成像。
[其他]
本技术还可以采用以下配置。
(1)一种信息处理***，包括
控制器，所述控制器
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者，以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
(2)根据(1)所述的信息处理***，其中，
所述控制器与所述观看状态信息一起获取指示所述观看者的属性的属性信息，并且根据所述属性信息改变所述效果。
(3)根据(1)或(2)所述的信息处理***，其中，
所述控制器
当将所述效果添加至所述多个观看者中的第一观看者时，计算在所述空间的坐标系中设置的虚拟平面与不同于所述第一观看者的第二观看者的视线之间的交点的坐标，以及
在所述内容中的与所述交点的坐标对应的位置处添加所述效果。
(4)根据(3)所述的信息处理***，其中，
所述控制器将所述虚拟平面设置在所述空间的坐标系中所述第一观看者的观看位置后方。
(5)根据(3)或(4)所述的信息处理***，其中，
随着所述第二观看者的数目增加，所述控制器为与所述第二观看者对应的每个效果设置更低的分辨率。
(6)根据(3)至(5)中任一项所述的信息处理***，其中，
如果与所述第二观看者的视线的所述交点的坐标在所述第一观看者的坐标系中的视角锥外，则所述控制器改变所述效果的在所述视角锥内的添加位置。
(7)根据(1)或(2)所述的信息处理***，其中，
所述控制器在与两个交点中的远离每个观看者的交点的坐标对应的位置处为所述多个观看者中的每一个添加所述效果，所述两个交点在其中存在所述表演者的所述空间的坐标系中的以所述表演者的位置为中心设置的区域与所述多个观看者中的每一个的视线之间。
(8)根据(1)或(2)所述的信息处理***，其中，
所述控制器
响应于包括指示所述效果的属性的效果识别信息的效果添加请求来添加所述效果，所述效果添加请求从每个观看者的终端接收，以及
当由所述效果识别信息指示的所述属性是平面效果时，在其中存在所述表演者的所述空间的坐标系中的所述表演者后方并且在每个观看者的视线上为每个观看者设置预定平面，并且将所述效果添加在所述预定平面上。
(9)根据(1)至(8)中任一项所述的信息处理***，其中，
所述控制器
响应于从每个观看者的所述终端接收的效果添加请求而添加所述效果，以及
当将所述效果添加至所述多个观看者中的第一观看者时，仅响应于所述多个观看者的效果添加请求中的来自第二观看者的效果添加请求而添加所述效果，其中，所述第二观看者的视线或位置在所述第一观看者的视线或位置的预定距离内。
(10)根据(1)至(9)中任一项所述的信息处理***，其中，
所述控制器获取指示正在再现所述内容的所述观看者的终端的数目的信息，并且根据所述数目增加所添加的效果的成效。
(11)一种信息处理方法，包括：
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者；以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
(12)一种程序，其使信息处理装置执行以下步骤：
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者；以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
附图标记列表
11 CPU
18 输入装置
19 输出装置
20 存储装置
26 成像装置
23 通信装置
51 相机
52 麦克风
53 显示器
71 化身图像
72 效果
73 直方图
100 观看者信息管理服务器
200 表演者输出***
300 观看者输出***
400 内容创建服务器
500 内容分发服务器
P 表演者
V 观看者
L 视线
VL 虚拟视线

Claims (12)

1.一种信息处理***，包括
控制器，所述控制器
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者，以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
2.根据权利要求1所述的信息处理***，其中，
所述控制器与所述观看状态信息一起获取指示所述观看者的属性的属性信息，并且根据所述属性信息改变所述效果。
3.根据权利要求1所述的信息处理***，其中，
所述控制器
当将所述效果添加至所述多个观看者中的第一观看者时，计算在所述空间的坐标系中设置的虚拟平面与不同于所述第一观看者的第二观看者的视线之间的交点的坐标，以及
在所述内容中的与所述交点的坐标对应的位置处添加所述效果。
4.根据权利要求3所述的信息处理***，其中，
所述控制器将所述虚拟平面设置在所述空间的坐标系中所述第一观看者的观看位置后方。
5.根据权利要求3所述的信息处理***，其中，
随着所述第二观看者的数目增加，所述控制器为与所述第二观看者对应的每个效果设置更低的分辨率。
6.根据权利要求3所述的信息处理***，其中，
如果与所述第二观看者的视线的所述交点的坐标在所述第一观看者的坐标系中的视角锥外，则所述控制器改变所述效果的在所述视角锥内的添加位置。
7.根据权利要求1所述的信息处理***，其中，
所述控制器在与两个交点中的远离每个观看者的交点的坐标对应的位置处为所述多个观看者中的每一个添加所述效果，所述两个交点在其中存在所述表演者的所述空间的坐标系中的以所述表演者的位置为中心设置的区域与所述多个观看者中的每一个的视线之间。
8.根据权利要求1所述的信息处理***，其中，
所述控制器
响应于包括指示所述效果的属性的效果识别信息的效果添加请求来添加所述效果，所述效果添加请求从每个观看者的终端接收，以及
当由所述效果识别信息指示的所述属性是平面效果时，在其中存在所述表演者的所述空间的坐标系中的所述表演者后方并且在每个观看者的视线上为每个观看者设置预定平面，并且将所述效果添加在所述预定平面上。
9.根据权利要求1所述的信息处理***，其中，
所述控制器
响应于从每个观看者的所述终端接收的效果添加请求而添加所述效果，以及
当将所述效果添加至所述多个观看者中的第一观看者时，仅响应于所述多个观看者的效果添加请求中的来自第二观看者的效果添加请求而添加所述效果，其中，所述第二观看者的视线或位置在所述第一观看者的视线或位置的预定距离内。
10.根据权利要求1所述的信息处理***，其中，
所述控制器获取指示正在再现所述内容的所述观看者的终端的数目的信息，并且根据所述数目增加所添加的效果的成效。
11.一种信息处理方法，包括：
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者；以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
12.一种程序，其使信息处理装置执行以下步骤：
从多个观看者的终端获取观看状态信息以及观看者识别信息，所述终端经由网络正在实时再现其中对表演者的表演进行成像的内容，所述观看状态信息指示每个观看者的在其中存在所述观看者的空间的坐标系中的视线或位置，所述观看者识别信息识别所述观看者；以及
基于所获取的观看状态信息为所述观看者中的每一个向所述内容添加效果。
CN202180012433.7A 2020-02-12 2021-02-04 信息处理***、信息处理方法和程序 Pending CN115039410A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-021121 2020-02-12
JP2020021121 2020-02-12
PCT/JP2021/004137 WO2021161894A1 (ja) 2020-02-12 2021-02-04 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN115039410A true CN115039410A (zh) 2022-09-09

Family

ID=77292140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012433.7A Pending CN115039410A (zh) 2020-02-12 2021-02-04 信息处理***、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20230037102A1 (zh)
JP (1) JPWO2021161894A1 (zh)
CN (1) CN115039410A (zh)
WO (1) WO2021161894A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013978A (ja) * 2004-06-28 2006-01-12 Sharp Corp テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法
US20130013089A1 (en) * 2011-07-08 2013-01-10 Dwango Co., Ltd. Stage production system, subsystem for controlling production, operation method and program thereof
US20130014139A1 (en) * 2011-07-08 2013-01-10 Dwango Co., Ltd. Image display system, image display method, image display control program and transmission program for motion information
US20170150218A1 (en) * 2014-07-18 2017-05-25 Sony Corporation Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, program, and information processing system
JP2018094326A (ja) * 2016-12-16 2018-06-21 株式会社バンダイナムコエンターテインメント イベント制御システム、イベント通知システム及びプログラム
CN108648217A (zh) * 2018-07-05 2018-10-12 上海峥航智能科技发展有限公司 一种基于图像识别与增强现实技术无人机比赛裁判设备
CN110249631A (zh) * 2017-01-31 2019-09-17 株式会社尼康 显示控制***及显示控制方法
CN110433491A (zh) * 2019-07-25 2019-11-12 天脉聚源(杭州)传媒科技有限公司 虚拟观众的动作同步响应方法、***、装置和存储介质
WO2019234879A1 (ja) * 2018-06-07 2019-12-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139673A (ja) * 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013978A (ja) * 2004-06-28 2006-01-12 Sharp Corp テレビ放送送信機、テレビ放送受信機、ブロードキャスト番組参加システム、及び方法
US20130013089A1 (en) * 2011-07-08 2013-01-10 Dwango Co., Ltd. Stage production system, subsystem for controlling production, operation method and program thereof
US20130014139A1 (en) * 2011-07-08 2013-01-10 Dwango Co., Ltd. Image display system, image display method, image display control program and transmission program for motion information
US20170150218A1 (en) * 2014-07-18 2017-05-25 Sony Corporation Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, program, and information processing system
JP2018094326A (ja) * 2016-12-16 2018-06-21 株式会社バンダイナムコエンターテインメント イベント制御システム、イベント通知システム及びプログラム
CN110249631A (zh) * 2017-01-31 2019-09-17 株式会社尼康 显示控制***及显示控制方法
WO2019234879A1 (ja) * 2018-06-07 2019-12-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
CN108648217A (zh) * 2018-07-05 2018-10-12 上海峥航智能科技发展有限公司 一种基于图像识别与增强现实技术无人机比赛裁判设备
CN110433491A (zh) * 2019-07-25 2019-11-12 天脉聚源(杭州)传媒科技有限公司 虚拟观众的动作同步响应方法、***、装置和存储介质

Also Published As

Publication number Publication date
JPWO2021161894A1 (zh) 2021-08-19
WO2021161894A1 (ja) 2021-08-19
US20230037102A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
RU2665872C2 (ru) Стереопросмотр
US20240077941A1 (en) Information processing system, information processing method, and program
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
US20190222823A1 (en) Techniques for Capturing and Rendering Videos with Simulated Reality Systems and for Connecting Services with Service Providers
CN110537208B (zh) 头戴式显示器和方法
US10493360B2 (en) Image display device and image display system
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
CN114327700A (zh) 一种虚拟现实设备及截屏图片播放方法
US20220248162A1 (en) Method and apparatus for providing audio content in immersive reality
CN109996060B (zh) 一种虚拟现实影院***及信息处理方法
US11187895B2 (en) Content generation apparatus and method
US20200225467A1 (en) Method for projecting immersive audiovisual content
US20230037102A1 (en) Information processing system, information processing method, and program
US20230179756A1 (en) Information processing device, information processing method, and program
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
CN111630848B (zh) 图像处理装置、图像处理方法、程序和投影***
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
US20220180664A1 (en) Frame of reference for motion capture
EP4380149A1 (en) Virtual reality streaming system and method
TW202213992A (zh) 即時三維影像顯示的直播方法
CN117826982A (zh) 一种基于用户位姿计算的实时音效交互***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination