WO2021161894A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021161894A1
WO2021161894A1 PCT/JP2021/004137 JP2021004137W WO2021161894A1 WO 2021161894 A1 WO2021161894 A1 WO 2021161894A1 JP 2021004137 W JP2021004137 W JP 2021004137W WO 2021161894 A1 WO2021161894 A1 WO 2021161894A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewer
effect
content
information processing
sight
Prior art date
Application number
PCT/JP2021/004137
Other languages
English (en)
French (fr)
Inventor
俊一 本間
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180012433.7A priority Critical patent/CN115039410A/zh
Priority to JP2022500357A priority patent/JPWO2021161894A1/ja
Priority to US17/791,109 priority patent/US20230037102A1/en
Publication of WO2021161894A1 publication Critical patent/WO2021161894A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Definitions

  • This technology relates to an information processing system, information processing method, and program that can present information about the viewer to the performer in a system that delivers the content obtained by capturing the performance of the performer to the viewer in real time via a network.
  • video distribution such as movie content has been realized by a one-way system in which content data is distributed from a distributor to a viewer and the viewer enjoys the distributed content.
  • the communication means for transmitting from the viewer to the distributor is mainly text information and voice information.
  • the communication means for transmitting from the viewer to the distributor is mainly text information and voice information.
  • character information by superimposing the character information input by the viewer on the distributed video, communication is realized not only between the distributor and the viewer but also between the viewers.
  • Patent Document 1 discloses a means for a plurality of users to perform equal text-based communication in the same virtual space.
  • Patent Document 2 discloses means for users using the same content to grasp each other's states.
  • the distributor acquires the image and audio data of the performer in real time and distributes those data.
  • the content is distributed to the movie theater as the content displayed on the screen, and to each household as the content that can be viewed on the TV or the content that can be viewed on the HMD (Head Mount Display).
  • HMD Head Mount Display
  • VR Virtual Reality
  • the purpose of this technology is to provide an information processing system, information processing method, and information processing system that can add effects according to the line of sight and position of a remote viewer to the content delivered in real time. To provide a program.
  • the information processing system has a control unit.
  • the control unit may view or position the viewer's line of sight or position in the coordinate system of the space in which the viewer exists from the terminals of a plurality of viewers who are playing back the content in which the performer's performance is captured in real time via the network.
  • the viewing state information indicating the above is acquired together with the viewer identification information that identifies the viewer. Further, the control unit adds an effect to the content for each viewer based on the acquired viewing state information.
  • the information processing system to add effects to the content delivered in real time according to the line of sight and position of the viewer at a remote location.
  • the effect includes anything such as an effect by color or light, an avatar image, and the like.
  • the control unit may acquire attribute information indicating the attributes of the viewer together with the viewing state information, and change the effect according to the attribute information.
  • the control unit When the effect is applied to the first viewer among the plurality of viewers, the control unit has a virtual surface set in the coordinate system of the space and a second viewer different from the first viewer.
  • the coordinates of the intersection with the line of sight of the viewer may be calculated, and the effect may be applied to the position corresponding to the coordinates of the intersection of the contents.
  • the control unit may set the virtual surface behind the viewing position in the coordinate system of the space of the first viewer.
  • the information processing system can add an effect that expresses the viewing state of other viewers to the content without interfering with the viewing by the viewer.
  • the control unit may set the resolution of each effect according to the second viewer lower as the number of the second viewer increases.
  • the information processing system can prevent the processing load for adding the effect from increasing due to the increase of other viewers who are viewing the content and the quality of the content itself from deteriorating.
  • the control unit applies the effect to the viewing cone.
  • the position may be changed.
  • the control unit is the one of the two intersections of the area set around the position of the performer in the coordinate system of the space in which the performer exists and the line of sight of the plurality of viewers, whichever is farther from each viewer.
  • the above effect for each viewer may be applied to a position corresponding to the coordinates of the intersection of.
  • the information processing system can add an effect to each viewer and play it so as not to interfere with the viewing of each viewer who is paying attention to the performer in the content.
  • the control unit adds the effect in response to an effect addition request including effect identification information indicating the attribute of the effect received from the terminal of each viewer, and the attribute indicated by the effect identification information is a flat effect. If, a predetermined plane is set for each viewer behind the performer in the coordinate system of the space in which the performer exists and on the line of sight of each viewer, and the effect is applied on the predetermined plane. You may.
  • the control unit grants the effect in response to an effect granting request received from each viewer's terminal and grants the effect to the first viewer among the plurality of viewers, the plurality of the above-mentioned multiple viewers.
  • the above-mentioned effects are given only in response to an effect giving request from a second viewer having a line of sight or position within a predetermined distance from the above-mentioned line of sight or position of the first viewer. You may.
  • the information processing system does not apply effects in response to all effect application requests, but filters only those that are close to the viewer, resulting in a delay in content distribution and an increase in communication data due to an increase in processing volume. Can be prevented from occurring.
  • the control unit may acquire information indicating the number of terminals of the viewer who is playing the content, and may increase the effect of the effect given according to the number.
  • the information processing system can make the viewer grasp the scale of other viewers who are watching at the same time by the effect of the effect.
  • the effect of the effect is, for example, the number of light effects, and the brightness of the light effect, but is not limited thereto.
  • Information processing methods related to other forms of this technology Viewing state information indicating the line of sight or position of the viewer in the coordinate system of the space in which the viewer exists from the terminals of a plurality of viewers who are playing back the content in which the performance of the performer is captured in real time via the network. With the viewer identification information that identifies the viewer, This includes adding an effect to the content for each viewer based on the acquired viewing status information.
  • Programs related to other forms of this technology can be applied to information processing devices.
  • Viewing state information indicating the line of sight or position of the viewer in the coordinate system of the space in which the viewer exists from the terminals of a plurality of viewers who are playing back the content in which the performance of the performer is captured in real time via the network.
  • the viewer identification information that identifies the viewer
  • the step of adding an effect to the content for each viewer is executed.
  • FIG. 18 It is a figure which showed the case where a performer, a plurality of viewers, and a display have a certain positional relationship in the above-mentioned content distribution system.
  • FIG. 18 it is a diagram showing how information expressing the viewing state of another viewer is added to the content viewed by a certain viewer.
  • FIG. 18 it is a diagram showing a state in which information expressing a viewing state of a viewer is added to the content viewed by a certain viewer by virtually moving / enlarging the display.
  • FIG. 1 is a diagram showing a configuration of a content distribution system according to an embodiment of the present technology.
  • FIG. 1 is a diagram showing the overall configuration of the system
  • FIG. 2 is a diagram showing an example of equipment installation in a content shooting studio possessed by the system.
  • this system is connected to a viewer information management server, a performer output system 300, a content creation server 400, a content distribution server 500 in a content shooting studio, and the like, via a network 50 such as the Internet. It also has a plurality of viewer output systems 200.
  • the content creation server 400 uses the above-mentioned studio dedicated to content creation to create content in which the performance of the performer is photographed in real time.
  • the created content is streamed to the viewer via the network 50.
  • the content delivered to the viewer is VR (Virtual Reality) content composed based on the 3D model and surround sound.
  • VR Virtual Reality
  • the studio is equipped with shooting equipment including one or more cameras 51 and a microphone 52 for content creation, and the content creation server 400 creates distribution content based on the captured data. do.
  • the viewer information management server 100 appropriately acquires and manages information on the viewer's viewing state such as the viewer's virtual line of sight and virtual position from the viewer output system 200.
  • the performer output system 300 has one or more displays 53 for outputting information on the viewing state of the viewer to the performer who appears in the content.
  • the viewer information management server 100 transmits information such as the viewing state of the viewer received from the viewer output system 200 to the content creation server 400, and the content creation server 400 changes the distributed content according to the information. It is also possible.
  • the content created / changed by the content creation server 400 is distributed from the content distribution server 500 to each content viewer (viewer output system 200) by the content distribution server 500 via the network 50.
  • FIG. 3 is a diagram showing the hardware configuration of the viewer information management server 100.
  • the viewer information management server 100 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13. Further, the viewer information management server 100 may include a host bus 14, a bridge 15, an external bus 16, an interface 17, an input device 18, an output device 19, a storage device 20, a drive 21, a connection port 22, and a communication device 23. .. Further, the viewer information management server 100 may include an image pickup device 26 and a sensor 27, if necessary. The viewer information management server 100 may have a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) in place of or in combination with the CPU 11. good.
  • a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) in place of or in combination with the CPU 11. good.
  • DSP Digital Signal Processor
  • ASIC Application Specific
  • the CPU 11 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the viewer information management server 100 according to various programs recorded in the ROM 12, the RAM 13, the storage device 20, or the removable recording medium 24. do.
  • the ROM 12 stores programs, calculation parameters, and the like used by the CPU 11.
  • the RAM 13 primarily stores a program used in the execution of the CPU 11 and parameters that are appropriately changed in the execution.
  • the CPU 11, ROM 12, and RAM 13 are connected to each other by a host bus 14 composed of an internal bus such as a CPU bus. Further, the host bus 14 is connected to an external bus 16 such as a viewer information management server I (Peripheral Component Interconnect / Interface) bus via a bridge 15.
  • I Peripheral Component Interconnect / Interface
  • the input device 18 is a device operated by the user, such as a touch panel, physical buttons, switches, and levers.
  • the input device 18 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 25 such as a smartphone or smart watch that supports the operation of the viewer information management server 100. good.
  • the input device 18 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 11. By operating the input device 18, the user inputs various data to the viewer information management server 100 and instructs the viewer information management server 100 to perform processing operations.
  • the output device 19 is composed of a device capable of notifying the user of the acquired information using sensations such as sight, hearing, and touch.
  • the output device 19 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker, or the like.
  • the output device 19 outputs the result obtained by the processing of the viewer information management server 100 as a video such as text or an image, a voice such as voice or sound, or a vibration.
  • the storage device 20 is a data storage device configured as an example of a storage unit of the viewer information management server 100.
  • the storage device 20 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 20 includes, for example, a program executed by the CPU 11, various data, various data acquired from the outside, data acquired from the viewer output system 200 (line-of-sight parameters described later, avatar images of each viewer, etc.), and the like. To store.
  • the drive 21 is a reader / writer for a removable recording medium 24 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the viewer information management server 100.
  • the drive 21 reads the information recorded on the mounted removable recording medium 24 and outputs the information to the RAM 13. Further, the drive 21 writes a record on the mounted removable recording medium 24.
  • the connection port 22 is a port for connecting the device to the viewer information management server 100.
  • the connection port 22 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 22 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 23 is, for example, a communication interface composed of a communication device for connecting to the communication network 50.
  • the communication device 23 may be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB). Further, the communication device 23 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 23 transmits and receives signals and the like to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP.
  • the communication network 50 connected to the communication device 23 is a network connected by wire or wirelessly, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, and the like.
  • the image pickup device 26 uses, for example, an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a camera that captures a real space and generates an captured image. The image pickup device 26 may capture a still image or may capture a moving image.
  • an image pickup element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device)
  • various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a camera that captures a real space and generates an captured image.
  • the image pickup device 26 may capture a still image or may capture a moving image.
  • the sensor 27 is, for example, various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, a pressure sensor, a depth sensor, or a sound sensor (microphone).
  • Each of the above components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
  • the viewer output system 200, the performer output system 300, the content creation server 400, and the content distribution server 500 also have hardware for functioning as a computer similar to that of the viewer information management server 100. ..
  • FIG. 4 is a diagram showing a flowchart of content display processing delivered to the viewer output system 200.
  • FIG. 5 is a diagram showing a display example of the content when there are viewers having different positions and attitudes with respect to the content.
  • the content viewer receives the content and views the content through the viewer output system of each viewer.
  • the viewer output system 200 is, for example, a head-mounted display having a head tracking function capable of estimating the position and orientation of the viewer's head.
  • the viewer output system 200 initializes the position and orientation of the viewer's head in the coordinate system of the content (coordinate system in the space where the performer exists) (step 41), and the content is provided by the head tracking function. The position and orientation of the viewer's head in the coordinate system are estimated (step 42).
  • the viewer output system 200 projects the 3D content distributed according to this position / orientation on the virtual image plane (step 43), and outputs the projected content to the display (step 44).
  • SLAM Simultaneous Localization And Mapping
  • IMU Inertial Measurement Unit
  • Binocular stereoscopic vision which is generally used for viewing VR content, requires the position and orientation of the viewer's left and right eyes, but these can be calculated by using the estimated head position to both eyes. can.
  • the viewer 1 looking at the content from the side (Fig. A) and the viewer 2 looking at the content from the front (Fig. B) have heads.
  • the appearance of the content will differ depending on the position and posture.
  • the viewer uses an input device such as a controller to perform the head position / orientation. It is also possible to move virtually.
  • the content distribution system of the present embodiment provides an effect showing the viewer's virtual line-of-sight information (including the viewer's virtual position information) and the viewer's reaction to the performer during the content distribution process. , Can be presented to the performer.
  • the content distribution system can add an effect indicating the reaction of the viewer to the content during the content distribution process. The details of these processes will be described below.
  • FIG. 6 is a flowchart showing the flow of the viewer's line-of-sight information and effect presentation processing to the performer.
  • the viewer output system 200 calculates the viewer's line-of-sight parameter in the content coordinate system (step 51).
  • the viewer output system 200 may obtain this by converting the line-of-sight parameters defined in advance in the head mount display coordinate system (coordinate system of the space in which the viewer exists) into the content coordinate system, or the viewer output. If the system 200 has a device for estimating the line-of-sight direction of the viewer in real time, the parameters may be obtained by converting the parameters into the content coordinate system.
  • the line-of-sight parameter may be output separately for the right eye and the left eye, but here it is limited to one parameter in some way, such as adopting either one or obtaining the average of the left and right eyes. Think about it.
  • the viewer output system 200 uses the premise that the viewer always faces the performer instead of using the position of the viewer's eyes, and draws a straight line connecting the performer's head position and the viewer's head position, for example. It may be used as a line-of-sight parameter. Further, the viewer output system 200 may determine the line-of-sight parameter with a specific direction in the body coordinate system of the head-mounted display as the line-of-sight direction.
  • the line-of-sight parameter in the content coordinate system may be calculated by the viewer information management server 100 on the studio side instead of the viewer output system 200.
  • the viewer output system 200 transmits the line-of-sight parameter of the viewer in the head-mounted display coordinate system to the viewer information management server 100
  • the viewer information management server 100 transmits the line-of-sight parameter to the line-of-sight of the content coordinate system. Convert to parameters.
  • the viewer output system 200 transmits the viewer's line-of-sight parameter expressed in the content coordinate system to the viewer information management server 100 (step 52).
  • the viewer information management server 100 performs processing required by the performer output system 300 for the line-of-sight parameters sent from each viewer.
  • the viewer information management server 100 when the viewer information management server 100 outputs the viewer's avatar image as the line-of-sight information in the performer output system 300, the viewer information management server 100 associates the line-of-sight parameter with the viewer's avatar image that sent the information. Processing may be performed.
  • the viewer information management server 100 (CPU 11) has position and orientation information of the display 53 installed in the studio in the content coordinate system, and the display 53 is based on the viewer's line-of-sight parameter also expressed in the content coordinate system. And the coordinates of the intersection of the viewer's line of sight are calculated (step 53).
  • the viewer information management server 100 expresses each display 53 by a plane equation, and if the viewer's line-of-sight parameter is expressed by a linear equation, the display 53 The coordinates of the intersection of and the line of sight can be calculated.
  • the viewer information management server 100 may obtain the intersection coordinates in each display coordinate system after converting the line-of-sight parameter into each display coordinate system.
  • the viewer information management server 100 (CPU 11) causes the performer output system 300 to output the viewer's line-of-sight information to the display 53 in a form that the performer can recognize based on the calculated intersection coordinates (step 54). ).
  • the corresponding avatar images 71a, 71b, and 71c are displayed at the intersection coordinates I of the virtual line of sight VL1 of the viewer 1, the virtual line of sight VL2 of the viewer 2, the virtual line of sight VL3 of the viewer 3, and the display 53, respectively. Has been done.
  • the performer P recognizes the line of sight of the viewer V at a remote location and the direction in which the viewer V exists in real time by looking at the avatar image 71 displayed on the display 53, and there. You will be able to take appropriate actions such as looking at the person and performing toward it.
  • the virtual line of sight VL is also shown in the figure A. It is shown that the avatar image 71 moves accordingly.
  • this enables the viewer V to have a communication experience (for example, the line of sight is aligned) as if the performer P and himself / herself are physically close to each other.
  • the viewer's line of sight may be concentrated on the same coordinates on the display 53 of the performer output system 300.
  • the visibility of the performer is lowered because the plurality of avatar images 71 overlap each other.
  • the viewer information management server 100 causes the performer output system 300 to display the plurality of avatar images 71 for each viewer by replacing them with other images expressing the concentration of the eyes of the plurality of viewers. You may.
  • the performer output system 300 replaces the viewer's avatar image 71 group with the image A and displays the viewpoints of Y or more people.
  • the image B may be replaced with an image B different from the image A and displayed.
  • the performer output system 300 may display a heat map showing the degree of concentration of the line of sight on the display 53 instead of the avatar image 71.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200, and outputs the performer.
  • the viewer's avatar image 71 displayed on the display of the system 300 may be changed or processed.
  • the viewer information management server 100 uses the viewer's age, gender, nationality, place of residence, viewing time, the number of views and purchases of content in which the same performer appears, the distance to the performer in the content coordinate system, and other viewing.
  • the avatar image 71 may be framed with a different color, the size of the avatar image 71 may be changed, or the transparency may be changed.
  • the viewer information management server 100 expresses the projection destination plane of the projector in the content coordinate system, so that the viewer's avatar image 71 is similar to the case where the display 53 is used. Etc. can be calculated at the position to be drawn.
  • a plurality of cameras 51 and microphones 52 are arranged on the same plane as the display 53 (for example, as shown in FIG. 9).
  • An embedded display device (in a matrix) may be used.
  • the viewer information management server 100 uses the viewer information management server 100, for example, as shown in FIG.
  • the size of the avatar image 71 and the color of the frame may be changed, or the avatar image 71 itself may not be displayed depending on whether the avatar image 71 is facing or not.
  • the corresponding avatar images 71A and 71B are displayed in the usual sizes, but the virtual line of sight VL3 is the performer. Since it does not face P, the corresponding avatar image 71C is displayed smaller than the avatar images 71A and 71B.
  • Whether or not the viewer's line of sight is directed toward the performer P can be determined, for example, by whether or not the performer is included in a viewing cone of an arbitrary size centered on the viewer's line of sight.
  • the position of the viewer information (avatar image 71) displayed on the performer output system 300 may be updated at arbitrary intervals.
  • the viewer information management server 100 connects two intersections when the line of sight of a certain viewer and the intersection position c (t) of the display are different from the intersection position c (t-1) for the same viewer calculated immediately before.
  • the viewer information may be moved so as to move on the trajectory.
  • the content distributor creates an effect that allows the viewer to request playback from the performer output system, as shown in the effect table of FIG. 12A.
  • the effect table In the effect table, the effect ID that identifies the effect and the content of the effect indicated by the effect ID are associated with each other.
  • the effect table is stored in, for example, the storage device 20 of the viewer information management server 100.
  • Each viewer registers an action for issuing a playback request for each effect according to his / her own input device, as shown in the viewer action table of FIGS. 12B1 to B3.
  • the action here means the input of a specific command or movement to the device included in the viewer output system 200.
  • the viewer output system 200 acquires the effect ID of the effect to be played back from the action of the viewer (step 61).
  • the viewer 1 in FIG. 12B repeatedly moves the head up and down to issue a playback request for the effect in the performer output system 300 for the effect with the effect ID: 1000.
  • a viewer having a viewing environment having a head tracking function may use the movement of the head for a request as in viewer 1 in FIG. 12B, and a viewer using a motion controller is viewer 2.
  • a specific motion may be used for the request, as in.
  • the viewer output system 200 transmits an effect reproduction request corresponding to the effect ID to the viewer information management server 100 (step 62).
  • the effect reproduction request of each viewer is sent to the viewer information management server 100 as data in which the viewer ID that identifies the viewer and the effect ID are associated with each other.
  • the viewer information management server 100 (CPU 11) reproduces the effect corresponding to the effect ID at a position (for example, in the vicinity of the avatar image 71) corresponding to the intersection coordinates of the performer output system 300 based on the intersection coordinates. (Step 63).
  • the visual effect 72 having the effect ID: 1004 (rainbow) of FIG. 12A is reproduced in response to the reproduction request from the viewer 1, and the visual effect 72 is reproduced in response to the reproduction request from the viewer 2.
  • the visual effect 72 of the effect ID: 1003 (star) of 12A is reproduced, and the visual effect 72 of the effect ID 1000 (“cute” balloon comment) of FIG. 12A is reproduced in response to the reproduction request from the viewer 3.
  • effect reproduction requests may be concentrated near the same coordinates of the display 51 of the performer output system 300. At this time, if the effect requested for each viewer is played back, the visibility of the performer will be lowered due to the overlapping of a plurality of effects.
  • the viewer information management server 100 may cause the performer output system 300 to play the effects of the plurality of viewers by replacing them with other effects expressing the concentration of the plurality of effect playback requests. ..
  • the performer output system 300 replaces the effect of each viewer with a special effect expressing the concentration of the effect and reproduces the effect. You may.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200, and outputs the performer. You may control the size of the effect played by the system 300 and the type of effect you can request.
  • the viewer information management server 100 controls the types of effects that can be requested according to the viewing time of the viewer, the number of views of the content in which the same performer appears, the number of purchases, and other parameters associated with the viewer. You may.
  • the viewer information management server 100 may reproduce an effect that does not approach the line-of-sight position in order to express the excitement of the entire viewer.
  • a special effect indicating the same effect for example, a visual displayed over the entire display 53
  • the effect may be reproduced by the performer output system 300.
  • the performer output system 300 may include an audio reproduction device such as a speaker. This allows viewers to request sound effects as well as visual effects.
  • the content distributor creates an effect that allows the viewer to request the distribution content. Similarly, each viewer registers an action for issuing a request for granting each effect according to his / her own input device.
  • a table related to this effect (for example, one having the same format as shown in FIG. 12) is also stored in the storage device 20 of the viewer management server 100, for example.
  • FIG. 15 is a flowchart showing a flow from a viewer's request for adding an effect to the distribution of VR content to which the effect is applied to the viewer. Further, FIG. 16 is a conceptual diagram showing the flow.
  • the CPU 11 of the viewer information management server 100 receives the effect addition request of each viewer from the viewer output system 200 of each viewer (step 151).
  • the effect addition request is received as data in which the viewer ID and the effect ID are associated with each other.
  • the CPU 11 specifies the effect ID from the effect addition request (step 152).
  • the CPU 11 transmits an effect grant request including the effect ID to the content creation server 400 (step 153).
  • the content to which the effect corresponding to the effect ID is given by the content creation server 400 is distributed from the content distribution server 500 to the viewer output system 200 (step 154).
  • the effect addition request may be sent directly to the content creation server 400 without going through the viewer information management server 100.
  • the effect is given to the content by the content creation server 400, and each viewer is given the effect. It is delivered to the viewer output system 200 of.
  • each viewer can visually recognize the added effect from different lines of sight L1, L2, and L3.
  • the viewers 1 and 3 can know in real time how the viewer 2 reacts to the content.
  • effect application requests may be concentrated near the same position of the content (for example, around the performer). At this time, if the requested effect is given to each viewer, the visibility of the viewer is lowered due to the overlapping of a plurality of effects.
  • the viewer information management server 100 may cause the content creation server 400 to give the effects of a plurality of viewers by replacing them with other effects expressing the concentration of the plurality of effect grant requests. ..
  • the content creation server 400 may replace the effect of each viewer with a special effect expressing the concentration of the effect.
  • the viewer information management server 100 uses the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information acquired from the viewer output system 200 to be used as content. You may control the size of the effect to be given and the type of effect that can be requested.
  • the viewer information management server 100 controls the types of effects that can be requested to be given according to the viewing time of the viewer, the number of views of the content in which the same performer appears, the number of purchases, and other parameters associated with the viewer. You may.
  • a special effect for example, a visual effect displayed over the entire content
  • a special effect for example, a visual effect displayed over the entire content
  • the viewer information management server 100 intentionally issues a request by using the viewer attribute information managed by the viewer information management server 100 or the viewer attribute information given to the line-of-sight parameter information.
  • the VR content may be changed without the need for it.
  • the viewer information management server 100 stores a viewer residential area attribute table showing the number of viewers for each residential area of viewers around the world.
  • the content creation server 400 is a landmark representing each region (for example, Tokyo Tower in Japan, Statue of Liberty in the United States, Pisa in Italy) according to the number of viewers in the place of residence.
  • the display size of a 3D model such as the Leaning Tower of Pisa, the statue of Merlion in Singapore, etc. may be changed and combined with the background of the performer P to create the content.
  • the number of viewers is in the order of Japan, the United States, Italy, and Singapore, so the size of the 3D model is in the order of Tokyo Tower, Statue of Liberty, Leaning Tower of Pisa, and Merlion statue as the background of the content. Is set.
  • a method of adding the viewing state of other viewers (viewer's position, etc.) to the distributed content and viewing the content can be considered.
  • the additional content effect
  • the additional content may appear at a position that hinders the viewing of the delivered content, or the delivered content may be buried in the additional content. Problems such as disappearing occur.
  • FIG. 18 shows a case where the performer P, a plurality of virtual viewers V, and the display 53 have a certain positional relationship.
  • the avatar content expressing the viewing state of the other viewer is added to the content viewed by the viewer V1 based on the viewing position of the other viewer or the position of the avatar image 71 of the other viewer.
  • additional content may appear near the intersection coordinate I in the viewing cone of the viewer 1, and the viewing of the distributed content of the viewer V1 may be hindered.
  • the content creation server 400 virtually moves and enlarges the display 53 based on the position of the viewer V1 as shown in FIG. 20, and sets the intersection of the line of sight of another viewer and the virtual display 53. By using it at the display position of the additional content, it is possible to add the content expressing the viewing state of another viewer to the distributed content without interfering with the viewing of the viewer V1.
  • the position and size of the above virtual display may be changed arbitrarily.
  • the content creation server 400 may be set so that the virtual display always comes behind the viewing position of the viewer V1 with respect to the content.
  • the content creation server 400 may use an arbitrary plane, spherical surface, or a combination thereof to obtain an intersection with the line of sight of another viewer instead of the virtual display, and use it as the display position of the additional content.
  • the viewer information management server 100 may share the viewing state only to the members of the group or community to which each viewer belongs (for example, obtained from SNS or the like). Further, the content creation server 400 may replace the viewer's avatar content 72 with an image that is easier to draw (lower resolution).
  • the effect addition position may be adjusted appropriately.
  • three specific cases will be described, but the present invention is not limited to these.
  • the content creation server 400 keeps the quality of the playback effect viewed by each viewer constant by adjusting the playback position of the effect so that the effect is played in the viewing cone of each viewer. be able to.
  • FIG. 22 shows how the effect playback position of “Random Rays” requested by other viewers is adjusted according to the viewing cone VC of viewer 1.
  • the upper figure of the figure shows before adjustment, and the lower figure of the same figure shows after adjustment.
  • the reproduction positions of ray2 and ray4, which were located outside the viewing cone VC in the upper figure, are in the viewing cone VC in the lower figure. It is adjusted so that it can be seen with.
  • the line-of-sight direction of the viewer may be the center, or the head direction may be the center.
  • the effect requested by another viewer may be played in the space between the viewer and the performer.
  • the viewer output system 200 of the viewer will use the target effect. It is conceivable to stop the reproduction of. However, using this means may prevent one viewer from seeing the effect requested by another viewer with a different perspective.
  • each viewer output system 200 may adjust the center of occurrence of the reproduction effect according to the line-of-sight direction of each viewer and the position of the performer.
  • the effect center is a coordinate that serves as a reference for determining the playback position of an effect that has or does not have a specific attribute.
  • FIG. 23 shows the area A in which the effect generation center set centering on the performer P can be set.
  • a circle having a radius r [m] horizontal to the ground is set to a height h [m] and its center is set as a performer P, but the setting method of the area A is not limited.
  • FIG. 24 shows how the effect generation center C is set for each viewer using the set area A.
  • the effect generation center C maps each viewer's line of sight L to the plane where the effect generation center settable area A exists, and is far from the viewer at the intersection of the mapped line of sight and the effect generation center settable area A. It is set as a direction.
  • any viewer can view the effect requested by other viewers without hindering the viewing of the distributed content.
  • the content creation server 400 is not the viewer output system 200, but the viewer information management server 100 or directly from each viewer output system 200 to each viewer. It may be executed by receiving the line-of-sight parameter of.
  • the effect to be played has a text attribute
  • the effect having the text attribute is played on the plane of the background content having a certain spread or more.
  • background contents Plane1 and Plane2 having different plane parameters are arranged ahead of the line of sight (L1 and L2) of the viewer 1 and the viewer 2.
  • the content creation server 400 not the viewer output system 200, obtains the line-of-sight parameters of each viewer from each viewer output system 200 via the viewer information management server 100 or directly. It may be executed by receiving.
  • the content creation server 400 may reflect only the effect reproduction request of another viewer having a line-of-sight parameter close to that viewer in the content delivered to a certain viewer.
  • the content creation server 400 sets the number of rays to be reproduced for one reproduction request to n.
  • the book may be y, which is larger than x.
  • the content creation server 400 does not give the effect that the playback position is determined according to the line-of-sight information of the viewer to the content distributed from the content distribution server 500, and the output system 200 of each viewer relates to the effect. By transmitting information and giving an effect, it is possible to reduce the load on the content creation server 400 and the content distribution server 500.
  • an effect that changes the display posture according to the viewer's line-of-sight direction or has an attribute that does not change an effect that changes the display posture according to the orientation of the performer or has an attribute that does not change, in the viewing cone between the viewer and the performer.
  • an effect that has an attribute that is not displayed in an effect that has an attribute that is played back with the distance between the viewer and the performer as a parameter, and an effect that has an attribute that is played back with the degree of alignment of the performer and the viewer's line of sight as a parameter.
  • the content distribution system enables the performer to grasp the virtual line of sight of the viewer in the same space as himself / herself, and makes the performer a remote viewer. On the other hand, it is possible to perform an appropriate performance according to the reaction of the viewer.
  • the performer and the viewer can communicate as if they are physically close to each other even in a remote place.
  • the viewer's action is mapped to the effect ID and sent to the viewer information management server 100, the amount of communication data for expressing the viewer's action is significantly reduced.
  • the content distribution system can share the experience among viewers who are viewing common content by reflecting the actions of the viewers in the distributed content.
  • the content distribution system can differentiate the services provided for each viewer by controlling the effects that can be played / granted for each viewer.
  • the viewer information providing server 100 or the content creation server 300 determines that a specific communication has been established between the performer and the viewer, and the content delivered by the target viewer or all of the contents. It is conceivable to enhance the communication experience by adding a special effect to the viewer's distributed content.
  • the establishment of specific communication includes, for example, the case where the line of sight of the performer and the viewer match, the case where the viewer receives a specific effect reproduction request for a specific performance of the performer, and the like.
  • the viewer information management server 100 or the content creation server 300 determines whether or not the line of sight of the performer and the viewer match, for example, the line of sight of the performer is directed toward the avatar image 71 of a certain viewer on the display.
  • the absolute value of the inner product of the line-of-sight vectors of the performer and the viewer may be determined by whether or not it is less than a predetermined threshold value such that the line-of-sight vectors are substantially parallel.
  • the viewer information management server 100 outputs a special visual effect or sound effect from the vicinity of the avatar image (intersection coordinates) corresponding to the viewer on the display 53 when the line of sight of the performer and the viewer match. You may let me.
  • the viewer information management server 100 counts the number of times the line of sight is met for each viewer, so that a value indicating how often the line of sight is met in each direction can be obtained at each intersection coordinate of the display 53. It can be displayed as a histogram in association with I. Based on this information, the performer can increase the satisfaction of the entire viewer by performing in a direction in which the viewer and the line of sight are infrequently aligned.
  • FIG. 14 shows an example in which a frequency histogram 73 showing the above frequency is displayed on the display 53.
  • the value of the frequency histogram 73 it is conceivable to use a value obtained by dividing the total number of times the viewer and the line of sight meet in each direction by the number of viewers existing in that direction.
  • a content distribution system imposes a higher viewing fee than usual on a viewer who uses a specific viewing position on the premise that the performer frequently communicates with the viewing position.
  • a content distribution system imposes a higher viewing fee than usual on a viewer who uses a specific viewing position on the premise that the performer frequently communicates with the viewing position.
  • the content was shot by the camera 51 fixed to the shooting studio, but instead of the camera 51, the content may be shot while moving by, for example, a drone.
  • the present technology can have the following configurations.
  • (1) Viewing state information indicating the line of sight or position of the viewer in the coordinate system of the space in which the viewer exists from the terminals of a plurality of viewers who are playing back the content in which the performance of the performer is captured in real time via the network.
  • An information processing system including a control unit that applies an effect to the content for each viewer based on each acquired viewing state information.
  • the control unit is an information processing system that acquires attribute information indicating the attributes of the viewer together with the viewing state information and changes the effect according to the attribute information.
  • (3) The information processing system according to (1) or (2) above.
  • the control unit When the effect is applied to the first viewer among the plurality of viewers, the control unit has a virtual surface set in the coordinate system of the space and a second viewer different from the first viewer.
  • An information processing system that calculates the coordinates of the intersection of the viewer with the line of sight and applies the effect to the position corresponding to the coordinates of the intersection of the content.
  • the control unit is an information processing system that sets the virtual surface behind the viewing position in the coordinate system of the space of the first viewer.
  • the control unit is an information processing system that sets the resolution of each effect according to the second viewer lower as the number of the second viewer increases. (6) The information processing system according to any one of (3) to (5) above.
  • the control unit applies the effect in the viewing cone.
  • An information processing system that changes its position.
  • the control unit is the one of the two intersections of the region set around the position of the performer in the coordinate system of the space in which the performer exists and the line of sight of the plurality of viewers, whichever is farther from each viewer.
  • An information processing system that applies the effect for each viewer to a position corresponding to the coordinates of the intersection of.
  • the control unit grants the effect in response to an effect granting request including effect identification information indicating the attribute of the effect received from the terminal of each viewer, and the attribute indicated by the effect identification information is a flat effect. If, a predetermined plane is set for each viewer on the line of sight of each viewer behind the performer in the coordinate system of the space in which the performer exists, and the effect is applied on the predetermined plane.
  • Information processing system (9) The information processing system according to any one of (1) to (8) above.
  • the effect is applied only in response to the effect addition request from the second viewer having the line of sight or position within a predetermined distance from the line of sight or position of the first viewer.
  • Information processing system (10) The information processing system according to any one of (1) to (9) above.
  • the control unit is an information processing system that acquires information indicating the number of terminals of a viewer who is playing the content and increases the effect of the effect to be given according to the number of terminals.
  • (11) Viewing state information indicating the line of sight or position of the viewer in the coordinate system of the space in which the viewer exists from the terminals of a plurality of viewers who are playing back the content in which the performance of the performer is captured in real time via the network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

情報処理システムは、制御部を有する。当該制御部は、演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得する。また制御部は、上記取得された各視聴状態情報を基に、上記コンテンツに上記視聴者毎にエフェクトを付与する。

Description

情報処理システム、情報処理方法及びプログラム
　本技術は、演者によるパフォーマンスを撮影したコンテンツを、ネットワークを介してリアルタイムに視聴者へ配信するシステムにおいて、演者に視聴者に関する情報を提示可能な情報処理システム、情報処理方法及びプログラムに関する。
　ネットワーク技術の発達に伴い、遠隔地へのコンテンツ配信サービスは成長を続けている。例えば映画コンテンツをはじめとする動画配信は、配信者から視聴者へコンテンツデータを配信し、視聴者は配信されたコンテンツを楽しむという一方向性のシステムで実現されてきた。
　近年では、例えばリアルタイム動画配信サービスにおいて、配信者と視聴者がお互いにコミュニケーションを取ることが可能な双方向性のシステムが実現されている。このシステムによってコンテンツそのものだけではなく、コンテンツを通したコミュニケーションを体験するという新しい価値が提供されている。
　このようなシステムにおける、視聴者から配信者に発信するためのコミュニケーション手段は、主に文字情報や音声情報である。特に文字情報については、配信される動画上に視聴者によって入力された文字情報を重畳することによって、配信者と視聴者だけでなく、視聴者同士のコミュニケーションを実現している。
　ネットワークを介したコミュニケーションを実現する手段として、例えば下記特許文献１には、複数のユーザ同士が同じ仮想空間で対等なテキストベースのコミュニケーションをとる手段について開示されている。
　また下記特許文献２には、同じコンテンツを利用しているユーザが互いの状態を把握するための手段について開示されている。
特開２００９－２１１５２８号公報 特許第６５１９４６８号公報
　従来技術では、配信者と視聴者のコミュニケーションの手段としては主にテキスト情報と音声情報が用いられてきた。しかし、これらネットワークを介してとられるコミュニケーションと、これまで物理的に近い距離（相手が見える距離）でとられていたコミュニケーションとには、体験として大きなかい離がある。
　例えば、ある限られた場所で開催される音楽ライブコンサートを、遠隔地にいる顧客にも体験してもらうために、配信者が演者の画像や音声データをリアルタイムに取得し、それらのデータを配信用コンテンツデータに変換し、ネットワークを介して映画館や各家庭に配信するサービスを考える。この場合コンテンツは、映画館へはスクリーン上に映し出されるコンテンツとして、また、各家庭へは、テレビで見ることができるコンテンツや、ＨＭＤ（Head Mount Display）で見ることができるコンテンツとして配信される。
　実際に音楽ライブコンサートが行われている会場では、演者はどれくらいの観客がいるのか、観客がどこにいるか、物理的にどのように分布しているか、自分の演技・演出・パフォーマンスに対してどのような反応をしているか、などを確認しながら次の行動を適切に決定することができる。また、観客の立場では、演者が自分の位置や反応を見ながら次の行動を決めているため、自分の方向に視線を向けてもらえたり、演者の呼びかけに対して答える・答えられるといった、いわゆる「コールアンドレスポンス」といった演出を楽しむことができたり、自分以外の観客の反応を感じることができたりするなど、音楽を聴く以外のコミュニケーションを体験することができる。
　一方、これらのコミュニケーション体験は、従来のテキストや音声を用いたネットワークを介するコミュニケーション手段を用いて再現することは難しい。そのため、同じ音楽ライブコンサートの観客でも、実際の会場で得られる体験と、ネットワークを介した遠隔地で得られる体験には大きな隔たりがある。
　また、ネットワークを介して配信されるコンテンツに対して視聴者がエフェクトを付与可能なシステムも存在する。そのようなエフェクトの見え方はどの視聴者にとっても同一であるため、視聴者は当該コンテンツから大きな臨場感を得ることができない。
　特に、ＶＲ(Virtual Reality)コンテンツのように各視聴者が仮想的な視線（位置）から視聴可能なコンテンツにおいて、エフェクトの見え方が一律であると臨場感に欠ける結果となる。
　以上のような事情に鑑み、本技術の目的は、リアルタイムで配信されるコンテンツに、遠隔地の視聴者の視線や位置に応じたエフェクトを付与することが可能な情報処理システム、情報処理方法及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理システムは、制御部を有する。当該制御部は、演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得する。また制御部は、上記取得された各視聴状態情報を基に、上記コンテンツに上記視聴者毎にエフェクトを付与する。
　これにより情報処理システムは、リアルタイムで配信されるコンテンツに、遠隔地の視聴者の視線や位置に応じたエフェクトを付与することができる。ここでエフェクトとは、例えば色や光による演出、アバター画像等、あらゆるものが含まれる。
　上記制御部は、上記視聴者の属性を示す属性情報を上記視聴状態情報と共に取得し、当該属性情報に応じて上記エフェクトを変更してもよい。
　上記制御部は、上記複数の視聴者のうち第１の視聴者向けに上記エフェクトを付与する場合、上記空間の座標系に設定された仮想面と、上記第１の視聴者とは異なる第２の視聴者の上記視線との交点座標を算出し、上記コンテンツの上記交点座標に対応する位置に上記エフェクトを付与してもよい。
　上記制御部は、上記第１の視聴者の上記空間の座標系における視聴位置よりも後方に上記仮想面を設定してもよい。
　これにより情報処理システムは、視聴者による視聴を妨げることなく、コンテンツへ他視聴者の視聴状態を表現するエフェクトを付加することができる。
　上記制御部は、上記第２の視聴者の数が多いほど、当該第２の視聴者に応じた各エフェクトの解像度を低く設定してもよい。
　これにより情報処理システムは、コンテンツを視聴中の他の視聴者の増加によりエフェクト付与のための処理負荷が増大しコンテンツ自体の質が劣化してしまうのを防止することができる。
　上記制御部は、上記第２の視聴者の上記視線との交点座標が上記第１の視聴者の上記座標系におけるビューイングコーン内に含まれない場合、当該ビューイングコーン内に上記エフェクトの付与位置を変更してもよい。
　これにより情報処理システムは、視聴者に、他の視聴者の視線位置にかかわらず、他の視聴者によって付与されたエフェクトを常に閲覧させることができる。
　上記制御部は、上記演者が存在する空間の座標系における上記演者の位置を中心として設定された領域と、上記複数の視聴者の上記視線とのそれぞれ２つの交点のうち各視聴者から遠い方の交点の座標に対応する位置に、各視聴者向けの上記エフェクトを付与してもよい。
　これにより情報処理システムは、コンテンツ中の演者に着目している各視聴者の視聴の妨げにならないように各視聴者向けにエフェクトを付与して再生することができる。
　上記制御部は、上記各視聴者の端末から受信した、上記エフェクトの属性を示すエフェクト識別情報を含むエフェクト付与リクエストに応じて上記エフェクトを付与し、当該エフェクト識別情報が示す属性が平面的なエフェクトである場合、上記演者が存在する空間の座標系における上記演者の後方であって上記各視聴者の上記視線上に当該視聴者毎に所定平面を設定し、当該所定平面上に上記エフェクトを付与してもよい。
　これにより情報処理システムは、特定の属性を有するエフェクトを各視聴者に適した形で再生させることができる。
　上記制御部は、上記各視聴者の端末から受信したエフェクト付与リクエストに応じて上記エフェクトを付与し、上記複数の視聴者のうち第１の視聴者向けに上記エフェクトを付与する場合、上記複数の視聴者からの上記エフェクト付与リクエストのうち、当該第１の視聴者の上記視線または位置と所定距離以内の視線又は位置を有する第２の視聴者からのエフェクト付与リクエストのみに応じて上記エフェクトを付与してもよい。
　これにより情報処理システムは、すべてのエフェクト付与リクエストに対応してエフェクトを付与するのではなく視聴者から近距離のもののみをフィルタリングすることで、処理量増大によるコンテンツ配信の遅延や通信データの増大が生じるのを防ぐことができる。
　上記制御部は、上記コンテンツを再生中の視聴者の端末の数を示す情報を取得し、当該数に応じて、上記付与されるエフェクトの効果を大きくしてもよい。
　これにより情報処理システムは、エフェクトの効果によって視聴者に同時に視聴中の他の視聴者の規模を把握させることができる。ここでエフェクトの効果とは、例えば光線のエフェクトであればその数であり、光のエフェクトであればその明度等であるが、これらに限られない。
　本技術の他の形態に係る情報処理方法は、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得し、
　上記取得された各視聴状態情報を基に、上記コンテンツに上記視聴者毎にエフェクトを付与する、ことを含む。
　本技術の他の形態に係るプログラムは、情報処理装置に、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、上記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得するステップと、
　上記取得された各視聴状態情報を基に、上記コンテンツに上記視聴者毎にエフェクトを付与するステップと、を実行させる。
　以上のように、本技術によれば、リアルタイムで配信されるコンテンツに、遠隔地の視聴者の視線や位置に応じたエフェクトを付与することができる。しかし、当該効果は本技術を限定するものではない。
本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。 上記コンテンツ配信システムのスタジオにおける機材設置例を示した図である。 上記コンテンツ配信システムが有する視聴者情報管理サーバのハードウェア構成を示した図である。 上記コンテンツ配信システムによるコンテンツ配信処理の流れを示したフローチャートである。 上記コンテンツ配信システムにおいてコンテンツに対し異なる位置姿勢を持つ視聴者がいる場合の表示例を示した図である。 上記コンテンツ配信システムによる視聴者情報表示処理の流れを示したフローチャートである。 上記コンテンツ配信システムにおける演者に対する視聴者の視線情報の提示例を示した図である。 上記コンテンツ配信システムにおいて視聴者の移動に応じた視線情報の表示例を示した図である。 上記コンテンツ配信システムのスタジオにおける機材設置例の変形例を示した図である。 上記コンテンツ配信システムにおいて、異なる視線を有する異なる視聴者の情報が同じ位置に表示される例を示した図である。 上記コンテンツ配信システムにおいて、視聴者の視線が演者の方を向いているか否かに応じた視線情報の表示例を示した図である。 上記コンテンツ配信システムにおいて視聴者がリクエスト可能な演者に対するエフェクトとそのためのアクションとの関係を示した表である。 上記コンテンツ配信システムにおける視聴者から演者に対するエフェクトの表示例を示した図である。 上記コンテンツ配信システムにおいて演者と視聴者の視線が合った回数を示すヒストグラムの表示例を示した図である。 上記コンテンツ配信システムが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示したフローチャートである。 上記コンテンツ配信システムにおいてが視聴者からのリクエストに応じてコンテンツにエフェクトを付与する流れを示した概念図である。 上記コンテンツ配信システムにおけるコンテンツに対するエフェクトの付与処理の変形例を示した図である。 上記コンテンツ配信システムにおいて、演者、複数の視聴者、ディスプレイが、ある位置関係を持つ場合を示した図である。 図１８の場合において、ある視聴者が視聴するコンテンツに対して、他視聴者の視聴状態を表現する情報が付加された様子を示した図である。 図１８の場合において、ある視聴者が視聴するコンテンツに対して、仮想的にディスプレイを移動・拡大して視聴者の視聴状態を表現する情報が付加された様子を示した図である。 上記コンテンツ配信システムにおける視聴者からのリクエストによる光線のエフェクトの再生例を示した図である。 図２１のエフェクトの再生位置の調整例を示した図である。 上記コンテンツ配信システムにおいて演者を中心として設定されたエフェクト発生中心を設定可能な領域を示した図である。 図２３の例で設定された領域を用いて、視聴者ごとにエフェクト発生中心が設定される様子を示した図である。 上記コンテンツ配信システムにおいて視線の異なる各視聴者に対して異なる平面パラメータを持つ背景コンテンツが配置された例を示した図である。 図２５の場合におけるエフェクトの再生例を示した図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
［システムの概要］
　図１は、本技術の一実施形態に係るコンテンツ配信システムの構成を示した図である。
　図１は、当該システムの全体構成を示した図であり、図２は、当該システムが有するコンテンツ撮影スタジオにおける機材設置例を示した図である。
　両図に示すように、本システムは、コンテンツ撮影スタジオ内の視聴者情報管理サーバ、演者出力システム３００、コンテンツ作成サーバ４００、コンテンツ配信サーバ５００と、それらとインターネット等のネットワーク５０を介して接続された複数の視聴者出力システム２００とを有する。
　コンテンツ作成サーバ４００は、コンテンツ作成専用の上記スタジオを用いて、リアルタイムに演者のパフォーマンスを撮影したコンテンツを作成する。作成されたコンテンツは、ネットワーク５０を介して視聴者にストリーミング配信される。
　視聴者に配信されるコンテンツは、３Ｄモデルとサラウンド音声をベースに構成されるＶＲ(Virtual Reality)コンテンツである。図２に示すように、上記スタジオは、コンテンツ作成のために１台以上のカメラ５１およびマイク５２を含む撮影機材を備え、コンテンツ作成サーバ４００が、当該撮影されたデータを基に配信コンテンツを作成する。
　視聴者情報管理サーバ１００は、視聴者の仮想視線や仮想位置等の視聴者の視聴状態に関する情報を適宜視聴者出力システム２００から取得して管理する。
　演者出力システム３００は、コンテンツに出演する演者に対して視聴者の視聴状態に関する情報を出力するための、１台以上のディスプレイ５３を有する。
　視聴者情報管理サーバ１００は、視聴者出力システム２００から受信した視聴者の視聴状態等の情報をコンテンツ作成サーバ４００に送信し、コンテンツ作成サーバ４００は、当該情報に応じて配信コンテンツに変化を加えることも可能である。
　コンテンツ作成サーバ４００で作成・変更されたコンテンツは、コンテンツ配信サーバ５００からネットワーク５０を介して、コンテンツ配信サーバ５００によって各コンテンツ視聴者（視聴者出力システム２００）へ配信される。
［視聴者情報管理サーバのハードウェア構成］
　図３は、上記視聴者情報管理サーバ１００のハードウェア構成を示した図である。
　同図に示すように、視聴者情報管理サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、およびＲＡＭ（Random Access Memory）１３を含む。また、視聴者情報管理サーバ１００は、ホストバス１４、ブリッジ１５、外部バス１６、インタフェース１７、入力装置１８、出力装置１９、ストレージ装置２０、ドライブ２１、接続ポート２２、通信装置２３を含んでもよい。さらに、視聴者情報管理サーバ１００は、必要に応じて、撮像装置２６、およびセンサ２７を含んでもよい。視聴者情報管理サーバ１００は、ＣＰＵ１１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。
　ＣＰＵ１１は、演算処理装置および制御装置として機能し、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記録された各種プログラムに従って、視聴者情報管理サーバ１００内の動作全般またはその一部を制御する。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ１１、ＲＯＭ１２、およびＲＡＭ１３は、ＣＰＵバスなどの内部バスにより構成されるホストバス１４により相互に接続されている。さらに、ホストバス１４は、ブリッジ１５を介して、視聴者情報管理サーバＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス１６に接続されている。
　入力装置１８は、例えば、タッチパネル、物理ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１８は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、視聴者情報管理サーバ１００の操作に対応したスマートフォンやスマートウォッチなどの外部接続機器２５であってもよい。入力装置１８は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１１に出力する入力制御回路を含む。ユーザは、この入力装置１８を操作することによって、視聴者情報管理サーバ１００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置１９は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１９は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカなどの音声出力装置などでありうる。出力装置１９は、視聴者情報管理サーバ１００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置２０は、視聴者情報管理サーバ１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２０は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置２０は、例えばＣＰＵ１１が実行するプログラムや各種データ、および外部から取得した各種のデータ、並びに、視聴者出力システム２００から取得したデータ（後述する視線パラメータや各視聴者のアバター画像等）などを格納する。
　ドライブ２1は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体２４のためのリーダライタであり、視聴者情報管理サーバ１００に内蔵、あるいは外付けされる。ドライブ２1は、装着されているリムーバブル記録媒体２４に記録されている情報を読み出して、ＲＡＭ１３に出力する。また、ドライブ２1は、装着されているリムーバブル記録媒体２４に記録を書き込む。
　接続ポート２２は、機器を視聴者情報管理サーバ１００に接続するためのポートである。接続ポート２２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート２２は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート２２に外部接続機器２５を接続することで、視聴者情報管理サーバ１００と外部接続機器２５との間で各種のデータが交換されうる。
　通信装置２３は、例えば、通信ネットワーク５０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置２３は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置２３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置２３は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置２３に接続される通信ネットワーク５０は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置２６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成するカメラである。撮像装置２６は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ２７は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、デプスセンサ、または音センサ（マイクロフォン）などの各種のセンサである。
　上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　図示しないが、視聴者出力システム２００、演者出力システム３００、コンテンツ作成サーバ４００及びコンテンツ配信サーバ５００も、上記視聴者情報管理サーバ１００が有するのと同様の、コンピュータとして機能するためのハードウェアを有する。
［コンテンツ配信システムの動作］
　次に、以上のように構成されたコンテンツ配信システムの動作について説明する。当該動作は、視聴者情報管理サーバ１００のＣＰＵ１１及び通信部等のハードウェアと、ＲＯＭ１２、ＲＡＭ１３、ストレージ装置２０、またはリムーバブル記録媒体２４に記憶されたソフトウェアとの協働により実行される。
　図４は、視聴者出力システム２００に配信されたコンテンツの表示処理のフローチャートを示した図である。また図５は、コンテンツに対し異なる位置姿勢を持つ視聴者がいる場合のコンテンツの表示例を示した図である。
　コンテンツ視聴者は、コンテンツを受信し、各視聴者の持つ視聴者出力システムを通してコンテンツを視聴する。ここで、視聴者出力システム２００は、例えば、視聴者の頭部の位置姿勢の推定が可能なヘッドトラッキング機能を持つヘッドマウントディスプレイである。
　図４に示すように、視聴者出力システム２００は、コンテンツの座標系（演者が存在する空間における座標系）における視聴者頭部の位置姿勢を初期化し（ステップ４１）、ヘッドトラッキング機能により、コンテンツ座標系における視聴者の頭部の位置姿勢を推定する（ステップ４２）。
　続いて視聴者出力システム２００は、この位置姿勢に応じて配信された３Ｄコンテンツを仮想画像平面上に投影し（ステップ４３）、投影したコンテンツをディスプレイに出力する（ステップ４４）。
　ヘッドトラッキング機能を実現する技術として、例えばカメラとＩＭＵ（Inertial Measurement Unit）センサを用いたＳＬＡＭ(Simultaneous Localization And Mapping)技術が挙げられる。
　一般にＶＲコンテンツの視聴に用いられる両眼立体視には、視聴者の左右の眼の位置姿勢が必要だが、これらは推定された頭部位置から両眼へのオフセットを用いることで計算することができる。
　図５に示すように、コンテンツ座標系においてコンテンツを真横から見ている視聴者１と（同図Ａ）、コンテンツを正面から見ている視聴者２（同図Ｂ）とでは、その頭部の位置・姿勢に応じてコンテンツの見え方が異なることになる。
　ヘッドトラッキング機能の有無に関わらず、視聴者出力システム２００が視聴者の実際の頭部の位置姿勢を推定して使用する代わりに、視聴者が、コントローラ等の入力デバイスによって、頭部の位置姿勢を仮想的に動かすことも可能である。
　本実施形態のコンテンツ配信システムは、上記コンテンツの配信処理中に、演者に対して視聴者の仮想的な視線情報（視聴者の仮想的な位置情報を含む）及び視聴者の反応を示すエフェクトを、演者に提示することが可能である。またその一方でコンテンツ配信システムは、コンテンツの配信処理中に、視聴者の反応を示すエフェクトをコンテンツに付与することが可能である。以下、これらの処理の詳細について説明する。
［演者に対する視聴者の視線情報の提示］
　図６は、上記演者に対する視聴者の視線情報及びエフェクトの提示処理の流れを示したフローチャートである。
　同図の左側のフローに示すように、まず、視聴者出力システム２００が、コンテンツ座標系における視聴者の視線パラメータを計算する（ステップ５１）。
　視聴者出力システム２００はこれを、あらかじめヘッドマウントディスプレイ座標系（視聴者が存在する空間の座標系）で定義された視線パラメータをコンテンツ座標系に変換することで求めてもよいし、視聴者出力システム２００がリアルタイムに視聴者の視線方向を推定する装置を持つ場合は、そのパラメータをコンテンツ座標系に変換することで求めてもよい。
　視線パラメータは、右眼と左眼とで個別に出力される場合もあるが、ここではどちらか一方を採用する、もしくは左右の平均を取得する、など、何らかの方法でひとつのパラメータに限定されることを考える。また視聴者出力システム２００は、視聴者の眼の位置を使うかわりに、視聴者は常に演者の方向を向いている前提を用いて、例えば演者頭部位置と視聴者頭部位置を結ぶ直線を視線パラメータとして用いてもよい。また視聴者出力システム２００は、ヘッドマウントディスプレイの機体座標系における特定の方向を視線方向として視線パラメータを決めてもよい。
　当該コンテンツ座標系における視線パラメータは、視聴者出力システム２００ではなく、スタジオ側の視聴者情報管理サーバ１００によって算出されてもよい。この場合、視聴者出力システム２００は、上記ヘッドマウントディスプレイ座標系における視聴者の視線パラメータを視聴者情報管理サーバ１００へ送信し、視聴者情報管理サーバ１００が、当該視線パラメータをコンテンツ座標系の視線パラメータへと変換する。
　続いて、視聴者出力システム２００は、コンテンツ座標系で表現された視聴者の視線パラメータを視聴者情報管理サーバ１００に送信する（ステップ５２）。
　視聴者情報管理サーバ１００は、各視聴者から送られた視線パラメータに対し、演者出力システム３００が必要とする処理を行う。
　例えば、視聴者情報管理サーバ１００は、演者出力システム３００において、視線情報として視聴者のアバター画像を出力する場合には、視線パラメータとその情報を送った視聴者のアバター画像との紐付けを行う処理を行ってもよい。
　視聴者情報管理サーバ１００（ＣＰＵ１１）は、スタジオに設置されたディスプレイ５３の、コンテンツ座標系における位置姿勢情報を持ち、同じくコンテンツ座標系で表現された視聴者の視線パラメータをもとに、ディスプレイ５３と視聴者の視線の交点座標を計算する（ステップ５３）。
　例えば、演者出力システム３００が複数のディスプレイ５３から構成される場合、視聴者情報管理サーバ１００は、各ディスプレイ５３を平面方程式で表現し、視聴者の視線パラメータを直線方程式で表現すれば、ディスプレイ５３と視線の交点座標を計算することができる。
　これは、ディスプレイ５３が曲面であった場合にも適用できる。または、視聴者情報管理サーバ１００は、視線パラメータを各ディスプレイ座標系に変換した後に、各ディスプレイ座標系における交点座標を求めてもよい。
　続いて、視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記算出した交点座標をもとに、演者出力システム３００に、視聴者の視線情報を演者が認識できる形でディスプレイ５３に出力させる（ステップ５４）。
　これは、例えば図７に示すように、コンテンツ座標系で表現された交点座標Ｉをディスプレイ座標系に変換し、対応する位置に各視聴者のアバター画像７１を表示することで実現できる。同図の例では、視聴者１の仮想視線ＶＬ１、視聴者２の仮想視線ＶＬ２、視聴者３の仮想視線ＶＬ３とディスプレイ５３の交点座標Ｉに、それぞれ対応するアバター画像７１ａ、７１ｂ、７１ｃが表示されている。
　図８に示すように、演者Ｐは、ディスプレイ５３に表示されたアバター画像７１を見ることで、遠隔地にいる視聴者Ｖの視線や、視聴者Ｖの存在する方向をリアルタイムに認識し、そこに視線を向けたり、そこに向かってパフォーマンスを行うなど、適切な行動をとることができるようになる。同図の例では、同図Ｂに示すように視聴者Ｖがｔ１、ｔ２、ｔ３と時系列で右から左へ視線Ｌを移動させるに応じて、同図Ａに示すように仮想視線ＶＬも移動し、それに応じてアバター画像７１も移動する様子が示されている。
　また、これにより視聴者Ｖは、あたかも演者Ｐと自身が物理的に近い距離にいるかのようなコミュニケーション体験（例えば視線が合うなど）ができるようになる。
[視線情報の提示に関する変形例]
　以下、上記演者への視聴者の視線情報の提示に関する変形例について説明する。
　視聴者の数が増えると、演者出力システム３００のディスプレイ５３上の同じ座標に視聴者の視線が集中する場合がある。このとき、視聴者毎に設定されたアバター画像７１等を表示すると、複数のアバター画像７１が重なるなどして、演者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、視聴者毎の複数のアバター画像７１を、複数の視聴者の視線の集中を表現する他の画像等に差し替えて表示させてもよい。
　例えば、Ｘ人以上の視点がディスプレイ５３上の所定面積以下の領域内に集まった場合、演者出力システム３００は、視聴者のアバター画像７１群を画像Ａに差し替えて表示し、Ｙ人以上の視点が上記領域内に集まった場合、上記画像Ａとは異なる画像Ｂに差し替えて表示するようにしてもよい。また、演者出力システム３００は、アバター画像７１の代わりに、視線の集中具合を表すヒートマップをディスプレイ５３に表示してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００のディスプレイに表示する視聴者のアバター画像７１を変更、または、加工してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の年齢や、性別、国籍、住居地、視聴時間、同じ演者が出演するコンテンツの視聴回数や購入回数、コンテンツ座標系における演者との距離、その他視聴者に紐付くパラメータに応じて、アバター画像７１に異なる色の枠を付けたり、アバター画像７１の大きさを変えたり、透過度を変えたりしてもよい。
　演者出力システム３００の映像出力装置として、ディスプレイ５３以外の使用も考えられる。例えば、プロジェクターを用いる場合は、視聴者情報管理サーバ１００は、プロジェクターの投影先平面をコンテンツ座標系で表現しておくことで、ディスプレイ５３を使用した場合と同じように、視聴者のアバター画像７１等を描画すべき位置を計算することができる。
　また、演者に対するディスプレイ５１の視認性を向上させるために、図２に示したような構成に代えて、図９に示すように、ディスプレイ５３と同じ平面に複数のカメラ５１やマイク５２が（例えばマトリクス状に）埋め込まれた表示装置が用いられてもよい。
　図１０に示すように、演者出力システム３００において異なる視聴者の情報、例えばアバター画像７１が、ディスプレイ５３の同じ位置に表示されていても、視聴者が演者の方へ視線を向けていない場合も考えられる（視線ＶＬ１は演者Ｐを向いているが、視線ＶＬ２は演者Ｐの方を向いていない）。
　そこで、演者Ｐに対してより正確な視聴者Ｖの視線情報を伝えるために、視聴者情報管理サーバ１００は、例えば図１１に示すように、視聴者Ｖの視線がコンテンツ座標系において演者Ｐの方を向いている場合と、そうでない場合とで、アバター画像７１のサイズや枠の色を変えたり、アバター画像７１そのものを表示しないようにしてもよい。
　同図の例では、仮想視線ＶＬ１とＶＬ２は演者Ｐの方を向いているため、それらに対応する各アバター画像７１Ａ及び７１Ｂは通常通りの大きさで表示されているが、仮想視線ＶＬ３は演者Ｐの方を向いていないため、それに対応するアバター画像７１Ｃは、アバター画像７１Ａ及び７１Ｂに比べて小さく表示されている。
　視聴者の視線が演者Ｐの方を向いているか否かは、例えば視聴者の視線を中心とする任意のサイズのビューイングコーン内に演者が含まれているか否かによって判定することができる。
　演者出力システム３００に表示する視聴者情報（アバター画像７１）の位置は、任意の間隔で更新されてもよい。視聴者情報管理サーバ１００は、ある視聴者の視線とディスプレイの交点位置ｃ（ｔ）が、直前に計算された同じ視聴者に対する交点位置ｃ（ｔ－1）と異なる場合、２つの交点を結ぶ軌跡上を移動するように視聴者情報を動かしてもよい。
［演者に対する視聴者のエフェクトの提示］
　次に、演者出力システム３００において視聴者の視線以外の情報を追加で表示することで、視聴者の反応や盛り上がりといった情報を演者に伝える手段について述べる。
　演者は、これらの情報を得ることによって、視聴者に向けて適切なパフォーマンスを行うことができる。コンテンツ配信者は、図１２Ａのエフェクトテーブルのように、視聴者が演者出力システムに再生リクエストが可能なエフェクトを作成する。当該エフェクトテーブルは、エフェクトを識別するエフェクトＩＤと、それが示すエフェクトの内容とが対応付けられたものである。当該エフェクトテーブルは、例えば視聴者情報管理サーバ１００のストレージ装置２０に記憶される。
　各視聴者は、図１２Ｂ１～Ｂ３の視聴者アクションテーブルのように、自身が持つ入力デバイスに合わせて、各エフェクトの再生リクエストを発行するためのアクションを登録する。ここでのアクションとは、視聴者出力システム２００が有するデバイスへの特定のコマンドや動きの入力を意味している。
　図６の右側のフローに示すように、まず、視聴者出力システム２００は、視聴者のアクションから再生リクエスト対象のエフェクトのエフェクトＩＤを取得する（ステップ６１）。
　例えば、図１２Ｂにおける視聴者１は、頭部の繰り返し上下運動を行うことで、エフェクトＩＤ：１０００のエフェクトに対して、演者出力システム３００におけるエフェクトの再生リクエストを発行する。ヘッドトラッキング機能を持つ視聴環境を持つ視聴者は、図１２Ｂにおける視聴者１のように、頭部の動きをリクエストに用いてもよいし、モーションコントローラを使用している視聴者は、視聴者２のように、特定のモーションをリクエストに用いてもよい。
　続いて視聴者出力システム２００は、上記エフェクトＩＤに対応するエフェクト再生リクエストを視聴者情報管理サーバ１００へ送信する（ステップ６２）。
　当該各視聴者のエフェクト再生リクエストは、視聴者を識別する視聴者ＩＤと上記エフェクトＩＤとが関連付けられたデータとして視聴者情報管理サーバ１００に送られる。
　そして視聴者情報管理サーバ１００（ＣＰＵ１１）は、上記交点座標を基に、演者出力システム３００の当該交点座標に対応する位置（例えばアバター画像７１の近傍）に上記エフェクトＩＤに対応するエフェクトを再生させる（ステップ６３）。
　例えば、図１３に示すように、視聴者１からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００４（虹）のビジュアルエフェクト７２が再生され、視聴者２からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ：１００３（星）のビジュアルエフェクト７２が再生され、視聴者３からの再生リクエストに応じて、図１２ＡのエフェクトＩＤ１０００（「かわいい」の吹き出しコメント）のビジュアルエフェクト７２が再生される。
　[演者に対するエフェクト提示処理の変形例]
　以下、演者に対するエフェクト提示処理の変形例について説明する。
　上記視線情報と同様に、視聴者の数が増えると、演者出力システム３００のディスプレイ５１の同じ座標付近にエフェクト再生リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを再生すると、複数のエフェクトが重なるなどして演者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、演者出力システム３００に、複数の視聴者のエフェクトを、当該複数のエフェクト再生リクエストの集中を表現する、他のエフェクトに差し替えて再生させてもよい。
　例えば、Ｘ人以上から同じエフェクト再生リクエストをディスプレイ５３上の所定領域内について受けた場合、演者出力システム３００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて再生してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、演者出力システム３００で再生されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、リクエスト可能なエフェクトの種類を制御してもよい。
　視聴者情報管理サーバ１００は、視聴者全体の盛り上がりを表現するために、視線位置に寄らないエフェクトを再生してもよい。
　例えば、視聴者情報管理サーバ１００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト再生リクエストを受けた場合、それを示す特別なエフェクト（例えばディスプレイ５３全体に亘って表示されるビジュアルエフェクト）を演者出力システム３００に再生させてもよい。
　演者出力システム３００は、スピーカ等の音声再生デバイスを含んでもよい。これにより、視聴者は、ビジュアルエフェクトだけでなくサウンドエフェクトのリクエストが可能になる。
　例えば、図９と同様の形式でディスプレイ５３に複数のスピーカを埋め込んだ表示デバイスを用いることによって、サウンドエフェクトの再生リクエストを発行した視聴者に対応するアバター画像７１（交点座標Ｉ）の近傍のスピーカから、当該視聴者からリクエストされたサウンドエフェクトを再生することなどが可能になる。
［コンテンツに対するエフェクトの付与］
　次に、視聴者のアクションに応じて、配信コンテンツに特定のエフェクトを加えることによって、同じ配信コンテンツを視聴している視聴者同士に、お互いがどのような反応をしているかリアルタイムに知らせる方法について説明する。
　上記演者に対して提示されるエフェクトと同様に、コンテンツ配信者は、視聴者が配信コンテンツに付与リクエストが可能なエフェクトを作成する。各視聴者も同様に、自身が持つ入力デバイスに合わせて、各エフェクトの付与リクエストを発行するためのアクションを登録する。このエフェクトに関するテーブル（例えば図１２に示したのと同様の形式のもの）も、例えば上記視聴者管理サーバ１００のストレージ装置２０に記憶される。
　図１５は、ある視聴者のエフェクト付与リクエストから、エフェクトが付与されたＶＲコンテンツが視聴者に配信されるまでの流れを示すフローチャートである。また図１６は当該流れを示した概念図である。
　図１５に示すように、まず、視聴者情報管理サーバ１００のＣＰＵ１１は、各視聴者の視聴者出力システム２００から、各視聴者のエフェクト付与リクエストを受信する（ステップ１５１）。当該エフェクト付与リクエストは、視聴者ＩＤとエフェクトＩＤが関連付けられたデータとして受信される。
　続いてＣＰＵ１１は、上記エフェクト付与リクエストからエフェクトＩＤを特定する（ステップ１５２）。
　続いてＣＰＵ１１は、上記エフェクトＩＤを含むエフェクトの付与リクエストをコンテンツ作成サーバ４００へ送信する（ステップ１５３）。
　そして、コンテンツ作成サーバ４００によって上記エフェクトＩＤに対応するエフェクトが付与されたコンテンツが、コンテンツ配信サーバ５００から視聴者出力システム２００へ配信される（ステップ１５４）。
　上記エフェクト付与リクエストは、視聴者情報管理サーバ１００を経ずにコンテンツ作成サーバ４００に直接送られてもよい。
　図１６に示すように、視聴者２から例えば演者Ｐの周囲を輝かせるビジュアルリクエストが視聴者情報管理サーバ１００に送信されると、当該エフェクトがコンテンツ作成サーバ４００によってコンテンツに付与され、各視聴者の視聴者出力システム２００へ配信される。これにより、各視聴者は、異なる視線Ｌ１，Ｌ２，Ｌ３から、当該付与されたエフェクトを視認できる。特に、視聴者１及び３は、視聴者２がコンテンツに対してどのような反応をしているのかをリアルタイムで知ることができる。
[コンテンツに対するエフェクトの付与に関する変形例]
　以下、コンテンツに対するエフェクト付与処理の変形例について説明する。
　上記演者に対するエフェクトの提示処理において説明したのと同様の変形が可能である。
　すなわち、上記演者に対して提示される視線情報やエフェクトと同様に、視聴者の数が増えると、コンテンツの同じ位置付近（例えば演者の周囲）にエフェクト付与リクエストが集中する場合がある。このとき、視聴者毎にリクエストされたエフェクトを付与すると、複数のエフェクトが重なるなどして視聴者の視認性が下がってしまう。
　このような場合、視聴者情報管理サーバ１００は、コンテンツ作成サーバ４００に、複数の視聴者のエフェクトを、当該複数のエフェクト付与リクエストの集中を表現する、他のエフェクトに差し替えて付与させてもよい。
　例えば、Ｘ人以上から同じエフェクト付与リクエストを受けた場合、コンテンツ作成サーバ４００は、各視聴者のエフェクトを、エフェクトの集中を表現する特別なエフェクトに差し替えて付与してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００が管理する視聴者属性情報、または、視聴者出力システム２００から取得した視線パラメータ情報に付与されてきた視聴者属性情報を使い、コンテンツに付与されるエフェクトのサイズや、リクエスト可能なエフェクトの種類を制御してもよい。
　例えば、視聴者情報管理サーバ１００は、視聴者の視聴時間や、同じ演者が出演するコンテンツの視聴回数、購入回数、その他視聴者に紐付くパラメータに応じて、付与リクエスト可能なエフェクトの種類を制御してもよい。
　また、コンテンツ作成サーバ４００は、特定のタイミングで、特定の数以上の視聴者から同じエフェクト付与リクエストを受けた場合、それを示す特別なエフェクト（例えばコンテンツ全体に亘って表示されるビジュアルエフェクト）を付与してもよい。
　視聴者情報管理サーバ１００は、当該視聴者情報管理サーバ１００の管理する視聴者属性情報、または、視線パラメータ情報に付与されてきた視聴者属性情報を使い、視聴者が意図的にリクエストを発行することなく、ＶＲコンテンツを変化させてもよい。
　例えば、図１７に示すように、視聴者情報管理サーバ１００は、世界各地の視聴者の居住地毎の視聴者数を示す視聴者居住地区属性テーブルを記憶しておく。そしてコンテンツ作成サーバ４００は、当該居住地における視聴者数の数に応じて、各地を代表するランドマーク（例えば、日本であれば東京タワー、アメリカ合衆国であれば自由の女神像、イタリアであればピサの斜塔、シンガポールであればマーライオン像等）等の３Ｄモデルの表示サイズを変化させ、演者Ｐの背景に合成してコンテンツを作成してもよい。
　同図の例では、視聴者数が日本、アメリカ、イタリア、シンガポールの順に多いため、コンテンツの背景として、東京タワー、自由の女神像、ピサの斜塔、マーライオン像の順に３Ｄモデルの大きさが設定されている。
[コンテンツに対するエフェクトの付与に関する拡張例]
　視聴者の視線情報および位置情報と、演者の視線情報および位置情報を用いることで、視聴者同士の視聴状態の共有や、コンテンツへのエフェクトの追加をより効果的に行うことができる。以下、いくつかの例について説明する。
・視聴者同士の視聴状態の共有
　視聴状態の共有方法のひとつとして、他視聴者の視聴状態（視聴者の位置等）を配信コンテンツに付加し、コンテンツを視聴する方法が考えられる。この時、無条件に他視聴者の視聴状態が配信コンテンツに付加されると、配信コンテンツの視聴の妨げとなる位置に付加コンテンツ（エフェクト）が現れたり、配信コンテンツが付加コンテンツに埋もれて見られなくなる、といった問題が発生する。
　図１８は、演者Ｐ、仮想的な複数の視聴者Ｖ、ディスプレイ５３がある位置関係を持つ場合を示している。このとき、視聴者Ｖ１が視聴するコンテンツに対し、他視聴者の視聴位置、または、他視聴者のアバター画像７１の位置に基づき、他視聴者の視聴状態を表現するアバターコンテンツが付加されると、図１９に示す通り、視聴者１のビューイングコーン内の交点座標Ｉ付近に付加コンテンツ（アバターコンテンツ７２）が現れ、視聴者Ｖ１の配信コンテンツの視聴が妨げられる可能性がある。
　この問題に対し、コンテンツ作成サーバ４００は、図２０のように、視聴者Ｖ１の位置を基準に、仮想的にディスプレイ５３を移動・拡大し、他視聴者の視線と仮想ディスプレイ５３との交点を付加コンテンツの表示位置に用いることで、視聴者Ｖ１の視聴を妨げることなく、配信コンテンツへ他視聴者の視聴状態を表現するコンテンツを付加することができる。
　上記仮想ディスプレイの位置やサイズの変更は任意で行われてもよい。例えば、コンテンツ作成サーバ４００は、コンテンツに対する視聴者Ｖ１の視聴位置より仮想ディスプレイが必ず後方に来るように設定してもよい。
　またコンテンツ作成サーバ４００は、仮想ディスプレイの代わりに、任意の平面や球面、またはその組み合わせを用いて他視聴者の視線との交点を求め、それを付加コンテンツの表示位置に用いてもよい。
　視聴者の数が多い場合、全視聴者のアバター画像７１がコンテンツに付加されると、コンテンツ作成サーバ４００の処理負荷が増大したり、付加コンテンツが過密になることによるコンテンツ全体の質が劣化してしまうことが考えられる。
　これに対し、視聴者情報管理サーバ１００は、各視聴者が属するグループまたはコミュニティのメンバー（例えばＳＮＳ等から取得される）に限定して、視聴状態の共有を行ってもよい。またコンテンツ作成サーバ４００は、視聴者のアバターコンテンツ７２をより描画が簡易な（解像度の低い）画像に置換してもよい。
・エフェクトの再生位置の調整
　上記エフェクト付与リクエストによって付与されたエフェクトを視聴者間で共有する場合、エフェクト付与位置が適切に調整されてもよい。ここでは３つの具体的なケースについて述べるが、これらに限定するものではない。
（ケース１：各視聴者のビューイングコーン内でエフェクトを再生）
　他視聴者からの付与リクエストによってあるエフェクトが再生されても、ビューイングコーン内でエフェクトが再生されない限り、視聴者は気付くことができない。
　例えば、図２１に示すように、コンテンツ座標系内にランダムに光線のエフェクトを再生する「Random Rays」というエフェクトを想定する。このエフェクトが再生される場合、各視聴者のビューイングコーンの位置によって、各視聴者が見ることのできる光線の数が変わってしまう。
　これに対し、コンテンツ作成サーバ４００は、各視聴者のビューイングコーン内でエフェクトが再生されるように、エフェクトの再生位置を調節することで、各視聴者が見る再生エフェクトの質を一定に保つことができる。
　図２２は、他視聴者からリクエストされた「Random Rays」のエフェクト再生位置が、視聴者1のビューイングコーンＶＣに合わせて調整される様子を示している。同図上図が調整前、同図下図が調整後を示しており、上図においてビューイングコーンＶＣから外れた位置にあったｒａｙ２およびｒａｙ４の再生位置が、下図においては、ビューイングコーンＶＣ内で視認可能なように調整されている。
　このようにエフェクト再生位置を決定するビューイングコーンＶＣの作成は、視聴者の視線方向が中心とされてもよいし、頭部方向が中心とされてもよい。
（ケース２：各視聴者の視線方向と演者の位置によってエフェクト発生中心を調整）
　ある視聴者から付与リクエストされたエフェクトが、他視聴者に配信されるコンテンツに対しても同じように付与されると、リクエスト元の視聴者とは別の視点から配信コンテンツを視聴している視聴者にとって、視聴の妨げになる可能性がある。
　例えば、視聴者と演者の間の空間で他視聴者がリクエストしたエフェクトが再生される場合が挙げられる。この問題を避ける手段の一つとして、特定の属性を持つ、または持たないエフェクトが、視聴者と演者の間の空間で再生されようとした場合、その視聴者の視聴者出力システム２００では対象エフェクトの再生を中止する、といった手段が考えられる。しかしこの手段を用いられると、ある視聴者が、異なる視点を持つ他視聴者からリクエストされたエフェクトを見ることができなくなる可能性がある。
　この問題に対し、各視聴者出力システム２００は、各視聴者の視線方向と演者の位置によって、再生エフェクトの発生中心を調整してもよい。
　ここでは演者の位置を基準として定義される演者座標系において、エフェクト発生中心を設定することを考える。エフェクト発生中心は、特定の属性を持つ、または持たないエフェクトの再生位置を決める基準となる座標である。
　図２３は、演者Ｐを中心として設定されたエフェクト発生中心を設定可能な領域Ａを表している。ここでは例として、地面と水平な半径ｒ［ｍ］の円を高さｈ［ｍ］に、その中心を演者Ｐとして設定しているが、領域Ａの設定方法を制限するものではない。
　図２４は、上記設定された領域Ａを用いて、視聴者ごとにエフェクト発生中心Ｃが設定される様子を示している。エフェクト発生中心Ｃは、各視聴者の視線Ｌを、エフェクト発生中心設定可能領域Ａが存在する平面へ写像し、写像された視線とエフェクト発生中心設定可能領域Ａの交点のうち、視聴者から遠い方として設定されている。
　同図では、視聴者ごとに異なるエフェクト発生中心Ｃ１～Ｃ３が設定されていることが分かる。同図の状態で、例えば視聴者２（視線Ｌ２に対応）があるエフェクト再生リクエストを発行した場合、視聴者１（視線Ｌ１に対応）の視聴者出力システム２００Ａは、視聴者１のエフェクト発生中心Ｃ１の位置にエフェクトを再生し、視聴者３の出力システム２００Ｃは、視聴者３のエフェクト発生中心Ｃ３の位置にエフェクトを再生する。
　これにより、どの視聴者にとっても配信コンテンツの視聴が妨げることなく、他視聴者のリクエストしたエフェクトが視聴可能となる。
　上記領域Ａ及びエフェクト発生中心Ｃの設定処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。
（ケース３：各視聴者の視線方向とエフェクト属性によってエフェクト再生位置を調整）
　特定の属性を持つエフェクトに対し、視聴者の視線方向と背景コンテンツの属性を用いて再生位置が調整されることで、各視聴者に適切なエフェクト再生が可能になる。
　例として、再生するエフェクトがテキスト属性を持ち、当該テキスト属性を持つエフェクトは、ある一定以上の広がりを持つ背景コンテンツの平面上で再生されると定義する。図２５では、視聴者１と視聴者２の視線（Ｌ１及びＬ２）の先には、それぞれ異なる平面パラメータを持つ背景コンテンツＰｌａｎｅ１およびＰｌａｎｅ２が配置されている。
　このとき、テキスト属性を持つエフェクトの再生リクエストが発生した場合、図２６に示すように、視聴者１の視聴者出力システム２００ＡはＰｌａｎｅ１上にエフェクトを再生し、視聴者２の視聴者出力システム２００ＢはＰｌａｎｅ２上にエフェクトを再生する。
　これにより、テキスト属性を持つエフェクトを各視聴者に適した形で再生することができる。なお、視聴者の視線の先に適切な平面が存在しない場合、視聴者から見た演者の後方に仮想的な平面を作成し、その平面上にエフェクトを再生するなどが考えられる。
　上記各背景コンテンツの表示処理は、各視聴者出力システム２００ではなく、コンテンツ作成サーバ４００が、視聴者情報管理サーバ１００を介してまたは直接、各視聴者出力システム２００から各視聴者の視線パラメータを受信することで実行してもよい。
・配信コンテンツへのエフェクト付加の処理や処理位置
　大量のエフェクト再生リクエストが発生した場合、配信コンテンツにエフェクトを付加するための処理量増大による配信の遅延や、通信データの増大といった問題が発生する。この問題を避けるために、視聴者の視線情報を用いて再生リクエストのフィルタリング処理を行うことが考えられる。
　例えば、コンテンツ作成サーバ４００は、ある視聴者に配信するコンテンツには、その視聴者と近い視線パラメータを持つ他視聴者のエフェクト再生リクエストのみを反映してもよい。
　他にも、同時視聴者の数によって、エフェクトの効果を調整することが考えられる。例えば、図２１、図２２で説明した「Random Rays」エフェクトの場合、コンテンツ作成サーバ４００は、同時視聴者数がＸ人以上であれば、ひとつの再生リクエストに対して再生する光線の数をｎ本とし、同時視聴者数が上記Ｘよりも大きいＹ人以上であれば、上記ｘよりも大きいｙ本としてもよい。
　また、コンテンツ作成サーバ４００は、視聴者の視線情報に応じて再生位置が決定するエフェクトについては、コンテンツ配信サーバ５００から配信されるコンテンツに付与せず、各視聴者の出力システム２００に当該エフェクトに関する情報を送信してエフェクトを付与させることによって、コンテンツ作成サーバ４００やコンテンツ配信サーバ５００の負荷を下げることが可能になる。
・エフェクトの属性によって異なる再生方法を用いる
　エフェクトが持つ属性によって再生方法を変える方法として、上述したもの以外にも次のような属性が考えられる。
　例えば、視聴者の視線方向に応じて表示姿勢を変える、または変えない属性を持つエフェクト、演者の向きによって表示姿勢を変える、または変えない属性を持つエフェクト、視聴者と演者間のビューイングコーン内には表示されない属性を持つエフェクト、視聴者と演者の距離をパラメータとして再生が行われる属性を持つエフェクト、演者と視聴者の視線の一致度をパラメータとして再生が行われる属性を持つエフェクト等が考えられる。
　以上説明したように、本実施形態によれば、コンテンツ配信システムは、演者に自身と同じ空間内で視聴者の仮想的な視線を把握させることが可能となり、演者に、遠隔地の視聴者に対しても、視聴者の反応に応じた適切なパフォーマンスを行わせることができる。
　また上記に伴い、演者と視聴者は、遠隔地においても物理的に近距離にいるかのようなコミュニケーションをとることができる。
　また、各視聴者は、各自が持つ入力デバイスに合わせてエフェクト再生のリクエストが設定可能なため、どのデバイスからでも同じリクエストの送信ができる。（所持デバイスによる差が吸収される。）
　また、視聴者のアクションがエフェクトＩＤにマッピングされて視聴者情報管理サーバ１００に送られるため、視聴者のアクションを表現するための通信データ量が大幅に削減される。
　また、コンテンツ配信者がリクエスト可能なエフェクトを作成するため、例えば任意のテキストが利用可能なコミュニケーションで起きる、悪意のあるアクションが排除される。
　また、コンテンツ配信システムは、視聴者のアクションを配信コンテンツに反映することによって、共通のコンテンツを視聴している視聴者同士に体験を共有させることができる。
　また、コンテンツ配信システムは、視聴者ごとに再生・付与リクエスト可能なエフェクトを制御することによって、視聴者ごとに提供するサービスを差別化できる。
［変形例］
　本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
　上述の実施形態において、視聴者情報提供サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者との間で特定のコミュニケーションが成立したと判断された場合に、対象視聴者の配信コンテンツ、または、全視聴者の配信コンテンツに特別なエフェクトを付与することで、コミュニケーション体験をエンハンスすることが考えられる。特定のコミュニケーションの成立としては、例えば、演者と視聴者の視線が合った場合や、演者の特定のパフォーマンスに対して、視聴者の特定のエフェクト再生リクエストを受けた場合などが挙げられる。
　視聴者情報管理サーバ１００またはコンテンツ作成サーバ３００は、演者と視聴者の視線が合ったかどうかを、例えば、演者の視線が、ディスプレイ上のある視聴者のアバター画像７１の方向を向いている、かつ、演者とその視聴者の視線ベクトルの内積の絶対値が、両視線ベクトルがほぼ平行となるような所定の閾値未満であるか否かによって判定すればよい。
　また、視聴者情報管理サーバ１００は、演者と視聴者の視線が合った場合に、ディスプレイ５３上の当該視聴者に対応するアバター画像（交点座標）の近傍から特別なビジュアルエフェクトまたはサウンドエフェクトを出力させてもよい。
　また、視聴者情報管理サーバ１００は、各視聴者に対して視線が合った回数をカウントしておくことで、各方向でどのくらいの頻度で視線が合ったかを示す値をディスプレイ５３の各交点座標Ｉと対応付けてヒストグラムとして表示することができる。演者はこの情報をもとに、視聴者と視線の合った頻度の低い方向へパフォーマンスを行うことで、視聴者全体の満足度を上げることができる。
　図１４は、上記頻度を示す頻度ヒストグラム７３がディスプレイ５３に表示された例を示す。頻度ヒストグラム７３の値としては、各方向に存在する視聴者と視線が合った回数の総和を、その方向に存在する視聴者数で割った値を使うこと等が考えられる。
　また、遠隔地でも演者と視聴者が実体験に近いコミュニケーションを取れることにより、ライブストリーミングサービスにおける特定の視聴位置に対して付加価値を付けることが可能になる。
　例えば、コンテンツ配信システムは、特定の視聴位置に向けて演者が頻繁にコミュニケーションを取ることを前提に、その位置を利用する視聴者に対して、通常より高い視聴料を課しつつ、その視聴位置を利用できる視聴者数を限定するなどによって、高付加価値な視聴位置を作ることができる。
　上述の実施形態において、コンテンツは撮影スタジオに固定されたカメラ５１によって撮影されたが、カメラ５１に代えて、例えばドローンによって移動しながら撮影されてもよい。
［その他］
　本技術は以下のような構成もとることができる。
（１）
　　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得し、
　　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与する
　制御部
　を具備する情報処理システム。
（２）
　上記（１）に記載の情報処理システムであって、
　前記制御部は、前記視聴者の属性を示す属性情報を前記視聴状態情報と共に取得し、当該属性情報に応じて前記エフェクトを変更する
　情報処理システム。
（３）
　上記（１）または（２）に記載の情報処理システムであって、
　前記制御部は、前記複数の視聴者のうち第１の視聴者向けに前記エフェクトを付与する場合、前記空間の座標系に設定された仮想面と、前記第１の視聴者とは異なる第２の視聴者の前記視線との交点座標を算出し、前記コンテンツの前記交点座標に対応する位置に前記エフェクトを付与する
　情報処理システム。
（４）
　上記（３）に記載の情報処理システムであって、
　前記制御部は、前記第１の視聴者の前記空間の座標系における視聴位置よりも後方に前記仮想面を設定する
　情報処理システム。
（５）
　上記（３）または（４）に記載の情報処理システムであって、
　前記制御部は、前記第２の視聴者の数が多いほど、当該第２の視聴者に応じた各エフェクトの解像度を低く設定する
　情報処理システム。
（６）
　上記（３）～（５）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記第２の視聴者の前記視線との交点座標が前記第１の視聴者の前記座標系におけるビューイングコーン内に含まれない場合、当該ビューイングコーン内に前記エフェクトの付与位置を変更する
　情報処理システム。
（７）
　上記（１）または（２）に記載の情報処理システムであって、
　前記制御部は、前記演者が存在する空間の座標系における前記演者の位置を中心として設定された領域と、前記複数の視聴者の前記視線とのそれぞれ２つの交点のうち各視聴者から遠い方の交点の座標に対応する位置に、各視聴者向けの前記エフェクトを付与する
　情報処理システム。
（８）
　上記（１）または（２）に記載の情報処理システムであって、
　前記制御部は、前記各視聴者の端末から受信した、前記エフェクトの属性を示すエフェクト識別情報を含むエフェクト付与リクエストに応じて前記エフェクトを付与し、当該エフェクト識別情報が示す属性が平面的なエフェクトである場合、前記演者が存在する空間の座標系における前記演者の後方であって前記各視聴者の前記視線上に当該視聴者毎に所定平面を設定し、当該所定平面上に前記エフェクトを付与する
　情報処理システム。
（９）
　上記（１）～（８）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記各視聴者の端末から受信したエフェクト付与リクエストに応じて前記エフェクトを付与し、前記複数の視聴者のうち第１の視聴者向けに前記エフェクトを付与する場合、前記複数の視聴者からの前記エフェクト付与リクエストのうち、当該第１の視聴者の前記視線または位置と所定距離以内の視線又は位置を有する第２の視聴者からのエフェクト付与リクエストのみに応じて前記エフェクトを付与する
　情報処理システム。
（１０）
　上記（１）～（９）のいずれかに記載の情報処理システムであって、
　前記制御部は、前記コンテンツを再生中の視聴者の端末の数を示す情報を取得し、当該数に応じて、前記付与されるエフェクトの効果を大きくする
　情報処理システム。
（１１）
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得し、
　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与する
　情報処理方法。
（１２）
　情報処理装置に、
　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得するステップと、
　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与するステップと
　を実行させるプログラム。
　１１…ＣＰＵ
　１８…入力装置
　１９…出力装置
　２０…ストレージ装置
　２６…撮像装置
　２３…通信装置
　５１…カメラ
　５２…マイク
　５３…ディスプレイ
　７１…アバター画像
　７２…エフェクト
　７３…ヒストグラム
　１００…視聴者情報管理サーバ
　２００…演者出力システム
　３００…視聴者出力システム
　４００…コンテンツ作成サーバ
　５００…コンテンツ配信サーバ
　Ｐ…演者
　Ｖ…視聴者
　Ｌ…視線
　ＶＬ…仮想視線

Claims (12)

  1. 　　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得し、
    　　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与する
    　制御部
    　を具備する情報処理システム。
  2. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記視聴者の属性を示す属性情報を前記視聴状態情報と共に取得し、当該属性情報に応じて前記エフェクトを変更する
    　情報処理システム。
  3. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記複数の視聴者のうち第１の視聴者向けに前記エフェクトを付与する場合、前記空間の座標系に設定された仮想面と、前記第１の視聴者とは異なる第２の視聴者の前記視線との交点座標を算出し、前記コンテンツの前記交点座標に対応する位置に前記エフェクトを付与する
    　情報処理システム。
  4. 　請求項３に記載の情報処理システムであって、
    　前記制御部は、前記第１の視聴者の前記空間の座標系における視聴位置よりも後方に前記仮想面を設定する
    　情報処理システム。
  5. 　請求項３に記載の情報処理システムであって、
    　前記制御部は、前記第２の視聴者の数が多いほど、当該第２の視聴者に応じた各エフェクトの解像度を低く設定する
    　情報処理システム。
  6. 　請求項３に記載の情報処理システムであって、
    　前記制御部は、前記第２の視聴者の前記視線との交点座標が前記第１の視聴者の前記座標系におけるビューイングコーン内に含まれない場合、当該ビューイングコーン内に前記エフェクトの付与位置を変更する
    　情報処理システム。
  7. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記演者が存在する空間の座標系における前記演者の位置を中心として設定された領域と、前記複数の視聴者の前記視線とのそれぞれ２つの交点のうち各視聴者から遠い方の交点の座標に対応する位置に、各視聴者向けの前記エフェクトを付与する
    　情報処理システム。
  8. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記各視聴者の端末から受信した、前記エフェクトの属性を示すエフェクト識別情報を含むエフェクト付与リクエストに応じて前記エフェクトを付与し、当該エフェクト識別情報が示す属性が平面的なエフェクトである場合、前記演者が存在する空間の座標系における前記演者の後方であって前記各視聴者の前記視線上に当該視聴者毎に所定平面を設定し、当該所定平面上に前記エフェクトを付与する
    　情報処理システム。
  9. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記各視聴者の端末から受信したエフェクト付与リクエストに応じて前記エフェクトを付与し、前記複数の視聴者のうち第１の視聴者向けに前記エフェクトを付与する場合、前記複数の視聴者からの前記エフェクト付与リクエストのうち、当該第１の視聴者の前記視線または位置と所定距離以内の視線又は位置を有する第２の視聴者からのエフェクト付与リクエストのみに応じて前記エフェクトを付与する
    　情報処理システム。
  10. 　請求項１に記載の情報処理システムであって、
    　前記制御部は、前記コンテンツを再生中の視聴者の端末の数を示す情報を取得し、当該数に応じて、前記付与されるエフェクトの効果を大きくする
    　情報処理システム。
  11. 　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得し、
    　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与する
    　情報処理方法。
  12. 　情報処理装置に、
    　演者のパフォーマンスが撮像されたコンテンツを、ネットワークを介してリアルタイムに再生中の複数の視聴者の端末から、前記視聴者の存在する空間の座標系における当該視聴者の視線または位置を示す視聴状態情報を、当該視聴者を識別する視聴者識別情報と共にそれぞれ取得するステップと、
    　前記取得された各視聴状態情報を基に、前記コンテンツに前記視聴者毎にエフェクトを付与するステップと
    　を実行させるプログラム。
PCT/JP2021/004137 2020-02-12 2021-02-04 情報処理システム、情報処理方法及びプログラム WO2021161894A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180012433.7A CN115039410A (zh) 2020-02-12 2021-02-04 信息处理***、信息处理方法和程序
JP2022500357A JPWO2021161894A1 (ja) 2020-02-12 2021-02-04
US17/791,109 US20230037102A1 (en) 2020-02-12 2021-02-04 Information processing system, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020021121 2020-02-12
JP2020-021121 2020-02-12

Publications (1)

Publication Number Publication Date
WO2021161894A1 true WO2021161894A1 (ja) 2021-08-19

Family

ID=77292140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004137 WO2021161894A1 (ja) 2020-02-12 2021-02-04 情報処理システム、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20230037102A1 (ja)
JP (1) JPWO2021161894A1 (ja)
CN (1) CN115039410A (ja)
WO (1) WO2021161894A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126101A (ja) * 2014-07-18 2019-07-25 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP2019139673A (ja) * 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4330494B2 (ja) * 2004-06-28 2009-09-16 シャープ株式会社 ブロードキャスト番組参加システム、及び方法
JP5783629B2 (ja) * 2011-07-08 2015-09-24 株式会社ドワンゴ 映像表示システム、映像表示方法、映像表示制御プログラム、動作情報送信プログラム
JP6039915B2 (ja) * 2011-07-08 2016-12-07 株式会社ドワンゴ ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム
JP6955861B2 (ja) * 2016-12-16 2021-10-27 株式会社バンダイナムコエンターテインメント イベント制御システム及びプログラム
WO2018142494A1 (ja) * 2017-01-31 2018-08-09 株式会社 ニコン 表示制御システム、及び、表示制御方法
US11551645B2 (en) * 2018-06-07 2023-01-10 Sony Interactive Entertainment Inc. Information processing system, information processing method, and computer program
CN108648217A (zh) * 2018-07-05 2018-10-12 上海峥航智能科技发展有限公司 一种基于图像识别与增强现实技术无人机比赛裁判设备
CN110433491A (zh) * 2019-07-25 2019-11-12 天脉聚源(杭州)传媒科技有限公司 虚拟观众的动作同步响应方法、***、装置和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126101A (ja) * 2014-07-18 2019-07-25 ソニー株式会社 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP2019139673A (ja) * 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN115039410A (zh) 2022-09-09
US20230037102A1 (en) 2023-02-02
JPWO2021161894A1 (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
US11700286B2 (en) Multiuser asymmetric immersive teleconferencing with synthesized audio-visual feed
US10645369B2 (en) Stereo viewing
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
Lelyveld Virtual reality primer with an emphasis on camera-captured VR
US20160379417A1 (en) Augmented reality virtual monitor
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
WO2016009864A1 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
CN109996060B (zh) 一种虚拟现实影院***及信息处理方法
WO2021161894A1 (ja) 情報処理システム、情報処理方法及びプログラム
US20200225467A1 (en) Method for projecting immersive audiovisual content
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
WO2019146426A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
US11863902B2 (en) Techniques for enabling high fidelity magnification of video
WO2021179102A1 (zh) 实境仿真全景***及其使用方法
US20220180664A1 (en) Frame of reference for motion capture
WO2022209129A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230222754A1 (en) Interactive video playback techniques to enable high fidelity magnification
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21752974

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022500357

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21752974

Country of ref document: EP

Kind code of ref document: A1