WO2023105750A1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2023105750A1
WO2023105750A1 PCT/JP2021/045525 JP2021045525W WO2023105750A1 WO 2023105750 A1 WO2023105750 A1 WO 2023105750A1 JP 2021045525 W JP2021045525 W JP 2021045525W WO 2023105750 A1 WO2023105750 A1 WO 2023105750A1
Authority
WO
WIPO (PCT)
Prior art keywords
room
user
group
image
video
Prior art date
Application number
PCT/JP2021/045525
Other languages
English (en)
French (fr)
Inventor
隆 今村
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2021/045525 priority Critical patent/WO2023105750A1/ja
Priority to JP2023566025A priority patent/JPWO2023105750A1/ja
Publication of WO2023105750A1 publication Critical patent/WO2023105750A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • the present invention relates to data processing technology, and more particularly to an information processing system and an information processing method.
  • An image display system that allows a user wearing a head-mounted display to view the target space from any viewpoint has become widespread.
  • electronic content that realizes virtual reality (VR) by using a virtual three-dimensional space as a display target and displaying an image according to the user's line of sight on a head-mounted display.
  • VR virtual reality
  • a head-mounted display it is possible to enhance the sense of immersion in images and improve the operability of applications such as games.
  • the quality of content is of course important, but the present inventor also considered that it is also important to improve the entertainment value of the content from before to after the performance. .
  • the present invention has been made in view of these problems, and one of its purposes is to provide a technology that improves the entertainment value of content before and after the performance.
  • an information processing system generates a video of a first room, which is a virtual space where a plurality of users viewing and listening to content gather, before a performance of predetermined content.
  • Another aspect of the present invention is an information processing method.
  • This method includes the step of generating video of a first room, which is a virtual space where a plurality of users who view the content gather, and video of a second room, which is a virtual space where the content is played, before the presentation of the given content.
  • generating a video of a third room which is a virtual space where a plurality of users gather after the presentation of the content, and sequentially generating video of the first room, video of the second room, and video of the third room
  • the computer executes the step of displaying on the display unit.
  • FIG. 2 is a diagram showing an appearance example of the HMD of FIG. 1; 2 is a diagram showing an internal circuit configuration of the HMD of FIG. 1; FIG. 2 is a block diagram showing functional blocks of the HMD of FIG. 1; FIG. 2 is a block diagram showing functional blocks of the server of FIG. 1; FIG. 4 is a flow chart showing the operation of the content viewing system;
  • FIG. 10 is a diagram showing an example of a pre-performance lobby video;
  • FIG. 10 is a diagram showing an example of group arrangement in a live venue;
  • FIG. 10 is a diagram showing an example of group arrangement in a live venue;
  • FIG. 10 is a diagram showing an example of a live venue video;
  • FIG. 10 is a diagram showing an example of a live venue video;
  • FIG. 10 is a diagram showing an example of a live venue video;
  • FIG. 10 is a diagram showing an example of a live venue video;
  • FIG. 10 is a diagram showing an example of a live venue video;
  • FIG. 10 is a diagram showing an example of a live venue video
  • FIG. 10 is a diagram showing an example of a live venue video
  • FIG. 10 is a diagram showing an example of a post-performance lobby video
  • FIG. 10 is a diagram showing an example of photographs provided in the lobby after the performance;
  • the subject of the system, device or method in the present disclosure comprises a computer.
  • the main functions of the apparatus or method of the present disclosure are realized by the computer executing the program.
  • a computer has a processor that operates according to a program as its main hardware configuration. Any type of processor can be used as long as it can implement functions by executing a program.
  • the processor may be composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or LSI.
  • IC semiconductor integrated circuit
  • LSI semiconductor integrated circuit
  • a plurality of electronic circuits may be integrated on one chip or may be provided on a plurality of chips.
  • a plurality of chips may be integrated into one device, or may be provided in a plurality of devices.
  • the program may be recorded in a non-temporary recording medium such as a computer-readable ROM, optical disk, hard disk drive, or the like.
  • the program may be pre-stored in a recording medium, or may be supplied to the recording medium via a wide area network including the Internet. It should be noted that the terms “first” and “second” used in this specification or claims do not represent any order or degree of importance unless otherwise specified, and distinguish one configuration from another. It is for
  • the content viewing system provides a novel user experience by providing the user with a lead that covers the period before, during, and after the performance of the electronic content, and that is close to viewing an event in the real space. Suggest.
  • video content is distributed to head-mounted displays (hereinafter also referred to as "HMD") worn on the heads of multiple users, and the multiple users view the video content at the same time.
  • HMD head-mounted displays
  • FIG. 1 shows the configuration of the content viewing system 10 of the embodiment.
  • the content viewing system 10 includes a plurality of HMDs 100 (HMDs 100a to 100f are shown in FIG. 1) used by a plurality of users, and a server 12.
  • HMDs 100a to 100f are shown in FIG. 1
  • server 12 FIG.
  • FIG. 1 shows the configuration of the content viewing system 10 of the embodiment.
  • the content viewing system 10 includes a plurality of HMDs 100 (HMDs 100a to 100f are shown in FIG. 1) used by a plurality of users, and a server 12.
  • FIG. These devices are connected via a communication network 14 which may include LAN, WAN, Internet, or the like.
  • the server 12 is an information processing device that distributes video content to the HMD 100 and controls various effects related to viewing of the video content.
  • the video content distributed by the server 12 may include videos of various categories and genres, but in the embodiment, the server 12 distributes video content (hereinafter referred to as "live video") that captures the scene of a concert. It is assumed that A detailed description of the server 12 will be provided later.
  • the HMD 100 is a head-mounted display device that is worn on the user's head and displays VR images.
  • Live video provided from the server 12 is displayed in the VR space displayed by the HMD 100, and avatars (also referred to as characters) of a plurality of users are displayed before, during, and after the performance of the live video. is displayed.
  • FIG. 2 shows an appearance example of the HMD 100 in FIG.
  • the HMD 100 is composed of an output mechanism section 102 and a mounting mechanism section 104 .
  • the mounting mechanism section 104 includes a mounting band 106 that is worn by the user so as to go around the head and fix the device.
  • the output mechanism unit 102 includes a housing 108 shaped to cover the left and right eyes when the user wears the HMD 100, and has a display panel inside so as to face the eyes when the HMD 100 is worn. It is assumed that the display panel of the HMD 100 of the embodiment has no transparency. That is, the HMD 100 of the embodiment is a non-transmissive head mounted display.
  • the inside of the housing 108 may further include an eyepiece that is positioned between the display panel and the user's eyes when the HMD 100 is worn, and that expands the user's viewing angle.
  • the HMD 100 may further include speakers and earphones at positions corresponding to the user's ears when worn.
  • the HMD 100 also incorporates a motion sensor, which detects the translational motion and rotational motion of the head of the user wearing the HMD 100, as well as the position and posture at each time.
  • the HMD 100 also includes a stereo camera 110 on the front surface of the housing 108 .
  • the stereo camera 110 captures moving images of the surrounding real space with a field of view corresponding to the line of sight of the user. By displaying a photographed image immediately, it is possible to realize so-called video see-through, in which the real space in the direction the user faces can be seen as it is.
  • augmented reality AR can be realized by drawing a virtual object on the image of the real object appearing in the captured image.
  • FIG. 3 shows the internal circuit configuration of the HMD 100 of FIG.
  • the HMD 100 includes a CPU 120 , a GPU 121 , a main memory 122 , a storage 123 , a display section 124 and an audio output section 126 . These units are interconnected via a bus 128 .
  • An input/output interface 130 is also connected to the bus 128 .
  • Input/output interface 130 is connected to communication unit 132 including a wireless communication interface, motion sensor 134 , microphone 136 , and stereo camera 110 .
  • the CPU 120 processes information acquired from each section of the HMD 100 via the bus 128 and supplies video data and audio data acquired from the server 12 to the display section 124 and the audio output section 126 .
  • the GPU 121 executes image processing based on instructions from the CPU 120 . For example, the GPU 121 generates VR image data representing a VR space to be displayed on the display unit 124 .
  • the main memory 122 stores programs and data necessary for processing in the CPU 120 and GPU 121 .
  • the storage 123 is also called an application program for viewing live video distributed from the server 12 (hereinafter “live viewing App”). ).
  • the display unit 124 includes a display panel such as a liquid crystal panel and an organic EL panel, and displays an image in front of the user wearing the HMD 100 .
  • the display unit 124 may realize stereoscopic vision by displaying a pair of stereo images in regions corresponding to left and right eyes.
  • the display unit 124 may further include a pair of lenses that are positioned between the display panel and the user's eyes when the HMD 100 is worn, and that widen the viewing angle of the user.
  • the audio output unit 126 is composed of speakers and earphones provided at positions corresponding to the ears of the user when the HMD 100 is worn, and allows the user to hear the audio.
  • the communication unit 132 includes peripheral device interfaces such as USB and IEEE1394, and network interfaces such as wired LAN and wireless LAN.
  • the communication unit 132 transmits and receives data to and from the server 12 via an access point (not shown).
  • the communication unit 132 may connect to an access point using a known wireless communication technology such as Wi-Fi (registered trademark) and communicate with the server 12 via the access point.
  • the communication unit 132 also communicates with a controller (not shown) held in the user's hand using known wireless communication technology.
  • the motion sensor 134 includes a gyro sensor and an acceleration sensor, and acquires the angular velocity and acceleration of the HMD 100.
  • the microphone 136 receives sounds around the user and sounds uttered by the user, and converts the sounds into electrical signals (also called “sound data”).
  • the stereo camera 110 is a pair of video cameras that shoot the surrounding real space from left and right viewpoints with a field of view corresponding to the user's viewpoint.
  • An image captured by the stereo camera 110 and showing the surrounding space of the user is hereinafter also referred to as a “camera image”.
  • a camera image can also be said to be an image in which an object existing in the direction of the user's line of sight (typically in front of the user) is captured.
  • Measured values by the motion sensor 134 and data of images (camera images) captured by the stereo camera 110 are transmitted to the server 12 via the communication unit 132 as necessary.
  • the number of cameras mounted on the HMD 100 is not limited, and one camera may be mounted, or three or more cameras may be mounted.
  • FIG. 4 is a block diagram showing functional blocks of the HMD 100 of FIG.
  • the plurality of functional blocks shown in the block diagrams of this specification can be realized by the configuration of a computer processor (CPU, GPU, etc.), memory, storage, etc. in terms of hardware, and the plurality of functional blocks in terms of software. It can be realized by a computer program that implements the function. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and are not limited to either one.
  • the HMD 100 includes a control section 20, a storage section 22, and a communication section 132.
  • the control unit 20 may be realized by the CPU 120 and the GPU 121, and executes various data processing.
  • the control unit 20 transmits and receives data to and from an external device (for example, the controller or the server 12) via the communication unit 132.
  • the storage unit 22 may be implemented by the main memory 122 and the storage 123 and stores data referenced or updated by the control unit 20 .
  • the storage unit 22 includes a room data storage unit 24, an article data storage unit 26, and a user data storage unit 28.
  • the room data storage unit 24 stores data (also referred to as “room data”) regarding a plurality of virtual spaces from before to after the performance of the live video.
  • Room data includes, for example, data defining the layout, shape, pattern, color, and the like of each virtual space.
  • the multiple virtual spaces in the embodiment include a pre-performance lobby as the first room, a live venue as the second room, and a post-performance lobby as the third room.
  • the pre-performance lobby is a virtual space where a plurality of users who watch live video gather before the performance of the live video. For example, in the lobby before the performance, the user prepares how to enjoy the live performance (choreography, cheering method, etc.) while having a voice chat with friends in the same group.
  • a live venue is a virtual space where live video is staged and multiple users watch the live video.
  • the post-performance lobby is a virtual space where a plurality of users who have viewed the live video gather after the performance of the live video. For example, after the performance, the user enjoys the afterglow of the live performance by talking with friends of the same group about their impressions of the live performance by voice chat in the lobby.
  • the lobby before the performance and the lobby after the performance may be the same virtual space as the lobby, or may have the same layout, shape, pattern, color, and the like.
  • the actions that the user's avatar can perform in the pre-performance lobby are different from the actions that the user's avatar can perform in the post-performance lobby.
  • the user's avatar can purchase items for live support according to the user's operation, and can perform live choreography and support practice using clapping and items. can be done.
  • the user's avatar can browse and purchase photos of the live performance in accordance with the user's operation.
  • the item data storage unit 26 stores data (also referred to as "item data") regarding a plurality of items that are virtual items that can be purchased by the user and that can be used by the user's avatar.
  • the product data includes, for example, data specifying the price of the product, performance (effects, etc.), and data specifying the performer supported by the product.
  • the user data storage unit 28 stores data related to the user wearing the HMD 100 (also called "user data").
  • the user data includes, for example, user identification information, identification information of a group to which the user belongs, and data of articles owned (purchased) by the user. Note that in the embodiment, a maximum of four users can belong to one group.
  • the control unit 20 includes an operation reception unit 30, a position/orientation detection unit 32, a room switching unit 34, an avatar action determination unit 36, a purchase processing unit 38, a video generation unit 40, a video acquisition unit 48, a video output control unit 50, and an audio reception unit. It includes a unit 52 , a server cooperation unit 54 , an audio output control unit 56 and a photo storage unit 58 .
  • the functionality of these multiple functional blocks may be implemented in the live viewing App.
  • the processor (CPU 120 and GPU 121 ) of HMD 100 may read the live viewing App to main memory 122 and execute it, thereby exhibiting the functions of the plurality of functional blocks of control unit 20 .
  • the operation reception unit 30 receives data transmitted from the controller and indicating the operation input to the controller by the user.
  • the operation reception unit 30 passes data indicating user's operation to each functional block of the control unit 20 .
  • the position and orientation detection unit 32 detects the position and orientation of the head of the user wearing the HMD 100 based on the angular velocity and acceleration of the HMD 100 detected by the motion sensor 134 and the image around the HMD 100 captured by the stereo camera 110 . to detect The position/orientation detection unit 31 further detects the position and line-of-sight direction of the user based on the position and orientation of the user's head.
  • the room switching unit 34 is a virtual space to be displayed, in other words, executes processing for switching the virtual space to be video generated. For example, the room switching unit 34 instructs the image generation unit 40 to generate a pre-performance lobby image before the performance timing of the live image is reached. Further, the room switching unit 34 instructs the image generation unit 40 to generate a live venue image instead of the pre-performance lobby image according to an instruction from the server 12 . In addition, the room switching unit 34 instructs the image generation unit 40 to generate a post-performance lobby image instead of the live venue image in response to an instruction from the server 12 .
  • the avatar action determining unit 36 determines the posture that the user's avatar should take, based on the user's operation received by the operation receiving unit 30 and the position and posture of the user's head detected by the position/posture detection unit 32 . determines actions and actions.
  • the purchase processing unit 38 executes the product purchase process based on the user's operation accepted by the operation accepting unit 30 .
  • the purchase processing unit 38 cooperates with an external payment system to settle the price of the goods purchased by the user in the lobby before the performance using the payment method information (for example, credit card number) registered in advance by the user.
  • the payment method information for example, credit card number
  • the video generation unit 40 generates video data of the virtual space.
  • the image generator 40 includes a first generator 42 , a second generator 44 and a third generator 46 .
  • the first generation unit 42 uses data related to the pre-performance lobby stored in the room data storage unit 24 to generate video data of the pre-performance lobby.
  • the second generation unit 44 uses the data related to the live venue stored in the room data storage unit 24 to generate video data of the live venue.
  • the third generation unit 46 generates video data of the lobby after the performance using the data regarding the lobby after the performance stored in the room data storage unit 24 .
  • the image output control unit 50 generates the pre-performance lobby image data generated by the first generation unit 42, the live venue image data generated by the second generation unit 44, and the post-performance image data generated by the third generation unit 46.
  • the video data of the lobby are sequentially output to the display unit 124 .
  • the image output control unit 50 causes the display unit 124 to sequentially display the lobby image before the performance, the image of the live venue, and the lobby image after the performance.
  • the video acquisition unit 48 accepts video data of live video transmitted from the server 12 .
  • the second generation unit 44 sets the moving image data of the live video received by the moving image acquisition unit 48 on the screen unit provided at the live venue.
  • the audio reception unit 52 receives audio data input from the microphone 136 .
  • the server cooperation unit 54 transmits and receives data to and from the server 12 . Specifically, the server cooperation unit 54 transmits the user's voice data input from the microphone 136 to the server 12 .
  • the server cooperation unit 54 further transmits to the server 12 data indicating the posture, motion, and behavior of the user's avatar determined by the avatar motion determination unit 36 .
  • the server cooperation unit 54 accepts voice data of other users (other users in the same group in the embodiment) transmitted from the server 12 and passes the data to the voice output control unit 56 .
  • the voice output control unit 56 causes the voice output unit 126 to output the voice indicated by the other user's voice data transmitted from the server 12 .
  • the server cooperation unit 54 receives data indicating the postures, actions, and actions of other users' avatars transmitted from the server 12 and passes the data to the video generation unit 40 .
  • Each of the first generation unit 42, the second generation unit 44, and the third generation unit 46 of the video generation unit 40 reflects the posture, motion, and behavior of the user's avatar determined by the avatar motion determination unit 36 in the VR video. Also, the postures, motions, and actions of other users' avatars transmitted from the server 12 are reflected in the VR video.
  • the avatar of the user (user in the local environment) is moved according to the posture, motion, and operation of the user
  • the avatar of the other user is moved according to the posture, motion, and operation of the other user (user in the remote environment). make it work.
  • the photo storage unit 58 stores data of photos of live performances or live venues in the storage unit 22 (for example, photo storage unit) in accordance with user operations.
  • FIG. 5 is a block diagram showing functional blocks of the server 12 of FIG.
  • the server 12 includes a control section 60 , a storage section 62 and a communication section 64 .
  • the control unit 60 executes various data processing.
  • the storage unit 62 stores data referenced or updated by the control unit 60 .
  • the communication unit 64 communicates with an external device according to a predetermined communication protocol.
  • the control unit 60 transmits and receives data to and from the HMD 100 via the communication unit 64 .
  • the storage unit 62 includes a moving image data storage unit 66 and a user data storage unit 68.
  • the moving image data storage unit 66 stores various moving image data (including live image moving image data in the embodiment) distributed by the server 12 to the HMD 100 .
  • the user data storage unit 68 stores data on a plurality of users who are distribution destinations of video content, and which belong to a plurality of groups.
  • the data of each user includes, for example, user identification information, identification information of a group to which the user belongs, and identification information of video content viewed by the user.
  • the control unit 60 includes an effect execution unit 70 , an arrangement unit 72 , a video distribution unit 74 , an action data receiving unit 76 , an action data providing unit 78 , an audio data receiving unit 80 and an audio data providing unit 82 .
  • the functionality of these functional blocks may be implemented in a computer program and installed in the storage of server 12 .
  • the processor (CPU, etc.) of the server 12 may exhibit the functions of the plurality of functional blocks of the control unit 60 by reading the computer program into the main memory and executing it.
  • the performance execution unit 70 determines the performance in the pre-performance lobby, live venue, and post-performance lobby.
  • the effect executing unit 70 transmits data indicating the content of the determined effect to the HMDs 100 of each of a plurality of users viewing the live video.
  • the arrangement unit 72 determines the position of each of the multiple users viewing the live video based on the group to which each user belongs stored in the user data storage unit 68 . In other words, the placement unit 72 determines the position of each user in the virtual space (live venue in the embodiment) for each user group. The placement unit 72 transmits data indicating the position of each user to the HMD 100 of each user.
  • the moving image distribution unit 74 transmits the moving image data of the live image stored in the moving image data storage unit 66 to the HMDs 100 of each of the multiple users viewing the live image.
  • Moving image data of live images may be transferred and played back by streaming.
  • the behavior data reception unit 76 receives data indicating the posture, movement, and behavior of the user's avatar, which are transmitted from the HMDs 100 of each of the multiple users viewing the live video.
  • the behavior data providing unit 78 transmits data indicating the posture, motion, and behavior of a certain user's avatar received by the behavior data receiving unit 76 to the HMDs 100 of other users.
  • the audio data reception unit 80 receives audio data transmitted from each of the HMDs 100 of multiple users viewing the live video.
  • the voice data providing unit 82 refers to the data stored in the user data storage unit 68 and identifies the group to which the source user of the voice data received by the voice data receiving unit 80 belongs.
  • the audio data providing unit 82 transmits audio data of users belonging to a certain group to the HMDs 100 of other users belonging to the same group, but does not transmit the data to the HMDs 100 of users belonging to other groups.
  • FIG. 6 is a flow chart showing the operation of the content viewing system 10.
  • User a belongs to group A, and group A further includes user b using HMD 100b, user c using HMD 100c, and user d using HMD 100d.
  • a user e using the HMD 100e and a user f using the HMD 100f belong to a group B different from the group A.
  • User a inputs an operation to the HMD 100a to instruct activation of the live viewing App, and the control unit 20 of the HMD 100a activates the live viewing App.
  • the live viewing App is activated (Y in S10)
  • user a selects a live performance to be viewed from among a plurality of viewable live performances (in other words, a plurality of live venues).
  • the user a selects a group in which he/she participates (here, group A), enters his name, and logs in.
  • the server cooperation unit 54 of the HMD 100 a transmits the identification information of the live and group selected by the user to the server 12 .
  • the user data storage unit 68 of the server 12 stores the identification information of the live performance and the group selected by the user in association with the identification information of the user.
  • the room switching unit 34 of the HMD 100a instructs the image generation unit 40 to generate a pre-performance lobby image.
  • the image generation unit 40 (first generation unit 42) of the HMD 100a generates data for a pre-performance lobby image, and the image output control unit 50 causes the display unit 124 to display the pre-performance lobby image (S11).
  • Fig. 7 shows an example of a pre-performance lobby video.
  • An avatar 202 of user a is drawn in the pre-performance lobby video 200 .
  • a mirror 204 is arranged in the lobby before the performance.
  • an avatar image 206 of user a and an avatar image 208 of user b who are entering the lobby before the performance are drawn.
  • the posture, motion, and behavior of the avatar 202 and the avatar image 206 of the user a change according to the posture, motion, and behavior of the user a in the real world.
  • the posture, motion, and behavior of the avatar (not shown) of user b and the avatar image 208 change according to the posture, motion, and behavior of user b in the real world.
  • the operation receiving unit 30 of the HMD 100 detects the hand clapping based on the movement of the controller or the image captured by the stereo camera 110 .
  • the first generation unit 42 of the video generation unit 40 generates a pre-performance lobby video 200 in which the avatar 202 and the avatar image 206 are clapping, and generates the pre-performance lobby video 200 including an effect 210 associated in advance with the clapping. do.
  • the effect 210 includes, for example, an effect in which a ring of light spreads, and an effect in which a star-shaped object (which can also be called a particle) flies.
  • the pre-performance lobby user a can purchase desired items for use in live performances and cheering on performers from among multiple virtual items stored in the item data storage unit 26 .
  • the first generating unit 42 of the HMD 100a generates, as a pre-performance lobby image, an image showing purchase of goods by the user a in accordance with an operation by the user a.
  • the operation reception unit 30 of the HMD 100a receives a user's operation instructing purchase of an article.
  • the purchase processing unit 38 of the HMD 100a settles the price of the item, stores the data of the purchased item in the user data storage unit 28 in association with the identification information of the user a.
  • the first generating unit 42 of the HMD 100a generates, as the pre-performance lobby image 200, an image in which the avatar 202 and the avatar image 206 of the user "a" cheer using purchased items.
  • Items available for purchase in the example include a frying pan, and you can practice shaking the frying pan in the pre-show lobby.
  • the pre-performance lobby image 200 is continuously displayed on the HMD 100 of each user until the performance time of the live image (in other words, the timing of switching to the live venue image) (N in S12).
  • the arranging unit 72 of the server 12 determines the position of each of the plurality of users viewing the live video in the live venue based on the group of each user (S13). .
  • the position of each user in the live venue is the position where each user's avatar is placed in the live venue.
  • FIG. 8 shows an example of group placement at a live venue.
  • the figure shows the group arrangement assigned to the users of group A (user a, user b, user c, and user d).
  • FIG. 9 also shows an example of group placement in a live venue.
  • the figure shows the group arrangement assigned to the users of group B (user e and user f).
  • the screen on which the live video is projected is installed in front of the group in the front row (in front of group E and group F in FIG. 8, and in front of group F and group G in FIG. 9).
  • the placement unit 72 places group A at a predetermined fixed position within the live venue, and places group A at another position within the live venue in the arrangement data assigned to users of group A. Arrange other groups.
  • the placement unit 72 places the group B at the fixed position in the live venue and places the other groups at other positions in the live venue in the arrangement data assigned to the users of the group B.
  • FIG. The fixed position in the embodiment is the center of the second row, and is hereinafter also referred to as the "viewing position". In this way, the arranging unit 72 fixedly allocates a position suitable for viewing the live video to any of the plurality of users across the plurality of groups viewing the live video.
  • the arrangement unit 72 has at least one position between the viewing position in the live venue (the center of the second row in the embodiment) and the position where the live video is performed (the position of the screen where the live video is displayed in the embodiment).
  • groups E and F are arranged between the viewing position of group A and the screen.
  • group F and group G are arranged between the viewing position of group B and the screen. This allows each user to enjoy the artist's performance while checking the behavior of the avatars of other groups.
  • the placement unit 72 maintains the positional relationship between group A and group B between the placement data assigned to users belonging to group A and the placement data assigned to users belonging to group B. That is, the placement unit 72 aligns the relative positions of the groups among the placement data assigned to each group. For example, both in the group arrangement shown in FIG. 8 and the group arrangement shown in FIG. . This makes it easier to maintain consistency in communication (described later) between groups.
  • the effect execution section 70 of the server 12 transmits to each user's HMD 100 an instruction to switch to the live venue including the placement data for each group.
  • the room switching unit 34 of the HMD 100 a inputs an instruction to switch to the live venue including the layout data for group A to the image generating unit 40 based on the instruction from the server 12 .
  • the image generation unit 40 (second generation unit 44) generates live venue image data in which the avatars of each group are arranged at the positions indicated by the arrangement data for group A (for example, FIG. 8).
  • the video output control unit 50 displays the live venue video on the display unit 124 (S14).
  • FIG. 10 shows an example of a live venue video.
  • the avatar 202 of the user a is drawn in the live venue video 220 .
  • a screen 222 on which live images are set is arranged at the live venue.
  • Avatar 224 is an avatar of a user who belongs to a group different from user a (for example, group F shown in FIG. 8).
  • Non-verbal communication includes waving to avatars of other groups of users and throwing objects (also called particles).
  • objects also called particles.
  • a hardware type object 226 is thrown from the avatar 202 of user a to the avatar 224 of another group of users.
  • Such actions of user a's avatar 202 are also transmitted to other users' HMDs 100 via the server 12 and reflected in the live venue video 220 in the other users' HMDs 100 as well.
  • the avatars of other users (user B, user C, and user D) belonging to the same group A as user a are also drawn in the live venue video 220 .
  • User a is capable of both non-verbal communication and verbal communication with other users in the same group.
  • Verbal communication is specifically voice chat.
  • the voice data providing unit 82 of the server 12 transmits the voices of users a, b, c, and d to the HMDs 100 of other users in group A, but not to the HMDs 100 of users other than group A.
  • the voice data providing unit 82 transmits the voices of the users e and f to the HMDs 100 of the other users in the group B, but does not transmit the voices to the HMDs 100 of the users other than the group B. In this way, by blocking voice transmission across different groups, it is possible to prevent the user from feeling disturbed by the voices of other groups.
  • FIG. 11 also shows an example of a live venue video.
  • User a supports the artist by clapping his hands while watching the live video.
  • the avatar 202 of the user a in the live venue video 220 clap their hands in synchronization with the motion of the user a.
  • Effects 210 (such as particles) are displayed on the live venue video 220 in time with the clapping of the avatar 202 .
  • the action data providing unit 78 of the server 12 notifies the HMD 100a of the actions of the avatars of the other users, and the second generation unit 44 of the HMD 100a also displays the actions of the avatars 224 of the other users on the live venue video 220. .
  • FIG. 12 also shows an example of a live venue video.
  • the second generation unit 44 of the HMD 100a indicates that the item (here, item 228) purchased in the lobby before the performance is used by the avatar 202 of the user a as the live venue video 220 according to the operation of the user a. generate video.
  • the second generation unit 44 of the HMD 100a includes, when an item purchased in the lobby before the performance is used by the user's avatar, an action (reaction or feedback) from the performer associated with the item to the user.
  • a live venue video 220 is generated.
  • the effect execution unit 70 of the server 12 selects the item ( item). In other words, the effect executing unit 70 identifies the user using each item.
  • a performance executing part 70 determines by lottery one user for each item, from among a plurality of users in use, to be a target of a reaction performance (also known as a gratitude performance) by a performer associated with the item.
  • the effect executing unit 70 transmits to the HMD 100 of each user a reaction effect instruction designating a target user for the reaction effect determined for each item.
  • the second generation unit 44 of the HMD 100 generates a live venue video 220 showing the performer's reaction to the user's avatar indicated by the reaction effect instruction.
  • the live venue video 220 in FIG. 12 shows that a reaction object 230 indicating the performer associated with the item 228 has been delivered to the avatar 202 of the user a who uses the item 228 as a reaction effect.
  • the live venue image 220 of the user a displays that the reaction object 230 has been delivered to the other user's avatar.
  • reaction effects can promote the purchase of items in the lobby after the performance, and can also promote competition among users to further enhance the interest of live viewing.
  • the reaction production is periodically and repeatedly executed.
  • the target of the reaction rendering a plurality of times may be the same user, or may be changed to a different user.
  • the live venue video 220 continues to be displayed on each user's HMD 100 until the performance of the live video ends (N of S15).
  • the effect execution unit 70 of the server 12 transmits an instruction to switch to the lobby after the performance to the HMD 100 of each user.
  • the room switching unit 34 of the HMD 100 a inputs an instruction to switch to the lobby after the performance to the image generating unit 40 based on the instruction from the server 12 .
  • the video generation unit 40 (third generation unit 46) generates data for a post-performance lobby video.
  • the image output control unit 50 causes the display unit 124 to display the lobby image after the performance (S16).
  • Fig. 13 shows an example of the lobby video after the performance.
  • the avatar 202 of the user a is drawn in the post-performance lobby image 240 .
  • Mirrors 204 are also placed in the post-performance lobby as well as the pre-performance lobby.
  • An avatar image 206 of user a who has entered the lobby after the performance and an avatar image 208 of user b are drawn on the mirror 204 .
  • Only users b, c, and d belonging to the same group A as user a can enter the lobby after the performance where user a enters.
  • User e and user f can enter the post-performance lobby dedicated to group B.
  • the data of the photograph 242 may be generated by the effect execution unit 70 of the server 12 and provided from the server 12 to each user's HMD 100 .
  • the third generation unit 46 of the HMD 100 may display the photograph 242 provided from the server 12 in the lobby image 240 after the performance.
  • Fig. 14 shows an example of a photo provided in the lobby after the performance.
  • the photos 242 provided in the lobby after the performance may include photos of the avatar 202 of user a at the live venue, or may include photos of both the performer and the avatar 202 at the live venue.
  • the photo storage unit 58 of the HMD 100a stores, in the storage unit 22 (for example, photo storage unit), data of photos taken by a virtual camera provided in advance at the live venue or by a virtual camera installed by the user a at the live venue.
  • may User a may input a predetermined operation to the virtual camera to cause the virtual camera to capture a range including his/her own avatar, other users' avatars, and the screen.
  • the third generation unit 46 of the HMD 100a may display, in the lobby image 240 after the performance, a photograph taken by the operation of the user a stored in the storage unit 22 (for example, a photograph storage unit).
  • the third generating unit 46 of the HMD 100a generates, as a post-performance lobby image, an image showing the purchase of the photograph 242 by the user a in accordance with the operation of the user a.
  • the purchase processing unit 38 of the HMD 100a settles the price of the photograph 242 according to the user's operation instructing the purchase of the photograph 242, and transmits data (identification information, image data, etc.) related to the purchased photograph 242 to the user a. It is stored in the user data storage unit 28 in association with the identification information.
  • the production execution unit 70 of the server 12 performs a live performance or a live venue on the condition that the number of cheers by the avatar of user a at the live venue (for example, the total number of times of clapping and the number of times items are used) is equal to or greater than a predetermined threshold.
  • a photograph of the state of the performance may be provided to the HMD 100a at the time of display in the lobby after the performance.
  • the effect executing unit 70 of the server 12 may provide more photographs to the HMD 100a at the time of display in the lobby after the performance, as the number of cheering by the avatar of the user a at the live venue increases. As a result, it is possible to promote the user's cheering action at the live venue.
  • the display of the post-performance lobby image 240 continues until the user a inputs a predetermined end operation (N of S17). When the user a inputs the end operation (Y of S17), the processing of this figure is ended. If the live viewing App is not activated on the HMD 100a (N of S10), the process from S11 onwards is skipped, and the process of this figure is terminated.
  • the pre-performance lobby video 200, the live venue video 220, and the post-performance lobby video 240 are sequentially sent to the user as a lead for the user throughout the period before, during, and after the performance of the video content. offer. As a result, it is possible to provide the user with an experience similar to viewing an event in the real space, and improve the entertainment of the video content before, during, and after the performance.
  • a first modified example will be explained.
  • a special user assigned the role of guiding a plurality of general users viewing video content referred to here as a "guide”
  • a guide may be provided, and an avatar of the guide may be placed.
  • guide avatars may be placed in the pre-performance lobbies and post-performance lobbies of all groups.
  • the guide may give lectures to each user on how to support live performances and how to use items through voice chat and gestures.
  • the voice data providing unit 82 of the server 12 may transmit the data of the voice uttered by the guide, that is, the voice data transmitted from the HMD 100 of the guide to the HMDs 100 of the users of a plurality of groups. may be transmitted to the HMD 100 of the user. Also, the voice data providing unit 82 of the server 12 may transmit voice data from all users to the HMD 100 of the guide regardless of the group to which each user belongs.
  • the guide's HMD 100 instructs all users' HMDs 100 to switch video (switching from the lobby before the performance to the live venue and/or switching from the live venue to the lobby after the performance), triggered by the operation by the guide. may be sent.
  • the image generating unit 40 further includes a fourth generating unit that generates an image of My Room, which is a virtual space assigned to each user and is a fourth virtual space where items that can be used by the user's avatar are gathered.
  • My room can be said to be a virtual space associated with each user, and can be said to be a virtual space where items purchased by individual users gather.
  • the fourth generation unit of the image generation unit 40 creates a virtual space image to be displayed first when the live viewing App is started, and creates a my room where one or more purchased items stored in the user data storage unit 28 are arranged.
  • a video may be generated.
  • the video output control unit 50 may cause the display unit 124 to display the video of my room.
  • My Room users can freely view purchased items.
  • information regarding a plurality of video contents that can be viewed from now on is displayed.
  • the room switching unit 34 of the HMD 100 instructs the video generation unit 40 to display the pre-performance lobby corresponding to the selected video content.
  • the server cooperation unit 54 of the HMD 100 may transmit data (distribution request data) indicating the video content selected by the user to the server 12 . After that, the processes after S11 in the flowchart of FIG. 6 may be executed.
  • live video of a concert or the like is delivered from the server 12 to the HMD 100 , but the server 12 may deliver other types of video content to the HMD 100 .
  • the video content to be distributed may be, for example, broadcast video of sports such as baseball or soccer, or video of movies or dramas.
  • voice chat can be switched on/off according to user's operation.
  • the voice data providing unit 82 of the server 12 may switch on/off voice chat within a group according to user settings. may be suppressed.
  • the server 12 may be configured to include some of the functions included in the HMD 100 of the embodiment. Further, the HMD 100 may be configured to include some of the functions included in the server 12 of the embodiment. Further, some of the multiple functions provided by the HMD 100 of the embodiment and/or some of the multiple functions provided by the server 12 of the embodiment can be performed by the user connected to the HMD 100.
  • the configuration may be provided in an information processing device (for example, a game console, etc.).
  • the information processing system of each item below can also be expressed as an information processing device or a head-mounted display.
  • a first generation unit that generates video of a first room, which is a virtual space where a plurality of users viewing the content gather, before the presentation of the content
  • a second generation unit that generates video of a second room, which is a virtual space in which the content is presented
  • a third video generation unit that generates a video of a third room, which is a virtual space where the plurality of users gather, after the performance of the content
  • an output unit for sequentially displaying the image of the first room, the image of the second room, and the image of the third room on a display unit
  • An information processing system comprising According to this information processing system, the user is sequentially provided with the first room before the content performance, the second room during the content performance, and the third room after the content performance.
  • Actions that can be performed by the user's avatar in the first room and actions that the user's avatar can perform in the third room are different.
  • the user's avatar in the first room, the user's avatar can be made to perform a suitable action before the content is played, and in the third room, the user's avatar can be made to take a suitable action after the content is played. It is possible to provide the user with an experience similar to that of viewing the event.
  • the first generating unit generates, as the image of the first room, an image showing the purchase of an article by the user in accordance with the user's operation
  • the second generation unit generates a video in which the article purchased in the first room is used by the user's avatar as the video of the second room in accordance with the user's operation.
  • the information processing system according to item 1 or 2. According to this information processing system, it is possible to promote the sale of goods by enabling the use of goods while viewing content, and to increase the interest in viewing content.
  • the item purchased in the first room is associated with a person or character appearing in the content
  • the second generation unit When an item purchased in the first room is used by a user's avatar, the second generation unit generates an image including an action for the user from a person or character associated with the item.
  • the information processing system according to item 3. According to this information processing system, by providing the privilege of being able to receive actions from the person or character appearing in the content, it is possible to further promote the sale of goods and further enhance the interest in viewing and listening to the content.
  • the behavior that the user can perform in the third room changes. 5.
  • the information processing system according to any one of items 1 to 4.
  • an image of the user's avatar captured in the second room can be purchased. 6.
  • [Item 7] further comprising a placement unit that determines the position of each user in the second room based on the group of users; The information processing system according to any one of items 1 to 6. According to this information processing system, by arranging users in the same group in the vicinity, it is possible to increase interest in content viewing.
  • the arrangement unit arranges the first group at a predetermined fixed position in the second room, and arranges the other group at another position in the second room to generate the first arrangement data for the first group.
  • the second group is arranged at the fixed position in the second room, and the other group is arranged at another position in the second room to the users of the second group assigning, maintaining a positional relationship between the first group and the second group between the first configuration data and the second configuration data;
  • the arrangement unit arranges the first group at a predetermined fixed position in the second room, and arranges the other group at another position in the second room to generate the first arrangement data for the first group.
  • the second group is arranged at the fixed position in the second room, and the other group is arranged at another position in the second room to the users of the second group assigning, placing at least one other group between the fixed location in the second room and the location where the content is played;
  • [Item 10] further comprising a voice providing unit that provides voice data uttered by a user belonging to a certain group to devices of other users belonging to the same group, but not to devices of users belonging to other groups;
  • the information processing system according to any one of Items 1 to 9. According to this information processing system, it is possible to suppress the provision of unnecessary sounds for the user.
  • At least one of the first room, the second room, and the third room is provided with a special user for guiding the plurality of users,
  • the voice providing unit provides voice data uttered by the special user to the devices of users in a plurality of groups.
  • this information processing system it is possible to exceptionally provide a plurality of groups with useful sounds over a plurality of groups while suppressing the provision of sounds unnecessary for the user.
  • a fourth generation unit that generates a video of a fourth room, which is a virtual space assigned to each user and is a virtual space where items that can be used by the user's avatar are gathered; When the user selects content to be viewed in the fourth room, the first generation unit generates video of the first room corresponding to the selected content. 12.
  • the information processing system according to any one of items 1 to 11.
  • this information processing system it is possible to provide the user with the fourth room as his/her own room in which to select contents to be viewed and check collected items, etc., and to provide the user with an experience close to the real world.
  • generating an image of a first room which is a virtual space where a plurality of users viewing the content gather, before the presentation of the content
  • generating an image of a second room which is a virtual space in which the content is presented
  • generating an image of a third room which is a virtual space where the plurality of users gather, after the presentation of the content
  • a computer-implemented method of processing information A computer-implemented method of processing information.
  • the user's lead line is similar to that of viewing an event in the real space. can be realized, and a novel user experience can be provided.
  • the first room before the content performance, the second room during the content performance, and the third room after the content performance are sequentially provided to the user, thereby guiding the user in a manner similar to viewing an event in a real space. It can be realized and a novel user experience can be provided.
  • the technology of the present disclosure can be applied to information processing systems and information processing devices.
  • 10 content viewing system 12 server, 40 video generation unit, 42 first generation unit, 44 second generation unit, 46 third generation unit, 50 video output control unit, 72 placement unit, 82 audio data provision unit, 100 HMD, 124 display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ＨＭＤ（ヘッドマウントディスプレイ）は、所定のコンテンツの上演前に、コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルーム（例えば上演前ロビー）の映像を生成して表示する（Ｓ１１）。ＨＭＤは、上記コンテンツが上演される仮想空間である第２ルーム（例えばライブ会場）の映像を生成して表示する（Ｓ１４）。ＨＭＤは、上記コンテンツの上演後に、複数のユーザが集まる仮想空間である第３ルーム（例えば上演後ロビー）の映像を生成して表示する（Ｓ１６）。

Description

情報処理システムおよび情報処理方法
　本発明は、データ処理技術に関し、特に情報処理システムおよび情報処理方法に関する。
　ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。
　現在、コンサート（例えばライブやフィルムコンサート）等の映像コンテンツをユーザの端末に配信し、その映像コンテンツをユーザに視聴させるサービスが提供されることがある。
　コンテンツを視聴するユーザの満足度を高めるために、コンテンツの質が重要であることはもちろんだが、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させることも重要であると本発明者は考えた。
　本発明はこうした課題に鑑みてなされたものであり、１つの目的は、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の情報処理システムは、所定のコンテンツの上演前に、コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、コンテンツの上演後に、複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、第１ルームの映像、第２ルームの映像および第３ルームの映像を順次表示部に表示させる出力部とを備える。
　本発明の別の態様は、情報処理方法である。この方法は、所定のコンテンツの上演前に、コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、コンテンツの上演後に、複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、第１ルームの映像、第２ルームの映像および第３ルームの映像を順次表示部に表示させるステップとをコンピュータが実行する。
　なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、コンテンツの上演前から上演後に亘るエンタテインメント性を向上させることができる。
実施例のコンテンツ視聴システムの構成を示す図である。 図１のＨＭＤの外観例を示す図である。 図１のＨＭＤの内部回路構成を示す図である。 図１のＨＭＤの機能ブロックを示すブロック図である。 図１のサーバの機能ブロックを示すブロック図である。 コンテンツ視聴システムの動作を示すフローチャートである。 上演前ロビー映像の例を示す図である。 ライブ会場におけるグループ配置の例を示す図である。 ライブ会場におけるグループ配置の例を示す図である。 ライブ会場映像の例を示す図である。 ライブ会場映像の例を示す図である。 ライブ会場映像の例を示す図である。 上演後ロビー映像の例を示す図である。 上演後ロビーで提供される写真の例を示す図である。
　本開示におけるシステム、装置または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩを含む１つまたは複数の電子回路で構成されてもよい。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録されてもよい。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。なお、本明細書または請求項中における「第１」、「第２」等の用語は、特に言及がない限り、いかなる順序や重要度を表すものでもなく、ある構成と他の構成とを区別するためのものである。
　実施例では、電子コンテンツの上演前、上演中、上演後の期間に亘る導線であり、現実空間でのイベント視聴に近い導線をユーザに提供することにより、斬新なユーザ体験を提供するコンテンツ視聴システムを提案する。実施例のコンテンツ視聴システムでは、複数のユーザの頭部に装着されたヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に映像コンテンツを配信し、複数のユーザに映像コンテンツを同時に視聴させる。
　図１は、実施例のコンテンツ視聴システム１０の構成を示す。コンテンツ視聴システム１０は、複数のユーザにより使用される複数のＨＭＤ１００（図１にはＨＭＤ１００ａ～ＨＭＤ１００ｆを示している）と、サーバ１２とを備える。これらの装置は、ＬＡＮ・ＷＡＮ・インターネット等を含み得る通信網１４を介して接続される。
　サーバ１２は、映像コンテンツをＨＭＤ１００に配信し、また、映像コンテンツの視聴に関する各種演出を制御する情報処理装置である。サーバ１２が配信する映像コンテンツは、様々なカテゴリ・ジャンルの動画を含み得るが、実施例では、サーバ１２は、コンサートの様子を撮影した映像コンテンツ（以下「ライブ映像」と呼ぶ。）を配信することとする。サーバ１２の詳細な説明は後述する。
　ＨＭＤ１００は、ユーザの頭部に装着され、ＶＲ画像を表示するヘッドマウントディスプレイ装置である。ＨＭＤ１００で表示されるＶＲ空間には、サーバ１２から提供されたライブ映像が表示され、また、ライブ映像の上演前、上演中、上演後の期間に亘って複数のユーザのアバター（キャラクタとも言える）が表示される。
　図２は、図１のＨＭＤ１００の外観例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。
　出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。実施例のＨＭＤ１００の表示パネルは、透過性がないものとする。すなわち、実施例のＨＭＤ１００は、光不透過型のヘッドマウントディスプレイである。
　筐体１０８内部にはさらに、ＨＭＤ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ＨＭＤ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ＨＭＤ１００は、モーションセンサを内蔵し、ＨＭＤ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。
　また、ＨＭＤ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。
　図３は、図１のＨＭＤ１００の内部回路構成を示す。ＨＭＤ１００は、ＣＰＵ１２０、ＧＰＵ１２１、メインメモリ１２２、ストレージ１２３、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、マイク１３６、およびステレオカメラ１１０が接続される。
　ＣＰＵ１２０は、バス１２８を介してＨＭＤ１００の各部から取得した情報を処理するとともに、サーバ１２から取得した動画データや音声データを表示部１２４や音声出力部１２６に供給する。ＧＰＵ１２１は、ＣＰＵ１２０の指示に基づいて画像処理を実行する。例えば、ＧＰＵ１２１は、表示部１２４に表示させるＶＲ空間を示すＶＲ画像のデータを生成する。
　メインメモリ１２２は、ＣＰＵ１２０およびＧＰＵ１２１における処理に必要なプログラムやデータを格納する。ストレージ１２３は、サーバ１２から配信されるライブ映像を視聴するためのアプリケーションプログラム（以下「ライブ視聴Ａｐｐ」）とも呼ぶ。）を記憶する。
　表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ＨＭＤ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ＨＭＤ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。
　音声出力部１２６は、ＨＭＤ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。
　通信部１３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。通信部１３２は、アクセスポイント（不図示）を介して、サーバ１２との間でデータを送受信する。例えば、通信部１３２は、Ｗｉ－Ｆｉ（登録商標）などの既知の無線通信技術を用いてアクセスポイントと接続し、アクセスポイントを介してサーバ１２と通信してもよい。また、通信部１３２は、既知の無線通信技術を用いて、ユーザの手に把持されたコントローラ（不図示）と通信する。
　モーションセンサ１３４は、ジャイロセンサおよび加速度センサを含み、ＨＭＤ１００の角速度や加速度を取得する。マイク１３６は、ユーザの周囲の音声およびユーザが発した音声を受け止め、その音声を電気信号（「音声データ」とも呼ぶ。）に変換する。
　ステレオカメラ１１０は、図２で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された画像であり、ユーザの周囲空間を映した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介してサーバ１２へ送信される。なお、ＨＭＤ１００に搭載されるカメラ台数に制限はなく、１台のカメラが搭載されてもよく、３台以上のカメラが搭載されてもよい。
　図４は、図１のＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す複数の機能ブロックは、ハードウェア的には、コンピュータのプロセッサ（ＣＰＵやＧＰＵ等）、メモリ、ストレージ等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　ＨＭＤ１００は、制御部２０、記憶部２２、通信部１３２を備える。制御部２０は、ＣＰＵ１２０およびＧＰＵ１２１により実現されてもよく、各種データ処理を実行する。制御部２０は、通信部１３２を介して、外部装置（例えばコントローラやサーバ１２）とデータを送受信する。記憶部２２は、メインメモリ１２２およびストレージ１２３により実現されてもよく、制御部２０により参照または更新されるデータを記憶する。
　記憶部２２は、ルームデータ記憶部２４、物品データ記憶部２６、ユーザデータ記憶部２８を含む。ルームデータ記憶部２４は、ライブ映像の上演前から上演後に亘る複数の仮想空間に関するデータ（「ルームデータ」とも呼ぶ。）を記憶する。ルームデータは、例えば、各仮想空間のレイアウトや形状、模様、色彩等を規定したデータを含む。
　実施例における複数の仮想空間は、第１ルームとしての上演前ロビーと、第２ルームとしてのライブ会場と、第３ルームとしての上演後ロビーを含む。上演前ロビーは、ライブ映像の上演前に、ライブ映像を視聴する複数のユーザが集まる仮想空間である。例えば、ユーザは、上演前ロビーにおいて、同じグループの仲間とボイスチャットを行いつつ、ライブの楽しみ方（振り付けや応援方法等）を予習する。
　ライブ会場は、ライブ映像が上演され、複数のユーザがライブ映像を視聴する仮想空間である。上演後ロビーは、ライブ映像の上演後に、ライブ映像を視聴した複数のユーザが集まる仮想空間である。例えば、ユーザは、上演後ロビーにおいて、同じグループの仲間とライブの感想等をボイスチャットで語り合い、ライブの余韻を楽しむ。上演前ロビーと上演後ロビーは、同じロビーとしての仮想空間であってもよく、レイアウトや形状、模様、色彩等が同じであってもよい。
　また、上演前ロビー、ライブ会場、上演後ロビーのそれぞれに、複数のユーザに対応する複数のアバターが登場する。実施例では、上演前ロビーにおいてユーザのアバターが実行可能な行動と、上演後ロビーにおいてユーザのアバターが実行可能な行動は異なる。具体的には、上演前ロビーでは、ユーザの操作に応じて、ユーザのアバターは、ライブ応援用のアイテムを購入でき、また、手拍子やアイテムを用いて、ライブの振り付けや応援の練習を行うことができる。一方、上演後ロビーでは、ユーザの操作に応じて、ユーザのアバターは、ライブの様子を写した写真の閲覧や購入ができる。
　物品データ記憶部２６は、ユーザが購入可能な仮想の物品であり、ユーザのアバターが使用可能な複数の物品に関するデータ（「物品データ」とも呼ぶ。）を記憶する。物品データは、例えば、物品の価格や演出（エフェクト等）を規定したデータ、物品が応援する演者を規定するデータを含む。
　ユーザデータ記憶部２８は、ＨＭＤ１００を装着するユーザに関するデータ（「ユーザデータ」とも呼ぶ。）を記憶する。ユーザデータは、例えば、ユーザの識別情報や、ユーザが属するグループの識別情報、ユーザが所有する（購入した）物品のデータを含む。なお、実施例では、１つのグループに最大４人のユーザが所属可能である。
　制御部２０は、操作受付部３０、位置姿勢検出部３２、ルーム切替部３４、アバター動作決定部３６、購入処理部３８、映像生成部４０、動画取得部４８、映像出力制御部５０、音声受付部５２、サーバ連携部５４、音声出力制御部５６、写真保存部５８を含む。これら複数の機能ブロックの機能が、ライブ視聴Ａｐｐに実装されてもよい。ＨＭＤ１００のプロセッサ（ＣＰＵ１２０およびＧＰＵ１２１）は、ライブ視聴Ａｐｐをメインメモリ１２２に読み出して実行することにより、制御部２０の複数の機能ブロックの機能を発揮してもよい。
　操作受付部３０は、コントローラから送信された、ユーザがコントローラに入力した操作を示すデータを受け付ける。操作受付部３０は、ユーザの操作を示すデータを制御部２０の各機能ブロックに渡す。
　位置姿勢検出部３２は、モーションセンサ１３４により検知されたＨＭＤ１００の角速度や加速度、および、ステレオカメラ１１０により撮影されたＨＭＤ１００の周囲の画像に基づいて、ＨＭＤ１００を装着したユーザの頭部の位置や姿勢を検出する。位置姿勢検出部３１はさらに、ユーザの頭部の位置や姿勢に基づいて、ユーザの視点の位置や視線方向を検出する。
　ルーム切替部３４は、表示対象の仮想空間であり、言い換えれば、映像生成対象の仮想空間を切り替える処理を実行する。例えば、ルーム切替部３４は、ライブ映像の上演タイミングに達する前、上演前ロビー映像を生成するよう映像生成部４０に指示する。また、ルーム切替部３４は、サーバ１２からの指示に応じて、上演前ロビー映像に代えてライブ会場映像を生成するよう映像生成部４０に指示する。また、ルーム切替部３４は、サーバ１２からの指示に応じて、ライブ会場映像に代えて上演後ロビー映像を生成するよう映像生成部４０に指示する。
　アバター動作決定部３６は、操作受付部３０で受け付けられたユーザの操作、および、位置姿勢検出部３２で検出されたユーザの頭部の位置や姿勢に基づいて、当該ユーザのアバターがとるべき姿勢や動作、行動を決定する。
　購入処理部３８は、操作受付部３０で受け付けられたユーザの操作に基づいて、物品の購入処理を実行する。例えば、購入処理部３８は、外部の決済システムと連携して、上演前ロビーにてユーザが購入した物品の代金を、ユーザが予め登録した決済手段情報（例えばクレジットカード番号）を用いて決済してもよい。
　映像生成部４０は、仮想空間の映像データを生成する。映像生成部４０は、第１生成部４２、第２生成部４４、第３生成部４６を含む。第１生成部４２は、ルームデータ記憶部２４に記憶された上演前ロビーに関するデータを用いて、上演前ロビーの映像データを生成する。第２生成部４４は、ルームデータ記憶部２４に記憶されたライブ会場に関するデータを用いて、ライブ会場の映像データを生成する。第３生成部４６は、ルームデータ記憶部２４に記憶された上演後ロビーに関するデータを用いて、上演後ロビーの映像データを生成する。
　映像出力制御部５０は、第１生成部４２により生成された上演前ロビーの映像データ、第２生成部４４により生成されたライブ会場の映像データ、および第３生成部４６により生成された上演後ロビーの映像データを順次表示部１２４へ出力する。映像出力制御部５０は、上演前ロビー映像、ライブ会場の映像および上演後ロビー映像を順次表示部１２４に表示させる。
　動画取得部４８は、サーバ１２から送信されたライブ映像の動画データを受け付ける。第２生成部４４は、動画取得部４８が受け付けたライブ映像の動画データをライブ会場に設けられたスクリーン部に設定する。
　音声受付部５２は、マイク１３６から入力された音声データを受け付ける。サーバ連携部５４は、サーバ１２とデータを送受信する。具体的には、サーバ連携部５４は、マイク１３６から入力されたユーザの音声データをサーバ１２へ送信する。サーバ連携部５４は、アバター動作決定部３６により決定されたユーザのアバターの姿勢、動作、行動を示すデータをサーバ１２へさらに送信する。
　また、サーバ連携部５４は、サーバ１２から送信された他ユーザ（実施例では同じグループ内の他ユーザ）の音声データを受け付け、音声出力制御部５６に渡す。音声出力制御部５６は、サーバ１２から送信された他ユーザの音声データが示す音声を音声出力部１２６から出力させる。
　また、サーバ連携部５４は、サーバ１２から送信された他ユーザのアバターの姿勢、動作、行動を示すデータを受け付け、映像生成部４０に渡す。映像生成部４０の第１生成部４２、第２生成部４４、第３生成部４６のそれぞれは、アバター動作決定部３６により決定されたユーザのアバターの姿勢、動作、行動をＶＲ映像に反映させ、また、サーバ１２から送信された他ユーザのアバターの姿勢、動作、行動をＶＲ映像に反映させる。これにより、ユーザ（ローカル環境のユーザ）の姿勢や動作、操作に応じてユーザのアバターを動作させ、他のユーザ（リモート環境のユーザ）の姿勢や動作、操作に応じて他のユーザのアバターを動作させる。
　写真保存部５８は、ユーザの操作に応じて、ライブまたはライブ会場を写した写真のデータを記憶部２２（例えば写真記憶部）に格納する。
　図５は、図１のサーバ１２の機能ブロックを示すブロック図である。サーバ１２は、制御部６０、記憶部６２、通信部６４を備える。制御部６０は、各種データ処理を実行する。記憶部６２は、制御部６０により参照または更新されるデータを記憶する。通信部６４は、所定の通信プロトコルにしたがって外部装置と通信する。制御部６０は、通信部６４を介して、ＨＭＤ１００とデータを送受信する。
　記憶部６２は、動画データ記憶部６６とユーザデータ記憶部６８を含む。動画データ記憶部６６は、サーバ１２がＨＭＤ１００に配信する様々な動画データ（実施例ではライブ映像の動画データを含む）を記憶する。
　ユーザデータ記憶部６８は、映像コンテンツの配信先である複数のユーザであり、複数のグループに亘る複数のユーザに関するデータを記憶する。各ユーザのデータは、例えば、ユーザの識別情報や、ユーザが属するグループの識別情報、ユーザが視聴する映像コンテンツの識別情報を含む。
　制御部６０は、演出実行部７０、配置部７２、動画配信部７４、行動データ受付部７６、行動データ提供部７８、音声データ受付部８０、音声データ提供部８２を含む。これら複数の機能ブロックの機能が、コンピュータプログラムに実装され、サーバ１２のストレージにインストールされてもよい。サーバ１２のプロセッサ（ＣＰＵ等）は、上記コンピュータプログラムをメインメモリに読み出して実行することにより、制御部６０の複数の機能ブロックの機能を発揮してもよい。
　演出実行部７０は、上演前ロビー、ライブ会場および上演後ロビーにおける演出を決定する。演出実行部７０は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００に対して、決定した演出内容を示すデータを送信する。
　配置部７２は、ライブ映像を視聴する複数のユーザそれぞれの位置を、ユーザデータ記憶部６８に記憶された各ユーザが属するグループに基づいて決定する。言い換えれば、配置部７２は、ユーザのグループ単位で、仮想空間（実施例ではライブ会場）における各ユーザの位置を決定する。配置部７２は、各ユーザのＨＭＤ１００に対して、各ユーザの位置を示すデータを送信する。
　動画配信部７４は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００に対して、動画データ記憶部６６に記憶されたライブ映像の動画データを送信する。ライブ映像の動画データは、ストリーミングにて転送および再生されてもよい。
　行動データ受付部７６は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００から送信された、ユーザのアバターの姿勢、動作、行動を示すデータを受け付ける。行動データ提供部７８は、行動データ受付部７６が受け付けた或るユーザのアバターの姿勢、動作、行動を示すデータを、他のユーザのＨＭＤ１００へ送信する。
　音声データ受付部８０は、ライブ映像を視聴する複数のユーザそれぞれのＨＭＤ１００から送信された音声データを受け付ける。音声データ提供部８２は、ユーザデータ記憶部６８に記憶されたデータを参照して、音声データ受付部８０が受け付けた音声データの送信元ユーザが属するグループを識別する。音声データ提供部８２は、或るグループに属するユーザの音声データを、同じグループに属する他のユーザのＨＭＤ１００に送信する一方、他のグループに属するユーザのＨＭＤ１００には送信しない。
　以上の構成によるコンテンツ視聴システム１０の動作を説明する。
　図６は、コンテンツ視聴システム１０の動作を示すフローチャートである。以下では、ユーザａがライブ映像を視聴する際の、ユーザａにより使用されるＨＭＤ１００ａとサーバ１２の動作を中心に説明するが、他のＨＭＤ１００もＨＭＤ１００ａと同様に動作する。ユーザａはグループＡに属し、グループＡには、ＨＭＤ１００ｂを使用するユーザｂ、ＨＭＤ１００ｃを使用するユーザｃ、ＨＭＤ１００ｄを使用するユーザｄがさらに所属する。また、ＨＭＤ１００ｅを使用するユーザｅと、ＨＭＤ１００ｆを使用するユーザｆは、グループＡと異なるグループＢに所属する。
　ユーザａは、ライブ視聴Ａｐｐの起動を指示する操作をＨＭＤ１００ａに入力し、ＨＭＤ１００ａの制御部２０は、ライブ視聴Ａｐｐを起動する。ライブ視聴Ａｐｐの起動時（Ｓ１０のＹ）、ユーザａは、視聴可能な複数のライブ（言い換えれば複数のライブ会場）の中から、これから視聴するライブを選択する。また、ユーザａは、自分が参加するグループ（ここではグループＡ）を選択し、名前を入力してログインする。ＨＭＤ１００ａのサーバ連携部５４は、ユーザにより選択されたライブとグループの識別情報をサーバ１２へ送信する。サーバ１２のユーザデータ記憶部６８は、ユーザにより選択されたライブとグループの識別情報をユーザの識別情報と対応付けて記憶する。
　ＨＭＤ１００ａのルーム切替部３４は、上演前ロビー映像の生成を映像生成部４０に指示する。ＨＭＤ１００ａの映像生成部４０（第１生成部４２）は、上演前ロビー映像のデータを生成し、映像出力制御部５０は、上演前ロビー映像を表示部１２４に表示させる（Ｓ１１）。
　図７は、上演前ロビー映像の例を示す。上演前ロビー映像２００には、ユーザａのアバター２０２が描画される。また、上演前ロビーには、鏡２０４が配置される。鏡２０４には、上演前ロビーに入場しているユーザａのアバター像２０６と、ユーザｂのアバター像２０８が描画される。ユーザａのアバター２０２とアバター像２０６の姿勢、動作、行動は、現実世界でのユーザａの姿勢、動作、行動に応じて変化する。同様に、ユーザｂのアバター（不図示）とアバター像２０８の姿勢、動作、行動は、現実世界でのユーザｂの姿勢、動作、行動に応じて変化する。
　なお、ユーザａが入場する上演前ロビーには、ユーザａと同じグループＡに属するユーザｂ、ユーザｃ、ユーザｄのみ入場可能である。一方、ユーザｅとユーザｆは、グループＢ専用の上演前ロビーに入場可能である。
　上演前ロビーでは、ユーザａは、ライブ映像の上演開始を待ちつつ、応援の振り付け（ここでは手拍子）を予習する。ユーザａが現実世界で手拍子を行うと、ＨＭＤ１００の操作受付部３０は、コントローラの動きまたはステレオカメラ１１０の撮像画像をもとに手拍子を検出する。映像生成部４０の第１生成部４２は、アバター２０２およびアバター像２０６が手拍子する上演前ロビー映像２００を生成し、かつ、手拍子に予め対応付けられたエフェクト２１０を含む上演前ロビー映像２００を生成する。エフェクト２１０は、例えば、光の輪が広がっていく演出や、星形のオブジェクト（パーティクルとも言える）が飛翔していく演出を含む。
　上演前ロビーでは、ユーザａは、物品データ記憶部２６に記憶された複数の仮想物品の中から、ライブや演者の応援に用いる所望の物品を購入可能である。ＨＭＤ１００ａの第１生成部４２は、ユーザａの操作に応じて、上演前ロビー映像として、ユーザａによる物品の購入を示す映像を生成する。ＨＭＤ１００ａの操作受付部３０は、物品の購入を指示するユーザの操作を受け付ける。ＨＭＤ１００ａの購入処理部３８は、物品の代金を決済し、購入された物品のデータをユーザａの識別情報と対応付けてユーザデータ記憶部２８に格納する。
　また、上演前ロビーでは、購入された物品を使用して応援や振り付けを練習できる。ＨＭＤ１００ａの第１生成部４２は、ユーザａの操作に応じて、上演前ロビー映像２００として、ユーザａのアバター２０２およびアバター像２０６が購入物品を使用した応援を行う映像を生成する。実施例において購入可能な物品はフライパンを含み、上演前ロビーではフライパンを振る等の練習ができる。ライブ映像の上演時刻（言い換えれば、ライブ会場映像への切替タイミング）に至るまで（Ｓ１２のＮ）、各ユーザのＨＭＤ１００には、上演前ロビー映像２００が継続表示される。
　ライブ映像の上演時刻に至ると（Ｓ１２のＹ）、サーバ１２の配置部７２は、ライブ映像を視聴する複数のユーザそれぞれのライブ会場における位置を、各ユーザのグループに基づいて決定する（Ｓ１３）。ライブ会場における各ユーザの位置は、ライブ会場において各ユーザのアバターが配置される位置である。
　図８は、ライブ会場におけるグループ配置の例を示す。同図は、グループＡのユーザ（ユーザａ、ユーザｂ、ユーザｃ、ユーザｄ）に割り当てられるグループ配置を示している。図９も、ライブ会場におけるグループ配置の例を示す。同図は、グループＢのユーザ（ユーザｅ、ユーザｆ）に割り当てられるグループ配置を示している。なお、ライブ映像が映るスクリーンは、最前列のグループの前（図８ではグループＥ、グループＦの前、図９ではグループＦ、グループＧの前）に設置される。
　図８および図９に示すように、配置部７２は、グループＡのユーザに割り当てる配置データにおいて、ライブ会場内の予め定められた固定位置にグループＡを配置し、ライブ会場内の他の位置に他のグループを配置する。また、配置部７２は、グループＢのユーザに割り当てる配置データにおいて、ライブ会場内の上記固定位置にグループＢを配置し、ライブ会場内の他の位置に他のグループを配置する。実施例における上記固定位置は、２列目中央であり、以下「視聴位置」とも呼ぶ。このように、配置部７２は、ライブ映像を視聴する複数のグループに亘る複数のユーザのいずれに対しても、ライブ映像の視聴に好適な位置を固定的に割り当てる。
　また、配置部７２は、ライブ会場内の視聴位置（実施例では２列目中央）と、ライブ映像が上演される位置（実施例ではライブ映像が映るスクリーンの位置）との間に少なくとも１つの他のグループを配置する。図８の例では、グループＡの視聴位置とスクリーンとの間に、グループＥとグループＦを配置している。図９の例では、グループＢの視聴位置をスクリーンとの間に、グループＦとグループＧを配置している。これにより、各ユーザは、他のグループのアバターの挙動を確認しつつ、アーティストのパフォーマンスを楽しむことができる。
　また、配置部７２は、グループＡに属するユーザに割り当てる配置データと、グループＢに属するユーザに割り当てる配置データの間で、グループＡとグループＢの位置関係を維持させる。すなわち、配置部７２は、各グループに割り当てる配置データ間でグループ同士の相対位置を整合させる。例えば、図８に示すグループ配置と、図９に示すグループ配置のいずれにおいても、グループＡの右隣がグループＢであり、グループＡの右斜め前かつグループＢの左斜め前がグループＦである。これにより、グループ間のコミュニケーション（後述）の整合性を維持しやすくなる。
　配置部７２により各グループの位置が決定されると、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００に対して、各グループ用の配置データを含むライブ会場への切替指示を送信する。ＨＭＤ１００ａのルーム切替部３４は、サーバ１２からの指示に基づいて、グループＡ用の配置データを含むライブ会場への切替指示を映像生成部４０に入力する。映像生成部４０（第２生成部４４）は、グループＡ用の配置データ（例えば図８）が示す位置に各グループのアバターを配置したライブ会場映像のデータを生成する。映像出力制御部５０は、ライブ会場映像を表示部１２４に表示させる（Ｓ１４）。
　図１０は、ライブ会場映像の例を示す。ライブ会場映像２２０には、ユーザａのアバター２０２が描画される。また、ライブ会場には、ライブ映像が設定されるスクリーン２２２が配置される。アバター２２４は、ユーザａとは異なるグループ（例えば図８に示すグループＦ）に属するユーザのアバターである。
　ライブ会場では、ユーザａは、他のグループのユーザとのノンバーバルコミュニケーションが可能である。ノンバーバルコミュニケーションは、他のグループのユーザのアバターに対して手を振ることや、オブジェクト（パーティクルとも言える）を飛ばすことを含む。例えば、図１０では、ユーザａのアバター２０２から、他のグループのユーザのアバター２２４に対してハード型のオブジェクト２２６を飛ばしている。このような、ユーザａのアバター２０２の動作は、サーバ１２を介して他のユーザのＨＭＤ１００にも伝達され、他のユーザのＨＭＤ１００におけるライブ会場映像２２０にも反映される。
　既述したように、各グループに割り当てる配置データ間でグループ同士の相対位置を整合させることで、グループ間のノンバーバルコミュニケーションの整合を図ることができる。例えば、グループＡのユーザから右方向（すなわちグループＢの方向）へオブジェクト２２６が飛ばされた場合、グループＢのユーザには、左方向（すなわちグループＡの方向）からオブジェクト２２６が飛んできたことを知覚させることができる。
　図１０には不図示だが、ライブ会場映像２２０には、ユーザａと同じグループＡに属する他のユーザ（ユーザＢ、ユーザＣ、ユーザＤ）のアバターも描画される。ユーザａは、同じグループの他のユーザとの間では、ノンバーバルコミュニケーションとバーバルコミュニケーションの両方が可能である。バーバルコミュニケーションは、具体的にはボイスチャットである。サーバ１２の音声データ提供部８２は、ユーザａ、ｂ、ｃ、ｄの音声をグループＡの他のユーザのＨＭＤ１００に送信するが、グループＡ以外のユーザのＨＭＤ１００には送信しない。また、音声データ提供部８２は、ユーザｅ、ｆの音声をグループＢの他のユーザのＨＭＤ１００へ送信するが、グループＢ以外のユーザのＨＭＤ１００には送信しない。このように、異なるグループに跨がる音声伝達を遮断することで、他のグループの音声をユーザに邪魔に感じさせてしまうことを防止できる。
　図１１も、ライブ会場映像の例を示す。ユーザａは、ライブ映像を視聴しつつ、手拍子によりアーティストを応援する。ライブ会場映像２２０のユーザａのアバター２０２は、ユーザａの動作に同期して手拍子を行う。ライブ会場映像２２０には、アバター２０２の手拍子にあわせてエフェクト２１０（パーティクル等）が表示される。なお、サーバ１２の行動データ提供部７８は、他のユーザのアバターの動作をＨＭＤ１００ａに通知し、ＨＭＤ１００ａの第２生成部４４は、他のユーザのアバター２２４の動作もライブ会場映像２２０に表示させる。
　図１２も、ライブ会場映像の例を示す。ＨＭＤ１００ａの第２生成部４４は、ユーザａの操作に応じて、ライブ会場映像２２０として、上演前ロビーで購入された物品（ここではアイテム２２８）がユーザａのアバター２０２により使用されることを示す映像を生成する。
　既述したように、上演前ロビーで購入された物品は、ライブ映像に登場する人物またはキャラクタ（ここでは「演者」と呼ぶ。）と対応付けられている。ＨＭＤ１００ａの第２生成部４４は、上演前ロビーで購入された物品がユーザのアバターにより使用された場合、その物品と対応付けられた演者からの当該ユーザに対するアクション（リアクション、フィードバックとも言える）を含むライブ会場映像２２０を生成する。
　具体的には、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００から通知された各ユーザのアバターの動作を示すデータに基づいて、ライブ会場にて各ユーザのアバターが使用している物品（アイテム）を識別する。言い換えれば、演出実行部７０は、アイテムごとに、使用しているユーザを識別する。演出実行部７０は、アイテムごとに、複数の使用中ユーザの中から、当該アイテムに対応付けられた演者によるリアクション演出（感謝演出とも言える）の対象となる１人のユーザを抽選で決定する。演出実行部７０は、アイテムごとに決定したリアクション演出の対象ユーザを指定したリアクション演出指示を各ユーザのＨＭＤ１００へ送信する。
　ＨＭＤ１００の第２生成部４４は、リアクション演出指示が示すユーザのアバターに対して演者からのリアクションを示すライブ会場映像２２０を生成する。図１２のライブ会場映像２２０では、リアクション演出として、アイテム２２８を使用するユーザａのアバター２０２に対して、アイテム２２８に対応付けられた演者を示すリアクションオブジェクト２３０が届けられたことを示している。なお、アイテム２２８に対するリアクション演出の対象ユーザが他のユーザに決定された場合、ユーザａのライブ会場映像２２０には、他のユーザのアバターに対してリアクションオブジェクト２３０が届けられたことが表示される。
　このようなリアクション演出により、上演後ロビーでのアイテムの購入を促進でき、また、ユーザ間の競争を促進してライブ視聴の興趣を一層高めることができる。リアクション演出は、定期的に繰り返し実行される。複数回のリアクション演出の対象は、同じユーザになることもあれば、異なるユーザに変化することもある。
　ライブ映像の上演が終了するまで（Ｓ１５のＮ）、各ユーザのＨＭＤ１００には、ライブ会場映像２２０の表示が継続される。ライブ映像の上演が終了すると（Ｓ１５のＹ）、サーバ１２の演出実行部７０は、各ユーザのＨＭＤ１００に対して、上演後ロビーへの切替指示を送信する。ＨＭＤ１００ａのルーム切替部３４は、サーバ１２からの指示に基づいて、上演後ロビーへの切替指示を映像生成部４０に入力する。映像生成部４０（第３生成部４６）は、上演後ロビー映像のデータを生成する。映像出力制御部５０は、上演後ロビー映像を表示部１２４に表示させる（Ｓ１６）。
　図１３は、上演後ロビー映像の例を示す。上演後ロビー映像２４０には、ユーザａのアバター２０２が描画される。また、上演前ロビーと同様に、上演後ロビーにも鏡２０４が配置される。鏡２０４には、上演後ロビーに入場しているユーザａのアバター像２０６と、ユーザｂのアバター像２０８が描画される。ユーザａが入場する上演後ロビーには、ユーザａと同じグループＡに属するユーザｂ、ユーザｃ、ユーザｄのみ入場可能である。ユーザｅとユーザｆは、グループＢ専用の上演後ロビーに入場可能である。
　上演後ロビーでは、ユーザａは、ライブ映像の感想等をグループＡの仲間とボイスチャットで語りつつ、映像コンテンツ（ここではライブ）の複数のシーンを写した複数の写真２４２をアバター２０２の手に取らせて確認することができる。写真２４２のデータは、サーバ１２の演出実行部７０により生成され、サーバ１２から各ユーザのＨＭＤ１００に提供されてもよい。ＨＭＤ１００の第３生成部４６は、サーバ１２から提供された写真２４２を上演後ロビー映像２４０に表示させてもよい。
　図１４は、上演後ロビーで提供される写真の例を示す。上演後ロビーで提供される写真２４２は、ライブ会場でのユーザａのアバター２０２が写る写真を含んでもよく、ライブ会場での演者とアバター２０２の両方が写る写真を含んでもよい。ＨＭＤ１００ａの写真保存部５８は、ライブ会場に予め設けられた仮想カメラ、または、ユーザａがライブ会場に設置した仮想カメラにより撮影された写真のデータを記憶部２２（例えば写真記憶部）に保存してもよい。ユーザａは、仮想カメラに対する所定の操作を入力して、自身のアバター、他ユーザのアバターおよびスクリーンを含む範囲を仮想カメラに撮影させてもよい。ＨＭＤ１００ａの第３生成部４６は、記憶部２２（例えば写真記憶部）に記憶されたユーザａの操作により撮影された写真を上演後ロビー映像２４０に表示させてもよい。
　上演後ロビーでは、複数の写真２４２（ユーザａのアバターが写る写真を含む）の中から任意の写真をユーザａが購入可能である。ＨＭＤ１００ａの第３生成部４６は、ユーザａの操作に応じて、上演後ロビー映像として、ユーザａによる写真２４２の購入を示す映像を生成する。ＨＭＤ１００ａの購入処理部３８は、写真２４２の購入を指示するユーザの操作に応じて、写真２４２の代金を決済し、購入された写真２４２に関するデータ（識別情報や画像データ等）を、ユーザａの識別情報と対応付けてユーザデータ記憶部２８に格納する。
　なお、ライブ会場における或るユーザの行動に基づいて、上演後ロビーにおいて当該ユーザが実行可能な行動が変化してもよい。例えば、サーバ１２の演出実行部７０は、ライブ会場でのユーザａのアバターによる応援回数（例えば手拍子の回数とアイテム使用回数の合計）が所定の閾値以上であることを条件として、ライブまたはライブ会場の様子を撮影した写真を上演後ロビーの表示時にＨＭＤ１００ａへ提供してもよい。これにより、ライブ会場における応援回数が多いユーザに対して、上演後ロビーで写真を閲覧できるという特典を提供できる。また、サーバ１２の演出実行部７０は、ライブ会場でのユーザａのアバターによる応援回数が多いほど、多くの写真を上演後ロビーの表示時にＨＭＤ１００ａへ提供してもよい。これにより、ライブ会場でのユーザの応援行動を促進できる。
　ユーザａが所定の終了操作を入力するまで（Ｓ１７のＮ）、上演後ロビー映像２４０の表示が継続される。ユーザａが上記終了操作を入力すると（Ｓ１７のＹ）、本図の処理を終了する。ＨＭＤ１００ａでライブ視聴Ａｐｐが起動されなければ（Ｓ１０のＮ）、Ｓ１１以降の処理をスキップして本図の処理を終了する。
　実施例のコンテンツ視聴システム１０によると、映像コンテンツの上演前、上演中、上演後の期間に亘るユーザの導線として、上演前ロビー映像２００、ライブ会場映像２２０、上演後ロビー映像２４０を順次ユーザに提供する。これにより、現実空間でのイベント視聴に近い体験をユーザに提供でき、映像コンテンツの上演前、上演中、上演後の期間に亘るエンタテインメント性を向上させることができる。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　第１変形例を説明する。上映前ロビー、ライブ会場、上演後ロビーのうち少なくとも１つの仮想空間には、映像コンテンツを視聴する複数の一般ユーザをガイドする役割が付与された特殊ユーザ（ここでは「ガイド」と呼ぶ。）が設けられてもよく、当該ガイドのアバターが配置されてもよい。また、上演前ロビーおよび上演後ロビーがグループごとに設けられる場合、ガイドのアバターは、全てのグループの上演前ロビーおよび上演後ロビーに配置されてもよい。
　ガイドは、ライブの応援方法や、アイテムの使用方法をボイスチャットや身振りにより各ユーザにレクチャーしてもよい。サーバ１２の音声データ提供部８２は、ガイドが発した音声のデータであって、すなわちガイドのＨＭＤ１００から送信された音声データを、複数のグループのユーザのＨＭＤ１００へ送信してもよく、全てのグループのユーザのＨＭＤ１００へ送信してもよい。また、サーバ１２の音声データ提供部８２は、全てのユーザからの音声データを、各ユーザが属するグループにかかわらず、ガイドのＨＭＤ１００へ送信してもよい。
　この変形例では、ガイドによる操作を契機として、ガイドのＨＭＤ１００から全てのユーザのＨＭＤ１００へ映像切替指示（上演前ロビーからライブ会場への切替、および／または、ライブ会場から上演後ロビーへの切替）が送信されてもよい。
　第２変形例を説明する。映像生成部４０は、個々のユーザに割り当てられた仮想空間であって、ユーザのアバターが使用可能な物品が集まる第４の仮想空間であるマイルームの映像を生成する第４生成部をさらに備えてもよい。マイルームは、ユーザ１人１人に紐付けられた仮想空間とも言え、個々のユーザが購入した物品が集まる仮想空間とも言える。映像生成部４０の第４生成部は、ライブ視聴Ａｐｐの起動時に最初に表示させる仮想空間の映像として、ユーザデータ記憶部２８に記憶された１つ以上の購入済みの物品を配置したマイルームの映像を生成してもよい。映像出力制御部５０は、マイルームの映像を表示部１２４に表示させてもよい。
　マイルームでは、ユーザは、購入済みの物品を自由に閲覧できる。また、マイルームには、これから視聴可能な複数の映像コンテンツに関する情報が表示される。マイルームにおいて、これから視聴する映像コンテンツを選択する操作がユーザにより入力された場合、ＨＭＤ１００のルーム切替部３４は、選択された映像コンテンツに対応する上演前ロビーの表示を映像生成部４０に指示する。また、ＨＭＤ１００のサーバ連携部５４は、ユーザにより選択された映像コンテンツを示すデータ（配信要求データ）をサーバ１２へ送信してもよい。以降、図６のフローチャートのＳ１１以降の処理が実行されてもよい。
　第３変形例を説明する。上記実施例では、コンサート等のライブ映像をサーバ１２からＨＭＤ１００へ配信したが、サーバ１２は、他の種類の映像コンテンツをＨＭＤ１００へ配信してもよい。配信される映像コンテンツは、例えば、野球やサッカー等のスポーツの中継映像であってもよく、映画やドラマの映像であってもよい。映画やドラマの映像を配信する場合、ユーザの操作に応じてボイスチャットのオン／オフが切替可能であることが好ましい。例えば、サーバ１２の音声データ提供部８２は、ユーザの設定に応じて、グループ内でのボイスチャットのオン／オフを切り替えてもよく、すなわち、同じグループのユーザ間であっても音声データの転送を抑制してもよい。
　第４変形例を説明する。実施例のＨＭＤ１００が備えた複数の機能のうち一部の機能を、サーバ１２が備える構成であってもよい。また、実施例のサーバ１２が備えた複数の機能のうち一部の機能を、ＨＭＤ１００が備える構成であってもよい。また、実施例のＨＭＤ１００が備えた複数の機能のうち一部の機能、および／または、実施例のサーバ１２が備えた複数の機能のうち一部の機能を、ＨＭＤ１００と接続されたユーザ側の情報処理装置（例えばゲームコンソール等）が備える構成であってもよい。
　上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
　実施例および変形例の記載に基づく技術思想は、以下の各項目に示す態様にて表現することができる。以下の各項目の情報処理システムは、情報処理装置またはヘッドマウントディスプレイと表現することもできる。
［項目１］
　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、
　前記コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、
　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、
　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる出力部と、
　を備える情報処理システム。
　この情報処理システムによると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供する。これにより、現実空間でのイベント視聴に近い導線をユーザに提供でき、また、斬新なユーザ体験を提供することができる。
［項目２］
　前記第１ルームにおいてユーザのアバターが実行可能な行動と、前記第３ルームにおいてユーザのアバターが実行可能な行動は異なる、
　項目１に記載の情報処理システム。
　この情報処理システムによると、第１ルームではコンテンツ上演前に適した行動をユーザのアバターに実行させ、第３ルームではコンテンツ上演後に適した行動をユーザのアバターに実行させることができ、現実空間でのイベント視聴に近い体験をユーザに提供することができる。
［項目３］
　前記第１生成部は、ユーザの操作に応じて、前記第１ルームの映像として、ユーザによる物品の購入を示す映像を生成し、
　前記第２生成部は、ユーザの操作に応じて、前記第２ルームの映像として、前記第１ルームで購入された物品がユーザのアバターにより使用される映像を生成する、
　項目１または２に記載の情報処理システム。
　この情報処理システムによると、コンテンツ視聴中の物品の使用を可能にすることで、物品の販売を促進でき、また、コンテンツ視聴の興趣を高めることができる、
［項目４］
　前記第１ルームで購入された物品は、前記コンテンツに登場する人物またはキャラクタと対応付けられており、
　前記第２生成部は、前記第１ルームで購入された物品がユーザのアバターにより使用された場合、当該物品に対応付けられた人物またはキャラクタから当該ユーザに対するアクションを含む映像を生成する、
　項目３に記載の情報処理システム。
　この情報処理システムによると、コンテンツに登場する人物またはキャラクタからのアクションを受けられるという特典を設けることにより、物品の販売を一層促進でき、また、コンテンツ視聴の興趣を一層高めることができる、
［項目５］
　前記第２ルームにおける或るユーザの行動に基づいて、前記第３ルームにおいて当該ユーザが実行可能な行動が変化する、
　項目１から４のいずれかに記載の情報処理システム。
　この情報処理システムによると、コンテンツ視聴中のユーザの行動に対するフィードバックをコンテンツ視聴後に得られることにより、コンテンツ視聴中およびコンテンツ視聴後の興趣を高めることができる。
［項目６］
　前記第３ルームでは、前記第２ルームで撮像されたユーザのアバターが写る画像を購入可能である、
　項目１から５のいずれかに記載の情報処理システム。
　この情報処理システムによると、コンテンツ視聴後の興趣を高めることができる。
［項目７］
　前記第２ルームにおける各ユーザの位置を、ユーザのグループに基づいて決定する配置部をさらに備える、
　項目１から６のいずれかに記載の情報処理システム。
　この情報処理システムによると、同じグループのユーザを近傍に配置することにより、コンテンツ視聴中の興趣を高めることができる。
［項目８］
　前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第１配置データと前記第２配置データ間で前記第１グループと前記第２グループの位置関係が維持される、
　項目７に記載の情報処理システム。
　この情報処理システムによると、各グループをコンテンツ視聴に好適な固定位置に配置しつつ、各グループに割り当てる配置データ間でグループ同士の相対位置をあわせることにより、グループ間のコミュニケーションの整合性を維持しやすくなる。
［項目９］
　前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第２ルーム内の前記固定位置と前記コンテンツが上演される位置との間に少なくとも１つの他のグループを配置する、
　項目７に記載の情報処理システム。
　この情報処理システムによると、各グループをコンテンツ視聴に好適な固定位置に配置しつつ、その子定位置とコンテンツの上演位置との間に少なくとも１つの他のグループを配置することにより、ユーザは、コンテンツを視聴しつつ、コンテンツに対する他のグループの挙動を確認することができる。
［項目１０］
　或るグループに属するユーザが発した音声のデータを、同じグループに属する他のユーザの装置に提供する一方、他のグループに属するユーザの装置には提供しない音声提供部をさらに備える、
　項目１から９のいずれかに記載の情報処理システム。
　この情報処理システムによると、ユーザにとって不要な音声の提供を抑制できる。
［項目１１］
　前記第１ルーム、前記第２ルーム、前記第３ルームのうち少なくとも１つのルームには、前記複数のユーザをガイドするための特殊ユーザが設けられ、
　前記音声提供部は、前記特殊ユーザが発した音声のデータを複数のグループのユーザの装置に提供する、
　項目１０に記載の情報処理システム。
　この情報処理システムによると、ユーザにとって不要な音声の提供を抑制しつつ、例外的に、複数のグループに亘って有用な音声は複数のグループに提供することができる。
［項目１２］
　個々のユーザに割り当てられた仮想空間であって、ユーザのアバターが使用可能な物品が集まる仮想空間である第４ルームの映像を生成する第４生成部をさらに備え、
　前記第１生成部は、前記第４ルームにおいてユーザがこれから視聴するコンテンツを選択した場合、選択されたコンテンツに対応する前記第１ルームの映像を生成する、
　項目１から１１のいずれかに記載の情報処理システム。
　この情報処理システムによると、視聴するコンテンツの選択や、収集した物品の確認等を行う自分の部屋としての第４ルームをユーザに提供でき、現実世界に近い体験をユーザに提供することができる。
［項目１３］
　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、
　前記コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、
　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、
　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させるステップと、
　をコンピュータが実行する情報処理方法。
　この情報処理方法によると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供することにより、現実空間でのイベント視聴に近いユーザの導線を実現でき、斬新なユーザ体験を提供することができる。
［項目１４］
　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する機能と、
　前記コンテンツが上演される仮想空間である第２ルームの映像を生成する機能と、
　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する機能と、
　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる機能と、
　をコンピュータに実現させるためのコンピュータプログラム。
　このコンピュータプログラムによると、コンテンツ上演前の第１ルーム、コンテンツ上演中の第２ルーム、コンテンツ上演後の第３ルームを順次ユーザに提供することにより、現実空間でのイベント視聴に近いユーザの導線を実現でき、斬新なユーザ体験を提供することができる。
　本開示の技術は、情報処理システムや情報処理装置に適用することができる。
　１０　コンテンツ視聴システム、　１２　サーバ、　４０　映像生成部、　４２　第１生成部、　４４　第２生成部、　４６　第３生成部、　５０　映像出力制御部、　７２　配置部、　８２　音声データ提供部、　１００　ＨＭＤ、　１２４　表示部。

Claims (14)

  1. 　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する第１生成部と、
    　前記コンテンツが上演される仮想空間である第２ルームの映像を生成する第２生成部と、
    　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する第３映像生成部と、
    　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる出力部と、
    　を備える情報処理システム。
  2. 　前記第１ルームにおいてユーザのアバターが実行可能な行動と、前記第３ルームにおいてユーザのアバターが実行可能な行動は異なる、
    　請求項１に記載の情報処理システム。
  3. 　前記第１生成部は、ユーザの操作に応じて、前記第１ルームの映像として、ユーザによる物品の購入を示す映像を生成し、
    　前記第２生成部は、ユーザの操作に応じて、前記第２ルームの映像として、前記第１ルームで購入された物品がユーザのアバターにより使用される映像を生成する、
    　請求項１または２に記載の情報処理システム。
  4. 　前記第１ルームで購入された物品は、前記コンテンツに登場する人物またはキャラクタと対応付けられており、
    　前記第２生成部は、前記第１ルームで購入された物品がユーザのアバターにより使用された場合、当該物品に対応付けられた人物またはキャラクタから当該ユーザに対するアクションを含む映像を生成する、
    　請求項３に記載の情報処理システム。
  5. 　前記第２ルームにおける或るユーザの行動に基づいて、前記第３ルームにおいて当該ユーザが実行可能な行動が変化する、
    　請求項１から４のいずれかに記載の情報処理システム。
  6. 　前記第３ルームでは、前記第２ルームで撮像されたユーザのアバターが写る画像を購入可能である、
    　請求項１から５のいずれかに記載の情報処理システム。
  7. 　前記第２ルームにおける各ユーザの位置を、ユーザのグループに基づいて決定する配置部をさらに備える、
    　請求項１から６のいずれかに記載の情報処理システム。
  8. 　前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第１配置データと前記第２配置データ間で前記第１グループと前記第２グループの位置関係が維持される、
    　請求項７に記載の情報処理システム。
  9. 　前記配置部は、前記第２ルーム内の予め定められた固定位置に第１グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第１配置データを前記第１グループのユーザに割り当て、前記第２ルーム内の前記固定位置に第２グループを配置し、前記第２ルーム内の他の位置に他のグループを配置した第２配置データを前記第２グループのユーザに割り当て、前記第２ルーム内の前記固定位置と前記コンテンツが上演される位置との間に少なくとも１つの他のグループを配置する、
    　請求項７に記載の情報処理システム。
  10. 　或るグループに属するユーザが発した音声のデータを、同じグループに属する他のユーザの装置に提供する一方、他のグループに属するユーザの装置には提供しない音声提供部をさらに備える、
    　請求項１から９のいずれかに記載の情報処理システム。
  11. 　前記第１ルーム、前記第２ルーム、前記第３ルームのうち少なくとも１つのルームには、前記複数のユーザをガイドするための特殊ユーザが設けられ、
    　前記音声提供部は、前記特殊ユーザが発した音声のデータを複数のグループのユーザの装置に提供する、
    　請求項１０に記載の情報処理システム。
  12. 　個々のユーザに紐付く仮想空間であって、ユーザのアバターが使用可能な物品が集まる仮想空間である第４ルームの映像を生成する第４生成部をさらに備え、
    　前記第１生成部は、前記第４ルームにおいて特定のコンテンツの視聴がユーザにより選択された場合、当該コンテンツに対応する前記第１ルームの映像を生成する、
    　請求項１から１１のいずれかに記載の情報処理システム。
  13. 　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成するステップと、
    　前記コンテンツが上演される仮想空間である第２ルームの映像を生成するステップと、
    　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成するステップと、
    　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させるステップと、
    　をコンピュータが実行する情報処理方法。
  14. 　所定のコンテンツの上演前に、前記コンテンツを視聴する複数のユーザが集まる仮想空間である第１ルームの映像を生成する機能と、
    　前記コンテンツが上演される仮想空間である第２ルームの映像を生成する機能と、
    　前記コンテンツの上演後に、前記複数のユーザが集まる仮想空間である第３ルームの映像を生成する機能と、
    　前記第１ルームの映像、前記第２ルームの映像および前記第３ルームの映像を順次表示部に表示させる機能と、
    　をコンピュータに実現させるためのコンピュータプログラム。
PCT/JP2021/045525 2021-12-10 2021-12-10 情報処理システムおよび情報処理方法 WO2023105750A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/045525 WO2023105750A1 (ja) 2021-12-10 2021-12-10 情報処理システムおよび情報処理方法
JP2023566025A JPWO2023105750A1 (ja) 2021-12-10 2021-12-10

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045525 WO2023105750A1 (ja) 2021-12-10 2021-12-10 情報処理システムおよび情報処理方法

Publications (1)

Publication Number Publication Date
WO2023105750A1 true WO2023105750A1 (ja) 2023-06-15

Family

ID=86729912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045525 WO2023105750A1 (ja) 2021-12-10 2021-12-10 情報処理システムおよび情報処理方法

Country Status (2)

Country Link
JP (1) JPWO2023105750A1 (ja)
WO (1) WO2023105750A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090013263A1 (en) * 2007-06-21 2009-01-08 Matthew Jonathan Fortnow Method and apparatus for selecting events to be displayed at virtual venues and social networking
JP2019102091A (ja) * 2017-11-30 2019-06-24 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
JP2019139673A (ja) * 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム
JP2021047722A (ja) * 2019-09-19 2021-03-25 大日本印刷株式会社 購入商品管理システム、ユーザ端末、サーバ、購入商品管理方法、及びプログラム
JP2021153901A (ja) * 2020-03-27 2021-10-07 株式会社コロプラ ゲームプログラム、ゲーム方法、および端末装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090013263A1 (en) * 2007-06-21 2009-01-08 Matthew Jonathan Fortnow Method and apparatus for selecting events to be displayed at virtual venues and social networking
JP2019102091A (ja) * 2017-11-30 2019-06-24 株式会社デジタルガレージ 画像処理システム、及び画像処理方法
JP2019139673A (ja) * 2018-02-15 2019-08-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム
JP2021047722A (ja) * 2019-09-19 2021-03-25 大日本印刷株式会社 購入商品管理システム、ユーザ端末、サーバ、購入商品管理方法、及びプログラム
JP2021153901A (ja) * 2020-03-27 2021-10-07 株式会社コロプラ ゲームプログラム、ゲーム方法、および端末装置

Also Published As

Publication number Publication date
JPWO2023105750A1 (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
JP7258864B2 (ja) エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピング
US11571620B2 (en) Using HMD camera touch button to render images of a user captured during game play
JP6725038B2 (ja) 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
JP6759451B2 (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
JP7042644B2 (ja) 情報処理装置、画像生成方法およびコンピュータプログラム
JPWO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
JP2019192173A (ja) プログラム、情報処理装置、および方法
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
JP7319172B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
US20240196025A1 (en) Computer program, server device, terminal device, and method
JP2019087226A (ja) 情報処理装置、情報処理システムおよび表情画像出力方法
US20200288202A1 (en) Video display system, information processing apparatus, and video display method
JP6951394B2 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP2019192174A (ja) プログラム、情報処理装置、および方法
JP7029379B2 (ja) プログラム、情報処理装置、および方法
WO2023105750A1 (ja) 情報処理システムおよび情報処理方法
JP2019192175A (ja) プログラム、情報処理装置、および方法
JP6498832B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP6592214B1 (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP2021177409A (ja) 視聴ユーザからのメッセージを含む動画を配信する動画配信システム
JP2022007458A (ja) エンターテインメントシステム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967244

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023566025

Country of ref document: JP

Kind code of ref document: A