WO2024101002A1 - 情報処理装置、プログラム、および情報処理方法 - Google Patents

情報処理装置、プログラム、および情報処理方法 Download PDF

Info

Publication number
WO2024101002A1
WO2024101002A1 PCT/JP2023/034062 JP2023034062W WO2024101002A1 WO 2024101002 A1 WO2024101002 A1 WO 2024101002A1 JP 2023034062 W JP2023034062 W JP 2023034062W WO 2024101002 A1 WO2024101002 A1 WO 2024101002A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information processing
control unit
display device
image
Prior art date
Application number
PCT/JP2023/034062
Other languages
English (en)
French (fr)
Inventor
健司 徳武
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024101002A1 publication Critical patent/WO2024101002A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • This disclosure relates to an information processing device, a program, and an information processing method.
  • VR Virtual Reality
  • HMDs Head Mounted Displays
  • Various technologies are being considered to improve the quality of the user experience with such VR technology.
  • Patent Document 1 discloses a technology for dealing with VR sickness in users by correcting frame data of an image displayed on an HMD based on the difference between predicted HMD posture information transmitted in synchronization with the image and the latest posture information detected by the HMD's posture sensor.
  • This disclosure therefore provides technology that can effectively reduce the communication load when transmitting image data.
  • an information processing device including a control unit that controls the transmission of image data depicting a virtual space to a display device, acquires as the image data first image data that is image data of an area including the user's entire field of view in the virtual space, and second image data that is image data of a gaze area within the user's field of view, has a higher resolution than the first image data, and is synthesized with the first image data on the display device, acquires information on the communication bandwidth for communication with the display device, and adjusts the amount of image data to be transmitted to the display device in accordance with the communication bandwidth.
  • a program for causing a computer to function as a control unit that controls the transmission of image data depicting a virtual space to a display device, acquires as the image data first image data which is image data of an area including the user's entire field of view in the virtual space, and second image data which is image data of a gaze area within the user's field of view and has a higher resolution than the first image data and is synthesized with the first image data on the display device, acquires information on the communication bandwidth in communication with the display device, and adjusts the amount of image data to be transmitted to the display device in accordance with the communication bandwidth.
  • the present disclosure also provides an information processing method executed by a computer, including controlling the transmission of image data depicting a virtual space to a display device, acquiring as the image data first image data which is image data of an area including the entire user's field of view in the virtual space, and second image data which is image data of a gaze area within the user's field of view and has a higher resolution than the first image data, and which is synthesized with the first image data on the display device, acquiring information on the communication bandwidth for communication with the display device, and adjusting the amount of the image data to be transmitted to the display device in accordance with the communication bandwidth.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to an embodiment of the present disclosure. This is an explanatory diagram to explain the transmission of synthetic image data generated using Foveated Rendering technology. This is an explanatory diagram to explain the transmission of pre-composite image data generated using Foveated Rendering technology.
  • FIG. 2 is a block diagram for explaining an example of the configuration of a user terminal 10 according to the present embodiment.
  • FIG. 2 is a block diagram for explaining an example of the configuration of an information processing device 20 according to the present embodiment.
  • 11 is an explanatory diagram for explaining adjustment of the data amount of image data to be transmitted to the user terminal 10 by the communication control unit 237.
  • FIG. 11 is a sequence diagram illustrating an example of an operation of an information processing system according to an embodiment of the present disclosure.
  • 10 is a flowchart for explaining an example of the operation of a process for determining the data amount of image data to be transmitted, performed by the information processing device 20;
  • 10 is a flowchart for explaining an example of an operation of a process performed by the user terminal 10 when transmitting sensing data.
  • multiple components having substantially the same configuration may be distinguished by adding different numbers after the same reference symbol. However, if there is no particular need to distinguish between multiple components having substantially the same configuration, only the same reference symbol will be used for each of the multiple components.
  • the present disclosure relates to an information processing system that transmits image data of a virtual space using VR technology to a user terminal such as an HMD and displays the image data. According to the information processing system of the present disclosure, it is possible to reduce the load when transmitting image data.
  • a rendering device that generates image data calculates the user's field of view in a virtual space based on sensing data such as head posture information acquired from a user terminal, and generates image data based on the calculated user's field of view.
  • sensing data such as head posture information acquired from a user terminal
  • image data based on the calculated user's field of view.
  • a discrepancy can occur between the orientation of the user's head assumed when the image data was generated and the orientation of the user's head at the time the image data was displayed on the user terminal. This discrepancy can cause the user to feel sick (VR sickness).
  • the information processing device 20 reduces the communication load when transmitting image data to the user terminal 10 by adjusting the amount of image data transmitted to the user terminal 10 according to the communication bandwidth in communication with the user terminal 10.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing system according to one embodiment of the present disclosure.
  • the information processing system includes an information processing device 20 and a user terminal 10.
  • the information processing device 20 and the user terminal 10 are configured to be able to communicate with each other via a wireless connection or a wired connection.
  • the user terminal 10 is a display device capable of displaying image data received from the information processing device 20.
  • the user terminal 10 is realized by an HMD worn on the user's head.
  • the information processing device 20 is an information processing device that has a rendering function for generating image data of a virtual space corresponding to the user's field of view, and a function for transmitting the generated image data to the user terminal 10.
  • the information processing device 20 is realized, for example, by a PC (Personal Computer), a smartphone, or a tablet terminal.
  • the information processing device 20 may be realized by a cloud server connected to the user terminal 10 via the Internet.
  • the information processing device 20 acquires sensing data relating to the user wearing the user terminal 10 from the user terminal 10, such as the head posture of the user wearing the user terminal 10 or position information of the user.
  • the information processing device 20 calculates the position of the user in the virtual space based on the acquired position information, and further estimates the gaze direction from the head posture, and calculates a range of a specified angle centered on the gaze direction as the field of view. Based on the calculated field of view, the information processing device 20 generates image data of an area including the user's entire field of view in the virtual space.
  • Foveated Rendering which renders an image of a part of the area (gaze area) that the user is gazing at at high resolution, and renders the other part (peripheral area) in the user's visual field at low resolution.
  • Foveated Rendering is a technology that utilizes the human visual characteristic that the image outside the fovea looks blurry compared to the area corresponding to the fovea, and reduces the processing load and/or data amount by displaying the area near the gaze point (gaze area) at high resolution and the rest (peripheral area) at low resolution.
  • increasing the reality in the virtual space is very effective in improving the quality of the user experience, but since improving the image quality of image data requires a high processing load, Foveated Rendering is often used.
  • FIG. 1 is an explanatory diagram for explaining the transmission of synthetic image data generated using Foveated Rendering technology.
  • the figures shown in the left eye column and right eye column in the matrix table of Figure 2 show the images displayed on the left eye display and right eye display of the HMD, respectively.
  • the diagram shown in the transmission row in the top part of the matrix table in Figure 2 shows the composite image data compressed and transmitted from the rendering device that generates the image to the display device that displays the image.
  • the diagram shown in the display row shows the composite image data when the display device performs image processing (upscaling to the display size) on the composite image data received from the rendering device and displays it on the screen.
  • the high-resolution image HG shown in FIG. 2 indicates a high-resolution image of the user's gaze area.
  • the low-resolution image LG indicates low-resolution visual field image data of an area that includes the user's entire visual field in the virtual space.
  • the rendering device transmits composite image data in a state in which the high resolution image HG1 and the low resolution image LG1, and the high resolution image HG2 and the low resolution image LG2 are respectively composited on the rendering device side.
  • the resolution of each of the high resolution image HG1 and the high resolution image HG2 is about 1000 pixels in the horizontal direction (hereinafter referred to as 1K).
  • the resolution of the image data of the low resolution image LG1 and the low resolution image LG2 is also 1K.
  • FIG. 3 is an explanatory diagram for explaining the transmission of pre-composite image data generated using Foveated Rendering technology.
  • a total of four pieces of image data are transmitted from the rendering device to the display device, including two pieces of image data, a low-resolution image LG5 and a high-resolution image HG5, as left-eye image data, and two pieces of image data, a low-resolution image LG6 and a high-resolution image HG6, as right-eye image data.
  • the display device synthesizes the low-resolution image LG5 and the high-resolution image HG5, and the low-resolution image LG6 and the high-resolution image HG6. At this time, the display device may upscale the low-resolution image LG to match the display size.
  • the information processing device 20 functions as a rendering device
  • the user terminal 10 functions as a display device.
  • the information processing device 20 transmits to the user terminal 10 a high-resolution image of the gaze area within the user's visual field and a low-resolution image of the area including the user's entire visual field without synthesizing them, thereby reducing the load associated with transmitting image data from the information processing device 20 to the user terminal 10.
  • the information processing device 20 can further reduce the load associated with transmitting image data between the information processing device 20 and the user terminal 10 by adjusting the amount of image data transmitted to the user terminal 10 depending on the communication bandwidth status in communication with the user terminal 10.
  • the information processing device 20 determines based on the acquired communication bandwidth information that a sufficient bandwidth is secured in communication with the user terminal 10 to transmit image data including a high-resolution image
  • the information processing device 20 transmits the image data including the high-resolution image to the user terminal 10.
  • the information processing device 20 may adjust the amount of data by changing the type of image data to be transmitted and reducing the data size of each image data by image processing.
  • the information processing device 20 may transmit only low-resolution images to the user terminal 10 without transmitting high-resolution images to the user terminal 10. This allows the information processing device 20 to reduce the load when transmitting image data to the user terminal 10 depending on the communication status with the user terminal 10.
  • FIG. 4 is a block diagram for explaining an example of the configuration of a user terminal 10 according to this embodiment.
  • the user terminal 10 has a communication unit 110, a sensor unit 120, a control unit 130, a display unit 140, a speaker 150, and a memory unit 160.
  • the communication unit 110 has a function of communicating with other devices under the control of the control unit 130. For example, the communication unit 110 receives image data of a virtual space from the information processing device 20. Furthermore, the communication unit 110 transmits various sensing data acquired by the sensor unit 120 to the information processing device 20. For example, the communication unit 110 transmits head posture information of the user to the information processing device 20. Furthermore, the communication unit 110 may transmit position information indicating the position of the user and a gaze detection result of the user to the information processing device 20.
  • the sensor unit 120 has a function of sensing various information related to the user.
  • the sensor unit 120 may be a camera 121, a microphone 123, an IMU (Inertial Measurement Unit) 125, a line-of-sight sensor 127, a distance sensor 128, and a SLAM camera 129.
  • Each sensor may be provided in multiple units.
  • Camera 121 may be an outward-facing camera that captures images of real space.
  • the outward-facing camera is used, for example, to detect surrounding obstacles.
  • Camera 121 may also be multiple stereo cameras.
  • the microphone 123 collects the user's speech and outputs the voice data to the control unit 130.
  • the IMU 125 is used to detect the posture and movement of the head of a user wearing the user terminal 10 on his/her head.
  • the IMU 125 includes an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
  • the IMU 125 outputs head posture information indicating the posture and movement of the user's head to the control unit 130.
  • the gaze sensor 127 is an inward-facing camera that captures an image of the user's eyes.
  • the gaze sensor 127 detects information related to the user's gaze (gaze direction, eye movement, etc.) and outputs this information to the control unit 130 as gaze detection information.
  • the gaze sensor 127 may be realized, for example, by multiple inward-facing cameras arranged to correspond to the right and left eyes of the user wearing the user terminal 10.
  • the distance sensor 128 is a distance measurement sensor that measures the distance to a real object present in the real space around the user terminal 10.
  • the distance sensor 128 may be a ToF (Time Of Flight) sensor that can measure the distance to a real object using the ToF method.
  • ToF Time Of Flight
  • the SLAM camera 129 is a camera that captures images of the real space around the user terminal 10 and is used in SLAM (Simultaneous Localization and Mapping), which simultaneously estimates the self-position of the user terminal 10 and creates a map of the surrounding environment.
  • the SLAM camera 129 may be a laser scanner or a distance measuring camera.
  • the SLAM camera 129 may also be realized by multiple cameras.
  • the SLAM camera 129 according to this embodiment may be realized by a stereo camera provided on the right side of the HMD and a stereo camera provided on the left side.
  • Control unit 130 The control unit 130 has a function of controlling the overall operation of the user terminal 10.
  • the control unit 130 has functions as a self-location measurement unit 131, a drawing processing unit 133, and a communication control unit 135.
  • the self-location measuring unit 131 has a function of measuring the absolute or relative position of the user terminal 10. For example, the self-location measuring unit 131 may estimate the self-location and create an environmental map based on an image acquired by the SLAM camera 129. Alternatively, the self-location measuring unit 131 may have a GNSS (Global Navigation Satellite System) function that receives radio waves from an artificial satellite, for example, and detects the current location of the user terminal 10. In addition, the self-location measuring unit 131 may use a method of detecting the position by sending and receiving signals to and from Wi-Fi (registered trademark), Bluetooth (registered trademark), a mobile phone, PHS, a smartphone, etc., or by short-range communication, etc., to measure the self-location.
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the self-location measuring unit 131 may estimate information indicating a change in the relative position based on the detection results of the acceleration and angular velocity of the user terminal 10 acquired by the IMU 125.
  • the self-location measurement unit 131 outputs the estimated self-location to the control unit 130 as location information of the user terminal 10.
  • the image acquired by the SLAM camera 129 may be transmitted from the user terminal 10 to the information processing device 20 as location information.
  • the information processing device 20 may perform processing for estimating the location of the user terminal 10 and creating an environmental map based on the image.
  • the drawing processing unit 133 has a function of performing image processing of various images to be displayed on the display unit 140. For example, the drawing processing unit 133 synthesizes the visual field image data received from the information processing device 20 with image data of the user's gaze area. The drawing processing unit 133 causes the display unit 140 to display the synthesized image.
  • the communication control unit 135 has a function of controlling the communication of the communication unit 110.
  • the communication control unit 135 causes the communication unit 110 to transmit sensing data such as the user's head posture information, position information, and gaze detection results acquired by the sensor unit 120 to the user terminal 10.
  • the communication control unit 135 also acquires information on the communication bandwidth in communication with the information processing device 20. Based on the acquired information, the communication control unit 135 may adjust the amount of sensing data to be transmitted to the information processing device 20 in accordance with the communication bandwidth. The adjustment of the data amount by the communication control unit 135 will be described in detail later.
  • the display unit 140 has left and right screens fixed to the user's left and right eyes, respectively, and has the function of displaying an image for the left eye and an image for the right eye.
  • the screen of the display unit 140 is configured, for example, with a display panel such as a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Electro Luminescence) display, or a laser scanning display such as a retinal direct imaging display.
  • the display unit 140 may also be equipped with an imaging optical system that enlarges and projects the display screen to form an enlarged virtual image with a specified angle of view on the user's pupil.
  • the speaker 150 has a function of outputting sound.
  • the speaker 150 may be configured as a headphone, an earphone, or a bone conduction speaker.
  • the storage unit 160 is realized by a ROM (Read Only Memory) that stores programs and calculation parameters used in the processing of the control unit 130, and a RAM (Random Access Memory) that temporarily stores parameters that change appropriately.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a configuration example of the user terminal 10 according to this embodiment has been described above with reference to FIG. 4.
  • a configuration example of the information processing device 20 according to an embodiment of the present disclosure will be described with reference to FIG. 5.
  • Information processing device 20> 5 is a block diagram for explaining an example of the configuration of the information processing device 20 according to the present embodiment. As shown in FIG. 5, the information processing device 20 has a communication unit 210, a storage unit 220, and a control unit 230.
  • the communication unit 210 has a function of communicating with other devices under the control of the control unit 230. For example, the communication unit 210 transmits image data of a virtual space to the user terminal 10. The communication unit 210 also acquires head posture information of the user from the user terminal 10. Furthermore, the communication unit 210 may acquire position information indicating the position of the user and a gaze detection result of the user from the user terminal 10.
  • the storage unit 220 is a storage device capable of storing programs and data for operating the control unit 230.
  • the storage unit 220 can also temporarily store various data required in the course of operation of the control unit 230.
  • the storage device may be a non-volatile storage device.
  • Control unit 230 controls the overall operation of the information processing device 20.
  • the control unit 230 has functions as a detection unit 231, a calculation unit 233, a drawing control unit 235, and a communication control unit 237.
  • the detection unit 231 has the function of detecting the communication bandwidth status in communication with the user terminal 10.
  • the calculation unit 233 has a function of calculating the user's field of view in the virtual space based on the head pose information and position information acquired from the user terminal 10. More specifically, the calculation unit 233 calculates the user's position in the virtual space from the position information, estimates the gaze direction from the head pose information, and calculates a field of view of a specified angle centered on the gaze direction. At this time, the calculation unit 233 may predict the user's position and head pose in the virtual space after a specified time has elapsed, and calculate the user's field of view after the specified time has elapsed based on the prediction result.
  • the calculation unit 233 may also calculate a gaze area within the user's field of view in the virtual space based on gaze detection information acquired from the user terminal 10. More specifically, the calculation unit 233 may calculate the user's gaze direction from the gaze detection information, and set the gaze area to a range of a predetermined angle centered on the gaze direction. The calculation unit 233 may also estimate the gaze area from the head pose. For example, the calculation unit 233 may estimate the user's gaze direction from the head pose, and set the gaze area to a range of a predetermined angle centered on the gaze direction.
  • the rendering control unit 235 generates image data (field of view image data) of an area including the user's entire field of view in the virtual space based on the user's field of view in the virtual space calculated by the calculation unit 233.
  • the rendering control unit 235 also generates an image of the gaze area in the user's field of view in the virtual space based on the user's gaze area in the virtual space calculated by the calculation unit 233.
  • the rendering control unit 235 generates image data of the gaze area with a higher resolution than the field of view image data.
  • the image data of the gaze area is combined with the field of view image data in the user terminal 10.
  • the communication control unit 237 has a function of controlling communication with the user terminal 10 based on information on the communication bandwidth detected by the detection unit 231. More specifically, the drawing control unit 235 adjusts the amount of image data transmitted from the communication unit 210 to the user terminal 10 according to the communication bandwidth in communication with the user terminal 10. For example, the communication control unit 237 may determine the amount of image data transmitted to the user terminal 10 by comparing the communication bandwidth detected by the detection unit 231 with a predetermined threshold. Here, the adjustment of the amount of image data transmitted to the user terminal 10 by the communication control unit 237 will be described with reference to FIG. 6.
  • Table T1 shown in FIG. 6 is a table showing information on data transmitted and received by the communication control unit 237 between the user terminal 10 and the communication bandwidth divided by a predetermined threshold value. Specifically, information on the data type and data amount of image data to be transmitted to the user terminal 10 and information on the data amount of sensing data to be acquired from the user terminal 10 are shown.
  • the communication control unit 237 may determine which category the detected communication bandwidth falls into by referring to Table T1, and may determine the data amount of image data to be transmitted to the user terminal 10.
  • Table T1 may be stored in advance in the storage unit 220 of the information processing device 20 as a parameter to be referred to when determining the data amount of image data to be transmitted.
  • Table T1 shown in FIG. 6 includes information on the data amount of sensing data acquired by the information processing device 20 from the user terminal 10, but is not limited thereto, and Table T1 may be a table including only information on the data type and data amount of image data to be transmitted to the user terminal 10.
  • Table T1 is an example of how the communication control unit 237 adjusts the data amount of the transmitted image data, and the values included in Table T1 can be changed as appropriate.
  • Table T1 contains information on the transmitted and received data and data volume for each of the five communication bandwidth categories, ranging from "1. Bandwidth 10 Mbps or more" to "5. Bandwidth less than 1 to 0.5 Mbps.”
  • Bandwidth 10 Mbps or more” column refers to image data (hereinafter, high-resolution image) of the gaze area within the user's visual field in virtual space, which is transmitted from the information processing device 20 to the user terminal 10.
  • “Eye Tracking (Right, Left)” in the third row of the same column refers to the gaze detection result data transmitted from the user terminal 10 to the information processing device 20.
  • Bandwidth 10 mbps or more and “2. Bandwidth 6 to 9 mbps” refers to the user's visual field image data in the virtual space (hereinafter, low-resolution image) transmitted from the information processing device 20 to the user terminal 10.
  • Ultra Low Resolution in the fourth and fifth rows of the column "3.
  • Bandwidth 10 mbps refers to an ultra-low resolution image, which is an image with even less data volume than a low resolution image, transmitted from the information processing device 20 to the user terminal 10.
  • An ultra-low resolution image is generated by the drawing control unit 235 of the information processing device 20 performing image processing to reduce the number of pixels of a low resolution image.
  • Bandwidth 4 to 1 mbps and “5. Bandwidth less than 1 to 0.5 mbps” refers to an ultra-low resolution image (hereinafter, monochrome image) that has been converted into a black and white image by image processing performed by the drawing control unit 235.
  • the "SLAM camera data (4 units)" in the sixth row of each column indicates the user's position information (image data acquired by the SLAM camera 129) transmitted from the user terminal 10 to the information processing device 20.
  • the "IMU data" in the seventh row indicates the user's head posture information transmitted from the user terminal 10 to the information processing device 20.
  • the communication control unit 237 determines that a total of four pieces of image data, including left and right high resolution images and left and right low resolution images, are to be transmitted to the user terminal 10. In addition, the communication control unit 237 acquires gaze detection data, position information, and head posture information from the user terminal 10.
  • the communication control unit 237 when the communication bandwidth for communication with the user terminal 10 is 6 to 9 Mbps, the communication control unit 237 does not transmit image data of the high-resolution image to the user terminal 10, but determines to transmit image data of the left and right low-resolution images. In this case, the communication control unit 237 does not acquire gaze detection data from the user terminal 10. This is because gaze detection data is data used to calculate the gaze area in the user's field of view used to generate a high-resolution image, and is not essential sensing data when a high-resolution image is not generated. On the other hand, the communication control unit 237 acquires position information and head pose information from the user terminal 10. This is because the position information and head pose information are used to calculate the user's field of view and are used to generate a low-resolution image.
  • the communication control unit 237 acquires position information and head pose information from the user terminal 10 regardless of the category of the communication bandwidth. As a result, even if it is determined that the communication bandwidth has narrowed, the information processing device 20 always acquires position information and head pose information used for head tracking.
  • the communication control unit 237 may also be modified to acquire only head posture information from the user terminal 10, regardless of the communication bandwidth category.
  • the information processing device 20 may calculate an estimated position of the user based on the head posture information, and calculate the user's field of view in the virtual space based on the calculated estimated position and head posture information.
  • the communication control unit 237 determines that the image data to be transmitted is an ultra-low resolution image.
  • the communication control unit 237 determines that monochrome images are the image data to be sent.
  • the communication control unit 237 determines that monochrome images are the image data to be transmitted. In addition, the communication control unit 237 reduces the transmission frequency of monochrome images to the information processing device 20 to 30 Hz.
  • the communication control unit 237 adjusts the data amount of image data to be sent so that the data amount of image data sent to the user terminal 10 decreases as the communication bandwidth with the user terminal 10 becomes narrower, thereby effectively reducing the communication load when sending image data.
  • the communication control unit 237 continues to obtain the position information and head posture information used to generate the field of view image from the user terminal 10 at a predetermined frequency. This makes it possible to reduce the communication load while also preventing the user from experiencing VR sickness.
  • FIG. 7 is an explanatory diagram for explaining dynamic changes in transmission image data and display images according to the communication bandwidth according to this embodiment.
  • the time series image A1 in the upper part of FIG. 7 is an image diagram showing the type and timing of image data transmitted from the information processing device 20 to the user terminal 10.
  • R-Low and R-High shown in the time series image A1 respectively represent the timing at which the high-resolution image and low-resolution image displayed on the right eye side of the display unit 140 of the user terminal 10 are transmitted to the user terminal 10.
  • L-Low and L-High shown in the time series image A1 respectively represent the high-resolution image and low-resolution image displayed on the left eye side of the display unit 140.
  • the four arrows from R-Low to L-High pointing to the right indicate that time progresses as one moves to the right.
  • the right-eye low-resolution image R-L, the right-eye high-resolution image R-H, the left-eye low-resolution image L-L, and the left-eye high-resolution image L-H indicate that the images are transmitted from the information processing device 20 to the user terminal 10 at the timings shown on the arrows.
  • the time series image A2 shown in the lower part of Figure 7 is an image diagram showing the timing at which the images received from the information processing device 20 are synthesized in the user terminal 10 and displayed on the display unit 140.
  • the right eye synthetic image R-S and the left eye synthetic image L-S respectively represent the image displayed on the right eye side of the display unit 140 and the image displayed on the left eye side of the display unit 140.
  • the IMU at the bottom is an image diagram showing the timing at which sensing data of the IMU 125, which is an example of sensing data transmitted from the user terminal 10 to the information processing device 20, is transmitted to the information processing device 20.
  • Transmission timing ST indicates the timing at which the sensing data of the IMU 125 (hereinafter, head posture information) is transmitted from the user terminal 10 to the information processing device 20.
  • the user terminal 10 transmits the head posture information acquired by the IMU 125 to the information processing device 20 at a predetermined transmission frequency. For example, as shown in FIG. 7, assume that the head posture information is transmitted from the user terminal 10 to the information processing device 20 at transmission timing ST1.
  • the calculation unit 233 of the information processing device 20 calculates the area included in the user's field of view in the virtual space based on the head posture information.
  • the calculation unit 233 also calculates the user's gaze area based on the gaze detection result acquired from the user terminal 10.
  • the drawing control unit 235 generates image data for the right-eye low-resolution image R-L, right-eye high-resolution image R-H, left-eye low-resolution image L-L, and left-eye high-resolution image L-H based on the calculated head posture information and gaze area, and transmits them to the user terminal 10.
  • the information processing device 20 may synchronize and transmit each frame data of the right-eye low-resolution image R-L, right-eye high-resolution image R-H, left-eye low-resolution image L-L, and left-eye high-resolution image L-H to the user terminal 10.
  • the user terminal 10 When the user terminal 10 receives image data of the right-eye low-resolution image R-L1, right-eye high-resolution image R-H, left-eye low-resolution image L-L, and left-eye high-resolution image L-H from the information processing device 20, it synthesizes the right-eye low-resolution image R-L1 and the right-eye high-resolution image R-H, and the left-eye low-resolution image L-L and the left-eye high-resolution image L-H.
  • the display unit 140 of the user terminal 10 displays the synthesized images, the right-eye composite image R-S1 and the left-eye composite image L-S1.
  • the information processing device 20 does not transmit a high-resolution image to the user terminal 10 if the communication bandwidth with the user terminal 10 is less than a predetermined threshold.
  • the information processing device 20 has not transmitted a high-resolution image to the user terminal 10 at the time when it is transmitting the right-eye low-resolution image R-L3 and the left-eye low-resolution image L-L3 to the user terminal 10.
  • the user terminal 10 displays the right-eye low-resolution image R-L3 and the left-eye low-resolution image L-L3 on the display unit 140 without synthesizing the right-eye low-resolution image R-L3 and the left-eye low-resolution image L-L3 received from the information processing device 20 with the high-resolution image.
  • the information processing device 20 dynamically adjusts the amount of image data to be sent to the user terminal 10 as described above in response to changes in the communication bandwidth while the image data is being sent to the user terminal 10.
  • Operation example> 8 is a sequence diagram illustrating an example of the operation of the information processing system according to an embodiment of the present disclosure.
  • the information processing device 20 starts a communication connection with the user terminal 10 (S101).
  • the information processing device 20 launches an application for rendering an image of the virtual space (S103).
  • the information processing device 20 sets the generation mode of the image data to be transmitted to the user terminal 10 to Foveated Rendering mode (S105).
  • the detection unit 231 of the information processing device 20 detects the communication bandwidth in communication with the user terminal 10 (S107). Note that the process of S107 may be executed before the process of S113 described later is executed.
  • the communication control unit 237 of the information processing device 20 determines the amount of image data to be transmitted to the user terminal 10 according to the communication bandwidth detected in S107 (S109). More specifically, the communication control unit 237 determines the type, resolution, number of colors, etc. of the image data to be transmitted to the user terminal 10, thereby determining the amount of image data to be transmitted.
  • the sensor unit 120 of the user terminal 10 acquires various sensing data (S111).
  • the communication control unit 135 may detect information on the communication bandwidth in communication with the information processing device 20.
  • the communication control unit 135 determines the sensing data to be transmitted to the information processing device 20 and the transmission frequency of the sensing data according to the detected communication bandwidth.
  • the communication control unit 135 causes the communication unit 110 to transmit the determined sensing data to the information processing device 20 (S113).
  • the rendering control unit 235 of the information processing device 20 generates image data (low-resolution image) of an area including the user's entire field of view in the virtual space and image data (high-resolution image) of an area of gaze within the user's field of view based on the sensing data acquired from the user terminal 10 (S115). At this time, the rendering control unit 235 may generate image data according to the image data and data amount to be transmitted determined in S109.
  • the communication control unit 237 of the information processing device 20 causes the communication unit 210 to transmit the generated image data to the user terminal 10 (S117).
  • the drawing processing unit 133 of the user terminal 10 performs a synthesis process of the high-resolution image and the low-resolution image received from the information processing device 20 (S119).
  • the drawing processing unit 133 performs a process of displaying the synthesized image on the display unit 140 (S121). Note that if the image data received from the information processing device 20 does not include a high-resolution image, the drawing processing unit 133 does not perform the synthesis process of S119, but instead performs a process of upscaling the low-resolution image and displays it on the display unit 140.
  • FIG. 9 is a flowchart for explaining an example of the operation of the information processing device 20 in determining the data amount of image data to be transmitted.
  • the communication control unit 237 of the information processing device 20 performs the operation process of the flowchart shown in FIG. 9 in S109 of the sequence diagram in FIG. 8.
  • the communication control unit 237 determines whether the communication bandwidth detected by the detection unit 231 is equal to or greater than a first threshold (e.g., 1 mbps) (S201). If the communication bandwidth is equal to or greater than the first threshold (S201/YES), the communication control unit 237 determines that the image data to be transmitted is both a high-resolution image and a low-resolution image (S203). Next, the communication control unit 237 sets the number of pixels and the frame rate of each of the high-resolution image and the low-resolution image (S205), and ends the process.
  • a first threshold e.g. 1 mbps
  • the communication control unit 237 determines whether the communication bandwidth is equal to or greater than a second threshold (e.g., 6 mbps) (S207). If the communication bandwidth is equal to or greater than the second threshold (S207/YES), the communication control unit 237 determines that the image data to be transmitted is a low-resolution image (S209). The communication control unit 237 sets the number of pixels and frame rate of the low-resolution image (S211) and ends the process.
  • a second threshold e.g. 6 mbps
  • the communication control unit 237 determines whether the communication bandwidth is equal to or greater than a third threshold (e.g., 5 mbps) (S213). If the communication bandwidth is equal to or greater than the third threshold (S213/YES), the communication control unit 237 determines that the image data to be transmitted is an ultra-low resolution image (S215). The communication control unit 237 sets the number of pixels and frame rate of the ultra-low resolution image (S217) and ends the process.
  • a third threshold e.g., 5 mbps
  • the communication control unit 237 determines whether the communication bandwidth is equal to or greater than a fourth threshold (e.g., 1 mbps) (S219). If the communication bandwidth is equal to or greater than the fourth threshold (S219/YES), the communication control unit 237 determines that the image data to be sent is a monochrome ultra-low resolution image (S221). The communication control unit 237 sets the number of pixels and frame rate of the monochrome ultra-low resolution image (S223) and ends the process.
  • a fourth threshold e.g. 1 mbps
  • the communication control unit 237 determines that the image data to be sent is a monochrome ultra-low resolution image (S225).
  • the communication control unit 237 sets the frame rate of the monochrome ultra-low resolution image to a value lower than the frame rate set in S223 (S227), and ends the process.
  • FIG. 10 is a flowchart for explaining an example of processing operations performed by the user terminal 10 when transmitting sensing data.
  • the communication control unit 135 of the user terminal 10 performs the processing operations of the flowchart shown in FIG. 10 in S113 of the sequence diagram of FIG. 8.
  • the communication control unit 135 of the user terminal 10 acquires information on the communication bandwidth for communication with the information processing device 20 (S301). If the acquired communication bandwidth is equal to or greater than a first threshold (e.g., 10 mbps) (S303/YES), the communication control unit 135 determines that the sensing data to be transmitted to the information processing device 20 will be the gaze detection result acquired by the gaze sensor 127, the SLAM camera image acquired by the SLAM camera 129, and the head pose information acquired by the IMU 125 (S305), and ends the process.
  • a first threshold e.g. 10 mbps
  • the communication control unit 237 determines whether the communication bandwidth is equal to or greater than a second threshold (e.g., 1 mbps) (S307). If the communication bandwidth is equal to or greater than the second threshold (S307/YES), the communication control unit 237 determines that the sensing data to be transmitted is the SLAM camera image and head pose information (S309), and ends the process.
  • a second threshold e.g. 1 mbps
  • the communication control unit 237 determines that the sensing data to be transmitted is the SLAM camera image and head pose information (S311). Furthermore, the communication control unit 237 sets the transmission frequency of the head pose information to be lower than the initial value (S313), and ends the process.
  • the communication control unit 237 of the information processing device 20 adjusts the amount of image data to be transmitted in five stages by comparing the communication bandwidth in communication with the user terminal 10 with four predetermined thresholds.
  • the present disclosure is not limited to such an example.
  • the predetermined threshold may be less than four or may be five or more.
  • the communication control unit 237 when the communication bandwidth is 6 to 9 Mbps, the communication control unit 237 does not transmit high-resolution images to the user terminal 10, but transmits only low-resolution images, thereby reducing the amount of image data to be transmitted compared to when the communication bandwidth is 10 Mbps or more.
  • the communication control unit 237 may reduce the amount of image data to be transmitted in the following manner.
  • the communication control unit 237 may transmit the high-resolution images as is, and reduce the resolution of the low-resolution images, thereby reducing the amount of image data to be transmitted to the user terminal 10.
  • the communication control unit 237 may reduce the resolution of both the high-resolution images and the low-resolution images, thereby reducing the amount of image data to be transmitted to the user terminal 10.
  • the communication control unit 237 may reduce the amount of data of the image data of the low-resolution image by performing image processing to convert the low-resolution image into a black and white image.
  • the present disclosure is not limited to such examples.
  • the communication control unit 237 may reduce the amount of data of the image data of the low-resolution image by reducing the number of colors in the color information of the low-resolution image.
  • the communication control unit 237 may reduce the amount of data of the image data of the low-resolution image by converting the low-resolution image into a grayscale image.
  • the user terminal 10 may be an information processing terminal equipped with a display unit that displays a virtual space to a user as a two-dimensional image without using VR technology, such as a smartphone, a PC, or a tablet terminal.
  • the user terminal 10 may have an image processing function corresponding to the Foveated Rendering technology.
  • the information processing device 20 may detect, for example, a location where a user points a pointer by operating an operation input unit such as a mouse, as the user's gaze point.
  • the information processing device 20 may detect, as the user's gaze point, a location where the user touches the operation display unit with a finger or the like.
  • the information processing device 20 may generate a high-resolution image indicating the user's gaze area based on the detected gaze point.
  • the user terminal 10 has an image synthesis function that realizes the Foveated Rendering technology
  • the information processing device 20 transmits high-resolution images and low-resolution images corresponding to the Foveated Rendering technology to the user terminal 10.
  • the present disclosure is not limited to this example.
  • the user terminal 10 may not have an image synthesis function that realizes the Foveated Rendering.
  • the information processing device 20 does not generate high-resolution image data only for the user's gaze area.
  • the information processing device 20 only needs to transmit image data of the entire area displayed on the user terminal 10 to the user terminal 10.
  • the information processing device 20 can adjust the amount of data of the additional data by changing the number of pixels, frame rate, or number of colors of the image data transmitted to the user terminal 10 according to the communication bandwidth in communication with the user terminal 10, thereby reducing the load associated with the transmission of image data.
  • various sensing data transmitted from the user terminal 10 to the information processing device 20 are preset, such as the contents of Table T1 described with reference to FIG. 6.
  • the communication control unit 135 of the information processing device 20 determines the type and amount of sensing data to be transmitted to the information processing device 20, based on the contents preset in Table T1, by comparing the communication bandwidth in communication with the information processing device 20 with a predetermined threshold.
  • the data to be transmitted from the information processing device 20 to the user terminal 10 may be determined by the information processing device 20 instructing or requesting the user terminal 10 as to the sensing data to be transmitted from the information processing device 20 to the information processing device 20.
  • steps in the processing of the operation of the user terminal 10 and the information processing device 20 according to this embodiment do not necessarily need to be processed chronologically in the order depicted in the explanatory diagram.
  • each step in the processing of the operation of the user terminal 10 and the information processing device 20 may be processed in an order different from the order depicted in the explanatory diagram, or may be processed in parallel.
  • Control is performed to transmit image data depicting the virtual space to the display device;
  • image data first image data which is image data of an area including the entire user's visual field in the virtual space, and second image data which is image data of a gaze area within the user's visual field, has a higher resolution than the first image data, and is to be synthesized with the first image data on the display device, are acquired; Acquire information on a communication bandwidth in communication with the display device;
  • a control unit is provided to adjust a data amount of the image data to be transmitted to the display device in accordance with the communication bandwidth.
  • Information processing device is performed to transmit image data depicting the virtual space to the display device.
  • the communication unit acquires location information indicating a location of the user from the display device; The information processing device according to (2), wherein the control unit calculates the user's field of view in the virtual space based on the position information.
  • the control unit is determining whether the communication bandwidth is equal to or greater than a predetermined threshold; determining an amount of the image data to be transmitted to the display device according to the result of the determination; The information processing device according to any one of (2) to (4).
  • the communication unit acquires gaze detection information from the display device, the gaze detection information being used to calculate the gaze area within the user's field of view;
  • the control unit is generating the second image data based on the gaze detection information;
  • the image data to be transmitted to the display device is determined to be the first image data and the second image data.
  • the control unit determines that the image data to be transmitted to the display device is the first image data.
  • the control unit determines that the image data to be sent to the display device is image data having a reduced data volume by performing image processing on the first image data.
  • the communication unit When the communication bandwidth is below a fourth threshold that is lower than the third threshold, the communication unit reduces an acquisition frequency of the head pose information acquired from the display device below an initial value of the acquisition frequency.
  • the information processing device according to any one of (8) to (11).
  • the control unit is Each time information on the communication bandwidth is acquired, a determination is made as to whether or not the communication bandwidth is equal to or greater than the predetermined threshold value; determining an amount of the image data to be transmitted to the display device based on a result of the determination each time the determination is made; The information processing device according to any one of (5) to (12).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

画像データの送信において効果的に通信負荷を低減することが可能な技術を提供する。　表示装置に、仮想空間を描画した画像データを送信する制御を行い、前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、前記表示装置との通信における通信帯域幅の情報を取得し、前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部を備える、情報処理装置が提供される。

Description

情報処理装置、プログラム、および情報処理方法
　本開示は、情報処理装置、プログラム、および情報処理方法に関する。
　近年、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）等の、ユーザに３次元の仮想空間を提示することが可能なＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）機器の低価格化、および、コンテンツの充実を背景に、ＶＲ技術の一般普及が加速度的に進んでいる。このようなＶＲ技術におけるユーザ体験の品質を向上させるため、様々な技術が検討されている。
　例えば、特許文献１には、ＨＭＤに表示する画像のフレームデータを、当該画像と同期して伝送されたＨＭＤの予測姿勢情報および当該ＨＭＤの姿勢センサにより検出された最新の姿勢情報の差分に基づいて補正することにより、ユーザのＶＲ酔いに対処するための技術が開示されている。
特開２０１９－０２８３６８号公報
　このようなＶＲ技術においては、仮想空間内でのリアリティを高め、ユーザ体験の品質を高めるうえで、画像データの高画質化の需要が強い。しかし、画像データの高解像度化は、画像データを表示装置に転送する場合に通信負荷の増大を招く。
　そこで、本開示では、画像データの送信において効果的に通信負荷を低減することが可能な技術を提供する。
　上記課題を解決するために、本開示のある観点によれば、表示装置に、仮想空間を描画した画像データを送信する制御を行い、前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、前記表示装置との通信における通信帯域幅の情報を取得し、前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部を備える、情報処理装置が提供される。
　また、本開示によれば、コンピュータを、表示装置に、仮想空間を描画した画像データを送信する制御を行い、前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、前記表示装置との通信における通信帯域幅の情報を取得し、前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部として機能させるための、プログラムが提供される。
　また、本開示によれば、表示装置に、仮想空間を描画した画像データを送信する制御を行うことと、前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得することと、前記表示装置との通信における通信帯域幅の情報を取得することと、前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整することと、を含む、コンピュータにより実行される情報処理方法が提供される。
本開示の一実施形態による情報処理システムの概要を説明するための説明図である。 Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を利用して生成された合成画像データの送信について説明するための説明図である。 Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を利用して生成された合成前の画像データの送信について説明するための説明図である。 本実施形態によるユーザ端末１０の構成の一例を説明するためのブロック図である。 本実施形態による情報処理装置２０の構成の一例を説明するためのブロック図である。 通信制御部２３７によるユーザ端末１０への送信画像データのデータ量の調整について説明するための説明図である。 本実施形態による、通信帯域幅に応じた送信画像データおよび表示画像の動的な変更について説明するための説明図である。 本開示の一実施形態による情報処理システムの動作例を説明するシーケンス図である。 情報処理装置２０による、送信する画像データのデータ量の決定の処理の動作例を説明するためのフローチャートである。 ユーザ端末１０による、センシングデータの送信時の処理の動作例を説明するためのフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．構成例
　　２－１．ユーザ端末１０
　　２－２．情報処理装置２０
　３．動作
　４．補足
　＜１．概要＞
　本開示は、ＶＲ技術を用いた仮想空間の画像データをＨＭＤ等のユーザ端末に送信し表示させる情報処理システムに関する。本開示の情報処理システムによれば、画像データの送信時における負荷を低減することが出来る。
　（課題の整理）
　ＶＲ技術においては、仮想空間内でのリアリティを高め、ユーザ体験の品質を高めるうえで、画像データの高画質化の需要が強い。しかし、画像データの高解像度化は、画像データをＨＭＤ等のユーザ端末に転送する場合に通信負荷の増大を招く。
　通信負荷の増大により、例えばヘッドトラッキングの遅延が発生し、ＶＲ酔い（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ　Ｓｉｃｋｎｅｓｓとも称される）が起こり、ユーザ体験の品質が低下し得る。すなわち、画像データの生成を行うレンダリング装置は、ユーザ端末から取得する頭部姿勢情報等のセンシングデータに基づいて仮想空間内のユーザ視野を算出し、算出したユーザ視野に基づいて、画像データを生成するが、ヘッドトラッキングに遅延が発生すると、画像データの生成時に前提とされたユーザの頭部の向きと、当該画像データがユーザ端末で表示された時点でのユーザの頭部の向きとの間でずれが発生し得る。このずれにより、ユーザは酔ったような感覚（ＶＲ酔い）に陥ることがある。
　そこで、本開示による情報処理装置２０は、ユーザ端末１０との通信における通信帯域幅に応じて、ユーザ端末１０へ送信する画像データのデータ量を調整することにより、ユーザ端末１０への画像データの送信時における通信負荷を低減する。
　図１は、本開示の一実施形態による情報処理システムの概要を説明するための説明図である。図１に示したように、本情報処理システムは、情報処理装置２０およびユーザ端末１０を含む。情報処理装置２０とユーザ端末１０は、無線接続または有線接続により相互に通信可能に構成される。
　ユーザ端末１０は、情報処理装置２０から受信した画像データを表示することが可能な表示装置である。図１に示した例では、ユーザ端末１０は、ユーザの頭部に装着されるＨＭＤにより実現される。
　情報処理装置２０は、ユーザ視野に対応する仮想空間の画像データを生成するレンダリング機能と、生成した画像データをユーザ端末１０に送信する機能と、を有する情報処理装置である。情報処理装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、スマートフォン、または、タブレット型端末等により実現される。または、情報処理装置２０は、ユーザ端末１０とインターネットを介して接続されるクラウドサーバにより実現されてもよい。
　情報処理装置２０は、ユーザ端末１０から、ユーザ端末１０を装着しているユーザの頭部姿勢、または、当該ユーザの位置情報等の、ユーザ端末１０を装着しているユーザに関するセンシングデータを取得する。情報処理装置２０は、取得した位置情報に基づいて、仮想空間内におけるユーザの位置を算出し、さらに頭部姿勢から視線方向を推定し、視線方向を中心とした所定角度の範囲を視野として算出する。情報処理装置２０は、算出された視野に基づいて、仮想空間内のユーザの視野全体を含む領域の画像データを生成する。
　（Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術について）
　ここで、ユーザが注視している一部領域（注視領域）の画像を高解像度で描画し、ユーザ視野内のその他の部分（周辺領域）を低解像度で描画するＦｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇと称されるレンダリング技術がある。Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇは、視野のうち中心窩に対応する領域に比べその外側の像はぼやけて見えるという人の視覚特性を利用し、注視点近傍の領域（注視領域）を高い解像度、それ以外（周辺領域）を低い解像度で表すことにより、処理負荷または／およびデータ量を軽減させる技術である。上述したように、仮想空間内でのリアリティを高めることは、ユーザ体験の品質を高めるうえで非常に有効であるが、画像データの高画質化は処理負荷が高いため、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇが用いられることが多い。
　通常のＦｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を利用したＶＲ技術では、ＨＭＤ等の表示装置に対し、ユーザ注視領域の高解像度画像を、視野画像に合成した合成画像データが、レンダリング装置から送信されることが考え得る。図２は、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を利用して生成された合成画像データの送信について説明するための説明図である。
　図２のマトリクス表に示した、左目側列と右目側列のそれぞれに示している図は、ＨＭＤの左目側ディスプレイと右目側ディスプレイのそれぞれに表示される画像を示す。
　また、図２のマトリクス表の上段に示した送信時の行に示している図は、画像を生成するレンダリング装置から、画像を表示する表示装置に圧縮して送信される合成画像データを示す。表示時の行に示している図は、レンダリング装置から受信した合成画像データに対し表示装置が画像処理（ディスプレイサイズにアップスケール）を行い、画面に表示する際の合成画像データを示す。
　また、図２に示した高解像度画像ＨＧは、ユーザ注視領域の高解像度画像を示す。低解像度画像ＬＧは、仮想空間内のユーザの視野全体を含む領域の低解像度の視野画像データを示す。
　上段の送信時の行に示したように、レンダリング装置は、レンダリング装置側で高解像度画像ＨＧ１と低解像度画像ＬＧ１、および、高解像度画像ＨＧ２と低解像度画像ＬＧ２のそれぞれを合成した状態の合成画像データを送信する。このとき、例えば高解像度画像ＨＧ１と高解像度画像ＨＧ２の各々の解像度が、水平方向の画素数がおよそ１０００ピクセル程度（以下、１Ｋとする）であったとする。また、低解像度画像ＬＧ１および低解像度画像ＬＧ２の画像データの解像度も、各々１Ｋであるとする。この場合、高解像度画像ＨＧと低解像度画像ＬＧを合成する際、高解像度画像ＨＧの部分の解像度を維持するサイズで圧縮すると、水平方向および垂直方向それぞれにおよそ２０００ピクセル程度（以下、２Ｋとする）となる。すると、レンダリング装置から表示装置へ圧縮送信される合成画像データのデータ量は、２Ｋ×２Ｋ×左右２枚＝８Ｋ程度の解像度の画像サイズとなる。
　また、下段の表示時の行に示したように、レンダリング装置から合成画像データを受け取った表示装置では、低解像度画像ＬＧ３および低解像度画像ＬＧ４のそれぞれの領域は、ディスプレイのディスプレイサイズ（図２に示した例では、４Ｋ×４Ｋ＝１６Ｋ）に合わせて、アップスケーリングされる。
　一方、レンダリング装置で合成した合成画像データを表示装置に送信するのではなく、表示装置で合成処理を行う方法も考え得る。以下、図３を参照して具体的に説明する。図３は、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を利用して生成された合成前の画像データの送信について説明するための説明図である。
　図３の上段の送信時の行に示したように、左目側の画像データとして低解像度画像ＬＧ５および高解像度画像ＨＧ５の２枚の画像データと、右目側の画像データとして低解像度画像ＬＧ６および高解像度画像ＨＧ６の２枚の画像データと、を含む合計４枚の画像データが、レンダリング装置から表示装置に送信される。
　このとき、高解像度画像ＨＧ５および高解像度画像ＨＧ６の各々の解像度が１Ｋであったとする。また、低解像度画像ＬＧ５および低解像度画像ＬＧ６の画像データの解像度も、各々１Ｋであるとする。この場合、送信時の画像データのデータ量は、１Ｋ×１Ｋ×左右４枚＝４Ｋ程度となる。従って、合成前の画像データを圧縮送信する方法では、図２を参照して説明した合成画像データの圧縮送信の場合と比較して、データ量を抑えることが出来る。
　また、図３の下段の表示時の行に示したように、表示装置では、低解像度画像ＬＧ５および高解像度画像ＨＧ５と、低解像度画像ＬＧ６および高解像度画像ＨＧ６のそれぞれが合成される。このとき、表示装置は、ディスプレイサイズに合わせて、低解像度画像ＬＧをアップスケーリングしてもよい。
　以上説明したように、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を用いる場合、合成前の画像データを各々送信して表示装置で合成した方が、レンダリング装置からの送信時のデータ量を抑えることができ、通信負荷軽減の観点から望ましい。
　本開示による情報処理システムでは、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ用の合成前の画像データを各々送信するモードにおいて、状況に応じて通信負荷を低減することを可能とする。なお、本開示による情報処理システムでは、情報処理装置２０がレンダリング装置として機能し、ユーザ端末１０が表示装置として機能する。
　具体的には、情報処理装置２０が、ユーザの視野内の注視領域の高解像度画像と、ユーザ視野全体を含む領域の低解像度画像とを合成せずにユーザ端末１０に送信することにより、情報処理装置２０からユーザ端末１０への画像データの送信に係る負荷を低減することが出来る。
　さらに、情報処理装置２０は、ユーザ端末１０との通信における通信帯域幅の状況に応じて、ユーザ端末１０に送信する画像データのデータ量を調整することで、情報処理装置２０およびユーザ端末１０の間における画像データの送信に係る負荷をさらに低減することが出来る。
　例えば、情報処理装置２０は、取得した通信帯域幅の情報に基づき、ユーザ端末１０との通信において、高解像度画像を含む画像データを送信するのに十分な帯域幅が確保されていると判定した場合には、高解像度画像を含む画像データをユーザ端末１０に送信する。または、情報処理装置２０は、ユーザ端末１０との通信における通信帯域幅が狭くなっていると判定した場合には、送信する画像データの種別の変更、および、各画像データのデータサイズを画像処理により削減することにより、データ量の調整を行ってもよい。例えば、情報処理装置２０は、通信帯域幅が狭いと判定した場合に、高解像度画像をユーザ端末１０に送信せず、低解像度画像のみをユーザ端末１０に送信してもよい。これにより、情報処理装置２０は、ユーザ端末１０との通信状況に応じて、ユーザ端末１０への画像データ送信時の負荷を低減することが出来る。
　＜２．構成例＞
　＜２－１．ユーザ端末１０＞
　続いて、図４を参照して、本開示の一実施形態によるユーザ端末１０の構成例を説明する。
　図４は、本実施形態によるユーザ端末１０の構成の一例を説明するためのブロック図である。図４に示したように、ユーザ端末１０は、通信部１１０、センサ部１２０、制御部１３０、表示部１４０、スピーカ１５０、および、記憶部１６０を有する。
　（通信部１１０）
　通信部１１０は、制御部１３０の制御に従い、他の装置と通信を行う機能を有する。例えば、通信部１１０は、情報処理装置２０から、仮想空間の画像データを受信する。また、通信部１１０は、情報処理装置２０へ、センサ部１２０より取得される各種センシングデータを送信する。例えば、通信部１１０は、ユーザの頭部姿勢情報を情報処理装置２０へ送信する。さらに、通信部１１０は、ユーザの位置を示す位置情報、および、ユーザの視線検出結果を情報処理装置２０へ送信してもよい。
　（センサ部１２０）
　センサ部１２０は、ユーザに関する各種情報をセンシングする機能を有する。例えばセンサ部１２０は、カメラ１２１、マイク（マイクロフォン）１２３、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）１２５、視線センサ１２７、距離センサ１２８、およびＳＬＡＭカメラ１２９であってもよい。各センサは複数設けられていてもよい。
　カメラ１２１は、実空間を撮像する外向きカメラであってもよい。外向きカメラは、例えば、周囲の障害物等を検出する際に用いられる。また、カメラ１２１は、複数のステレオカメラであってもよい。
　マイク１２３は、ユーザの発話音声を集音し、音声データを制御部１３０に出力する。
　ＩＭＵ１２５は、ユーザ端末１０を頭部に装着しているユーザの頭部の姿勢および動きを検出する際に用いられる。ＩＭＵ１２５は、加速度センサ、ジャイロセンサ、および地磁気センサを含んで構成される。ＩＭＵ１２５は、ユーザの頭部の姿勢および動きを示す頭部姿勢情報を、制御部１３０に出力する。
　視線センサ１２７は、ユーザの眼を撮像する内向きカメラである。視線センサ１２７は、ユーザの視線に関する情報（視線方向、眼球の動き等）を検出し、視線検出情報として制御部１３０に出力する。視線センサ１２７は、例えば、ユーザ端末１０を装着するユーザの右目と左目のそれぞれに対応するように配置された、複数の内向きカメラにより実現されてもよい。
　距離センサ１２８は、ユーザ端末１０の周囲の実空間において周囲に存在する実物体との距離を測る測距センサである。例えば、距離センサ１２８は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｒｉｇｈｔ）方式により実物体との距離を測ることが可能なＴｏＦセンサであってもよい。
　ＳＬＡＭカメラ１２９は、ユーザ端末１０の自己位置推定と周囲の環境地図作成を同時に行う、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）に用いられる、ユーザ端末１０の周囲の実空間の画像を取得するカメラである。または、ＳＬＡＭカメラ１２９は、レーザスキャナ、または、測距カメラであってもよい。また、ＳＬＡＭカメラ１２９は、複数のカメラから実現されてもよい。例えば、本実施形態によるＳＬＡＭカメラ１２９は、ＨＭＤの右側に設けられるステレオカメラと左側に設けられるステレオカメラにより実現されてもよい。
　（制御部１３０）
　制御部１３０は、ユーザ端末１０の動作全般を制御する機能を有する。制御部１３０は、自己位置計測部１３１、描画処理部１３３、および、通信制御部１３５としての機能を有する。
　自己位置計測部１３１は、ユーザ端末１０の絶対的または相対的な位置を計測する機能を有する。例えば、自己位置計測部１３１は、ＳＬＡＭカメラ１２９により取得された画像に基づいて、自己位置推定および環境地図の作成を行ってもよい。または、自己位置計測部１３１は、例えば人工衛星からの電波を受信して、ユーザ端末１０が存在している現在位置を検知するＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）機能を有していてもよい。また、自己位置計測部１３１による自己位置の計測に、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知する方法が用いられてもよい。また、自己位置計測部１３１は、ＩＭＵ１２５により取得されるユーザ端末１０の加速度および角速度等の検出結果に基づいて、相対的な位置の変化を示す情報を推定してもよい。自己位置計測部１３１は、推定した自己位置を、ユーザ端末１０の位置情報として制御部１３０に出力する。
　なお、ＳＬＡＭカメラ１２９により取得された画像が、位置情報としてユーザ端末１０から情報処理装置２０へ送信されてもよい。この場合、情報処理装置２０が、当該画像に基づいて、ユーザ端末１０の位置推定および環境地図作成の処理を行ってもよい。
　描画処理部１３３は、表示部１４０に表示する各種画像の画像処理を行う機能を有する。例えば、描画処理部１３３は、情報処理装置２０から受信した視野画像データと、ユーザの注視領域の画像データを合成する。描画処理部１３３は、合成後の画像を表示部１４０に表示させる。
　通信制御部１３５は、通信部１１０の通信を制御する機能を有する。例えば、通信制御部１３５は、センサ部１２０により取得されたユーザの頭部姿勢情報、位置情報、および、視線検出結果等のセンシングデータを、通信部１１０からユーザ端末１０へ送信させる。
　また、通信制御部１３５は、情報処理装置２０との通信における通信帯域幅の情報を取得する。通信制御部１３５は、取得した情報に基づき、通信帯域幅に応じて、情報処理装置２０へ送信するセンシングデータのデータ量を調整してもよい。通信制御部１３５によるデータ量の調整については、後に詳細に説明する。
　表示部１４０は、例えばユーザ端末１０がＨＭＤとして構成される場合、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する機能を有する。表示部１４０の画面は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部１４０は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備えてもよい。
　（スピーカ１５０）
　スピーカ１５０は、音声を出力する機能を有する。例えばスピーカ１５０は、ヘッドフォン、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
　（記憶部１６０）
　記憶部１６０は、制御部１３０の処理に用いられるプログラムおよび演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）により実現される。
　以上、図４を参照して、本実施形態によるユーザ端末１０の構成例を説明した。続いて、図５を参照して、本開示の一実施形態による情報処理装置２０の構成例を説明する。
　＜２－２．情報処理装置２０＞
図５は、本実施形態による情報処理装置２０の構成の一例を説明するためのブロック図である。図５に示したように、情報処理装置２０は、通信部２１０、記憶部２２０、および制御部２３０を有する。
　（通信部２１０）
　通信部２１０は、制御部２３０の制御に従い、他の装置と通信を行う機能を有する。例えば、通信部２１０は、ユーザ端末１０へ、仮想空間の画像データを送信する。また、通信部２１０は、ユーザ端末１０から、ユーザの頭部姿勢情報を取得する。さらに、通信部２１０は、ユーザ端末１０から、ユーザの位置を示す位置情報、および、ユーザの視線検出結果を取得してもよい。
　（記憶部２２０）
　記憶部２２０は、制御部２３０を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また記憶部２２０は、制御部２３０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってもよい。
　（制御部２３０）
　制御部２３０は、情報処理装置２０の動作全般を制御する。このような制御部２３０は、検出部２３１、算出部２３３、描画制御部２３５、および、通信制御部２３７としての機能を有する。
　検出部２３１は、ユーザ端末１０との通信における通信帯域幅の状況を検出する機能を有する。
　算出部２３３は、ユーザ端末１０から取得された頭部姿勢情報および位置情報に基づいて、仮想空間内におけるユーザ視野を算出する機能を有する。より詳細には、算出部２３３は、位置情報から仮想空間内におけるユーザの位置を算出し、頭部姿勢情報から視線方向を推定し、当該視線方向を中心とした所定角度の視野を算出する。このとき、算出部２３３は、所定の時間経過後の仮想空間内におけるユーザの位置および頭部姿勢を予測し、予測結果に基づいて、所定の時間経過後のユーザの視野を算出してもよい。
　また、算出部２３３は、ユーザ端末１０から取得された視線検出情報に基づいて、仮想空間におけるユーザ視野内の注視領域を算出してもよい。より具体的には、算出部２３３は、視線検出情報からユーザの視線方向を算出し、当該視線方向を中心とした所定角度の範囲を注視領域とし得る。なお、算出部２３３は、頭部姿勢から注視領域を推定することも可能である。例えば算出部２３３は、頭部姿勢からユーザの視線方向を推定し、当該視線方向を中心とした所定角度の範囲を注視領域とし得る。
　描画制御部２３５は、算出部２３３により算出された仮想空間内のユーザの視野に基づいて、仮想空間におけるユーザ視野全体を含む領域の画像データ（視野画像データ）を生成する。また、描画制御部２３５は、算出部２３３により算出された仮想空間内のユーザの注視領域に基づいて、仮想空間におけるユーザの視野内の注視領域の画像を生成する。このとき、描画制御部２３５は、注視領域の画像データを視野画像データよりも高解像度で生成する。注視領域の画像データは、ユーザ端末１０において、視野画像データと合成される。
　通信制御部２３７は、検出部２３１により検出された通信帯域幅の情報に基づいて、ユーザ端末１０との通信を制御する機能を有する。より詳細には、描画制御部２３５は、ユーザ端末１０との通信における通信帯域幅に応じて、通信部２１０からユーザ端末１０へ送信する画像データのデータ量を調整する。例えば、通信制御部２３７は、検出部２３１により検出された通信帯域幅を所定の閾値と比較することにより、ユーザ端末１０へ送信される画像データのデータ量を決定してもよい。ここで、図６を参照して、通信制御部２３７によるユーザ端末１０への送信画像データのデータ量の調整について説明する。
　図６は、通信制御部２３７によるユーザ端末１０への送信画像データのデータ量の調整について説明するための説明図である。図６に示した表Ｔ１は、所定の閾値で区分された通信帯域幅の区分ごとに、通信制御部２３７がユーザ端末１０との間で送受信するデータに関する情報を示す表である。具体的には、ユーザ端末１０へ送信する画像データのデータ種別およびデータ量の情報と、ユーザ端末１０から取得するセンシングデータのデータ量に関する情報が示されている。通信制御部２３７は、表Ｔ１を参照することにより、検出された通信帯域幅がいずれの区分に入るかを判定し、ユーザ端末１０に送信する画像データのデータ量を決定してもよい。表Ｔ１の内容は、送信する画像データのデータ量を決定する際に参照するパラメータとして、予め情報処理装置２０の記憶部２２０に記憶されていてもよい。また、図６に示した表Ｔ１には、情報処理装置２０がユーザ端末１０から取得するセンシングデータのデータ量に関する情報が含まれているが、これに限らず、表Ｔ１は、ユーザ端末１０へ送信する画像データのデータ種別およびデータ量の情報のみを含む表であってもよい。なお、表Ｔ１は、通信制御部２３７による送信画像データのデータ量調整の一例であり、表Ｔ１に含まれる各数値は、適宜変更され得る。
　図６に示したように、表Ｔ１は、「１．帯域幅１０ｍｂｐｓ以上」から「５．帯域幅１未満～０．５ｍｂｐｓ」の５段階の区分に分けられた通信帯域幅の区分ごとに、送受信データとデータ量の情報を含む。
　まず、送受信データについて説明する。「１．帯域幅１０ｍｂｐｓ以上」列の送受信データの１～２行目に含まれる「Ｈｉｇｈ　Ｒｅｓｏｌｕｔｉｏｎ」は、情報処理装置２０からユーザ端末１０へ送信される、仮想空間におけるユーザの視野内の注視領域の画像データ（以下、高解像度画像）を指す。また、同列の３行目に含まれる「Ｅｙｅ　Ｔｒａｃｋｉｎｇ（Ｒｉｇｈｔ，Ｌｅｆｔ）」は、ユーザ端末１０から情報処理装置２０へ送信される視線検出結果のデータを示す。
　また、「１．帯域幅１０ｍｂｐｓ以上」および「２．帯域幅６～９ｍｂｐｓ」の各列の４～５行目に含まれる「Ｌｏｗ　Ｒｅｓｏｌｕｔｉｏｎ」は、情報処理装置２０からユーザ端末１０へ送信される、仮想空間におけるユーザの視野画像データ（以下、低解像度画像）を指す。
　「３．帯域幅１０ｍｂｐｓ」の列の４～５行目に含まれる「Ｕｌｔｒａ　Ｌｏｗ　Ｒｅｓｏｌｕｔｉｏｎ」は、情報処理装置２０からユーザ端末１０へ送信される、低解像度画像よりもさらにデータ量が少ない画像である、超低解像度画像を指す。超低解像度画像は、情報処理装置２０の描画制御部２３５が、低解像度画像の画素数を減らす画像処理を行うことにより生成される。
　「４．帯域幅４～１ｍｂｐｓ」および「５．帯域幅１未満～０．５ｍｂｐｓ」の各列の４～５行目に含まれる「Ｍｏｎｏｃｈｒｏｍｅ」は、描画制御部２３５が画像処理を行うことにより白黒画像に変換された超低解像度画像（以下、モノクロ画像）を指す。
　また、各列の６行目に含まれる「ＳＬＡＭ　ｃａｍｅｒａ　ｄａｔａ（４ｕｎｉｔ）」は、ユーザ端末１０から情報処理装置２０へ送信される、ユーザの位置情報（ＳＬＡＭカメラ１２９により取得された画像データ）を指す。また、７行目に含まれる「ＩＭＵ　ｄａｔａ」は、ユーザ端末１０から情報処理装置２０へ送信される、ユーザの頭部姿勢情報を指す。
　続いて、データ量について説明する。高解像度画像、低解像度画像、超低解像度画像、およびモノクロ画像の各行のデータ量列には、各画像データのデータ量が、「垂直方向のピクセル数（ｐｘ）×水平方向のピクセル数（ｐｘ）×フレームレート（ｈｚ）＝当該データ送信時のデータ量（ｍｂｐｓ）」の形式で示されている。例えば、「１．帯域幅１０ｍｂｐｓ以上」の１行目の高解像度画像（右目側）のデータ量は、垂直方向の画素数１０２４ｐｘ×水平方向の画素数１０２４ピクセル×フレームレート６０ｈｚ＝データ量２ｍｐｂｓである。
　また、各列の視線検出データおよび位置情報のデータ量列には、各データ量が、「垂直方向のピクセル数（ｐｘ）×水平方向のピクセル数（ｐｘ）×送信頻度（ｈｚ）×各センサを構成するユニット数＝当該データ送信時のデータ量（ｍｂｐｓ）」の形式で示されている。例えば、「１．帯域幅１０ｍｂｐｓ以上」列の３行目の視線検出データ（左右）のデータ量は、垂直方向の画素数が３２ｐｘ×水平方向の画素数が３２ｐｘ×送信頻度６０ｈｚ×左右２ユニット＝送信時のデータ量０．０１ｍｐｂｓである。
　また、各列の頭部姿勢情報のデータ量列には、データ量が、「頭部姿勢情報として取得されるセンシングデータの合計サイズ（ｂｉｔ）×送信頻度（ｈｚ）＝データ量（ｋｂｐｓ）」の形式で示されている。例えば、「１．帯域幅１０ｍｂｐｓ以上」列の７行目の頭部姿勢情報のデータ量は、センシングデータのデータサイズ３２ｂｉｔ×送信頻度８００ｈｚ＝送信時のデータ量２５ｋｂｐｓである。
　図６に示した表Ｔ１の例では、通信制御部２３７は、ユーザ端末１０との通信における通信帯域幅が１０ｍｂｐｓ以上である場合、左右の高解像度画像、左右の低解像度画像の計４つの画像データを、ユーザ端末１０へ送信する画像データに決定する。また、通信制御部２３７は、ユーザ端末１０から、視線検出データ、位置情報、および、頭部姿勢情報を取得する。
　また、表Ｔ１の例では、ユーザ端末１０との通信における通信帯域幅が６～９ｍｂｐｓである場合、通信制御部２３７は、高解像度画像の画像データをユーザ端末１０へ送信せず、左右の低解像度画像の画像データを送信する画像データに決定する。この場合、通信制御部２３７は、視線検出データをユーザ端末１０から取得しない。視線検出データは、高解像度画像の生成に用いられるユーザ視野内の注視領域の算出に用いられるデータであり、高解像度画像を生成しない場合には必須のセンシングデータではないためである。一方で、通信制御部２３７は、ユーザ端末１０から、位置情報および頭部姿勢情報を取得する。位置情報および頭部姿勢情報は、ユーザ視野の算出に用いられ、低解像度画像の生成に用いられるためである。
　表Ｔ１に示した例では、通信制御部２３７は、通信帯域幅がいずれの区分であっても、ユーザ端末１０から、位置情報および頭部姿勢情報を取得する。これにより、通信帯域幅が狭くなったと判定された場合であっても、情報処理装置２０は、ヘッドトラッキングに用いられる位置情報および頭部姿勢情報を必ず取得する。
　なお、通信制御部２３７は、通信帯域幅がいずれの区分であっても、ユーザ端末１０から、頭部姿勢情報ののみを取得する変形例も可能である。この場合、情報処理装置２０は、頭部姿勢情報に基づいて、ユーザの推定位置を算出し、算出した推定位置および頭部姿勢情報に基づいて、仮想空間におけるユーザの視野を算出してもよい。
　また、通信制御部２３７は、ユーザ端末１０との通信における通信帯域幅が５ｍｂｐｓである場合、超低解像度画像を送信する画像データに決定する。
　また、通信制御部２３７は、ユーザ端末１０との通信における通信帯域幅が１～４ｍｂｐｓである場合、モノクロ画像を送信する画像データに決定する。
　さらに、通信制御部２３７は、ユーザ端末１０との通信における通信帯域幅が１ｍｂｐｓ未満～０．５ｍｂｐｓである場合、モノクロ画像を送信する画像データに決定する。また、通信制御部２３７は、モノクロ画像を情報処理装置２０へ送信する送信頻度を、３０ｈｚに低減する。
　以上、図６を参照して、通信制御部２３７によるユーザ端末１０への送信画像データのデータ量の調整について説明した。通信制御部２３７が、表Ｔ１に示した例のように、ユーザ端末１０との通信帯域幅が狭くなるほど、ユーザ端末１０へ送信する画像データのデータ量が小さくなるように、送信する画像データのデータ量を調整することで、画像データの送信において効果的に通信負荷を削減することが出来る。
　また、表Ｔ１に示した例のように、通信制御部２３７は、通信帯域幅が狭くなったと判定された場合であっても、視野画像の生成に用いられる位置情報および頭部姿勢情報については、ユーザ端末１０から所定の頻度での取得を継続する。これにより、通信負荷の削減と、ユーザのＶＲ酔いの発生の抑制を両立することができる。
　続いて、図７を参照して、情報処理装置２０が上記で説明したような通信帯域幅に応じた送信する画像データのデータ量の調整を行うことにより、ユーザ端末１０側で表示される画像がどう変化するかについて説明する。
　図７は、本実施形態による、通信帯域幅に応じた送信画像データおよび表示画像の動的な変更について説明するための説明図である。図７に示した上段の時系列イメージＡ１は、情報処理装置２０がユーザ端末１０へ送信する画像データの種類とタイミングを表すイメージ図である。時系列イメージＡ１に示したＲ－ＬｏｗおよびＲ－Ｈｉｇｈは、それぞれ、ユーザ端末１０の表示部１４０の右目側に表示される高解像度画像および低解像度画像がユーザ端末１０に送信されるタイミングを表す。また、時系列イメージＡ１に示したＬ－ＬｏｗおよびＬ－Ｈｉｇｈは、それぞれ、表示部１４０の左目側に表示される高解像度画像と低解像度画像を表す。Ｒ－ＬｏｗからＬ－Ｈｉｇｈまでの４つから右側に向かっている矢印は、右側に進むほど時間が進行することを示す矢印である。右目低解像度画像Ｒ－Ｌ、右目高解像度画像Ｒ－Ｈ、左目低解像度画像Ｌ－Ｌ、および左目高解像度画像Ｌ－Ｈは、当該矢印上に示されているタイミングで、当該画像が情報処理装置２０からユーザ端末１０へ送信されることを示す。
　また、図７の下段に示した時系列イメージＡ２は、ユーザ端末１０において情報処理装置２０から受信した画像が合成され、表示部１４０に表示されるタイミングを表すためのイメージ図である。右目合成画像Ｒ－Ｓおよび左目合成画像Ｌ－Ｓは、それぞれ、表示部１４０の右目側に表示される画像と、表示部１４０の左目側に表示される画像を表す。また、最下段のＩＭＵは、ユーザ端末１０が情報処理装置２０に送信するセンシングデータの一例としてのＩＭＵ１２５のセンシングデータが、情報処理装置２０へ送信されるタイミングを表すイメージ図である。送信タイミングＳＴは、ユーザ端末１０から情報処理装置２０へＩＭＵ１２５のセンシングデータ（以下、頭部姿勢情報）の送信タイミングを示す。
　ユーザ端末１０は、所定の送信頻度で、ＩＭＵ１２５により取得された頭部姿勢情報を情報処理装置２０へ送信する。例えば、図７に示したように、送信タイミングＳＴ１の時点でユーザ端末１０から情報処理装置２０へ頭部姿勢情報が送信されたとする。
　情報処理装置２０の通信部２１０が上記頭部姿勢情報を取得すると、情報処理装置２０の算出部２３３は、当該頭部姿勢情報に基づいて、仮想空間におけるユーザの視野に含まれる領域を算出する。また、算出部２３３は、ユーザ端末１０から取得した視線検出結果に基づいて、ユーザの注視領域を算出する。描画制御部２３５は、算出された頭部姿勢情報および注視領域に基づいて、右目低解像度画像Ｒ－Ｌ、右目高解像度画像Ｒ－Ｈ、左目低解像度画像Ｌ－Ｌ、および左目高解像度画像Ｌ－Ｈの各画像データを生成し、ユーザ端末１０へ送信する。このとき、情報処理装置２０は、右目低解像度画像Ｒ－Ｌ、右目高解像度画像Ｒ－Ｈ、左目低解像度画像Ｌ－Ｌ、および左目高解像度画像Ｌ－Ｈの各フレームデータを同期して、ユーザ端末１０へ送信してもよい。
　ユーザ端末１０は、情報処理装置２０から右目低解像度画像Ｒ－Ｌ１、右目高解像度画像Ｒ－Ｈ、左目低解像度画像Ｌ－Ｌ、および左目高解像度画像Ｌ－Ｈの各画像データを受信すると、右目低解像度画像Ｒ－Ｌ１と右目高解像度画像Ｒ－Ｈ、および、左目低解像度画像Ｌ－Ｌと左目高解像度画像Ｌ－Ｈの各々を合成する。ユーザ端末１０の表示部１４０は、合成後の画像である右目合成画像Ｒ－Ｓ１および左目合成画像Ｌ－Ｓ１を表示する。
　また、情報処理装置２０は、ユーザ端末１０との通信帯域幅が所定の閾値未満である場合には、高解像度画像をユーザ端末１０へ送信しない。時系列イメージＡ１に示した例では、情報処理装置２０は、右目低解像度画像Ｒ－Ｌ３および左目低解像度画像Ｌ－Ｌ３をユーザ端末１０へ送信している時点において、高解像度画像についてはユーザ端末１０に送信していない。この場合、時系列イメージＡ２に示したように、ユーザ端末１０は、情報処理装置２０から受信した右目低解像度画像Ｒ－Ｌ３および左目低解像度画像Ｌ－Ｌ３と高解像度画像との合成を行わずに、右目低解像度画像Ｒ－Ｌ３および左目低解像度画像Ｌ－Ｌ３を表示部１４０に表示する。
　情報処理装置２０は、上述したようなユーザ端末１０へ送信する画像データのデータ量の調整を、ユーザ端末１０への画像データの送信が行われている間の通信帯域幅の変化に応じて、動的に実施する。
　以上、図７を参照して、本開示の一実施形態による情報処理システムにおける画像データの送信を説明した。続いて、図８および図９を参照して、本開示の一実施形態による情報処理システムの動作例を説明する。
　＜３．動作例＞
　図８は、本開示の一実施形態による情報処理システムの動作例を説明するシーケンス図である。まず、情報処理装置２０は、ユーザ端末１０との通信接続を開始する（Ｓ１０１）。
　次いで、情報処理装置２０は、仮想空間の画像のレンダリングを行うためのアプリケーションを起動する（Ｓ１０３）。情報処理装置２０は、ユーザ端末１０に送信する画像データの生成モードを、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇモードに設定する（Ｓ１０５）。
　情報処理装置２０の検出部２３１は、ユーザ端末１０との通信における通信帯域幅を検出する（Ｓ１０７）。なお、Ｓ１０７の処理は、後述するＳ１１３の処理を行う前の時点で実行されればよい。
　情報処理装置２０の通信制御部２３７は、Ｓ１０７において検出された通信帯域幅に応じて、ユーザ端末１０へ送信する画像データのデータ量を決定する（Ｓ１０９）。より詳細には、通信制御部２３７は、ユーザ端末１０へ送信する画像データの種別、解像度、および色数等を決定することにより、送信する画像データのデータ量を決定する。
　ユーザ端末１０のセンサ部１２０は、各種センシングデータを取得する（Ｓ１１１）。このとき、通信制御部１３５は、情報処理装置２０との通信における通信帯域幅の情報を検出してもよい。さらに、通信制御部１３５は、検出した通信帯域幅に応じて、情報処理装置２０へ送信するセンシングデータおよび当該センシングデータの送信頻度を決定する。通信制御部１３５は、決定されたセンシングデータを、通信部１１０から情報処理装置２０へ送信させる（Ｓ１１３）。
　情報処理装置２０の描画制御部２３５は、ユーザ端末１０から取得されたセンシングデータに基づいて、仮想空間におけるユーザ視野全体を含む領域の画像データ（低解像度画像）と、ユーザの視野内の注視領域の画像（高解像度画像）の画像データを生成する（Ｓ１１５）。このとき、描画制御部２３５は、Ｓ１０９において決定された送信する画像データおよびデータ量に応じた画像データを生成してもよい。
　情報処理装置２０の通信制御部２３７は、通信部２１０に、生成された画像データをユーザ端末１０へ送信させる（Ｓ１１７）。
　ユーザ端末１０の描画処理部１３３は、情報処理装置２０から受信した高解像度画像と低解像度画像の合成処理を行う（Ｓ１１９）。描画処理部１３３は、合成した画像を表示部１４０に表示させる処理を行う（Ｓ１２１）。なお、描画処理部１３３は、情報処理装置２０から受信した画像データに高解像度画像が含まれない場合には、Ｓ１１９の合成処理を行わず、低解像度画像をアップスケーリングする処理を行い表示部１４０に表示する。
　以上、図８を参照して、本開示の一実施形態による情報処理システムの動作例を説明した。続いて、図９を参照して、本実施形態による情報処理装置２０による、ユーザ端末１０へ送信する画像データのデータ量の決定の処理における動作例を説明する。
　図９は、情報処理装置２０による、送信する画像データのデータ量の決定の処理の動作例を説明するためのフローチャートである。情報処理装置２０の通信制御部２３７は、図８のシーケンス図のＳ１０９において、図９に示すフローチャートの動作処理を行う。
　まず、通信制御部２３７は、検出部２３１により検出された通信帯域幅が、第一の閾値（例えば、１ｍｂｐｓ）以上であるか否かを判定する（Ｓ２０１）。通信帯域幅が第一の閾値以上である場合（Ｓ２０１／ＹＥＳ）、通信制御部２３７は、送信する画像データを高解像度画像、低解像度画像の両方に決定する（Ｓ２０３）。次いで、通信制御部２３７は、高解像度画像と低解像度画像の各々の画素数とフレームレートを設定し（Ｓ２０５）、処理を終了する。
　通信帯域幅が第一の閾値未満であった場合（Ｓ２０１／ＮＯ）、通信制御部２３７は、当該通信帯域幅が、第二の閾値（例えば、６ｍｂｐｓ）以上であるか否かを判定する（Ｓ２０７）。通信帯域幅が第二の閾値以上であった場合（Ｓ２０７／ＹＥＳ）、通信制御部２３７は、送信する画像データを低解像度画像に決定する（Ｓ２０９）。通信制御部２３７は、低解像度画像の画素数とフレームレートを設定し（Ｓ２１１）、処理を終了する。
　通信帯域幅が第二の閾値未満であった場合（Ｓ２０７／ＮＯ）、通信制御部２３７は、当該通信帯域幅が、第三の閾値（例えば、５ｍｂｐｓ）以上であるか否かを判定する（Ｓ２１３）。通信帯域幅が第三の閾値以上であった場合（Ｓ２１３／ＹＥＳ）、通信制御部２３７は、送信する画像データを超低解像度画像に決定する（Ｓ２１５）。通信制御部２３７は、超低解像度画像の画素数とフレームレートを設定し（Ｓ２１７）、処理を終了する。
　通信帯域幅が第三の閾値未満であった場合（Ｓ２１３／ＮＯ）、通信制御部２３７は、当該通信帯域幅が、第四の閾値（例えば、１ｍｂｐｓ）以上であるか否かを判定する（Ｓ２１９）。通信帯域幅が第四の閾値以上であった場合（Ｓ２１９／ＹＥＳ）、通信制御部２３７は、送信する画像データをモノクロ化した超低解像度画像に決定する（Ｓ２２１）。通信制御部２３７は、モノクロ化した超低解像度画像の画素数とフレームレートを設定し（Ｓ２２３）、処理を終了する。
　通信帯域幅が第四の閾値未満であった場合（Ｓ２１９／ＮＯ）、通信制御部２３７は、送信する画像データをモノクロ化した超低解像度画像に決定する（Ｓ２２５）。通信制御部２３７は、モノクロ化した超低解像度画像のフレームレートを、Ｓ２２３において設定されるフレームレートの設定値よりも低く設定し（Ｓ２２７）、処理を終了する。
　以上、図９を参照して、情報処理装置２０による、送信する画像データのデータ量の決定の処理における動作例を説明した。続いて、図１０を参照して、ユーザ端末１０による、センシングデータの送信時の処理の動作例を説明する。
　図１０は、ユーザ端末１０による、センシングデータの送信時の処理の動作例を説明するためのフローチャートである。ユーザ端末１０の通信制御部１３５は、図８のシーケンス図のＳ１１３において、図１０に示すフローチャートの動作処理を行う。
　まず、ユーザ端末１０の通信制御部１３５は、情報処理装置２０との通信における通信帯域幅の情報を取得する（Ｓ３０１）。取得された通信帯域幅が第一の閾値（例えば、１０ｍｂｐｓ）以上である場合（Ｓ３０３／ＹＥＳ）、通信制御部１３５は、情報処理装置２０へ送信するセンシングデータとして、視線センサ１２７により取得される視線検出結果、ＳＬＡＭカメラ１２９により取得されるＳＬＡＭカメラ画像、および、ＩＭＵ１２５により取得される頭部姿勢情報に決定し（Ｓ３０５）、処理を終了する。
　通信帯域幅が第一の閾値未満であった場合（Ｓ３０３／ＮＯ）、通信制御部２３７は、当該通信帯域幅が第二の閾値（例えば、１ｍｂｐｓ）以上であるか否かを判定する（Ｓ３０７）。通信帯域幅が第二の閾値以上であった場合（Ｓ３０７／ＹＥＳ）、通信制御部２３７は、送信するセンシングデータをＳＬＡＭカメラ画像および頭部姿勢情報に決定し（Ｓ３０９）、処理を終了する。
　通信帯域幅が第二の閾値未満であった場合（Ｓ３０３／ＮＯ）、通信制御部２３７は、送信するセンシングデータをＳＬＡＭカメラ画像および頭部姿勢情報に決定する（Ｓ３１１）。さらに、通信制御部２３７は、頭部姿勢情報の送信頻度を初期値よりも低く設定し（Ｓ３１３）、処理を終了する。
　以上、図１０を参照して、本実施形態によるユーザ端末１０の、センシングデータの送信時の処理における動作例を説明した。
　＜４．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、図６の表Ｔ１を用いて、情報処理装置２０の通信制御部２３７が、ユーザ端末１０との通信における通信帯域幅を所定の４つの閾値と比較することにより、送信する画像データのデータ量を５段階のサイズで調整する例を説明した。しかし、本開示はかかる例に限定されない。例えば、所定の閾値は、４未満あってもよいし、５以上あってもよい。
　また、上記実施形態では、表Ｔ１に示したように、例えば通信帯域幅が６～９ｍｂｐｓである場合、通信制御部２３７は、ユーザ端末１０へ高解像度画像を送信せず、低解像度画像のみを送信することにより、送信する画像データのデータ量を通信帯域幅が１０ｍｂｐｓ以上の場合よりも削減することを説明した。しかし、通信制御部２３７は、次のような方法で送信する画像データのデータ量を削減してもよい。例えば、通信制御部２３７は、高解像度画像はそのまま送信し、低解像度画像の解像度を減らすことにより、ユーザ端末１０へ送信する画像データのデータ量を削減してもよい。または、通信制御部２３７は、高解像度画像および低解像度画像の両方の解像度を減らすことにより、ユーザ端末１０へ送信する画像データのデータ量を削減してもよい。
　また、上記実施形態では、通信制御部２３７が、低解像度画像を白黒画像に変換する画像処理を行うことにより、低解像度画像の画像データのデータ量を削減してもよいことを説明した。しかし、本開示は係る例に限定されない。例えば、通信制御部２３７は、低解像度画像の色情報の色数を減色することにより、低解像度画像の画像データのデータ量を削減してもよい。例えば、通信制御部２３７は、低解像度画像をグレースケール画像に変換することにより、低解像度画像の画像データのデータ量を削減してもよい。
　また、上記実施形態では、ユーザ端末１０がＨＭＤにより実現される例を説明した。しかし、本開示はかかる例に限定されない。例えば、ユーザ端末１０は、スマートフォン、ＰＣ、またはタブレット端末等の、ＶＲ技術を用いず、ユーザに２次元の画像として仮想の空間の表示を行う表示部を備えた情報処理端末であってもよい。このとき、ユーザ端末１０は、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術に対応する画像処理機能を有していればよい。この場合、情報処理装置２０は、例えば、ユーザがマウス等の操作入力部を操作することによりポインタを合わせている箇所をユーザの注視点として検出してもよい。または、情報処理装置２０は、ユーザ端末１０がタッチパネル等の操作表示部を備える場合には、ユーザが当該操作表示部を指等でタッチした箇所をユーザの注視点として検出してもよい。情報処理装置２０は、検出された注視点に基づき、ユーザの注視領域を示す高解像度画像を生成してもよい。これにより、例えばオンラインゲーム等の、仮想の空間が２次元の画像としてユーザに認識されるような表示装置に画像データを表示させる場合であっても、本開示を適用し、画像データの送信に係る負荷を低減することが可能である。
　また、上記実施形態では、ユーザ端末１０がＦｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術を実現する画像合成機能を備えており、かつ、情報処理装置２０がＦｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ技術に対応する高解像度画像と低解像度画像をユーザ端末１０へ送信する例を説明した。しかし、本開示は係る例に限定されない。例えば、ユーザ端末１０は、Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇを実現する画像合成機能を備えていなくてもよい。この場合、情報処理装置２０は、ユーザの注視領域のみの高解像度の画像データを生成しない。情報処理装置２０は、ユーザ端末１０に表示される領域全体の画像の画像データのみをユーザ端末１０へ送信すればよい。このような変形例においても、情報処理装置２０が、ユーザ端末１０との通信における通信帯域幅に応じて、ユーザ端末１０へ送信する当該画像データの画素数、フレームレート、または色数等を変更して当該増データのデータ量を調整することにより、画像データの送信に係る負荷を低減することが出来る。
　また、上記実施形態では、ユーザ端末１０から情報処理装置２０へ送信される各種センシングデータが、図６を参照して説明した表Ｔ１の内容のように、予め設定されている例を説明した。さらに、情報処理装置２０の通信制御部１３５が、情報処理装置２０との間の通信における通信帯域幅を所定の閾値と比較することにより、表Ｔ１に予め設定されている内容で、情報処理装置２０へ送信するセンシングデータの種別およびデータ量を決定する例を説明した。しかし、本開示は係る例に限定されない。情報処理装置２０が、ユーザ端末１０に対して、情報処理装置２０から情報処理装置２０へ送信するセンシングデータを指示またはリクエストすることにより、情報処理装置２０からユーザ端末１０への送信データが決定されてもよい。
　また、本実施形態によるユーザ端末１０、および情報処理装置２０の動作の処理におけるステップは、必ずしも説明図として記載された順序に沿って時系列に処理する必要はない。例えば、ユーザ端末１０および情報処理装置２０の動作の処理における各ステップは、説明図として記載した順序と異なる順序で処理されてもよく、並列的に処理されてもよい。
　また、上述したユーザ端末１０および情報処理装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、本実施形態による情報処理システムの機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムを記憶させた、コンピュータが読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示装置に、仮想空間を描画した画像データを送信する制御を行い、
　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、
　前記表示装置との通信における通信帯域幅の情報を取得し、
　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部を備える、
情報処理装置。
（２）
　前記表示装置から、ユーザの頭部姿勢を示す頭部姿勢情報を取得する通信部をさらに備え、
　前記制御部は、前記頭部姿勢情報に基づいて、前記仮想空間における前記ユーザ視野を算出する、前記（１）に記載の情報処理装置。
（３）
　前記通信部は、前記表示装置から前記ユーザの位置を示す位置情報を取得し、
　前記制御部は、前記位置情報に基づいて、前記仮想空間における前記ユーザ視野を算出する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記通信帯域幅が狭くなるほど、前記表示装置に送信する前記画像データのデータ量が低くなるように、当該データ量を調整する、前記（２）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記制御部は、
　　前記通信帯域幅が所定の閾値以上であるか否かを判定し、
　　判定結果に応じて、前記表示装置に送信する前記画像データのデータ量を決定する、
　前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記通信部は、前記通信帯域幅が第一の閾値を上回っている場合、前記ユーザ視野内の前記注視領域の算出に用いられる視線検出情報を前記表示装置から取得し、
　前記制御部は、
　　前記視線検出情報に基づき、前記第二の画像データを生成し、
　　前記通信帯域幅が第一の閾値以上であると判定すると、前記表示装置へ送信する前記画像データを前記第一の画像データおよび前記第二の画像データに決定する、
　前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記通信帯域幅が、前記第一の閾値を下回り、かつ、前記第一の閾値よりも低い第二の閾値以上であると判定すると、前記表示装置へ送信する画像データを前記第一の画像データに決定する、
　前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記通信帯域幅が前記第二の閾値を下回り、かつ、第二の閾値よりも低い第三の閾値以上であると判定すると、前記表示装置に送信する前記画像データを、前記第一の画像データに画像処理を行うことによりデータ量を削減した画像データに決定する、前記（７）に記載の情報処理装置。
（９）
　前記制御部は、前記第一の画像データの画素数を減らす画像処理を行うことにより、前記第一の画像データのデータ量を画像処理前よりも削減する、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記第一の画像データに含まれる色情報を減色する画像処理を行うことにより、前記第一の画像データのデータ量を画像処理前よりも削減する、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記制御部は、前記第一の画像データを白黒画像に変換する画像処理を行うことにより、前記画像データのデータ量を画像処理前よりも低減する、前記（８）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記通信部は、前記通信帯域幅が、前記第三の閾値よりも低い第四の閾値を下回っている場合、前記表示装置から取得する前記頭部姿勢情報の取得頻度を、当該取得頻度の初期値よりも削減する、
　前記（８）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記制御部は、
　　前記通信帯域幅の情報を取得する都度、前記通信帯域幅が前記所定の閾値以上であるか否かの判定を行い、
　　前記判定を行う都度、前記判定結果に基づいて、前記表示装置に送信する前記画像データのデータ量を決定する、
　前記（５）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　コンピュータを、
　表示装置に、仮想空間を描画した画像データを送信する制御を行い、
　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、
　前記表示装置との通信における通信帯域幅の情報を取得し、
　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部として機能させるための、プログラム。
（１５）
　表示装置に、仮想空間を描画した画像データを送信する制御を行うことと、
　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得することと、
　前記表示装置との通信における通信帯域幅の情報を取得することと、
　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整することと、を含む、コンピュータにより実行される情報処理方法。
　１０　ユーザ端末
　　１１０　通信部
　　１２０　センサ部
　　１２１　カメラ
　　１２３　マイク
　　１２５　ＩＭＵ
　　１２７　視線センサ
　　１２８　距離センサ
　　１２９　ＳＬＡＭカメラ
　　１３０　制御部
　　１３１　自己位置計測部
　　１３３　描画処理部
　　１３５　通信制御部
　　１４０　表示部
　　１５０　スピーカ
　　１６０　記憶部
　２０　情報処理装置
　　２１０　通信部
　　２２０　記憶部
　　２３１　検出部
　　２３３　算出部
　　２３５　描画制御部
　　２３７　通信制御部

Claims (15)

  1. 　表示装置に、仮想空間を描画した画像データを送信する制御を行い、
    　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、
    　前記表示装置との通信における通信帯域幅の情報を取得し、
    　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部を備える、
    情報処理装置。
  2. 　前記表示装置から、ユーザの頭部姿勢を示す頭部姿勢情報を取得する通信部をさらに備え、
    　前記制御部は、前記頭部姿勢情報に基づいて、前記仮想空間における前記ユーザ視野を算出する、請求項１に記載の情報処理装置。
  3. 　前記通信部は、前記表示装置から前記ユーザの位置を示す位置情報を取得し、
    　前記制御部は、前記位置情報に基づいて、前記仮想空間における前記ユーザ視野を算出する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記通信帯域幅が狭くなるほど、前記表示装置に送信する前記画像データのデータ量が低くなるように、当該データ量を調整する、請求項２に記載の情報処理装置。
  5. 　前記制御部は、
    　　前記通信帯域幅が所定の閾値以上であるか否かを判定し、
    　　判定結果に応じて、前記表示装置に送信する前記画像データのデータ量を決定する、
    　請求項２に記載の情報処理装置。
  6. 　前記通信部は、前記通信帯域幅が第一の閾値を上回っている場合、前記ユーザ視野内の前記注視領域の算出に用いられる視線検出情報を前記表示装置から取得し、
    　前記制御部は、
    　　前記視線検出情報に基づき、前記第二の画像データを生成し、
    　　前記通信帯域幅が第一の閾値以上であると判定すると、前記表示装置へ送信する前記画像データを前記第一の画像データおよび前記第二の画像データに決定する、
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記通信帯域幅が、前記第一の閾値を下回り、かつ、前記第一の閾値よりも低い第二の閾値以上であると判定すると、前記表示装置へ送信する画像データを前記第一の画像データに決定する、
    　請求項６に記載の情報処理装置。
  8. 　前記制御部は、前記通信帯域幅が前記第二の閾値を下回り、かつ、第二の閾値よりも低い第三の閾値以上であると判定すると、前記表示装置に送信する前記画像データを、前記第一の画像データに画像処理を行うことによりデータ量を削減した画像データに決定する、請求項７に記載の情報処理装置。
  9. 　前記制御部は、前記第一の画像データの画素数を減らす画像処理を行うことにより、前記第一の画像データのデータ量を画像処理前よりも削減する、請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記第一の画像データに含まれる色情報を減色する画像処理を行うことにより、前記第一の画像データのデータ量を画像処理前よりも削減する、請求項８に記載の情報処理装置。
  11. 　前記制御部は、前記第一の画像データを白黒画像に変換する画像処理を行うことにより、前記画像データのデータ量を画像処理前よりも低減する、請求項８に記載の情報処理装置。
  12. 　前記通信部は、前記通信帯域幅が、前記第三の閾値よりも低い第四の閾値を下回っている場合、前記表示装置から取得する前記頭部姿勢情報の取得頻度を、当該取得頻度の初期値よりも削減する、
    　請求項８に記載の情報処理装置。
  13. 　前記制御部は、
    　　前記通信帯域幅の情報を取得する都度、前記通信帯域幅が前記所定の閾値以上であるか否かの判定を行い、
    　　前記判定を行う都度、前記判定結果に基づいて、前記表示装置に送信する前記画像データのデータ量を決定する、
    　請求項５に記載の情報処理装置。
  14. 　コンピュータを、
    　表示装置に、仮想空間を描画した画像データを送信する制御を行い、
    　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得し、
    　前記表示装置との通信における通信帯域幅の情報を取得し、
    　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整する、制御部として機能させるための、プログラム。
  15. 　表示装置に、仮想空間を描画した画像データを送信する制御を行うことと、
    　前記画像データとして、前記仮想空間におけるユーザ視野全体を含む領域の画像データである第一の画像データと、ユーザ視野内の注視領域の画像データであって、前記第一の画像データより解像度が高く、前記表示装置において前記第一の画像データに合成される第二の画像データと、を取得することと、
    　前記表示装置との通信における通信帯域幅の情報を取得することと、
    　前記通信帯域幅に応じて、前記表示装置に送信する前記画像データのデータ量を調整することと、を含む、コンピュータにより実行される情報処理方法。
PCT/JP2023/034062 2022-11-09 2023-09-20 情報処理装置、プログラム、および情報処理方法 WO2024101002A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022179746 2022-11-09
JP2022-179746 2022-11-09

Publications (1)

Publication Number Publication Date
WO2024101002A1 true WO2024101002A1 (ja) 2024-05-16

Family

ID=91032169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034062 WO2024101002A1 (ja) 2022-11-09 2023-09-20 情報処理装置、プログラム、および情報処理方法

Country Status (1)

Country Link
WO (1) WO2024101002A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示***及影像低频宽传输方法
JP2017028350A (ja) * 2015-07-15 2017-02-02 キヤノン株式会社 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム
US20190089643A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming
JP2022113550A (ja) * 2021-01-25 2022-08-04 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767992A (zh) * 2015-04-13 2015-07-08 北京集创北方科技有限公司 头戴式显示***及影像低频宽传输方法
JP2017028350A (ja) * 2015-07-15 2017-02-02 キヤノン株式会社 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム
US20190089643A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming
JP2022113550A (ja) * 2021-01-25 2022-08-04 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法

Similar Documents

Publication Publication Date Title
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
US10559065B2 (en) Information processing apparatus and information processing method
US10310595B2 (en) Information processing apparatus, information processing method, computer program, and image processing system
KR101824501B1 (ko) 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US10642348B2 (en) Display device and image display method
US20180365800A1 (en) Video display system
WO2017033777A1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
US11544030B2 (en) Remote work-support system
JP2017045294A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
US20180316911A1 (en) Information processing apparatus
US11327317B2 (en) Information processing apparatus and information processing method
US20170019504A1 (en) Image transmission apparatus, information processing terminal, image transmission method, information processing method, program, and information storage medium
JP2011010126A (ja) 画像処理装置、画像処理方法
JP6121496B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6500570B2 (ja) 画像表示装置および画像表示方法
WO2024101002A1 (ja) 情報処理装置、プログラム、および情報処理方法
JP2018088604A (ja) 画像表示装置、画像表示方法、システム
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
US20240127629A1 (en) System, information processing method, and information processing program
US11908090B2 (en) Information processing device, information processing method, and program
US20230221794A1 (en) Head mounted display device and display content control method
JP2017045295A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP2023172180A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23888355

Country of ref document: EP

Kind code of ref document: A1