WO2020036099A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2020036099A1
WO2020036099A1 PCT/JP2019/031010 JP2019031010W WO2020036099A1 WO 2020036099 A1 WO2020036099 A1 WO 2020036099A1 JP 2019031010 W JP2019031010 W JP 2019031010W WO 2020036099 A1 WO2020036099 A1 WO 2020036099A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
view
resolution
display
Prior art date
Application number
PCT/JP2019/031010
Other languages
English (en)
French (fr)
Inventor
悌二郎 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112019004148.7T priority Critical patent/DE112019004148T5/de
Priority to JP2020537423A priority patent/JPWO2020036099A1/ja
Priority to CN201980053809.1A priority patent/CN112567760A/zh
Priority to US17/260,402 priority patent/US20210266510A1/en
Publication of WO2020036099A1 publication Critical patent/WO2020036099A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program. More specifically, the present invention relates to image processing at the time of zooming a wide-angle image.
  • Patent Document 2 when displaying an image of the same content, a technique is known in which low-resolution data is displayed first, and high-resolution data is displayed in response to a request from a user, thereby maintaining a high response.
  • Patent Document 3 a technique for realizing scrolling of a wide-angle image in the horizontal and vertical directions at low component cost is known (for example, Patent Document 3).
  • the present disclosure proposes an image processing device, an image processing method, and an image processing program that can improve a user experience regarding a wide-angle image.
  • an image processing apparatus provides a first image processing method for a partial image included in a designated area in a wide-angle image displayed on a display unit.
  • a receiving unit that receives a change from a corner to a second angle of view, and an image having a first resolution different from the resolution of the wide-angle image when the change of the angle of view is received by the receiving unit.
  • the second angle of view of the plurality of first images decoded before the change to the second angle of view is maintained while the display of at least one first image on the display unit is maintained.
  • An image generation unit that decodes a second image that is displayed on the display unit after the change to the second image and has a second resolution different from the first image.
  • the image processing device, the image processing method, and the image processing program according to the present disclosure it is possible to improve the user experience regarding a wide-angle image.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a diagram illustrating an example of an image processing system according to a first embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a change in zoom magnification in a wide-angle image.
  • FIG. 2 is a diagram for describing a division hierarchy method according to the first embodiment of the present disclosure.
  • FIG. 2 is a diagram for describing an outline of an image generation process according to the first embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a relationship between a wide-angle image and a viewpoint of a user.
  • FIG. 9 is a diagram illustrating an example of an image generation process according to a division hierarchy method.
  • FIG. 2 is a diagram (1) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • FIG. 2B is a diagram (2) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • FIG. 6 is a diagram (3) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • 2 is a flowchart (1) illustrating a flow of a process according to the first embodiment of the present disclosure.
  • 5 is a flowchart (2) illustrating a flow of a process according to the first embodiment of the present disclosure.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes functions of an image processing apparatus.
  • the wide-angle image according to the present disclosure is an image having a wider angle of view than the angle of view displayed on the display, such as a spherical content or a panoramic image.
  • a celestial sphere content will be described as an example of a wide-angle image.
  • the spherical content is generated by being photographed by a spherical camera capable of photographing 360 degrees in all directions. Since the spherical content has a wider angle of view than a general display (for example, an HMD (Head Mounted Display) worn by the user), the size of the display (in other words, the user's Only a partial area cut out according to the viewing angle of view is displayed. For example, the user operates the touch display to change the display location, or gives a change in the line of sight or posture via the mounted HMD to view the spherical content while changing the display position.
  • a general display for example, an HMD (Head Mounted Display) worn by the user
  • the size of the display in other words, the user's Only a partial area cut out according to the viewing angle of view is displayed.
  • the user operates the touch display to change the display location, or gives a change in the line of sight or posture via the mounted HMD to view the spherical content while changing the display position.
  • the processing load can be reduced or the line bandwidth can be reduced. Efficiency can be improved.
  • the state in which the minimum data for all directions exists is maintained in preparation for a sudden turning of the user.
  • the data for all directions has a large amount of information, and it is difficult to hold data of a relatively high resolution (hereinafter, referred to as “high resolution”). , "Low resolution").
  • high resolution a relatively high resolution
  • Low resolution the high-resolution data corresponding to the display area is decoded to generate a high-resolution image, and the generated high-resolution image is displayed over the low-resolution image.
  • the image quality may look inferior even at a normal high resolution (hereinafter, referred to as a “first resolution”). Therefore, in this method, by decoding image data of a higher resolution (hereinafter, referred to as “second resolution”), image quality that can withstand high-magnification zoom (in other words, display of a very narrow angle of view) is achieved. Images can be provided.
  • this method uses the low-resolution omnidirectional spherical content and the first resolution image (corresponding to the case where the zoom magnification is from 1 ⁇ (1 ⁇ ) to a relatively low zoom ratio (when the angle of view is relatively wide).
  • this is referred to as a “first image”), and is referred to as an image of a second resolution (hereinafter, referred to as a “second image”) corresponding to a case where the zoom magnification is relatively high (a case where the angle of view is relatively narrow).
  • Images of three resolutions are switched and displayed.
  • such a technique is referred to as a division hierarchical scheme.
  • low-resolution omnidirectional content is always decoded, and an image of the first resolution or an image of the second resolution is decoded according to the area.
  • the maximum number of images that can be decoded simultaneously depends on, for example, the performance of hardware.
  • a VR image or the like viewed using an HMD even when the user increases the zoom magnification, an experience of viewing a high-resolution image can be provided.
  • the image processing according to the present disclosure suppresses a sharp change in resolution even when the zoom magnification of an image displayed on an HMD or the like is changed (that is, when the angle of view is changed). Reduce user sickness. According to the image processing according to the present disclosure, a user experience regarding a wide-angle image can be improved.
  • each device configuring the image processing system 1 that realizes the image processing according to the present disclosure will be described with reference to FIG.
  • FIG. 1 is a diagram illustrating an example of an image processing system 1 according to the first embodiment of the present disclosure. As shown in FIG. 1, the image processing system 1 includes an HMD 10, a controller 20, and an image processing device 100.
  • the $ HMD 10 is a display device worn on the head of the user, and is a so-called wearable computer.
  • the HMD 10 implements a display process according to the orientation, movement, moving speed, and the like of the user's body.
  • the controller 20 is an information device connected to the image processing apparatus 100 and the HMD 10 via a wired or wireless network.
  • the controller 20 is, for example, an information device that is held and operated by a user wearing the HMD 10, and is an example of an input device for inputting information to the HMD 10 and the image processing apparatus 100.
  • the controller 20 detects the movement of the user's hand and information input to the controller 20 from the user, and transmits the detected information to the HMD 10 and the image processing apparatus 100.
  • the controller 20 is used to specify an area to be displayed on the HMD in the spherical content, and to specify a zoom magnification of an image displayed on the HMD.
  • the controller 20 is an arbitrary remote controller having a communication function (for example, Bluetooth (registered trademark) or the like) with the image processing apparatus 100 or the HMD 10, a game controller, or the like.
  • the image processing device 100 is an information processing device that executes image processing according to the present disclosure.
  • the image processing apparatus 100 transmits the held content to the HMD 10 in response to a request transmitted from the HMD 10, for example.
  • the HMD 10 includes processing units such as a detection unit 15, a transmission unit 16, a reception unit 17, and a display control unit 18.
  • Each processing unit is realized by executing a program stored in the HMD 10 using a RAM (Random Access Memory) or the like as a work area by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • Each processing unit may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the detection unit 15 detects operation information of a user wearing the HMD 10, that is, so-called head tracking information. Specifically, the detection unit 15 controls the sensor 11 included in the HMD 10 to detect various information related to the user's operation, such as the orientation, tilt, movement, and moving speed of the user's body. More specifically, the detection unit 15 includes information on the user's head and posture, movement of the user's head and body (acceleration and angular velocity), direction of the visual field, speed of viewpoint movement, and the like as information on the user's movement. Is detected.
  • the detection unit 15 controls various types of motion sensors such as a three-axis acceleration sensor, a gyro sensor, and a speed sensor as the sensor 11, and detects information on a user's operation.
  • the sensor 11 does not necessarily need to be provided inside the HMD 10, and may be, for example, an external sensor connected to the HMD 10 by wire or wirelessly.
  • the detection unit 15 detects the position of the viewpoint on which the user gazes on the display 12 of the HMD 10.
  • the detection unit 15 may detect the viewpoint position using various known methods. For example, the detection unit 15 may detect the viewpoint position of the user by estimating the orientation of the user's head using the above-described three-axis acceleration sensor, gyro sensor, or the like.
  • the detection unit 15 may detect the viewpoint position of the user by using a camera that captures the eyes of the user as the sensor 11.
  • the sensor 11 is installed at a position where the user's eyeball is located within the imaging range when the user mounts the HMD 10 on the head (for example, a position close to the display 12 and a lens facing the user). Is done.
  • the sensor 11 recognizes the direction in which the line of sight of the right eye is facing, based on the captured image of the right eye of the user and the positional relationship between the right eye. Similarly, the sensor 11 recognizes the direction in which the line of sight of the left eye is facing, based on the captured image of the left eye of the user and the positional relationship with the left eye.
  • the detection unit 15 may detect which position on the display 12 the user is gazing at based on such an eyeball position.
  • the detection unit 15 detects information on an area (a position in the omnidirectional content) displayed on the display 12 in the omnidirectional content. That is, the detecting unit 15 detects information indicating an area specified by the user's head or posture information or an area specified by the user by a touch operation or the like, in the spherical content. Further, the detection unit 15 detects the setting of the angle of view of a partial image (hereinafter, referred to as a “partial image”) of the omnidirectional content displayed in the area.
  • the setting of the angle of view is, in other words, the setting of the zoom magnification.
  • the detection unit 15 detects the zoom magnification specified by the user in the partial image, and detects the angle of view of the partial image displayed in the area. Then, the detecting unit 15 sends the detected information to the transmitting unit 16.
  • the transmission unit 16 transmits various information via a wired or wireless network or the like. For example, the transmission unit 16 transmits the head tracking information detected by the detection unit 15 to the image processing device 100. Further, the transmission unit 16 transmits a request to transmit the omnidirectional content to the HMD 10 to the image processing apparatus 100. The transmission unit 16 also transmits to the image processing apparatus 100 a display status such as which position of the celestial sphere content the user is displaying while displaying the celestial sphere content. Further, the transmission unit 16 transmits the current zoom magnification of the partial image and a change in the zoom magnification to the image processing apparatus 100.
  • the receiving unit 17 receives various information via a wired or wireless network or the like.
  • the receiving unit 17 receives an image displayed by the display control unit 18 (more precisely, data such as pixel information constituting an image displayed on the display 12).
  • the display control unit 18 controls display processing of the image received by the receiving unit 17. Specifically, the display control unit 18 performs display control processing of the low-resolution omnidirectional content or the first image superimposed on the omnidirectional content in the display area of the display 12. In addition, when the zoom magnification is set high on the display 12, the display control unit 18 performs display control processing of the second image superimposed on the omnidirectional content in the display area of the display 12.
  • the display 12 is a display unit that displays an image on the HMD 10, and is realized by, for example, an organic EL (Electro-Luminescence) display, a liquid crystal display, or the like.
  • an organic EL Electro-Luminescence
  • the HMD 10 includes an input unit for receiving an operation from a user, a storage unit for storing received images such as omnidirectional content, and an output unit having an audio output function. Etc. may be provided.
  • the image processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the communication unit 110 is realized by, for example, an NIC (Network Interface Card) or the like.
  • the communication unit 110 is connected to a network (such as the Internet) by wire or wirelessly, and transmits and receives information to and from the HMD 10, the controller 20, and the like via the network.
  • a network such as the Internet
  • the storage unit 120 is realized by, for example, a semiconductor memory device such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 includes a low-resolution image storage unit 121, a low-magnification zoom image storage unit 122, and a high-magnification zoom image storage unit 123.
  • the low-resolution image storage unit 121 stores information on a low-resolution image (for example, image data serving as a source of an image displayed on the display unit of the HMD 10) among contents transmitted to the HMD 10.
  • the low-resolution image is an image that covers the positions in all directions of the wide-angle image displayed on the HMD 10. Since the low-resolution image has a low resolution instead of covering all directions, the decoding load or the transmission to the HMD 10 may increase the processing load or reduce the communication band with the HMD 10. Can be prevented.
  • the low-resolution image has a resolution (1920 ⁇ 1080 pixels (equidistant cylinder)) corresponding to a full HD (Full High Definition).
  • the low-magnification zoom image storage unit 122 stores a first image that is a high-resolution image for low-magnification zoom (for example, from a state without zooming to less than three times) among contents transmitted to the HMD 10. For example, assuming that the angle of view without zoom is “100 °”, the first image is an image covering a range from “100 °” to an angle of view “35 °” or more of the 3 ⁇ zoom. . Specifically, the first image is displayed when the zoom magnification satisfies the above-described condition and is superimposed on the low-resolution image when the HMD 10 displays the wide-angle image.
  • the first image has a resolution corresponding to, for example, 8k or 18k.
  • the first image corresponding to one celestial sphere content is a celestial sphere content having a vertical angle of view of 90 ° and a horizontal celestial image. This is an image in which the corners are divided every 90 °, and the resolution of each image is “2048 ⁇ 2048 pixels”.
  • the first image corresponding to one celestial sphere content has a vertical angle of view of 30 ° and a horizontal directional angle of the celestial sphere content. This is an image in which the angle of view is divided every 45 °, and the resolution of each image is “2304 ⁇ 1280 pixels”.
  • the high-resolution image is appropriately divided and held so that the information amount is substantially the same.
  • the high-magnification zoom image storage unit 123 stores a second image that is a high-resolution image for high-magnification zoom (for example, three times or more) among contents to be transmitted to the HMD 10. For example, assuming that the angle of view without zoom is “100 °”, the second image is an image covering a range of less than the angle of view “35 °” of 3 ⁇ zoom. Specifically, the second image is displayed when the zoom magnification satisfies the above condition and is superimposed on the low-resolution image when the HMD 10 displays the wide-angle image.
  • the second image has a resolution corresponding to, for example, 44k.
  • the second image corresponding to one celestial sphere content is a celestial sphere content having a vertical angle of view of 22 ° and a horizontal celestial image. This is an image in which the corners are divided every 13.7 °, and the resolution of each image is “1664 ⁇ 2560 pixels”. Due to such division, the information amount of the second image is substantially the same as that of the first image.
  • the control unit 130 is realized by, for example, executing a program (for example, an image processing program according to the present disclosure) stored in the image processing apparatus 100 using a RAM or the like as a work area by a CPU, an MPU, or the like.
  • the control unit 130 is a controller, and may be realized by, for example, an integrated circuit such as an ASIC or an FPGA.
  • control unit 130 includes a reception unit 131, an image generation unit 132, and a transmission unit 133, and implements or executes information processing functions and operations described below.
  • the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 1 and may be another configuration as long as the configuration performs information processing described later.
  • the receiving unit 131 acquires various information via a wired or wireless network. For example, the reception unit 131 acquires head tracking information and the like transmitted from the HMD 10. In addition, the receiving unit 131 receives a request transmitted from the HMD 10, including a request to transmit the omnidirectional content to the HMD 10.
  • the accepting unit 131 accepts a change from the first angle of view to the second angle of view for a partial image included in the designated area in the wide angle of view image.
  • the receiving unit 131 receives area designation information from a user using the HMD 10.
  • the designation information is, for example, information that designates an arbitrary position in the wide-angle image such as a position designated via the controller 20 or a position specified based on the head tracking information. That is, the accepting unit 131 determines whether or not an area designated based on the head tracking information or the like in the omnidirectional content displayed on the HMD 10 (an area of the omnidirectional content that is actually displayed on the display 12). Accepts changes in zoom magnification.
  • the receiving unit 131 may receive a change from the first angle of view to the second angle of view via a signal received from an input device (controller 20) used by the user.
  • the receiving unit 131 receives a change from the first angle of view to a second angle of view, which is a narrower angle of view than the first angle of view.
  • the accepting unit 131 accepts a request to zoom in on the partial image displayed on the HMD 10.
  • the receiving unit 131 receives a change from the first angle of view to a second angle of view that is wider than the first angle of view. In other words, the receiving unit 131 receives a request for zooming out the partial image displayed on the HMD 10.
  • the receiving unit 131 receives information on the user's viewpoint with respect to the area. In other words, the receiving unit 131 receives information indicating which part of the partial image displayed on the HMD 10 the user is watching.
  • the image generation unit 132 generates an image to be transmitted to the HMD 10. More specifically, the image generating unit 132 generates data that is a source of an image displayed on the display 12 of the HMD 10.
  • the image generation unit 132 generates an image displayed on the HMD 10 based on the zoom magnification, head tracking information, and the like received by the reception unit 131. That is, the image generation unit 132 obtains various information received by the reception unit 131, a decoder that decodes (decodes) the image specified by the obtainment unit, and the decoded image and the zoom magnification. And functions as a renderer that performs rendering (image generation) by determining a display area based on the head tracking information and the like.
  • the image generating unit 132 switches to the second angle of view.
  • the display on the display unit (display 12) is maintained for at least one of the plurality of first images that have been decoded before the change.
  • the image generating unit 132 is an image displayed on the display unit after the change to the second angle of view while maintaining the display of the at least one first image on the display unit, and the first image Decoding of a second image having a second resolution different from the second image.
  • the image generation unit 132 replaces the first image, which has been kept displayed on the display unit, with the second image, which has been decoded, and To update.
  • the image generating unit 132 replaces the first image, which has been kept displayed on the display unit, with the decoded second image, and then executes another second image having the second resolution. Perform image decoding.
  • the image generation unit 132 receives a change from the first angle of view to the second angle of view, which is a narrower angle of view (ie, zooms in), at least one of the plurality of first images
  • the second image having the second resolution higher than the first resolution is decoded while maintaining the display of one first image on the display unit.
  • the image generation unit 132 When the image generation unit 132 receives a change from the first angle of view to the second angle of view, which is a wider angle of view (ie, zooms out), at least one of the plurality of first images.
  • the second image having the second resolution lower than the first resolution is decoded while maintaining the display of the first image on the display unit.
  • the image generation unit 132 may generate any one of the first images among the plurality of first images displayed before the change to the second angle of view based on the information regarding the user's viewpoint. You may decide to keep the display.
  • the image generation unit 132 gives priority to the first image located closer to the user's viewpoint among the plurality of first images displayed before the change to the second angle of view. May be maintained.
  • the transmission unit 133 transmits the image (data constituting the image) generated by the image generation unit 132 to the HMD 10.
  • FIG. 2 is a diagram for explaining a change in zoom magnification in a wide-angle image.
  • images P01 to P07 show images that the user wearing the HMD 10 views on the display 12.
  • the image P01 is a partial image corresponding to an area that can be displayed on the display 12 of the HMD 10 in the omnidirectional content transmitted to the HMD 10.
  • the user changes the zoom magnification of the image being viewed by performing a predetermined operation on the controller 20 or the HMD 10.
  • the accepting unit 131 accepts a change of the image viewed by the user from the first angle of view to the second angle of view.
  • FIG. 2 shows an example of a zoom-in operation, and it is assumed that the second angle of view is narrower than the first angle of view.
  • the image generating unit 132 performs a process of updating the image P01 to the image P02 and updating the image P02 to the image P03.
  • the zoom video with higher magnification is provided to the user from the image P01 toward the image P07.
  • the image P01 is “no zoom (zoom magnification is 1 ⁇ )”
  • the images P02 and P03 are “low magnification zoom”
  • the images P07 to P07 are “high magnification zoom”. It is assumed that
  • the image processing device 100 accepts a change in the angle of view with respect to the partial image displayed in a certain area, and performs a process of updating the image according to the change at a predetermined timing (for example, (30 times or 60 times per second).
  • FIG. 3 is a diagram for describing the division hierarchy method according to the first embodiment of the present disclosure.
  • FIG. 3 shows an image P11 without zoom, an image P12 with low magnification zoom, and an image P13 with high magnification zoom.
  • an image P111 having a higher resolution is superimposed on a low-resolution image of the spherical content, and is displayed on the display 12 as compared with the spherical content. Is displayed.
  • the number of decoded images is “3”
  • the image generation unit 132 has decoded another high-resolution image in addition to the images P11 and P111 (not shown).
  • the other high-resolution image covers the outside of the area of the image P11. Therefore, even when the user moves his / her line of sight, the image generation unit 132 can provide the user with a high-resolution image without performing new decoding.
  • the image generation unit 132 superimposes an image with a higher resolution (corresponding to 18k in the example of FIG. 3).
  • the higher the resolution the smaller the area that can be covered in the image P12. Therefore, the image generation unit 132 superimposes the image P12 on the image P12 using two decodable images other than the image P12.
  • the high-resolution image is divided into a plurality of pieces and is superimposed on the low-resolution image P12.
  • a high-resolution image that is divided and superimposed may be referred to as a divided image.
  • the image P12 is displayed on the display 12 with the higher resolution divided image P121 and the divided image P122 superimposed on the lower resolution image of the spherical content.
  • the image generating unit 132 superimposes an image with a higher resolution (corresponding to 44k in the example of FIG. 3).
  • the image P13 is displayed on the display 12 with the higher resolution divided image P131 and the divided image P132 superimposed on the lower resolution image of the spherical content.
  • the image processing apparatus 100 provides a user with an image having an image quality that can withstand zooming by superimposing and displaying a high-resolution divided image in accordance with the zoom magnification.
  • FIG. 4 is a diagram for describing an outline of the image generation processing according to the first embodiment of the present disclosure.
  • the image processing apparatus 100 has a capability of decoding three images simultaneously.
  • the image generation unit 132 always decodes the low-resolution spherical content P21. This is to prevent blank display from occurring when the user makes a sudden turn as described above.
  • the image generation unit 132 decodes the high-resolution divided image P22 or the divided image P23 according to the current zoom magnification.
  • the image generation unit 132 specifies the position of the omnidirectional content P21 where the user is viewing and superimposes the divided image P22 and the divided image P23 on the position.
  • the image P31 in which the divided image P22 and the divided image P23 are superimposed on the position of the user's viewpoint in the spherical content is displayed.
  • the image P31 since the high-resolution divided image P22 and the divided image P23 are superimposed, for example, the user can view a clear image as shown in the image P32.
  • FIG. 5 is a diagram showing the relationship between the wide-angle image and the viewpoint of the user. Note that, in the example of FIG. 5, the omnidirectional content is described as an example of the wide-angle image.
  • the user's viewpoint in the spherical content is indicated using an azimuth angle ⁇ and an elevation angle ⁇ .
  • the azimuth angle ⁇ is an angle from a predetermined reference axis on an XZ plane which is a horizontal plane of the 3D model coordinate system shown in FIG.
  • the elevation angle ⁇ is an angle in the vertical direction with respect to the XZ plane of the 3D model coordinate system shown in FIG. 5 as a reference plane.
  • the image processing apparatus 100 specifies the azimuth ⁇ and the elevation ⁇ of the position where the user is looking at the viewpoint in the 3D model coordinate system. Then, the image processing apparatus 100 specifies a viewpoint vector 50 indicating the viewpoint of the user based on the azimuth angle ⁇ and the elevation angle ⁇ . Subsequently, the image processing apparatus 100 specifies a position where the viewpoint vector 50 intersects with the 3D model coordinate system corresponding to the omnidirectional content as a position where the user is viewing in the omnidirectional content.
  • the image processing apparatus 100 may specify the viewpoint of the user based on various known technologies. Through this processing, the image processing apparatus 100 can specify the position of the omnidirectional content where the user is viewing and the part of the partial image displayed on the display 12 where the user is looking. .
  • the image generation unit 132 preferentially displays the high-resolution divided image in a portion of the partial moving image where the user is facing the viewpoint, and in a portion where the user is not facing the viewpoint (peripheral visual field). Adjustments such as omitting display of a high-resolution divided image can be made.
  • the image generation unit 132 arranges two divided images especially around a location where the user is gazing (the location shown in the image P32), and places the image in the peripheral visual field (in the image P31). (A portion indicated by a lattice shape) can be adjusted so that the divided images are not arranged.
  • FIG. 6 is a diagram illustrating an example of an image generation process according to the division hierarchy method. 6 to 9, description will be made using an image image displayed on one surface (display corresponding to the right eye or left eye of the user) of the display 12 provided in the HMD 10. 6 to 9, the number of images that can be decoded by the image processing apparatus 100 is “3”.
  • the HMD 10 has acquired the celestial sphere content P41, and among these, the low-resolution image C01 corresponding to the position at which the user is looking, and the divided image a1 and the divided image b1 superimposed on the low-resolution image C01. indicate.
  • the HMD 10 displays the low-resolution image C02 corresponding to the new zoom magnification.
  • the divided image a1 and the divided image b1 are deleted. This is because the number of images that can be decoded by the image processing apparatus 100 is “3”, and one image is used for decoding the omnidirectional content P41, so the divided image a1, the divided image b1, the divided image A1, and the This is because four frames of the divided image B1 cannot be decoded simultaneously.
  • the image processing apparatus 100 generates an image in which the divided image A1 and the divided image B1 are superimposed on the low-resolution image C02.
  • FIG. 7 is a diagram (1) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • FIG. 7 shows, in chronological order, the image displayed on the display 12 and the status of the slot in which the image generating unit 132 of the image processing apparatus 100 decodes the image.
  • the display 12 displays the low-resolution image C01, the divided image a1, and the divided image b1.
  • the image generation unit 132 decodes the omnidirectional content P41 including the low-resolution image C01 in the slot 1. Further, the image generation unit 132 decodes the divided image b1 in slot 2 and decodes the divided image a1 in slot 3 (timing T11).
  • the image generation unit 132 displays the low-resolution image C02 after the change. As described above, since the image generation unit 132 decodes all positions of the omnidirectional content P41, the low-resolution image C02 can be displayed without waiting time.
  • the image generation unit 132 needs to decode a new divided image, and thus temporarily stops decoding the divided image a1 and the divided image b1 (timing T12). Then, the image generation unit 132 starts decoding the new divided image A1 and the new divided image B1 (timing T13).
  • a divided image not illustrated by a solid line at timing T ⁇ b> 13 indicates that decoding is in progress.
  • the image generation unit 132 generates an image after changing the zoom magnification after the completion of decoding of the divided image A1 and the divided image B1 (Step S12).
  • the low-resolution image C02, the divided image A1, and the divided image B1 are displayed on the display 12. That is, the image generation unit 132 decodes the divided image B1 in the slot 2 and decodes the divided image A1 in the slot 3 while decoding the omnidirectional content P41 in the slot 1 (timing T14).
  • FIG. 8 is a diagram (2) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • the display 12 displays the low-resolution image C01, the divided image a1, and the divided image b1.
  • the image generation unit 132 decodes the omnidirectional content P41 in slot 1, decodes the divided image b1 in slot 2, and decodes the divided image a1 in slot 3 (timing T21).
  • the image generating unit 132 maintains the display of at least one of the divided images decoded before the change in the zoom magnification. For example, the image generator 132 deletes only the divided image b1 from the slots 2 and 3 from the slot 2 and leaves the divided image a1 in the slot 3. For example, the image generation unit 132 maintains the side closer to the user's viewpoint (the divided image a1 in the example of FIG. 8) and the side farther from the user's viewpoint (the divided image in the example of FIG. 8) of the plurality of divided images.
  • the image b1) is erased (timing T22). In this case, although the display itself of the divided image a1 is maintained, the angle of view of the divided image a1 may be changed with a change in the zoom magnification.
  • the image generating unit 132 generates an image to be displayed on the display 12 based on the low-resolution image C02 and the divided image a1 whose display is maintained. In this case, since the divided image a1, which is a high-resolution image, is maintained, the user can continue viewing the high-resolution image.
  • the image generation unit 132 starts decoding the divided image A1 after the change of the zoom magnification in the slot 2 that has become empty due to the deletion of the divided image b1 (timing T23). Then, when the decoding of the divided image A1 is completed (timing T24), the image generation unit 132 displays the divided image A1 by superimposing it on the low-resolution image C02 and the divided image a1. For example, since the divided image A1 has a higher resolution than the divided image a1, the size of the image is smaller than that of the divided image a1. That is, the divided image A1 is included in the position where the divided image a1 is displayed.
  • the divided image A1 is, for example, a peripheral area at a position closest to the viewpoint position of the user.
  • the image generating unit 132 deletes the divided image a1 maintained in the slot 3 (timing T25). Subsequently, the image generation unit 132 starts decoding the divided image B1 in the empty slot 3 (timing T26).
  • the image generation unit 132 When the decoding of the divided image B1 is completed, the image generation unit 132 generates an image in which the divided image A1 and the divided image B1 are superimposed on the low-resolution image C02 (Step S22). At this time, the image generation unit 132 decodes the omnidirectional content P41 in slot 1, decodes the divided image A1 in slot 2, and decodes the divided image B1 in slot 3 (timing T27).
  • the image generating unit 132 maintains the divided image before the change in the zoom magnification, Of the divided image is decoded.
  • the image generation unit 132 can change the zoom magnification while maintaining high resolution around the position where the user is gazing. Accordingly, the user does not need to watch the switching from the low-resolution blurred image to the high-resolution clear image at the position where the user is gazing, so that symptoms such as VR sickness can be reduced.
  • FIG. 8 shows an example of image processing in a zoom-in situation, but the image generation unit 132 performs the same processing in a zoom-out situation.
  • FIG. 9 is a diagram (3) illustrating an example of an image generation process according to the first embodiment of the present disclosure.
  • the display 12 displays the low-resolution image C02, the divided image A1, and the divided image B1 after zooming in.
  • the image generating unit 132 decodes the omnidirectional content P41 in slot 1, decodes the divided image A1 in slot 2, and decodes the divided image B1 in slot 3 (timing T31).
  • the image generating unit 132 maintains the display of at least one of the divided images decoded before the change in the zoom magnification. .
  • the image generating unit 132 deletes only the divided image B1 from the slots 3 and 2 and leaves the divided image A1 in the slot 2.
  • the image generation unit 132 maintains the side closer to the user's viewpoint (divided image A1 in the example of FIG. 9) and the side farther from the user's viewpoint (divided in the example of FIG. The image B1) is deleted (timing T32).
  • the angle of view of the divided image A1 may be changed with a change in the zoom magnification.
  • the image generating unit 132 generates an image to be displayed on the display 12 based on the low-resolution image C01 after zooming out and the divided image A1 whose display is maintained. In this case, since the divided image A1 that is a high-resolution image is maintained, the user can continue to view the high-resolution image.
  • the image generation unit 132 starts decoding the divided image a1 after the change of the zoom magnification in the slot 3 vacated by the deletion of the divided image B1 (timing T33).
  • the image generating unit 132 displays the divided image a1 by superimposing the divided image a1 on the low-resolution image C01 and the divided image A1.
  • the divided image a1 has a lower resolution than the divided image A1, the size of the image is wider than the divided image A1. That is, the divided image a1 is displayed in a wider area including the position where the divided image A1 is displayed.
  • the divided image a1 is, for example, a peripheral area at a position closest to the user's viewpoint position.
  • the image generation unit 132 deletes the divided image A1 maintained in the slot 2 (timing T35). Subsequently, the image generation unit 132 starts decoding the divided image b1 in the empty slot 2 (timing T36).
  • the image generation unit 132 When the decoding of the divided image b1 is completed, the image generation unit 132 generates an image in which the divided image a1 and the divided image b1 are superimposed on the low-resolution image C01 (Step S32). At this time, the image generation unit 132 decodes the omnidirectional content P41 in slot 1, decodes the divided image b1 in slot 2, and decodes the divided image a1 in slot 3 (timing T37).
  • the image generating unit 132 can change the zoom magnification while maintaining a high-resolution image near the user's viewpoint, as in the case of zoom-in.
  • FIG. 10 is a flowchart (1) illustrating a flow of a process according to the first embodiment of the present disclosure.
  • the image processing apparatus 100 starts reproducing a moving image displayed on the display 12 according to a predetermined operation received from the HMD 10 or the controller 20 (step S101).
  • the image processing apparatus 100 sets the maximum display number “n” of the divided images based on the hardware performance of the image processing apparatus 100 and the HMD 10 (step S102).
  • “N” is an arbitrary natural number. For example, when the number of slots is “3” as shown in FIG. 7 and the like, the maximum display number “n” of the divided images is obtained by subtracting the amount of the spherical content. "2".
  • the image processing apparatus 100 appropriately updates the frame to be displayed according to the reproduction of the operation (step S103). For example, the image processing apparatus 100 updates a frame (in other words, an image displayed on the display 12) at a timing such as 30 times or 60 times per second.
  • the image processing apparatus 100 determines whether or not a change in the zoom magnification has been received from the user (step S104). When the change of the zoom magnification is received (Step S104; Yes), the image processing apparatus 100 changes to the received zoom magnification (Step S105). When the change of the zoom magnification is not received (Step S104; No), the image processing apparatus 100 maintains the current zoom magnification.
  • the image processing apparatus 100 acquires the tracking information of the HMD 10 (Step S106). Thereby, the image processing apparatus 100 can determine the position of the image to be displayed at the next timing (the position of the spherical content displayed on the display 12).
  • Step S107 the image processing apparatus 100 performs a display process of the divided image. Details of the divided image display processing will be described later with reference to FIG.
  • the image processing apparatus 100 determines whether or not the end of the operation reproduction has been received from the user (step S108). When the end of the reproduction has not been received (Step S108; No), the image processing apparatus 100 continues the process of updating the next frame (Step S103).
  • Step S108 when the end of the reproduction is received (Step S108; Yes), the image processing apparatus 100 ends the reproduction of the moving image (Step S109).
  • FIG. 11 is a flowchart (2) illustrating a flow of a process according to the first embodiment of the present disclosure.
  • the image processing apparatus 100 calculates the sum of the divided image of the current zoom magnification (or the changed zoom magnification when the change of the zoom magnification is received from the user) and the divided image being decoded. Is determined to be n (step S201).
  • Step S201 the image processing apparatus 100 determines whether or not the divided image of the previous zoom magnification (the zoom magnification before the change) is being displayed (Step S202).
  • step S202 If the divided image with the previous zoom magnification is being displayed (step S202; Yes), the image processing apparatus 100 further determines whether or not n divided images are being displayed (step S203).
  • Step S203 When n divided images are being displayed (Step S203; Yes), the image processing apparatus 100 stops decoding one of the divided images displayed at the previous zoom magnification that is far from the user's line of sight (Step S203). Step S204). That is, the image processing apparatus 100 stops decoding one displayed divided image in order to make a slot available.
  • Step S202 If the divided image of the previous zoom magnification is not being displayed (Step S202; No), if n divided images are not being displayed (Step S203; No), or after Step S204, the image processing apparatus 100 It is determined whether or not the divided image of the zoom magnification is being decoded (step S205).
  • Step S205 If the divided image with the current zoom magnification is not being decoded (Step S205; No), the image processing apparatus 100 decodes one of the divided images with the current zoom magnification that is close to the user's line of sight (Step S205). S206).
  • Step S205 When the divided image of the current zoom magnification is being decoded (Step S205; Yes), after the processing of Step S206, or the total of the divided image of the current zoom magnification and the divided image being decoded is n. In this case (Step S201; Yes), the image processing apparatus 100 generates a display image using the decoded image (Step S207). Then, the image processing apparatus 100 transmits the generated display image to the HMD 10 (Step S208).
  • the image processing apparatus 100 generates an image using a high-resolution divided image having a resolution such as a first resolution or a second resolution.
  • a resolution such as a first resolution or a second resolution.
  • the image processing apparatus 100 may set the resolution more finely (for example, in four levels, five levels, or the like).
  • the image processing apparatus 100 shows an example in which the zoom magnification is set in two stages such as a low magnification and a high magnification.
  • the zoom magnification is set more finely (for example, in three stages or four stages). Is also good.
  • the maximum number of decodes is “3”
  • the number of images that can be decoded by the image processing apparatus 100 is “3” (in other words, the number of slots is “3”).
  • the number of slots in the image processing according to the present disclosure is not limited to “3”. That is, the image processing according to the present disclosure is applicable as long as the number of slots is two or more, and is less than the number of all the divided images included in the wide-angle image that can be decoded in parallel.
  • the image processing apparatus 100 may determine the decoding order of the divided images using elements other than the user's viewpoint.
  • the image processing apparatus 100 may preferentially decode the divided image located at the center of the image displayed on the display 12. Further, when there is a position specified by the user in advance, the image processing apparatus 100 may preferentially decode the divided image corresponding to the specified position.
  • the first embodiment shows an example in which the image processing according to the present disclosure is performed when the user requests a change in the zoom magnification, that is, when the user requests a change in the angle of view of the image being displayed.
  • the image processing device 100 may perform the image processing according to the present disclosure even when a change in the zoom magnification is not requested.
  • the image processing apparatus 100 performs the image processing according to the present disclosure to prevent a low-resolution image or a high-resolution image from being frequently replaced and displayed. can do.
  • the image processing apparatus 100 processes a zoom less than three times as low magnification zoom and a three times or more zoom as high magnification.
  • the image processing apparatus 100 may perform the image processing according to the present disclosure based on an arbitrarily set magnification (angle of view).
  • the image processing system 2 includes the controller 20 and the HMD 10. Further, the HMD 10 includes processing units that execute processing equivalent to the control unit 130 of the image processing apparatus 100 illustrated in FIG. In other words, the HMD 10 has each processing unit for executing a program for realizing image processing according to the present disclosure.
  • the HMD 10 may not have the storage unit 120.
  • the HMD 10 acquires various contents via a network from a predetermined storage server that stores the omnidirectional content and the high-resolution image corresponding to the omnidirectional content.
  • the HMD 10 is an information device that has the display 12 for displaying various contents and executes a process of generating an image to be displayed on the display 12.
  • the HMD 10 may be a so-called VR goggle for a smartphone, which is realized by inserting a smartphone or the like into a goggle-shaped housing.
  • the HMD 10 according to the second embodiment functions as an image processing device that executes image processing according to the present disclosure. That is, the HMD 10 can execute the image processing according to the present disclosure in a stand-alone manner regardless of the image processing apparatus 100 or the like. Furthermore, according to the HMD 10 according to the second embodiment, it is possible to realize a stand-alone operation including display control processing, such as displaying an image generated by image processing according to the present disclosure on the display 12. Thereby, the HMD 10 according to the second embodiment can realize the image processing according to the present disclosure with a simple system configuration.
  • the HMD 10 has been described as an example, but the device realized as a stand-alone device may be the image processing device 100.
  • the image processing apparatus 100 may include an external display as a display unit, and may include a processing unit corresponding to the display control unit 18. Accordingly, the image processing device 100 can display an image generated by the image processing according to the present disclosure, and is thus realized as a stand-alone device.
  • the spherical content is shown as an example of the wide-angle image.
  • the image processing according to the present disclosure is applicable to other than the spherical content.
  • the image processing according to the present disclosure can be applied to a so-called panoramic image or panoramic video having an area wider than the area that can be displayed on the display 12.
  • the present invention can be applied to a VR image or a VR moving image (so-called semi-celestial sphere content) configured in a range of 180 degrees.
  • the wide-angle image is not limited to a still image or a moving image, and may be, for example, a game content created by CG (Computer @ Graphics).
  • a process in which an area to be displayed on the display 12 is specified based on information on the motion of the user wearing the HMD 10 or the like (information on the inclination of the head posture and the line of sight). Indicated.
  • the information on the user's operation is not limited to the above.
  • the user may select a display area using a touch operation on the screen or an input device (such as a mouse or a trackpad).
  • the information on the user's operation includes information corresponding to the touch operation and information input via the input device.
  • the operation speed of the user includes information such as the speed of the movement of the finger corresponding to the touch operation (in other words, the moving speed of the pointer on the tablet terminal) and the moving speed of the pointer via the input device.
  • the information on the user's operation includes information detected by a sensor provided in the tablet terminal when the user moves or tilts the tablet terminal itself. Further, the information detected by the sensor may include, for example, information such as a speed at which a screen (in other words, a processing area) in the tablet terminal scrolls.
  • each device illustrated in the drawings are functionally conceptual and do not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed / arranged in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the image generation unit 132 and the transmission unit 133 illustrated in FIG. 1 may be integrated.
  • FIG. 12 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the image processing apparatus 100.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, a HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. For example, the CPU 1100 loads a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium for non-temporarily recording a program executed by the CPU 1100 and data used by the program.
  • HDD 1400 is a recording medium that records an image processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500 or transmits data generated by the CPU 1100 to another device.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard and a mouse via the input / output interface 1600.
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface that reads a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase Changeable Rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 1100 of the computer 1000 implements the function of the control unit 130 by executing the image processing program loaded on the RAM 1200.
  • the HDD 1400 stores an image processing program according to the present disclosure and data in the storage unit 120.
  • the CPU 1100 reads and executes the program data 1450 from the HDD 1400.
  • the CPU 1100 may acquire these programs from another device via the external network 1550.
  • An accepting unit that accepts a change from the first angle of view to the second angle of view for a partial image included in a specified area of the wide angle of view image displayed on the display unit;
  • the image has a first resolution different from the resolution of the wide angle of view image, and is decoded before the change to the second angle of view.
  • An image processing device comprising: (2) The image generation unit, When the decoding of the second image is completed, the partial image is updated by replacing the first image, which has been kept displayed on the display unit, with the decoded second image. The image processing device according to (1). (3) The image generation unit, After replacing the first image, which has been kept displayed on the display unit, with the decoded second image, decoding of the other second image having the second resolution is performed. Perform The image processing apparatus according to (2).
  • the reception unit Receiving a change from the first angle of view to a second angle of view that is a narrower angle of view than the first angle of view;
  • the image generation unit When the change of the angle of view is received by the receiving unit, the first resolution is set to be lower than the first resolution while maintaining the display of at least one first image of the plurality of first images on the display unit.
  • the image processing device according to any one of (1) to (3), which decodes a second image having a second resolution that is a high resolution.
  • the reception unit Receiving a change from the first angle of view to a second angle of view, which is a wider angle of view than the first angle of view;
  • the image generation unit When the change of the angle of view is received by the receiving unit, the first resolution is lower than the first resolution while maintaining the display of the at least one first image of the plurality of first images on the display unit.
  • the image processing device according to any one of (1) to (3), which decodes a second image having a second resolution that is a low resolution.
  • the reception unit Receiving information on the user's viewpoint with respect to the area,
  • the image generation unit Determining which one of the plurality of first images to be displayed before the change to the second angle of view is to be maintained based on the information on the user's viewpoint.
  • the image processing device according to any one of (1) to (6). (7)
  • the image generation unit Among the plurality of first images displayed before the change to the second angle of view, the first image located closer to the user's viewpoint is determined to be preferentially maintained.
  • the image processing device according to (1).
  • the reception unit The image processing apparatus according to any one of (1) to (7), wherein the area to be displayed on the display unit in the wide-angle image is determined based on information on designation of an area by a user.
  • the display unit is a display worn by the user on the head, The reception unit, The image processing device according to (8), wherein the area displayed on the display unit in the wide-angle image is determined based on viewpoint or posture information of a user wearing the display.
  • the wide-angle image is at least one of spherical content, semi-spherical content or panoramic image
  • the reception unit A change from a first angle of view to a second angle of view is received for a partial image included in an area specified in at least one of the spherical content, the semispherical content, and the panoramic image.
  • the image processing apparatus according to any one of 1) to 9).
  • the image processing device according to any one of (1) to (11), further including a display control unit that controls display of the image generated by the image generation unit on the display unit.
  • Computer A receiving unit that receives a change from the first angle of view to the second angle of view with respect to a partial image included in the designated area in the wide angle of view image displayed on the display unit; When the change in the angle of view is received by the receiving unit, the image has a first resolution different from the resolution of the wide angle of view image, and is decoded before the change to the second angle of view.
  • An image generation unit that decodes a second image having a second resolution different from the first image;
  • Image processing program to function as
  • Image processing system 10 HMD REFERENCE SIGNS LIST 11 sensor 12 display 15 detection unit 16 transmission unit 17 reception unit 18 display control unit 20 controller 100 image processing device 110 communication unit 120 storage unit 121 low resolution image storage unit 122 low magnification zoom image storage unit 123 high magnification zoom image storage Unit 130 control unit 131 reception unit 132 image generation unit 133 transmission unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示に係る画像処理装置（１００）は、表示部（１２）に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部（１３１）と、受付部によって画角の変更が受け付けられた場合に、広画角画像の解像度とは異なる第１の解像度を有する画像であって、第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の表示部への表示を維持したまま、第２の画角への変更後に表示部に表示される画像であって、第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部（１３２）と、を備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。詳しくは、広画角画像のズーム時における画像処理に関する。
　ＶＲ（Virtual　Reality）技術の広まりに伴い、３６０度全方位を撮影できる全天球カメラが広く利用されている。また、全天球カメラで撮影された全天球画像や全天球動画等の全天球コンテンツの視聴環境として、ＨＭＤ（Head　Mounted　Display）等が普及し始めている。
　ここで、全天球コンテンツやパノラマ画像等、ディスプレイに表示される画角よりも広い画角を有する画像（以下、「広画角画像」と総称する）の再生に関して、種々の技術が提案されている。例えば、再生する特定部分の切り替え指示を受けたとき、特定部分のデータの再生準備が整うまで、再生側が既に持っている特定部分の情報をユーザに提示することで、バッファリングによる再生遅延の影響を低減する技術が知られている（例えば特許文献１）。また、同内容の画像を表示する場合に、最初に低解像度のデータを表示し、ユーザからの要求に応じて高解像度のデータを表示することで、高いレスポンスを維持する技術が知られている（例えば特許文献２）。また、広画角画像の水平方向及び垂直方向へのスクロールを低部品コストで実現する技術が知られている（例えば特許文献３）。
特開２００３－３０４５２５号公報 特開２００５－２２３７６５号公報 特開平１１－１９６３６９号公報
　しかしながら、上記の従来技術では、広画角画像に関するユーザ体験を向上させることができるとは限らない。例えば、従来技術では、広画角画像のうちディスプレイに表示される位置を切り替えた場合やズーム表示を行った場合、低解像度データが表示されたのち高解像度データが表示される（もしくはその逆）といった、画面表示の切り替えが行われる。
　このため、ユーザは、低解像度データのぼんやりとした画像から高解像度データの鮮明な画像への切り替えを何度も体験することになり、特にＨＭＤの装着時には、いわゆるＶＲ酔いや映像酔い等の症状に悩まされる場合がある。
　そこで、本開示では、広画角画像に関するユーザ体験を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部と、前記受付部によって画角の変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部と、を具備する。
　本開示に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、広画角画像に関するユーザ体験を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の実施形態に係る画像処理システムの一例を示す図である。 広画角画像におけるズーム倍率の変化を説明するための図である。 本開示の第１の実施形態に係る分割階層方式を説明するための図である。 本開示の第１の実施形態に係る画像生成処理の概要を説明するための図である。 広画角画像とユーザの視点との関係性を示す図である。 分割階層方式による画像生成処理の一例を示す図である。 本開示の第１の実施形態に係る画像生成処理の一例を示す図（１）である。 本開示の第１の実施形態に係る画像生成処理の一例を示す図（２）である。 本開示の第１の実施形態に係る画像生成処理の一例を示す図（３）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。 本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。 画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（１．第１の実施形態）
［１－１．広画角画像に関する画像処理について］
　本開示に係る画像処理の説明に先立って、本開示の画像処理の前提となる、広画角画像の表示処理の方式について説明する。
　なお、本開示に係る広画角画像とは、全天球コンテンツやパノラマ画像等、ディスプレイに表示される画角よりも広い画角を有する画像である。本開示では、広画角画像の一例として、全天球コンテンツを例に挙げて説明する。
　全天球コンテンツは、例えば３６０度全方位を撮影できる全天球カメラで撮影されることにより生成される。全天球コンテンツは、一般的なディスプレイ（例えば、ユーザが装着するＨＭＤ（Head　Mounted　Display））よりも広い画角を有するため、再生される際には、ディスプレイの大きさ（言い換えれば、ユーザの視野画角）に応じて切り取られた一部領域のみが表示される。例えば、ユーザは、タッチディスプレイを操作して表示箇所を変更したり、装着したＨＭＤを介して視線や姿勢の変化を与えたりして、表示位置を変えながら全天球コンテンツを視聴する。
　このように、全天球コンテンツは、実際には一部の領域しかディスプレイに表示されないことから、表示されていない領域のデコード処理や伝送を削減することができれば、処理負荷を抑えたり、回線帯域の効率を上げたりすることが可能となる。
　しかし、実際には、再生機器のデコード性能や、動画のデータ配信の応答遅延等の問題から、ユーザが急に視聴方向を切り替えた場合には、切り替え後の領域の表示が間に合わず、画像データの欠損が生じる場合がある。画像データの欠損が生じると、ブランク表示が発生したり、再生品質が極度に低下したりするおそれがある。
　このため、広画角画像の表示処理では、ユーザの急な振り向き等に備えて、全方向分の最低限のデータが存在する状態を維持する。この場合、全方向分のデータは情報量が多く、比較的高い解像度（以下、「高解像度」と称する）のデータを保持することが難しいことから、全天球コンテンツを比較的低い解像度（以下、「低解像度」と称する）のデータで保持する。そして、実際にユーザが視聴する際には、表示する領域に対応する高解像度のデータをデコードして高解像度画像を生成し、生成した高解像度画像を低解像度画像に重ねて表示する。
　かかる手法によれば、ユーザの急な振り向きがあり、高解像度画像のデコードが間に合わない場合でも、最低限、低解像度の全天球コンテンツは表示されるため、ディスプレイに表示する画像が存在しない状態は発生しない。このため、かかる手法によれば、全天球コンテンツの視聴をユーザがスムーズに行うことができるため、ユーザビリティを向上させることができる。
　さらに、かかる手法では、全天球コンテンツのうち、実際に表示される画角に合わせて、より高い解像度の画像をデコードすることもできる。例えば、ユーザが全天球コンテンツを高倍率ズームで視聴する場合には、通常の高解像度（以下、「第１の解像度」と称する）でも、画質が劣って見える場合がある。このため、かかる手法では、さらに高い解像度（以下、「第２の解像度」と称する）の画像データをデコードすることで、高倍率のズーム（言い換えれば、非常に狭い画角表示）に耐えうる画質の画像を提供することができる。
　このように、かかる手法は、低解像度の全天球コンテンツ、ズーム倍率が１倍（等倍）から比較的低い場合（画角が比較的広い場合）までに対応する第１の解像度の画像（以下、「第１の画像」と称する）、ズーム倍率が比較的高い場合（画角が比較的狭い場合）に対応する第２の解像度の画像（以下、「第２の画像」と称する）という、３種類の解像度の画像を切り替えて表示する。本開示では、このような手法を分割階層方式と称する。例えば、分割階層方式では、常に低解像度の全天球コンテンツをデコードしておくとともに、領域に合わせて、第１の解像度の画像や第２の解像度の画像のデコードを行う。なお、同時にデコード可能な最大枚数は、例えばハードウェアの性能等に依存する。これにより、例えばＨＭＤを利用して視聴するＶＲ画像等において、ユーザがズーム倍率を高くした場合であっても、高解像度な画像を視聴する体験を提供することができる。
　しかしながら、分割階層方式においてユーザがズーム倍率を変化させた場合、第１の解像度から第２の解像度への切り替えが生じる。このとき、ハードウェアの性能によっては、第１の解像度の画像と第２の解像度の画像とを同時にデコードできないため、切り替えが完了するまでの間、低解像度の全天球コンテンツが表示されることになる。この場合、ユーザは、倍率の変化前に表示されている第１の解像度の画像、低解像度の全天球コンテンツ、倍率の変化後に表示される第２の解像度の画像を、順に視聴することになる。このため、ユーザは、低解像度データのぼんやりとした画像から高解像度データの鮮明な画像への切り替えを何度も体験することになり、特にＨＭＤ装着時には、いわゆるＶＲ酔いや映像酔い等の症状に悩まされる場合がある。
　そこで、本開示に係る画像処理は、ＨＭＤ等に表示された画像のズーム倍率を変化させた場合（すなわち画角を変化させた場合）であっても、急激な解像度の変化を抑えることで、ユーザの酔いを軽減させる。本開示に係る画像処理によれば、広画角画像に関するユーザ体験を向上させることができる。以下、図１を用いて、本開示に係る画像処理を実現する画像処理システム１を構成する各装置について説明する。
［１－２．第１の実施形態に係る画像処理システムの構成］
　図１は、本開示の第１の実施形態に係る画像処理システム１の一例を示す図である。図１に示すように、画像処理システム１は、ＨＭＤ１０と、コントローラ２０と、画像処理装置１００とを含む。
　ＨＭＤ１０は、ユーザの頭部に装着されるディスプレイ装置であり、いわゆるウェアラブルコンピュータ（wearable　computer）である。ＨＭＤ１０は、ユーザの身体の向きや動き、移動速度等に応じた表示処理を実現する。
　コントローラ２０は、画像処理装置１００及びＨＭＤ１０と有線又は無線ネットワークで接続される情報機器である。コントローラ２０は、例えばＨＭＤ１０を装着したユーザが手に持って操作する情報機器であり、ＨＭＤ１０や画像処理装置１００に対して情報を入力するための入力装置の一例である。例えば、コントローラ２０は、ユーザの手の動きや、ユーザからコントローラ２０に入力された情報を検知し、検知した情報をＨＭＤ１０や画像処理装置１００に送信する。第１の実施形態では、コントローラ２０は、全天球コンテンツのうちＨＭＤに表示する領域を指定したり、ＨＭＤに表示された画像のズーム倍率を指定したりするために利用される。例えば、コントローラ２０は、画像処理装置１００又はＨＭＤ１０との通信機能（例えば、ｂｌｕｅｔｏｏｔｈ（登録商標）等）を有する任意のリモートコントローラや、ゲームコントローラ等である。
　画像処理装置１００は、本開示に係る画像処理を実行する情報処理装置である。画像処理装置１００は、例えばＨＭＤ１０から送信されるリクエストに応じて、保持するコンテンツをＨＭＤ１０に送信する。
　まず、ＨＭＤ１０の構成について説明する。図１に示すように、ＨＭＤ１０は、検知部１５と、送信部１６と、受信部１７と、表示制御部１８といった各処理部を有する。各処理部は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、ＨＭＤ１０内部に記憶されたプログラムがＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　検知部１５は、ＨＭＤ１０を装着したユーザの動作情報、いわゆるヘッドトラッキング情報を検知する。具体的には、検知部１５は、ＨＭＤ１０が備えるセンサ１１を制御することにより、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する。より具体的には、検知部１５は、ユーザの動作に関する情報として、ユーザの頭部や姿勢に関する情報、ユーザの頭部や身体の動き（加速度や角速度）、視野の方向や視点移動の速度等を検知する。例えば、検知部１５は、センサ１１として、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサを制御し、ユーザの動作に関する情報を検知する。なお、センサ１１は、必ずしもＨＭＤ１０内部に備えられることを要せず、例えば、ＨＭＤ１０と有線もしくは無線で接続された外部センサであってもよい。
　また、検知部１５は、ＨＭＤ１０のディスプレイ１２上でユーザが注視する視点の位置を検知する。検知部１５は、種々の既知の手法を用いて、視点位置を検知してもよい。例えば、検知部１５は、上述した３軸加速度センサや、ジャイロセンサ等を用いて、ユーザの頭部の向きを推定することにより、ユーザの視点位置を検知してもよい。また、検知部１５は、センサ１１として、ユーザの目を撮像するカメラを用いて、ユーザの視点位置を検知してもよい。例えば、センサ１１は、ＨＭＤ１０をユーザが頭部に装着したときに、撮像範囲内にユーザの眼球が位置するような位置（例えば、ディスプレイ１２に近接し、ユーザ側にレンズが向く位置）に設置される。そして、センサ１１は、撮像したユーザの右眼の眼球の画像と、右眼との間の位置関係とに基づき、右眼の視線が向いている方向を認識する。同様に、センサ１１は、撮像したユーザの左眼の眼球の画像と、左眼との間の位置関係とに基づき、左眼の視線が向いている方向を認識する。検知部１５は、このような眼球の位置に基づいて、ディスプレイ１２のどの位置をユーザが注視しているかを検知してもよい。
　また、検知部１５は、全天球コンテンツのうち、ディスプレイ１２に表示されている領域（全天球コンテンツにおける位置）に関する情報を検知する。すなわち、検知部１５は、全天球コンテンツのうち、ユーザの頭部や姿勢情報によって指定された領域や、ユーザがタッチ操作等によって指定された領域を示す情報を検知する。また、検知部１５は、領域に表示されている全天球コンテンツのうちの部分的な画像（以下、「部分画像」と称する）の画角の設定を検知する。画角の設定とは、言い換えれば、ズーム倍率の設定である。
　例えば、検知部１５は、部分画像においてユーザが指定したズーム倍率を検知し、領域で表示する部分画像の画角を検知する。そして、検知部１５は、検知した情報を送信部１６に送る。
　送信部１６は、有線又は無線ネットワーク等を介して各種情報を送信する。例えば、送信部１６は、検知部１５によって検知されたヘッドトラッキング情報を画像処理装置１００に送信する。また、送信部１６は、全天球コンテンツをＨＭＤ１０に送信する旨のリクエストを画像処理装置１００に送信する。また、送信部１６は、全天球コンテンツの表示中に、ユーザが全天球コンテンツのうち、どの位置を表示しているかといった表示状況を画像処理装置１００に送信する。また、送信部１６は、部分画像における現在のズーム倍率や、ズーム倍率の変更を画像処理装置１００に送信する。
　受信部１７は、有線又は無線ネットワーク等を介して各種情報を受信する。例えば、受信部１７は、表示制御部１８で表示する画像（より正確には、ディスプレイ１２に表示される画像を構成する画素情報等のデータ）を受信する。
　表示制御部１８は、受信部１７によって受信された画像の表示処理を制御する。具体的には、表示制御部１８は、低解像度の全天球コンテンツや、ディスプレイ１２の表示領域において全天球コンテンツに重畳される第１の画像の表示制御処理を行う。また、表示制御部１８は、ディスプレイ１２においてズーム倍率が高く設定された場合に、ディスプレイ１２の表示領域において全天球コンテンツに重畳される第２の画像の表示制御処理を行う。
　ディスプレイ１２は、ＨＭＤ１０において画像を表示する表示部であり、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや、液晶ディスプレイ等によって実現される。
　なお、図１での図示は省略するが、ＨＭＤ１０は、ユーザからの操作を受け付けるための入力部や、受信した全天球コンテンツ等の画像を記憶する記憶部や、音声出力機能を有する出力部等を有していてもよい。
　続いて、画像処理装置１００の構成について説明する。図１に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、ネットワーク（インターネット等）と有線又は無線で接続され、ネットワークを介して、ＨＭＤ１０やコントローラ２０等との間で情報の送受信を行う。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、低解像度画像記憶部１２１と、低倍率ズーム用画像記憶部１２２と、高倍率ズーム用画像記憶部１２３とを有する。
　低解像度画像記憶部１２１は、ＨＭＤ１０に送信するコンテンツのうち、低解像度画像に関する情報（例えば、ＨＭＤ１０の表示部で表示される画像の元となる画像データ）を記憶する。低解像度画像とは、具体的には、ＨＭＤ１０で表示される広画角画像の全方向の位置をカバーする画像である。低解像度画像は、全ての方向をカバーする代わりに解像度を低く抑えられているため、デコードやＨＭＤ１０への伝送の際に、処理負荷を重くしたり、ＨＭＤ１０との通信帯域を圧迫したりするといったことを防止できる。一例として、低解像度画像は、フルＨＤ（Full　High　Definition）に相当する解像度（１９２０×１０８０ピクセル（正距円筒））を有する。
　低倍率ズーム用画像記憶部１２２は、ＨＭＤ１０に送信するコンテンツのうち、低倍率ズーム（例えば、ズームなしの状態から３倍未満まで等）用の高解像度画像である第１の画像を記憶する。例えば、第１の画像は、ズームなしの画角が「１００°」であると仮定すると、「１００°」から、３倍ズームの画角「３５°」以上までの範囲をカバーする画像である。具体的には、第１の画像は、ズーム倍率が上記の条件に該当する場合であって、ＨＭＤ１０で広画角画像が表示される際に、低解像度画像に重畳されて表示される。
　仮に、低解像度画像がフルＨＤに相当する解像度である場合、第１の画像は、例えば、８ｋや１８ｋに相当する解像度を有する。例えば、第１の画像が８ｋの解像度である場合、１枚の全天球コンテンツに対応する第１の画像は、全天球コンテンツのうち、縦方向の画角が９０°及び横方向の画角が９０°ごとに分割された画像であって、各画像の解像度は「２０４８×２０４８ピクセル」である。また、例えば、第１の画像が１８ｋの解像度である場合、１枚の全天球コンテンツに対応する第１の画像は、全天球コンテンツのうち縦方向の画角が３０°及び横方向の画角が４５°ごとに分割された画像であって、各画像の解像度は「２３０４×１２８０ピクセル」である。このように、高解像度の画像は、情報量が同程度になるよう、適度に分割されて保持される。
　高倍率ズーム用画像記憶部１２３は、ＨＭＤ１０に送信するコンテンツのうち、高倍率ズーム（例えば、３倍以上等）用の高解像度画像である第２の画像を記憶する。例えば、第２の画像は、ズームなしの画角が「１００°」であると仮定すると、３倍ズームの画角「３５°」未満の範囲をカバーする画像である。具体的には、第２の画像は、ズーム倍率が上記の条件に該当する場合であって、ＨＭＤ１０で広画角画像が表示される際に、低解像度画像に重畳されて表示される。
　仮に、低解像度画像がフルＨＤに相当する解像度である場合、第２の画像は、例えば、４４ｋに相当する解像度を有する。例えば、第２の画像が４４ｋの解像度である場合、１枚の全天球コンテンツに対応する第２の画像は、全天球コンテンツのうち、縦方向の画角が２２°及び横方向の画角が１３．７°ごとに分割された画像であって、各画像の解像度は「１６６４×２５６０ピクセル」である。このように分割されることにより、第２の画像も、情報量は第１の画像と同程度となる。
　制御部１３０は、例えば、ＣＰＵやＭＰＵ等によって、画像処理装置１００内部に記憶されたプログラム（例えば、本開示に係る画像処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
　図１に示すように、制御部１３０は、受付部１３１と、画像生成部１３２と、送信部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　受付部１３１は、有線又は無線ネットワーク等を介して各種情報を取得する。例えば、受付部１３１は、ＨＭＤ１０から送信されるヘッドトラッキング情報等を取得する。また、受付部１３１は、ＨＭＤ１０から送信されるリクエストであって、全天球コンテンツをＨＭＤ１０に送信する旨の要求を含むリクエストを受信する。
　また、受付部１３１は、広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける。例えば、受付部１３１は、ＨＭＤ１０を利用するユーザによる領域の指定情報を受け付ける。指定情報とは、例えば、コントローラ２０を介して指定された位置や、ヘッドトラッキング情報に基づいて特定される位置等、広画角画像のうちの任意の位置を指定した情報である。すなわち、受付部１３１は、ＨＭＤ１０で表示されている全天球コンテンツのうち、ヘッドトラッキング情報等に基づいて指定された領域（全天球コンテンツのうち、実際にディスプレイ１２に表示される領域）に対するズーム倍率の変更を受け付ける。このとき、受付部１３１は、ユーザが利用する入力装置（コントローラ２０）から受信する信号を介して、第１の画角から第２の画角への変更を受け付けてもよい。
　例えば、受付部１３１は、第１の画角から、当該第１の画角よりも狭い画角である第２の画角への変更を受け付ける。言い換えれば、受付部１３１は、ＨＭＤ１０に表示されている部分画像に対するズームインの要求を受け付ける。
　また、受付部１３１は、第１の画角から、当該第１の画角よりも広い画角である第２の画角への変更を受け付ける。言い換えれば、受付部１３１は、ＨＭＤ１０に表示されている部分画像に対するズームアウトの要求を受け付ける。
　また、受付部１３１は、領域に対するユーザの視点に関する情報を受け付ける。言い換えれば、受付部１３１は、ＨＭＤ１０に表示されている部分画像において、ユーザがどの部分を注視しているかを示す情報を受け付ける。
　画像生成部１３２は、ＨＭＤ１０に送信する画像を生成する。より具体的には、画像生成部１３２は、ＨＭＤ１０のディスプレイ１２で表示される画像の元となるデータを生成する。
　画像生成部１３２は、受付部１３１によって受け付けられたズーム倍率やヘッドトラッキング情報等に基づいて、ＨＭＤ１０で表示される画像を生成する。すなわち、画像生成部１３２は、受付部１３１によって受け付けられた各種情報を取得する取得部と、取得部から指示された画像をデコード（復号）するデコーダー（decoder）と、デコードされた画像とズーム倍率やヘッドトラッキング情報等に基づいて表示領域を決定してレンダリング（画像生成）を行うレンダラー（renderer）として機能する。
　具体的には、本開示に係る画像処理において、画像生成部１３２は、受付部１３１によって第１の画角から第２の画角への変更が受け付けられた場合に、第２の画角への変更前に復号されていた複数の第１の画像のうち、少なくとも１つの第１の画像について、表示部（ディスプレイ１２）への表示を維持する。そして、画像生成部１３２は、少なくとも１つの第１の画像について表示部への表示を維持したまま、第２の画角への変更後に表示部に表示される画像であって、第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う。
　また、画像生成部１３２は、第２の画像の復号が完了した場合、表示部への表示を維持していた第１の画像と、復号が完了した第２の画像とを差し替えて、部分画像を更新する。
　さらに、画像生成部１３２は、表示部への表示を維持していた第１の画像と、復号が完了した第２の画像とを差し替えたのちに、第２の解像度を有する他の第２の画像の復号を行う。
　具体的には、画像生成部１３２は、第１の画角から、より狭い画角である第２の画角への変更を受け付けた場合（すなわちズームイン）、複数の第１の画像のうち少なくとも１つの第１の画像の表示部への表示を維持したまま、第１の解像度よりも高い解像度である第２の解像度を有する第２の画像の復号を行う。
　また、画像生成部１３２は、第１の画角から、より広い画角である第２の画角への変更を受け付けた場合（すなわちズームアウト）、複数の第１の画像のうち少なくとも１つの第１の画像の表示部への表示を維持したまま、第１の解像度よりも低い解像度である第２の解像度を有する第２の画像の復号を行う。
　この場合、画像生成部１３２は、例えば、ユーザの視点に関する情報に基づいて、第２の画角への変更前に表示されていた複数の第１の画像のうち、いずれの第１の画像の表示を維持するかを決定してもよい。
　具体的には、画像生成部１３２は、第２の画角への変更前に表示されていた複数の第１の画像のうち、ユーザの視点により近い位置に所在する第１の画像を優先的に維持してもよい。
　送信部１３３は、画像生成部１３２によって生成された画像（画像を構成するデータ）をＨＭＤ１０に送信する。
　上記した本開示に係る画像処理について、図２から図９を用いて詳細に説明する。図２は、広画角画像におけるズーム倍率の変化を説明するための図である。
　図２において、画像Ｐ０１から画像Ｐ０７は、ＨＭＤ１０を装着したユーザがディスプレイ１２で視聴する画像を示している。例えば、画像Ｐ０１は、ＨＭＤ１０に送信された全天球コンテンツのうち、ＨＭＤ１０のディスプレイ１２で表示可能な領域に相当する部分画像である。
　ユーザは、コントローラ２０やＨＭＤ１０において所定の操作を行うことにより、視聴している画像のズーム倍率を変更する。これは、受付部１３１が、ユーザが視聴する画像について第１の画角から第２の画角への変更を受け付けることを意味する。なお、図２では、ズームイン操作の例を示しており、第１の画角よりも第２の画角の方が狭いものとする。
　第１の画角から第２の画角への変更が受け付けられた場合、画像生成部１３２は、画像Ｐ０１を画像Ｐ０２に更新したり、画像Ｐ０２を画像Ｐ０３に更新したりする処理を行う。図２の例では、画像Ｐ０１から画像Ｐ０７に向かうほど、高倍率のズーム映像がユーザに提供される。また、図２の例では、画像Ｐ０１が「ズームなし（ズーム倍率が１倍）」であり、画像Ｐ０２及び画像Ｐ０３が「低倍率ズーム」であり、画像Ｐ０４から画像Ｐ０７が「高倍率ズーム」であるものとする。
　すなわち、本開示に係る画像処理装置１００は、上記のように、ある領域に表示された部分画像に対する画角の変更を受け付け、その変更に伴って画像を更新する処理を所定のタイミング（例えば、１秒に３０回や６０回等）で行う。
　次に、図３を用いて、分割階層方式を用いた高解像度画像の重畳について説明する。図３は、本開示の第１の実施形態に係る分割階層方式を説明するための図である。図３の例では、全天球コンテンツのうち同じ位置を示す画像であって、それぞれズーム倍率が異なる３種類の画像を示す。具体的には、図３では、ズームなしの画像Ｐ１１と、低倍率ズームの画像Ｐ１２と、高倍率ズームの画像Ｐ１３とを示す。
　例えば、画像Ｐ１１は、全天球コンテンツの低解像度の画像に対して、全天球コンテンツと比較して高解像度（図３の例では、８ｋ相当）の画像Ｐ１１１が重畳されて、ディスプレイ１２に表示される。なお、画像のデコード数が「３」である場合、画像生成部１３２は、画像Ｐ１１、画像Ｐ１１１に加えて、もう１枚の高解像度画像をデコードしているものとする（図示は省略する）。この場合、もう１枚の高解像度画像は、画像Ｐ１１の領域の外側をカバーする。このため、画像生成部１３２は、ユーザが視線を移動させた場合であっても、新たなデコードを行うことなく、高解像度画像をユーザに提供することができる。
　続いて、ユーザがズーム倍率の変更を行い、ディスプレイ１２に画像Ｐ１２が表示されるとする。この場合、画像生成部１３２は、さらに高解像度（図３の例では、１８ｋ相当）の画像を重畳させる。なお、高解像度になるほど、画像Ｐ１２においてカバーできる領域が狭まるため、画像生成部１３２は、画像Ｐ１２以外にデコード可能な２枚の画像を用いて、画像Ｐ１２に重畳させる。このように、高解像度画像は、複数毎に分割されて低解像度の画像Ｐ１２に重畳される。以下、分割されて重畳される高解像度画像を分割画像と称する場合がある。
　すなわち、画像Ｐ１２は、全天球コンテンツの低解像度の画像に対して、さらに高解像度な分割画像Ｐ１２１及び分割画像Ｐ１２２が重畳されて、ディスプレイ１２に表示される。
　さらに、ユーザがズーム倍率の変更を行い、ディスプレイ１２に画像Ｐ１３が表示されるとする。この場合、画像生成部１３２は、さらに高解像度（図３の例では、４４ｋ相当）の画像を重畳させる。
　具体的には、画像Ｐ１３は、全天球コンテンツの低解像度の画像に対して、さらに高解像度な分割画像Ｐ１３１及び分割画像Ｐ１３２が重畳されて、ディスプレイ１２に表示される。このように、画像処理装置１００は、ズーム倍率に合わせて、高解像度な分割画像を重畳させて表示することで、ズームに耐えうる画質の画像をユーザに提供する。
　続いて、図４を用いて、上記の分割階層方式の処理の流れについて説明する。図４は、本開示の第１の実施形態に係る画像生成処理の概要を説明するための図である。
　図４の例では、画像処理装置１００は、同時に３枚の画像のデコードを行う性能を有するものとする。この場合、画像生成部１３２は、低解像度の全天球コンテンツＰ２１を常にデコードする。これは、上述したように、ユーザによる急な振り向きが行われた場合に、ブランク表示が発生すること等を防止するためである。
　また、画像生成部１３２は、現在のズーム倍率に合わせて、高解像度の分割画像Ｐ２２や分割画像Ｐ２３をデコードする。
　そして、画像生成部１３２は、ＨＭＤ１０におけるヘッドトラッキング情報等に基づいて、全天球コンテンツＰ２１のうちユーザが視聴している位置を特定し、その位置に分割画像Ｐ２２及び分割画像Ｐ２３を重畳させる。これにより、ＨＭＤ１０のディスプレイ１２には、全天球コンテンツにおけるユーザの視点の位置に分割画像Ｐ２２及び分割画像Ｐ２３が重畳された画像Ｐ３１が表示される。画像Ｐ３１は、高解像度の分割画像Ｐ２２及び分割画像Ｐ２３が重畳されているため、例えば、ユーザは画像Ｐ３２に示すように、鮮明な画像を視聴することができる。
　ここで、図５を用いて、広画角画像とユーザの視点との関係性について説明する。図５は、広画角画像とユーザの視点との関係性を示す図である。なお、図５の例では、広画角画像として、全天球コンテンツを例として説明する。
　図５に示すように、全天球コンテンツにおけるユーザの視点は、方位角θや仰角φを用いて示される。方位角θは、図５に示す３Ｄモデル座標系の水平面であるＸＺ平面上における所定の基準軸からの角度である。また、仰角φは、図５に示す３Ｄモデル座標系のＸＺ平面を基準平面とする上下方向の角度である。
　例えば、画像処理装置１００は、ＨＭＤ１０が検知するヘッドトラッキング情報等に基づいて、３Ｄモデル座標系においてユーザが視点を向けている位置の方位角θ及び仰角φを特定する。そして、画像処理装置１００は、方位角θ及び仰角φに基づいて、ユーザの視点を示す視点ベクトル５０を特定する。続けて、画像処理装置１００は、視点ベクトル５０が全天球コンテンツに対応した３Ｄモデル座標系と交わる位置を、全天球コンテンツにおいてユーザが視聴している位置と特定する。
　なお、上記のようなユーザの視点の特定処理は一例であり、画像処理装置１００は、種々の既知の技術に基づいて、ユーザの視点を特定してもよい。かかる処理により、画像処理装置１００は、全天球コンテンツにおいてユーザが視聴している位置、及び、ディスプレイ１２に表示されている部分画像のうちユーザが視点を向けている箇所を特定することができる。
　これにより、例えば画像生成部１３２は、部分動画のうち、ユーザが視点を向いている箇所に優先的に高解像度の分割画像を表示し、ユーザが視点を向いていない箇所（周辺視野）には高解像度の分割画像の表示を省略する等の調整を行うことができる。例えば、図４の例では、画像生成部１３２は、特にユーザが注視している箇所（画像Ｐ３２に示される箇所）の周辺に２枚の分割画像を配置し、周辺視野の箇所（画像Ｐ３１において格子状で示す箇所）は、分割画像を配置しないといった調整を行うことができる。
　続いて、図６を用いて、分割階層方式による画像処理の流れについて詳細に説明する。図６は、分割階層方式による画像生成処理の一例を示す図である。なお、図６から図９においては、ＨＭＤ１０が備えるディスプレイ１２の片方の面（ユーザの右目もしくは左目に対応するディスプレイ）に表示される画像イメージを用いて説明する。また、図６から図９において、画像処理装置１００がデコード可能な画像数は「３」であるものとする。
　図６の例では、ＨＭＤ１０は、全天球コンテンツＰ４１を取得しており、そのうち、ユーザが視点を向けている位置に対応する低解像度画像Ｃ０１と、それに重畳する分割画像ａ１及び分割画像ｂ１を表示する。
　ここで、ユーザが、ズーム倍率を変更したとする。ＨＭＤ１０は、新たなズーム倍率に対応する低解像度画像Ｃ０２を表示する。この場合、新たなズーム倍率に対応する分割画像Ａ１及び分割画像Ｂ１をデコードする処理が行われるため、分割画像ａ１及び分割画像ｂ１は消去される。これは、画像処理装置１００は、デコード可能な画像数が「３」であり、１枚は全天球コンテンツＰ４１のデコードに用いていることから、分割画像ａ１、分割画像ｂ１、分割画像Ａ１及び分割画像Ｂ１の４枚を同時にデコードすることができないためである。
　そして、画像処理装置１００は、分割画像Ａ１及び分割画像Ｂ１のデコードが完了した場合に、低解像度画像Ｃ０２に分割画像Ａ１及び分割画像Ｂ１を重畳した画像を生成する。
　図６で示した画像処理について、図７を用いて、画像処理装置１００が画像をデコードするための処理領域（以下、「スロット」と称する）との関係性を視覚的に示して説明する。図７は、本開示の第１の実施形態に係る画像生成処理の一例を示す図（１）である。
　図７では、ディスプレイ１２に表示される画像と、画像処理装置１００に係る画像生成部１３２が画像をデコードするスロットの状況とを時系列に沿って示す。
　図６と同様、ディスプレイ１２には、低解像度画像Ｃ０１、分割画像ａ１及び分割画像ｂ１が表示される。このとき、画像生成部１３２は、スロット１において、低解像度画像Ｃ０１を含む全天球コンテンツＰ４１をデコードする。また、画像生成部１３２は、スロット２において分割画像ｂ１をデコードし、スロット３において分割画像ａ１をデコードする（タイミングＴ１１）。
　その後、ズーム倍率の変更を受け付けた場合（ステップＳ１１）、画像生成部１３２は、変更後の低解像度画像Ｃ０２を表示する。上述のように、画像生成部１３２は、全天球コンテンツＰ４１の全ての位置をデコードしているため、低解像度画像Ｃ０２については、待ち時間なく表示することができる。
　一方、画像生成部１３２は、ズーム倍率の変更を受け付けた場合、新たな分割画像のデコードが必要になるため、一旦、分割画像ａ１及び分割画像ｂ１のデコードを停止する（タイミングＴ１２）。そして、画像生成部１３２は、新たな分割画像Ａ１及び分割画像Ｂ１のデコードを開始する（タイミングＴ１３）。なお、図７乃至図９の例において、タイミングＴ１３のように実線で図示しない分割画像は、デコード中であることを示す。
　そして、画像生成部１３２は、分割画像Ａ１及び分割画像Ｂ１のデコードの完了を待って、ズーム倍率の変更後の画像を生成する（ステップＳ１２）。
　このとき、ディスプレイ１２には、低解像度画像Ｃ０２、分割画像Ａ１及び分割画像Ｂ１が表示される。すなわち、画像生成部１３２は、スロット１において全天球コンテンツＰ４１をデコードしつつ、スロット２において分割画像Ｂ１をデコードし、スロット３において分割画像Ａ１をデコードする（タイミングＴ１４）。
　以上のように、図６及び図７に示した例では、いずれの分割画像も表示されないタイミングが発生するため、ユーザは、低解像度の画像と高解像度の画像の切り替えを視聴することになる。このため、上記の処理では、ユーザのＶＲ酔い等の症状を軽減させることができない可能性がある。
　そこで、本開示に係る画像処理では、図８に説明する処理を実行する。図８は、本開示の第１の実施形態に係る画像生成処理の一例を示す図（２）である。
　図７と同様、ディスプレイ１２には、低解像度画像Ｃ０１、分割画像ａ１及び分割画像ｂ１が表示される。このとき、画像生成部１３２は、スロット１において全天球コンテンツＰ４１をデコードし、スロット２において分割画像ｂ１をデコードし、スロット３において分割画像ａ１をデコードする（タイミングＴ２１）。
　その後、ズーム倍率の変更を受け付けた場合（ステップＳ２１）、画像生成部１３２は、ズーム倍率の変更前にデコードされていた分割画像のうち、少なくとも１つの分割画像の表示を維持する。例えば、画像生成部１３２は、スロット２及び３のうち、分割画像ｂ１のみをスロット２から消去し、分割画像ａ１をスロット３に残す。例えば、画像生成部１３２は、複数の分割画像のうち、ユーザの視点から近い側（図８の例では、分割画像ａ１）を維持し、ユーザの視点から遠い側（図８の例では、分割画像ｂ１）を消去する（タイミングＴ２２）。なお、この場合、分割画像ａ１の表示自体は維持されるものの、ズーム倍率の変更に伴って分割画像ａ１の画角が変更される場合がある。
　タイミングＴ２１では、画像生成部１３２は、低解像度画像Ｃ０２と、表示が維持された分割画像ａ１とに基づいて、ディスプレイ１２に表示される画像を生成する。この場合、高解像度の画像である分割画像ａ１が維持されるため、ユーザは、高解像度な画像の視聴を継続することができる。
　画像生成部１３２は、分割画像ｂ１が消去されたことにより空いたスロット２で、ズーム倍率変更後の分割画像Ａ１のデコードを開始する（タイミングＴ２３）。そして、画像生成部１３２は、分割画像Ａ１のデコードが完了すると（タイミングＴ２４）、低解像度画像Ｃ０２及び分割画像ａ１に重畳させて、分割画像Ａ１を表示する。例えば、分割画像Ａ１は、分割画像ａ１よりも高解像度な画像であるため、その画像の大きさは分割画像ａ１よりも狭くなる。すなわち、分割画像Ａ１は、分割画像ａ１が表示する位置に含まれる。また、分割画像Ａ１は、例えば、ユーザの視点位置から最も近い位置の周辺領域である。
　そして、画像生成部１３２は、分割画像Ａ１が低解像度画像Ｃ０２に重畳されたのち、スロット３に維持していた分割画像ａ１を消去する（タイミングＴ２５）。続けて、画像生成部１３２は、空いたスロット３において、分割画像Ｂ１のデコードを開始する（タイミングＴ２６）。
　そして、分割画像Ｂ１のデコードが完了すると、画像生成部１３２は、低解像度画像Ｃ０２に分割画像Ａ１及び分割画像Ｂ１が重畳された画像を生成する（ステップＳ２２）。このとき、画像生成部１３２は、スロット１で全天球コンテンツＰ４１をデコードし、スロット２において分割画像Ａ１をデコードし、スロット３において分割画像Ｂ１をデコードする（タイミングＴ２７）。
　以上のように、画像生成部１３２は、図６及び図７で示した処理と異なり、ズーム倍率が変更された場合に、ズーム倍率の変更前の分割画像を維持したまま、ズーム倍率の変更後の分割画像のデコードを行う。これにより、画像生成部１３２は、ユーザが注視している位置の周辺について高解像度を保ったまま、ズーム倍率を変更することができる。これにより、ユーザは、注視している位置について、低解像度のぼんやりとした画像から高解像度の鮮明な画像への切り替えを視聴せずに済むため、ＶＲ酔い等の症状を軽減することができる。
　図８ではズームインの状況における画像処理を例に示したが、画像生成部１３２は、ズームアウトの状況においても、同様の処理を行う。この点について、図９を用いて説明する。図９は、本開示の第１の実施形態に係る画像生成処理の一例を示す図（３）である。
　図９では、まずディスプレイ１２には、ズームイン後の低解像度画像Ｃ０２、分割画像Ａ１及び分割画像Ｂ１が表示される。このとき、画像生成部１３２は、スロット１において全天球コンテンツＰ４１をデコードし、スロット２において分割画像Ａ１をデコードし、スロット３において分割画像Ｂ１をデコードする（タイミングＴ３１）。
　その後、ズーム倍率の変更（ズームアウト）を受け付けた場合（ステップＳ３１）、画像生成部１３２は、ズーム倍率の変更前にデコードされていた分割画像のうち、少なくとも１つの分割画像の表示を維持する。例えば、画像生成部１３２は、スロット２及び３のうち、分割画像Ｂ１のみをスロット３から消去し、分割画像Ａ１をスロット２に残す。例えば、画像生成部１３２は、複数の分割画像のうち、ユーザの視点から近い側（図９の例では、分割画像Ａ１）を維持し、ユーザの視点から遠い側（図９の例では、分割画像Ｂ１）を消去する（タイミングＴ３２）。なお、この場合、分割画像Ａ１の表示自体は維持されるものの、ズーム倍率の変更に伴って分割画像Ａ１の画角が変更される場合がある。
　タイミングＴ３２では、画像生成部１３２は、ズームアウト後の低解像度画像Ｃ０１と、表示が維持された分割画像Ａ１とに基づいて、ディスプレイ１２に表示される画像を生成する。この場合、高解像度の画像である分割画像Ａ１が維持されるため、ユーザは、高解像度な画像の視聴を継続することができる。
　画像生成部１３２は、分割画像Ｂ１が消去されたことにより空いたスロット３で、ズーム倍率変更後の分割画像ａ１のデコードを開始する（タイミングＴ３３）。そして、画像生成部１３２は、分割画像ａ１のデコードが完了すると（タイミングＴ３４）、低解像度画像Ｃ０１及び分割画像Ａ１に重畳させて、分割画像ａ１を表示する。例えば、分割画像ａ１は、分割画像Ａ１と比較すると低解像度な画像であるため、その画像の大きさは分割画像Ａ１よりも広くなる。すなわち、分割画像ａ１は、分割画像Ａ１が表示された位置を内包して、より広い領域に表示される。また、分割画像ａ１は、例えば、ユーザの視点位置から最も近い位置の周辺領域である。
　そして、画像生成部１３２は、分割画像ａ１が低解像度画像Ｃ０１に重畳されたのち、スロット２に維持していた分割画像Ａ１を消去する（タイミングＴ３５）。続けて、画像生成部１３２は、空いたスロット２において、分割画像ｂ１のデコードを開始する（タイミングＴ３６）。
　そして、分割画像ｂ１のデコードが完了すると、画像生成部１３２は、低解像度画像Ｃ０１に分割画像ａ１及び分割画像ｂ１が重畳された画像を生成する（ステップＳ３２）。このとき、画像生成部１３２は、スロット１で全天球コンテンツＰ４１をデコードし、スロット２において分割画像ｂ１をデコードし、スロット３において分割画像ａ１をデコードする（タイミングＴ３７）。
　以上のように、画像生成部１３２は、ズームアウトの場合であっても、ズームインの場合と同様、ユーザの視点付近に高解像度の画像を維持しつつ、ズーム倍率の変更を行うことができる。
［１－３．第１の実施形態に係る画像処理の手順］
　次に、図１０及び図１１を用いて、第１の実施形態に係る画像処理の手順について説明する。図１０は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（１）である。
　図１０に示すように、画像処理装置１００は、ＨＭＤ１０やコントローラ２０から受け付けた所定の操作に従い、ディスプレイ１２で表示する動画の再生を開始する（ステップＳ１０１）。
　ここで、画像処理装置１００は、画像処理装置１００やＨＭＤ１０のハードウェア性能等に基づいて、分割画像の最大表示枚数「ｎ」を設定する（ステップＳ１０２）。「ｎ」は、任意の自然数であり、例えば、図７等で示したようにスロット数が「３」であれば、分割画像の最大表示枚数「ｎ」は、全天球コンテンツの分を差し引いた「２」となる。
　画像処理装置１００は、動作の再生に応じて、表示するフレームを適宜更新する（ステップＳ１０３）。例えば、画像処理装置１００は、１秒間に３０回や６０回等のタイミングで、フレーム（言い換えれば、ディスプレイ１２に表示される画像）を更新する。
　ここで、画像処理装置１００は、ユーザからズーム倍率の変更を受け付けたか否かを判定する（ステップＳ１０４）。ズーム倍率の変更を受け付けた場合（ステップＳ１０４；Ｙｅｓ）、画像処理装置１００は、受け付けたズーム倍率に変更する（ステップＳ１０５）。ズーム倍率の変更を受け付けない場合（ステップＳ１０４；Ｎｏ）、画像処理装置１００は、現在のズーム倍率を維持する。
　さらに、画像処理装置１００は、ＨＭＤ１０のトラッキング情報を取得する（ステップＳ１０６）。これにより、画像処理装置１００は、次のタイミングで表示する画像の位置（全天球コンテンツのうち、ディスプレイ１２に表示される位置）を決定することができる。
　そして、画像処理装置１００は、分割画像の表示処理を行う（ステップＳ１０７）。分割画像の表示処理の詳細については、図１１を用いて後述する。
　分割画像の表示処理が完了したのち、画像処理装置１００は、ユーザから動作の再生の終了を受け付けたか否かを判定する（ステップＳ１０８）。再生の終了を受け付けていない場合（ステップＳ１０８；Ｎｏ）、画像処理装置１００は、次のフレームを更新する処理を継続する（ステップＳ１０３）。
　一方、再生の終了を受け付けた場合（ステップＳ１０８；Ｙｅｓ）、画像処理装置１００は、動画の再生を終了する（ステップＳ１０９）。
　続けて、図１１を用いて、分割画像の表示処理の手順について説明する。図１１は、本開示の第１の実施形態に係る処理の流れを示すフローチャート（２）である。
　図１１に示すように、画像処理装置１００は、現在のズーム倍率（ユーザからズーム倍率の変更を受け付けた場合には、変更後のズーム倍率）の分割画像と、デコード中の分割画像との合計がｎ枚であるか否かを判定する（ステップＳ２０１）。
　合計がｎ枚でない場合（ステップＳ２０１；Ｎｏ）、画像処理装置１００は、以前のズーム倍率（変更前のズーム倍率）の分割画像を表示中か否かを判定する（ステップＳ２０２）。
　以前のズーム倍率の分割画像を表示中である場合（ステップＳ２０２；Ｙｅｓ）、画像処理装置１００は、さらに、分割画像をｎ枚表示中であるか否かを判定する（ステップＳ２０３）。
　分割画像をｎ枚表示中である場合（ステップＳ２０３；Ｙｅｓ）、画像処理装置１００は、以前のズーム倍率の表示中の分割画像のうち、ユーザの視線方向から遠い１枚のデコードを停止する（ステップＳ２０４）。すなわち、画像処理装置１００は、スロットの空きを作るために、表示中の分割画像１枚分のデコードを停止する。
　以前のズーム倍率の分割画像を表示中でない場合（ステップＳ２０２；Ｎｏ）、分割画像をｎ枚表示中でない場合（ステップＳ２０３；Ｎｏ）、あるいは、ステップＳ２０４に続けて、画像処理装置１００は、現在のズーム倍率の分割画像をデコード中であるか否かを判定する（ステップＳ２０５）。
　現在のズーム倍率の分割画像をデコード中でない場合には（ステップＳ２０５；Ｎｏ）、画像処理装置１００は、現在のズーム倍率の分割画像のうち、ユーザの視線方向に近い１枚をデコードする（ステップＳ２０６）。
　現在のズーム倍率の分割画像をデコード中である場合（ステップＳ２０５；Ｙｅｓ）やステップＳ２０６の処理を経た場合、あるいは、現在のズーム倍率の分割画像とデコード中の分割画像の合計がｎ枚である場合（ステップＳ２０１；Ｙｅｓ）、画像処理装置１００は、デコードが完了した画像を用いて表示画像を生成する（ステップＳ２０７）。そして、画像処理装置１００は、生成した表示画像をＨＭＤ１０に送信する（ステップＳ２０８）。
［１－４．第１の実施形態の変形例］
　上記第１の実施形態では、画像処理装置１００は、第１の解像度や第２の解像度といった解像度を有する高解像度な分割画像を用いて画像を生成する例を示した。これらは一例であり、画像処理装置１００は、解像度をさらに細かく（例えば、４段階や５段階等に）設定してもよい。
　また、画像処理装置１００は、ズーム倍率について低倍率と高倍率といった２段階の設定を設ける例を示したが、ズーム倍率についても、さらに細かく（例えば、３段階や４段階等に）設定してもよい。
　また、上記の画像処理では、デコードの最大数が「３」である例を主に説明した。例えば、図７乃至図９の例では、画像処理装置１００がデコード可能な画像数が「３」（言い換えればスロット数が「３」）である例を示した。しかし、本開示に係る画像処理におけるスロット数は「３」に限られない。すなわち、本開示に係る画像処理は、スロット数が２以上であり、広画角画像に含まれる分割画像を全て並列でデコードできる数未満のスロット数であれば適用可能である。
　また、上記第１の実施形態では、画像処理装置１００が、ユーザの視点に最も近い位置に表示する分割画像を優先的にデコードする例を示した。ここで、画像処理装置１００は、ユーザの視点以外の要素を用いて、分割画像のデコード順を決定してもよい。
　例えば、画像処理装置１００は、ディスプレイ１２に表示される画像の中心に位置する分割画像を優先的にデコードしてもよい。また、画像処理装置１００は、予めユーザに指定された位置が存在する場合、指定された位置に対応する分割画像を優先的にデコードしてもよい。
　また、上記第１の実施形態では、ユーザがズーム倍率の変更を要求した場合、すなわち、表示中の画像の画角の変更を要求した場合に、本開示に係る画像処理が行われる例を示した。しかし、画像処理装置１００は、ズーム倍率の変更が要求された場合以外であっても、本開示に係る画像処理を行ってもよい。
　例えば、ディスプレイ１２に表示中の画像がストリーミング動画である場合、動画の再生中の伝送状態が変化し、画質を変化しなければならない状況が起こりうる。画像処理装置１００は、このような画質の変化が生じた場合にも、本開示に係る画像処理を行うことにより、低解像度の画像や高解像度の画像が頻繁に入れ替わって表示されることを防止することができる。
　上記第１の実施形態では、画像処理装置１００が、３倍未満のズームを低倍率ズーム、３倍以上のズームを高倍率として処理する例を示した。これは一例であり、画像処理装置１００は、任意に設定された倍率（画角）に基づいて、本開示に係る画像処理を行ってもよい。
（２．第２の実施形態）
　次に、第２の実施形態について説明する。第１の実施形態では、画像処理装置１００（比較的高性能な処理を行う装置）と、ＨＭＤ１０とが協働して処理を行う例を示した。しかし、本開示に係る画像処理は、ディスプレイを備えたＨＭＤ１０単独で行われてもよい。この場合、本開示に係る画像処理装置とは、ＨＭＤ１０を意味する。
　この場合、第２の実施形態に係る画像処理システム２は、コントローラ２０と、ＨＭＤ１０とを含む。また、ＨＭＤ１０は、図１に示した画像処理装置１００に係る制御部１３０と同等の処理を実行する各処理部を有する。言い換えれば、ＨＭＤ１０は、本開示に係る画像処理を実現するプログラムを実行するための各処理部を有する。
　なお、ＨＭＤ１０は、記憶部１２０を有さなくてもよい。この場合、ＨＭＤ１０は、ネットワークを介して、全天球コンテンツや、全天球コンテンツに対応する高解像度画像を保持する所定のストレージサーバから、各種コンテンツを取得する。
　上記のように、第２の実施形態において、ＨＭＤ１０は、各種コンテンツを表示するディスプレイ１２を有するとともに、ディスプレイ１２に表示する画像の生成処理を実行する情報機器である。例えば、ＨＭＤ１０は、ゴーグル形状の筐体にスマートフォン等を差し込んで実現される、いわゆるスマートフォン用ＶＲゴーグルであってもよい。
　このように、第２の実施形態に係るＨＭＤ１０は、本開示に係る画像処理を実行する画像処理装置として機能する。すなわち、ＨＭＤ１０は、画像処理装置１００等によらず、スタンドアロンで本開示に係る画像処理を実行することができる。さらに、第２の実施形態に係るＨＭＤ１０によれば、本開示に係る画像処理によって生成された画像をディスプレイ１２に表示するといった、表示制御処理までを含めてスタンドアロンで実現することができる。これにより、第２の実施形態に係るＨＭＤ１０は、簡易なシステム構成で本開示に係る画像処理を実現することができる。
　なお、上記ではＨＭＤ１０を例に挙げて説明したが、スタンドアロンとして実現される機器は、画像処理装置１００であってもよい。例えば、画像処理装置１００は、表示部として外部ディスプレイを備え、また、表示制御部１８に対応する処理部を備えてもよい。これにより、画像処理装置１００は、本開示に係る画像処理によって生成された画像を表示することができるため、スタンドアロンの機器として実現される。
（３．その他の実施形態）
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
　例えば、上記各実施形態では、広画角画像の例として、全天球コンテンツを示した。しかし、本開示に係る画像処理は、全天球コンテンツ以外にも適用可能である。例えば、本開示に係る画像処理は、ディスプレイ１２に表示可能な領域よりも広い領域を有する、いわゆるパノラマ画像やパノラマ動画にも適用可能である。また、１８０度の範囲で構成されたＶＲ画像やＶＲ動画（いわゆる半天球コンテンツ）にも適用可能である。また、広画角画像は、静止画や動画に限らず、例えばＣＧ（Computer　Graphics）で作成されたゲームコンテンツ等であってもよい。
　また、本開示に係る画像処理では、ＨＭＤ１０等を装着したユーザの動作に関する情報（頭部姿勢の傾きや視線方向に関する情報等）に基づいて、ディスプレイ１２に表示される領域が指定される処理を示した。しかし、ユーザの動作に関する情報は、上記に限られない。例えば、全天球コンテンツをスマートフォンやタブレット端末等で表示する場合、ユーザは、画面に対するタッチ操作や、入力デバイス（マウスやトラックパッドなど）を利用して、表示領域を選択する場合がある。この場合、ユーザの動作に関する情報とは、タッチ操作に対応する情報や、入力デバイスを介して入力される情報を含む。また、ユーザの動作速度とは、タッチ操作に対応する指の動きの速度（言い換えれば、タブレット端末におけるポインタの移動速度等）や、入力デバイスを介したポインタの移動速度等の情報を含む。また、ユーザの動作に関する情報には、ユーザがタブレット端末自体を動かしたり傾けたりした際に、タブレット端末が備えるセンサによって検知される情報等を含む。また、センサによって検知される情報には、例えば、タブレット端末内の画面（言い換えれば処理領域）がスクロールする速度等の情報が含まれてもよい。
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した画像生成部１３２と送信部１３３は統合されてもよい。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
（４．ハードウェア構成）
　上述してきた各実施形態に係る画像処理装置１００、ＨＭＤ１０、コントローラ２０等の情報機器は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置１００を例に挙げて説明する。図１２は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部と、
　前記受付部によって画角の変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部と、
　を備えた画像処理装置。
（２）
　前記画像生成部は、
　前記第２の画像の復号が完了した場合、前記表示部への表示を維持していた前記第１の画像と、復号が完了した当該第２の画像とを差し替えて、前記部分画像を更新する
　前記（１）に記載の画像処理装置。
（３）
　前記画像生成部は、
　前記表示部への表示を維持していた前記第１の画像と、復号が完了した当該第２の画像とを差し替えたのちに、前記第２の解像度を有する他の第２の画像の復号を行う
　前記（２）に記載の画像処理装置。
（４）
　前記受付部は、
　前記第１の画角から、当該第１の画角よりも狭い画角である第２の画角への変更を受け付け、
　前記画像生成部は、
　前記受付部によって画角の変更が受け付けられた場合に、前記複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、前記第１の解像度よりも高い解像度である第２の解像度を有する第２の画像の復号を行う
　前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
　前記受付部は、
　前記第１の画角から、当該第１の画角よりも広い画角である第２の画角への変更を受け付け、
　前記画像生成部は、
　前記受付部によって画角の変更が受け付けられた場合に、前記複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、前記第１の解像度よりも低い解像度である第２の解像度を有する第２の画像の復号を行う
　前記（１）～（３）のいずれかに記載の画像処理装置。
（６）
　前記受付部は、
　前記領域に対するユーザの視点に関する情報を受け付け、
　前記画像生成部は、
　前記ユーザの視点に関する情報に基づいて、前記第２の画角への変更前に表示されていた複数の第１の画像のうち、いずれの第１の画像の表示を維持するかを決定する
　前記（１）～（６）のいずれかに記載の画像処理装置。
（７）
　画像生成部は、
　前記第２の画角への変更前に表示されていた複数の第１の画像のうち、前記ユーザの視点により近い位置に所在する第１の画像を優先的に維持するよう決定する
　前記（６）に記載の画像処理装置。
（８）
　前記受付部は、
　ユーザによる領域の指定情報に基づいて、前記広画角画像のうち前記表示部に表示される前記領域を決定する
　前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
　前記表示部は、ユーザが頭部に装着するディスプレイであり、
　前記受付部は、
　前記ディスプレイを装着したユーザの視点もしくは姿勢情報に基づいて、前記広画角画像のうち前記表示部に表示される前記領域を決定する
　前記（８）に記載の画像処理装置。
（１０）
　前記広画角画像は、全天球コンテンツ、半天球コンテンツ又はパノラマ画像の少なくともいずれかであり、
　前記受付部は、
　前記全天球コンテンツ、前記半天球コンテンツ又は前記パノラマ画像の少なくともいずれかにおいて指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける
　前記（１）～（９）のいずれかに記載の画像処理装置。
（１１）
　前記受付部は、
　ユーザが利用する入力装置から受信する信号を介して、前記第１の画角から第２の画角への変更を受け付ける
　前記（１）～（１０）のいずれかに記載の画像処理装置。
（１２）
　前記画像生成部によって生成された画像の前記表示部への表示を制御する表示制御部をさらに備える
　前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）
　コンピュータが、
　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付け、
　前記第１の画角から第２の画角への変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う
　画像処理方法。
（１４）
　コンピュータを、
　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部と、
　前記受付部によって画角の変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部と、
　として機能させるための画像処理プログラム。
　１　画像処理システム
　１０　ＨＭＤ
　１１　センサ
　１２　ディスプレイ
　１５　検知部
　１６　送信部
　１７　受信部
　１８　表示制御部
　２０　コントローラ
　１００　画像処理装置
　１１０　通信部
　１２０　記憶部
　１２１　低解像度画像記憶部
　１２２　低倍率ズーム用画像記憶部
　１２３　高倍率ズーム用画像記憶部
　１３０　制御部
　１３１　受付部
　１３２　画像生成部
　１３３　送信部

Claims (14)

  1. 　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部と、
    　前記受付部によって画角の変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部と、
    　を備えた画像処理装置。
  2. 　前記画像生成部は、
    　前記第２の画像の復号が完了した場合、前記表示部への表示を維持していた前記第１の画像と、復号が完了した当該第２の画像とを差し替えて、前記部分画像を更新する
    　請求項１に記載の画像処理装置。
  3. 　前記画像生成部は、
    　前記表示部への表示を維持していた前記第１の画像と、復号が完了した当該第２の画像とを差し替えたのちに、前記第２の解像度を有する他の第２の画像の復号を行う
    　請求項２に記載の画像処理装置。
  4. 　前記受付部は、
    　前記第１の画角から、当該第１の画角よりも狭い画角である第２の画角への変更を受け付け、
    　前記画像生成部は、
    　前記受付部によって画角の変更が受け付けられた場合に、前記複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、前記第１の解像度よりも高い解像度である第２の解像度を有する第２の画像の復号を行う
    　請求項１に記載の画像処理装置。
  5. 　前記受付部は、
    　前記第１の画角から、当該第１の画角よりも広い画角である第２の画角への変更を受け付け、
    　前記画像生成部は、
    　前記受付部によって画角の変更が受け付けられた場合に、前記複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、前記第１の解像度よりも低い解像度である第２の解像度を有する第２の画像の復号を行う
    　請求項１に記載の画像処理装置。
  6. 　前記受付部は、
    　前記領域に対するユーザの視点に関する情報を受け付け、
    　前記画像生成部は、
    　前記ユーザの視点に関する情報に基づいて、前記第２の画角への変更前に表示されていた複数の第１の画像のうち、いずれの第１の画像の表示を維持するかを決定する
    　請求項１に記載の画像処理装置。
  7. 　画像生成部は、
    　前記第２の画角への変更前に表示されていた複数の第１の画像のうち、前記ユーザの視点により近い位置に所在する第１の画像を優先的に維持するよう決定する
    　請求項６に記載の画像処理装置。
  8. 　前記受付部は、
    　ユーザによる領域の指定情報に基づいて、前記広画角画像のうち前記表示部に表示される前記領域を決定する
    　請求項１に記載の画像処理装置。
  9. 　前記表示部は、ユーザが頭部に装着するディスプレイであり、
    　前記受付部は、
    　前記ディスプレイを装着したユーザの視点もしくは姿勢情報に基づいて、前記広画角画像のうち前記表示部に表示される前記領域を決定する
    　請求項８に記載の画像処理装置。
  10. 　前記広画角画像は、全天球コンテンツ、半天球コンテンツ又はパノラマ画像の少なくともいずれかであり、
    　前記受付部は、
    　前記全天球コンテンツ、前記半天球コンテンツ又は前記パノラマ画像の少なくともいずれかにおいて指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける
    　請求項１に記載の画像処理装置。
  11. 　前記受付部は、
    　ユーザが利用する入力装置から受信する信号を介して、前記第１の画角から第２の画角への変更を受け付ける
    　請求項１に記載の画像処理装置。
  12. 　前記画像生成部によって生成された画像の前記表示部への表示を制御する表示制御部をさらに備える
    　請求項１に記載の画像処理装置。
  13. 　コンピュータが、
    　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付け、
    　前記第１の画角から第２の画角への変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う
    　画像処理方法。
  14. 　コンピュータを、
    　表示部に表示される広画角画像のうち指定された領域に含まれる部分画像に対して、第１の画角から第２の画角への変更を受け付ける受付部と、
    　前記受付部によって画角の変更が受け付けられた場合に、前記広画角画像の解像度とは異なる第１の解像度を有する画像であって、前記第２の画角への変更前に復号されていた複数の第１の画像のうち少なくとも１つの第１の画像の前記表示部への表示を維持したまま、当該第２の画角への変更後に当該表示部に表示される画像であって、前記第１の画像とは異なる第２の解像度を有する第２の画像の復号を行う画像生成部と、
    　として機能させるための画像処理プログラム。
PCT/JP2019/031010 2018-08-17 2019-08-06 画像処理装置、画像処理方法及び画像処理プログラム WO2020036099A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112019004148.7T DE112019004148T5 (de) 2018-08-17 2019-08-06 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildverarbeitungsprogramm
JP2020537423A JPWO2020036099A1 (ja) 2018-08-17 2019-08-06 画像処理装置、画像処理方法及び画像処理プログラム
CN201980053809.1A CN112567760A (zh) 2018-08-17 2019-08-06 图像处理装置、图像处理方法和图像处理程序
US17/260,402 US20210266510A1 (en) 2018-08-17 2019-08-06 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-153666 2018-08-17
JP2018153666 2018-08-17

Publications (1)

Publication Number Publication Date
WO2020036099A1 true WO2020036099A1 (ja) 2020-02-20

Family

ID=69524788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031010 WO2020036099A1 (ja) 2018-08-17 2019-08-06 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20210266510A1 (ja)
JP (1) JPWO2020036099A1 (ja)
CN (1) CN112567760A (ja)
DE (1) DE112019004148T5 (ja)
WO (1) WO2020036099A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034079A (ja) * 2011-08-01 2013-02-14 Sony Computer Entertainment Inc 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
JP2014176017A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
WO2018021071A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034079A (ja) * 2011-08-01 2013-02-14 Sony Computer Entertainment Inc 動画データ生成装置、動画像表示装置、動画データ生成方法、動画像表示方法、および動画像ファイルのデータ構造
JP2014176017A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
WO2018021071A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
CN112567760A (zh) 2021-03-26
US20210266510A1 (en) 2021-08-26
DE112019004148T5 (de) 2021-06-10
JPWO2020036099A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
CN112020858B (zh) 利用感兴趣区域的确定的异步时间和空间扭曲
CN109791433B (zh) 预测式中心凹虚拟现实***
KR102492565B1 (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
JP6044328B2 (ja) 画像処理システム、画像処理方法およびプログラム
US20180096494A1 (en) View-optimized light field image and video streaming
EP3522542B1 (en) Switching between multidirectional and limited viewport video content
JP5743016B2 (ja) 画像を生成する装置および方法
US11303871B2 (en) Server and display apparatus, and control methods thereof
US10701333B2 (en) System, algorithms, and designs of view-optimized zoom for 360 degree video
WO2015142971A1 (en) Receiver-controlled panoramic view video share
JP2015095147A (ja) 表示制御装置、表示制御方法、およびプログラム
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
CN110832849B (zh) 360度视频流式传输的预测性位率选择
KR20190011212A (ko) 출력면을 제공하는 방법 및 데이터 처리 시스템
US20230018560A1 (en) Virtual Reality Systems and Methods
US10911677B1 (en) Multi-camera video stabilization techniques
WO2020036099A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11394944B2 (en) Image processing device and system for outputting higher-resolution videos
JP6394682B2 (ja) 方法および画像処理装置
WO2020184188A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20230224431A1 (en) Techniques for enabling high fidelity magnification of video
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质
JP2019003676A (ja) 画像処理システム、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19850163

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020537423

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19850163

Country of ref document: EP

Kind code of ref document: A1