WO2021020200A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2021020200A1 WO2021020200A1 PCT/JP2020/028078 JP2020028078W WO2021020200A1 WO 2021020200 A1 WO2021020200 A1 WO 2021020200A1 JP 2020028078 W JP2020028078 W JP 2020028078W WO 2021020200 A1 WO2021020200 A1 WO 2021020200A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- image
- threshold value
- difference
- viewpoint
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
Definitions
- the technology of the present disclosure relates to an information processing device, an information processing method, and a program.
- Japanese Patent Laying-Open No. 2019-53738 describes an acquisition means for acquiring information for specifying a viewpoint position and / and a line-of-sight direction for generating a virtual viewpoint image, and a viewpoint position and / and the viewpoint acquired by the acquisition means.
- An information processing device characterized by having a notification means for notifying information on the quality of a virtual viewpoint image generated based on the direction of the line of sight is disclosed.
- One embodiment according to the technique of the present disclosure provides an information processing device, an information processing method, and a program that can contribute to the acquisition of a free viewpoint image in which the degree of difference from the reference image is less than the first threshold value.
- the first aspect according to the technique of the present disclosure is a free viewpoint image based on at least one image of a plurality of images obtained by capturing an imaging region by a plurality of imaging devices, and is a specific viewpoint.
- An acquisition unit that acquires a free-viewpoint image showing an imaging area when the imaging area is observed from a position and a specific line-of-sight direction, a reference image, a free-viewpoint image acquired by the acquisition unit, and an acquisition unit.
- It is an information processing apparatus including an execution unit that executes a specific process when the degree of difference from the reference image is equal to or higher than the first threshold value.
- the second aspect according to the technique of the present disclosure is the information processing apparatus according to the first aspect, wherein the specific process is a process including a notification process for notifying that the degree of difference is equal to or higher than the first threshold value.
- a third aspect according to the technique of the present disclosure is a process of performing at least one of visual notification, audible notification, and tactile notification that the degree of difference is equal to or higher than the first threshold value. It is an information processing apparatus according to the second aspect.
- the specific process limits the range in which the viewpoint position can be specified to the viewpoint position range defined as the range in which the degree of difference is less than the first threshold value, and the line-of-sight direction.
- a fifth aspect according to the technique of the present disclosure is a process including a change process for making a change so that the degree of difference is less than the first threshold value with respect to the free-viewpoint image, from the first aspect to the fourth aspect. It is an information processing apparatus according to any one aspect.
- a sixth aspect of the technique of the present disclosure is an information processing apparatus according to a fifth aspect, wherein the change process is a process of changing a free viewpoint image by changing at least one of a viewpoint position and a line-of-sight direction. Is.
- a seventh aspect according to the technique of the present disclosure is an information processing apparatus according to any one of the first to sixth aspects, wherein the execution unit executes a specific process according to a change in the free viewpoint image. Is.
- the eighth aspect according to the technique of the present disclosure is a tracking mode in which the executing unit executes specific processing while following the change in the free viewpoint image, and the executing unit does not execute the specific processing while following the change in the free viewpoint image.
- the information processing apparatus according to the seventh aspect further includes a setting unit for selectively setting a non-following mode.
- the setting unit sets a follow-up mode when the amount of change in the degree of difference is less than the second threshold value, and sets a non-follow-up mode when the amount of change is greater than or equal to the second threshold value.
- the setting unit sets a follow-up mode when the frequency of change of the difference is less than the third threshold value, and sets a non-follow-up mode when the frequency is equal to or higher than the third threshold value.
- the eleventh aspect according to the technique of the present disclosure further includes a control unit for displaying a free viewpoint image on the first display device, and information processing according to any one of the first to tenth aspects. It is a device.
- the first display device has a detection unit for detecting the posture of the first display device, and the execution unit has a default posture when the posture detected by the detection unit is the default posture.
- the information processing apparatus according to the eleventh aspect, wherein the specific process is executed and the specific process is not executed when the posture detected by the detection unit is different from the default posture.
- a thirteenth aspect according to the technique of the present disclosure is an information processing device according to the eleventh aspect or the twelfth aspect, wherein the control unit displays a reference image on a second display device different from the first display device. Is.
- the execution unit when the instruction information for instructing the change of the first threshold value is received by the reception unit, the execution unit changes the first threshold value according to the instruction information received by the reception unit.
- the execution unit changes the first threshold value according to the instruction information received by the reception unit.
- a fifteenth aspect according to the technique of the present disclosure is an information processing device according to any one of the first to fourteenth aspects, wherein the free viewpoint image is a virtual viewpoint image.
- the sixteenth aspect according to the technique of the present disclosure is an information processing device according to any one of the first to fifteenth aspects, wherein the reference image is a live broadcast image.
- a seventeenth aspect according to the technique of the present disclosure is any one of the first to sixteenth aspects, wherein the reference image is an image obtained by capturing an imaging region by a reference imaging device.
- This is an information processing device related to.
- An eighteenth aspect according to the technique of the present disclosure is information relating to any one of the first to seventeenth aspects, wherein the viewpoint position and the line-of-sight direction are the viewpoint position and the line-of-sight direction instructed from the outside. It is a processing device.
- a nineteenth aspect according to the technique of the present disclosure relates to any one of the first to eighteenth aspects, wherein the specific process is a process that contributes to keeping the degree of difference below the first threshold value. It is an information processing device.
- a twentieth aspect according to the technique of the present disclosure is a free viewpoint image based on at least one image of a plurality of images obtained by capturing an imaging region by a plurality of imaging devices, and is a specific viewpoint.
- Acquiring a free-viewpoint image and a reference image showing an imaging area when observing the imaging area from a position and a specific line-of-sight direction, and the degree of difference between the acquired free-viewpoint image and the acquired reference image are the first. It is an information processing method including executing a specific process when it is 1 threshold value or more.
- a twenty-first aspect according to the technique of the present disclosure is a free-viewpoint image based on at least one of a plurality of images obtained by capturing an imaging region on a computer by a plurality of imaging devices. Acquiring a free viewpoint image and a reference image showing an imaging area when the imaging area is observed from a specific viewpoint position and a specific line-of-sight direction, and a difference between the acquired free viewpoint image and the acquired reference image.
- This is a program for executing a process including executing a specific process when the degree is equal to or higher than the first threshold value.
- FIG. 6 is a conceptual diagram showing an example of a mode in which a viewpoint position instruction is received by a touch panel in the rectangular frame shown in FIG. 27.
- FIG. 5 is a conceptual diagram showing an example of a mode in which a circular frame indicating a line-of-sight direction range and a guidance message are displayed on a display of a smart device together with a virtual viewpoint image, and a line-of-sight direction instruction is received by a touch panel toward the inside of the circular frame.
- It is a conceptual diagram provided for the explanation of the 2nd modification of the processing content of the execution part.
- It is a conceptual diagram which shows the 3rd modification of the processing content of the virtual viewpoint image generation part.
- It is a conceptual diagram which provides the explanation of the modification of the processing content of a setting part.
- CPU refers to the abbreviation of "Central Processing Unit”.
- RAM is an abbreviation for "Random Access Memory”.
- DRAM refers to the abbreviation of "Dynamic Random Access Memory”.
- SRAM refers to the abbreviation of "Static Random Access Memory”.
- ROM is an abbreviation for "Read Only Memory”.
- SSD is an abbreviation for "Solid State Drive”.
- HDD refers to the abbreviation of "Hard Disk Drive”.
- EEPROM refers to the abbreviation of "Electrically Erasable and Programmable Read Only Memory”.
- I / F refers to the abbreviation of "Interface”.
- IC refers to the abbreviation of "Integrated Circuit”.
- ASIC refers to the abbreviation of "Application Special Integrated Circuit”.
- PLD refers to the abbreviation of "Programmable Logical Device”.
- FPGA refers to the abbreviation of "Field-Programmable Gate Array”.
- SoC refers to the abbreviation of "System-on-a-chip”.
- CMOS is an abbreviation for "Complementary Metal Oxide Semiconducor”.
- CCD refers to the abbreviation of "Charge Coupled Device”.
- EL refers to the abbreviation for "Electro-Luminescence”.
- GPU refers to the abbreviation of "Graphics Processing Unit”.
- LAN refers to the abbreviation of "Local Area Network”.
- 3D refers to the abbreviation of "3 Dimension”.
- USB refers to the abbreviation of "Universal Serial Bus”.
- vertical includes not only the meaning of perfect vertical but also the meaning of substantially vertical including errors allowed in design and manufacturing.
- match includes not only the meaning of perfect match but also the meaning of substantially match including errors allowed in design and manufacturing.
- the information processing system 10 includes an information processing device 12, a smart device 14, a plurality of imaging devices 16, an imaging device 18, and a wireless communication base station (hereinafter, simply referred to as “base station”) 20. , And a receiver 34.
- the “smart device 14" refers to a portable multifunctional terminal such as a smartphone or a tablet terminal, for example.
- the smart device 14 is an example of the "first display device” according to the technology of the present disclosure
- the image pickup device 18 is the “first image pickup device” and the “second image pickup device” according to the technology of the present disclosure.
- the receiver 34 is an example of the "second display device” according to the technique of the present disclosure.
- the receiver 34 is illustrated here, the technique of the present disclosure is not limited to this, and an electronic device with a display (for example, a smart device) may be used.
- the number of base stations 20 is not limited to one, and a plurality of base stations 20 may exist.
- the communication standards used in the base station include wireless communication standards including LTE (Long Term Evolution) standards and wireless communication standards including WiFi (802.11) standards and / or Bluetooth (registered trademark) standards. included.
- the imaging devices 16 and 18 are imaging devices having a CMOS image sensor, and are equipped with an optical zoom function and / or a digital zoom function. Instead of the CMOS image sensor, another type of image sensor such as a CCD image sensor may be adopted.
- CMOS image sensor another type of image sensor such as a CCD image sensor may be adopted.
- plural of image pickup devices when it is not necessary to distinguish between the image pickup device 18 and the plurality of image pickup devices 16, they are referred to as “plurality of image pickup devices” without reference numerals.
- the plurality of imaging devices 16 are installed in the soccer stadium 22. Each of the plurality of imaging devices 16 is arranged so as to surround the soccer field 24, and images the region including the soccer field 24 as an imaging region.
- each of the plurality of image pickup devices 16 is arranged so as to surround the soccer field 24 is given, but the technique of the present disclosure is not limited to this, and the arrangement of the plurality of image pickup devices 16 is not limited to this. It is determined according to the virtual viewpoint image requested to be generated by the viewer 28 or the like.
- a plurality of image pickup devices 16 may be arranged so as to surround the entire soccer field 24, or a plurality of image pickup devices 16 may be arranged so as to surround a specific part thereof.
- the image pickup device 18 is installed in an unmanned aerial vehicle (for example, a multi-rotorcraft unmanned aerial vehicle), and takes a bird's-eye view of a region including a soccer field 24 as an imaging region from the sky.
- the imaging region in a state in which the region including the soccer field 24 is viewed from the sky refers to the imaging surface of the soccer field 24 by the imaging device 18.
- the information processing device 12 is installed in the control room 32.
- the plurality of imaging devices 16 and the information processing device 12 are connected via a LAN cable 30, and the information processing device 12 controls the plurality of imaging devices 16 and is imaged by each of the plurality of imaging devices 16. The image obtained by this is acquired.
- the connection using the wired communication method by the LAN cable 30 is illustrated here, the connection is not limited to this, and the connection using the wireless communication method may be used.
- the soccer stadium 22 is provided with spectator seats 26 so as to surround the soccer field 24, and the viewer 28 is seated in the spectator seats 26.
- the viewer 28 possesses a smart device 14, which is used by the viewer 28. It should be noted that here, the example in which the viewer 28 exists in the soccer stadium 22 is described, but the technique of the present disclosure is not limited to this, and the viewer 28 is the soccer stadium 22. It may exist outside.
- the base station 20 transmits and receives various information to and from the information processing device 12 and the unmanned aerial vehicle 27 via radio waves. That is, the information processing device 12 is wirelessly connected to the unmanned aerial vehicle 27 via the base station 20. The information processing device 12 controls the unmanned aerial vehicle 27 by wirelessly communicating with the unmanned aerial vehicle 27 via the base station 20, and acquires an image obtained by being imaged by the imaging device 18 from the unmanned aerial vehicle 27. Or do.
- the base station 20 transmits various information to the receiver 34 via wireless communication.
- the information processing device 12 transmits various images to the receiver 34 via the base station 20, the receiver 34 receives various images transmitted from the information processing device 12, and the received various images are displayed on the screen 34A. indicate.
- the receiver 34 is used, for example, for viewing by an unspecified number of spectators.
- the location where the receiver 34 is installed may be inside the soccer stadium 22 or outside the soccer stadium 22 (for example, a public viewing venue).
- various information is transmitted to the receiver 34 via wireless communication here, the technique of the present disclosure is not limited to this, and for example, wired communication to the receiver 34 is given. It may be in the form of transmitting various information via.
- the information processing device 12 is a device corresponding to a server, and the smart device 14 is a device corresponding to a client terminal for the information processing device 12.
- the smart device 14 requests the information processing device 12 to provide various services, and the information processing device 12 receives the information processing device 12.
- a service corresponding to a request from the smart device 14 is provided to the smart device 14.
- the information processing apparatus 12 acquires a bird's-eye view image 46A showing an area including a soccer field 24 when observed from the sky from an unmanned aerial vehicle 27.
- the bird's-eye view image 46A is a moving image obtained by capturing a bird's-eye view of the area including the soccer field 24 as an imaging area (hereinafter, also simply referred to as an “imaging area”) by the imaging device 18 of the unmanned aerial vehicle 27. Is.
- the bird's-eye view image 46A is not limited to this, and is a still image showing an area including a soccer field 24 when observed from the sky. May be good.
- the information processing device 12 acquires a captured image 46B indicating an imaging region when observed from each position of the plurality of imaging devices 16 from each of the plurality of imaging devices 16.
- the captured image 46B is a moving image obtained by capturing the imaging region by each of the plurality of imaging devices 16.
- the captured image 56B is not limited to this, and is still showing an imaging region when observed from each position of a plurality of imaging devices 16. It may be an image.
- the information processing device 12 generates a virtual viewpoint image 46C based on the bird's-eye view image 46A and the captured image 46B.
- the virtual viewpoint image 46C is an image showing an imaging area when the imaging area is observed from a specific viewpoint position and a specific line-of-sight direction.
- the virtual viewpoint image 46C refers to, for example, a virtual viewpoint image showing an imaging area when the imaging area is observed from the viewpoint position 42 and the line-of-sight direction 44 in the spectator seat 26.
- An example of the virtual viewpoint image 46C is a moving image using a 3D polygon. The viewpoint position 42 and the line-of-sight direction 44 are not fixed.
- the viewpoint position 42 and the line-of-sight direction 44 change according to the instruction from the viewer 28 or the like.
- the technique of the present disclosure is not limited to this, and even if the viewpoint position 42 and the line-of-sight direction 44 are fixed. Good.
- the information processing device 12 uses 3D polygons by synthesizing a plurality of images (here, as an example, a bird's-eye view image 46A and an image captured image 46B) obtained by capturing an imaging area by a plurality of imaging devices. Generate a moving image.
- the information processing device 12 generates a virtual viewpoint image corresponding to the case where the imaging region is observed from an arbitrary position and an arbitrary direction based on the moving image using the generated 3D polygon.
- the information processing apparatus 12 generates a virtual viewpoint image 46 showing the subject when the subject is observed at the viewpoint position 42 and the line-of-sight direction 44.
- the virtual viewpoint image 46 corresponds to an image obtained by imaging a virtual image pickup device (hereinafter, also referred to as “virtual image pickup device”) installed at the viewpoint position 42 with the line-of-sight direction 44 as the image pickup direction.
- a moving image is illustrated as the virtual viewpoint image 46C, but the present invention is not limited to this, and a still image may be used.
- the viewpoint position 42 is an example of a "specific viewpoint position” according to the technique of the present disclosure
- the line-of-sight direction 44 is an example of a "specific line-of-sight direction” according to the technology of the present disclosure.
- the virtual viewpoint image 46C is an example of the "free viewpoint image” according to the technique of the present disclosure.
- the bird's-eye view image 46A obtained by being imaged by the image pickup apparatus 18 is also used for generation is shown, but the technique of the present disclosure is not limited to this.
- the virtual viewpoint image 46C is generated only from the image obtained by being imaged by the plurality of image pickup devices 16 without using the image obtained from the image pickup device 18 (for example, a multi-rotorcraft unmanned aerial vehicle). You may do so. If an image obtained from the image pickup device 18 (for example, a multi-rotorcraft unmanned aerial vehicle) is used, a more accurate virtual viewpoint image can be generated.
- the information processing device 12 selectively transmits the reference video 46B1 (see FIGS. 9 and 10) and the virtual viewpoint video 46C, which will be described later, to the smart device 14 and the receiver 34 as distribution videos.
- the reference video 46B1 and the virtual viewpoint video 46C are also referred to as “delivered video”.
- the information processing apparatus 12 includes a computer 50, a reception device 52, a display 53, a first communication I / F 54, and a second communication I / F 56.
- the computer 50 includes a CPU 58, a storage 60, and a memory 62, and the CPU 58, the storage 60, and the memory 62 are connected to each other via a bus line 64.
- a bus line 64 In the example shown in FIG. 3, for convenience of illustration, one bus line is shown as the bus line 64, but a plurality of bus lines may be used.
- the bus line 64 may include a serial bus or a parallel bus composed of a data bus, an address bus, a control bus, and the like.
- the CPU 58 controls the entire information processing device 12.
- the storage 60 stores various parameters and various programs.
- the storage 60 is a non-volatile storage device.
- a flash memory is adopted as an example of the storage 60, but the present invention is not limited to this, and may be EEPROM, HDD, SSD, or the like.
- the memory 62 is a storage device. Various information is temporarily stored in the memory 62.
- the memory 62 is used as a work memory by the CPU 58.
- DRAM is adopted as an example of the memory 62, but the present invention is not limited to this, and other types of storage devices may be used.
- the reception device 52 receives instructions from the user or the like of the information processing device 12. Examples of the reception device 52 include a touch panel, hard keys, a mouse, and the like.
- the reception device 52 is connected to a bus line 64 or the like, and the instruction received by the reception device 52 is acquired by the CPU 58.
- the display 53 is connected to the bus line 64 and displays various information under the control of the CPU 58.
- An example of the display 53 is a liquid crystal display.
- another type of display such as an organic EL display or an inorganic EL display may be adopted as the display 53.
- the first communication I / F 54 is connected to the LAN cable 30.
- the first communication I / F 54 is realized, for example, by a device having an FPGA.
- the first communication I / F 54 is connected to the bus line 64 and controls the exchange of various information between the CPU 58 and the plurality of image pickup devices 16.
- the first communication I / F 54 controls a plurality of image pickup devices 16 according to the request of the CPU 58.
- the first communication I / F 54 acquires the captured image 46B (see FIG. 2) obtained by being imaged by each of the plurality of imaging devices 16, and outputs the acquired captured image 46B to the CPU 58.
- the first communication I / F 54 is exemplified as a wired communication I / F here, it may be a wireless communication I / F such as a high-speed wireless LAN.
- the second communication I / F 56 is connected to the base station 20 so as to be capable of wireless communication.
- the second communication I / F56 is realized, for example, by a device having an FPGA.
- the second communication I / F 56 is connected to the bus line 64.
- the second communication I / F 56 manages the exchange of various information between the CPU 58 and the unmanned aerial vehicle 27 in a wireless communication system via the base station 20. Further, the second communication I / F 56 manages the exchange of various information between the CPU 58 and the smart device 14 in a wireless communication system via the base station 20. Further, the second communication I / F 56 controls the transmission of various images to the receiver 34 by the CPU 58 in a wireless communication system via the base station 20.
- At least one of the first communication I / F54 and the second communication I / F56 can be configured by a fixed circuit instead of the FPGA. Further, at least one of the first communication I / F54 and the second communication I / F56 may be a circuit composed of an ASIC, an FPGA, and / or a PLD or the like.
- the smart device 14 includes a computer 70, a gyro sensor 74, a reception device 76, a display 78, a microphone 80, a speaker 82, an image pickup device 84, and a communication I / F 86.
- the computer 70 includes a CPU 88, a storage 90, and a memory 92, and the CPU 88, the storage 90, and the memory 92 are connected to each other via a bus line 94.
- one bus line is shown as the bus line 94 for convenience of illustration, but the bus line 94 may be composed of a serial bus, or may be a data bus, an address bus, and a bus line 94.
- the CPU 88, the reception device 76, the display 78, the microphone 80, the speaker 82, the image pickup device 84, and the communication I / F86 are connected by a common bus, but the CPU 88 and each device are connected by a dedicated bus or a dedicated bus. It may be connected by a communication line.
- the CPU 88 controls the entire smart device 14.
- the storage 90 stores various parameters and various programs.
- the storage 90 is a non-volatile storage device.
- a flash memory is adopted as an example of the storage 90, but the present invention is not limited to this, and may be EEPROM, HDD, SSD, or the like.
- Various information is temporarily stored in the memory 92, and the memory 92 is used as a work memory by the CPU 88.
- RAM is adopted as an example of the memory 92, but the present invention is not limited to this, and other types of storage devices may be used.
- the gyro sensor 74 includes an angle around the yaw axis of the smart device 14 (hereinafter, also referred to as “yaw angle”), an angle around the roll axis of the smart device 14 (hereinafter, also referred to as “roll angle”), and the smart device 14.
- the angle around the pitch axis (hereinafter, also referred to as “pitch angle”) is measured.
- the gyro sensor 74 is connected to the bus line 94, and angle information indicating the yaw angle, roll angle, and pitch angle measured by the gyro sensor 74 is acquired by the CPU 88 via the bus line 94 or the like.
- the reception device 76 is an example of the "reception unit (acceptor)" related to the technology of the present disclosure, and receives instructions from users of the smart device 14 (here, as an example, the viewer 28). Examples of the reception device 76 include a touch panel 76A, a hard key, and the like. The reception device 76 is connected to the bus line 94, and the instruction received by the reception device 76 is acquired by the CPU 88.
- the display 78 is connected to the bus line 94 and displays various information under the control of the CPU 88.
- An example of the display 78 is a liquid crystal display.
- another type of display such as an organic EL display may be adopted as the display 78.
- the smart device 14 includes a touch panel display, and the touch panel display is realized by the touch panel 76A and the display 78. That is, the touch panel display is formed by superimposing the touch panel 76A on the display area of the display 78 or by incorporating the touch panel function inside the display 78 (“in-cell” type).
- the microphone 80 converts the collected sound into an electric signal.
- the microphone 80 is connected to the bus line 94.
- the electric signal obtained by converting the sound collected by the microphone 80 is acquired by the CPU 88 via the bus line 94.
- the speaker 82 converts an electric signal into sound.
- the speaker 82 is connected to the bus line 94.
- the speaker 82 receives the electric signal output from the CPU 88 via the bus line 94, converts the received electric signal into sound, and outputs the sound obtained by converting the electric signal to the outside of the smart device 14. ..
- the image pickup device 84 acquires an image showing the subject by taking an image of the subject.
- the image pickup apparatus 84 is connected to the bus line 94.
- the image obtained by capturing the subject by the image pickup apparatus 84 is acquired by the CPU 88 via the bus line 94.
- the speaker 82 is integrated with the smart device 14, but a sound output from headphones (including earphones) separately connected to the smart device 14 by wire or wirelessly may be adopted.
- the communication I / F86 is connected to the base station 20 so as to be capable of wireless communication.
- Communication I / F86 is realized, for example, by a device composed of circuits (eg, ASIC, FPGA, and / or PLD, etc.).
- the communication I / F86 is connected to the bus line 94.
- the communication I / F86 manages the exchange of various information between the CPU 88 and the external device in a wireless communication system via the base station 20.
- examples of the "external device" include an information processing device 12.
- the roll axis is an axis that penetrates the center of the display 78 of the smart device 14.
- the rotation angle of the smart device 14 around the roll axis is measured by the gyro sensor 74 as the roll angle.
- the yaw axis is an axis penetrating the center of the lateral peripheral surface in the longitudinal direction of the lateral peripheral surface of the smart device 14.
- the rotation angle of the smart device 14 around the yaw axis is measured by the gyro sensor 74 as the yaw angle. Further, as shown in FIG.
- the pitch axis is an axis penetrating the center of the lateral peripheral surface of the smart device 14 in the lateral direction.
- the rotation angle of the smart device 14 around the pitch axis is measured by the gyro sensor 74 as the pitch angle.
- the information processing program 60A, the display control program 60B, and the setting program 60C are stored in the storage 60.
- the information processing program 60A, the display control program 60B, and the setting program 60C are referred to as "information processing device side programs" without reference numerals.
- the CPU 58 is an example of the "processor” according to the technology of the present disclosure
- the memory 62 is an example of the “memory” according to the technology of the present disclosure.
- the CPU 58 reads the information processing device side program from the storage 60, and expands the read information processing device side program into the memory 62.
- the CPU 58 exchanges various information with the smart device 14, the image pickup device 16, and the unmanned aerial vehicle 27 according to the information processing device side program developed in the memory 62, and transmits various images to the receiver 34. ..
- the CPU 58 reads the information processing program 60A from the storage 60, and expands the read information processing program 60A into the memory 62.
- the CPU 58 operates as the acquisition unit 102 and the execution unit 104 according to the information processing program 60A expanded in the memory 62. By operating as the acquisition unit 102 and the execution unit 104, the CPU 58 executes information processing (see FIG. 21) described later.
- the CPU 58 reads the display control program 60B from the storage 60, and expands the read display control program 60B into the memory 62.
- the CPU 58 operates as the control unit 106 according to the display control program 60B expanded in the memory 62 to execute the display control process (see FIG. 19) described later.
- the CPU 58 reads the setting program 60C from the storage 60 and expands the read setting program 60C into the memory 62.
- the CPU 58 operates as the setting unit 108 according to the setting program 60C expanded in the memory 62.
- the CPU 58 operates as the setting unit 108 to execute the setting process (see FIG. 20) described later.
- the video generation program 60D is stored in the storage 60, and the CPU 58 reads the video generation program 60D from the storage 60 and expands the read video generation program 60D into the memory 62.
- the CPU 58 operates as the reference video generation unit 100A and the virtual viewpoint video generation unit 100B according to the video generation program 60D expanded in the memory 62.
- the reference image generation unit 100A generates the reference image 46B1
- the virtual viewpoint image generation unit 100B generates the virtual viewpoint image 46C.
- the captured image designation information is received by the receiving device 52.
- the captured image designation information refers to information that specifies one of a plurality of captured images.
- the captured image designation information is received by, for example, the reception device 52.
- the reception of the captured image designation information by the reception device 52 is realized, for example, by operating the reception device 52 by a video creator (not shown). Specifically, in a state where a plurality of captured images 46B are displayed side by side on the display 53 of the information processing device 12, among the plurality of captured images, according to the captured image designation information received by the receiving device 52 by the image creator. One of is specified.
- the reference image generation unit 100A receives a plurality of captured images from the imaging device 18 and the plurality of imaging devices 16, acquires the captured images designated by the captured image designation information from the received plurality of captured images, and acquires the captured images.
- the reference image 46B1 is generated by performing various signal processing (for example, known signal processing) on the 46B. That is, the reference image 46B1 is an image obtained by capturing an imaging region by an imaging device (hereinafter, also referred to as a “reference imaging device”) of any of the plurality of imaging devices 16.
- the "reference video 46B1" is, for example, a live broadcast video, a video shot in advance, or the like.
- the live broadcast video or the video shot in advance is, for example, a video broadcast on a television or distributed on the Internet.
- the live broadcast image is generated based on the captured image 46B instructed by the captured image instruction information, but this is only an example, and the captured image 46B itself specified by the captured image designation information is It may be adopted as the reference image 46B1.
- the touch panel 76A of the smart device 14 receives a viewpoint line-of-sight instruction.
- the delivered video from the information processing device 12 is received by the smart device 14.
- the distributed video received from the information processing device 12 by the smart device 14 is displayed on the display 78.
- the touch panel 76A is operated by the viewer 28 while being displayed on the display 78, the viewpoint line-of-sight instruction is received by the touch panel 76A.
- the viewpoint line-of-sight instruction includes a viewpoint position instruction which is an instruction of the viewpoint position 42 (see FIG. 2) with respect to the imaging region and a line-of-sight direction instruction which is an instruction of the line-of-sight direction 44 (see FIG. 2) with respect to the imaging region. ..
- the viewpoint position is first instructed, and then the line-of-sight direction is instructed. That is, first, the viewpoint position 42 is determined, and then the line-of-sight direction 44 is determined.
- the viewpoint position instruction includes a tap operation on the touch panel 76A.
- the tap operation may be a single tap operation or a double tap operation.
- a long touch operation may be performed.
- the line-of-sight direction instruction includes a slide operation.
- the "sliding operation” refers to, for example, an operation of linearly sliding the position where the indicator (for example, the finger of the viewer 28) is in contact with the touch panel 76A.
- the position in the touch panel 76A where the tap operation is performed corresponds to the viewpoint position 42 with respect to the imaging region
- the direction in which the slide operation is performed in the touch panel 76A corresponds to the line-of-sight direction 44 with respect to the imaging region.
- the virtual viewpoint image generation unit 100B acquires the viewpoint line-of-sight instruction received by the touch panel 76A, and generates the virtual viewpoint image 46C by using a plurality of captured images according to the acquired viewpoint line-of-sight instruction. That is, the virtual viewpoint image generation unit 100B generates a virtual viewpoint image 46C showing an imaging region when the imaging region is observed from the viewpoint position 42 according to the viewpoint position instruction and the line-of-sight direction 44 according to the line-of-sight direction instruction.
- the generation of the virtual viewpoint image 46C is realized, for example, by generating 3D polygons based on a plurality of captured images.
- the mode of the virtual viewpoint image 46C that is, the subject shown in the virtual viewpoint image 46.
- the size and orientation of the are changed.
- the expansion of the virtual viewpoint image 46C is realized, for example, in response to a pinch-out operation on the touch panel 76A of the smart device 14, and the reduction of the virtual viewpoint image 46C is realized, for example, in response to a pinch-in operation on the touch panel 76A of the smart device 14. It will be realized.
- the acquisition unit 102 acquires the reference video 46B1 generated by the reference video generation unit 100A from the reference video generation unit 100A. Further, the acquisition unit 102 acquires the virtual viewpoint image 46C generated by the virtual viewpoint image generation unit 100B from the virtual viewpoint image generation unit 100B.
- the control unit 106 has a reference video control unit 106A and a virtual viewpoint video control unit 106B.
- the reference image control unit 106A transmits the reference image 46B1 acquired by the acquisition unit 102 to the receiver 34, which is a display device different from the display 78 of the smart device 14, so that the reference image 46B1 is displayed on the screen 34A.
- the receiver 34 is controlled so as to. That is, the receiver 34 receives the reference image 46B1 transmitted from the reference image control unit 106A, and displays the received reference image 46B1 on the screen 34A.
- the virtual viewpoint image control unit 106B controls the smart device 14 so that the virtual viewpoint image 46C is displayed on the display 78 by transmitting the virtual viewpoint image 46C acquired by the acquisition unit 102 to the smart device 14. That is, the smart device 14 receives the virtual viewpoint video 46C transmitted from the virtual viewpoint video control unit 106B, and displays the received virtual viewpoint video 46C on the display 78.
- the execution unit 104 executes the specific process based on the reference image 46B1 acquired by the acquisition unit 102 and the virtual viewpoint image 46C acquired by the acquisition unit 102.
- the degree of difference between the reference image 46B1 acquired by the acquisition unit 102 and the virtual viewpoint image 46C acquired by the acquisition unit 102 (hereinafter, simply referred to as “difference”) is equal to or higher than the first threshold value.
- difference is the processing performed in the case.
- An example of the specific process is a process that contributes to keeping the degree of difference below the first threshold value.
- the execution unit 104 executes a specific process according to a change in the virtual viewpoint image 46C. That is, the execution unit 104 executes the specific process while following the change of the virtual viewpoint image 46C.
- the execution unit 104 includes a difference degree calculation unit 104A, a determination unit 104B, and a notification processing unit 104C.
- the difference degree calculation unit 104A calculates the difference degree between the reference image 46B1 acquired by the acquisition unit 102 and the virtual viewpoint image 46C acquired by the acquisition unit 102.
- the degree of difference refers to, for example, the degree of difference between the reference image 46B1 and the virtual viewpoint image 46C.
- the calculation of the degree of difference is realized, for example, by comparing the feature quantities obtained by performing pattern matching or Fourier transform.
- the difference degree calculation unit 104A outputs the difference degree information indicating the calculated difference degree to the determination unit 104B.
- the determination unit 104B determines whether or not the difference degree indicated by the difference degree information input from the difference degree calculation unit 104A is equal to or higher than the first threshold value. As an example of the case where the degree of difference is equal to or more than the first threshold value, there is a case where the coincidence between the reference image 46B1 and the virtual viewpoint image 46C is less than 30%.
- the first threshold value a fixed value derived in advance by a sensory test and / or computer simulation or the like is adopted.
- the first threshold value does not have to be a fixed value, and may be, for example, a variable value that is changed according to the instruction received by the reception device 52 (see FIG. 2) and / or the reception device 76.
- the determination unit 104B compares the degree of difference with the first threshold value, and when the degree of difference is equal to or greater than the first threshold value, outputs a large degree of difference information indicating that the degree of difference is equal to or greater than the first threshold value to the notification processing unit 104C. To do. Alternatively, the determination unit 104B compares the difference degree with the first threshold value, and if the difference degree is less than the first threshold value, does not output the difference degree large information, and the difference degree information from the difference degree calculation unit 104A. Wait for input.
- the notification processing unit 104C executes a process including the notification process as the above-mentioned specific process.
- the "notification process” refers to a process of notifying that the degree of difference is equal to or higher than the first threshold value.
- the notification destination is, for example, the viewer 28.
- the notification process is realized by transmitting the alerting instruction information to the smart device 14 by the notification processing unit 104C.
- the alerting instruction information refers to information instructing the smart device 14 to alert the viewer 28 that the degree of difference is equal to or higher than the first threshold value.
- FIG. 15 the mode in which the attention alerting instruction information is input to the smart device 14 while the virtual viewpoint image 46C is displayed on the display 78 of the smart device 14 is shown.
- the virtual viewpoint image 46C is displayed on the display 78 under the control of the CPU 88, and is virtual.
- a warning message is displayed in parallel with the viewpoint image 46C.
- the display of the alert message on the display 78 is an example of "visible notification" according to the technique of the present disclosure.
- the message "It is far from the live broadcast video! Is shown as a warning message.
- the alert message may be a message other than this, for example, "a video completely different from the live broadcast video is currently displayed” or "a video completely different from the live broadcast video is displayed”. Therefore, if you wish to bring the currently displayed video closer to the live broadcast video, please specify a new viewpoint position and line-of-sight direction. " That is, the image (virtual viewpoint image 46C in the example shown in FIG. 16) that the viewer 28 is currently visually recognizing through the display 78 of the smart device 14 is the reference image displayed on the screen 34A of the receiver 34.
- the message may be any message that allows the viewer 28 to visually recognize that the degree of difference from 46B1 (for example, live broadcast video) is equal to or greater than the first threshold value.
- the recommended viewpoint position information and the recommended line-of-sight direction are displayed on the display 78 together with a warning message.
- the recommended viewpoint position refers to the viewpoint position 42 required to reduce the degree of difference.
- the recommended line-of-sight direction refers to the line-of-sight direction 44 required to reduce the degree of difference.
- information including an arrow P1 indicating the recommended viewpoint position and a guidance message "recommended viewpoint position" is shown as the recommended viewpoint position information
- the recommended line-of-sight direction is indicated as the recommended line-of-sight direction information.
- Information including an arrow P2 and a guidance message "recommended line-of-sight direction" is shown.
- the viewer 28 moves the screen by performing a slide operation, a flick operation, or the like on the touch panel 76A to adjust the viewpoint position 42.
- the CPU 88 of the smart device 14 controls the recommended viewpoint position information so that the arrow P1 becomes shorter as the viewpoint position 42 approaches the recommended viewpoint position and the arrow P1 becomes longer as the viewpoint position 42 moves away from the recommended viewpoint position. May be good.
- the CPU 88 may also change the direction of the arrow P2 according to the degree of difference between the current line-of-sight direction 44 and the recommended line-of-sight direction.
- the degree of difference is equal to or higher than the first threshold value by turning on a specific light source (not shown) of the default color (for example, red). You may make it visible that there is something.
- the recommended viewpoint position and the recommended line-of-sight direction are set for the viewer 28 by selectively blinking a light source of a plurality of colors (for example, a green light source and a yellow light source) and lengthening or shortening the blinking interval. It may be visually recognized.
- a voice reproduction device and / a vibrator can be mentioned.
- audible notification by voice using a voice reproduction device and / or tactile notification using a vibrator provides information corresponding to a warning message, recommended viewpoint position information, and / or recommended line-of-sight direction information to the viewer 28.
- the audible notification by voice may be an audible notification by a bone conduction method.
- Tactile notification using a vibrator is realized, for example, by changing the vibration pattern (for example, vibration period and amplitude) by the vibrator.
- the information corresponding to the above-mentioned alert message, the recommended viewpoint position information, and / or the recommended line-of-sight direction information is provided by a visible notification by a display 78 or the like, an audible notification using a voice reproduction device, and / or a vibrator or the like. It may be perceived by the viewer 28 by the tactile notification.
- the determination unit 104B compares the degree of difference with the first threshold value, and if the degree of difference is less than the first threshold value, does not output the large difference degree information. Therefore, as shown in FIG. 17, the smart device 14 Although the virtual viewpoint image 46C is displayed on the display 78 under the control of the CPU 88, the warning message, the recommended viewpoint position information, and the recommended line-of-sight direction information are not displayed.
- the setting unit 108 includes a difference degree change amount calculation unit 108A, a change amount determination unit 108B, and a mode instruction unit 108C.
- the setting unit 108 selectively sets the follow-up mode and the non-follow-up mode.
- the follow-up mode refers to an operation mode in which the execution unit 104 performs notification processing while following the change in the virtual viewpoint image 46C
- the non-following mode refers to an operation mode in which the execution unit 104 performs notification processing while following the change in the virtual viewpoint image 46C. Refers to an operation mode that is not executed.
- the difference degree change amount calculation unit 108A acquires the difference degree information from the difference degree calculation unit 104A. That is, the difference degree information is acquired in synchronization with the acquisition timing of the difference degree information by the determination unit 104B (see FIG. 15), and the amount of change in the difference degree is calculated based on the acquired difference degree information. Specifically, first, the difference degree change amount calculation unit 108A acquires the difference degree information at different timings. Here, the different timings refer to, for example, the Nth acquisition timing and the N + 1th acquisition timing when N is an integer of 1 or more. Next, the difference degree change amount calculation unit 108A changes from the difference degree indicated by the difference degree information acquired at the Nth acquisition timing to the difference degree indicated by the difference degree information acquired at the N + 1th acquisition timing.
- the "change amount” is, for example, the absolute difference between the difference degree indicated by the difference degree information acquired at the Nth acquisition timing and the difference degree indicated by the difference degree information acquired at the N + 1th acquisition timing.
- the value is given.
- the absolute value of the difference it may be the ratio of the difference degree indicated by the difference degree information acquired at the N + 1th acquisition timing to the difference degree indicated by the difference degree information acquired at the Nth acquisition timing.
- Any information may be used as long as it is information indicating the amount of change in the degree of difference.
- the change amount determination unit 108B determines whether or not the change amount calculated by the difference degree change amount calculation unit 108A is less than the second threshold value.
- the second threshold value a fixed value derived in advance by a sensory test and / or computer simulation or the like is adopted.
- the second threshold value does not have to be a fixed value, and may be, for example, a variable value that is changed according to the instruction received by the reception device 52 (see FIG. 2) and / or the reception device 76.
- the change amount determination unit 108B outputs information below the second threshold value to the mode indicator unit 108C when the change amount calculated by the difference degree change amount calculation unit 108A is less than the second threshold value. Further, the change amount determination unit 108B outputs the information of the second threshold value or more to the mode indicator unit 108C when the change amount calculated by the difference degree change amount calculation unit 108A is equal to or more than the second threshold value.
- the mode instruction unit 108C outputs the follow-up mode instruction information that instructs the follow-up mode as the operation mode of the execution unit 104 when the change amount determination unit 108B inputs the information less than the second threshold value.
- the mode instruction unit 108C outputs the non-following mode instruction information instructing the non-following mode as the operation mode of the execution unit 104 when the information of the second threshold value or more is input from the change amount determination unit 108B.
- the execution unit 104 operates in the follow-up mode instructed by the follow-up mode instruction information.
- the non-following mode instruction information is input from the mode instruction unit 108C
- the execution unit 104 operates in the non-following mode instructed by the non-following mode instruction information.
- the setting unit 108 sets the follow-up mode as the operation mode of the execution unit 104 when the amount of change in the degree of difference is less than the second threshold value, and when the amount of change in the degree of difference is equal to or greater than the second threshold value, A non-following mode is set as the operation mode of the execution unit 104.
- step ST200 the acquisition unit 102 acquires the reference image 46B1 generated by the reference image generation unit 100A from the reference image generation unit 100A, and then the display control process is performed in step ST202. Move to.
- step ST202 the reference image control unit 106A transmits the reference image 46B1 acquired in step ST200 to the receiver 34 to display the reference image 46B1 on the receiver 34. That is, the receiver 34 receives the reference image 46B1 and displays the received reference image 46B1 on the screen 34A.
- the acquisition unit 102 acquires the virtual viewpoint image 46C generated by the virtual viewpoint image generation unit 100B from the virtual viewpoint image generation unit 100B, and then the display control process shifts to step ST206.
- step ST206 the virtual viewpoint video control unit 106B transmits the virtual viewpoint video 46C acquired in step ST204 to the smart device 14, so that the smart device 14 displays the virtual viewpoint video 46C. That is, the smart device 14 receives the virtual viewpoint image 46C and displays the received virtual viewpoint image 46C on the display 78.
- the control unit 106 determines whether or not the condition for terminating the display control process (hereinafter referred to as "display control process end condition") is satisfied.
- the display control process end condition include a condition that the reception device 52 or 76 has received an instruction to end the display control process. If the display control process end condition is not satisfied in step ST208, the determination is denied and the display control process shifts to step ST200. If the display control process end condition is satisfied in step ST208, the determination is affirmed and the display control process ends.
- the difference degree is calculated by the difference degree calculation unit 104A, and the calculated difference degree information is output to the determination unit 104B and the difference degree change amount calculation unit 108A in synchronization with each other. It will be explained as a premise.
- step ST250 the difference degree change amount calculation unit 108A acquires the difference degree information from the difference degree calculation unit 104A at different timings, and then the setting process shifts to step ST252.
- step ST252 the difference degree change amount calculation unit 108A calculates the change amount for each difference degree indicated by the difference degree information acquired at different timings in step ST250, and then the setting process shifts to step ST254.
- step ST254 the change amount determination unit 108B determines whether or not the change amount calculated in step ST252 is less than the second threshold value. In step ST254, if the amount of change calculated in step ST252 is equal to or greater than the second threshold value, the determination is denied and the setting process proceeds to step ST256. In step ST254, if the amount of change calculated in step ST252 is less than the second threshold value, the determination is affirmed and the setting process proceeds to step ST258.
- step ST256 the mode instruction unit 108C outputs the non-following mode instruction information to the execution unit 104, and then the setting process shifts to step ST260.
- the execution unit 104 operates in the non-following mode instructed by the non-following mode instruction information input from the mode indicating unit 108C.
- step ST258 the mode instruction unit 108C outputs the follow-up mode instruction information to the execution unit 104, and then the setting process shifts to step ST260.
- the execution unit 104 operates in the follow-up mode instructed by the follow-up mode instruction information input from the mode instruction unit 108C.
- the setting unit 108 determines whether or not the condition for terminating the setting process (hereinafter referred to as "setting process end condition") is satisfied.
- the setting process end condition include a condition that the reception device 52 or 76 has received an instruction to end the setting process. If the setting process end condition is not satisfied in step ST260, the determination is denied and the setting process proceeds to step ST250. If the setting process end condition is satisfied in step ST260, the determination is affirmed and the setting process ends.
- the reference video 46B1 has already been generated by the reference video generation unit 100A and the virtual viewpoint video 46C has already been generated by the virtual viewpoint video generation unit 100B. .. Further, here, it is assumed that the virtual viewpoint image 46C generated by the virtual viewpoint image generation unit 100B is displayed on the display 78 of the smart device 14. Further, here, it is assumed that the follow-up mode or the non-follow-up mode is set as the operation mode for the execution unit 104.
- step ST300 the acquisition unit 102 acquires the reference image 46B1 from the reference image generation unit 100A, and then the information processing shifts to step ST302.
- step ST302 the acquisition unit 102 acquires the virtual viewpoint image 46C from the virtual viewpoint image generation unit 100B, and then the information processing shifts to step ST304.
- step ST304 the difference calculation unit 104A calculates the difference between the reference image 46B1 acquired in step ST300 and the virtual viewpoint image 46C acquired in step ST302, and then the information processing shifts to step ST306.
- step ST306 the determination unit 104B determines whether or not the operation mode of the execution unit 104 is the follow-up mode. In step ST306, when the operation mode of the execution unit 104 is the non-following mode, the determination is denied and the information processing shifts to step ST312. In step ST306, when the operation mode of the execution unit 104 is the follow-up mode, the determination is affirmed and the information processing shifts to step ST308.
- step ST308 the determination unit 104B determines whether or not the degree of difference calculated in step ST304 is equal to or greater than the first threshold value. If the degree of difference is less than the first threshold value in step ST308, the determination is denied and the information processing shifts to step ST312. If the degree of difference is equal to or greater than the first threshold value in step ST308, the determination is affirmed and the information processing shifts to step ST310.
- step ST310 the notification processing unit 104C executes notification processing, and then the information processing shifts to step ST312.
- the alert processing unit 104C transmits the alert information to the smart device 14.
- the smart device 14 Upon receiving the attention alert information, the smart device 14 displays the alert message, the recommended viewpoint position information, and the recommended line-of-sight direction information on the display 78 together with the virtual viewpoint image 46C. In this way, the alert message, the recommended viewpoint position information, and the recommended line-of-sight direction information are visually notified to notify the viewer 28 that the degree of difference is equal to or higher than the first threshold value.
- the execution unit 104 determines whether or not the condition for terminating information processing (hereinafter referred to as "information processing end condition") is satisfied.
- the information processing end condition include a condition that the reception device 52 or 76 has received an instruction to end information processing. If the information processing end condition is not satisfied in step ST312, the determination is denied and the information processing proceeds to step ST300. If the information processing end condition is satisfied in step ST312, the determination is affirmed and the information processing ends.
- the acquisition unit 102 acquires the virtual viewpoint image 46C and the reference image 46B1, and the execution unit 104 determines the degree of difference between the virtual viewpoint image 46C and the reference image 46B1.
- the threshold value When it is equal to or more than the threshold value, a specific process that contributes to keeping the degree of difference below the first threshold value is executed. Therefore, it is possible to contribute to the acquisition of the virtual viewpoint image 46C in which the degree of difference from the reference image 46B1 is less than the first threshold value.
- the virtual viewpoint image 46C is illustrated, but instead of the virtual viewpoint image 46C, the captured image 46B itself may be used as the time slice free viewpoint image, or the virtual viewpoint image 46C and the time slice free viewpoint image. May be used together. Moreover, not only a moving image but also a free viewpoint image of a still image may be used. As a result, it is possible to contribute to the acquisition of the free viewpoint image in which the degree of difference from the reference image 46B1 is less than the first threshold value.
- the execution unit 104 executes the notification process as a specific process.
- the notification process By executing the notification process, the viewer 28 is notified of a warning message indicating that the degree of difference is equal to or higher than the first threshold value. Therefore, the viewer 28 can be made aware that the degree of difference between the virtual viewpoint image 46C and the reference image 46B1 is equal to or greater than the first threshold value.
- a notification process is executed in which the attention alert message is visually notified, audible notification, and / or contact notification is performed to the viewer 28. Therefore, the viewer 28 can be made aware that the degree of difference between the virtual viewpoint image 46C and the reference image 46B1 is equal to or greater than the first threshold value.
- the execution unit 104 executes a specific process according to a change in the virtual viewpoint image 46C. Therefore, even if the virtual viewpoint image 46C changes, it can immediately contribute to the acquisition of the virtual viewpoint image whose degree of difference from the reference image 46B1 is less than the first threshold value.
- the tracking mode and the non-following mode are selectively set by the setting unit 108. Therefore, the power consumption can be reduced as compared with the case where the specific process is always executed while following the change of the virtual viewpoint image 46C.
- the setting unit 108 sets the tracking mode when the amount of change in the degree of difference is less than the second threshold value, and sets the non-following mode when the amount of change in the degree of difference is greater than or equal to the second threshold value. Will be done. Therefore, it is possible to prevent the specific process from being executed contrary to the intention of the viewer 28.
- control unit 106 displays the virtual viewpoint image 46C on the display 78 of the smart device 14. Therefore, the viewer 28 can visually recognize the virtual viewpoint image 46C.
- control unit 106 displays the reference image 46B1 on the screen 34A of the receiver 34. Therefore, the viewer of the receiver 34 can visually recognize the reference image 46B1.
- a live broadcast video is adopted as the reference video 46B1. Therefore, it is possible to contribute to the acquisition of the virtual viewpoint video 46C in which the degree of difference from the live broadcast video is less than the first threshold value.
- the image obtained by capturing the imaging area by the reference imaging device is used as the reference image 46B1. Therefore, compared to the case where an image other than the image obtained by capturing the imaging region (for example, a virtual image) is used as the reference image, the image obtained by capturing and the virtual viewpoint image 46C The difference between the two can be easily grasped by the viewer 28 and the like.
- the viewpoint position 42 and the line-of-sight direction 44 instructed from the outside are used. That is, the viewpoint position 42 and the line-of-sight direction 44 are determined according to the viewpoint line-of-sight instruction received by the touch panel 76A. Therefore, it is possible to generate the virtual viewpoint image 46C when the imaging region is observed from the viewpoint position and the line-of-sight direction intended by the viewer 28.
- the information processing system 10 as a specific process, a process that contributes to keeping the degree of difference below the first threshold value is adopted. Therefore, it is possible to contribute to the acquisition of the virtual viewpoint image 46C in which the degree of difference from the reference image 46B1 is less than the first threshold value.
- the reference image 46B1 and the virtual viewpoint image 46C are generated by the information processing apparatus 12, but the technique of the present disclosure is not limited to this.
- the reference video 46B1 and / or the virtual viewpoint video 46C is generated by a device different from the information processing device 12 (hereinafter referred to as “video generator”), and the video generated by the video generator is acquired by the acquisition unit 102. You may do so.
- the notification process is exemplified as the specific process executed by the execution unit 104, but the technique of the present disclosure is not limited to this, and instead of the information processing (see FIG. 21) described in the first embodiment.
- the information processing shown in FIG. 22 may be executed.
- the information processing shown in FIG. 22 is different from the information processing shown in FIG. 21 in that it has step ST310A instead of step ST310.
- the restriction processing unit 104D executes the restriction processing.
- the limiting process limits the range in which the viewpoint position 42 can be instructed to the viewpoint position range R1 (see FIG. 24) defined as a range in which the degree of difference is less than the first threshold value, and can instruct the line-of-sight direction 44.
- the viewpoint position range R1 defined as a range in which the degree of difference is less than the first threshold value
- the line-of-sight direction range R2 refers to a process of limiting the range to the line-of-sight direction range R2 (see FIG. 24) defined as a range within which the degree of difference is less than the first threshold value.
- the restriction processing unit 104D outputs the viewpoint line-of-sight restriction instruction information to the virtual viewpoint image generation unit 100B by executing the restriction processing.
- the viewpoint line-of-sight restriction instruction information is information including the viewpoint position restriction instruction information and the line-of-sight direction restriction instruction information.
- the viewpoint position restriction instruction information refers to information indicating an instruction to limit the range in which the viewpoint position 42 can be instructed to the viewpoint position range R1 (see FIG. 24), and the line-of-sight direction restriction instruction information can indicate the line-of-sight direction 44. Refers to information indicating an instruction to limit the range to the line-of-sight range R2 (see FIG. 24).
- the viewpoint position 42 is forcibly contained in the viewpoint position range R1 and the line-of-sight direction 44 is forcibly contained in the line-of-sight direction range R2.
- the viewpoint position 42 follows the viewpoint position range R1
- the line-of-sight direction 44 follows the line-of-sight direction range R2.
- the viewpoint position 42 and the line-of-sight direction 44 are again the viewpoint positions. It is returned within the range and within the line-of-sight range.
- the position of the viewpoint position 42 in the viewpoint position range R1 is determined according to the positional relationship between the viewpoint position range R1 and the current viewpoint position 42. For example, in the viewpoint position range R1, the viewpoint position 42 is changed to the position closest to the current viewpoint position 42. Further, which direction of the line-of-sight direction range R2 the line-of-sight direction is directed to is determined according to the positional relationship between the line-of-sight direction range R2 and the current line-of-sight direction 44. For example, in the line-of-sight direction range R2, the line-of-sight direction 44 is changed to the direction closest to the current line-of-sight direction 44.
- the virtual viewpoint image generation unit 100B includes a viewpoint line-of-sight range determination unit 100B1 and an image generation execution unit 100B2.
- the viewpoint line-of-sight range determination unit 100B1 acquires the viewpoint line-of-sight instruction from the smart device 14, and also acquires the viewpoint line-of-sight restriction instruction information from the restriction processing unit 104D.
- the viewpoint line-of-sight range determination unit 100B1 determines whether or not the viewpoint position 42 is within the viewpoint position range R1 and the line-of-sight direction 44 is within the line-of-sight direction range R2 based on the viewpoint line-of-sight instruction and the viewpoint line-of-sight restriction instruction information. ..
- the viewpoint line-of-sight range determination unit 100B1 accommodates the current viewpoint position 42 in the viewpoint position range R1 and The viewpoint gaze instruction is adjusted so that the current gaze direction 44 is within the gaze direction range R2.
- the viewpoint line-of-sight range determination unit 100B1 outputs the adjusted viewpoint line-of-sight instruction to the video generation execution unit 100B2.
- the image generation executing unit 100B2 generates the virtual viewpoint image 46C according to the viewpoint line-of-sight instruction input from the viewpoint line-of-sight range determination unit 100B1.
- the virtual viewpoint image 46C whose degree of difference from the reference image 46B1 is less than the first threshold value is generated according to the viewpoint position 42 within the viewpoint position range R1 and the line-of-sight direction 44 within the line-of-sight direction range R2. Therefore, the degree of difference between the reference image 46B1 and the virtual viewpoint image 46C can be maintained below the first threshold value.
- the restriction processing unit 104D may output the viewpoint line-of-sight restriction instruction information not only to the viewpoint line-of-sight range determination unit 100B1 but also to the smart device 14.
- the rectangular frame R1A indicating the outer edge of the viewpoint position range R1 is displayed on the display 78 over the virtual viewpoint image 46C, and The guidance message "Please specify the viewpoint position within the rectangular frame" is displayed.
- FIG. 28 when the viewpoint position instruction from the viewer 28 is received by the touch panel 76A in the rectangular frame R1A, the viewpoint position 42 is changed to a position in the viewpoint position range R1.
- the rectangular frame R1A is erased from the display 78.
- a circular frame R2A indicating the outer edge of the line-of-sight direction range R2 is displayed on the display 78 on the virtual viewpoint image 46C.
- a guidance message "Please indicate the direction of the line of sight toward the inside of the circular frame" is displayed.
- the line-of-sight direction instruction for example, a slide operation
- the line-of-sight direction 44 is changed to a direction within the line-of-sight direction range R2.
- the virtual viewpoint image 46C is generated by the virtual viewpoint image generation unit 100B.
- the restriction processing unit 104D may have a change processing unit 104E instead of the restriction processing unit 104D.
- the restriction processing unit 104D is not shown, but the restriction processing unit 104D can coexist with the change processing unit 104E.
- the change processing unit 104E executes the change processing.
- the change process refers to a process of making a change to the virtual viewpoint image 46C so that the degree of difference is less than the first threshold value. That is, when the change processing unit 104E executes the change processing, the virtual viewpoint image 46C is changed so that the degree of difference is kept below the first threshold value.
- the change processing unit 104E When the large difference degree information is input from the determination unit 104B, the change processing unit 104E generates and generates changeable amount information based on the difference degree information input from the difference degree calculation unit 104A via the determination unit 104B. The changeable amount information is output to the virtual viewpoint image generation unit 100B.
- the changeable amount information is the upper limit value of the change amount required for changing the virtual viewpoint image 46C, that is, the upper limit value of the change amount required to keep the difference degree indicated by the difference degree information below the first threshold value (hereinafter, "" Refers to "changeable amount”).
- the virtual viewpoint image generation unit 100B includes an image generation execution unit 100B2 and a viewpoint line-of-sight instruction adjustment unit 100B3.
- the viewpoint line-of-sight instruction adjustment unit 100B3 acquires the viewpoint line-of-sight instruction from the smart device 14 and the changeable amount information from the change processing unit 104E.
- the viewpoint line-of-sight instruction adjustment unit 100B3 changes the viewpoint position 42 and the line-of-sight direction 44 by adjusting the viewpoint line-of-sight instruction. Specifically, the viewpoint line-of-sight instruction adjusting unit 100B3 adjusts the viewpoint line-of-sight instruction within the changeable amount indicated by the changeable amount information.
- the adjustment of the viewpoint line-of-sight instruction refers to the adjustment of the viewpoint position instruction and the line-of-sight direction instruction.
- the viewpoint line-of-sight instruction adjustment unit 100B3 outputs the adjusted viewpoint line-of-sight instruction to the image generation execution unit 100B2.
- the image generation executing unit 100B2 generates a virtual viewpoint image 46C by using a plurality of captured images according to the viewpoint line-of-sight instruction input from the viewpoint line-of-sight instruction adjusting unit 100B3.
- the virtual viewpoint image 46C is changed by the amount of change required to make the difference degree less than the first threshold value, so that the degree of difference between the virtual viewpoint image 46C and the reference image 46B1 can be maintained below the first threshold value. it can. Further, since the viewpoint position instruction and the line-of-sight direction instruction are adjusted, the virtual viewpoint image 46C that keeps the degree of difference from the reference image 46B1 below the first threshold value as compared with the case where neither the viewpoint position instruction nor the line-of-sight direction instruction is adjusted. It can be easily changed.
- the technique of the present disclosure is not limited to this, and the viewpoint position instruction or the viewpoint position instruction is made so that the degree of difference is less than the first threshold value. Only one of the line-of-sight direction instructions may be adjusted by the viewpoint line-of-sight instruction adjusting unit 100B3.
- the change amount determination unit 108B is illustrated, but the technique of the present disclosure is not limited to this.
- the setting unit 108 may have a change frequency determination unit 108B1 instead of the change amount determination unit 108B.
- the change frequency determination unit 108B1 determines whether or not the frequency at which the degree of difference changes is less than the third threshold value.
- the frequency at which the degree of difference changes the frequency at which the degree of difference exceeds the above-mentioned first threshold value (for example, the frequency per unit time) can be mentioned.
- the change frequency determination unit 108B1 outputs information below the third threshold value to the mode indicator 108C when the frequency of change of the degree of difference is less than the third, and the third when the frequency of change of the degree of difference is greater than or equal to the third threshold. Information above the threshold value is output to the mode indicator 108C.
- the execution unit 104 operates in the follow-up mode when the frequency of change of the degree of difference is less than the third threshold value, and when the frequency of change of the degree of difference is greater than or equal to the third threshold value. , Operates in non-following mode.
- the viewer is caused by the fact that the specific process is executed more frequently than the case where the specific process is executed by the execution unit 104 regardless of the frequency at which the degree of difference between the virtual viewpoint image 46C and the reference image 46B1 changes.
- the discomfort given to 28 can be reduced.
- the specific process is executed by the execution unit 104 regardless of the posture of the smart device 14, but the technique of the present disclosure is not limited to this, and the smart device 14 is not limited to this.
- the specific process may or may not be executed depending on the posture.
- the CPU 88 of the smart device 14 detects the posture of the smart device 14 based on the angle information measured by the gyro sensor 74.
- the CPU 88 is an example of a "detector" according to the technique of the present disclosure.
- the CPU 88 outputs the posture information indicating the posture of the smart device 14 to the execution unit 104.
- the execution unit 104 has a posture determination unit 104F, and the posture determination unit 104F determines whether or not the posture indicated by the posture information input from the CPU 88 is the default posture.
- the default posture refers to, for example, a posture in which the display 78 is not vertically downward.
- the posture determination unit 104F outputs the execution instruction information instructing the execution of the specific process to the difference calculation unit 104A, the determination unit 104B, and the notification processing unit 104C when the posture indicated by the posture information is the default posture.
- the execution instruction information is input to the difference degree calculation unit 104A, the determination unit 104B, and the notification processing unit 104C, the difference degree calculation unit 104A, the determination unit 104B, and the notification processing unit 104C operate, and the above-mentioned specific process is executed. Will be done.
- the posture determination unit 104F sends the non-execution instruction information indicating the non-execution of the specific process to the difference degree calculation unit 104A, the determination unit 104B, and the notification processing unit 104C when the designation indicated by the posture information is not the default posture. Output.
- the difference degree calculation unit 104A, the determination unit 104B, and the notification processing unit 104C do not operate, and the above-mentioned specific processing is performed. Is not executed. Therefore, by changing the posture of the smart device 14, it is possible to execute or not execute the specific process.
- the technique of the present disclosure is not limited to this, and is accepted by, for example, the reception device 52 (see FIG. 2) and / or the reception device 76. It may be a variable value that is changed according to the instructions given.
- the first threshold value change instruction information for instructing the change of the first threshold value is received by the touch panel 76A of the smart device 14, the first threshold value is changed according to the first threshold value change instruction information.
- the change of may be executed by the execution unit 104.
- the first threshold value change instruction information is an example of "instruction information" according to the technique of the present disclosure.
- the execution unit 104 has an instruction information receiving unit 104G, and when the first threshold value change instruction information is received by the touch panel 76A of the smart device 14, the smart device 14 gives the first threshold value change instruction.
- the information is transmitted to the instruction information receiving unit 104G.
- the first threshold value change instruction information includes information indicating the first threshold value or information indicating the degree of change of the first threshold value.
- the instruction information receiving unit 104G receives the first threshold value change instruction information and outputs the received first threshold value change instruction information to the determination unit 104B.
- the determination unit 104B changes the first threshold value used for comparison with the degree of difference according to the first threshold value change instruction information. Therefore, as compared with the case where the first threshold value is always fixed, the intention of the viewer 28 or the like can be easily determined for the change of the first threshold value.
- the display control process (see FIG. 19), the setting process (see FIG. 20), and the information processing (see FIGS. 21 and 22) are executed by the CPU 58 of the information processing device 12.
- the technique of the present disclosure is not limited to this.
- At least one of the display control process, the setting process, and the information processing may be executed by the CPU 88 of the smart device 14.
- these processes are referred to as “information processing device side processing”.
- FIG. 35 shows a configuration example of the smart device 14 when the processing on the information processing device side is executed by the CPU 88 of the smart device 14.
- the storage 90 stores a program on the information processing device side.
- the CPU 88 executes information processing by operating as the acquisition unit 102 and the execution unit 104 according to the information processing program 60A.
- the CPU 88 executes the display control process by operating as the control unit 106 according to the display control program 60B.
- the CPU 88 executes the setting process by operating as the setting unit 108 according to the setting program 60C.
- the smart device 14 is an example of the "information processing device” according to the technology of the present disclosure.
- the smart device 14 is mentioned as an example of the "information processing device” according to the technology of the present disclosure, but instead of the smart device 14, a head-up display, a head-mounted display, and a personal computer And / or various devices with a computing device such as a wearable terminal can also be adopted as the "information processing device" according to the technology of the present disclosure.
- the soccer field 22 is illustrated, but this is only an example, and is a baseball field, a rugby field, a curling field, an athletic field, a swimming pool, a concert hall, an outdoor music field, and a theater venue.
- the place may be any place.
- the wireless communication method using the base station 20 is illustrated, but this is only an example, and the technique of the present disclosure is established even in the wired communication method using a cable.
- the unmanned aerial vehicle 27 is illustrated, but the technique of the present disclosure is not limited to this, and the image pickup device 18 suspended by a wire (for example, a self-propelled image pickup device that can move along the wire). ) May be used to image the imaging region.
- a wire for example, a self-propelled image pickup device that can move along the wire.
- computers 50 and 70 have been exemplified, but the technique of the present disclosure is not limited to this.
- devices including ASICs, FPGAs, and / or PLDs may be applied.
- the computer 50 and / or 70 a combination of hardware configuration and software configuration may be used.
- the information processing device side program is stored in the storage 60, but the technique of the present disclosure is not limited to this, and as shown in FIG. 36 as an example, a non-temporary storage medium SSD or USB.
- the information processing device side program may be stored in an arbitrary portable storage medium 500 such as a memory.
- the information processing device side program stored in the storage medium 500 is installed in the computer 50, and the CPU 58 executes the information processing device side processing according to the information processing device side program.
- the information processing device side program is stored in a storage unit of another computer or server device connected to the computer 50 via a communication network (not shown), and information processing is performed in response to a request from the information processing device 12.
- the device-side program may be downloaded to the information processing device 12.
- the CPU 58 of the computer 50 executes the processing on the information processing device side based on the downloaded information processing device side program.
- the CPU 58 is illustrated, but the technique of the present disclosure is not limited to this, and a GPU may be adopted. Further, a plurality of CPUs may be adopted instead of the CPU 58. That is, the information processing device side processing may be executed by one processor or a plurality of physically separated processors. Further, instead of the CPU 88, a GPU may be adopted, or a plurality of CPUs may be adopted, and various processes are executed by one processor or a plurality of physically separated processors. You may.
- processors can be used as hardware resources for executing processing on the information processing device side.
- the processor include, as described above, software, that is, a CPU, which is a general-purpose processor that functions as a hardware resource for executing processing on the information processing apparatus side according to a program.
- a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as FPGA, PLD, or ASIC can be mentioned.
- a memory is built in or connected to each processor, and each processor executes processing on the information processing device side by using the memory.
- the hardware resource that executes the processing on the information processing device side may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs). , Or a combination of CPU and FPGA). Further, the hardware resource for executing the processing on the information processing device side may be one processor.
- one processor is configured by a combination of one or more CPUs and software, and this processor performs information processing.
- a hardware resource that executes device-side processing.
- SoC and the like there is a form in which a processor that realizes the functions of the entire system including a plurality of hardware resources that execute processing on the information processing device side with one IC chip is used.
- the processing on the information processing apparatus side is realized by using one or more of the above-mentioned various processors as a hardware resource.
- a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, only B, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
- Appendix 1 With the processor Includes memory built into or connected to the processor
- the above processor A free-viewpoint image based on at least one image of a plurality of images obtained by capturing the imaging region by a plurality of imaging devices, and observing the imaging region from a specific viewpoint position and a specific line-of-sight direction.
- a free-viewpoint image showing the above-mentioned imaging region and a reference image in the case of An information processing device that executes specific processing when the degree of difference between the acquired free-viewpoint video and the acquired reference video is equal to or greater than the first threshold value.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
情報処理装置は、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得する取得部と、取得部によって取得された自由視点映像と、取得部によって取得された基準映像との相違度が第1閾値以上の場合に、特定処理を実行する実行部と、を含む情報処理装置。
Description
本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
特開2019-53738号公報には、仮想視点画像を生成するための視点の位置または/および視線の方向を特定する情報を取得する取得手段と、取得手段により取得された視点の位置または/および視線の方向に基づいて生成される仮想視点画像の品質に関する情報を通知する通知手段と、を有することを特徴とする情報処理装置が開示されている。
本開示の技術に係る一つの実施形態は、基準映像との相違度が第1閾値未満に収まる自由視点映像の取得に寄与することができる情報処理装置、情報処理方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得する取得部と、取得部によって取得された自由視点映像と、取得部によって取得された基準映像との相違度が第1閾値以上の場合に、特定処理を実行する実行部と、を含む情報処理装置である。
本開示の技術に係る第2の態様は、特定処理は、相違度が第1閾値以上であることを報知する報知処理を含む処理である、第1の態様に係る情報処理装置である。
本開示の技術に係る第3の態様は、報知処理は、相違度が第1閾値以上であることを、可視報知、可聴報知、及び触覚報知のうちの少なくとも1つを行う処理である、第2の態様に係る情報処理装置である。
本開示の技術に係る第4の態様は、特定処理は、視点位置を指示可能な範囲を、相違度を第1閾値未満に収める範囲として定められた視点位置範囲に制限し、かつ、視線方向を指示可能な範囲を、相違度を第1閾値未満に収める範囲として定められた視線方向範囲に制限する処理を含む処理である、第1の態様から第3の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第5の態様は、特定処理は、自由視点映像に対して相違度を第1閾値未満に収める変更を施す変更処理を含む処理である、第1の態様から第4の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第6の態様は、変更処理は、視点位置及び視線方向のうちの少なくとも一方を変更することで自由視点映像を変更する処理である、第5の態様に係る情報処理装置である。
本開示の技術に係る第7の態様は、実行部は、自由視点映像の変化に応じて特定処理を実行する、第1の態様から第6の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第8の態様は、実行部が自由視点映像の変化に追従しながら特定処理を実行する追従モードと、実行部が自由視点映像の変化に追従しながら特定処理を実行しない非追従モードとを選択的に設定する設定部を更に含む、第7の態様に係る情報処理装置である。
本開示の技術に係る第9の態様は、設定部は、相違度の変化量が第2閾値未満の場合に追従モードを設定し、変化量が第2閾値以上の場合に非追従モードを設定する、第8の態様に係る情報処理装置である。
本開示の技術に係る第10の態様は、設定部は、相違度が変化する頻度が第3閾値未満の場合に追従モードを設定し、頻度が第3閾値以上の場合に非追従モードを設定する、第8の態様に係る情報処理装置である。
本開示の技術に係る第11の態様は、第1表示装置に対して自由視点映像を表示させる制御部を更に含む、第1の態様から第10の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第12の態様は、第1表示装置は、第1表示装置の姿勢を検出する検出部を有し、実行部は、検出部によって検出された姿勢が既定姿勢の場合に特定処理を実行し、検出部によって検出された姿勢が既定姿勢とは異なる姿勢の場合に特定処理を実行しない、第11の態様に係る情報処理装置である。
本開示の技術に係る第13の態様は、制御部は、第1表示装置とは異なる第2表示装置に対して基準映像を表示させる、第11の態様又は第12の態様に係る情報処理装置である。
本開示の技術に係る第14の態様は、実行部は、第1閾値の変更を指示する指示情報が受付部によって受け付けられた場合に、受付部によって受け付けられた指示情報に従って第1閾値の変更を実行する、第1の態様から第13の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第15の態様は、自由視点映像は仮想視点映像である、第1の態様から第14の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第16の態様は、基準映像は生中継映像である、第1の態様から第15の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第17の態様は、基準映像は、基準撮像装置によって撮像領域が撮像されることで得られた画像である、第1の態様から第16の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第18の態様は、視点位置及び視線方向は、外部から指示された視点位置及び視線方向である、第1の態様から第17の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第19の態様は、特定処理は、相違度を第1閾値未満に収めるのに寄与する処理である、第1の態様から第18の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第20の態様は、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、取得した自由視点映像と、取得した基準映像との相違度が第1閾値以上の場合に、特定処理を実行することを含む情報処理方法である。
本開示の技術に係る第21の態様は、コンピュータに、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、取得した自由視点映像と、取得した基準映像との相違度が第1閾値以上の場合に、特定処理を実行することを含む処理を実行させるためのプログラムである。
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。LANとは、“Local Area Network”の略称を指す。3Dとは、“3 Dimension”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。また、本明細書の説明において、「鉛直」の意味には、完全な鉛直の意味の他に、設計上及び製造上において許容される誤差を含む略鉛直の意味も含まれる。また、本明細書の説明において、「一致」の意味には、完全な一致の意味の他に、設計上及び製造上において許容される誤差を含む略一致の意味も含まれる。
一例として図1に示すように、情報処理システム10は、情報処理装置12、スマートデバイス14、複数の撮像装置16、撮像装置18、無線通信基地局(以下、単に「基地局」と称する)20、及び受像機34を備えている。なお、ここで、「スマートデバイス14」とは、例えば、スマートフォン又はタブレット端末等の携帯型の多機能端末を指す。ここで、スマートデバイス14は、本開示の技術に係る「第1表示装置」の一例であり、撮像装置18は、本開示の技術に係る「第1撮像装置」及び「第2撮像装置」の一例であり、受像機34は、本開示の技術に係る「第2表示装置」の一例である。なお、ここでは、受像機34を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器(例えば、スマートデバイス)であってもよい。また、基地局20は1ヵ所に限らず複数存在していてもよい。さらに、基地局で使用する通信規格には、LTE(Long Term Evolution)規格等を含む無線通信規格と、WiFi(802.11)規格及び/又はBluetooth(登録商標)規格を含む無線通信規格とが含まれる。
撮像装置16及び18は、CMOSイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び/又はデジタルズーム機能が搭載されている。なお、CMOSイメージセンサに代えてCCDイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置18及び複数の撮像装置16を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。
複数の撮像装置16は、サッカー競技場22内に設置されている。複数の撮像装置16の各々は、サッカーフィールド24を取り囲むように配置されており、サッカーフィールド24を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置16の各々がサッカーフィールド24を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置16の配置は、視聴者28等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド24の全部を取り囲むように複数の撮像装置16を配置してもよいし、特定の一部を取り囲むように複数の撮像装置16を配置してもよい。撮像装置18は、無人式航空機(例えば、マルチ回転翼型無人航空機)に設置されており、サッカーフィールド24を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド24を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド24に対する撮像装置18による撮像面を指す。
情報処理装置12は、管制室32に設置されている。複数の撮像装置16及び情報処理装置12は、LANケーブル30を介して接続されており、情報処理装置12は、複数の撮像装置16を制御し、かつ、複数の撮像装置16の各々によって撮像されることで得られた画像を取得する。なお、ここでは、LANケーブル30による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。
サッカー競技場22には、サッカーフィールド24を取り囲むように観戦席26が設けられており、観戦席26には視聴者28が着座している。視聴者28は、スマートデバイス14を所持しており、スマートデバイス14は、視聴者28によって用いられる。なお、ここでは、サッカー競技場22内に視聴者28が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者28は、サッカー競技場22外に存在していてもよい。
基地局20は、情報処理装置12及び無人航空機27と電波を介して各種情報の送受信を行う。すなわち、情報処理装置12は、基地局20を介して、無人航空機27と無線通信可能に接続されている。情報処理装置12は、基地局20を介して無人航空機27と無線通信を行うことにより、無人航空機27を制御したり、撮像装置18によって撮像されることで得られた画像を無人航空機27から取得したりする。
基地局20は、受像機34に対して無線通信を介して各種情報を送信する。情報処理装置12は、基地局20を介して、各種映像を受像機34に送信し、受像機34は、情報処理装置12から送信された各種映像を受信し、受信した各種映像を画面34Aに表示する。なお、受像機34は、例えば、不特定多数の観戦者等の視聴に使用される。受像機34の設置個所は、サッカー競技場22内であってもよいし、サッカー競技場22外(例えば、パブリックビューイング会場)等であってもよい。なお、ここでは、受像機34に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、受像機34に対して有線通信を介して各種情報を送信する形態であってもよい。
情報処理装置12はサーバに相当するデバイスであり、スマートデバイス14は、情報処理装置12に対するクライアント端末に相当するデバイスである。情報処理装置12及びスマートデバイス14が、基地局20を介して互いに無線通信を行うことにより、スマートデバイス14は、情報処理装置12に対して各種サービスの提供を要求し、情報処理装置12は、スマートデバイス14からの要求に応じたサービスをスマートデバイス14に提供する。
一例として図2に示すように、情報処理装置12は、上空から観察した場合のサッカーフィールド24を含む領域を示す俯瞰映像46Aを無人航空機27から取得する。俯瞰映像46Aは、サッカーフィールド24を含む領域が撮像領域(以下、単に「撮像領域」とも称する)として上空から俯瞰した状態で無人航空機27の撮像装置18によって撮像されることで得られた動画像である。なお、ここでは、俯瞰映像46Aが動画像である場合を例示しているが、俯瞰映像46Aは、これに限らず、上空から観察した場合のサッカーフィールド24を含む領域を示す静止画像であってもよい。
情報処理装置12は、複数の撮像装置16の各々の位置から観察した場合の撮像領域を示す撮像映像46Bを複数の撮像装置16の各々から取得する。撮像映像46Bは、撮像領域が複数の撮像装置16の各々によって撮像されることで得られた動画像である。なお、ここでは、撮像映像46Bが動画像である場合を例示しているが、撮像映像56Bは、これに限らず、複数の撮像装置16の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。
情報処理装置12は、俯瞰映像46A及び撮像映像46Bに基づいて仮想視点映像46Cを生成する。仮想視点映像46Cは、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す映像である。図2に示す例において、仮想視点映像46Cとは、例えば、観戦席26内の視点位置42及び視線方向44から撮像領域を観察した場合の撮像領域を示す仮想視点映像を指す。仮想視点映像46Cの一例としては、3Dポリゴンを用いた動画像が挙げられる。視点位置42及び視線方向44は固定されていない。つまり、視点位置42及び視線方向44は、視聴者28等からの指示に応じて変動する。ここでは、視点位置42及び視線方向44が固定されていない形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視点位置42及び視線方向44は固定されていてもよい。
情報処理装置12は、複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像(ここでは、一例として俯瞰映像46A及び撮像映像46B)を合成することにより、3Dポリゴンを用いた動画像を生成する。情報処理装置12は、生成した3Dポリゴンを用いた動画像に基づき、任意の位置及び任意の方向から撮像領域が観察された場合に相当する仮想視点映像を生成する。本実施形態では、情報処理装置12は、視点位置42及び視線方向44で被写体を観察した場合の被写体を示す仮想視点映像46を生成する。換言すると、仮想視点映像46とは、視点位置42に設置された仮想的な撮像装置(以下、「仮想撮像装置」とも称する)が視線方向44を撮像方向として撮像することで得た映像に相当する映像を指す。ここでは、仮想視点映像46Cとして動画像を例示しているが、これに限らず、静止画像であってもよい。なお、視点位置42は、本開示の技術に係る「特定の視点位置」の一例であり、視線方向44は、本開示の技術に係る「特定の視線方向」の一例である。また、仮想視点映像46Cは、本開示の技術に係る「自由視点映像」の一例である。
また、ここでは、撮像装置18によって撮像されることで得られた俯瞰映像46Aも生成に使用される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰映像46Aが仮想視点映像46Cの生成に供されずに、複数の撮像装置16の各々によって撮像されることで得られた複数の撮像映像46Bのみが仮想視点映像46Cの生成に使用されるようにしてもよい。すなわち、撮像装置18(例えば、マルチ回転翼型無人航空機)から得られる映像を使用せずに、複数の撮像装置16によって撮像されることで得られた映像のみから仮想視点映像46Cが生成されるようにしてもよい。なお、撮像装置18(例えば、マルチ回転翼型無人航空機)から得られる映像を使用すれば、より高精度な仮想視点映像の生成が可能となる。
情報処理装置12は、配信映像として後述の基準映像46B1(図9及び図10参照)及び仮想視点映像46Cを選択的にスマートデバイス14及び受像機34に送信する。なお、以下では、説明の便宜上、基準映像46B1及び仮想視点映像46Cを区別して説明する必要がない場合、「配信映像」とも称する。
一例として図3に示すように、情報処理装置12は、コンピュータ50、受付デバイス52、ディスプレイ53、第1通信I/F54、および第2通信I/F56を備えている。コンピュータ50は、CPU58、ストレージ60、及びメモリ62を備えており、CPU58、ストレージ60、及びメモリ62は、バスライン64を介して接続されている。図3に示す例では、図示の都合上、バスライン64として1本のバスラインが図示されているが、複数のバスラインであってもよい。また、バスライン64には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。
CPU58は、情報処理装置12の全体を制御する。ストレージ60は、各種パラメータ及び各種プログラムを記憶している。ストレージ60は、不揮発性の記憶装置である。ここでは、ストレージ60の一例として、フラッシュメモリが採用されているが、これに限らず、EEPROM、HDD、又はSSD等であってもよい。メモリ62は、記憶装置である。メモリ62には、各種情報が一時的に記憶される。メモリ62は、CPU58によってワークメモリとして用いられる。ここでは、メモリ62の一例として、DRAMが採用されているが、これに限らず、他の種類の記憶装置であってもよい。
受付デバイス52は、情報処理装置12の使用者等からの指示を受け付ける。受付デバイス52の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス52は、バスライン64等に接続されており、受付デバイス52によって受け付けられた指示は、CPU58によって取得される。
ディスプレイ53は、バスライン64に接続されており、CPU58の制御下で、各種情報を表示する。ディスプレイ53の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ELディスプレイ又は無機ELディスプレイ等の他の種類のディスプレイがディスプレイ53として採用されてもよい。
第1通信I/F54は、LANケーブル30に接続されている。第1通信I/F54は、例えば、FPGAを有するデバイスによって実現される。第1通信I/F54は、バスライン64に接続されており、CPU58と複数の撮像装置16との間で各種情報の授受を司る。例えば、第1通信I/F54は、CPU58の要求に従って複数の撮像装置16を制御する。また、第1通信I/F54は、複数の撮像装置16の各々によって撮像されることで得られた撮像映像46B(図2参照)を取得し、取得した撮像映像46BをCPU58に出力する。なお、ここでは、第1通信I/F54は有線通信I/Fとして例示されているが、高速無線LAN等の無線通信I/Fであってもよい。
第2通信I/F56は、基地局20に対して無線通信可能に接続されている。第2通信I/F56は、例えば、FPGAを有するデバイスによって実現される。第2通信I/F56は、バスライン64に接続されている。第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と無人航空機27との間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58とスマートデバイス14との間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58による受像機34に対する各種映像の送信を司る。なお、第1通信I/F54及び第2通信I/F56の少なくとも一方は、FPGAの代わりに固定回路で構成することも可能である。また、第1通信I/F54及び第2通信I/F56の少なくとも一方は、ASIC、FPGA、及び/又はPLD等で構成された回路であってもよい。
一例として図4に示すように、スマートデバイス14は、コンピュータ70、ジャイロセンサ74、受付デバイス76、ディスプレイ78、マイクロフォン80、スピーカ82、撮像装置84、及び通信I/F86を備えている。コンピュータ70は、CPU88、ストレージ90、及びメモリ92を備えており、CPU88、ストレージ90、及びメモリ92は、バスライン94を介して接続されている。図4に示す例では、図示の都合上、バスライン94として1本のバスラインが図示されているが、バスライン94は、シリアルバスで構成されているか、或いは、データバス、アドレスバス、及びコントロールバス等を含んで構成されている。また、図4では、CPU88、受付デバイス76、ディスプレイ78、マイクロフォン80、スピーカ82、撮像装置84、及び通信I/F86は共通するバスで接続されているが、CPU88と各デバイスは専用バス又は専用通信線で接続されていてもよい。
CPU88は、スマートデバイス14の全体を制御する。ストレージ90は、各種パラメータ及び各種プログラムを記憶している。ストレージ90は、不揮発性の記憶装置である。ここでは、ストレージ90の一例として、フラッシュメモリが採用されているが、これに限らず、EEPROM、HDD、又はSSD等であってもよい。メモリ92には、各種情報が一時的に記憶され、メモリ92は、CPU88によってワークメモリとして用いられる。ここでは、メモリ92の一例として、RAMが採用されているが、これに限らず、他の種類の記憶装置であってもよい。
ジャイロセンサ74は、スマートデバイス14のヨー軸周りの角度(以下、「ヨー角」とも称する)、スマートデバイス14のロール軸周りの角度(以下、「ロール角」とも称する)、及びスマートデバイス14のピッチ軸周りの角度(以下、「ピッチ角」とも称する)を測定する。ジャイロセンサ74は、バスライン94に接続されており、ジャイロセンサ74によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バスライン94等を介してCPU88によって取得される。
受付デバイス76は、本開示の技術に係る「受付部(アクセプタ)」の一例であり、スマートデバイス14の使用者等(ここでは、一例として、視聴者28)からの指示を受け付ける。受付デバイス76の一例としては、タッチパネル76A及びハードキー等が挙げられる。受付デバイス76は、バスライン94に接続されており、受付デバイス76によって受け付けられた指示は、CPU88によって取得される。
ディスプレイ78は、バスライン94に接続されており、CPU88の制御下で、各種情報を表示する。ディスプレイ78の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ELディスプレイ等の他の種類のディスプレイがディスプレイ78として採用されてもよい。
スマートデバイス14は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル76A及びディスプレイ78によって実現される。すなわち、ディスプレイ78の表示領域に対してタッチパネル76Aを重ね合わせることによって、あるいはディスプレイ78の内部にタッチパネル機能を内蔵(「インセル」型)することでタッチパネル・ディスプレイが形成される。
マイクロフォン80は、収集した音を電気信号に変換する。マイクロフォン80は、バスライン94に接続されている。マイクロフォン80によって収集された音が変換されて得られた電気信号は、バスライン94を介してCPU88によって取得される。
スピーカ82は、電気信号を音に変換する。スピーカ82は、バスライン94に接続されている。スピーカ82は、CPU88から出力された電気信号を、バスライン94を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートデバイス14の外部に出力する。
撮像装置84は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置84は、バスライン94に接続されている。撮像装置84によって被写体が撮像されることで得られた画像は、バスライン94を介してCPU88によって取得される。ここでは、スピーカ82はスマートデバイス14と一体となっているが、スマートデバイス14と有線または無線で接続された別途ヘッドホン(イヤホンを含む)による音の出力を採用してもよい。
通信I/F86は、基地局20に対して無線通信可能に接続されている。通信I/F86は、例えば、回路(例えば、ASIC、FPGA、及び/又はPLD等)で構成されたデバイスによって実現される。通信I/F86は、バスライン94に接続されている。通信I/F86は、基地局20を介して、無線通信方式で、CPU88と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置12が挙げられる。
一例として図5に示すように、ロール軸は、スマートデバイス14のディスプレイ78の中心を貫く軸である。ロール軸周りのスマートデバイス14の回転角度がロール角としてジャイロセンサ74によって測定される。また、一例として図6に示すように、ヨー軸は、スマートデバイス14の側周面のうちの長手方向の側周面の中心を貫く軸である。ヨー軸周りのスマートデバイス14の回転角度がヨー角としてジャイロセンサ74によって測定される。更に、一例として図7に示すように、ピッチ軸は、スマートデバイス14の側周面のうちの短手方向の側周面の中心を貫く軸である。ピッチ軸周りのスマートデバイス14の回転角度がピッチ角としてジャイロセンサ74によって測定される。
一例として図8に示すように、情報処理装置12において、ストレージ60には、情報処理プログラム60A、表示制御プログラム60B、及び設定プログラム60Cが記憶されている。なお、以下では、情報処理プログラム60A、表示制御プログラム60B、及び設定プログラム60Cを区別して説明する必要がない場合、符号を付さずに「情報処理装置側プログラム」と称する。
CPU58は、本開示の技術に係る「プロセッサ」の一例であり、メモリ62は、本開示の技術に係る「メモリ」の一例である。CPU58は、ストレージ60から情報処理装置側プログラムを読み出し、読み出した情報処理装置側プログラムをメモリ62に展開する。CPU58は、メモリ62に展開した情報処理装置側プログラムに従って、スマートデバイス14、撮像装置16、及び無人航空機27との間で各種情報の授受を行い、かつ、受像機34に対する各種映像の送信を行う。
CPU58は、ストレージ60から情報処理プログラム60Aを読み出し、読み出した情報処理プログラム60Aをメモリ62に展開する。CPU58は、メモリ62に展開した情報処理プログラム60Aに従って取得部102及び実行部104として動作する。CPU58は、取得部102及び実行部104として動作することで、後述の情報処理(図21参照)を実行する。
CPU58は、ストレージ60から表示制御プログラム60Bを読み出し、読み出した表示制御プログラム60Bをメモリ62に展開する。CPU58は、メモリ62に展開した表示制御プログラム60Bに従って制御部106として動作することで、後述の表示制御処理(図19参照)を実行する。
CPU58は、ストレージ60から設定プログラム60Cを読み出し、読み出した設定プログラム60Cをメモリ62に展開する。CPU58は、メモリ62に展開した設定プログラム60Cに従って設定部108として動作する。CPU58は、設定部108として動作することで、後述の設定処理(図20参照)を実行する。
一例として図9に示すように、ストレージ60には、映像生成プログラム60Dが記憶されており、CPU58は、ストレージ60から映像生成プログラム60Dを読み出し、読み出した映像生成プログラム60Dをメモリ62に展開する。CPU58は、メモリ62に展開した映像生成プログラム60Dに従って基準映像生成部100A及び仮想視点映像生成部100Bとして動作する。基準映像生成部100Aは、基準映像46B1を生成し、仮想視点映像生成部100Bは、仮想視点映像46Cを生成する。
一例として図10に示すように、情報処理装置12では、受付デバイス52によって撮像映像指定情報が受け付けられる。撮像映像指定情報とは、複数の撮像映像のうちの1つを指定する情報を指す。撮像映像指定情報は、例えば、受付デバイス52によって受け付けられる。受付デバイス52による撮像映像指定情報の受け付けは、例えば、映像制作者(図示省略)によって受付デバイス52が操作されることによって実現される。具体的には、情報処理装置12のディスプレイ53に複数の撮像映像46Bが並べて表示されている状態で、映像制作者によって受付デバイス52によって受け付けられた撮像映像指定情報に従って、複数の撮像映像のうちの1つが指定される。
基準映像生成部100Aは、撮像装置18及び複数の撮像装置16から複数の撮像映像を受信し、受信した複数の撮像映像から撮像映像指定情報により指定された撮像映像を取得し、取得した撮像映像46Bに対して各種の信号処理(例えば、公知の信号処理)を施すことで基準映像46B1を生成する。つまり、基準映像46B1は、複数の撮像装置16のうちの何れかの撮像装置(以下、「基準撮像装置」とも称する)によって撮像領域が撮像されることで得られた映像である。ここで、「基準映像46B1」とは、例えば、生中継映像、又は、予め撮影した映像等である。生中継映像又は予め撮影した映像は、例えば、テレビで放映されたり、インターネットで配信されたりする映像である。なお、ここでは、撮像映像指示情報により指示された撮像映像46Bに基づいて生中継映像が生成されているが、これはあくまでも一例に過ぎず、撮像映像指定情報により指定された撮像映像46Bそのものが基準映像46B1として採用されるようにしてもよい。
一例として図11に示すように、スマートデバイス14のタッチパネル76Aは、視点視線指示を受け付ける。この場合、例えば、先ず、情報処理装置12からの配信映像がスマートデバイス14によって受信される。次に、スマートデバイス14によって情報処理装置12から受信された配信映像はディスプレイ78に表示される。ディスプレイ78に表示されている状態で、視聴者28によってタッチパネル76Aが操作されることで視点視線指示がタッチパネル76Aによって受け付けられる。
視点視線指示には、撮像領域に対する視点位置42(図2参照)の指示である視点位置指示と、撮像領域に対する視線方向44(図2参照)の指示である視線方向指示とが含まれている。本実施形態では、先ず、視点位置指示が行われ、次に、視線方向指示が行われる。すなわち、先ず、視点位置42が決定され、次に、視線方向44が決定される。
視点位置指示としては、タッチパネル76Aに対するタップ操作が挙げられる。また、タップ操作は、シングルタップ操作であってもよいし、ダブルタップ操作であってもよい。また、タップ操作に代えて、ロングタッチ操作であってもよい。視線方向指示としては、スライド操作が挙げられる。ここで、「スライド操作」とは、例えば、タッチパネル76Aに対して指示体(例えば、視聴者28の指)が接触している位置を直線的にスライドさせる操作を指す。このように、タッチパネル76A内のタップ操作が行われた位置は撮像領域に対する視点位置42に対応しており、タッチパネル76A内のスライド操作が行われた方向が撮像領域に対する視線方向44に対応している。
仮想視点映像生成部100Bは、タッチパネル76Aによって受け付けられた視点視線指示を取得し、取得した視点視線指示に従って複数の撮像映像を用いることで仮想視点映像46Cを生成する。すなわち、仮想視点映像生成部100Bは、視点位置指示に従った視点位置42と視線方向指示に従った視線方向44から撮像領域を観察した場合の撮像領域を示す仮想視点映像46Cを生成する。仮想視点映像46Cの生成は、例えば、複数の撮像映像に基づく3Dポリゴンの生成によって実現される。
一例として図12に示すように、視点視線指示が変更された場合、すなわち、視点位置42及び視線方向44が変更された場合、仮想視点映像46Cの態様、すなわち、仮想視点映像46に示される被写体の大きさ及び向き等が変更される。なお、仮想視点映像46Cの拡大は、例えば、スマートデバイス14のタッチパネル76Aに対するピンチアウト操作に応じて実現され、仮想視点映像46Cの縮小は、例えば、スマートデバイス14のタッチパネル76Aに対するピンチイン操作に応じて実現される。
一例として図13に示すように、取得部102は、基準映像生成部100Aによって生成された基準映像46B1を基準映像生成部100Aから取得する。また、取得部102は、仮想視点映像生成部100Bによって生成された仮想視点映像46Cを仮想視点映像生成部100Bから取得する。
制御部106は、基準映像制御部106A及び仮想視点映像制御部106Bを有する。基準映像制御部106Aは、取得部102によって取得された基準映像46B1を、スマートデバイス14のディスプレイ78とは異なる表示装置である受像機34に送信することで、画面34Aに基準映像46B1が表示されるように受像機34を制御する。つまり、受像機34は、基準映像制御部106Aから送信された基準映像46B1を受信し、受信した基準映像46B1を画面34Aに表示する。
仮想視点映像制御部106Bは、取得部102によって取得された仮想視点映像46Cをスマートデバイス14に送信することで、ディスプレイ78に仮想視点映像46Cが表示されるようにスマートデバイス14を制御する。つまり、スマートデバイス14は、仮想視点映像制御部106Bから送信された仮想視点映像46Cを受信し、受信した仮想視点映像46Cをディスプレイ78に表示する。
一例として図14に示すように、実行部104は、取得部102によって取得された基準映像46B1と取得部102によって取得された仮想視点映像46Cとに基づいて特定処理を実行する。ここで、特定処理は、取得部102によって取得された基準映像46B1と取得部102によって取得された仮想視点映像46Cとの相違度(以下、単に「相違度」と称する)が第1閾値以上の場合に行われる処理である。特定処理の一例としては、相違度を第1閾値未満に収めるのに寄与する処理が挙げられる。また、実行部104は、仮想視点映像46Cの変化に応じて特定処理を実行する。つまり、実行部104は、仮想視点映像46Cの変化に追従しながら特定処理を実行する。
一例として図15に示すように、実行部104は、相違度算出部104A、判定部104B、及び報知処理部104Cを有する。相違度算出部104Aは、取得部102によって取得された基準映像46B1と取得部102によって取得された仮想視点映像46Cとの相違度を算出する。相違度とは、例えば、基準映像46B1と仮想視点映像46Cとが相違している度合いを指す。相違度の算出は、例えば、パターンマッチング又はフーリエ変換が行われることによって得られた特徴量の比較等によって実現される。
相違度算出部104Aは、算出した相違度を示す相違度情報を判定部104Bに出力する。判定部104Bは、相違度算出部104Aから入力された相違度情報により示される相違度が第1閾値以上か否かを判定する。相違度が第1閾値以上である場合の一例としては、基準映像46B1と仮想視点映像46Cとの間で一致している箇所が30パーセント未満である場合が挙げられる。
なお、本実施形態では、第1閾値として、官能試験及び/又はコンピュータ・シミュレーション等によって予め導き出された固定値が採用されている。第1閾値は、固定値である必要はなく、例えば、受付デバイス52(図2参照)及び/又は受付デバイス76によって受け付けられた指示に従って変更される可変値であってもよい。
判定部104Bは、相違度と第1閾値とを比較し、相違度が第1閾値以上の場合に、相違度が第1閾値以上であることを示す相違度大情報を報知処理部104Cに出力する。または、判定部104Bは、相違度と第1閾値とを比較し、相違度が第1閾値未満の場合には、相違度大情報を出力せず、相違度算出部104Aからの相違度情報の入力待ちを行う。
報知処理部104Cは、判定部104Bから相違度大情報が入力されると、上述した特定処理として報知処理を含む処理を実行する。ここで、「報知処理」とは、相違度が第1閾値以上であることを報知する処理を指す。報知先は、例えば、視聴者28である。報知処理は、注意喚起指示情報が報知処理部104Cによってスマートデバイス14に送信されることで実現される。ここで、注意喚起指示情報とは、相違度が第1閾値以上であることについて視聴者28に対して注意喚起することをスマートデバイス14に指示する情報を指す。図15に示す例では、スマートデバイス14のディスプレイ78に仮想視点映像46Cが表示されている状態で、スマートデバイス14に注意喚起指示情報が入力される態様が示されている。
一例として図16に示すように、スマートデバイス14に対して注意喚起指示情報が入力されると、CPU88の制御下で、ディスプレイ78には、仮想視点映像46Cが表示された状態で、かつ、仮想視点映像46Cに並列した状態で、注意喚起メッセージが表示される。なお、ディスプレイ78による注意喚起メッセージの表示は、本開示の技術に係る「可視報知」の一例である。
図16に示す例では、注意喚起メッセージとして、「生中継映像からかなり離れています!」というメッセージが示されている。なお、注意喚起メッセージは、これ以外のメッセージであってもよく、例えば、「現在、生中継映像とは全く異なる映像が表示されています」又は「生中継映像とは全く異なる映像が表示されていますので、現在表示されている映像を生中継映像に近付けることをご希望の場合は、視点位置及び視線方向を新たに指示してください。」等のメッセージであってもよい。つまり、現時点で視聴者28がスマートデバイス14のディスプレイ78を介して視認している映像(図16に示す例では、仮想視点映像46C)が、受像機34の画面34Aに表示されている基準映像46B1(例えば、生中継映像)との相違度が第1閾値以上であることを視聴者28に視覚的に認識させるメッセージであればよい。
また、図16に示す例では、ディスプレイ78に注意喚起メッセージと共に、推奨視点位置情報及び推奨視線方向が表示されている。推奨視点位置は、相違度を小さくするのに要する視点位置42を指す。推奨視線方向は、相違度を小さくするのに要する視線方向44を指す。図16に示す例では、推奨視点位置情報として、推奨視点位置を指し示す矢印P1と「推奨視点位置」という案内メッセージとを含む情報が示されており、推奨視線方向情報として、推奨視線方向を指し示す矢印P2と「推奨視線方向」という案内メッセージとを含む情報が示されている。視聴者28は、タッチパネル76Aに対してスライド操作又はフリック操作等を行うことで画面を移動させ、視点位置42を調節する。
なお、スマートデバイス14のCPU88は、視点位置42が推奨視点位置に近付くに従って矢印P1は短くなり、視点位置42が推奨視点位置から離れるに従って矢印P1が長くなるように推奨視点位置情報を制御してもよい。CPU88は、矢印P2の向きも、現時点の視線方向44と推奨視線方向との相違度に従って変更するようにしてもよい。
また、ここでは、ディスプレイ78にメッセージが表示される形態例を挙げて説明したが、既定色(例えば、赤色)の特定の光源(図示省略)を点灯させることによって相違度が第1閾値以上であることが可視報知されるようにしてもよい。また、複数色の光源(例えば、緑色の光源と黄色の光源)を選択的に点滅させ、点滅間隔を長くしたり短くしたりすることで推奨視点位置及び推奨視線方向を視聴者28に対して視覚的に認識させるようにしてもよい。
また、上記の注意喚起メッセージに相当する情報、推奨視点位置情報、及び/又は推奨視線方向情報を視聴者28に知覚させる手段としては、音声再生装置及び/バイブレータが挙げられる。この場合、例えば、音声再生装置を用いた音声による可聴報知、及び/又はバイブレータを用いた触覚報知によって注意喚起メッセージに相当する情報、推奨視点位置情報、及び/又は推奨視線方向情報を視聴者28に知覚させる。音声による可聴報知は、骨伝導方式による可聴報知であってもよい。バイブレータを用いた触覚報知は、例えば、バイブレータによる振動パターン(例えば、振動周期及び振幅等)を変化させることで実現される。このように、上記の注意喚起メッセージに相当する情報、推奨視点位置情報、及び/又は推奨視線方向情報は、ディスプレイ78等による可視報知、音声再生装置を用いた可聴報知、及び/又はバイブレータ等による触覚報知によって視聴者28によって知覚させるようにすればよい。
判定部104Bは、相違度と第1閾値とを比較し、相違度が第1閾値未満の場合には、相違度大情報を出力しないので、一例として図17に示すように、スマートデバイス14のディスプレイ78には、CPU88の制御下で、仮想視点映像46Cが表示されるものの、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報は表示されない。
一例として図18に示すように、設定部108は、相違度変化量算出部108A、変化量判定部108B、及びモード指示部108Cを有する。設定部108は、追従モードと非追従モードとを選択的に設定する。追従モードとは、実行部104が仮想視点映像46Cの変化に追従しながら報知処理する動作モードを指し、非追従モードとは、実行部104が仮想視点映像46Cの変化に追従しながら報知処理を実行しない動作モードを指す。
相違度変化量算出部108Aは、相違度算出部104Aから相違度情報を取得する。つまり、判定部104B(図15参照)による相違度情報の取得タイミングと同期して相違度情報を取得し、取得した相違度情報に基づいて相違度の変化量を算出する。具体的には、先ず、相違度変化量算出部108Aは、異なるタイミングで相違度情報を取得する。ここで、異なるタイミングとは、例えば、Nを1以上の整数とした場合、N回目の取得タイミングとN+1回目の取得タイミングとを指す。次に、相違度変化量算出部108Aは、N回目の取得タイミングで取得した相違度情報により示される相違度から、N+1回目の取得タイミングで取得した相違度情報により示される相違度への変化量を算出する。ここで、「変化量」とは、例えば、N回目の取得タイミングで取得した相違度情報により示される相違度とN+1回目の取得タイミングで取得した相違度情報により示される相違度との差分の絶対値が挙げられる。なお、差分の絶対値に代えて、N回目の取得タイミングで取得した相違度情報により示される相違度に対するN+1回目の取得タイミングで取得した相違度情報により示される相違度の割合であってもよく、相違度の変化量を示す情報であれば如何なる情報であってもよい。
変化量判定部108Bは、相違度変化量算出部108Aによって算出された変化量が第2閾値未満か否かを判定する。なお、本実施形態では、第2閾値として、官能試験及び/又はコンピュータ・シミュレーション等によって予め導き出された固定値が採用されている。第2閾値は、固定値である必要はなく、例えば、受付デバイス52(図2参照)及び/又は受付デバイス76によって受け付けられた指示に従って変更される可変値であってもよい。
変化量判定部108Bは、相違度変化量算出部108Aによって算出された変化量が第2閾値未満の場合に、第2閾値未満情報をモード指示部108Cに出力する。また、変化量判定部108Bは、相違度変化量算出部108Aによって算出された変化量が第2閾値以上の場合に、第2閾値以上情報をモード指示部108Cに出力する。
モード指示部108Cは、変化量判定部108Bから第2閾値未満情報が入力された場合に、実行部104の動作モードとして追従モードを指示する追従モード指示情報を出力する。モード指示部108Cは、変化量判定部108Bから第2閾値以上情報が入力された場合に、実行部104の動作モードとして非追従モードを指示する非追従モード指示情報を出力する。実行部104は、モード指示部108Cから追従モード指示情報が入力された場合に、追従モード指示情報により指示された追従モードで動作する。実行部104は、モード指示部108Cから非追従モード指示情報が入力された場合に、非追従モード指示情報により指示された非追従モードで動作する。
このように、設定部108は、相違度の変化量が第2閾値未満の場合に、実行部104の動作モードとして追従モードを設定し、相違度の変化量が第2閾値以上の場合に、実行部104の動作モードとして非追従モードを設定する。
次に、情報処理システム10の作用について説明する。
先ず、情報処理装置12のCPU58によって実行される表示制御処理の流れの一例について図19を参照しながら説明する。なお、ここでは、説明の便宜上、基準映像生成部100Aによって基準映像46B1が既に生成されており、かつ、仮想視点映像生成部100Bによって仮想視点映像46Cが既に生成されていることを前提として説明する。
図19に示す表示制御処理では、先ず、ステップST200で、取得部102は、基準映像生成部100Aによって生成された基準映像46B1を基準映像生成部100Aから取得し、その後、表示制御処理はステップST202へ移行する。
ステップST202で、基準映像制御部106Aは、ステップST200で取得された基準映像46B1を受像機34に送信することで、受像機34に対して基準映像46B1を表示させる。すなわち、受像機34は、基準映像46B1を受信し、受信した基準映像46B1を画面34Aに表示する。
次のステップST204で、取得部102は、仮想視点映像生成部100Bによって生成された仮想視点映像46Cを仮想視点映像生成部100Bから取得し、その後、表示制御処理はステップST206へ移行する。
ステップST206で、仮想視点映像制御部106Bは、ステップST204で取得された仮想視点映像46Cをスマートデバイス14に送信することで、スマートデバイス14に対して仮想視点映像46Cを表示させる。すなわち、スマートデバイス14は、仮想視点映像46Cを受信し、受信した仮想視点映像46Cをディスプレイ78に表示する。
次のステップST208で、制御部106は、表示制御処理を終了する条件(以下、「表示制御処理終了条件」と称する)を満足したか否かを判定する。表示制御処理終了条件としては、例えば、受付デバイス52又は76によって、表示制御処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップST208において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップST200へ移行する。ステップST208において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御処理が終了する。
次に、情報処理装置12のCPU58によって実行される設定処理の流れの一例について図20を参照しながら説明する。なお、ここでは、説明の便宜上、相違度算出部104Aによって相違度が算出されており、算出された相違度情報が判定部104B及び相違度変化量算出部108Aに同期して出力されることを前提として説明する。
図20に示す設定処理では、先ず、ステップST250で、相違度変化量算出部108Aは、相違度算出部104Aから異なるタイミングで相違度情報を取得し、その後、設定処理はステップST252へ移行する。
ステップST252で、相違度変化量算出部108Aは、ステップST250で異なるタイミングで取得した各相違度情報により示される各相違度についての変化量を算出し、その後、設定処理はステップST254へ移行する。
ステップST254で、変化量判定部108Bは、ステップST252で算出された変化量が第2閾値未満か否かを判定する。ステップST254において、ステップST252で算出された変化量が第2閾値以上の場合は、判定が否定されて、設定処理はステップST256へ移行する。ステップST254において、ステップST252で算出された変化量が第2閾値未満の場合は、判定が肯定されて、設定処理はステップST258へ移行する。
ステップST256で、モード指示部108Cは、非追従モード指示情報を実行部104に出力し、その後、設定処理はステップST260へ移行する。ステップST256の処理が実行されることで、実行部104は、モード指示部108Cから入力された非追従モード指示情報により指示された非追従モードで動作する。
ステップST258で、モード指示部108Cは、追従モード指示情報を実行部104に出力し、その後、設定処理はステップST260へ移行する。ステップST258の処理が実行されることで、実行部104は、モード指示部108Cから入力された追従モード指示情報により指示された追従モードで動作する。
次のステップST260で、設定部108は、設定処理を終了する条件(以下、「設定処理終了条件」と称する)を満足したか否かを判定する。設定処理終了条件としては、例えば、受付デバイス52又は76によって、設定処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップST260において、設定処理終了条件を満足していない場合は、判定が否定されて、設定処理はステップST250へ移行する。ステップST260において、設定処理終了条件を満足した場合は、判定が肯定されて、設定処理が終了する。
次に、情報処理装置12のCPU58によって実行される情報処理の流れの一例について図21を参照しながら説明する。なお、ここでは、説明の便宜上、基準映像生成部100Aによって基準映像46B1が既に生成されており、かつ、仮想視点映像生成部100Bによって仮想視点映像46Cが既に生成されていることを前提として説明する。また、ここでは、仮想視点映像生成部100Bによって生成された仮想視点映像46Cがスマートデバイス14のディスプレイ78に表示されていることを前提として説明する。更に、ここでは、実行部104に対して動作モードとして追従モード又は非追従モードが設定されていることを前提として説明する。
図21に示す情報処理では、先ず、ステップST300で、取得部102は、基準映像生成部100Aから基準映像46B1を取得し、その後、情報処理はステップST302へ移行する。
ステップST302で、取得部102は、仮想視点映像生成部100Bから仮想視点映像46Cを取得し、その後、情報処理はステップST304へ移行する。
ステップST304で、相違度算出部104Aは、ステップST300で取得された基準映像46B1とステップST302で取得された仮想視点映像46Cとの相違度を算出し、その後、情報処理はステップST306へ移行する。
ステップST306で、判定部104Bは、実行部104の動作モードが追従モードか否かを判定する。ステップST306において、実行部104の動作モードが非追従モードの場合は、判定が否定されて、情報処理はステップST312へ移行する。ステップST306において、実行部104の動作モードが追従モードの場合は、判定が肯定されて、情報処理はステップST308へ移行する。
ステップST308で、判定部104Bは、ステップST304で算出された相違度が第1閾値以上か否かを判定する。ステップST308において、相違度が第1閾値未満の場合は、判定が否定されて、情報処理はステップST312へ移行する。ステップST308において、相違度が第1閾値以上の場合は、判定が肯定されて、情報処理はステップST310へ移行する。
ステップST310で、報知処理部104Cは、報知処理を実行し、その後、情報処理はステップST312へ移行する。報知処理部104Cによって報知処理が実行されることによって、注意喚起情報が報知処理部104Cによってスマートデバイス14に送信される。スマートデバイス14は、注意喚起情報を受信すると、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報を仮想視点映像46Cと共にディスプレイ78に表示する。このように、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報が可視報知されることによって、相違度が第1閾値以上であることが視聴者28に報知される。
次のステップST312で、実行部104は、情報処理を終了する条件(以下、「情報処理終了条件」と称する)を満足したか否かを判定する。情報処理終了条件としては、例えば、受付デバイス52又は76によって、情報処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップST312において、情報処理終了条件を満足していない場合は、判定が否定されて、情報処理はステップST300へ移行する。ステップST312において、情報処理終了条件を満足した場合は、判定が肯定されて、情報処理が終了する。
以上説明したように、情報処理システム10では、取得部102によって仮想視点映像46Cと、基準映像46B1とが取得され、実行部104によって、仮想視点映像46Cと基準映像46B1との相違度が第1閾値以上の場合に、相違度を第1閾値未満に収めるのに寄与する特定処理が実行される。従って、基準映像46B1との相違度が第1閾値未満に収まる仮想視点映像46Cの取得に寄与することができる。
なお、上記では、仮想視点映像46Cを例示したが、仮想視点映像46Cに代えて、撮像映像46Bそのものをタイムスライス自由視点映像として用いてもよいし、仮想視点映像46Cとタイムスライス自由視点映像とを併用してもよい。また、動画像に限らず、静止画像の自由視点映像を用いてもよい。これにより、基準映像46B1との相違度が第1閾値未満に収まる自由視点映像の取得に寄与することができる。
また、情報処理システム10では、実行部104によって特定処理として報知処理が実行される。報知処理が実行されることによって、相違度が第1閾値以上であることを示す注意喚起メッセージが視聴者28に報知される。従って、仮想視点映像46Cと基準映像46B1との相違度が第1閾値以上であることを視聴者28に気付かせることができる。
また、情報処理システム10では、視聴者28に対して、注意喚起メッセージが可視報知、可聴報知、及び/又は接触報知が行われる報知処理が実行される。従って、仮想視点映像46Cと基準映像46B1との相違度が第1閾値以上であることを視聴者28に感受させることができる。
また、情報処理システム10では、実行部104によって、仮想視点映像46Cの変化に応じた特定処理が実行される。従って、仮想視点映像46Cが変化したとしても基準映像46B1との相違度が第1閾値未満に収まる仮想視点映像の取得に即時的に寄与することができる。
また、情報処理システム10では、設定部108によって追従モードと非追従モードとが選択的に設定される。従って、仮想視点映像46Cの変化に追従しながら特定処理が常に実行される場合に比べ、消費電力を削減することができる。
また、情報処理システム10では、設定部108によって、相違度の変化量が第2閾値未満の場合に追従モードが設定され、相違度の変化量が第2閾値以上の場合に非追従モードが設定される。従って、視聴者28の意図に反して特定処理が実行されることを回避することができる。
また、情報処理システム10では、制御部106によって、スマートデバイス14のディスプレイ78に仮想視点映像46Cが表示される。従って、視聴者28に対して仮想視点映像46Cを視覚的に認識させることができる。
また、情報処理システム10では、制御部106によって、受像機34の画面34Aに基準映像46B1が表示される。従って、受像機34の視聴者に対して基準映像46B1を視覚的に認識させることができる。
また、情報処理システム10では、基準映像46B1として生中継映像が採用されている。従って、生中継映像との相違度が第1閾値未満に収まる仮想視点映像46Cの取得に寄与することができる。
また、情報処理システム10では、基準撮像装置によって撮像領域が撮像されることで得られた映像が基準映像46B1として用いられている。従って、撮像領域が撮像されることで得られた映像以外の映像(例えば、仮想的な映像)が基準映像として用いられる場合に比べ、撮像されることで得られた映像と仮想視点映像46Cとの差異を視聴者28等に対して容易に把握させることができる。
また、情報処理システム10では、外部から指示された視点位置42及び視線方向44が用いられる。つまり、タッチパネル76Aによって受け付けられた視点視線指示に従って視点位置42及び視線方向44が決定される。従って、視聴者28が意図する視点位置及び視線方向から撮像領域を観察した場合の仮想視点映像46Cを生成することができる。
更に、情報処理システム10では、特定処理として、相違度を第1閾値未満に収めるのに寄与する処理が採用されている。従って、基準映像46B1との相違度が第1閾値未満に収まる仮想視点映像46Cの取得に寄与することができる。
なお、上記実施形態では、情報処理装置12によって基準映像46B1及び仮想視点映像46Cが生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。情報処理装置12とは異なる装置(以下、「映像生成装置」と称する)によって基準映像46B1及び/又は仮想視点映像46Cが生成され、映像生成装置によって生成された映像が取得部102によって取得されるようにしてもよい。
上記実施形態では、実行部104によって実行される特定処理として報知処理を例示したが、本開示の技術はこれに限定されず、上記第1実施形態で説明した情報処理(図21参照)に代えて、図22に示す情報処理が実行されるようにしてもよい。図22に示す情報処理は、図21に示す情報処理に比べ、ステップST310に代えてステップST310Aを有する点が異なる。ステップST310Aでは、制限処理部104D(図23参照)によって制限処理が実行される。
制限処理とは、視点位置42を指示可能な範囲を、相違度を第1閾値未満に収める範囲として定められた視点位置範囲R1(図24参照)に制限し、かつ、視線方向44を指示可能な範囲を、相違度を第1閾値未満に収める範囲として定められた視線方向範囲R2(図24参照)に制限する処理を指す。
一例として図23に示すように、制限処理部104Dは、制限処理を実行することで、視点視線制限指示情報を仮想視点映像生成部100Bに出力する。視点視線制限指示情報は、視点位置制限指示情報と視線方向制限指示情報とを含む情報である。視点位置制限指示情報とは、視点位置42を指示可能な範囲を視点位置範囲R1(図24参照)に制限する指示を示す情報を指し、視線方向制限指示情報とは、視線方向44を指示可能な範囲を視線方向範囲R2(図24参照)に制限する指示を示す情報を指す。
この場合、一例として図24に示すように、視点位置42が強制的に視点位置範囲R1に収められ、かつ、視線方向44が強制的に視線方向範囲R2に収められる。換言すると、視点位置42が視点位置範囲R1に追従し、視線方向44が視線方向範囲R2に追従する。例えば、図24において2点鎖線で示すように、視点位置42及び視線方向44が、視点位置範囲及び視線方向範囲の外側に一旦離れたとしても、視点位置42及び視線方向44は、再び視点位置範囲内及び視線方向範囲内に戻される。
視点位置42が視点位置範囲R1のどの位置に配置されるかについては、視点位置範囲R1と現時点での視点位置42との位置関係に応じて決定される。例えば、視点位置範囲R1のうち、現時点での視点位置42と最も近い位置に視点位置42が変更される。また、視線方向が視線方向範囲R2のどの方向に向けられるかについては、視線方向範囲R2と現時点での視線方向44との位置関係に応じて決定される。例えば、視線方向範囲R2のうち、現時点での視線方向44と最も近い方向に視線方向44が変更される。
一例として図25に示すように、仮想視点映像生成部100Bは、視点視線範囲判定部100B1及び映像生成実施部100B2を有する。視点視線範囲判定部100B1は、スマートデバイス14から視点視線指示を取得し、かつ、制限処理部104Dから視点視線制限指示情報を取得する。
視点視線範囲判定部100B1は、視点視線指示及び視点視線制限指示情報に基づいて、視点位置42が視点位置範囲R1内であり、かつ、視線方向44が視線方向範囲R2内か否かを判定する。視点視線範囲判定部100B1は、視点位置42が視点位置範囲R1外であり、かつ、視線方向44が視線方向範囲R2外の場合に、現時点の視点位置42を視点位置範囲R1に収め、かつ、現時点の視線方向44を視線方向範囲R2に収めるように視点視線指示を調節する。そして、視点視線範囲判定部100B1は、調節した視点視線指示を映像生成実施部100B2に出力する。映像生成実施部100B2は、視点視線範囲判定部100B1から入力された視点視線指示に従って仮想視点映像46Cの生成を実施する。これにより、視点位置範囲R1に収まる視点位置42及び視線方向範囲R2に収まる視線方向44に従って、基準映像46B1との相違度が第1閾値未満の仮想視点映像46Cが生成される。従って、基準映像46B1と仮想視点映像46Cとの相違度を第1閾値未満に維持することができる。
また、例えば、図26に示すように、制限処理部104Dは、視点視線制限指示情報を視点視線範囲判定部100B1のみならず、スマートデバイス14にも出力するようにしてもよい。この場合、一例として図27に示すように、スマートデバイス14では、CPU88の制御下で、ディスプレイ78に仮想視点映像46Cに重ねて視点位置範囲R1の外縁を示す矩形枠R1Aが表示され、かつ、「矩形枠内で視点位置を指示して下さい」という案内メッセージが表示される。一例として図28に示すように、視聴者28からの視点位置指示が矩形枠R1A内でタッチパネル76Aによって受け付けられると、視点位置42は視点位置範囲R1内の位置に変更される。
また、視点位置指示がタッチパネル76Aによって受け付けられると、矩形枠R1Aがディスプレイ78から消去される。そして、続けて、一例として図29に示すように、スマートデバイス14では、CPU88の制御下で、ディスプレイ78に仮想視点映像46Cに重ねて視線方向範囲R2の外縁を示す円形枠R2Aが表示され、かつ、「円形枠内に向けて視線方向を指示して下さい」という案内メッセージが表示される。この場合、例えば、視聴者28からの視線方向指示(例えば、スライド操作)が円形枠R2Aに向けてタッチパネル76Aによって受け付けられると、視線方向44は視線方向範囲R2内の方向に変更される。
このように、視点位置42が視点位置範囲R1内の位置に変更され、かつ、視線方向44が視線方向範囲R2内の方向に変更されると、変更後の視点位置42及び視線方向44に従って、仮想視点映像生成部100Bによって仮想視点映像46Cが生成される。
また、図23に示す例では、制限処理部104Dによって制限処理が実行される形態例が示されているが、本開示の技術はこれに限定されない。一例として図30に示すように、実行部104は、制限処理部104Dに代えて変更処理部104Eを有していてもよい。図23に示す例では、制限処理部104Dは図示されていないが、制限処理部104Dは、変更処理部104Eと併存可能である。
変更処理部104Eは、変更処理を実行する。変更処理とは、仮想視点映像46Cに対して相違度を第1閾値未満に収める変更を施す処理を指す。つまり、変更処理部104Eによって変更処理が実行されると、相違度が第1閾値未満に収められるように仮想視点映像46Cが変更される。変更処理部104Eは、判定部104Bから相違度大情報が入力されると、相違度算出部104Aから判定部104Bを介して入力された相違度情報に基づいて変更可能量情報を生成し、生成した変更可能量情報を仮想視点映像生成部100Bに出力する。変更可能量情報とは、仮想視点映像46Cの変更に要する変更量の限度値、すなわち、相違度情報により示される相違度を第1閾値未満に収めるのに要する変更量の上限値(以下、「変更可能量」と称する)を指す。
一例として図31に示すように、仮想視点映像生成部100Bは、映像生成実施部100B2及び視点視線指示調節部100B3を有する。視点視線指示調節部100B3は、スマートデバイス14から視点視線指示を取得し、かつ、変更処理部104Eから変更可能量情報を取得する。
視点視線指示調節部100B3は、視点視線指示を調節することにより視点位置42及び視線方向44を変更する。具体的には、視点視線指示調節部100B3は、変更可能量情報により示される変更可能量内で、視点視線指示を調節する。ここで、視点視線指示の調節とは、視点位置指示及び視線方向指示の調節を指す。視点視線指示調節部100B3は、調節した視点視線指示を映像生成実施部100B2に出力する。映像生成実施部100B2は、視点視線指示調節部100B3から入力された視点視線指示に従って複数の撮像映像を用いることで仮想視点映像46Cを生成する。
これにより、相違度を第1閾値未満にするのに要する変更量で仮想視点映像46Cが変更されるので、仮想視点映像46Cと基準映像46B1との相違度を第1閾値未満に維持することができる。また、視点位置指示及び視線方向指示が調節されるので、視点位置指示及び視線方向指示の何れも調節されない場合に比べ、基準映像46B1との相違度を第1閾値未満に収める仮想視点映像46Cを容易に変更することができる。
なお、ここでは、視点位置指示及び視線方向指示の両方が調節される形態例を挙げたが、本開示の技術はこれに限らず、相違度が第1閾値未満に収まるように視点位置指示又は視線方向指示の何れか一方のみが視点視線指示調節部100B3によって調節されるようにしてもよい。
また、図18に示す例では、変化量判定部108Bを例示したが、本開示の技術はこれに限定されない。例えば、図32に示すように、設定部108は、変化量判定部108Bに代えて変化頻度判定部108B1を有していてもよい。変化頻度判定部108B1は、相違度が変化する頻度が第3閾値未満か否かを判定する。ここで、「相違度が変化する頻度」の一例としては、相違度が上述した第1閾値を超えた頻度(例えば、単位時間あたりの頻度)が挙げられる。変化頻度判定部108B1は、相違度が変化する頻度が第3未満の場合に第3閾値未満情報をモード指示部108Cに出力し、相違度が変化する頻度が第3閾値以上の場合に第3閾値以上情報をモード指示部108Cに出力する。これにより、上記実施形態と同様に、実行部104は、相違度が変化する頻度が第3閾値未満の場合に、追従モードで動作し、相違度が変化する頻度が第3閾値以上の場合に、非追従モードで動作する。従って、仮想視点映像46Cと基準映像46B1との相違度が変化する頻度に関わらず実行部104によって特定処理が実行される場合に比べ、特定処理が頻繁に実行されることに起因して視聴者28に与える不快感を軽減することができる。
また、上記実施形態では、スマートデバイス14の姿勢に関わらず、実行部104によって特定処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されず、スマートデバイス14の姿勢に応じて特定処理が実行されたり実行されなかったりするようにしてもよい。この場合、スマートデバイス14のCPU88は、ジャイロセンサ74によって測定された角度情報に基づいて、スマートデバイス14の姿勢を検出する。なお、ここで、CPU88は、本開示の技術に係る「検出部(ディテクタ)」の一例である。一例として図33に示すように、CPU88は、スマートデバイス14の姿勢を示す姿勢情報を実行部104に出力する。実行部104は、姿勢判定部104Fを有しており、姿勢判定部104Fは、CPU88から入力された姿勢情報により示される姿勢が既定姿勢か否かを判定する。既定姿勢とは、例えば、ディスプレイ78が鉛直下向き以外の姿勢を指す。
姿勢判定部104Fは、姿勢情報により示される姿勢が既定姿勢の場合に、特定処理の実行を指示する実行指示情報を相違度算出部104A、判定部104B、及び報知処理部104Cに出力する。相違度算出部104A、判定部104B、及び報知処理部104Cに実行指示情報が入力されると、相違度算出部104A、判定部104B、及び報知処理部104Cは作動し、上述した特定処理が実行される。また、姿勢判定部104Fは、姿勢情報により示される指定が既定姿勢でない場合に、特定処理の不実行を指示する不実行指示情報を相違度算出部104A、判定部104B、及び報知処理部104Cに出力する。相違度算出部104A、判定部104B、及び報知処理部104Cに不実行指示情報が入力されると、相違度算出部104A、判定部104B、及び報知処理部104Cは作動せず、上述した特定処理は実行されない。従って、スマートデバイス14の姿勢を変化させることで、特定処理を実行させたり、実行させなかったりすることができる。
また、上記実施形態で説明した第1閾値として固定値が採用されているが、本開示の技術はこれに限定されず、例えば、受付デバイス52(図2参照)及び/又は受付デバイス76によって受け付けられた指示に従って変更される可変値であってもよい。この場合、例えば、図34に示すように、第1閾値の変更を指示する第1閾値変更指示情報がスマートデバイス14のタッチパネル76Aによって受け付けられた場合に、第1閾値変更指示情報に従って第1閾値の変更が実行部104によって実行されるようにしてもよい。ここで、第1閾値変更指示情報は、本開示の技術に係る「指示情報」の一例である。
図34に示す例では、実行部104は、指示情報受信部104Gを有しており、スマートデバイス14のタッチパネル76Aによって第1閾値変更指示情報が受け付けられると、スマートデバイス14から第1閾値変更指示情報が指示情報受信部104Gに送信される。第1閾値変更指示情報には、第1閾値を示す情報、又は、第1閾値の変更の度合いを示す情報が含まれている。指示情報受信部104Gは、第1閾値変更指示情報を受信し、受信した第1閾値変更指示情報を判定部104Bに出力する。判定部104Bに第1閾値変更指示情報が入力されると、判定部104Bは、相違度との比較に用いる第1閾値を第1閾値変更指示情報に従って変更する。従って、第1閾値が常時固定されている場合に比べ、第1閾値の変更について、視聴者28等の意図を容易に判定させることができる。
また、上記実施形態では、表示制御処理(図19参照)、設定処理(図20参照)、及び情報処理(図21及び図22参照)が情報処理装置12のCPU58によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。表示制御処理、設定処理、及び情報処理のうちの少なくとも1つがスマートデバイス14のCPU88によって実行されるようにしてもよい。以下では、表示制御処理、設定処理、及び情報処理を区別して説明する必要がない場合、これらの処理を「情報処理装置側処理」と称する。
図35には、情報処理装置側処理がスマートデバイス14のCPU88によって実行される場合のスマートデバイス14の構成例が示されている。一例として図35に示すように、ストレージ90は、情報処理装置側プログラムを記憶している。また、CPU88は、情報処理プログラム60Aに従って取得部102及び実行部104として動作することで情報処理を実行する。また、CPU88は、表示制御プログラム60Bに従って制御部106として動作することで表示制御処理を実行する。更に、CPU88は、設定プログラム60Cに従って設定部108として動作することで設定処理を実行する。
なお、図35に示す例において、スマートデバイス14は、本開示の技術に係る「情報処理装置」の一例である。なお、図35に示す例では、本開示の技術に係る「情報処理装置」の一例としてスマートデバイス14を挙げているが、スマートデバイス14に代えて、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、パーソナル・コンピュータ及び/又はウェアラブル端末等の演算装置付きの各種デバイスも本開示の技術に係る「情報処理装置」として採用することができる。
また、上記実施形態では、サッカー競技場22を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置及び複数の収音装置100が設置可能であれば、如何なる場所であってもよい。
また、上記実施形態では、基地局20を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。
また、上記実施形態では、無人航空機27を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置18(例えば、ワイヤを伝って移動可能な自走式の撮像装置)によって撮像領域が撮像されるようにしてもよい。
また、上記実施形態では、コンピュータ50及び70を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ50及び/又は70に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50及び/又は70に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
また、上記実施形態では、ストレージ60に情報処理装置側プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図36に示すように、非一時的記憶媒体SSD又はUSBメモリなどの任意の可搬型の記憶媒体500に情報処理装置側プログラムが記憶されていてもよい。この場合、記憶媒体500に記憶されている情報処理装置側プログラムがコンピュータ50にインストールされ、CPU58は、情報処理装置側プログラムに従って、情報処理装置側処理を実行する。
また、通信網(図示省略)を介してコンピュータ50に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置側プログラムを記憶させておき、情報処理装置12の要求に応じて情報処理装置側プログラムが情報処理装置12にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置側プログラムに基づく情報処理装置側処理がコンピュータ50のCPU58によって実行される。
また、上記実施形態では、CPU58を例示したが、本開示の技術はこれに限定されず、GPUを採用してもよい。また、CPU58に代えて、複数のCPUを採用してもよい。つまり、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、CPU88に代えて、GPUを採用してもよいし、複数のCPUを採用してもよく、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。
情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のプロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。
情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上述した情報処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から上記撮像領域を観察した場合の上記撮像領域を示す自由視点映像と、基準映像とを取得し、
取得した上記自由視点映像と、取得した上記基準映像との相違度が第1閾値以上の場合に、特定処理を実行する
情報処理装置。
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から上記撮像領域を観察した場合の上記撮像領域を示す自由視点映像と、基準映像とを取得し、
取得した上記自由視点映像と、取得した上記基準映像との相違度が第1閾値以上の場合に、特定処理を実行する
情報処理装置。
Claims (21)
- プロセッサと、
前記プロセッサに内蔵又は接続されたメモリと、を備え、
前記プロセッサは、
撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得し、
取得した前記自由視点映像と、取得した前記基準映像との相違度が第1閾値以上の場合に、特定処理を実行する
を含む情報処理装置。 - 前記特定処理は、前記相違度が前記第1閾値以上であることを報知する報知処理を含む処理である請求項1に記載の情報処理装置。
- 前記報知処理は、前記相違度が前記第1閾値以上であることを、可視報知、可聴報知、及び触覚報知のうちの少なくとも1つを行う処理である請求項2に記載の情報処理装置。
- 前記特定処理は、前記視点位置を指示可能な範囲を、前記相違度を前記第1閾値未満に収める範囲として定められた視点位置範囲に制限し、かつ、前記視線方向を指示可能な範囲を、前記相違度を前記第1閾値未満に収める範囲として定められた視線方向範囲に制限する処理を含む処理である請求項1から請求項3の何れか一項に記載の情報処理装置。
- 前記特定処理は、前記自由視点映像に対して前記相違度を前記第1閾値未満に収める変更を施す変更処理を含む処理である請求項1から請求項4の何れか一項に記載の情報処理装置。
- 前記変更処理は、前記視点位置及び前記視線方向のうちの少なくとも一方を変更することで前記自由視点映像を変更する処理である請求項5に記載の情報処理装置。
- 前記プロセッサは、前記自由視点映像の変化に応じて前記特定処理を実行する請求項1から請求項6の何れか一項に記載の情報処理装置。
- 前記プロセッサは、前記プロセッサが前記自由視点映像の変化に追従しながら前記特定処理を実行する追従モードと、前記プロセッサが前記自由視点映像の変化に追従しながら前記特定処理を実行しない非追従モードとを選択的に設定する請求項7に記載の情報処理装置。
- 前記プロセッサは、前記相違度の変化量が第2閾値未満の場合に前記追従モードを設定し、前記変化量が前記第2閾値以上の場合に前記非追従モードを設定する請求項8に記載の情報処理装置。
- 前記プロセッサは、前記相違度が変化する頻度が第3閾値未満の場合に前記追従モードを設定し、前記頻度が前記第3閾値以上の場合に前記非追従モードを設定する請求項8に記載の情報処理装置。
- 前記プロセッサは、更に、第1表示装置に対して前記自由視点映像を表示させる請求項1から請求項10の何れか一項に記載の情報処理装置。
- 前記第1表示装置は、前記第1表示装置の姿勢を検出するディテクタを有し、
前記プロセッサは、前記ディテクタによって検出された姿勢が既定姿勢の場合に前記特定処理を実行し、前記ディテクタによって検出された姿勢が前記既定姿勢とは異なる姿勢の場合に前記特定処理を実行しない請求項11に記載の情報処理装置。 - 前記プロセッサは、前記第1表示装置とは異なる第2表示装置に対して前記基準映像を表示させる請求項11又は請求項12に記載の情報処理装置。
- 前記プロセッサは、前記第1閾値の変更を指示する指示情報が受付デバイスによって受け付けられた場合に、前記受付デバイスによって受け付けられた前記指示情報に従って前記第1閾値の変更を実行する請求項1から請求項13の何れか一項に記載の情報処理装置。
- 前記自由視点映像は仮想視点映像である請求項1から請求項14の何れか一項に記載の情報処理装置。
- 前記基準映像は生中継映像である請求項1から請求項15の何れか一項に記載の情報処理装置。
- 前記基準映像は、基準撮像装置によって前記撮像領域が撮像されることで得られた画像である請求項1から請求項16の何れか一項に記載の情報処理装置。
- 前記視点位置及び前記視線方向は、外部から指示された視点位置及び視線方向である請求項1から請求項17の何れか一項に記載の情報処理装置。
- 前記特定処理は、前記相違度を前記第1閾値未満に収めるのに寄与する処理である請求項1から請求項18の何れか一項に記載の情報処理装置。
- 撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、
取得した前記自由視点映像と、取得した前記基準映像との相違度が第1閾値以上の場合に、特定処理を実行することを含む
情報処理方法。 - コンピュータに、
撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも1つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、
取得した前記自由視点映像と、取得した前記基準映像との相違度が第1閾値以上の場合に、特定処理を実行することを含む処理を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021536959A JP7291224B2 (ja) | 2019-07-26 | 2020-07-20 | 情報処理装置、情報処理方法、及びプログラム |
US17/577,347 US20220141442A1 (en) | 2019-07-26 | 2022-01-17 | Information processing apparatus, information processing method, and program |
JP2023091887A JP2023123484A (ja) | 2019-07-26 | 2023-06-02 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019138239 | 2019-07-26 | ||
JP2019-138239 | 2019-07-26 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/577,347 Continuation US20220141442A1 (en) | 2019-07-26 | 2022-01-17 | Information processing apparatus, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021020200A1 true WO2021020200A1 (ja) | 2021-02-04 |
Family
ID=74229087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/028078 WO2021020200A1 (ja) | 2019-07-26 | 2020-07-20 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220141442A1 (ja) |
JP (2) | JP7291224B2 (ja) |
WO (1) | WO2021020200A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023199583A1 (ja) * | 2022-04-15 | 2023-10-19 | パナソニックIpマネジメント株式会社 | ビューワ制御方法及び情報処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017012397A (ja) * | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6938123B2 (ja) * | 2016-09-01 | 2021-09-22 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP6924079B2 (ja) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | 情報処理装置及び方法及びプログラム |
JP7301507B2 (ja) * | 2018-08-08 | 2023-07-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
EP3629584A1 (en) * | 2018-09-25 | 2020-04-01 | Koninklijke Philips N.V. | Apparatus and method for generating and rendering a video stream |
JP7353782B2 (ja) * | 2019-04-09 | 2023-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2020
- 2020-07-20 JP JP2021536959A patent/JP7291224B2/ja active Active
- 2020-07-20 WO PCT/JP2020/028078 patent/WO2021020200A1/ja active Application Filing
-
2022
- 2022-01-17 US US17/577,347 patent/US20220141442A1/en active Pending
-
2023
- 2023-06-02 JP JP2023091887A patent/JP2023123484A/ja not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017012397A (ja) * | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
WO2019012817A1 (ja) * | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023199583A1 (ja) * | 2022-04-15 | 2023-10-19 | パナソニックIpマネジメント株式会社 | ビューワ制御方法及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2023123484A (ja) | 2023-09-05 |
JPWO2021020200A1 (ja) | 2021-02-04 |
US20220141442A1 (en) | 2022-05-05 |
JP7291224B2 (ja) | 2023-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10403049B2 (en) | Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration | |
US11265603B2 (en) | Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system | |
US11558431B2 (en) | Communication terminal, communication system, communication method, and display method | |
US9858643B2 (en) | Image generating device, image generating method, and program | |
US10871800B2 (en) | Apparatuses and methods for linking mobile computing devices for use in a dual-screen extended configuration | |
US11310459B2 (en) | Image capturing device, image capturing system, image processing method, and recording medium | |
US11284014B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
US20190045125A1 (en) | Virtual reality video processing | |
TW202001499A (zh) | 使用演現命令及後續接收之眼睛位置資料之圖像內容之注視點演現 | |
JP2015018296A (ja) | 表示制御装置、プログラム及び記録媒体 | |
US11272224B2 (en) | Information processing device and method | |
US11250540B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
JP2023123484A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021020150A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2024050737A (ja) | 情報処理装置、情報処理装置の作動方法、及びプログラム | |
US11102448B2 (en) | Image capturing apparatus, image processing system, image processing method, and recording medium | |
US20230091348A1 (en) | Method and device for transmitting image content using edge computing service | |
US11317082B2 (en) | Information processing apparatus and information processing method | |
WO2020054585A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2018003081A1 (ja) | 全天球カメラ撮像画像表示システム、方法及びプログラム | |
WO2021220893A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN115623337B (zh) | 跳转指示信息显示方法、装置、电子设备及存储介质 | |
US11863902B2 (en) | Techniques for enabling high fidelity magnification of video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20848388 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021536959 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20848388 Country of ref document: EP Kind code of ref document: A1 |