WO2024084943A1 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- WO2024084943A1 WO2024084943A1 PCT/JP2023/035945 JP2023035945W WO2024084943A1 WO 2024084943 A1 WO2024084943 A1 WO 2024084943A1 JP 2023035945 W JP2023035945 W JP 2023035945W WO 2024084943 A1 WO2024084943 A1 WO 2024084943A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- information
- observer
- video
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 63
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 31
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000013523 data management Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Definitions
- This technology relates to an information processing device, information processing method, and program, and is related to the display of images of the target space and virtual images.
- Japanese Patent Laid-Open No. 2003-233693 discloses a technique in which a processor displays the position and shooting range of a camera based on the position, angle of view, focus position, and the like according to camera data received from the camera.
- This disclosure therefore proposes technology that displays images that make it easier to understand the correspondence between the camera image and the position in space, and that enables display that reflects the observer's situation.
- the information processing device includes an image processing unit that performs processing to generate image data of a space to be photographed, including a shooting range presentation image that presents the shooting ranges of each of a plurality of cameras, in accordance with observer information regarding an observer of the images captured by the cameras.
- the shooting range presentation image is an image that shows the shooting range determined by the shooting direction and zoom angle of the camera. For example, the content and display mode of the image in which the shooting range presentation image is added to the camera's shooting target space are generated according to the observer information.
- FIG. 1 is an explanatory diagram of photography by a photography system according to an embodiment of the present technology. This is an explanatory diagram of AR (Augmented Reality) overlaid images.
- FIG. 1 is an explanatory diagram of a configuration of an imaging system according to an embodiment.
- FIG. 11 is an explanatory diagram of another example of the configuration of the imaging system according to the embodiment.
- FIG. 2 is an explanatory diagram of an environment map according to the embodiment; 11A and 11B are diagrams illustrating drift correction of an environment map according to an embodiment.
- FIG. 2 is an explanatory diagram of an imaging system and a terminal device according to an embodiment.
- FIG. 1 is a block diagram of an information processing apparatus according to an embodiment.
- 11A and 11B are explanatory diagrams of a display example of a plurality of view frustums in an overhead image according to an embodiment
- 11 is an explanatory diagram of a display example of an overhead view video according to an embodiment
- FIG. 2 is an explanatory diagram of a view frustum according to an embodiment.
- 1 is an explanatory diagram of a display example of a captured image on a focus plane of a view frustum according to an embodiment
- 1 is an explanatory diagram of a display example of a captured image within the depth of field of a view frustum according to an embodiment.
- FIG. 11 is an explanatory diagram of a display example of a captured image at a position close to the starting point of a view frustum in the embodiment;
- FIG. 1 is an explanatory diagram of an example of a display of a captured image on a far end surface of a view frustum according to an embodiment;
- FIG. 2 is an explanatory diagram of an overhead view including a plurality of view frustums according to an embodiment.
- FIG. 2 is an explanatory diagram of an overhead view including a plurality of view frustums according to an embodiment.
- FIG. 2 is an explanatory diagram of an overhead view including a plurality of view frustums according to an embodiment.
- 4A and 4B are explanatory diagrams of switching between a view frustum and a captured image according to an embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11A to 11C are explanatory diagrams of a display example according to observer information according to the embodiment.
- 11 is a flowchart of a process for generating an overhead view video including a view frustum according to an embodiment.
- 11 is a flowchart of an example of a display setting process according to the embodiment.
- 11 is a flowchart of an example of a display setting process according to the embodiment.
- 11 is a flowchart of an example of a display setting process according to the embodiment.
- 11A and 11B are explanatory diagrams of display examples according to right settings according to the embodiment.
- 11 is a flowchart of an example of a display setting process according to the embodiment.
- 11A to 11C are explanatory diagrams of display examples according to an observer according to an embodiment.
- 11 is a flowchart of an example of a video generation process according to an embodiment.
- 11 is an explanatory diagram of a display example for observers in a venue according to an embodiment.
- video or “image” includes both video and still images.
- image includes both video and still images.
- the embodiment will be described mainly using video capture as an example.
- the term "viewer” refers to a person who can visually observe a captured image.
- viewers include user-side observers who are general viewers who watch broadcast or distributed images, and production-side observers who are staff members of the video production side, such as directors and cameramen.
- user-side observers When making a distinction between observers, general viewers who watch broadcasts or distribution will be referred to as “user-side observers," and production-side observers will be referred to as “cameramen” or “directors, etc.” who operate the cameras.
- a “cameraman” refers to a person who operates a camera directly or remotely while looking through a viewfinder or monitor camera, and a "director, etc.” refers to staff other than a cameraman, such as a director or switcher engineer.
- FIG. 1 is a schematic diagram showing how an image is captured by the image capturing system.
- the subject space 8 may be any location, but is envisioned to be an event venue, a sports venue, etc. Envisioned sports venues include stadiums for soccer, rugby, etc., and Olympic competition venues.
- the camera 2 is a mobile camera 2M that is suspended by a wire 9 and can move above a target space 8. Images and metadata captured by this mobile camera 2M are sent to a render node 7. Also shown as the camera 2 is a fixed camera 2F that is fixedly disposed on, for example, a tripod 6. Images and metadata captured by this fixed camera 2F are sent to a render node 7 via a CCU (Camera Control Unit) 3. In addition, the images and metadata captured by the mobile camera 2M may also be sent to the render node 7 via the CCU 3.
- “camera 2" collectively refers to cameras 2F and 2M.
- the render node 7 referred to here refers to a CG engine or image processor that generates CG (Computer Graphics) and synthesizes it with live-action video, and is, for example, a device that generates AR video.
- CG Computer Graphics
- FIG. 2A and 2B show examples of AR images.
- a line that does not actually exist is composited as a CG image 38 into live-action footage of a game being played in a stadium.
- an advertising logo that does not actually exist is composited as an image 38 into the live-action footage in the stadium.
- These CG images 38 can be rendered to look like they exist in reality by appropriately setting the shape, size and synthesis position depending on the position of the camera 2 at the time of shooting, the shooting direction, the angle of view, the structural object photographed, etc.
- the process of generating an AR superimposed image by combining CG with such a photographed image is itself known.
- the image capturing system 100 further enables an observer, i.e., a user observer, a cameraman or a director involved in video production, to easily recognize the position, direction, and angle of view at which each camera 2 is capturing images. Furthermore, the image capturing system 100 enables each observer to know the overall situation of the observers.
- a shooting system 100 capable of generating AR superimposed images
- the user observer, cameraman, director, etc. can view the shooting range presentation image for each camera 2.
- FIG. 3 Two configuration examples of the imaging system 100 are shown in FIG. 3 and FIG.
- a camera system 1, 1A a control panel 10, a GUI (Graphical User Interface) device 11, a network hub 12, a switcher 13, a master monitor 14, and a data management unit 15 are shown.
- the dashed arrows indicate the flow of various control signals CS, while the solid arrows indicate the flow of each of the image data of the shot image V1, the AR superimposed image V2, and the overhead image V3.
- Camera system 1 is configured to perform AR linkage, while camera system 1A is configured not to perform AR linkage.
- FIGS. 3 and 4 show an example of a fixed camera 2F mounted on a tripod 6 as the camera 2, a mobile camera 2M may also be used in the camera systems 1 and 1A.
- the camera system 1 includes a camera 2, a CCU 3, for example an AI (artificial intelligence) board 4 built into the CCU 3, and an AR system 5.
- the camera 2 sends video data of the shot video V1 and metadata MT to the CCU 3.
- the CCU 3 sends the video data of the shot video V1 to the switcher 13.
- the CCU 3 also sends the video data of the shot video V1 and metadata MT to the AR system 5.
- the metadata MT includes lens information including the zoom angle of view and focal length when the captured image V1 was captured, and sensor information such as the IMU (Inertial Measurement Unit) mounted on the camera 2. Specifically, this information includes the 3doF (Degree of Freedom) attitude information of the camera 2, acceleration information, lens focal length, aperture value, zoom angle of view, lens distortion, etc.
- This metadata MT is output from the camera 2, for example, as frame-synchronized or asynchronous information.
- the camera 2 is a fixed camera 2F, and the position information does not change, so the camera position information only needs to be stored by the CCU 3 and AR system 5 as a known value before shooting begins.
- the position information is also included in the metadata MT transmitted successively from the camera 2M.
- the AR system 5 is an information processing apparatus including a rendering engine that performs CG rendering.
- the information processing apparatus as the AR system 5 is an example of the render node 7 shown in FIG.
- the AR system 5 generates video data of an AR superimposed video V2 by superimposing an image 38 generated by CG on a video V1 captured by the camera 2.
- the AR system 5 sets the size and shape of the image 38 by referring to the metadata MT, and also sets the synthesis position within the captured video V1, thereby generating video data of the AR superimposed video V2 in which the image 38 is naturally synthesized with the actual scenery.
- the AR system 5 also generates video data for a CG overhead image V3, as described below.
- the AR system 5 displays a view frustum 40, as shown in FIG. 11, described below, within the overhead image V3 as a shooting range presentation image that visually presents the shooting range of the camera 2.
- the AR system 5 calculates the shooting range in the shooting target space 8 from the metadata MT and position information of the camera 2.
- the shooting range of the camera 2 can be obtained by acquiring the position information of the camera 2, the angle of view, and the attitude information (corresponding to the shooting direction) of the camera 2 in the three axial directions (yaw, pitch, roll) on the tripod 6.
- the AR system 5 generates an image as a view frustum 40 in accordance with the calculation of the shooting range of the camera 2.
- the AR system 5 generates image data of the overhead image V3 so that the view frustum 40 is presented from the position of the camera 2 in the overhead image V3 corresponding to the target space 8.
- a "bird's-eye view image” refers to an image captured from a bird's-eye view of the target space 8, but the image does not necessarily need to display the entire target space 8.
- An image that includes at least a portion of the view frustum 40 of the camera 2 and the surrounding space is referred to as a "bird's-eye view image.”
- the overhead image V3 is generated as an image that represents the target space 8, such as a stadium, using CG, but the overhead image V3 may also be generated using live-action footage.
- a camera 2 may be provided with a viewpoint for the overhead image, and the image V1 captured by that camera 2 may be used to generate the overhead image V3.
- the image V1 captured by a camera 2M moving in the sky on a wire 9 may also be used as the overhead image V3.
- the video data of the AR superimposed image V2 and the overhead image V3 by the AR system 5 is supplied to a switcher 13. Furthermore, the image data of the AR superimposed image V2 and the overhead image V3 by the AR system 5 is supplied to the camera 2 via the CCU 3. This allows the cameraman of the camera 2 to visually recognize the AR superimposed image V2 and the overhead image V3 on a display unit such as a viewfinder.
- image data of the AR overlay image V2 and the overhead image V3 produced by the AR system 5 may be supplied to the camera 2 without going through the CCU 3.
- the CCU 3 is not used in the camera systems 1 and 1A.
- the AI board 4 in the CCU 3 performs processing to calculate the amount of drift of the camera 2 from the captured image V1 and metadata MT.
- the positional displacement of the camera 2 is obtained by integrating twice the acceleration information from the IMU mounted on the camera 2.
- the amount of displacement at each time point from a certain reference origin attitude (attitude position that is the reference for each of the three axes of yaw, pitch, and roll)
- the position of the three axes of yaw, pitch, and roll at each time point, that is, attitude information corresponding to the shooting direction of the camera 2 is obtained.
- repeated accumulation increases the deviation (accumulated error) between the actual attitude position and the calculated attitude position.
- the amount of deviation is called the drift amount.
- the AI board 4 calculates the amount of drift using the captured image V1 and the metadata MT. Then, the calculated amount of drift is sent to the camera 2 side.
- the camera 2 receives the drift amount from the CCU 3 (AI board 4) and corrects the attitude information of the camera 2. Then, the camera 2 outputs metadata MT including the corrected attitude information.
- the above drift correction will be explained with reference to FIGS. 5 shows the environment map 35.
- the environment map 35 stores feature points and feature amounts in the coordinates of a virtual dome, and is generated for each camera 2.
- the camera 2 is rotated 360 degrees, and an environment map 35 is generated in which feature points and feature quantities are registered in global position coordinates on the celestial sphere. This makes it possible to restore the orientation even if it is lost during feature point matching.
- FIG. 6A shows a schematic diagram of a state in which a drift amount DA occurs between the imaging direction Pc in the correct attitude of the camera 2 and the imaging direction Pj calculated from the IMU data.
- Information on the three-axis motion, angle, and angle of view of the camera 2 is sent from the camera 2 to the AI board 4 as a guide for feature point matching.
- the AI board 4 detects the accumulated drift amount DA by feature point matching of image recognition, as shown in FIG. 6B.
- the "+" in the figure indicates a feature point of a certain feature amount registered in the environment map 35 and a feature point of the corresponding feature amount in the frame of the current captured image V1, and the arrow between them is the drift amount vector. In this way, by detecting a coordinate error by feature point matching and correcting the coordinate error, the drift amount can be corrected.
- the AI board 4 determines the amount of drift by this type of feature point matching, and the camera 2 transmits corrected metadata MT based on this, thereby improving the accuracy of the attitude information of the camera 2 detected in the AR system 5 based on the metadata MT.
- Camera system 1A in FIG. 3 is an example having a camera 2 and a CCU 3, but not an AR system 5.
- Video data and metadata MT of the shot video V1 are transmitted from the camera 2 of camera system 1A to the CCU 3.
- the CCU 3 transmits the video data of the shot video V1 to the switcher 13.
- the video data of the captured image V1, AR superimposed image V2, and overhead image V3 output from the camera system 1, 1A is supplied to the GUI device 11 via the switcher 13 and network hub 12.
- the switcher 13 selects the so-called main line video from among the images V1 captured by the multiple cameras 2, the AR superimposed video V2, and the overhead video V3.
- the main line video is the video output for broadcasting or distribution.
- the switcher 13 outputs the selected video data to a transmitting device or recording device (not shown) as the main line video for broadcasting or distribution.
- the video data of the video selected as the main line video is sent to the master monitor 14 and displayed thereon, so that the video production staff can check the main line video.
- the master monitor 14 may display an AR superimposed image V2, an overhead image V3, etc. in addition to the main line image.
- the control panel 10 is a device that allows video production staff to operate the switcher 13 to give switching instructions, video processing instructions, and various other instructions.
- the control panel 10 outputs a control signal CS in response to operations by the video production staff.
- This control signal CS is sent via the network hub 12 to the switcher 13 and the camera systems 1 and 1A.
- the GUI device 11 is, for example, a personal computer or a tablet device, and is a device that enables video production staff, such as a director, to check the video and give various instructions.
- the captured image V1, the AR superimposed image V2, and the overhead image V3 are displayed on the display screen of the GUI device 11.
- the captured images V1 from the multiple cameras 2 are split into a screen and displayed as a list, the AR superimposed image V2 is displayed, and the overhead image V3 is displayed.
- an image selected by the switcher 13 as a main line image is displayed.
- the GUI device 11 is also provided with an interface for a director or the like to perform various instruction operations.
- the GUI device 11 outputs a control signal CS in response to an operation by the director or the like.
- This control signal CS is transmitted via a network hub 12 to a switcher 13 and the camera systems 1 and 1A.
- a control signal CS corresponding to the instruction is transmitted to the AR system 5, and the AR system 5 generates video data of an overhead video V3 including a view frustum 40 in a display format corresponding to an instruction from a director or the like.
- the data management unit 15 is an information processing device that performs data management processing including reception, storage, and compilation of various data FBD transmitted mainly from the terminal device 200 shown in Fig. 7.
- the various data FBD transmitted from the terminal device 200 is information about an observer (in this case, a user-side observer) regarding the broadcast or distribution of video by the imaging system 100, and is information based on feedback data from the user-side observer.
- the data FBD includes information on the viewer rating or viewing status for compilation of the viewer rating for each camera 2, reaction information such as high ratings from user-side observers, request information, chat data, and the like.
- the data management unit 15 transmits viewer information RI based on the data FBD to the AR system 5.
- the viewer information RI refers to information about the viewer, and includes the data FBD itself, as well as information on the results of compilation of the data FBD and the results of calculations using the data FBD.
- the AR system 5 can set the display mode of the view frustum 40 and the overhead image V3 based on such observer information RI related to the viewer, and generate an overhead image including the view frustum 40.
- instruction information to the cameraman from the GUI device 11 or the control panel 10 operated by the director or the like is also included in the control signal CS as information about the observer (in this case, the director or the like) and is transmitted to the AR system 5.
- This instruction information is also an example of observer information RI.
- the AR system 5 can also generate an overhead image including the view frustum 40 by setting the display mode of the view frustum 40 and the overhead image V3 based on instruction information, which is one of the observer information RI.
- FIG. 3 has camera systems 1 and 1A, but in this case, camera system 1 is a set of camera 2, CCU 3, and AR system 5, and in particular, by having AR system 5, video data of AR superimposed video V2 and overhead video V3 corresponding to video V1 captured by camera 2 is generated. Then, AR superimposed video V2 and overhead video V3 are displayed on a display unit such as a viewfinder of camera 2, displayed on GUI device 11, or selected as a main line video by switcher 13. On the other hand, on the camera system 1A side, image data of the AR superimposed image V2 and the overhead image V3 corresponding to the captured image V1 of the camera 2 is not generated. Therefore, FIG. 3 shows a system in which a camera 2 that performs AR linkage and a camera 2 that performs normal shooting are mixed.
- FIG. 4 is an example of a system in which one AR system 5 corresponds to each camera 2. 4, a plurality of camera systems 1A are provided. The AR system 5 is provided independently of each of the camera systems 1A.
- the CCU 3 of each camera system 1A sends the video data and metadata MT of the shot video V1 from the camera 2 to the switcher 13.
- the video data and metadata MT of the shot video V1 are then supplied from the switcher 13 to the AR system 5.
- This allows the AR system 5 to acquire the video data and metadata MT of the captured video V1 for each camera system 1A, and generate video data of the AR superimposed video V2 corresponding to the captured video V1 of each camera system 1A, and video data of the overhead video V3 including the view frustum 40 corresponding to each camera system 1A.
- the AR system 5 can generate video data of the overhead video V3 in which the view frustums 40 of the cameras 2 of the multiple camera systems 1A are collectively displayed.
- the video data of the AR superimposed image V2 and the overhead image V3 generated by the AR system 5 is sent to the CCU 3 of the camera system 1A via the switcher 13, and then sent to the camera 2. This allows the cameraman to view the AR superimposed image V2 and the overhead image V3 on a display such as the viewfinder of the camera 2.
- the video data of the AR overlay image V2 and the overhead image V3 generated by the AR system 5 is transmitted to the GUI device 11 via the switcher 13 and the network hub 12 and displayed. This allows the director and others to visually confirm the AR overlay image V2 and the overhead image V3.
- the data management unit 15 supplies the observer information RI to the AR system 5. This allows the AR system 5 to set the display mode of the view frustum 40 and the overhead image V3 based on the observer information RI, and generate an overhead image including the view frustum 40. In addition, the data management unit 15 can also set the display mode of the view frustum 40 and the overhead image V3 based on observer information RI (instruction information included in the control signal CS) from the GUI device 11 or the control panel 10, and generate an overhead image including the view frustum 40.
- observer information RI instruction information included in the control signal CS
- the captured image V1, the AR superimposed image V2, and the overhead image V3 can be broadcast or distributed to a user-side observer.
- the captured image V1 of one camera 2 may be selected, or the captured images V1 of multiple cameras 2 may be selected and selectively viewable on the user side observer side. This is distribution as a so-called multi-view image.
- one or multiple AR superimposed images V2 may be broadcast or distributed instead of the captured image V1.
- the overhead image V3 is also broadcast or distributed. This allows the user side observer to view the overhead image V3 including the view frustum 40.
- FIG. 7 shows a schematic diagram of an imaging system 100 and a terminal device 200 that are visually recognized by an observer.
- the photographing system 100 is configured as shown in FIGS. 3 and 4, and includes a cameraman's monitor 101 and a director's monitor 102.
- the cameraman monitor 101 refers to a display device that is visually recognized by a cameraman who operates the camera 2 directly or remotely, and may refer to, for example, the viewfinder of the camera 2, a monitor screen attached to the camera 2, or a monitor display device carried by the cameraman.
- the director monitor 102 is the GUI device 11, the master monitor 14, or another display device, and is a display device that is visually recognized by a director or the like.
- the terminal device 200 is a device used by a user observer to view broadcasts and distributions, and is a personal computer, smartphone, tablet terminal, television device, or other device capable of displaying images.
- Video data as the shot video V1, the AR superimposed video V2, and the overhead video V3 is transmitted to each of the cameraman monitor 101, the director monitor 102, and the terminal device 200.
- the shot video V1, the AR superimposed video V2, and the overhead video V3 can be viewed selectively or simultaneously on each of the cameraman monitor 101, the director monitor 102, and the terminal device 200.
- the captured images V1 (or AR superimposed images V2) from multiple cameras 2 can be transmitted to the terminal device 200, and a user-side observer using the terminal device 200 can select and view any of the captured images V1 (or AR superimposed images V2) from the camera 2.
- the user-side observer can make various reactions and requests from the terminal device 200.
- the user-side observer can make reactions such as evaluation of the video or inputting a chat comment, or make a request to have a specific player filmed.
- the reaction and request information is fed back to the imaging system 100 as observer information RI.
- the information processing device 70 is a device capable of information processing, particularly video processing, such as a computer device.
- Specific examples of the information processing device 70 include personal computers, workstations, mobile terminal devices such as smartphones and tablets, video editing devices, etc.
- the information processing device 70 may also be a computer device configured as a server device or a computing device in cloud computing.
- the CPU 71 of the information processing device 70 executes various processes according to programs stored in the ROM 72 or a non-volatile memory unit 74, such as an EEPROM (Electrically Erasable Programmable Read-Only Memory), or programs loaded from the storage unit 79 to the RAM 73.
- the RAM 73 also stores data necessary for the CPU 71 to execute various processes, as appropriate.
- the CPU 71 is configured as a processor that performs various processes, and performs overall control processes and various arithmetic processes based on a program.
- the CPU 71 has a function as an image processing unit 71a that executes the generation process of the AR superimposed image V2 and the overhead image V3 based on a program.
- the video processing unit 71a has a processing function for performing various types of video processing. For example, it performs one or more of the following: 3D model generation processing, rendering, video processing including color and brightness adjustment processing, video editing processing, video analysis and detection processing, etc.
- the image processing unit 71a also performs processing to generate image data of an overhead image V3 of the target space 8, including a view frustum 40 that presents the shooting range of each of the multiple cameras 2, according to the observer information RI. For example, the image processing unit 71a sets the display mode of the view frustum 40 according to the observer information RI. For example, the image processing unit 71a also sets the display content to be displayed in association with the view frustum 40 according to the observer information RI.
- the video processing unit 71a can also perform processing to generate an overhead view V3 as video data that simultaneously displays an overhead view V3 of the space 8 to be photographed, a view frustum 40 that shows the shooting range of the camera 2 within the overhead view V3, and the video V1 photographed by the camera 2 on a single screen.
- the functions of the image processing unit 71a and the image generation control unit 71b may be realized by a CPU separate from the CPU 71, a GPU (Graphics Processing Unit), a GPGPU (General-purpose computing on graphics processing units), an AI (artificial intelligence) processor, etc.
- the processing function of the video processing unit 71a may be realized by a plurality of processors.
- the CPU 71, ROM 72, RAM 73, and non-volatile memory unit 74 are interconnected via a bus 83.
- the input/output interface 75 is also connected to this bus 83.
- An input unit 76 consisting of operators and operation devices is connected to the input/output interface 75.
- the input unit 76 may be various operators and operation devices such as a keyboard, a mouse, a key, a trackball, a dial, a touch panel, a touch pad, a remote controller, or the like.
- An operation by the user is detected by the input unit 76 , and a signal corresponding to the input operation is interpreted by the CPU 71 .
- a microphone may also be used as the input unit 76. Voice uttered by the user may also be input as operation information.
- the input/output interface 75 is connected, either integrally or separately, to a display unit 77 formed of an LCD (Liquid Crystal Display) or an organic EL (electro-luminescence) panel, or the like, and an audio output unit 78 formed of a speaker, or the like.
- the display unit 77 is a display unit that performs various displays, and is configured, for example, by a display device provided in the housing of the information processing device 70, or a separate display device connected to the information processing device 70, or the like.
- the display unit 77 displays various images, operation menus, icons, messages, etc., on the display screen based on instructions from the CPU 71, that is, displays them as a GUI (Graphical User Interface).
- GUI Graphic User Interface
- the input/output interface 75 may also be connected to a storage unit 79 and a communication unit 80, which may be configured using a hard disk drive (HDD) or solid-state memory.
- HDD hard disk drive
- solid-state memory solid-state memory
- the storage unit 79 can store various data and programs.
- a database can also be configured in the storage unit 79.
- the communication unit 80 performs communication processing via a transmission path such as the Internet, and communication with various devices such as external databases, editing devices, and information processing devices via wired/wireless communication, bus communication, and the like.
- the communication unit 80 communicates with the CCU 3, the switcher 13, and the data management unit 15. This allows reception of the observer information RI, reception of the control signal CS, reception of the captured video V1, transmission of the overhead video V3, transmission of the AR superimposed video V2, and the like.
- a drive 81 is also connected to the input/output interface 75 as required, and a removable recording medium 82 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately mounted thereon.
- the drive 81 allows video data, various computer programs, and the like to be read from the removable recording medium 82.
- the read data is stored in the storage unit 79, and the video and audio contained in the data are output on the display unit 77 and the audio output unit 78.
- the computer programs, etc. read from the removable recording medium 82 are installed in the storage unit 79 as necessary.
- software for the processing of this embodiment can be installed via network communication by the communication unit 80 or via the removable recording medium 82.
- the software may be stored in advance in the ROM 72, the storage unit 79, etc.
- each of the devices in FIGS. 3 and 4 such as the GUI device 11, data management unit 15, control panel 10, CCU 3, camera 2, etc., and the terminal device 200 in FIG. 7, may also have a hardware configuration as shown in FIG.
- the display of the view frustum 40 will be described.
- the AR system 5 generates the overhead image V3 and can transmit it to the terminal device 200, the viewfinder of the camera 2, the GUI device 11, or the like for display.
- the AR system 5 generates video data of the overhead image V3 so as to display the view frustum 40 of the camera 2 within the overhead image V3.
- Figure 9 shows an example of an overhead image V3 when multiple cameras 2 in the imaging system 100 are imaging the target space 8.
- FIG. 9 shows an example in which an overhead view image V3 is displayed over the entire display screen 50.
- the display screen 50 may be, for example, the display screen of the terminal device 200, the display screen of the GUI device 11, or the viewfinder of the camera 2.
- the overhead image V3 is an image of a CG space representing, for example, a stadium, as viewed from a certain viewpoint, and within this image, view frustums 40a, 40b, 40c, 40d, and 40e corresponding to the actual position of the camera 2 are added.
- these view frustums 40a, 40b, . . . are collectively referred to as "view frustum 40".
- the overhead image V3 including the view frustum 40 can be displayed on the entire screen of the display screen 50.
- the overhead image V3 is displayed on the display screen 50 by switching between the shot image V1 or the AR superimposed image V2.
- the overhead image V3 may be displayed on the display screen 50 in a split screen with the shot image V1 or the AR superimposed image V2.
- Fig. 11 shows an example of a view frustum 40 displayed in the overhead image V3.
- Fig. 11 shows a simplified view of the periphery of the view frustum 40 as part of an image such as Fig. 9 showing an overhead view of the target space 8 in Fig. 1.
- the overhead image V3 includes an image of a background 31, such as a stadium, and people 32, such as athletes. Although camera 2 is shown in FIG. 11, this is for explanatory purposes. An image of camera 2 itself may or may not be included in the overhead image V3.
- the view frustum 40 visually presents the shooting range of the camera 2 within the overhead image V3, and has a pyramid shape that spreads in the direction of the shooting optical axis with the position of the camera 2 within the overhead image V3 as the frustum origin 46.
- it is a pyramid shape extending from the frustum origin 46 to the frustum far end surface 45.
- the reason why it is a quadrangular pyramid is because the image sensor of the camera 2 is quadrangular.
- the extent of the spread of the pyramid changes depending on the angle of view of the camera 2 at that time. Therefore, the range of the pyramid indicated by the view frustum 40 is the shooting range of the camera 2.
- the view frustum 40 may be represented as a pyramid with a semi-transparent colored image.
- the view frustum 40 displays a focus plane 41 and a depth of field range 42 at that time inside a quadrangular pyramid.
- a depth of field range 42 for example, a range from a near depth end surface 43 to a far depth end surface 44 is expressed by a translucent color different from the rest.
- the focus plane 41 is also expressed in a semi-transparent color that is different from the others.
- the focus plane 41 indicates the depth position at which the camera 2 is focused at that point in time.
- a subject at a depth (distance in the depth direction as seen from the camera 2) equivalent to the focus plane 41 is in focus.
- the depth of field range 42 makes it possible to confirm the range in the depth direction in which the subject is not blurred.
- the in-focus depth and the depth of field vary depending on the focus operation and aperture operation of the camera 2. Therefore, the focus plane 41 and the depth of field range 42 in the view frustum 40 vary each time.
- the AR system 5 can set the pyramidal shape of the view frustum 40, the display position of the focus plane 41, the display position of the depth of field range 42, and the like, by acquiring metadata MT from the camera 2, which includes information such as focal length, aperture value, and angle of view. Furthermore, since the metadata MT includes attitude information of the camera 2, the AR system 5 can set the direction of the view frustum 40 from the camera position (frustum origin 46) in the overhead image V3.
- the AR system 5 may be configured to display such a view frustum 40 together with the image V1 captured by the camera 2 in which the view frustum 40 is shown, within the overhead image V3. That is, the AR system 5 generates an image in the CG space 30 to be used as the overhead image V3, and can also synthesize the image in the CG space 30 with the view frustum 40 generated based on the metadata MT supplied from the camera 2, and further synthesize the image V1 captured by the camera 2. The image data of such a synthesized image is output as the overhead image V3.
- FIG. 12 shows an example in which a captured image V1 is displayed on a focus plane 41 within a view frustum 40. This allows the image being captured at the focus position to be viewed.
- FIG. 13 shows an example in which a photographed image V1 is displayed on a surface other than the focus surface 41 within the depth of field range 42 in the view frustum 40.
- the photographed image V1 is displayed on a surface 44 at the far end of the depth field.
- examples are also conceivable in which the captured image V1 is displayed on the near depth end surface 43, or at a depth position midway within the depth of field range 42.
- FIG. 14 shows an example in which the captured image V1 is displayed within the view frustum 40 at a position (surface 47 near the frustum origin) closer to the frustum origin 46 than the near-depth end surface 43 of the depth-of-field range 42.
- the size of the captured image V1 becomes smaller the closer it is to the frustum origin 46, but by displaying it on the surface 47 near the frustum origin in this way, the focus plane 41, depth-of-field range 42, etc. become easier to see.
- FIG. 15 shows an example in which a captured image V1 is displayed on the far side of a far end surface 44 of a depth of field range 42 within a view frustum 40.
- far means far from the viewpoint of the camera 2 (frustum starting point 46).
- the captured image V1 is displayed on the frustum far end surface 45, which is located at the far side.
- the photographed image V1 is displayed on the far side of the depth of field range 42 within the view frustum 40, the area of the photographed image V1 can be made large. This is therefore suitable for cases in which one wishes to check the position of the focus plane 41 or the depth of field range 42 while carefully checking the contents of the photographed image V1.
- view frustums 40a, 40b, and 40c corresponding to the three cameras 2 are displayed within the overhead image V3.
- captured images V1a, V1b, and V1c corresponding to these view frustums 40a, 40b, and 40c are also displayed.
- the photographed image V1a is displayed on a frustum far end surface 45 of the view frustum 40a.
- the photographed image V1b is displayed in the vicinity of a frustum starting point 46 of the view frustum 40b (in the vicinity of the camera position).
- the captured image V1c is displayed in a corner of the screen, but is displayed in the upper left corner, which is closest to the view frustum 40c, among the four corners of the overhead image V3.
- the captured images V1 are displayed at positions outside the view frustum 40, such as the captured images V1b and V1c, it is advisable to display these captured images V1 near the camera 2 (or the frustum starting point 46). This makes it easier to understand the relationship between the camera 2 and the captured images V1 by that camera 2.
- the view frustums 40 of multiple cameras 2 will be displayed in an overhead image V3 as shown in Fig. 16.
- the relationship between the view frustum 40 and the captured image V1 is not clear, it is expected that the observer will be confused. Therefore, it is advisable to display the captured image V1 of a certain camera 2 near the view frustum 40 of that camera 2.
- the captured image V1 may be in the vicinity of the focus plane 41 of the view frustum 40 of the camera 2 or in the vicinity of the far end surface 45 of the frustum.
- the color of the frame of the captured image V1 may be matched with the semi-transparent color or the color of the contour of the corresponding view frustum 40 to indicate the correspondence.
- the fluctuation of the view frustum 40 will be more severe than the view frustum 40 of the fixed camera 2. Therefore, the image V1 captured by the mobile camera 2 may be displayed fixedly in a corner of the screen, etc.
- FIG. 16 shows an example of an overhead image V3 in which the target space 8 is viewed from diagonally above, but the AR system 5 may also display a planar overhead image V3 viewed from directly above, as shown in FIG. 17.
- cameras 2a, 2b, 2c, and 2d, their corresponding view frustums 40a, 40b, 40c, and 40d, and the captured images V1a, V1b, V1c, and V1d are displayed as an overhead image V3.
- the captured images V1a, V1b, V1c, and V1d are displayed near the corresponding cameras 2a, 2b, 2c, and 2d, respectively.
- the AR system 5 may be configured so that the viewpoint position of the overhead image V3 shown in Figures 16 and 17 is continuously changed by the observer operating the terminal device 200, GUI device 11, etc.
- the view frustums 40a and 40b are displayed, and the images V1a and V1b captured by the cameras 2 of the view frustums 40a and 40b are displayed in the corners of the screen or near the camera positions.
- the shooting conditions can be easily understood by displaying each of the view frustums 40 and shot images V1, as in the example shown in the figure.
- the AR system 5 displays the view frustum 40 of the camera 2 within the overhead image V3 generated by the CG space 30.
- video data for the overhead image V3 is generated so that the captured image V1 by the camera 2 is also displayed at the same time.
- the correspondence between the captured image V1 of the camera 2 and the spatial position becomes clear, making it easier for the observer to grasp the correspondence between the captured image V1 of the camera 2 and the position in the target space 8.
- the observer can easily grasp what each camera 2 is capturing, where the camera is focused, and so on.
- a user observer, cameraman, director, etc. may select the view frustum 40 on the display screen 50 by touching it or using the mouse cursor as shown in Figure 19A, so that the image V1 captured by the camera 2 of that view frustum 40 is displayed as shown in Figure 19B.
- This allows the user observer to, for example, select the camera 2 he or she wants to see from the overhead image V3 and switch the image to be viewed.
- the view frustum 40 allows the user observer to know the direction and position of the camera 2 from which the image is being captured, making it easier for the user observer to select the desired image.
- the AR system 5 performs processing to set the display mode and display contents of the view frustum 40 or the overhead view image V3 in accordance with information about the viewer (viewer information RI). This processing will be described below.
- FIG. 20 shows an example in which view frustums 40a, 40b, 40c, 40d, and 40e are displayed in an overhead view image V3.
- the five cameras 2 corresponding to these view frustums 40 may be from one video content production team, or may each be from a different video content creator.
- some of the cameras 2 may belong to a broadcasting company, and some of the cameras 2 may belong to amateur cameramen. Broadcasting and distribution may also be performed independently by some or all of the cameras 2.
- some amateur cameramen may distribute using SNS (social networking service) or a video distribution site.
- SNS social networking service
- the director or other person on that video content production team may select one video image to broadcast or distribute as the main video image, or multiple videos may be distributed so that the user observer can select and view the video image from a preferred angle, a so-called multi-view distribution.
- the position information and metadata MT of each camera 2, as well as the observer information RI broadcast or distributed by those cameras 2, must be made available to the AR system 5, so that a view frustum 40 can be generated for each camera 2.
- the AR system 5 displays the view frustum 40b with more emphasis than the other view frustums 40a, 40c, 40d, and 40e.
- the AR system 5 checks information on the viewer ratings for the respective images V1 captured by the cameras 2 based on the viewer information RI, and then highlights the captured image V1 with the highest viewer rating.
- Display modes for highlighting the view frustum 40 include using a specific highlight color, increasing brightness, decreasing transparency to make it more noticeable, blinking, thickening contour lines, adding patterns, and the like.
- the AR system 5 may select the view frustum 40 to be highlighted by simply setting various conditions, rather than simply selecting the view frustum 40 to be highlighted based on the viewer rating alone.
- the view frustum 40 to be highlighted is selected according to the attributes of the user-side observer, such as age, residential area, sex, and preferences (team supported, favorite player, etc.), as the observer information RI.
- attribute information is registered in advance in correspondence with user identification information (user ID).
- user ID user identification information
- the AR system 5 extracts information on the user ID having specific attribute information, and determines the shot video V1 viewed by each observer with that attribute. It then determines the shot video V1 with the highest viewing rate, and highlights the corresponding view frustum 40.
- a camera that is shooting footage that has high viewing ratings among user observers who like team A "a camera that is shooting footage that is often watched by fans of player B”
- a camera that is shooting footage that is often watched by people in their 30s “a camera that is shooting footage that is often watched by residents of district C,” etc.
- a camera that is shooting footage that is often watched by residents of district C etc. can be presented by highlighting the view frustum 40.
- the observer information RI may also be extracted based on the current location of each user-side observer.
- the AR system 5 acquires the location information of the terminal device 200, and extracts information about the user-side observers who are in the stadium where the game is being played from the observer information RI. From among these, the captured footage V1 with the highest viewing rate is determined, and the corresponding view frustum 40 is highlighted. This makes it possible to show, through the overhead image V3, which camera 2 is capturing the footage that is most frequently viewed by spectators at the venue.
- the number of view frustums 40 to be highlighted is not limited to one.
- the criteria for highlighting are not limited to viewership ratings.
- the view frustum 40 of the camera 2 in the captured image V1 that has many reactions from the user-side observers may be highlighted.
- a reaction is an evaluation of video content by a user observer, such as a "like" operation to indicate a high rating or a low rating, a tip operation for video content, or a chat comment corresponding to the video content.
- the AR system 5 may highlight the view frustum 40 of the camera 2 that is capturing footage that has received a large number of likes.
- the AR system 5 may highlight the view frustum 40 of the camera 2 capturing footage that has a large number of low ratings.
- the AR system 5 may highlight the view frustum 40 of the camera 2 capturing an image with a large number of tips or an image with a large total amount.
- the AR system 5 may highlight the view frustum 40 of the camera 2 capturing an image with a large number of chat comments.
- the AR system 5 may analyze the content of the chat comments and highlight the view frustum 40 of the camera 2 capturing an image with a large number of positive comments or an image with a large number of negative comments.
- the AR system 5 may highlight, for example, blink for a limited period of time when a rating operation, chat post, tipping, etc. occurs.
- numbers are displayed near each view frustum 40. These numbers correspond to the image corresponding to each view frustum 40.
- the AR system 5 may display the number of viewers, the number of likes, the number of chat comments, the amount of tips, etc. near or within each view frustum 40.
- a count bar 51 is displayed based on the observer information RI.
- identifiers such as "#1" to "#5" are displayed on each of the view frustums 40a, 40b, 40c, 40d, and 40e, and the numerical values "#1" to "#5" are expressed by the length of the bar in the count bar 51. This clearly indicates the relationship between each bar of the count bar 51 and the view frustum 40.
- each bar of the count bar 51 and the view frustum 40 may be clearly indicated by, for example, matching the color of the view frustum 40 with the color of the corresponding bar in the count bar 51.
- Each bar of the count bar 51 is a numerical value determined based on the observer information RI.
- each bar of the count bar 51 expresses, by its length, the viewer rating, the number of likes, the number of dislikes, the number of chat comments, the number of positive chat comments, the number of negative chat comments, the number of tips, the total amount of tips, and the like, for the video V1 captured by the corresponding camera 2. It is also possible to allow the viewer to set or switch the types of values indicated by these count bars 51. Also, a plurality of count bars 51 may be displayed for each type of value.
- a pole 52 is displayed based on the observer information RI.
- a pole 52 is displayed near the position of the camera 2 for each of the view frustums 40a, 40b, 40c, 40d, and 40e.
- the height of the pole 52 is assumed to represent a numerical value.
- the height of each pole 52 represents the viewing rate, number of likes, number of dislikes, number of chat comments, number of positive chat comments, number of negative chat comments, number of tips, total amount of tips, etc., for the video V1 captured by the corresponding camera 2.
- a plurality of poles 52 each showing a different numerical value may be displayed at the position of one camera 2. By positioning the pole 52 near the position of the camera 2, the viewpoint position of the captured image V1 of each camera can be easily identified.
- FIG. 23 shows an example of display according to request information in the observer information RI.
- the user-side observer can request, for example, the player he/she wants to capture, the location he/she wants to capture (near the soccer goal, the center circle, etc.), the shooting direction, etc., from the camera 2 of the image he/she is viewing or any other camera 2 through the terminal device 200.
- Observer information RI including the request information is acquired, and an overhead image V3 as shown in FIG.
- the AR system 5 displays the request content 53 in the overhead image V3, and also displays a pie chart 54 near some or all of the view frustum 40.
- the names of athletes and locations are displayed in different colors. Or, in the case of an athletics stadium where multiple events are held at different locations, the locations and event names, such as “track,” “hammer throw,” and “long jump,” may be displayed in different colors.
- the ratio of the request content is displayed by each color. For example, it is displayed that the observer of camera 2 of the view frustum 40a has many requests to see the player " ⁇ ".
- the AR system 5 receives instructions from a director or the like, such as instruction information from the GUI device 11, regarding the overhead image V3 viewed by the cameraman, and generates the overhead image V3 as shown in Fig. 24 in order to instruct the shooting direction accordingly.Then, the AR system 5 transmits the overhead image V3 to the camera 2 to display it on a viewfinder or the like. This allows, for example, the cameraman of camera 2 of the view frustum 40a to recognize an instruction such as "film player XXX.”
- FIG. 25 shows an example in which a chat window 55 is displayed.
- the shot video V1 and chat window 55 are displayed near the view frustum 40.
- the shot video V1a is displayed near the view frustum 40a
- the shot video V1d is displayed near the view frustum 40d
- the shot video V1e is displayed near the view frustum 40e.
- the chat window 55 is displayed adjacent to the shot video V1 (V1a, V1d, V1e).
- chat contents corresponding to the image contents can be easily understood. It is also possible to display only the chat window 55 without displaying the captured image V1.
- FIG. 26 shows an example of processing by the AR system 5 that generates video data for an overhead view V3.
- the video data for the overhead view V3 is video data in which a view frustum 40 is synthesized into a CG space 30 that corresponds to the subject space 8.
- it is video data for producing displays such as those shown in FIGS. 20 to 25.
- the AR system 5 performs the processes of steps S101 to S107 in Fig. 26 for each frame of the video data of the overhead view video V3, for example.
- the AR system 5 may perform the processes in Fig. 26 for each intermittent frame, rather than for each frame.
- These processes can be considered as control processes of the CPU 71 (image processing unit 71a) in the information processing device 70 of FIG. 8 serving as the AR system 5.
- the AR system 5 sets the CG space 30. For example, it sets the viewpoint position of the CG space 30 corresponding to the shooting target space 8, and renders an image as the CG space 30 from that viewpoint position. If there is no change in the viewpoint position or image content between the previous frame and the CG space 30, the image in the CG space of the previous frame can be used in the current frame as well.
- step S102 the AR system 5 inputs the captured image V1 and metadata MT from the camera 2. That is, the captured image V1 of the current frame, and the attitude information, focal length, angle of view, aperture value, and the like of the camera 2 at the frame timing are acquired. For example, when one AR system 5 displays the view frustum 40 and the captured image V1 for a plurality of cameras 2 as shown in FIG. 4, the AR system 5 inputs the captured image V1 and metadata MT of each camera 2.
- each of these AR systems 5 When there are multiple camera systems 1 in which the cameras 2 and AR systems 5 correspond 1:1 as shown in Figure 3, and each generates an overhead image V3 including multiple view frustums 40 and captured images V1, it is preferable for each of these AR systems 5 to work together so as to share the metadata MT and captured images V1 of the corresponding camera 2.
- the AR system 5 receives the viewer information RI.
- the AR system 5 receives viewer rating information, reaction information, request information, and the like that are currently being obtained and compiled by the data management unit 15.
- observer information RI is input as instruction information from a director or the like.
- step S104 the AR system 5 performs display settings for the overhead image V3 including the view frustum 40. Various examples of this process will be described later.
- step S105 the AR system 5 synthesizes the view frustum 40 corresponding to one or more cameras 2 into the CG space 30 that becomes the overhead image V3, to generate one frame of image data for the overhead image V3. Note that the AR system 5 may also synthesize the shot image V1 to generate one frame of image data for the overhead image V3.
- step S106 the AR system 5 outputs one frame of video data of the overhead view video V3.
- the above process is repeated until the display of the view frustum 40 is completed.
- the overhead image V3 including the view frustum 40 is displayed on the terminal device 200, the GUI device 11, and the camera 2.
- the display of the view frustum 40 ends when the display of the overhead image V3 ends or when the display of the view frustum 40 within the overhead image V3 ends.
- FIGS. Fig. 27 shows an example of a case where display is performed according to the viewing rate as in Figs. 20, 21, and 22.
- the AR system 5 acquires viewing rate information from the observer information RI in step S120.
- viewing rate information of all the observers on the user side for the image V1 captured by each camera 2 is acquired.
- viewing rate information about the observers on the user side extracted according to the attributes and current location as described above is acquired.
- step S121 the AR system 5 performs display settings for the view frustum 40 corresponding to each camera 2. For example, for each camera 2, the AR system 5 sets, from the metadata MT acquired in step S102, the direction of the view frustum 40 in the CG space 30 according to the attitude of that camera 2, the pyramid shape according to the angle of view, and the positions of the focus plane 41 and depth of field range 42 based on the focal length and aperture value. This sets the position and shape of each view frustum 40 in the overhead image V3.
- the AR system 5 further compares the viewing rate information for each camera 2 to determine the camera 2 with the highest viewing rate. The AR system 5 then sets the view frustum 40 of the cameras 2 other than the camera 2 with the highest viewing rate to normal colors, brightness, etc. The AR system 5 also sets the display mode of the view frustum 40 of the camera 2 with the highest viewing rate to highlighted display.
- step S122 the AR system 5 performs display settings according to the viewing rate.
- the AR system 5 performs settings to display a numerical value indicating the viewing rate near the view frustum 40, as in the example of FIG.
- the AR system 5 sets the display content so that the viewing rate is displayed by a count bar 51 as in the example of FIG.
- the AR system 5 sets the display content so that the viewer rating is displayed on a pole 52 as in the example of FIG.
- the AR system 5 proceeds to step S105 in FIG. 26 and generates video data for the overhead image V3 including the view frustum 40 according to the settings made in steps S121 and S122.
- FIG. 28 shows an example of a case where a display is performed according to reaction information in the form as shown in FIGS.
- the AR system 5 acquires reaction information from the observer information RI.
- reaction information of all the observers on the user side to the captured image V1 of each camera 2 is acquired.
- reaction information about the observers on the user side extracted according to attributes or current location is acquired.
- step S131 the AR system 5 performs display settings for the view frustum 40 corresponding to each camera 2.
- the AR system 5 sets the arrangement position and shape of each view frustum 40 in the overhead image V3 for each camera 2, based on the metadata MT acquired in step S102.
- the AR system 5 may set a highlighting setting for some of the view frustum 40 according to, for example, the reaction numerical value. For example, the camera 2 with the most high ratings is determined, and the view frustum 40 corresponding to that camera 2 is set to be highlighted.
- the AR system 5 performs display settings according to the reaction information. For example, the AR system 5 performs settings to display numerical values related to the reaction near the view frustum 40, as in the example of FIG. Alternatively, the AR system 5 sets the display content so that a numerical value relating to the reaction is displayed by a count bar 51 as in the example of FIG. Alternatively, the AR system 5 sets the display content so that numerical values relating to reactions are displayed by poles 52 as in the example of FIG. Alternatively, the AR system 5 sets the display contents so as to display a chat window 55 as in the example of FIG.
- the AR system 5 proceeds to step S105 in FIG. 26 and generates video data for the overhead image V3 including the view frustum 40 according to the settings made in steps S131 and S132.
- FIG. 29 shows an example of a case where a display is performed according to request information in the format as shown in FIG. 23 and FIG.
- the AR system 5 acquires request information from the observer information RI.
- the request information is acquired for all the observers on the user side for the image V1 captured by each camera 2.
- the request information is acquired for the observers on the user side extracted according to attributes or current location.
- the AR system 5 may also acquire instruction information from a director or the like, which is transmitted from the GUI device 11 or the control panel 10, for example.
- step S141 the AR system 5 performs display settings for the view frustum 40 corresponding to each camera 2. For example, the AR system 5 sets the placement position and shape of each view frustum 40 in the overhead image V3 for each camera 2 based on the metadata MT acquired in step S102. This is the same as step S121 in FIG. 27.
- step S142 the AR system 5 performs display settings according to the request information for each camera 2. For example, as shown in the examples of Figures 23 and 24, the AR system 5 performs display settings for the request content 53 and settings for displaying a pie chart 54 related to the request near the view frustum 40.
- the AR system 5 proceeds to step S105 in FIG. 26 and generates video data for the overhead image V3 including the view frustum 40 according to the settings made in steps S141 and S142.
- the AR system 5 outputs video data of the overhead image V3 including the view frustum 40 as a display mode or display content based on the observer information RI.
- the overhead image V3 is displayed on the terminal device 200, the GUI device 11, the viewfinder of the camera 2, or the like.
- the AR system 5 can also display the overhead view video V3 in accordance with the rights set for each camera 2.
- view frustums 40a, 40b, 40c, 40d, and 40e are displayed in an overhead image V3. It is assumed that rights have been set in advance for all or some of the five cameras 2 corresponding to these view frustums 40 .
- the right here can be, for example, the position of the camera 2, that is, the position where the image is taken, the image taking direction, the zoom range, the focus position, and the like.
- a person who wants to take pictures in a venue as the target space 8 for photography enters into a contract with the operator and sets his/her rights.
- the AR system 5 managed by the operator stores the rights set for each camera 2.
- the AR system 5 can grasp the position, direction, angle of view, focus distance, etc. of each camera 2. By comparing information based on the metadata MT with information on the position, direction, angle of view, focus distance, etc. set by the rights, the AR system 5 can determine whether each camera is taking pictures within the restricted range of rights.
- the display mode of the view frustum 40 is changed.
- 30 shows an example in which, when camera 2 of view frustum 40c takes a picture in a direction beyond the scope of the right, the display of view frustum 40c is changed to display overhead image V3.
- the AR system 5 may generate an overhead image V3 including a message indicating that the right is not granted.
- FIG. 31 shows an example of processing by the AR system 5. This is an example of setting display settings for rights restriction in step S104 of FIG. 26.
- step S150 the AR system 5 determines the arrangement of each view frustum 40. That is, it determines the position, shooting direction, angle of view, etc. of each camera based on the metadata MT.
- step S151 the AR system 5 performs a right restriction determination.
- the AR system 5 refers to the right-set camera position, shooting direction range, angle of view range, focus distance range, and the like for each camera 2, and determines whether the current position, shooting direction (camera attitude), angle of view, and focus distance of the camera 2 are within the right setting range.
- the shooting time, shooting execution time, etc. may be set as the scope of the right, and it may be determined whether the current time is within the permitted time or period.
- step S152 the AR system 5 performs display settings for each view frustum 40.
- the AR system 5 sets the arrangement position and shape of each view frustum 40 in the overhead image V3 for each camera 2 based on the metadata MT acquired in step S102 of Fig. 26. This is similar to step S121 of Fig. 27.
- the AR system 5 performs settings according to the right restriction judgment. For example, no special settings are performed for a camera 2 that is capturing images within the right restriction range, but for a camera 2 that is capturing images beyond the right restriction range, a display mode is set to indicate that fact.
- step S153 the AR system 5 outputs information about the camera 2 that is capturing images that exceed the rights restriction range.
- the AR system 5 proceeds to step S105 in FIG. 26, and generates video data of the overhead image V3 including the view frustum 40 according to the settings made in step S152.
- video data of the overhead image V3 is generated in which the view frustum 40 of the camera 2 capturing images that exceed the rights restriction range is displayed as a specific warning, as in the view frustum 40c in FIG. 30.
- the AR system 5 can also control the operating functions of the camera 2 and the switcher 13 by outputting information about the camera 2 that is capturing images that exceed the right restriction range in step S153.
- the screen of the camera 2 in question may be blacked out to disable shooting.
- an instruction may be given to the switcher 13 so that the video V1 captured by the camera 2 in question is not selected as the main line video for broadcast or distribution.
- rights holders (camera owners, content rights holders, broadcasting rights holders, etc.) can impose restrictions on shooting position, direction, angle of view, etc., thereby protecting the content and subjects being shot and setting up areas where shooting is prohibited.
- NFTs Non-Fungible Tokens
- FIGS 32A, 32B, 32C, and 32D are overhead images V3 displayed at the same time.
- FIG. 32A shows an overhead image V3 viewed by a user observer viewing a broadcast or distribution outside the venue, for example, at home.
- FIG. 32B shows an overhead image V3 viewed by a user-side observer viewing a broadcast or distribution at a venue.
- FIG. 32C shows an overhead view image V3 viewed by a director or the like outside the venue.
- FIG. 32D is an overhead image V3 viewed by a cameraman at the venue.
- the overhead image V3 in FIG. 32A displays a view frustum 40 in a CG space 30.
- 32B is an overhead view image V3 of FIG. 32A to which the position 33 of the user-side observer who is viewing the image has been added. This makes it easier for the user-side observer to understand the relationship between his or her own position and the shooting direction of each camera 2.
- FIG. 32C shows overhead view image V3 of FIG. 32A, to which a display of high viewer rating range 34, which is viewed by many user-side observers, has been added.
- FIG. 32D shows the overhead view image V3 of FIG. 32C, with the view frustum 40 (for example, view frustum 40a) of the camera 2 operated by the viewing cameraman being highlighted. This allows the director or cameraman to give instructions and take pictures while checking the location in the venue that the user observer wants to see. The cameraman can easily recognize which view frustum 40 in the overhead image V3 is displaying the shooting range of his/her camera 2.
- view frustum 40 for example, view frustum 40a
- FIG. 33 shows an example of the processing of the AR system 5 that generates a different overhead image V3 for each output destination in this way. This is an example of step S105 in FIG. 26.
- step S201 the AR system 5 generates video data for an overhead image V3 intended for a user observer outside the venue.
- the video data for the overhead image V3 is generated according to the settings made in steps S101 to S104 in FIG. 26.
- step S202 the AR system 5 checks whether or not there is a user-side observer viewing the captured image V1 with the terminal device 200 within the venue as the target space 8. For example, the user-side observer transmitting position information is the target. If there are no user-side observers in the venue, the process proceeds to step S204.
- the AR system 5 checks the position information of the terminal device 200 and determines that a user-side observer is present within the venue, the AR system 5 generates video data of an overhead video V3 for the user-side observer within the venue in step S203. For example, in addition to the settings performed in steps S101 to S105 of Fig. 26, the AR system 5 generates video data of an overhead video V3 in which a position 33 is displayed for each user-side observer within the venue according to their position information. Although the position of each user-side observer is different, the image data of the overhead image V3 does not have to be generated individually for each user-side observer. For example, the AR system 5 may add instruction information for an application program for viewing on the smartphone or the like of the user-side observer to the image data of the overhead image V3, so that the display of the position 33 on the smartphone or the like is superimposed according to the current position.
- step S204 the AR system 5 generates video data for an overhead view video V3 intended for a director or the like.
- video data is generated that displays the high viewer rating range.
- step S205 the AR system 5 generates video data for an overhead view V3 aimed at the cameraman.
- video data is generated that displays the high viewing rate range and highlights the corresponding view frustum 40 for each destination camera 2.
- the AR system 5 outputs the image in step S106 of FIG. That is, the overhead video V3 for the user observers inside and outside the venue is transmitted, and the video data of the overhead video V3 for the director or the like is transmitted to the GUI device 11 for display. Furthermore, the overhead video V3 for each cameraman is transmitted to each camera 2 for display on a viewfinder or the like.
- FIG. 34 shows another example of a display for a user-side observer in the venue.
- this is an example in which a user-side observer wearing AR goggles can view an AR-superimposed view frustum 40.
- the view frustum 40 does not necessarily have to be synthesized into the overhead image V3.
- the view frustum 40 By displaying the view frustum 40 in the scene seen from the observer's viewpoint, it is easy to recognize what area is being photographed.
- the view frustum of the image projected on the back screen of the venue may be displayed or highlighted.
- the view frustum 40 related to the user's photograph may be highlighted.
- the display mode of the view frustum 40 may be changed according to the reaction or request of the user observer.
- the view frustum corresponding to his/her own shot is highlighted, and the display of the view frustum 40 corresponding to his/her own camera 2 may be changed according to the reaction of the user observer.
- Voting may also be considered as a reaction or request from the user observer.
- the user observer may vote for the location they would like to see, and the result may be reflected in the display mode of the view frustum 40 or the display content of the overhead image V3.
- the view frustum 40 may function as an on-screen control.
- FIG. 19A and FIG. 19B it has been explained that the captured image V1 can be switched to by operating the view frustum 40.
- other screen operations such as replaying the image and erasing the view frustum 40 may also be performed.
- Information about the camera 2 and broadcasting station may be displayed in correspondence with the view frustum 40. This will enable users to know what type of camera 2 was used to take the image, and which broadcasting station the image was taken by.
- the view frustums 40 of some of the cameras 2 may be displayed.
- a view frustum 40 that is highly popular (has many views) may be displayed, or a view frustum that is randomly selected may be displayed.
- an information processing device 70 serving as an AR system 5, for example, is equipped with an image processing unit 71a that performs processing to generate image data of the target space 8 including a shooting range presentation image (view frustum 40) that presents the shooting range of each of the multiple cameras 2 in accordance with observer information RI.
- an overhead image V3 including the view frustum 40 according to the viewing status of the observer of the image broadcast or distributed by the observer information RI, the reaction at the time of viewing, requests, etc.
- an overhead image V3 presenting the status of the user-side observer can be generated and displayed. This allows each of the user-side observers, the cameraman, the director, etc. to recognize the status of many user-side observers.
- the image processor 71a sets the display mode of the view frustum 40 in accordance with the observer information RI.
- the display mode the view frustum 40 can be set to normal display or highlighted display, color, brightness, blinking display, and the like.
- information about the observer is expressed by the view frustum 40 itself. Therefore, the user observer can know from the view frustum 40 which images are being viewed by many observers, which images have received high responses, etc.
- the view frustum 40 also makes it easy to understand which parts of the target shooting space 8 those images are shooting. For the director, etc., the number of observers and their responses can be known from the view frustum 40, making it easier to give instructions, etc.
- the image processor 71a sets the display contents to be displayed in association with the view frustum 40 in accordance with the observer information RI. 20 to 25, the user observer, director, etc. can clearly know the reaction of the user observer to the video V1 shot by each camera 2 by the numbers, graphs, text, icons, etc. associated with the view frustum 40. This is convenient for video selection.
- an example has been given in which the video processing unit 71a acquires viewership information about the video V1 captured by each camera 2 as observer information RI, and generates video data of the target space 8 reflecting the viewership information (see Figures 26 and 27).
- an overhead view image V3 including a view frustum 40 is used to display images corresponding to the viewing rate of the images V1 captured by each camera 2. This allows the observer to know the viewing rate of each captured image V1, which is useful for selecting images, etc. For example, this is useful when a user-side observer switches the image he or she views, or when a director or the like issues an instruction to switch the main line image. It also becomes easier for the director or the like to determine which position in the venue of the shooting target space 8 is most popular for the footage.
- the video processing unit 71a acquires observer reaction information to the captured image V1 of each camera 2 as observer information RI, and generates video data of the target space 8 reflecting the reaction information (see Figures 26 and 28).
- the overhead image V3 displays images according to observer reaction information about the captured images V1 of each camera 2. For example, the number of high ratings (likes), the number of low ratings, the number of chats, the chat contents, the number and amount of tips, etc. This allows the observer to know the evaluation of each captured image V1, which is useful for selecting images, etc. For example, this is useful when a user-side observer switches the image to be viewed, or when a director or the like instructs to switch the main line image.
- the image processing unit 71a acquires instruction information or request information for each camera as observer information RI, and generates image data of the target space 8 that reflects the acquired instruction information or request information (see Figures 26 and 29).
- the overhead image V3 in the examples of Figures 23 and 24 can be considered as an example of an image that reflects the instructions of a director or the requests of a user-side observer. Therefore, a cameraman can refer to the camera operation by looking at such an overhead image V3. It is also useful as an image of the GUI device 11 for a director or the like to confirm the requests of the user-side observer and give instructions to the cameraman.
- the image processor 71a acquires the observer information RI corresponding to each frame of the image of the target space 8 and performs processing to generate image data of the frame (see FIG. 26).
- the display mode of the view frustum 40 and the display contents such as the viewing rate of the overhead image V3 change in response to changes in the observer information, and the image allows the observer's situation to be known in real time.
- the observer information RI may be acquired corresponding to intermittent frames rather than every frame, and processing may be performed to generate video data for frames of the overhead image V3 for the period until the next observer information RI is acquired.
- an example has been given in which the video processing unit 71a generates video data of the subject space 8 in accordance with each of a plurality of video data output destinations (see FIG. 33).
- an overhead image V3 for a user observer outside the venue an overhead image V3 for a user observer inside the venue, an overhead image V3 for a director or the like, and an overhead image V3 for a cameraman are generated. This allows appropriate information to be presented to each observer of the overhead image V3.
- the video processing unit 71a performs a right restriction judgment to determine whether the shooting by each camera 2 is taking place within the set right range, and generates video data of the target shooting space 8 that reflects the result of the right restriction judgment (see Figures 30 and 31).
- a right regarding photography is set in advance, it is determined whether or not the photography operation by the camera 2 is within the scope of the right, and this is reflected in the overhead image V3. This makes it possible to present the status of compliance with the scope of the right when the right is set.
- the image processor 71a generates image data of the target space 8 including the view frustum 40 of the camera 2 and the captured image V1 of the camera 2 (see FIGS. 12 to 18 and 26).
- the observer can easily grasp the correspondence between the image of the camera 2 and its position in space.
- the overhead image V3 in which the photographed image V1 is also synthesized in step S105 of Fig. 26, the overhead image V3 as shown in Figs. 12 to 18 can be generated.
- the video processor 71a generates video data of the target space 8 as a video to be displayed on a terminal that visually recognizes the video V1 captured by the camera 2 through broadcast or distribution.
- the overhead video V3 is transmitted to the terminal device 200 of the user-side observer and displayed for the user-side observer. This makes it possible to provide information useful for the user-side observer to select a camera in, for example, multi-view distribution.
- the image processor 71 a generates image data of the subject space 8 as an image to be displayed on a display device visually recognized by a cameraman operating the camera 2 .
- the overhead image V3 is displayed on the viewfinder or the like of the camera 2 so that it can be visually recognized by the cameraman. This allows the cameraman to operate the cameras while grasping the situation of the observers at each camera.
- the video processing unit 71a generates video data of the target space 8 as an image to be displayed on a display device that is visually recognized by video production staff for broadcasting or distributing the video V1 captured by the camera 2.
- the overhead view image V3 is displayed, for example, on the GUI device 11 so that it can be visually confirmed by the director, etc. This allows the director, etc. to give various instructions and select the main line image while grasping the situation of the observer for each camera, etc.
- the display mode of the view frustum 40 and the display contents of the overhead image V3 and the like explained in the embodiment can be executed in combination with each other.
- an example of displaying the overhead image V3 in relation to video capture has been described, the technology of the embodiment can also be applied to a case in which the camera 2 captures still images.
- the program of the embodiment is a program that causes a processor such as a CPU or DSP, or a device including these, to execute the processes shown in Figures 26, 27, 28, 29, 31, and 33 described above. That is, the program of the embodiment is a program that causes the information processing device 70 to execute a process of generating video data of the subject space 8, including a shooting range presentation video (view frustum 40) that presents the shooting ranges of each of the multiple cameras 2, in accordance with observer information RI related to the observer of the video V1 captured by the camera 2.
- a processor such as a CPU or DSP, or a device including these, to execute the processes shown in Figures 26, 27, 28, 29, 31, and 33 described above. That is, the program of the embodiment is a program that causes the information processing device 70 to execute a process of generating video data of the subject space 8, including a shooting range presentation video (view frustum 40) that presents the shooting ranges of each of the multiple cameras 2, in accordance with observer information RI related to the observer of the video V1
- an information processing device 70 that operates like the AR system 5 described above can be realized using various computer devices.
- Such a program can be pre-recorded in a HDD as a recording medium built into a device such as a computer device, or in a ROM in a microcomputer having a CPU. Also, such a program can be temporarily or permanently stored (recorded) in a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory, or a memory card.
- a removable recording medium can be provided as a so-called package software.
- Such a program can be installed in a personal computer or the like from a removable recording medium, or can be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
- Such a program is suitable for the widespread provision of the information processing device 70 of the embodiment.
- a program is suitable for the widespread provision of the information processing device 70 of the embodiment.
- personal computers communication devices
- mobile terminal devices such as smartphones and tablets, mobile phones, game devices, video devices, PDAs (Personal Digital Assistants), etc.
- these devices can function as the information processing device 70 of the present disclosure.
- An information processing device comprising: an image processing unit that performs processing to generate image data of a subject space including a shooting range presentation image presenting the shooting ranges of each of a plurality of cameras, in accordance with observer information regarding an observer of the images captured by the cameras.
- an image processing unit sets a display mode of the shooting range presentation image according to information related to the observer information.
- the image processing unit sets display content to be displayed in association with the shooting range presentation image according to the observer information.
- the image processing unit generates image data of a space to be photographed in accordance with each of a plurality of image data output destinations.
- the image processing unit performs a right restriction determination to determine whether the shooting by each camera is being performed within the set right range, and generates image data of the target space that reflects the result of the right restriction determination.
- An information processing device An information processing method for generating image data of a subject space including a shooting range presentation image presenting the shooting ranges of each of a plurality of cameras in accordance with observer information relating to an observer of the images captured by the cameras.
- a program that causes an information processing device to execute a process of generating image data of a subject space including a shooting range presentation image that presents the shooting ranges of each of a plurality of cameras, in accordance with observer information regarding an observer of the images captured by the cameras.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Studio Devices (AREA)
Abstract
情報処理装置は、複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う映像処理部を備えるようにする。
Description
本技術は情報処理装置、情報処理方法、プログラムに関し、撮影対象空間の映像や仮想映像の表示に関連する技術である。
カメラによる撮影対象の空間におけるカメラの位置や撮影方向を示す表示を行う技術が知られている。
下記特許文献1ではプロセッサが、カメラから受信したカメラデータによる位置、画角、フォーカス位置などに基づいてカメラの位置や撮影範囲を表示させる技術が開示されている。
下記特許文献1ではプロセッサが、カメラから受信したカメラデータによる位置、画角、フォーカス位置などに基づいてカメラの位置や撮影範囲を表示させる技術が開示されている。
ところで、スポーツやイベント等の会場等を撮影するカメラによる映像の放送や配信の視聴者等にとって、カメラの位置や撮影範囲が明示されるとよい。その映像を視認している人にとって、カメラが撮影対象空間としての会場等のどこを映しているかが把握しやすくなるためである。そのような場合に、単にカメラの撮影範囲を表示するだけでなく、より有用な情報の表示が行われることが望まれる。
そこで本開示では、カメラの映像と空間内での位置の対応が把握しやすくする映像を表示させるとともに、観察者の状況を反映した表示が実行できるようにする技術を提案する。
本技術に係る情報処理装置は、複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う映像処理部を備える。
撮影範囲提示映像とは、カメラの撮影方向やズーム画角によって決まる撮影範囲を示す映像である。例えばカメラの撮影対象空間内に撮影範囲提示映像を加えた映像の内容や表示態様などが、観察者情報に応じて生成されるようにする。
撮影範囲提示映像とは、カメラの撮影方向やズーム画角によって決まる撮影範囲を示す映像である。例えばカメラの撮影対象空間内に撮影範囲提示映像を加えた映像の内容や表示態様などが、観察者情報に応じて生成されるようにする。
以下、実施の形態を次の順序で説明する。
<1.システム構成>
<2.情報処理装置の構成>
<3.ビューフラスタムの表示>
<4.観察者情報に応じた表示>
<5.撮影権利に応じた表示>
<6.他の表示例>
<7.まとめ及び変形例>
<1.システム構成>
<2.情報処理装置の構成>
<3.ビューフラスタムの表示>
<4.観察者情報に応じた表示>
<5.撮影権利に応じた表示>
<6.他の表示例>
<7.まとめ及び変形例>
なお本開示において「映像」或いは「画像」とは、動画、静止画のいずれをも含むものとする。但し実施の形態では主に動画撮影を行う場合を例にして説明する。
また本開示で、観察者(viewer)とは、撮影された映像を視覚的に観察可能な人を指す。観察者としては、例えば放送や配信された映像を視聴する一般の視聴者であるユーザ側観察者もいるし、映像制作サイドのディレクターやカメラマンなどのスタッフである制作側観察者もいる。
観察者について説明上、特に区別する場合は、放送や配信を視聴する一般の視聴者を「ユーザ側観察者」と表記し、制作側観察者についてはカメラを操作する「カメラマン」や「ディレクター等」と表記する。
「カメラマン」は、ビューファインダーやモニタ装置カメラを見ながら直接又は遠隔でカメラを操作する人を指し、「ディレクター等」とは、例えばディレクター、スイッチャーエンジニアなどのカメラマン以外のスタッフを指すこととする。
観察者について説明上、特に区別する場合は、放送や配信を視聴する一般の視聴者を「ユーザ側観察者」と表記し、制作側観察者についてはカメラを操作する「カメラマン」や「ディレクター等」と表記する。
「カメラマン」は、ビューファインダーやモニタ装置カメラを見ながら直接又は遠隔でカメラを操作する人を指し、「ディレクター等」とは、例えばディレクター、スイッチャーエンジニアなどのカメラマン以外のスタッフを指すこととする。
<1.システム構成>
実施の形態では、実写映像に仮想映像を合成する、いわゆるAR映像を生成することができる撮影システム100を例に挙げる。図1は撮影システムによる撮影の様子を模式的に示している。
実施の形態では、実写映像に仮想映像を合成する、いわゆるAR映像を生成することができる撮影システム100を例に挙げる。図1は撮影システムによる撮影の様子を模式的に示している。
図1では現実の撮影対象空間8に対して、3台のカメラ2を配置して撮影を行う例を示している。3台というのは一例であり、1又は複数のカメラ2が用いられる。
撮影対象空間8はどのような場所でもよいが、イベント会場やスポーツ会場などが想定される。スポーツ会場としてはサッカー、ラグビー等のスタジアムや、オリンピック競技会場などが想定される。
撮影対象空間8はどのような場所でもよいが、イベント会場やスポーツ会場などが想定される。スポーツ会場としてはサッカー、ラグビー等のスタジアムや、オリンピック競技会場などが想定される。
図1の例では、カメラ2として、ワイヤー9によって吊り下げられて撮影対象空間8の上空を移動できるようにした移動型のカメラ2Mを示している。この移動型のカメラ2Mによる撮影映像やメタデータはレンダーノード7に送られる。
またカメラ2として、例えば三脚6などにより固定配置される固定型のカメラ2Fも示している。この固定型のカメラ2Fの撮影映像やメタデータはCCU(Camera Control Unit)3を介してレンダーノード7に送られる。
なお移動型のカメラ2Mの撮影映像やメタデータについても、CCU3を介してレンダーノード7に送られる場合がある。
以下「カメラ2」とは、カメラ2F、2Mを総称するものとする。
またカメラ2として、例えば三脚6などにより固定配置される固定型のカメラ2Fも示している。この固定型のカメラ2Fの撮影映像やメタデータはCCU(Camera Control Unit)3を介してレンダーノード7に送られる。
なお移動型のカメラ2Mの撮影映像やメタデータについても、CCU3を介してレンダーノード7に送られる場合がある。
以下「カメラ2」とは、カメラ2F、2Mを総称するものとする。
ここで示すレンダーノード7とは、CG(Computer Graphics)の生成や実写映像との合成などを行うCGエンジン、映像処理プロセッサ等を示しており、例えばAR映像を生成するデバイスとされる。
図2A,図2BにAR映像の例を示している。図2Aは競技場における試合中の撮影映像に、CGによる画像38として実際には存在しないラインを実写映像に合成している。図2Bでは、競技場内に、画像38として実際には存在しない広告ロゴを実写映像に合成している。
これらのCGによる画像38は、撮影時のカメラ2の位置、撮影方向、画角、撮影された構造物体などに応じて適切に形状、サイズや合成位置を設定してレンダリングすることで、現実に存在するもののように見せることができる。
これらのCGによる画像38は、撮影時のカメラ2の位置、撮影方向、画角、撮影された構造物体などに応じて適切に形状、サイズや合成位置を設定してレンダリングすることで、現実に存在するもののように見せることができる。
このような実写としての撮影映像にCGを合成してAR重畳映像を生成すること自体は知られている。
実施の形態の撮影システム100は、さらに観察者、つまりユーザ側観察者や、映像制作に携わるカメラマンやディレクター等が、各カメラ2がどのような位置や方向、画角で撮影を行っているかを容易に認識できるようにする。さらに撮影システム100は、各観察者が、観察者全体の状況も知ることができるようにする。
実施の形態の撮影システム100は、さらに観察者、つまりユーザ側観察者や、映像制作に携わるカメラマンやディレクター等が、各カメラ2がどのような位置や方向、画角で撮影を行っているかを容易に認識できるようにする。さらに撮影システム100は、各観察者が、観察者全体の状況も知ることができるようにする。
具体的には、AR重畳映像を生成することができる撮影システム100において、ユーザ側観察者、カメラマン、ディレクター等が、各カメラ2についての撮影範囲提示映像を視認できるようにする。
撮影システム100の構成例として、2つの例を図3、図4に示す。
図3の構成例では、カメラシステム1,1A、コントロールパネル10、GUI(Graphical User Interface)デバイス11、ネットワークハブ12、スイッチャー13、マスターモニタ14、データ管理部15を示している。
破線矢印で各種の制御信号CSの流れを示している。また実線矢印では撮影映像V1、AR重畳映像V2、俯瞰映像V3の各映像データの流れを示している。
図3の構成例では、カメラシステム1,1A、コントロールパネル10、GUI(Graphical User Interface)デバイス11、ネットワークハブ12、スイッチャー13、マスターモニタ14、データ管理部15を示している。
破線矢印で各種の制御信号CSの流れを示している。また実線矢印では撮影映像V1、AR重畳映像V2、俯瞰映像V3の各映像データの流れを示している。
カメラシステム1はAR連携を行う構成で、カメラシステム1AはAR連携を行わない構成としている。
なお、図3,図4ではカメラ2としては、三脚6に装着された固定型のカメラ2Fの例で示しているが、カメラシステム1,1Aにおいて移動型のカメラ2Mを用いる場合もある。
なお、図3,図4ではカメラ2としては、三脚6に装着された固定型のカメラ2Fの例で示しているが、カメラシステム1,1Aにおいて移動型のカメラ2Mを用いる場合もある。
カメラシステム1は、カメラ2、CCU3、例えばCCU3に内蔵されるAI(artificial intelligence)ボード4、ARシステム5を有する。
カメラ2からは、撮影映像V1の映像データや、メタデータMTがCCU3に送られる。CCU3は、撮影映像V1の映像データをスイッチャー13に送る。またCCU3は撮影映像V1の映像データとメタデータMTをARシステム5に送る。
カメラ2からは、撮影映像V1の映像データや、メタデータMTがCCU3に送られる。CCU3は、撮影映像V1の映像データをスイッチャー13に送る。またCCU3は撮影映像V1の映像データとメタデータMTをARシステム5に送る。
メタデータMTとしては、撮影映像V1の撮影時のズーム画角や焦点距離などを含むレンズ情報、カメラ2に搭載されるIMU(Inertial Measurement Unit)等のセンサ情報がある。これらは具体的には、カメラ2の3doF(Degree of Freedom:自由度)の姿勢情報、加速度情報、レンズの焦点距離、絞り値、ズーム画角、レンズ歪、などの情報となる。これらのメタデータMTは、例えばフレームに同期した情報又は非同期の情報としてカメラ2から出力される。
なお図3の場合はカメラ2を固定型のカメラ2Fとしており、位置情報は変化しないため、カメラ位置情報は撮影開始前の段階などで既知の値としてCCU3やARシステム5が記憶していればよい。移動型のカメラ2Mを用いる場合は、位置情報も逐次カメラ2Mから送信されるメタデータMTに含まれるようにする。
ARシステム5はCGのレンダリングを行うレンダリングエンジンを備えた情報処理装置である。ARシステム5としての情報処理装置は図1に示したレンダーノード7の一例である。
ARシステム5はCGで生成した画像38をカメラ2による撮影映像V1に重畳したAR重畳映像V2の映像データを生成する。この場合にARシステム5は、メタデータMTを参照して画像38のサイズ、形状を設定し、また撮影映像V1内への合成位置を設定することで、画像38が実写風景に自然に合成されたAR重畳映像V2の映像データを生成する。
ARシステム5はCGで生成した画像38をカメラ2による撮影映像V1に重畳したAR重畳映像V2の映像データを生成する。この場合にARシステム5は、メタデータMTを参照して画像38のサイズ、形状を設定し、また撮影映像V1内への合成位置を設定することで、画像38が実写風景に自然に合成されたAR重畳映像V2の映像データを生成する。
またARシステム5は、後述するようにCGによる俯瞰映像V3の映像データを生成する。例えば撮影対象空間8をCGにより再現する、後述の図9のような俯瞰映像V3の映像データである。さらにARシステム5は、俯瞰映像V3内で、カメラ2の撮影範囲を視覚的に提示する撮影範囲提示映像として、後述の図11のようなビューフラスタム40を表示させるようにする。
例えばARシステム5は、カメラ2のメタデータMTや位置情報から、撮影対象空間8内での撮影範囲を計算する。カメラ2の位置情報、画角、三脚6上での3軸方向(ヨー、ピッチ、ロール)のカメラ2の姿勢情報(撮影方向に相当)を取得することで、そのカメラ2の撮影範囲を求めることができる。
ARシステム5はカメラ2の撮影範囲の算出に応じてビューフラスタム40としての映像を生成する。ARシステム5はビューフラスタム40が、撮影対象空間8に相当する俯瞰映像V3内におけるカメラ2の位置から提示されるように、俯瞰映像V3の映像データを生成する。
ARシステム5はカメラ2の撮影範囲の算出に応じてビューフラスタム40としての映像を生成する。ARシステム5はビューフラスタム40が、撮影対象空間8に相当する俯瞰映像V3内におけるカメラ2の位置から提示されるように、俯瞰映像V3の映像データを生成する。
なお本開示において「俯瞰映像」とは、撮影対象空間8を俯瞰的に見る視点による映像であるが、必ずしも映像内に撮影対象空間8の全体を表示しているものである必要はない。少なくとも一部のカメラ2のビューフラスタム40と、その周囲の空間が含まれる映像を「俯瞰映像」と呼ぶこととする。
実施の形態では、俯瞰映像V3はCGによりスタジアム等の撮影対象空間8を表現する映像として生成されるものとするが、実写映像による俯瞰映像V3が生成されてもよい。例えば俯瞰映像用の視点のカメラ2を設け、そのカメラ2の撮影映像V1を使用して俯瞰映像V3としてもよい。ワイヤー9で上空を移動するカメラ2Mの撮影映像V1を俯瞰映像V3として用いてもよい。さらには複数のカメラ2の撮影映像V1を用いて撮影対象空間8の3D(three dimensions)-CGモデルを生成し、3D-CGモデルに対する視点位置を設定してレンダリングをすることで、視点位置可変の俯瞰映像V3を生成することもできる。
ARシステム5によるAR重畳映像V2や俯瞰映像V3の映像データは、スイッチャー13に供給される。
またARシステム5によるAR重畳映像V2や俯瞰映像V3の映像データは、CCU3を介してカメラ2に供給される。これによりカメラ2では、カメラマンがビューファインダーなどの表示部においてAR重畳映像V2や俯瞰映像V3を視認することができる。
またARシステム5によるAR重畳映像V2や俯瞰映像V3の映像データは、CCU3を介してカメラ2に供給される。これによりカメラ2では、カメラマンがビューファインダーなどの表示部においてAR重畳映像V2や俯瞰映像V3を視認することができる。
なおARシステム5によるAR重畳映像V2や俯瞰映像V3の映像データは、CCU3を介さないでカメラ2に供給されてもよい。さらに言えばカメラシステム1,1AにおいてCCU3を用いない例もある。
CCU3におけるAIボード4は、撮影映像V1とメタデータMTから、カメラ2のドリフト量を計算する処理を行う。
各時点で、カメラ2に搭載されたIMUからの加速度情報を2回積分することでカメラ2の位置変位が得られる。或る基準となる原点姿勢(ヨー、ピッチ、ロールの3軸のそれぞれで基準となる姿勢位置)から、各時点の変位量を積算していくことで、各時点のヨー、ピッチ、ロールの3軸の位置、即ちカメラ2の撮影方向に相当する姿勢情報が得られる。しかし積算を重ねることで、実際の姿勢位置と計算上の姿勢位置のずれ(蓄積誤差)が大きくなってくる。そのずれの量をドリフト量と呼ぶ。
各時点で、カメラ2に搭載されたIMUからの加速度情報を2回積分することでカメラ2の位置変位が得られる。或る基準となる原点姿勢(ヨー、ピッチ、ロールの3軸のそれぞれで基準となる姿勢位置)から、各時点の変位量を積算していくことで、各時点のヨー、ピッチ、ロールの3軸の位置、即ちカメラ2の撮影方向に相当する姿勢情報が得られる。しかし積算を重ねることで、実際の姿勢位置と計算上の姿勢位置のずれ(蓄積誤差)が大きくなってくる。そのずれの量をドリフト量と呼ぶ。
このようなドリフトを解消するために、AIボード4は撮影映像V1とメタデータMTを使ってドリフト量を計算する。そして算出したドリフト量をカメラ2側に送出する。
カメラ2では、CCU3(AIボード4)から受信したドリフト量を受けてカメラ2の姿勢情報を補正する。そして補正後の姿勢情報を含むメタデータMTを出力する。
カメラ2では、CCU3(AIボード4)から受信したドリフト量を受けてカメラ2の姿勢情報を補正する。そして補正後の姿勢情報を含むメタデータMTを出力する。
以上のドリフト補正について、図5,図6で説明する。
図5は環境マップ35を示している。環境マップ35は、仮想ドームの座標に特徴点、特徴量を記憶したものであり、カメラ2毎に生成される。
カメラ2を360度回転させ、特徴点、特徴量を天球上のグローバル位置座標に登録した環境マップ35を生成する。これにより特徴点マッチングで姿勢をロストしても復帰できるようになる。
図5は環境マップ35を示している。環境マップ35は、仮想ドームの座標に特徴点、特徴量を記憶したものであり、カメラ2毎に生成される。
カメラ2を360度回転させ、特徴点、特徴量を天球上のグローバル位置座標に登録した環境マップ35を生成する。これにより特徴点マッチングで姿勢をロストしても復帰できるようになる。
図6Aは、カメラ2の正しい姿勢の撮影方向Pcと、IMUデータから計算した撮影方向Pjとでドリフト量DAが生じている様子を模式的に示している。
カメラ2からAIボード4には、カメラ2の3軸の動作、角度、画角の情報が、特徴点マッチングのためのガイドとして送られる。AIボード4は、図6Bのように、蓄積されたドリフト量DAを、映像認識の特徴点マッチングで検出する。図の「+」が環境マップ35に登録された或る特徴量の特徴点と、現在の撮影映像V1のフレームの該当する特徴量の特徴点を示しており、その間の矢印がドリフト量ベクトルとなる。このように特徴点マッチングにより座標誤差を検出し、その座標誤差を補正すれば、ドリフト量の補正ができる。
カメラ2からAIボード4には、カメラ2の3軸の動作、角度、画角の情報が、特徴点マッチングのためのガイドとして送られる。AIボード4は、図6Bのように、蓄積されたドリフト量DAを、映像認識の特徴点マッチングで検出する。図の「+」が環境マップ35に登録された或る特徴量の特徴点と、現在の撮影映像V1のフレームの該当する特徴量の特徴点を示しており、その間の矢印がドリフト量ベクトルとなる。このように特徴点マッチングにより座標誤差を検出し、その座標誤差を補正すれば、ドリフト量の補正ができる。
AIボード4がこのような特徴点マッチングでドリフト量を求め、これに基づいてカメラ2からは補正されたメタデータMTが送出されるようにすることで、ARシステム5においてメタデータMTに基づいて検出されるカメラ2の姿勢情報の精度を向上させることができる。
図3のカメラシステム1Aは、カメラ2とCCU3を有し、ARシステム5を有さない例としている。カメラシステム1Aのカメラ2からCCU3には撮影映像V1の映像データとメタデータMTが送信される。CCU3は撮影映像V1の映像データをスイッチャー13に送信する。
以上のカメラシステム1,1Aから出力される撮影映像V1、AR重畳映像V2、俯瞰映像V3の映像データはスイッチャー13及びネットワークハブ12を介して、GUIデバイス11に供給される。
スイッチャー13は複数のカメラ2による各撮影映像V1や、AR重畳映像V2、俯瞰映像V3のうちで、いわゆる本線映像の選択を行う。本線映像とは放送や配信のために出力される映像である。スイッチャー13は選択した映像データを放送や配信のための本線映像として図示しない送信装置や記録装置などに出力する。
また本線映像として選択されている映像の映像データはマスターモニタ14に送られて表示される。これにより映像制作スタッフは本線映像を確認することができる。
なおマスターモニタ14において本線映像以外にAR重畳映像V2、俯瞰映像V3等を表示させるようにしてもよい。
なおマスターモニタ14において本線映像以外にAR重畳映像V2、俯瞰映像V3等を表示させるようにしてもよい。
コントロールパネル10は、映像制作スタッフがスイッチャー13の切り替え指示や、映像処理に関する指示や、その他の各種の指示のための操作を行う装置である。コントロールパネル10は映像制作スタッフの操作に応じた制御信号CSを出力する。この制御信号CSはネットワークハブ12を介してスイッチャー13やカメラシステム1,1Aに送信される。
GUIデバイス11は、例えばパーソナルコンピュータやタブレット装置などで構成され、映像制作スタッフ、例えばディレクター等が映像の確認や各種の指示操作を行うことができる装置とされる。
撮影映像V1、AR重畳映像V2、俯瞰映像V3は、GUIデバイス11の表示画面上で表示される。例えばGUIデバイス11において、複数のカメラ2の撮影映像V1が画面分割して一覧表示されたり、AR重畳映像V2が表示されたり、俯瞰映像V3が表示されたりする。或いはGUIデバイス11において、本線映像としてスイッチャー13で選択されている映像が表示されたりもする。
撮影映像V1、AR重畳映像V2、俯瞰映像V3は、GUIデバイス11の表示画面上で表示される。例えばGUIデバイス11において、複数のカメラ2の撮影映像V1が画面分割して一覧表示されたり、AR重畳映像V2が表示されたり、俯瞰映像V3が表示されたりする。或いはGUIデバイス11において、本線映像としてスイッチャー13で選択されている映像が表示されたりもする。
GUIデバイス11にはディレクター等が各種の指示操作を行うためのインタフェースも用意される。GUIデバイス11はディレクター等の操作に応じて制御信号CSを出力する。この制御信号CSはネットワークハブ12を介してスイッチャー13やカメラシステム1,1Aに送信される。
GUIデバイス11によっては、例えば俯瞰映像V3におけるビューフラスタム40の表示態様などの指示を行うこともできる。
その指示に応じた制御信号CSはARシステム5に送信され、ARシステム5はディレクター等の指示に応じた表示態様のビューフラスタム40を含む俯瞰映像V3の映像データを生成する。
GUIデバイス11によっては、例えば俯瞰映像V3におけるビューフラスタム40の表示態様などの指示を行うこともできる。
その指示に応じた制御信号CSはARシステム5に送信され、ARシステム5はディレクター等の指示に応じた表示態様のビューフラスタム40を含む俯瞰映像V3の映像データを生成する。
データ管理部15は、主に図7に示す端末装置200から送信されてくる各種のデータFBDの受信、記憶、集計等を含むデータ管理処理を行う情報処理装置である。端末装置200から送信されてくる各種のデータFBDとは、撮影システム100による映像の放送や配信についての観察者(この場合はユーザ側観察者)に関する情報であり、ユーザ側観察者によるフィードバックデータに基づく情報である。例えばデータFBDとしては、各カメラ2についての視聴率又は視聴率の集計のための視認有無の情報や、ユーザ側観察者の高評価等のリアクション情報、リクエスト情報、チャットデータなどを含む。
データ管理部15はデータFBDに基づく観察者情報RIをARシステム5に送信する。観察者情報RIは視聴者に関する情報を指し、データFBDそのものも含まれるし、データFBDの集計結果や、データFBDを用いた演算結果の情報も含まれる。
ARシステム5はこのような視聴者に関連する観察者情報RIに基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することができる。
データ管理部15はデータFBDに基づく観察者情報RIをARシステム5に送信する。観察者情報RIは視聴者に関する情報を指し、データFBDそのものも含まれるし、データFBDの集計結果や、データFBDを用いた演算結果の情報も含まれる。
ARシステム5はこのような視聴者に関連する観察者情報RIに基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することができる。
なお、ディレクター等の操作によるGUIデバイス11やコントロールパネル10からのカメラマンへの指示情報も、観察者(この場合はディレクター等)に関する情報として、制御信号CSに含まれてARシステム5に送信される。この指示情報も観察者情報RIの一例となる。
ARシステム5は観察者情報RIの1つである指示情報に基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することもできる。
ARシステム5は観察者情報RIの1つである指示情報に基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することもできる。
以上の図3の例は、カメラシステム1,1Aを有するが、この場合、カメラシステム1は、カメラ2、CCU3、ARシステム5がワンセットとなっており、特にARシステム5を有することで、カメラ2の撮影映像V1に対応するAR重畳映像V2や俯瞰映像V3の映像データが生成される。そしてAR重畳映像V2や俯瞰映像V3は、カメラ2のビューファインダーなどの表示部で表示されたり、GUIデバイス11において表示されたり、スイッチャー13により本線映像として選択されたりする。
一方で、カメラシステム1A側では、そのカメラ2の撮影映像V1に対応したAR重畳映像V2や俯瞰映像V3の映像データが生成されない。
従って図3は、AR連携を行うカメラ2と通常撮影を行うカメラ2が混在したシステムである。
一方で、カメラシステム1A側では、そのカメラ2の撮影映像V1に対応したAR重畳映像V2や俯瞰映像V3の映像データが生成されない。
従って図3は、AR連携を行うカメラ2と通常撮影を行うカメラ2が混在したシステムである。
図4の例は、1つのARシステム5が各カメラ2に対応するシステム例である。
図4の場合、複数のカメラシステム1Aが備えられる。ARシステム5は各カメラシステム1Aからは独立して設けられる。
図4の場合、複数のカメラシステム1Aが備えられる。ARシステム5は各カメラシステム1Aからは独立して設けられる。
各カメラシステム1AのCCU3は、カメラ2から撮影映像V1の映像データとメタデータMTをスイッチャー13に送る。そして、これら撮影映像V1の映像データとメタデータMTはスイッチャー13からARシステム5に供給される。
これにより、ARシステム5は、それぞれのカメラシステム1Aについての撮影映像V1の映像データとメタデータMTを取得することができ、それぞれのカメラシステム1Aの撮影映像V1に対応したAR重畳映像V2の映像データや、それぞれのカメラシステム1Aに対応したビューフラスタム40を含む俯瞰映像V3の映像データを生成できる。或いはARシステム5は、複数のカメラシステム1Aのカメラ2のビューフラスタム40をまとめて表示させた俯瞰映像V3の映像データを生成することもできる。
これにより、ARシステム5は、それぞれのカメラシステム1Aについての撮影映像V1の映像データとメタデータMTを取得することができ、それぞれのカメラシステム1Aの撮影映像V1に対応したAR重畳映像V2の映像データや、それぞれのカメラシステム1Aに対応したビューフラスタム40を含む俯瞰映像V3の映像データを生成できる。或いはARシステム5は、複数のカメラシステム1Aのカメラ2のビューフラスタム40をまとめて表示させた俯瞰映像V3の映像データを生成することもできる。
ARシステム5によって生成されるAR重畳映像V2や俯瞰映像V3の映像データは、スイッチャー13を介してカメラシステム1AのCCU3に送信され、さらにカメラ2に送信される。これによりカメラマンは、カメラ2のビューファインダーなどの表示部で、AR重畳映像V2や俯瞰映像V3を視認できる。
またARシステム5によって生成されるAR重畳映像V2や俯瞰映像V3の映像データは、スイッチャー13、ネットワークハブ12を介してGUIデバイス11に送信され、表示される。これによりディレクター等がAR重畳映像V2や俯瞰映像V3を視認できるようになる。
データ管理部15は観察者情報RIをARシステム5に供給する。これによりARシステム5は観察者情報RIに基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することができる。
またデータ管理部15はGUIデバイス11やコントロールパネル10からの観察者情報RI(制御信号CSに含まれる指示情報)に基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することもできる。
またデータ管理部15はGUIデバイス11やコントロールパネル10からの観察者情報RI(制御信号CSに含まれる指示情報)に基づいて、ビューフラスタム40や俯瞰映像V3の表示態様を設定してビューフラスタム40を含む俯瞰映像を生成することもできる。
このような図4の構成では、それぞれのカメラシステム1AにARシステム5を設けなくとも、各カメラ2のAR重畳映像V2や、俯瞰映像V3を生成し、表示させることができる。
以上の図3,図4の撮影システム100では、撮影映像V1、AR重畳映像V2、俯瞰映像V3は、ユーザ側観察者向けに放送や配信が可能とされる。
放送又は配信される映像となる本線映像としては、1つのカメラ2の撮影映像V1が選択されてもよいし、複数のカメラ2の撮影映像V1が選択されてユーザ側観察者サイドで選択的に視認可能とされてもよい。いわゆるマルチビュー映像としての配信などである。もちろん撮影映像V1ではなく1又は複数のAR重畳映像V2が放送又は配信されてもよい。さらに、本実施の形態では俯瞰映像V3も放送又は配信されるものとする。これによりユーザ側観察者がビューフラスタム40を含む俯瞰映像V3を視認することができる。
放送又は配信される映像となる本線映像としては、1つのカメラ2の撮影映像V1が選択されてもよいし、複数のカメラ2の撮影映像V1が選択されてユーザ側観察者サイドで選択的に視認可能とされてもよい。いわゆるマルチビュー映像としての配信などである。もちろん撮影映像V1ではなく1又は複数のAR重畳映像V2が放送又は配信されてもよい。さらに、本実施の形態では俯瞰映像V3も放送又は配信されるものとする。これによりユーザ側観察者がビューフラスタム40を含む俯瞰映像V3を視認することができる。
図7には、撮影システム100と端末装置200として、観察者が視認する装置を模式的に示している。
撮影システム100は図3,図4のように構成されるが、カメラマンモニタ101やディレクターモニタ102を有する。
撮影システム100は図3,図4のように構成されるが、カメラマンモニタ101やディレクターモニタ102を有する。
カメラマンモニタ101とは、カメラ2を直接又は遠隔で操作するカメラマンが視認する表示装置を示しており、例えばカメラ2のビューファインダー、カメラ2に取り付けられたモニタ画面、或いはカメラマンが所持するモニタ用表示装置を指す。
ディレクターモニタ102は、GUIデバイス11やマスターモニタ14、或いはその他の表示装置であって、ディレクター等が視認する表示装置である。
ディレクターモニタ102は、GUIデバイス11やマスターモニタ14、或いはその他の表示装置であって、ディレクター等が視認する表示装置である。
端末装置200は、ユーザ側観察者が放送や配信の視認に用いる装置であり、パーソナルコンピュータ、スマートフォン、タブレット端末、テレビジョン装置その他の機器であって映像表示可能な機器である。
以上のカメラマンモニタ101、ディレクターモニタ102、端末装置200のそれぞれに対して、撮影映像V1、AR重畳映像V2、俯瞰映像V3としての映像データが送信される。カメラマンモニタ101、ディレクターモニタ102、端末装置200のそれぞれでは、ユーザの操作等に応じて、撮影映像V1、AR重畳映像V2、俯瞰映像V3を選択的に、或いは同時に視認可能とされる。
端末装置200に対しては、複数のカメラ2の撮影映像V1(又はAR重畳映像V2)が送信可能であり、端末装置200を使用するユーザ側観察者は、いずれかのカメラ2の撮影映像V1(又はAR重畳映像V2)を選択して視認できる。
また端末装置200がユーザインタフェースを備えることで、ユーザ側観察者は端末装置200から各種のリアクションやリクエストを行うことができる。例えば映像に対する評価やチャットのコメント入力などのリアクションや、特定の選手を映してほしいというようなリクエストを行うことができる。リアクションやリクエスト情報は、観察者情報RIとして撮影システム100にフィードバックされる。
<2.情報処理装置の構成>
以上の撮影システムで、例えばARシステム5とされる情報処理装置70の構成例を図8で説明する。
情報処理装置70は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置70としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置70は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
以上の撮影システムで、例えばARシステム5とされる情報処理装置70の構成例を図8で説明する。
情報処理装置70は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置70としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置70は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。
情報処理装置70のCPU71は、ROM72や例えばEEP-ROM(Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリ部74に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71は各種の処理を行うプロセッサとして構成される。CPU71はプログラムに基づいて全体の制御処理や各種演算処理を行う。
情報処理装置70が、ARシステム5として機能する場合、CPU71はプログラムに基づいてAR重畳映像V2や俯瞰映像V3の生成処理を実行する映像処理部71aとしての機能を備える。
情報処理装置70が、ARシステム5として機能する場合、CPU71はプログラムに基づいてAR重畳映像V2や俯瞰映像V3の生成処理を実行する映像処理部71aとしての機能を備える。
映像処理部71aは各種の映像処理を行う処理機能を示している。例えば3Dモデル生成処理、レンダリング、色・輝度調整処理を含む映像処理、映像編集処理、映像解析・検出処理などのいずれか、或いは複数の処理を行う。
また映像処理部71aは、複数のカメラ2のそれぞれの撮影範囲を提示するビューフラスタム40を含む撮影対象空間8の俯瞰映像V3の映像データを、観察者情報RIに応じて生成する処理を行う。例えば映像処理部71aは、観察者情報RIに応じてビューフラスタム40の表示態様を設定する。また例えば映像処理部71aは、観察者情報RIに応じてビューフラスタム40に関連づけて表示させる表示内容を設定する。
また映像処理部71aは、撮影対象空間8の俯瞰映像V3と、俯瞰映像V3内においてカメラ2の撮影範囲を提示するビューフラスタム40と、カメラ2の撮影映像V1とを一画面内で同時表示させる映像データとして俯瞰映像V3を生成する処理を行うこともできる。
なお、映像処理部71a、映像生成制御部71bとしての機能は、CPU71とは別体のCPU、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、AI(artificial intelligence)プロセッサ等により実現してもよい。
また映像処理部71aとしての処理機能は、複数のプロセッサによって実現されても良い。
また映像処理部71aとしての処理機能は、複数のプロセッサによって実現されても良い。
CPU71、ROM72、RAM73、不揮発性メモリ部74は、バス83を介して相互に接続されている。このバス83にはまた、入出力インタフェース75も接続されている。
入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。例えば入力部76としては、キーボード、マウス、キー、トラックボール、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
入力部76としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
入力部76としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
また入出力インタフェース75には、LCD(Liquid Crystal Display)或いは有機EL(electro-luminescence)パネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
表示部77は、CPU71の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
入出力インタフェース75には、HDD(Hard Disk Drive)や固体メモリなどより構成される記憶部79や通信部80が接続される場合もある。
記憶部79は、各種のデータやプログラムを記憶することができる。記憶部79においてデータベースを構成することもできる。
通信部80は、インターネット等の伝送路を介しての通信処理や、外部のデータベース、編集装置、情報処理装置等の各種機器との有線/無線通信、バス通信などによる通信を行う。
例えばARシステム5としての情報処理装置70を想定すると、通信部80によりCCU3、スイッチャー13、データ管理部15との通信を行う。これにより観察者情報RIの受信、制御信号CSの受信、撮影映像V1の受信、俯瞰映像V3の送信、AR重畳映像V2の送信などが行われる。
例えばARシステム5としての情報処理装置70を想定すると、通信部80によりCCU3、スイッチャー13、データ管理部15との通信を行う。これにより観察者情報RIの受信、制御信号CSの受信、撮影映像V1の受信、俯瞰映像V3の送信、AR重畳映像V2の送信などが行われる。
入出力インタフェース75にはまた、必要に応じてドライブ81が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体82が適宜装着される。
ドライブ81により、リムーバブル記録媒体82からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部79に記憶されたり、データに含まれる映像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
ドライブ81により、リムーバブル記録媒体82からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部79に記憶されたり、データに含まれる映像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
この情報処理装置70では、例えば本実施の形態の処理のためのソフトウェアを、通信部80によるネットワーク通信やリムーバブル記録媒体82を介してインストールすることができる。或いは当該ソフトウェアは予めROM72や記憶部79等に記憶されていてもよい。
なお、図3,図4におけるGUIデバイス11、データ管理部15、コントロールパネル10、CCU3、カメラ2等の各装置や、図7の端末装置200も、図8のようなハードウェア構成を備えることが考えられる。
<3.ビューフラスタムの表示>
ビューフラスタム40の表示について説明する。上述のようにARシステム5は俯瞰映像V3を生成し、端末装置200や、カメラ2のビューファインダーや、GUIデバイス11などに送信して表示させることができる。ARシステム5は、この俯瞰映像V3内でカメラ2のビューフラスタム40を表示させるように俯瞰映像V3の映像データを生成する。
ビューフラスタム40の表示について説明する。上述のようにARシステム5は俯瞰映像V3を生成し、端末装置200や、カメラ2のビューファインダーや、GUIデバイス11などに送信して表示させることができる。ARシステム5は、この俯瞰映像V3内でカメラ2のビューフラスタム40を表示させるように俯瞰映像V3の映像データを生成する。
撮影システム100における複数のカメラ2が撮影対象空間8を撮影している場合における俯瞰映像V3の例を図9に示す。
図9には表示画面50の全体に俯瞰映像V3が表示されている例である。表示画面50とは、例えば端末装置200の表示画面や、GUIデバイス11の表示画面や、カメラ2のビューファインダーなどを想定している。
俯瞰映像V3は、例えば競技場を表すCG空間をある視点から見た状態の映像であり、この映像内において、実際のカメラ2の位置に応じたビューフラスタム40a,40b,40c,40d,40eを加えたものとしている。
なお本開示ではこれらのビューフラスタム40a,40b・・・等を総称して「ビューフラスタム40」と表記している。
なお本開示ではこれらのビューフラスタム40a,40b・・・等を総称して「ビューフラスタム40」と表記している。
この図9のように、ビューフラスタム40を含む俯瞰映像V3は、表示画面50において画面全体に表示されるようにすることができる。例えば表示画面50において俯瞰映像V3が、撮影映像V1又はAR重畳映像V2と切り替えて表示される。
また図10のように、俯瞰映像V3は、表示画面50において撮影映像V1又はAR重畳映像V2と画面分割した状態で表示させてもよい。
ビューフラスタム40について説明する。
図11に俯瞰映像V3内に表示されるビューフラスタム40の例を示している。図11は図1の撮影対象空間8を俯瞰的に見た図9のような映像の一部として、ビューフラスタム40の周辺を簡略化して示している。
図11に俯瞰映像V3内に表示されるビューフラスタム40の例を示している。図11は図1の撮影対象空間8を俯瞰的に見た図9のような映像の一部として、ビューフラスタム40の周辺を簡略化して示している。
なお俯瞰映像V3は、例えば競技場などを表現する背景31や選手などの人物32を表す映像を含んでいる。図11においては、カメラ2を示しているが、これは説明上示したものである。俯瞰映像V3においてカメラ2自体の画像が含まれてもよいし、含まれなくてもよい。
ビューフラスタム40は、カメラ2の撮影範囲を俯瞰映像V3内で視覚的に提示するもので、俯瞰映像V3内のカメラ2の位置をフラスタム起点46として撮影光軸の方向に広がる四角錐の形状とされる。例えばフラスタム起点46からフラスタム遠端面45までの四角錐とされる。
四角錐であるのはカメラ2のイメージセンサが四角形であるためである。
そして四角錐の広がり具合は、その時点のカメラ2の画角によって変化する。従ってビューフラスタム40で示される四角錐の範囲内がカメラ2による撮影範囲となる。
実際には例えばビューフラスタム40は、或る半透明の色が付された映像としての四角錐で表わされることが考えられる。
そして四角錐の広がり具合は、その時点のカメラ2の画角によって変化する。従ってビューフラスタム40で示される四角錐の範囲内がカメラ2による撮影範囲となる。
実際には例えばビューフラスタム40は、或る半透明の色が付された映像としての四角錐で表わされることが考えられる。
ビューフラスタム40では、四角錐の内部において、その時点のフォーカス面41及び被写界深度範囲42が表示される。被写界深度範囲42としては、例えば深度近端面43から深度遠端面44までの範囲が、他と異なる半透明の色などで表現される。
またフォーカス面41も、他と異なる半透明の色などで表現される。
またフォーカス面41も、他と異なる半透明の色などで表現される。
フォーカス面41は、その時点でのカメラ2において合焦している深度位置を示している。つまりフォーカス面41が表示されることで、そのフォーカス面41と同等のデプス(カメラ2から見ての奥行方向の距離)にある被写体が合焦状態となっていることを確認できる。
また被写界深度範囲42により、被写体がぼけていないデプス方向の範囲が確認できることになる。
合焦するデプスや被写界深度は、カメラ2のフォーカス操作や絞り操作によって変動する。従ってビューフラスタム40内でのフォーカス面41や被写界深度範囲42は、都度変動する。
また被写界深度範囲42により、被写体がぼけていないデプス方向の範囲が確認できることになる。
合焦するデプスや被写界深度は、カメラ2のフォーカス操作や絞り操作によって変動する。従ってビューフラスタム40内でのフォーカス面41や被写界深度範囲42は、都度変動する。
ARシステム5は、カメラ2から、焦点距離、絞り値、画角などの情報を含むメタデータMTを取得することで、ビューフラスタム40の四角錐の広がり形状や、フォーカス面41の表示位置、被写界深度範囲42の表示位置などを設定できる。さらにメタデータMTにカメラ2の姿勢情報が含まれていることで、ARシステム5は、俯瞰映像V3内におけるカメラ位置(フラスタム起点46)からのビューフラスタム40の方向を設定できる。
ARシステム5は、俯瞰映像V3内で、このようなビューフラスタム40とともに、そのビューフラスタム40が示されたカメラ2による撮影映像V1が表示されるようにしてもよい。
つまりARシステム5は、俯瞰映像V3とするためのCG空間30の映像を生成するとともに、そのCG空間30の映像に、カメラ2から供給されたメタデータMTに基づいて生成したビューフラスタム40を合成し、さらにカメラ2による撮影映像V1を合成することもできる。このような合成映像の映像データを、俯瞰映像V3として出力する。
つまりARシステム5は、俯瞰映像V3とするためのCG空間30の映像を生成するとともに、そのCG空間30の映像に、カメラ2から供給されたメタデータMTに基づいて生成したビューフラスタム40を合成し、さらにカメラ2による撮影映像V1を合成することもできる。このような合成映像の映像データを、俯瞰映像V3として出力する。
このビューフラスタム40と撮影映像V1を同時に表示させる例として、ARシステム5が、撮影映像V1をビューフラスタム40内に配置させた俯瞰映像V3の映像データを生成する例を述べる。
図12はビューフラスタム40内のフォーカス面41に撮影映像V1を表示させた例である。これによりフォーカス位置において撮影されている映像を視認できるようになる。
図13はビューフラスタム40内の被写界深度範囲42内でフォーカス面41以外に撮影映像V1を表示させた例である。図の例は、深度遠端面44に撮影映像V1を表示させたものとしている。
これ以外に、撮影映像V1を深度近端面43に表示させる例や、被写界深度範囲42内の途中の深度位置に表示させる例も考えられる。
これ以外に、撮影映像V1を深度近端面43に表示させる例や、被写界深度範囲42内の途中の深度位置に表示させる例も考えられる。
図14は、ビューフラスタム40内において、被写界深度範囲42の深度近端面43よりもフラスタム起点46に近い位置(フラスタム起点付近面47)に撮影映像V1が表示されるようにした例である。ビューフラスタム40内に表示することを考えると、フラスタム起点46に近いほど撮影映像V1のサイズが小さくなってしまうが、このようにフラスタム起点付近面47に表示させることで、フォーカス面41や被写界深度範囲42などが見やすくなる。
図15は、ビューフラスタム40内において、被写界深度範囲42の深度遠端面44よりも遠方側に撮影映像V1が表示されるようにした例である。なお「遠方」とはカメラ2(フラスタム起点46)からみて遠方という意味である。
図の例は、例えば遠方側の位置であるフラスタム遠端面45に撮影映像V1を表示させている。
このようにビューフラスタム40内において被写界深度範囲42よりも遠方側に撮影映像V1を表示させる場合、撮影映像V1の面積を大きくできる。従って撮影映像V1の内容をよく確認しつつ、フォーカス面41や被写界深度範囲42の位置を確認したい場合などは好適となる。
図の例は、例えば遠方側の位置であるフラスタム遠端面45に撮影映像V1を表示させている。
このようにビューフラスタム40内において被写界深度範囲42よりも遠方側に撮影映像V1を表示させる場合、撮影映像V1の面積を大きくできる。従って撮影映像V1の内容をよく確認しつつ、フォーカス面41や被写界深度範囲42の位置を確認したい場合などは好適となる。
ここまではビューフラスタム40内に撮影映像V1を表示させる例を挙げたが、俯瞰映像V3と同一画面内で、ビューフラスタム40外となる位置に撮影映像V1を表示させてもよい。
図16の例では、俯瞰映像V3内に、3つのカメラ2に対応するビューフラスタム40a,40b,40cを表示させている。さらにこれらビューフラスタム40a,40b,40cに対応する撮影映像V1a,V1b,V1cも表示させている。
撮影映像V1aは、ビューフラスタム40aのフラスタム遠端面45に表示されている。撮影映像V1bは、ビューフラスタム40bのフラスタム起点46の近傍(カメラ位置の近傍)に表示されている。
撮影映像V1cは、画面隅に表示されている。但し俯瞰映像V3の4隅のうちでビューフラスタム40cに近い左上の隅に表示されている。
撮影映像V1cは、画面隅に表示されている。但し俯瞰映像V3の4隅のうちでビューフラスタム40cに近い左上の隅に表示されている。
例えば撮影映像V1b、V1cのようにビューフラスタム40外となる位置に撮影映像V1を表示させる場合、それらの撮影映像V1は、カメラ2(又はフラスタム起点46)の近傍に表示するとよい。そうするとカメラ2とそのカメラ2による撮影映像V1の関係がわかりやすくなる。
特にスポーツ映像制作などの場合、図16に示すように複数のカメラ2のビューフラスタム40を俯瞰映像V3内に表示させることが想定される。このような場合にビューフラスタム40と撮影映像V1の関係が明確でないと、観察者が混乱することが予想される。そこで、或るカメラ2の撮影映像V1は、そのカメラ2のビューフラスタム40の近傍に表示するとよい。
或いは対応関係の明確化のためには、撮影映像V1は、カメラ2のビューフラスタム40のフォーカス面41の近傍やフラスタム遠端面45の近傍などでも良い。
或いは対応関係の明確化のためには、撮影映像V1は、カメラ2のビューフラスタム40のフォーカス面41の近傍やフラスタム遠端面45の近傍などでも良い。
但し、俯瞰映像V3における構造物等、ビューフラスタム40の方向、角度或いはビューフラスタム40同士の位置関係などにより、ビューフラスタム40の近傍に撮影映像V1を表示できない場合や、対応関係が明確にならない場合も生じる。
そこで、例えば撮影映像V1の枠の色と、対応するビューフラスタム40の半透明の色、或いは輪郭線の色などを一致させて、対応関係を示すようにするとよい。
そこで、例えば撮影映像V1の枠の色と、対応するビューフラスタム40の半透明の色、或いは輪郭線の色などを一致させて、対応関係を示すようにするとよい。
また例えば移動型のカメラ2Mの場合は、ビューフラスタム40の変動が、固定側のカメラ2のビューフラスタム40よりも激しくなる。そのため、移動型のカメラ2の撮影映像V1については、画面隅などに固定して表示させてもよい。
図16は撮影対象空間8を斜め上方からみたような俯瞰映像V3の例としたが、ARシステム5は、図17のように、真上から見た平面状の俯瞰映像V3を表示させてもよい。
この例では、カメラ2a,2b,2c,2dと、これらのそれぞれに対応するビューフラスタム40a,40b,40c,40dと、さらにそれぞれの撮影映像V1a,V1b,V1c,V1dが表示された俯瞰映像V3としている。
撮影映像V1a,V1b,V1c,V1dは、それぞれ対応するカメラ2a,2b,2c,2dの近傍に表示されている。
この例では、カメラ2a,2b,2c,2dと、これらのそれぞれに対応するビューフラスタム40a,40b,40c,40dと、さらにそれぞれの撮影映像V1a,V1b,V1c,V1dが表示された俯瞰映像V3としている。
撮影映像V1a,V1b,V1c,V1dは、それぞれ対応するカメラ2a,2b,2c,2dの近傍に表示されている。
ARシステム5は、図16や図17で示す俯瞰映像V3の視点位置は、観察者が端末装置200やGUIデバイス11等の操作を行うことで連続的に変化されるようにしてもよい。
図18は俯瞰映像V3の他の例である。自動車レース場をCGで表した俯瞰映像V3において、ビューフラスタム40a、40bを表示させるとともに、ビューフラスタム40a,40bの各カメラ2による撮影映像V1a,V1bを画面隅やカメラ位置近傍などに表示させている。
例えばレースの撮影の場合、撮影映像V1だけではコースのどのあたりを撮影しているかはわかりにくいが、俯瞰映像V3、ビューフラスタム40、撮影映像V1が同時表示されることで、関係がわかりやすくなる。
特にコースに対して複数のカメラ2を配置する場合には、図の例のように、それぞれのビューフラスタム40や撮影映像V1を表示させると撮影状況がわかりやすくなる。
例えばレースの撮影の場合、撮影映像V1だけではコースのどのあたりを撮影しているかはわかりにくいが、俯瞰映像V3、ビューフラスタム40、撮影映像V1が同時表示されることで、関係がわかりやすくなる。
特にコースに対して複数のカメラ2を配置する場合には、図の例のように、それぞれのビューフラスタム40や撮影映像V1を表示させると撮影状況がわかりやすくなる。
以上の図9から図18に例示したように、ARシステム5は、CG空間30による俯瞰映像V3内で、カメラ2のビューフラスタム40の表示を行う。またカメラ2の撮影映像V1も同時に表示させるように俯瞰映像V3の映像データを生成する場合もある。このような俯瞰映像V3が端末装置200や、カメラ2や、GUIデバイス11において表示されることで、ユーザ側観察者、カメラマン、ディレクター等は撮影状況を把握しやすくなる。
例えばCG空間30にビューフラスタム40や撮影映像V1を表示することで、カメラ2の撮影映像V1と空間位置の対応が明確になり、観察者はカメラ2の撮影映像V1と撮影対象空間8での位置の対応関係を把握しやすくなる。
また観察者は、それぞれのカメラ2が何を映しているのか、或いはどこにフォーカスを合わせているか、などを把握しやすい。
また観察者は、それぞれのカメラ2が何を映しているのか、或いはどこにフォーカスを合わせているか、などを把握しやすい。
またユーザ側観察者、カメラマン、ディレクター等が図19Aのようにビューフラスタム40をタッチ操作やマウスカーソルなどにより表示画面50上で選択操作を行うことで、図19Bのように、そのビューフラスタム40のカメラ2による撮影映像V1が表示されるようにしてもよい。
これにより例えばユーザ側観察者は、俯瞰映像V3から見たいカメラ2を選択して視認する映像を切り替えるということも可能になる。特にビューフラスタム40により、カメラ2が撮影している方向や位置がわかるため、ユーザ側観察者は所望の映像を選択しやすくなる。
これにより例えばユーザ側観察者は、俯瞰映像V3から見たいカメラ2を選択して視認する映像を切り替えるということも可能になる。特にビューフラスタム40により、カメラ2が撮影している方向や位置がわかるため、ユーザ側観察者は所望の映像を選択しやすくなる。
<4.観察者情報に応じた表示>
本実施の形態では、ARシステム5はビューフラスタム40或いは俯瞰映像V3の表示態様や表示内容を、観察者に関する情報(観察者情報RI)に応じて設定する処理を行う。以下、この処理について説明する。
本実施の形態では、ARシステム5はビューフラスタム40或いは俯瞰映像V3の表示態様や表示内容を、観察者に関する情報(観察者情報RI)に応じて設定する処理を行う。以下、この処理について説明する。
図20は、俯瞰映像V3においてビューフラスタム40a,40b,40c,40d,40eを表示させている例である。
これらのビューフラスタム40に対応する5台のカメラ2は、1つの映像コンテンツ制作チームによるものであってもよいし、それぞれが異なる映像コンテンツ制作者であってもよい。例えば一部のカメラ2が放送事業者のもので、一部のカメラ2はアマチュアカメラマンのものであってもよい。放送や配信に関しても、一部又は全部のカメラ2が、独自に行う形態もあり得る。例えば一部のアマチュアカメラマンがSNS(Social networking service)や動画配信サイトなどを利用して配信することもあり得る。
また1つの映像コンテンツ制作チームにより複数のカメラ2を使用する場合でも、その映像コンテンツ制作チームのディレクター等が、1つの映像を選択して本線映像として放送や配信をする場合もあるし、複数の映像を配信し、ユーザ側観察者側で、好きなアングルの映像を選択して視認できるような、いわゆるマルチビュー配信を行うこともある。
これらのビューフラスタム40に対応する5台のカメラ2は、1つの映像コンテンツ制作チームによるものであってもよいし、それぞれが異なる映像コンテンツ制作者であってもよい。例えば一部のカメラ2が放送事業者のもので、一部のカメラ2はアマチュアカメラマンのものであってもよい。放送や配信に関しても、一部又は全部のカメラ2が、独自に行う形態もあり得る。例えば一部のアマチュアカメラマンがSNS(Social networking service)や動画配信サイトなどを利用して配信することもあり得る。
また1つの映像コンテンツ制作チームにより複数のカメラ2を使用する場合でも、その映像コンテンツ制作チームのディレクター等が、1つの映像を選択して本線映像として放送や配信をする場合もあるし、複数の映像を配信し、ユーザ側観察者側で、好きなアングルの映像を選択して視認できるような、いわゆるマルチビュー配信を行うこともある。
但し、いずれの形態であっても、これらの各カメラ2の位置情報やメタデータMT、さらにはそれらのカメラ2の放送、配信による観察者情報RIは、ARシステム5が取得できるようにすることで、各カメラ2についてのビューフラスタム40を生成できるものとする。
図20の例では、ARシステム5はビューフラスタム40bについて、他のビューフラスタム40a,40c,40d,40eよりも強調して表示させるようにしている。
例えばARシステム5は、観察者情報RIに基づいて、各カメラ2によるそれぞれの撮影映像V1に対する視聴率の情報を確認する。そして視聴率が最も高い撮影映像V1を強調表示する。
ビューフラスタム40の強調表示のための表示態様としては、特定の強調色にする例、輝度を上げる例、透明度を下げて目立つようにする例、点滅させる例、輪郭線等を太くする例、模様を付す例などがある。
ビューフラスタム40の強調表示のための表示態様としては、特定の強調色にする例、輝度を上げる例、透明度を下げて目立つようにする例、点滅させる例、輪郭線等を太くする例、模様を付す例などがある。
またARシステム5は、単に視聴率だけで強調するビューフラスタム40を選択する以外に、各種条件設定を行って、強調表示するビューフラスタム40を選択してもよい。例えば観察者情報RIとして、ユーザ側観察者の属性、例えば年齢、居住地域、性別、嗜好(応援しているチーム、好きな選手等)等に応じて、強調表示するビューフラスタム40を選択する例もある。
ユーザ側観察者について、ユーザ識別情報(ユーザID)に対応して属性情報を予め登録しておく。ARシステム5は、観察者情報RIについては、特定の属性情報を有するユーザIDについての情報を抽出し、その属性の各観察者が視認している撮影映像V1を判定する。そして最も視聴率が高い撮影映像V1を判定し、対応するビューフラスタム40を強調表示させる。
このようにすることで、例えば「Aチームが好きなユーザ側観察者にとって視聴率の高い映像を撮影しているカメラ」、「B選手のファンがよく見ている映像を撮影しているカメラ」、「30代の人によく見られている映像を撮影しているカメラ」、「C地区の居住者似よく見られている映像を撮影しているカメラ」等を、ビューフラスタム40の強調表示により提示できる。
また、各ユーザ側観察者の現在位置の条件で観察者情報RIを抽出してもよい。例えばARシステム5は端末装置200の位置情報を取得し、試合会場であるスタジアム内に居るユーザ側観察者についての情報を観察者情報RIから抽出する。そしてその中で視聴率の高い撮影映像V1を判定し、対応するビューフラスタム40を強調表示させる。これにより俯瞰映像V3によって、会場で観戦している人がよく見ている映像を撮影しているカメラ2がどのカメラであるかを提示できる。
なお強調表示させるビューフラスタム40は1つに限らず、例えば視聴率の上位2つのカメラ2についてのビューフラスタム40を強調表示するなども考えられる。
さらに強調表示の基準は視聴率に限らない。
例えばユーザ側観察者のリアクションの多い撮影映像V1のカメラ2のビューフラスタム40を強調表示させてもよい。
リアクションとは、ユーザ側観察者による映像コンテンツの評価、例えば高評価である「イイネ」の操作や低評価の操作、映像コンテンツに対する投げ銭の操作、映像コンテンツに対応するチャットの発言などである。
例えばユーザ側観察者のリアクションの多い撮影映像V1のカメラ2のビューフラスタム40を強調表示させてもよい。
リアクションとは、ユーザ側観察者による映像コンテンツの評価、例えば高評価である「イイネ」の操作や低評価の操作、映像コンテンツに対する投げ銭の操作、映像コンテンツに対応するチャットの発言などである。
ARシステム5は、高評価の数が多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
ARシステム5は、低評価の数が多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
ARシステム5は、低評価の数が多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
ARシステム5は、投げ銭の数が多い映像、或いは総額が高い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
ARシステム5は、チャットコメントの数が多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。さらにARシステム5はチャットコメント内容を解析して、肯定的コメントが多い映像、或いは否定的コメントが多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
またARシステム5は、評価操作、チャット投稿、投げ銭等が発生した際に、時限的に点滅等の強調表示をさせてもよい。
ARシステム5は、チャットコメントの数が多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。さらにARシステム5はチャットコメント内容を解析して、肯定的コメントが多い映像、或いは否定的コメントが多い映像を撮影しているカメラ2のビューフラスタム40を強調表示させてもよい。
またARシステム5は、評価操作、チャット投稿、投げ銭等が発生した際に、時限的に点滅等の強調表示をさせてもよい。
また図20の例では、各ビューフラスタム40の近傍に数字を示した例としている。これは、各ビューフラスタム40に対応する映像に対する数字である。例えばARシステム5は、観察者数、高評価数、チャットコメント数、投げ銭の額などを各ビューフラスタム40の近傍、又はビューフラスタム40内に表示させることが考えられる。
次に図21の例は、観察者情報RIに基づいてカウントバー51を表示させたものである。
例えばビューフラスタム40a,40b,40c,40d,40eのそれぞれに「#1」から「#5」等の識別子を表示させるとともに、カウントバー51において「#1」から「#5」の数値をバーの長さにより表現するようにする。これによりカウントバー51の各バーと、ビューフラスタム40の関係を明示する。
例えばビューフラスタム40a,40b,40c,40d,40eのそれぞれに「#1」から「#5」等の識別子を表示させるとともに、カウントバー51において「#1」から「#5」の数値をバーの長さにより表現するようにする。これによりカウントバー51の各バーと、ビューフラスタム40の関係を明示する。
なおビューフラスタム40を色分け表示する場合は、ビューフラスタム40の色とカウントバー51における対応するバーの色を一致させるなどして、カウントバー51の各バーと、ビューフラスタム40の関係を明示するようにしてもよい。
カウントバー51の各バーは、観察者情報RIに基づいて判定した数値とする。例えばカウントバー51の各バーは、対応するカメラ2の撮影映像V1についての視聴率、高評価数、低評価数、チャットコメント数、チャットの肯定的コメント数、チャットの否定的コメント数、投げ銭数、投げ銭の総額などを、長さにより表現するものとする。
これらのカウントバー51が示す数値の種類を観察者が設定することや、切り替えられるようにすることも考えられる。また数値の種類毎に複数のカウントバー51を表示させてもよい。
これらのカウントバー51が示す数値の種類を観察者が設定することや、切り替えられるようにすることも考えられる。また数値の種類毎に複数のカウントバー51を表示させてもよい。
図22の例は、観察者情報RIに基づいてポール52を表示させたものである。
例えばビューフラスタム40a,40b,40c,40d,40eのそれぞれについてのカメラ2の位置の近傍に、ポール52を表示させる。ポール52の高さが数値を表すものとする。
即ち各ポール52は、対応するカメラ2の撮影映像V1についての視聴率、高評価数、低評価数、チャットコメント数、チャットの肯定的コメント数、チャットの否定的コメント数、投げ銭数、投げ銭の総額などを、高さにより表現するものとする。
ポール52が示す数値の種類を観察者が設定することや、切り替えられるようにすることも考えられる。また1つのカメラ2の位置に、数値の種類毎に複数のポール52を表示させてもよい。
ポール52の位置はカメラ2の位置の近傍とすることで、各カメラの撮影映像V1の視点位置がわかりやすくなる。
例えばビューフラスタム40a,40b,40c,40d,40eのそれぞれについてのカメラ2の位置の近傍に、ポール52を表示させる。ポール52の高さが数値を表すものとする。
即ち各ポール52は、対応するカメラ2の撮影映像V1についての視聴率、高評価数、低評価数、チャットコメント数、チャットの肯定的コメント数、チャットの否定的コメント数、投げ銭数、投げ銭の総額などを、高さにより表現するものとする。
ポール52が示す数値の種類を観察者が設定することや、切り替えられるようにすることも考えられる。また1つのカメラ2の位置に、数値の種類毎に複数のポール52を表示させてもよい。
ポール52の位置はカメラ2の位置の近傍とすることで、各カメラの撮影映像V1の視点位置がわかりやすくなる。
以上の図21や図22のように表示することで、各カメラ2の映像に対するユーザ側観察者の状況が提示できる。もちろんこれらの場合の数値も、ユーザ側観察者の属性や現在の居場所などに応じて抽出した結果の数値であってもよい。
図23は観察者情報RIにおけるリクエスト情報に応じた表示を行う例である。
ユーザ側観察者は端末装置200から、視認している映像のカメラ2や任意のカメラ2について、例えば映してほしい選手、映してほしい場所(サッカーのゴール付近、センターサークルなど)、撮影方向などをリクエストできるものとする。そのリクエスト情報を含む観察者情報RIを取得して図23のような俯瞰映像V3を生成する。
ユーザ側観察者は端末装置200から、視認している映像のカメラ2や任意のカメラ2について、例えば映してほしい選手、映してほしい場所(サッカーのゴール付近、センターサークルなど)、撮影方向などをリクエストできるものとする。そのリクエスト情報を含む観察者情報RIを取得して図23のような俯瞰映像V3を生成する。
この例では、ARシステム5は俯瞰映像V3内にリクエスト内容53を表示させるとともに、一部又は全部のビューフラスタム40の近傍に円グラフ54を表示させるようにしている。
リクエスト内容53では、例えば選手名や場所などが、それぞれ異なる色で表示される。或いは複数の競技が場所毎に行われている陸上競技場であれば「トラック」「ハンマー投げ」「走り幅跳び」などのように場所や競技名が、それぞれ異なる色で表示されるものでもよい。
ビューフラスタム40の近傍の円グラフ54では、各色によって、リクエスト内容の比率が表示される。例えばビューフラスタム40aのカメラ2の観察者は、「△△△」という選手を見たいというリクエストが多いことが提示される。
図24は、同じくリクエストを提示する例である。リクエスト内容53の各内容の色と、ビューフラスタム40の色を一致させることで、どのカメラ2に対して、どのようなリクエストが多いかを提示する例である。
例えばビューフラスタム40bについては「〇〇〇」という選手を映して欲しいというリクエストが多く、ビューフラスタム40aについては「×××」という選手を映して欲しいというリクエストが多いことが提示されている。
例えばビューフラスタム40bについては「〇〇〇」という選手を映して欲しいというリクエストが多く、ビューフラスタム40aについては「×××」という選手を映して欲しいというリクエストが多いことが提示されている。
ところで以上はユーザ側観察者によるリクエストに応じた表示としたが、同様の表示をディレクター等に指示に応じて行うようにすることもできる。
例えばARシステム5は、カメラマンが視認する俯瞰映像V3について、ディレクター等による指示、例えばGUIデバイス11による指示情報を取得し、それに応じて撮影方向を指示するために図24のような俯瞰映像V3を生成する。そしてカメラ2に送信して俯瞰映像V3をビューファインダー等に表示させる。
これにより例えばビューフラスタム40aのカメラ2のカメラマンは、「×××という選手を映せ」という指示を認識することができる。
例えばARシステム5は、カメラマンが視認する俯瞰映像V3について、ディレクター等による指示、例えばGUIデバイス11による指示情報を取得し、それに応じて撮影方向を指示するために図24のような俯瞰映像V3を生成する。そしてカメラ2に送信して俯瞰映像V3をビューファインダー等に表示させる。
これにより例えばビューフラスタム40aのカメラ2のカメラマンは、「×××という選手を映せ」という指示を認識することができる。
図25はチャットウインドウ55を表示させる例である。
例えばチャットコメントがあった映像のカメラ2については、ビューフラスタム40の近傍に、撮影映像V1とチャットウインドウ55を表示させる。この例では、ビューフラスタム40aの近傍に撮影映像V1a、ビューフラスタム40dの近傍に撮影映像V1d、ビューフラスタム40eの近傍に撮影映像V1eが表示されているとしている。そして撮影映像V1(V1a,V1d,V1e)に隣接してチャットウインドウ55が表示されるようにしている。
例えばチャットコメントがあった映像のカメラ2については、ビューフラスタム40の近傍に、撮影映像V1とチャットウインドウ55を表示させる。この例では、ビューフラスタム40aの近傍に撮影映像V1a、ビューフラスタム40dの近傍に撮影映像V1d、ビューフラスタム40eの近傍に撮影映像V1eが表示されているとしている。そして撮影映像V1(V1a,V1d,V1e)に隣接してチャットウインドウ55が表示されるようにしている。
これにより各カメラ2の映像についてのチャットコメントが提示される。撮影映像V1も同時に表示されることで、映像内容に応じたチャット内容がわかりやすくなる。
なお、撮影映像V1を表示させずに、チャットウインドウ55のみを表示させてもよい。
なお、撮影映像V1を表示させずに、チャットウインドウ55のみを表示させてもよい。
ここまで俯瞰映像V3において観察者情報RIに応じてビューフラスタム40の表示態様や俯瞰映像V3の表示内容を変化させる例を示した。
各例で示した表示内容は、いずれかが行われても良いし、複数の例が組み合わされてもよい。
以下、ARシステム5がこのような俯瞰映像V3を生成するための処理例を説明する。
各例で示した表示内容は、いずれかが行われても良いし、複数の例が組み合わされてもよい。
以下、ARシステム5がこのような俯瞰映像V3を生成するための処理例を説明する。
図26は俯瞰映像V3の映像データを生成するARシステム5の処理例である。この場合の俯瞰映像V3の映像データとは、撮影対象空間8に相当するCG空間30に、ビューフラスタム40を合成した映像データのことである。つまり図20から図25のような表示を行うための映像データである。
ARシステム5は、例えば俯瞰映像V3の映像データとしてのフレーム毎に図26のステップS101からステップS107の処理を行う。或いはARシステム5は、毎フレームではなく、間欠的なフレーム毎に図26の処理を行ってもよい。
これらの処理はARシステム5としての図8の情報処理装置70におけるCPU71(映像処理部71a)の制御処理と考えることができる。
これらの処理はARシステム5としての図8の情報処理装置70におけるCPU71(映像処理部71a)の制御処理と考えることができる。
ステップS101でARシステム5はCG空間30の設定を行う。例えば撮影対象空間8に相当するCG空間30の視点位置の設定、及び当該視点位置からのCG空間30としての映像のレンダリングを行う。なお前フレームとCG空間30に対する視点位置や映像内容の変更がなければ、前フレームのCG空間の映像を今回のフレームでも使用すればよい。
ステップS102でARシステム5は、カメラ2からの撮影映像V1とメタデータMTを入力する。つまり現在のフレームの撮影映像V1と、そのフレームタイミングでのカメラ2の姿勢情報、焦点距離、画角、絞り値などを取得する。
例えば図4のように1つのARシステム5が複数のカメラ2についてビューフラスタム40や撮影映像V1の表示を行う場合は、ARシステム5は、それぞれのカメラ2の撮影映像V1とメタデータMTを入力する。
図3のようにカメラ2とARシステム5が1:1に対応するカメラシステム1が複数存在し、それぞれが複数のビューフラスタム40や撮影映像V1を含む俯瞰映像V3を生成する場合は、それらの各ARシステム5が、対応するカメラ2のメタデータMTや撮影映像V1を共有できるように連携するとよい。
例えば図4のように1つのARシステム5が複数のカメラ2についてビューフラスタム40や撮影映像V1の表示を行う場合は、ARシステム5は、それぞれのカメラ2の撮影映像V1とメタデータMTを入力する。
図3のようにカメラ2とARシステム5が1:1に対応するカメラシステム1が複数存在し、それぞれが複数のビューフラスタム40や撮影映像V1を含む俯瞰映像V3を生成する場合は、それらの各ARシステム5が、対応するカメラ2のメタデータMTや撮影映像V1を共有できるように連携するとよい。
ステップS103でARシステム5は、観察者情報RIを入力する。例えばARシステム5は現時点でデータ管理部15によって取得、集計等がされている視聴率の情報、リアクション情報、リクエスト情報等を取得する。
ディレクター等からの指示情報としての観察者情報RIを入力する場合もある。
ディレクター等からの指示情報としての観察者情報RIを入力する場合もある。
ステップS104でARシステム5は、ビューフラスタム40を含む俯瞰映像V3の表示設定を行う。この処理については各種例を後述する。
ステップS105でARシステム5は、俯瞰映像V3となるCG空間30に、1つ又は複数のカメラ2に対応するビューフラスタム40を合成して、俯瞰映像V3の1フレームの映像データを生成する。なお、さらに撮影映像V1を合成して、俯瞰映像V3の1フレームの映像データを生成する場合もある。
そしてステップS106でARシステム5は、俯瞰映像V3の1フレームの映像データを出力する。
以上の処理を、ビューフラスタム40の表示終了となるまで繰り返し行う。これにより、ビューフラスタム40を含む俯瞰映像V3が、端末装置200や、GUIデバイス11や、カメラ2において表示される。
なお、ビューフラスタム40の表示終了とは、俯瞰映像V3の表示が終了される場合や、俯瞰映像V3内でビューフラスタム40の表示が終了とされる場合である。
以上の処理を、ビューフラスタム40の表示終了となるまで繰り返し行う。これにより、ビューフラスタム40を含む俯瞰映像V3が、端末装置200や、GUIデバイス11や、カメラ2において表示される。
なお、ビューフラスタム40の表示終了とは、俯瞰映像V3の表示が終了される場合や、俯瞰映像V3内でビューフラスタム40の表示が終了とされる場合である。
ステップS104の表示設定について例を図27,図28,図29に示す。
図27は、図20,図21,図22のように視聴率に応じた表示を行う場合の例である。ARシステム5はステップS120で観察者情報RIのうちで視聴率の情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体の視聴率の情報を取得する例がある。または上述のように属性や現在の居場所に応じて抽出したユーザ側観察者についての視聴率の情報を取得する例がある。
図27は、図20,図21,図22のように視聴率に応じた表示を行う場合の例である。ARシステム5はステップS120で観察者情報RIのうちで視聴率の情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体の視聴率の情報を取得する例がある。または上述のように属性や現在の居場所に応じて抽出したユーザ側観察者についての視聴率の情報を取得する例がある。
ステップS121でARシステム5は、各カメラ2に対応するビューフラスタム40の表示設定を行う。例えばARシステム5は、各カメラ2について、ステップS102で取得したメタデータMTから、そのカメラ2の姿勢に応じたCG空間30内でのビューフラスタム40の方向や、画角に応じた四角錐形状や、焦点距離や絞り値に基づくフォーカス面41や被写界深度範囲42の位置などを設定する。これにより俯瞰映像V3内での各ビューフラスタム40の配置位置や形状が設定される。
さらにARシステム5は、各カメラ2についての視聴率の情報を比較して、最高視聴率のカメラ2を判定する。そしてARシステム5は、最高視聴率としたカメラ2以外のカメラ2のビューフラスタム40については、通常の色、輝度などの設定とする。またARシステム5は最高視聴率としたカメラ2のビューフラスタム40については、強調表示としての表示態様の設定とする。
ステップS122でARシステム5は、視聴率に応じた表示設定を行う。例えばARシステム5は、図20の例のように、ビューフラスタム40の近傍に視聴率を表す数値を表示させる設定を行う。
或いはARシステム5は図21の例のように、視聴率がカウントバー51によって表示されるように表示内容を設定する。
或いはARシステム5は図22の例のように、視聴率がポール52によって表示されるように表示内容を設定する。
或いはARシステム5は図21の例のように、視聴率がカウントバー51によって表示されるように表示内容を設定する。
或いはARシステム5は図22の例のように、視聴率がポール52によって表示されるように表示内容を設定する。
ARシステム5は以上の処理の後、図26のステップS105に進み、ステップS121,S122で行った設定に応じてビューフラスタム40を含む俯瞰映像V3の映像データを生成する。
次に図28は、図20,図21,図22,図25のような態様でリアクション情報に応じた表示を行う場合の例である。
ARシステム5はステップS130で観察者情報RIのうちでリアクション情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体のリアクション情報を取得する例がある。または属性や現在の居場所に応じて抽出したユーザ側観察者についてのリアクション情報を取得する例がある。
ARシステム5はステップS130で観察者情報RIのうちでリアクション情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体のリアクション情報を取得する例がある。または属性や現在の居場所に応じて抽出したユーザ側観察者についてのリアクション情報を取得する例がある。
ステップS131でARシステム5は、各カメラ2に対応するビューフラスタム40の表示設定を行う。例えばARシステム5は、各カメラ2について、ステップS102で取得したメタデータMTに基づいて、俯瞰映像V3内での各ビューフラスタム40の配置位置や形状を設定する。この点は図27のステップS121と同様である。
この場合、ARシステム5は、例えばリアクションの数値に応じて、一部のビューフラスタム40について強調表示の設定を行うようにしてもよい。例えば高評価数が最も多いカメラ2を判定し、そのカメラ2に対応するビューフラスタム40について強調表示設定を行う。
この場合、ARシステム5は、例えばリアクションの数値に応じて、一部のビューフラスタム40について強調表示の設定を行うようにしてもよい。例えば高評価数が最も多いカメラ2を判定し、そのカメラ2に対応するビューフラスタム40について強調表示設定を行う。
ステップS132でARシステム5は、リアクション情報に応じた表示設定を行う。例えばARシステム5は、図20の例のように、ビューフラスタム40の近傍にリアクションに関する数値を表示させる設定を行う。
或いはARシステム5は図21の例のように、リアクションに関する数値がカウントバー51によって表示されるように表示内容を設定する。
或いはARシステム5は図22の例のように、リアクションに関する数値がポール52によって表示されるように表示内容を設定する。
或いはARシステム5は図25の例のように、チャットウインドウ55を表示させるように表示内容を設定する。
或いはARシステム5は図21の例のように、リアクションに関する数値がカウントバー51によって表示されるように表示内容を設定する。
或いはARシステム5は図22の例のように、リアクションに関する数値がポール52によって表示されるように表示内容を設定する。
或いはARシステム5は図25の例のように、チャットウインドウ55を表示させるように表示内容を設定する。
ARシステム5は以上の処理の後、図26のステップS105に進み、ステップS131,S132で行った設定に応じてビューフラスタム40を含む俯瞰映像V3の映像データを生成する。
次に図29は、図23,図24のような態様でリクエスト情報に応じた表示を行う場合の例である。
ARシステム5はステップS140で観察者情報RIのうちでリクエスト情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体を対象としてリクエスト情報を取得する例がある。または属性や現在の居場所に応じて抽出したユーザ側観察者についてのリクエスト情報を取得する例がある。
またARシステム5は、例えばGUIデバイス11やコントロールパネル10から送信されてくる、ディレクター等による指示情報を取得する場合もある。
ARシステム5はステップS140で観察者情報RIのうちでリクエスト情報を取得する。この場合、各カメラ2の撮影映像V1に対するユーザ側観察者全体を対象としてリクエスト情報を取得する例がある。または属性や現在の居場所に応じて抽出したユーザ側観察者についてのリクエスト情報を取得する例がある。
またARシステム5は、例えばGUIデバイス11やコントロールパネル10から送信されてくる、ディレクター等による指示情報を取得する場合もある。
ステップS141でARシステム5は、各カメラ2に対応するビューフラスタム40の表示設定を行う。例えばARシステム5は、各カメラ2について、ステップS102で取得したメタデータMTに基づいて、俯瞰映像V3内での各ビューフラスタム40の配置位置や形状を設定する。この点は図27のステップS121と同様である。
ステップS142でARシステム5は、各カメラ2に対するリクエスト情報に応じた表示設定を行う。例えばARシステム5は、図23、図24の例のように、リクエスト内容53の表示設定や、ビューフラスタム40の近傍にリクエストに関する円グラフ54等を表示させる設定を行う。
ARシステム5は以上の処理の後、図26のステップS105に進み、ステップS141,S142で行った設定に応じてビューフラスタム40を含む俯瞰映像V3の映像データを生成する。
例えば以上の図26から図29で説明した処理により、ARシステム5は観察者情報RIに基づく表示態様や表示内容として、ビューフラスタム40を含む俯瞰映像V3の映像データを出力する。これにより、端末装置200、GUIデバイス11、或いはカメラ2のビューファインダー等で俯瞰映像V3が表示される。
<5.撮影権利に応じた表示>
ARシステム5は、各カメラ2について設定された権利に応じて俯瞰映像V3の表示を行うようにすることもできる。
ARシステム5は、各カメラ2について設定された権利に応じて俯瞰映像V3の表示を行うようにすることもできる。
例えば図9に示したように、5台のカメラ2において撮影が行われる場合に、俯瞰映像V3においてビューフラスタム40a,40b,40c,40d,40eを表示させるとする。
これらのビューフラスタム40に対応する5台のカメラ2の全部又は一部には、予め権利設定がされているものとする。
これらのビューフラスタム40に対応する5台のカメラ2の全部又は一部には、予め権利設定がされているものとする。
ここでいう権利とは、例えばカメラ2の位置、つまり撮影を行う位置であったり、撮影方向であったり、ズーム範囲、フォーカス位置などとすることができる。
例えば撮影対象空間8としての会場内で撮影を行いたい者は、運営管理者と契約等を行い、自己の権利を設定する。そして運営者が管理するARシステム5は、各カメラ2について設定された権利を記憶しているものとする。
例えば撮影対象空間8としての会場内で撮影を行いたい者は、運営管理者と契約等を行い、自己の権利を設定する。そして運営者が管理するARシステム5は、各カメラ2について設定された権利を記憶しているものとする。
カメラ2からはメタデータMTが送信されることにより、ARシステム5は各カメラ2の位置、方向、画角、フォーカス距離等を把握できる。ARシステム5は、それらのメタデータMTに基づく情報と、権利設定された位置、方向、画角、フォーカス距離等の情報を比較することで、各カメラが制限された権利範囲内で撮影を行っているか否かを判定することができる。
そして例えば権利範囲を越えた撮影を行ったカメラ2については、ビューフラスタム40の表示態様を変更するなどを実行する。
例えば図30は、ビューフラスタム40cのカメラ2が、権利範囲を越える方向の撮影を行った際に、ビューフラスタム40cの表示を変更した俯瞰映像V3を表示させる例である。これにより、例えばビューフラスタム40cのカメラ2のカメラマンや、ディレクター等の管理者が、権利外の撮影を行っている状況を認識できる。
或いはARシステム5は、権利外となっていることのメッセージ等を含んだ俯瞰映像V3を生成してもよい。
例えば図30は、ビューフラスタム40cのカメラ2が、権利範囲を越える方向の撮影を行った際に、ビューフラスタム40cの表示を変更した俯瞰映像V3を表示させる例である。これにより、例えばビューフラスタム40cのカメラ2のカメラマンや、ディレクター等の管理者が、権利外の撮影を行っている状況を認識できる。
或いはARシステム5は、権利外となっていることのメッセージ等を含んだ俯瞰映像V3を生成してもよい。
図31にARシステム5の処理例を示す。これは図26のステップS104において権利制限のための表示設定を行う例である。
ステップS150でARシステム5は、各ビューフラスタム40の配置の判定を行う。即ちメタデータMTに基づいて各カメラの位置及び撮影方向、画角等を判定する。
ステップS151でARシステム5は、権利制限判定を行う。ARシステム5はカメラ2のそれぞれについて、権利設定されたカメラ位置、撮影方向の範囲、画角の範囲、フォーカス距離の範囲などを参照し、現在のカメラ2の位置、撮影方向(カメラ姿勢)、画角、フォーカス距離が、権利設定範囲内にあるか否かを判定する。
撮影時刻や撮影実行時間などを権利範囲として設定して、現在が許可された時刻や時間内であるか否かを判定してもよい。
撮影時刻や撮影実行時間などを権利範囲として設定して、現在が許可された時刻や時間内であるか否かを判定してもよい。
ステップS152でARシステム5は、各ビューフラスタム40についての表示設定を行う。例えばARシステム5は、各カメラ2について、図26のステップS102で取得したメタデータMTに基づいて、俯瞰映像V3内での各ビューフラスタム40の配置位置や形状を設定する。この点は図27のステップS121と同様である。
さらにARシステム5は、権利制限判定に応じた設定を行う。例えば権利制限範囲内で撮影を行っているカメラ2については特別な設定を行わないが、権利制限範囲を越えた撮影を行っているカメラ2については、その旨を提示するための表示態様の設定を行う。
さらにARシステム5は、権利制限判定に応じた設定を行う。例えば権利制限範囲内で撮影を行っているカメラ2については特別な設定を行わないが、権利制限範囲を越えた撮影を行っているカメラ2については、その旨を提示するための表示態様の設定を行う。
ステップS153でARシステム5は、権利制限範囲を越えた撮影を行っているカメラ2についての情報を出力する。
ARシステム5は以上の処理の後、図26のステップS105に進み、ステップS152で行った設定に応じてビューフラスタム40を含む俯瞰映像V3の映像データを生成する。これにより、権利制限範囲を越えた撮影を行っているカメラ2のビューフラスタム40が、図30のビューフラスタム40cのように特定の警告としての表示態様とされた俯瞰映像V3の映像データが生成される。
従ってカメラマンやディレクター等は、俯瞰映像V3により権利制限範囲外の撮影を認識できるようになる。
なおARシステム5は、ステップS153で権利制限範囲を越えた撮影を行っているカメラ2についての情報を出力することで、カメラ2やスイッチャー13の動作機能を制御することもできる。
例えば該当のカメラ2について、撮影機器の画面をブラックアウトさせるなどして、撮影ができないようにしてもよい。
またスイッチャー13に指示して、該当のカメラ2の撮影映像V1が放送や配信のための本線映像としては選択されないようにしてもよい。
例えば該当のカメラ2について、撮影機器の画面をブラックアウトさせるなどして、撮影ができないようにしてもよい。
またスイッチャー13に指示して、該当のカメラ2の撮影映像V1が放送や配信のための本線映像としては選択されないようにしてもよい。
以上のように撮影に関して権利を設定した場合に、その権利範囲の遵守状況を、ビューフラスタム40を含む俯瞰映像V3により確認可能とすることができる。
従って権利者(カメラ保有者、コンテンツ権利者、放映権者等)が撮影位置、方向、画角等に制限を加えることができ、撮影するコンテンツや被写体の保護や、撮影禁止区域の設定などを図ることができる。
従って権利者(カメラ保有者、コンテンツ権利者、放映権者等)が撮影位置、方向、画角等に制限を加えることができ、撮影するコンテンツや被写体の保護や、撮影禁止区域の設定などを図ることができる。
例えば会場に居るユーザ側観察者が、スマートフォン等による撮影を許可する場合に、撮影を行って良いエリアの制限を行うようなことも可能である。
さらにはNFT(Non-Fungible Token)と連携して、適切に権利制限範囲内で撮影を行った場合に、その映像に認定を与えるといったことも可能である。
さらにはNFT(Non-Fungible Token)と連携して、適切に権利制限範囲内で撮影を行った場合に、その映像に認定を与えるといったことも可能である。
<6.他の表示例>
ビューフラスタム40を含む映像、例えば俯瞰映像V3の表示の例は他にも各種考えられる。
観察者情報RIに応じてビューフラスタム40の表示態様や俯瞰映像V3内の表示内容を設定する場合に、その俯瞰映像V3について、送信先毎に内容の一部が異なるようにすることもできる。
ビューフラスタム40を含む映像、例えば俯瞰映像V3の表示の例は他にも各種考えられる。
観察者情報RIに応じてビューフラスタム40の表示態様や俯瞰映像V3内の表示内容を設定する場合に、その俯瞰映像V3について、送信先毎に内容の一部が異なるようにすることもできる。
例えば図32A、図32B、図32C、図32Dは、それぞれ同じ時点に表示される俯瞰映像V3とする。
図32Aは、ユーザ側観察者が会場外、例えば家などで放送や配信を視認する場合に視認する俯瞰映像V3である。
図32Bは、ユーザ側観察者が会場で放送や配信を視認する場合に視認する俯瞰映像V3である。
図32Cは、ディレクター等が会場外で視認する俯瞰映像V3である。
図32Dは、カメラマンが会場で視認する俯瞰映像V3である。
図32Aは、ユーザ側観察者が会場外、例えば家などで放送や配信を視認する場合に視認する俯瞰映像V3である。
図32Bは、ユーザ側観察者が会場で放送や配信を視認する場合に視認する俯瞰映像V3である。
図32Cは、ディレクター等が会場外で視認する俯瞰映像V3である。
図32Dは、カメラマンが会場で視認する俯瞰映像V3である。
図32Aの俯瞰映像V3は、CG空間30にビューフラスタム40を表示したものである。
図32Bは、図32Aの俯瞰映像V3に、視認しているユーザ側観察者自身の位置33を追加したものである。これにより当該ユーザ側観察者は、自分の居る位置と各カメラ2の撮影方向の関係がわかりやすい。
図32Bは、図32Aの俯瞰映像V3に、視認しているユーザ側観察者自身の位置33を追加したものである。これにより当該ユーザ側観察者は、自分の居る位置と各カメラ2の撮影方向の関係がわかりやすい。
図32Cは、図32Aの俯瞰映像V3に、視認しているユーザ側観察者が多い高視聴率範囲34の表示を追加したものである。
図32Dは、図32Cの俯瞰映像V3において、視認しているカメラマンが操作しているカメラ2のビューフラスタム40(例えばビューフラスタム40a)を強調表示させたものである。
これらにより、ディレクター等やカメラマンは、ユーザ側観察者が見たいと思っている会場内の箇所を確認しながら指示や撮影の作業を行うことができる。カメラマンは、自分のカメラ2の撮影範囲が、俯瞰映像V3内のどのビューフラスタム40によって表示されているかを容易に認識できる。
図32Dは、図32Cの俯瞰映像V3において、視認しているカメラマンが操作しているカメラ2のビューフラスタム40(例えばビューフラスタム40a)を強調表示させたものである。
これらにより、ディレクター等やカメラマンは、ユーザ側観察者が見たいと思っている会場内の箇所を確認しながら指示や撮影の作業を行うことができる。カメラマンは、自分のカメラ2の撮影範囲が、俯瞰映像V3内のどのビューフラスタム40によって表示されているかを容易に認識できる。
このように出力先毎に異なる俯瞰映像V3を生成するARシステム5の処理例を図33に示す。これは図26のステップS105の一例となる。
ARシステム5はステップS201で会場外のユーザ側観察者向けの俯瞰映像V3の映像データを生成する。例えば図26のステップS101からステップS104で行った設定に応じて、俯瞰映像V3の映像データを生成する。
ARシステム5はステップS202で、撮影対象空間8としての会場内において端末装置200で撮影映像V1を視認するユーザ側観察者がいるか否かを確認する。例えば位置情報を送信しているユーザ側観察者を対象とする。
会場内にユーザ側観察者が居ない場合はステップS204に進む。
会場内にユーザ側観察者が居ない場合はステップS204に進む。
端末装置200の位置情報などを確認し、会場内にユーザ側観察者が居ると判定した場合は、ARシステム5はステップS203で会場内のユーザ側観察者向けの俯瞰映像V3の映像データを生成する。例えば図26のステップS101からステップS105で行った設定に加え、会場内のユーザ側観察者毎に、その位置情報に応じて位置33が表示されるような俯瞰映像V3の映像データを生成する。
なお、ユーザ側観察者毎に位置が異なるが、俯瞰映像V3の映像データをユーザ側観察者毎に個別に生成しなくともよい。例えばARシステム5は、俯瞰映像V3の映像データに、ユーザ側観察者のスマートフォン等における視認用のアプリケーションプログラムに対する指示情報を付加し、そのスマートフォン等において現在位置に応じて位置33の表示が重畳されるようにすればよい。
なお、ユーザ側観察者毎に位置が異なるが、俯瞰映像V3の映像データをユーザ側観察者毎に個別に生成しなくともよい。例えばARシステム5は、俯瞰映像V3の映像データに、ユーザ側観察者のスマートフォン等における視認用のアプリケーションプログラムに対する指示情報を付加し、そのスマートフォン等において現在位置に応じて位置33の表示が重畳されるようにすればよい。
ステップS204でARシステム5はディレクター等に向けた俯瞰映像V3の映像データを生成する。例えば図26のステップS101からステップS104で行った設定に加えて、高視聴率範囲が表示されるようにした映像データを生成する。
ステップS205でARシステム5はカメラマンに向けた俯瞰映像V3の映像データを生成する。例えば図26のステップS101からステップS104で行った設定に加えて、高視聴率範囲が表示されるようにするとともに、送信先のカメラ2毎に、対応するビューフラスタム40を強調する表示とした映像データを生成する。
その後ARシステム5は図26のステップS106で映像出力を行う。
即ち会場外、会場内のユーザ側観察者向けの俯瞰映像V3をそれぞれ送信するとともに、ディレクター等向けの俯瞰映像V3の映像データをGUIデバイス11に送信して表示させる。さらに各カメラマン向けのそれぞれの俯瞰映像V3を各カメラ2に送信して、ビューファインダー等に表示させる。
即ち会場外、会場内のユーザ側観察者向けの俯瞰映像V3をそれぞれ送信するとともに、ディレクター等向けの俯瞰映像V3の映像データをGUIデバイス11に送信して表示させる。さらに各カメラマン向けのそれぞれの俯瞰映像V3を各カメラ2に送信して、ビューファインダー等に表示させる。
以上により図32A、図32B、図32C、図32Dのように、同じ時点に表示される俯瞰映像V3でありながら、観察者に応じて適切な変更が加えられた俯瞰映像V3が表示される。
図34は、会場内に居るユーザ側観察者に対する表示の他の例を示している。例えばARゴーグルを装着するユーザ側観察者が、AR重畳されたビューフラスタム40を視認できるようにした例である。
このようにビューフラスタム40は、必ずしも俯瞰映像V3に合成されなくてもよい。観察者の視点からみた光景にビューフラスタム40が表示されることで、どのようなエリアが撮影されているかを容易に認識できる。
例えば会場のバックスクリーンに映る映像のビューフラスタムが映ったり、強調表示されたりしてもよい。
またユーザ側観察者が撮影する場合に、自分の撮影に係るビューフラスタム40が強調表示されてもよい。
ディレクター等が視認する俯瞰映像V3等においては、ユーザ側観察者のリアクションやリクエストに応じてビューフラスタム40の表示態様が変化するようにしてもよい。
カメラマンが視認する俯瞰映像V3等においては、自分の撮影に対応するビューフラスタムが強調表示されるほか、ユーザ側観察者のリアクションに応じて自分のカメラ2に対応するビューフラスタム40の表示が変化するようにしてもよい。
ユーザ側観察者のリアクションやリクエストとしては、投票も考えられる。例えばユーザ側観察者が映して欲しい場所を投票し、その結果がビューフラスタム40の表示態様や俯瞰映像V3の表示内容として反映されるようにしてもよい。
ビューフラスタム40は画面上の操作子として機能させるようにしてもよい。例えば図19A、図19Bではビューフラスタム40の操作により撮影映像V1に切り替えられると説明した。これ以外にも、映像のリプレイ操作、ビューフラスタム40の消去などの画面操作などが行われるようにしてもよい。
ビューフラスタム40に対応して、カメラ2の情報や放送局の情報などを表示してもよい。どのような機種のカメラ2による撮影か、であるとか、どの放送局の撮影かなどもわかるようになる。
撮影対象空間8におけるカメラ2の数が多い場合には、全てのビューフラスタム40を表示させると煩雑になるため、一部のカメラ2についてのビューフラスタム40を表示させるようにしてもよい。
例えば人気の高い(視認数が多い)ビューフラスタム40を表示させたり、ランダムに選択されたビューフラスタムを表示させたりする。
例えば人気の高い(視認数が多い)ビューフラスタム40を表示させたり、ランダムに選択されたビューフラスタムを表示させたりする。
<7.まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
以上の実施の形態によれば次のような効果が得られる。
実施の形態の例えばARシステム5としての情報処理装置70は、複数のカメラ2のそれぞれの撮影範囲を提示する撮影範囲提示映像(ビューフラスタム40)を含む撮影対象空間8の映像データを、観察者情報RIに応じて生成する処理を行う映像処理部71aを備えている。
観察者情報RIによる放送や配信による映像の観察者の視認状況、視認時のリアクション、リクエストなどに応じてビューフラスタム40を含む俯瞰映像V3を生成することで、ユーザ側観察者の状況を提示した俯瞰映像V3を生成し、表示させることができる。これにより多くのユーザ側観察者の状況を、ユーザ側観察者のそれぞれ、カメラマン、ディレクター等が認識できる。
観察者情報RIによる放送や配信による映像の観察者の視認状況、視認時のリアクション、リクエストなどに応じてビューフラスタム40を含む俯瞰映像V3を生成することで、ユーザ側観察者の状況を提示した俯瞰映像V3を生成し、表示させることができる。これにより多くのユーザ側観察者の状況を、ユーザ側観察者のそれぞれ、カメラマン、ディレクター等が認識できる。
実施の形態では、映像処理部71aが観察者情報RIに応じてビューフラスタム40の表示態様を設定する例を挙げた。
例えば表示態様として、ビューフラスタム40の通常表示と強調表示、色の設定、輝度の設定、点滅表示設定などを行う。
これによりビューフラスタム40自体により観察者に関する情報が表現される。従ってユーザ側観察者は、多くの観察者に見られている映像、反応が高い映像などをビューフラスタム40によって知ることができる。ビューフラスタム40であることで、それらの映像が撮影対象空間8のどのあたりを撮影しているものであるかもわかりやすい。ディレクター等にとっても、観察者の数や反応をビューフラスタム40で知ることができるため、指示等を行いやすい。
例えば表示態様として、ビューフラスタム40の通常表示と強調表示、色の設定、輝度の設定、点滅表示設定などを行う。
これによりビューフラスタム40自体により観察者に関する情報が表現される。従ってユーザ側観察者は、多くの観察者に見られている映像、反応が高い映像などをビューフラスタム40によって知ることができる。ビューフラスタム40であることで、それらの映像が撮影対象空間8のどのあたりを撮影しているものであるかもわかりやすい。ディレクター等にとっても、観察者の数や反応をビューフラスタム40で知ることができるため、指示等を行いやすい。
実施の形態では、映像処理部71aが観察者情報RIに応じてビューフラスタム40に関連づけて表示させる表示内容を設定する例を述べた。
例えば図20から図25の例のように、ユーザ側観察者やディレクター等は、ビューフラスタム40に関連づけられた数字、グラフ、テキスト、アイコン等により、各カメラ2の撮影映像V1に対するユーザ側観察者の反応を明確に知ることができる。これにより映像の選択に便利である。
例えば図20から図25の例のように、ユーザ側観察者やディレクター等は、ビューフラスタム40に関連づけられた数字、グラフ、テキスト、アイコン等により、各カメラ2の撮影映像V1に対するユーザ側観察者の反応を明確に知ることができる。これにより映像の選択に便利である。
実施の形態では、映像処理部71aが観察者情報RIとして、各カメラ2の撮影映像V1についての視聴率情報を取得し、視聴率情報を反映した撮影対象空間8の映像データを生成する例を挙げた(図26、図27参照)。
例えば図20、図21、図22のように、ビューフラスタム40を含む俯瞰映像V3により、各カメラ2の撮影映像V1について視聴率に応じた映像が表示されるようにする。これにより観察者は、各撮影映像V1の視聴率を知ることができ、映像の選択等に役立つ。例えばユーザ側観察者が視認する映像を切り替える場合や、ディレクター等が本線映像の切り替え指示を行う場合などに有用である。
またディレクター等が、撮影対象空間8の会場の中でどの位置を撮影した映像の人気が高いなどかも判断しやすくなる。
例えば図20、図21、図22のように、ビューフラスタム40を含む俯瞰映像V3により、各カメラ2の撮影映像V1について視聴率に応じた映像が表示されるようにする。これにより観察者は、各撮影映像V1の視聴率を知ることができ、映像の選択等に役立つ。例えばユーザ側観察者が視認する映像を切り替える場合や、ディレクター等が本線映像の切り替え指示を行う場合などに有用である。
またディレクター等が、撮影対象空間8の会場の中でどの位置を撮影した映像の人気が高いなどかも判断しやすくなる。
実施の形態では、映像処理部71aが観察者情報RIとして、各カメラ2の撮影映像V1に対する観察者のリアクション情報を取得し、リアクション情報を反映した撮影対象空間8の映像データを生成する例を挙げた(図26、図28参照)。
例えば図20、図21、図22、図25のような態様で、俯瞰映像V3により、各カメラ2の撮影映像V1についての観察者のリアクション情報に応じた映像が表示されるようにする。例えば高評価(イイネ)数、低評価数、チャット数、チャット内容、投げ銭の数や金額などである。これにより観察者は、各撮影映像V1に対する評価等を知ることができ、映像の選択等に役立つ。例えばユーザ側観察者が視認する映像を切り替える場合や、ディレクター等が本線映像の切り替え指示を行う場合などに有用である。
例えば図20、図21、図22、図25のような態様で、俯瞰映像V3により、各カメラ2の撮影映像V1についての観察者のリアクション情報に応じた映像が表示されるようにする。例えば高評価(イイネ)数、低評価数、チャット数、チャット内容、投げ銭の数や金額などである。これにより観察者は、各撮影映像V1に対する評価等を知ることができ、映像の選択等に役立つ。例えばユーザ側観察者が視認する映像を切り替える場合や、ディレクター等が本線映像の切り替え指示を行う場合などに有用である。
実施の形態では、映像処理部71aが観察者情報RIとして、各カメラに対する指示情報又はリクエスト情報を取得し、取得した指示情報又はリクエスト情報を反映した撮影対象空間8の映像データを生成する例を挙げた(図26、図29参照)。
例えば図23、図24の例の俯瞰映像V3は、ディレクター等の指示や、ユーザ側観察者の要望(リクエスト)を反映した映像の例と考えることができる。従ってカメラマンがそのような俯瞰映像V3を見ることでカメラ操作の参考にできる。またディレクター等がユーザ側観察者の要望を確認してカメラマンに指示を出すためのGUIデバイス11の映像としても有用である。
さらにはディレクター等が各カメラ2による撮影位置が重ならないように、ビューフラスタム40を見ながら各カメラに指示を出すと言った場合にも有用である。
またアマチュアのカメラマンが権利制限範囲内で撮影するような場合に、ディレクター等が各カメラマンに指示したいような状況でも有用となる。
例えば図23、図24の例の俯瞰映像V3は、ディレクター等の指示や、ユーザ側観察者の要望(リクエスト)を反映した映像の例と考えることができる。従ってカメラマンがそのような俯瞰映像V3を見ることでカメラ操作の参考にできる。またディレクター等がユーザ側観察者の要望を確認してカメラマンに指示を出すためのGUIデバイス11の映像としても有用である。
さらにはディレクター等が各カメラ2による撮影位置が重ならないように、ビューフラスタム40を見ながら各カメラに指示を出すと言った場合にも有用である。
またアマチュアのカメラマンが権利制限範囲内で撮影するような場合に、ディレクター等が各カメラマンに指示したいような状況でも有用となる。
実施の形態では、映像処理部71aは、撮影対象空間8の映像の毎フレームに対応して観察者情報RIを取得し、フレームの映像データを生成する処理を行う例を述べた(図26参照)。
これにより俯瞰映像V3は、観察者情報の変化に応じて、ビューフラスタム40の表示態様や視聴率等の表示内容が変化することになり、リアルタイムで観察者の状況を知ることができる映像となる。
なお、毎フレームではなく、間欠的なフレームに対応して観察者情報RIを取得して、次の観察者情報RIの取得までの期間の俯瞰映像V3のフレームの映像データを生成する処理を行うようにしてもよい。
これにより俯瞰映像V3は、観察者情報の変化に応じて、ビューフラスタム40の表示態様や視聴率等の表示内容が変化することになり、リアルタイムで観察者の状況を知ることができる映像となる。
なお、毎フレームではなく、間欠的なフレームに対応して観察者情報RIを取得して、次の観察者情報RIの取得までの期間の俯瞰映像V3のフレームの映像データを生成する処理を行うようにしてもよい。
実施の形態では、映像処理部71aが複数の映像データ出力先のそれぞれに応じて撮影対象空間8の映像データを生成する例を挙げた(図33参照)。
例えば会場外のユーザ側観察者向けの俯瞰映像V3、会場内のユーザ側観察者向けの俯瞰映像V3、ディレクター等に向けた俯瞰映像V3、カメラマン向けの俯瞰映像V3等を、それぞれ生成する。これにより俯瞰映像V3の観察者のそれぞれにとって適切な情報提示ができる。
例えば会場外のユーザ側観察者向けの俯瞰映像V3、会場内のユーザ側観察者向けの俯瞰映像V3、ディレクター等に向けた俯瞰映像V3、カメラマン向けの俯瞰映像V3等を、それぞれ生成する。これにより俯瞰映像V3の観察者のそれぞれにとって適切な情報提示ができる。
実施の形態では、映像処理部71aが、各カメラ2の撮影が設定された権利範囲内で行われているか否かを判定する権利制限判定を行い、権利制限判定の結果を反映した撮影対象空間8の映像データを生成する例を挙げた(図30、図31参照)。
予め撮影に関する権利を設定している場合に、カメラ2による撮影動作が、その権利の範囲内であるか否かを判定し、俯瞰映像V3に反映させる。これにより、権利設定をした場合の権利範囲遵守状況を提示できるようになる。
予め撮影に関する権利を設定している場合に、カメラ2による撮影動作が、その権利の範囲内であるか否かを判定し、俯瞰映像V3に反映させる。これにより、権利設定をした場合の権利範囲遵守状況を提示できるようになる。
実施の形態では、映像処理部71aが、カメラ2のビューフラスタム40とともに当該カメラ2の撮影映像V1を含む撮影対象空間8の映像データを生成する例を挙げた(図12から図18、図26参照)。
CG空間30としての俯瞰映像V3内で、カメラ2のビューフラスタム40の表示を行うとともに、撮影映像V1も同時に表示させることで、観察者は、カメラ2の映像と空間での位置の対応が把握しやすくなる。例えば図26のステップS105において撮影映像V1も合成した俯瞰映像V3を生成することで、図12から図18のような俯瞰映像V3を生成できる。
CG空間30としての俯瞰映像V3内で、カメラ2のビューフラスタム40の表示を行うとともに、撮影映像V1も同時に表示させることで、観察者は、カメラ2の映像と空間での位置の対応が把握しやすくなる。例えば図26のステップS105において撮影映像V1も合成した俯瞰映像V3を生成することで、図12から図18のような俯瞰映像V3を生成できる。
実施の形態では、映像処理部71aが、カメラ2による撮影映像V1を放送又は配信により視認する端末に表示させる映像として撮影対象空間8の映像データを生成する例を述べた。
俯瞰映像V3がユーザ側観察者の端末装置200に送信されてユーザ側観察者向けに表示されるようにする。これにより例えばマルチビュー配信などにおけるユーザ側観察者のカメラ選択などに有用な情報を提供できることになる。
俯瞰映像V3がユーザ側観察者の端末装置200に送信されてユーザ側観察者向けに表示されるようにする。これにより例えばマルチビュー配信などにおけるユーザ側観察者のカメラ選択などに有用な情報を提供できることになる。
実施の形態では、映像処理部71aが、カメラ2を操作するカメラマンが視認する表示装置に表示させる映像として撮影対象空間8の映像データを生成する例を述べた。
俯瞰映像V3がカメラ2のビューファインダー等で表示され、カメラマンに視認されるようにする。これによりカメラマンが各カメラについての観察者の状況等を把握しながらカメラ操作を行うことができる。
俯瞰映像V3がカメラ2のビューファインダー等で表示され、カメラマンに視認されるようにする。これによりカメラマンが各カメラについての観察者の状況等を把握しながらカメラ操作を行うことができる。
実施の形態では、映像処理部71aが、カメラ2による撮影映像V1を放送又は配信するための映像制作スタッフが視認する表示装置に表示させる映像として撮影対象空間8の映像データを生成する例を述べた。
俯瞰映像V3が例えばGUIデバイス11において表示され、ディレクター等に視認されるようにする。これによりディレクター等が各カメラについての観察者の状況等を把握しながら各種指示や本線映像の選択などを行うことができる。
俯瞰映像V3が例えばGUIデバイス11において表示され、ディレクター等に視認されるようにする。これによりディレクター等が各カメラについての観察者の状況等を把握しながら各種指示や本線映像の選択などを行うことができる。
実施の形態で説明したビューフラスタム40の表示態様、俯瞰映像V3等の表示内容に関しては、それぞれ組み合わせて実行することができる。
また動画撮影に関して俯瞰映像V3を表示させる例で説明したが、カメラ2が静止画撮影を行う場合でも実施の形態の技術は適用できる。
また動画撮影に関して俯瞰映像V3を表示させる例で説明したが、カメラ2が静止画撮影を行う場合でも実施の形態の技術は適用できる。
実施の形態のプログラムは、上述の図26、図27、図28、図29、図31、図33のような処理を、例えばCPU、DSP等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。即ち実施の形態のプログラムは、複数のカメラ2のそれぞれの撮影範囲を提示する撮影範囲提示映像(ビューフラスタム40)を含む撮影対象空間8の映像データを、カメラ2の撮影映像V1の観察者に関する観察者情報RIに応じて生成する処理を情報処理装置70に実行させるプログラムである。
このようなプログラムにより、上述したARシステム5のように動作する情報処理装置70を、各種のコンピュータ装置により実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の情報処理装置70の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置70として機能させることができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
なお本技術は以下のような構成も採ることができる。
(1)
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う映像処理部を備えた
情報処理装置。
(2)
前記映像処理部は、前記観察者情報に関する情報に応じて前記撮影範囲提示映像の表示態様を設定する
上記(1)に記載の情報処理装置。
(3)
前記映像処理部は、前記観察者情報に応じて前記撮影範囲提示映像に関連づけて表示させる表示内容を設定する
上記(1)又は(2)に記載の情報処理装置。
(4)
前記映像処理部は、前記観察者情報として、各カメラの撮影映像についての視聴率情報を取得し、視聴率情報を反映した撮影対象空間映像データを生成する
上記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記映像処理部は、前記観察者情報として、各カメラの撮影映像に対する観察者のリアクション情報を取得し、リアクション情報を反映した撮影対象空間映像データを生成する
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記映像処理部は、前記観察者情報として、各カメラに対する指示情報又はリクエスト情報を取得し、取得した指示情報又はリクエスト情報を反映した撮影対象空間映像データを生成する
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記映像処理部は、撮影対象空間映像データの毎フレーム又は間欠的なフレームに対応して、前記観察者情報を取得し、フレームの映像データを生成する処理を行う
上記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記映像処理部は、複数の映像データ出力先のそれぞれに応じて撮影対象空間映像データを生成する
上記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記映像処理部は、各カメラの撮影が設定された権利範囲内で行われているか否かを判定する権利制限判定を行い、権利制限判定の結果を反映した撮影対象空間映像データを生成する
上記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記映像処理部は、カメラの撮影範囲提示映像とともに当該カメラの撮影映像を含む撮影対象空間映像データを生成する
上記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記映像処理部は、前記カメラによる撮影映像を放送又は配信により視認する端末に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
前記映像処理部は、前記カメラを操作するカメラマンが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記映像処理部は、前記カメラによる撮影映像を放送又は配信するための映像制作スタッフが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
情報処理装置が、
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う
情報処理方法。
(15)
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を
情報処理装置に実行させるプログラム。
(1)
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う映像処理部を備えた
情報処理装置。
(2)
前記映像処理部は、前記観察者情報に関する情報に応じて前記撮影範囲提示映像の表示態様を設定する
上記(1)に記載の情報処理装置。
(3)
前記映像処理部は、前記観察者情報に応じて前記撮影範囲提示映像に関連づけて表示させる表示内容を設定する
上記(1)又は(2)に記載の情報処理装置。
(4)
前記映像処理部は、前記観察者情報として、各カメラの撮影映像についての視聴率情報を取得し、視聴率情報を反映した撮影対象空間映像データを生成する
上記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記映像処理部は、前記観察者情報として、各カメラの撮影映像に対する観察者のリアクション情報を取得し、リアクション情報を反映した撮影対象空間映像データを生成する
上記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記映像処理部は、前記観察者情報として、各カメラに対する指示情報又はリクエスト情報を取得し、取得した指示情報又はリクエスト情報を反映した撮影対象空間映像データを生成する
上記(1)から(5)のいずれかに記載の情報処理装置。
(7)
前記映像処理部は、撮影対象空間映像データの毎フレーム又は間欠的なフレームに対応して、前記観察者情報を取得し、フレームの映像データを生成する処理を行う
上記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記映像処理部は、複数の映像データ出力先のそれぞれに応じて撮影対象空間映像データを生成する
上記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記映像処理部は、各カメラの撮影が設定された権利範囲内で行われているか否かを判定する権利制限判定を行い、権利制限判定の結果を反映した撮影対象空間映像データを生成する
上記(1)から(8)のいずれかに記載の情報処理装置。
(10)
前記映像処理部は、カメラの撮影範囲提示映像とともに当該カメラの撮影映像を含む撮影対象空間映像データを生成する
上記(1)から(9)のいずれかに記載の情報処理装置。
(11)
前記映像処理部は、前記カメラによる撮影映像を放送又は配信により視認する端末に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(10)のいずれかに記載の情報処理装置。
(12)
前記映像処理部は、前記カメラを操作するカメラマンが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(11)のいずれかに記載の情報処理装置。
(13)
前記映像処理部は、前記カメラによる撮影映像を放送又は配信するための映像制作スタッフが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
上記(1)から(12)のいずれかに記載の情報処理装置。
(14)
情報処理装置が、
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う
情報処理方法。
(15)
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を
情報処理装置に実行させるプログラム。
1,1A カメラシステム
2 カメラ
5 ARシステム
8 撮影対象空間
11 GUIデバイス
15 データ管理部
30 CG空間
40,40a,40b,40c,40d,40e ビューフラスタム
50 表示画面
51 カウントバー
52 ポール
53 リクエスト内容
54 円グラフ
55 チャットウインドウ
70 情報処理装置
71 CPU
71a 映像処理部
100 撮影システム
101 カメラマンモニタ
102 ディレクターモニタ
200 端末装置
V1 撮影映像
V2 AR重畳映像
V3 俯瞰映像
RI 観察者情報
2 カメラ
5 ARシステム
8 撮影対象空間
11 GUIデバイス
15 データ管理部
30 CG空間
40,40a,40b,40c,40d,40e ビューフラスタム
50 表示画面
51 カウントバー
52 ポール
53 リクエスト内容
54 円グラフ
55 チャットウインドウ
70 情報処理装置
71 CPU
71a 映像処理部
100 撮影システム
101 カメラマンモニタ
102 ディレクターモニタ
200 端末装置
V1 撮影映像
V2 AR重畳映像
V3 俯瞰映像
RI 観察者情報
Claims (15)
- 複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う映像処理部を備えた
情報処理装置。 - 前記映像処理部は、前記観察者情報に応じて前記撮影範囲提示映像の表示態様を設定する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記観察者情報に応じて前記撮影範囲提示映像に関連づけて表示させる表示内容を設定する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記観察者情報として、各カメラの撮影映像についての視聴率情報を取得し、視聴率情報を反映した撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記観察者情報として、各カメラの撮影映像に対する観察者のリアクション情報を取得し、リアクション情報を反映した撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記観察者情報として、各カメラに対する指示情報又はリクエスト情報を取得し、取得した指示情報又はリクエスト情報を反映した撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、撮影対象空間映像データの毎フレーム又は間欠的なフレームに対応して、前記観察者情報を取得し、フレームの映像データを生成する処理を行う
請求項1に記載の情報処理装置。 - 前記映像処理部は、複数の映像データ出力先のそれぞれに応じて撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、各カメラの撮影が設定された権利範囲内で行われているか否かを判定する権利制限判定を行い、権利制限判定の結果を反映した撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、カメラの撮影範囲提示映像とともに当該カメラの撮影映像を含む撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記カメラによる撮影映像を放送又は配信により視認する端末に表示させる映像として撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記カメラを操作するカメラマンが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 前記映像処理部は、前記カメラによる撮影映像を放送又は配信するための映像制作スタッフが視認する表示装置に表示させる映像として撮影対象空間映像データを生成する
請求項1に記載の情報処理装置。 - 情報処理装置が、
複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を行う
情報処理方法。 - 複数のカメラのそれぞれの撮影範囲を提示する撮影範囲提示映像を含む撮影対象空間映像データを、前記カメラの撮影映像の観察者に関する観察者情報に応じて生成する処理を
情報処理装置に実行させるプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022169312 | 2022-10-21 | ||
JP2022-169312 | 2022-10-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024084943A1 true WO2024084943A1 (ja) | 2024-04-25 |
Family
ID=90737337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/035945 WO2024084943A1 (ja) | 2022-10-21 | 2023-10-02 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024084943A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011130234A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 放送用カメラシステム |
JP2017139725A (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 映像表示方法及び映像表示装置 |
JP2020043415A (ja) * | 2018-09-07 | 2020-03-19 | キヤノン株式会社 | 表示装置、表示装置の制御方法およびプログラム |
CN113114944A (zh) * | 2021-04-15 | 2021-07-13 | 荣耀终端有限公司 | 拍摄中的隐私保护方法和装置 |
-
2023
- 2023-10-02 WO PCT/JP2023/035945 patent/WO2024084943A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011130234A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 放送用カメラシステム |
JP2017139725A (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 映像表示方法及び映像表示装置 |
JP2020043415A (ja) * | 2018-09-07 | 2020-03-19 | キヤノン株式会社 | 表示装置、表示装置の制御方法およびプログラム |
CN113114944A (zh) * | 2021-04-15 | 2021-07-13 | 荣耀终端有限公司 | 拍摄中的隐私保护方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7498209B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
EP3238445B1 (en) | Interactive binocular video display | |
US11006089B2 (en) | Information processing apparatus and information processing method | |
US20200120386A1 (en) | Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system | |
TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
US20100013738A1 (en) | Image capture and display configuration | |
US11627251B2 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
US10764493B2 (en) | Display method and electronic device | |
US11244423B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a panoramic image | |
JP2018117312A (ja) | 映像配信システム、ユーザ端末装置および映像配信方法 | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、***及存储介质 | |
CN114651448A (zh) | 信息处理***、信息处理方法和程序 | |
CN113424515A (zh) | 信息处理设备、信息处理方法和程序 | |
JP2003346190A (ja) | 画像処理装置 | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
JP2008187678A (ja) | 映像生成装置及び映像生成プログラム | |
Foote et al. | One-man-band: A touch screen interface for producing live multi-camera sports broadcasts | |
WO2024084943A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
KR20230017745A (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
JP2023140922A (ja) | 表示端末、情報処理システム、通信システム、表示方法、情報処理方法、通信方法、及びプログラム | |
JP2017183816A (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
WO2024070761A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2024070763A1 (ja) | 情報処理装置、撮影システム、情報処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23879590 Country of ref document: EP Kind code of ref document: A1 |