WO2018184735A1 - Concept for virtual participation in live events - Google Patents
Concept for virtual participation in live events Download PDFInfo
- Publication number
- WO2018184735A1 WO2018184735A1 PCT/EP2018/025091 EP2018025091W WO2018184735A1 WO 2018184735 A1 WO2018184735 A1 WO 2018184735A1 EP 2018025091 W EP2018025091 W EP 2018025091W WO 2018184735 A1 WO2018184735 A1 WO 2018184735A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- signal
- terminal
- output
- video material
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Definitions
- the present invention relates to a concept for virtual participation in live events.
- Live broadcasts of live events exist in a variety of formats.
- typical live broadcasts on radio and television do not allow the recipients of the live broadcasts to virtually participate in the particular live event, in the sense that they could interact with anyone on site.
- live events in which it is enabled viewers to share their euphoria, opinion or the like via text messages live the persons on site of the live event on scoreboards, but also this possibility does not cause the switched Viewers would get an impression or a feeling that they were present at the live event.
- the object of the present invention is to provide such a concept, namely a concept for a virtual participation of a user in a live event, so that the user gets the chance to experience the live event more authentically.
- a more authentic virtual participation of a user in a live event when during the live event recording the same by means of a camera device from a predetermined position within a spectator area of the live Event, while at the same time allowing the user to output via his / her terminal playback signals to one or more viewers in the audience area.
- the viewer's perspective provided by the streaming of at least a portion of the recorded video material thus gives the user the feeling of being "present” directly Having multiple viewers display in the audience area results in a more authentic experience of the live event for the user.
- the authenticity increases by recording the live event from perspectives that are characterized not just by spectacular telephoto shots or otherwise unavailable to viewers on site locations or recordings from the air, but perspectives in which viewers on site a non-vanishing share of the recorded Make out visual field.
- a more authentic virtual participation of a user in a live event is made possible by using a camera device for recording an environment of the camera device and an output interface for streaming at least a portion of the video material obtained by the camera apparatus, is additionally provided with an information output device which transmits a reproduction signal, which depends on an information signal received via an input interface of the device from the user's terminal, to one or more persons the environment of the device outputs.
- the output of the reproduction signal may be such that the output of the reproduction signal and the camera position from the environment or for the one or more persons, at least in projection along a spatial direction, such as in vertical projection, from the same direction.
- a field of view of the camera device covers more than 180 ° in a predetermined plane, such as in the horizontal plane. and the playback signal is output so that it seems to originate from the camera position in this plane or a position on a vertical to that plane through the camera position.
- the coincidence between camera position and perceived position of the output of the user-initiated playback signal increases the authenticity of the virtual participation in the live event for the user, because the on-site viewers who respond to the user's playback signal become highly true
- the position corresponds to the perceived output location of the playback signal, and this position coincides at least from the perspective of the external user in his perspective with his own virtual position in the live event, namely the camera position.
- the user thus gets the feeling that his actions, ie the playback signal, and reactions of the persons, such as spectators, back to each other locally and the same applies to the local people themselves. This increases the authenticity.
- FIG. 1 shows a schematic block diagram of a system for a virtual participation of a user in a live event, the system comprising a device for on-site use as well as a device implementable in a user's terminal according to an embodiment
- Fig. 2 is a block diagram of an exemplary external user terminal in which the user-side device is implementable
- FIG. 3 is a schematic three-dimensional representation of a construction of an on-site device comprising the camera device and the information output device of the on-site device, which are installed in a columnar form in this embodiment;
- Fig. 4 schematically shows an image of the field of view taken by the camera device in the case of full audience occupation when the camera device is positioned in the viewer area;
- Fig. 5 is a schematic view showing a viewing direction-dependent control of the reproducing direction of the reproduced signal of the user according to an embodiment
- Fig. 6 is a schematic representation of an alternative view direction dependent
- FIG. 7 is a schematic block diagram of a system for virtual participation of a user in a live event, such as a football event. Game, shows, with an exemplary representation of an embedding in infrastructures such as social networks.
- the system of FIG. 1 is indicated generally by the reference numeral 10 and includes an on-site device, ie, the live event, device 12 to be operated on and a device 18 installable in a terminal 14 of the user 16.
- the user 16 is thus a person who does not need to be in a location 20 where the live event takes place, as long as it can be somewhere else.
- the terminal device 14 can be, for example, a computer, a mobile telephone or another electronic device of the user 16.
- Fig. 2 shows an example of such a terminal 14 in more detail. It comprises a processor 20, a screen 22, one or more loudspeakers 24 and a user input interface 26.
- the user input interface 26 comprises for example a microphone 26a, a camera 26c, a touch function 26f of the screen 22, a keyboard 26b, a mouse 26g, a motion detection device 26d, a gesture interface 26e or combinations thereof.
- All units could be housed in a head-up display having the screen functionality of the display 22, the speaker functionality of the speaker 24, and motion detection functionality as the user input interface 26, as well as the processor 20.
- the processor 20 is connected to all the units 22, 24 and 26.
- the device 18 belonging to the system 10 could be, for example, an application running on the processor 20 or a computer program running on the processor 20.
- the terminal 14 could be a proprietary device dedicated to the system 10, in which case the device 18 would be fixedly installed in the terminal 14 and thus, as it were, the terminal device. guesses 14 itself part of the system 10 would be.
- the installability can thus designate a software or electrical installability.
- the user 16 is not himself at the location 20. He may rather be at home or elsewhere beyond the location of the event.
- the location 20 may be, for example, a football stadium, another stadium, a theater, an opera house or the like.
- the system 10 is able to ensure that the user 16 can at least virtually participate in the live event taking place at the location 20, such as e.g. a football game, another sporting event, a play, an opera or the like.
- the device 12 is intended to be operated on-site at the live event. Strictly speaking, the device 12 comprises a camera device 28, an output interface 30, an input interface 32 and an information output device 34, the camera device 28 and the information output device 34 being intended to be positioned in situ. It should be noted that the device may also include a controller 80, with which and via which, for example, all devices of the device 28 are connected to one another. In part, functionalities of the devices of the device 28, e.g. the interfaces 30 and 32 and the optional controller 80 may be implemented on a processor, such as one or more programs.
- the positioning of the camera device 28 is performed such that the camera device 28 adapted to receive its surroundings makes the recording of the live event from a particular position 38 within a viewer area 36 of the live event location 20.
- the output interface streams at least a portion of the video material received by the camera device 28 through the camera device 28 to the terminal 14 of the user 16 or the device 18 to give the user 16 a visual impression of the captured environment.
- the user 16 gets a fairly authentic impression, namely, as if he himself is among the spectators 40.
- the camera device 28 generates a video material 42 that is received by the output interface 30 due to its recording.
- the camera apparatus 28 may include a plurality of cameras or a camera
- the video material may be a panoramic video formed by composing videos of different cameras of the camera apparatus 28, or a composite video of another type, eg, none Panoramic field of view covers, or a set of multiple videos of cameras of the camera device 28, looking in different directions and thus record different parts of the environment of the camera device 28 and also cover a field of view - with mutual overlap, against each other or with gaps.
- the camera device 28 thus has a specific field of view, which covers and captures it by capturing the environment with gaps or gaps in this field of view with one or more cameras, and the video material 42 represents this field of view.
- the visual field is representatively shown at 44 representatively.
- the output interface 30 may stream to the user 16 all of the video material 42 relative to the entire field of view 44, or only a portion 46 thereof, namely a portion of the field of view 44 having a limited spatial extent.
- the streaming itself takes place, for example, via the Internet 49, for example by means of HTTP.
- One possibility would be, for example, that the output interface 30 the Videomateria! 42 for download by the device 18, for example by means of a suitable streaming download protocol, provides, such as streaming or download using DASH.
- the device 18 determines the cutout 46 to which the streaming is restricted: the cutout 46 is selected such that there is a viewing cutout 48 which is directly opposite the user 16 on the screen 22 of the terminal 14 is displayed.
- the output interface 30 it would be possible for the output interface 30 to broadcast the video material 42 to the terminal 14 by broadcast or multicast signal, ie to the terminal 14 of the user 16 in one operation together with other other users, with the respective terminals, such as the terminal 14, then Extract and display the field of view 48 from the respective broadcast or multicast signal.
- the video material 42 streamed from the output interface 30 to the terminal 14, or the section 46 thereof, is illustrated by the arrow 50 in FIG. This direction is not the only one. Rather, the input interface 32 is adapted to receive from the terminal 14 an information signal 52. The transmission of the signal 52 as well as the transmission of the video material 50 via the Internet 49 could take place.
- the information signal 52 is a signal generated by the device 16, which the user 16 has input via the user input interface 26, as previously mentioned, depending on user inputs of the user 16, for example, containing a message to one or more of the viewers 40, and possibly in the form of a text message, a video and / or a sound recording.
- a reproduction signal may be coded, e.g. a text message, an audio message or a video message or a combination of the same.
- the playback signal is then obtained, for example, by decoding.
- the information signal 52 could also encode gestures that the user 16 has entered.
- the user 16 for generating the information signal 52 in the device 18 as a user input interface 26, a camera of the terminal 14, a keyboard of the terminal 14 and / or a microphone of the terminal 14 have used.
- the input interface 32 receives the information signal 52 from the terminal 14 and the device 18, respectively, and the information output device 34 outputs the reproduction signal, which depends on the information signal 52, to one or more persons in the vicinity of the camera device, i. to one or more viewers 40.
- FIG. 3 illustrates that the information output device 34 and the camera device 28 are preferably arranged in a predetermined manner relative to each other, such as mechanically fixed relative to each other, disposed in a common housing, or supported by a common frame.
- the camera device 28 may possibly be configured as a camera system with a plurality of cameras with a frame of mirrors 60, the mirrors 60 being arranged, for example, like the lateral surface areas of a pyramid, via which cameras the camera device 28, 3, mirrored on the mirrors of an axis of symmetry 62 of the mirror gelgestells 60 look away, as in Fig. 3 by way of example with a dashed line 64 is indicated.
- the camera device 28 would be designed as a panoramic camera system, which would be able to cover as field of view 44 a solid angle range which covers 360 ° in the plane perpendicular to the axis of symmetry 62 of the structure 60 and perpendicular thereto, for example, covering an opening angle of greater than 30 ° , such as B. 30 ° to 150 °, or an opening angle in a range of 45 ° to 120 °.
- the information output device 34 are arranged at the same location at least along the axial direction 62, ie the projections of the camera device 28 and information output device 34 coincide with one another along the axis 62.
- camera device 28 and information output device 34 are mounted on a common axis 62.
- the information output device 34 may include a visual display 66 and / or a speaker array 68. Both the display 66 and the speaker array 68 are configured for omnidirectional display and audio reproduction, respectively.
- a display area of the display 66 is cylindrical or polygonal to allow display to all sides from the axis 62
- the speaker array 68 is an array of speakers having radiating directions in different, discrete directions are arranged from the axis 62.
- the loudspeakers of the array 68 are arranged, for example, along a circle or along a polygon about the axis 62, and also the display surface of the display 66 could be arranged symmetrically about the axis 62, such.
- Example as the lateral surface of a cylinder, prism or a pyramid, wherein not necessarily the complete lateral surface must be designed as a display surface, but for example, a predetermined part, such as less than 40% or less than 20%, the cylindrical surface, prism surface or pyramid Silent surface not belong to the display, but belong to the housing, for example. But it is enough when visual display 66 and / or loudspeaker array 68 can emit in discrete directions that are projected along axis 62 across field of view 44. Omnidirectionality is not required for camera device 28, and for information output device 34, playback is in directions within the field of view stretched 44.
- Fig. 3 it is exemplarily shown that the display 66 is above the camera device 28 while the speaker array 68 is located below the camera device 28, but the mutual position along the axis 62 could also be different.
- the aligned arrangement along the axis 62 ensures that, from the environment captured by the camera device 28, the output of the playback signal is perceived by the information output device 34 from a position at least in projection along the spatial direction 62 with the camera position of the camera device 28 matches. More specifically, regardless of where a person is in the field of view 44 of the camera device 28, that person will perceive the playback signal coming from a direction intersecting the axis 62, i. from a position at least above or below the camera device 28, or even from the same direction, i. the direction in which the camera device 28 is spatially positioned for the person.
- the assembly 70 housing the camera device 28 and the information output device 34 is designed as a frame or housing and has a substantially columnar shape and, more particularly, has a footprint 72 configured as a foot or anchorage of the assembly 70 is to set up the structure 70 on the floor, so that the axis 62, for example, corresponds to the vertical.
- the assembly 70 may be configured to be firmly anchored to the ground, such as in-set or the like.
- the structure 70 may be designed so that it can be reversibly placed and fixed on the base 72, such. B. by means of screws or the like.
- the standing surface 72 does not necessarily have to be present, so that the structure 70 could also be fixed to a ceiling or wire ropes, for example.
- FIG. 3 further shows that optionally further components of the system 10 could be accommodated in the structure 70.
- a microphone array or microphone could be housed in the assembly 70 to pick up the audio scene originating from the field of view 44 of the camera device 28 at a position substantially on the axis 62.
- the output interface 30 would thus receive an audio presentation from the audio capture device 74, namely the result of the audio capture of the environment of the camera device 28, and would send an audio signal 76 derived from the audio presentation to the terminal 14 and the device 18, respectively.
- the audio signal 76 could be, for example, a multi-channel or multi-object signal, such as an MPEG surround or SAOC signal.
- the audio signal! 76 may be configured to represent the spatial audio scene arriving from the field of view 44 toward the camera device 28.
- the device 18 could play the audio signal 76 to the user 16 via the one or more speakers 24.
- the device 18 it would be possible for the device 18 to process the audio signal 76 so that the audio scene is adapted to the direction in which the viewing section 48 lies.
- the audio signal 76 like the video material 50, could be broadcast by broadcast or multi-user to a plurality of users.
- the audio signal 76 as well as the video material 50 could be downloaded from the device 18 by means of a streaming protocol.
- the audio signal 76 is already being selectively downloaded by the device 18 or so that the audio signal 76 already represents the audio scene adapted to the direction 48.
- the audio signal 76 could be a stereo signal corresponding to the audio scene originating from the field of view 44, and in which left and right channels are aligned relative to the direction of the field of view 48.
- FIG. 3 further shows that the assembly 70, as another component of the device 12, could include a gesture input interface 78 comprising, for example, a set of cameras looking in discrete, different directions away from the axis 62 and capable of recognizing gestures that originate from persons in the field of view 44.
- FIG. 3 shows, by way of example, that it may be possible that the assembly 70 also houses interfaces to terminals of persons in the camera designation device, such as viewers 40, such as wireless interfaces, such as a Wi-Fi interface, a Bluetooth Interface or the like. This would also allow the people 40 in the vicinity of the camera building device or assembly 70 to enter commands, such as the just-mentioned command to set up or end a videoconference with a particular user 16.
- the camera device 28 is positioned at a certain height h above the ground, such as, for example, with respect to the ground level of the audience area.
- the height h is determined, for example, by the distance of the camera device 28 from the standing surface 72.
- the height h is, for example, between 1 to 2.5 m (in each case inclusive), since then for the user 16 the visual field 44 appears to be viewed from a height which also corresponds to the usual viewing heights or perspectives of persons or on-site spectators 40 seems to match.
- an area ratio between view taken by spectators, represented in FIG. 4 by crosshatching, 84 to the area of the field of view 44 results in which the View is not blocked by viewers, more than 20%. In Fig. 4, more than 50% are shown. This gives a very authentic feeling for the user 16.
- FIG. 5 details the possibility already mentioned above that the information output device 34 can be configured such that the reproduction of the reproduction signal can be output in a directionally selective manner, ie directionally selective in one direction within the field of view 44 of the camera device 28.
- the information output device 34 would be capable, for example, of outputting the playback signal in different directions from, for example, the axis 32.
- the output could include displaying the playback signal optically in the particular direction, or outputting the playback signal via a speaker in the appropriate direction.
- the output is in a direction corresponding to an instant visual field 48 from the field of view 44 displayed to the user 16 via a terminal 14 via, for example, the screen 22 thereof.
- 5 shows, by way of example, a hatched area 86 of the information output device 34, which area 86 of the information output device 34 is activated in order to output the playback signal of the user 16 into the camera device environment.
- the device 18 is designed, for example, to determine via the user input interface 26, depending on the user 16, a virtual viewing direction 88, by means of which the user 16 looks into the scene in the field of view 44.
- the user input interface 26, which uses the device 18 for this purpose is, for example, a motion sensor of the terminal 14.
- the device 18 generates a direction signal 90 depending on the virtual line of sight 88, which sends it to the device 12, where it is received by the input interface 32, for example , The transmission can happen again via the Internet 49.
- the direction signal 90 encodes, for example, the line of sight 88. It would also be possible for the direction signal 90 to be the signal that defines the section 46 of the video material sent by the device 12 to the device 18 or the terminal 14 of the user 16.
- the advantage of the raster-selective output of the playback signal in a direction corresponding to the virtual line of sight 88 of the user 16 has the advantage that persons or viewers 40 who are not in the field of view 48 of the user 16, the playback signal from the user 16 is not, or not so much perceive and therefore sometimes not so much can refer to wrongly, whereby the authenticity is improved.
- this approach allows a larger number of users simultaneously with the persons acting as spectators 40 in the visual field 44 of the camera.
- the individual communications between the individual users on the one hand and the viewers 40 on the other hand can be "distributed" along the horizontal or transverse extension direction of the visual field 44, ie, projected along the direction 32.
- a selection process is carried out to decide which user 16 can output his playback signal in the appropriate direction and which This selection process might be automatic, such as based on certain priority rights of the users 16 or other characteristics associated with the users 16, such as the number of likes in social networks or the like Additionally or alternatively, a selection manually by the operator of the system 10.
- Fig. 5 shows that the playback signal originated by a particular user 16 can be outputted via the information output device 34 in a certain direction.
- the directional selectivity is reflected, for example, in that the playback signal is output to one or more speakers of the information output device 34, which radiate substantially in the direction 88.
- the playback signal is displayed in a portion of a display of the information output device 34 which faces in the direction 88 or is most visible from the direction 88.
- the audio reproduction of the reproduction signal it is of course possible to superimpose a plurality of reproduction signals on each other.
- a local distribution of the display area could be used instead of an overlay.
- parts or all of the available display area of the information output device 34 would be split to assign to a subset of one or more users 16 from all users 16 associated with the device 12, the assignment also being made in that users 16 are assigned to those parts of the display area which face the viewing direction 88 of this user.
- the playback signal displayed in such a portion 86 of a display could be a video recorded via a camera of the terminal 14 functioning as a user input interface 26, or a text message which the user 16 may transmit via a microphone, for example. rophon with speech recognition of the terminal 14 or a keyboard of the terminal 14 has entered as user input device 26. Also in the audio playback of the playback signal of the user 16, a selection can take place in order to limit the mutual superimposition of the audio playback signals in number. The latter playback signals may have been input via a microphone of the terminal 14 as user input device 26.
- the information output device 34 could comprise speakers distributed in the camera designation device 34, and instead of a directionally selective audio output, a location-selective audio output would take place in the sense that those speakers or the loudspeaker for reproducing the reproduction signal of a specific user 16 would be activated, which, viewed from the camera device 28, lies in the viewing direction 88 or in the viewing section 48, which the user 16 is currently looking at.
- a location-selective audio output would take place in the sense that those speakers or the loudspeaker for reproducing the reproduction signal of a specific user 16 would be activated, which, viewed from the camera device 28, lies in the viewing direction 88 or in the viewing section 48, which the user 16 is currently looking at.
- the playback signal may come from the setup 70.
- FIG. 6 For the sake of completeness, the last-mentioned situation is again indicated in FIG. 6, where, among speakers of an array of loudspeakers, which are comprised of the information output comprised by the information output device 34, such a part coincides with the playback signal originating from the user 16 , which lies in the region in which the virtual viewing direction 88 points, or in the region which projects in the direction 32 overlaps with the viewing section 48.
- these loudspeakers are indicated by hatching.
- speaker channels could also be a other types of playback locations may be distributed, such as screens at each audience seat or the like.
- the above embodiments can be used, for example, in the live broadcast of football matches. This will be illustrated in the following with reference to FIG. 7.
- the embodiments described above are based on the typical perception habits and rites of a fan during a stadium visit.
- the above embodiments provide an integrated camera and communication system 10.
- a camera position is selected that is in a viewer area 36 lies. It could be a specially selected fan block in which viewers who belong to a particular fan community 100 are located. Users, such as the user 16, is given the opportunity to participate in the fan community 100 via the communication and interaction option described above.
- the camera device 28 can be designed as a 360 ° panoramic recording system.
- Voice communication 76/52, text communication 52, video communication 52 and / or gesture control 102 may be used.
- the external fan 16 which could also be referred to as a satellite fan, has the option of using the device 18, which is for example an app on his terminal 14, such.
- the ability in the video material that is generated by the camera device 28, such as a 360 ° video, if necessary, with an audio live Stream 76 is supplemented to navigate from a stadium position midway between the fans 40. He sees the surrounded fans as shown in Fig.
- the device 18 could simultaneously provide access to a chat platform 106 with text, voice and image interaction capabilities.
- chat comments, voice messages, pictures or short video clips could be sent from a fan 16 to the chat platform 106 and optionally also to one of the displays 66, e.g.
- the display 66 in a setup 70 is shown in FIG. 3.
- the information signals 52 from various users 16 that define playback signals could be subjected to selection as described above. The selection could be in one two-stage procedure.
- An automatic control 108 could filter out unwanted comments by, for example, keyword search, which are then discarded.
- the number of likes or other parameters 109 from a social network associated with the users of the competing playback signals may also be used for such selection 108.
- all posts can be rated as Likes.
- this assessment could also be done by gestures that are captured via the gesture interface 78 mentioned above. These ratings can then be used as a decision support for the automatic selection, but also for the manual selection of subsequent playback signals from external users.
- Selected external users 16 may be invited to a videoconference-like connection 12 to a segment.
- the information signal 52 of a user 16 could comprise a video and audio signal, and the user 16 would be assigned a specific part 86 to the display 66 and his audio part of the video signal via the loudspeaker array 68 also in the area 68, namely areas facing substantially in the virtual line of sight 88, which together with the transmission of video 50 and audio recording 76 from device 12 to terminal 14 creates a type of video conference.
- the latter transmission from device 12 to device 18 may be accomplished differently during the time of a videoconferencing, such as via another channel.
- the eye contact between the video conference participants ie the user 16 on the one hand and the one or more viewers 40 on the other side of the videoconference within the field of view, such.
- the parts of the field of view 44 redundant, but with possibly higher density record can be improved by the user 16 of the video conference participants virtually as his screen 22 is displayed as if he Look at user 16 directly.
- a multi-view video analysis or teleprompter can also be used.
- voice recognition automatic translation and gesture control can be integrated. That is, text messages as playback signals derived from a user 16 via information signals 52 may be subjected to voice recognition and automatic translation prior to their display or playback. Conversely, gesture control could be enabled for both viewers 40 and a user 16 on a terminal 14 side.
- the system 10 may be interfaced, such as a computer.
- a wireless or Bluetooth interface is equipped.
- a functionality that has not yet been described in the preceding embodiments, but which may optionally be integrated, relates to a Snapshof functionality 12 for the user 16.
- the device 18 of the device 12 sends a command, after which the device 12 extract a time excerpt from the video material 42 and send to the user 16 the terminal 14 associated address.
- the address may be, for example, an email address of the user, a particular social media account of the user 16 in a social network 14, or the like.
- the command which is sent by the device 18 to the device 12, for example, provided with a time stamp corresponding to a time stamp of the currently displayed field of view 48 at the terminal 14 of the user 16.
- the device 12 for example, relies on a buffer in which the video material 42 is temporarily stored for some time.
- the time segment 1 16 extracted in this way can either be a single image of the visual field 44, or affect a Biidfoige the visual field 44 with a predetermined duration. Since the timestamp provided to the instruction is derived from the timestamps provided by the timeframes of the video material 42 itself, this functionality is end-to-end latency neutral.
- the on-site device 12 is provided with a haptic interface, e.g. As a touch screen.
- users may be allowed view-gaze navigation 16, which gaze navigation not only navigates the viewport 48 within the field of view 44, i. H. the viewing direction of a virtual camera, but possibly also the listening direction of the microphone array 74, the playback direction of the loudspeaker array 68 and / or the display direction of the display 66, as described above.
- the user 16 has a feeling of being there on-site during a live event such as B. a stadium feeling in the case of a football game. This will give viewers such.
- a sense of belonging to the fan community on site This may result in a closer bond with the clubs, such. B. in the football clubs.
- the clubs could for example be operator of the system 10 and thereby get the opportunity to increase their fan community significantly.
- These new fans 16 are personally addressable, giving the club the opportunity to engage with personalized marketing.
- aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
- Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
- embodiments of the invention may be implemented in hardware or in software.
- the implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic media or optical memory are stored on the electronically readable control signals, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
- some embodiments of the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
- embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
- the program code can also be stored, for example, on a machine-readable carrier.
- Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
- an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
- a further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
- the data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transitory or non-transient.
- a further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein.
- the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
- Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
- a processing device such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
- Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
- Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
- the transmission can be done for example electronically or optically.
- the receiver may be, for example, a computer, a mobile device, a storage device, or a similar device. be direction.
- the device or system may include a file server for transmitting the computer program to the recipient.
- a programmable logic device eg, a field programmable gate array, an FPGA
- a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein.
- the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
- the devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
- the devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or software (computer program).
- the methods described herein may be implemented using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
The invention relates, for a more authentic virtual participation of a user in a live event, to the recording of the live event during same by means of a camera device from a predetermined position within a viewing region of the live event, furthermore with the simultaneous possibility for the user to have playback signals output via his/her terminal device to one or more viewers in the viewing region and/or a device having a camera device for recording the surroundings of the camera device and an output interface for streaming at least one excerpt of the video material obtained by the camera device additionally has an information output apparatus, which outputs a playback signal, which depends on an information signal received via an input interface of the device from the terminal device of the user, to one or more people in the surroundings of the device.
Description
Konzept zur virtuellen Teilnahme an Live-Ereignissen Concept for virtual participation in live events
Beschreibung Die vorliegende Erfindung bezieht sich auf ein Konzept zur virtuellen Teilnahme an Live- Ereignissen. The present invention relates to a concept for virtual participation in live events.
Live-Übertragungen von Live-Ereignissen, wie z.B. Fußballspielen oder dergleichen, existieren in den verschiedensten Formaten. Typische Live-Übertragungen über Radio und Fernsehen ermöglichen es aber den Empfängern der Live-Übertragungen nicht, virtuell an dem jeweiligen Live-Ereignis teilzunehmen, in dem Sinne, dass sie mit irgendjemandem vor Ort in Interaktion treten könnten. Es existieren zwar bereits Live-Ereignisse, bei denen es zugeschalteten Zuschauern ermöglicht wird, ihre Euphorie, Meinung oder dergleichen über SMS-Nachrichten live den Personen vor Ort des Live-Ereignisses über Anzeigetafeln mitzuteilen, aber auch diese Möglichkeit führt nicht dazu, dass die zugeschalteten Zuschauer einen Eindruck oder ein Gefühl bekämen, sie seien bei dem Live-Ereignis dabei. In anderen Worten ausgedrückt, fehlt derzeit ein Konzept dafür, es externen Zuschauern zu ermöglichen, ein Gefühl zu erhalten, bei dem Live-Ereignis tatsächlich dabei zu sein. Die Aufgabe der vorliegenden Erfindung besteht darin, ein solches Konzept zu schaffen, nämlich ein Konzept zur virtuellen Teilnahme eines Nutzers an einem Live-Ereignis, so dass der Nutzer die Chance erhält, das Live-Ereignis authentischer zu erleben. Live broadcasts of live events, such as Football matches or the like, exist in a variety of formats. However, typical live broadcasts on radio and television do not allow the recipients of the live broadcasts to virtually participate in the particular live event, in the sense that they could interact with anyone on site. Although there are already live events in which it is enabled viewers to share their euphoria, opinion or the like via text messages live the persons on site of the live event on scoreboards, but also this possibility does not cause the switched Viewers would get an impression or a feeling that they were present at the live event. In other words, there is currently a lack of a concept for allowing external viewers to get a sense of actually being present at the live event. The object of the present invention is to provide such a concept, namely a concept for a virtual participation of a user in a live event, so that the user gets the chance to experience the live event more authentically.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche der vor- liegenden Anmeldung gelöst. This object is solved by the subject matter of the independent patent claims of the present application.
Gemäß einem ersten Aspekt der vorliegenden Anmeldung ist erkannt worden, dass man zu einer authentischeren virtuellen Teilnahme eines Nutzers an einem Live-Ereignis gelangen kann, wenn man während des Live-Ereignisses die Aufnahme desselben mittels einer Kameravorrichtung von einer vorbestimmten Position innerhalb eines Zuschauerbereichs des Live-Ereignisses aus durchführt, und zwar bei gleichzeitiger Möglichkeit für den Nutzer, über sein/ihr Endgerät Wiedergabesignale an einen oder mehrere Zuschauer in dem Zuschauerbereich ausgeben zu lassen. Die von dem Zuschauer erhaltene Perspektive, die ihm durch das Streamen zumindest eines Ausschnitts des aufgenommenen Vi- deomaterials zur Verfügung gestellt wird, vermittelt dem Nutzer somit das Gefühl, unmittelbar„dabei zu sein". Verbunden mit der Möglichkeit, Wiedergabesignale an einen oder
mehrere Zuschauer in dem Zuschauerbereich ausgeben zu lassen, führt dies zu einem authentischeren Erleben des Live-Ereignisses für den Nutzer. Die Authentizität vergrößert sich also durch Aufnahme des Live-Ereignisses aus Perspektiven, die sich eben nicht durch spektakuläre Teleaufnahmen oder sonst für Zuschauer vor Ort nicht erreichbaren Positionen oder Aufnahmen aus der Luft auszeichnen, sondern Perspektiven, bei denen Zuschauer vor Ort einen nichtverschwindenden Anteil des aufgenommenen Gesichtsfeldes ausmachen. According to a first aspect of the present application, it has been recognized that one can arrive at a more authentic virtual participation of a user in a live event, when during the live event recording the same by means of a camera device from a predetermined position within a spectator area of the live Event, while at the same time allowing the user to output via his / her terminal playback signals to one or more viewers in the audience area. The viewer's perspective provided by the streaming of at least a portion of the recorded video material thus gives the user the feeling of being "present" directly Having multiple viewers display in the audience area results in a more authentic experience of the live event for the user. The authenticity increases by recording the live event from perspectives that are characterized not just by spectacular telephoto shots or otherwise unavailable to viewers on site locations or recordings from the air, but perspectives in which viewers on site a non-vanishing share of the recorded Make out visual field.
Gemäß einem weiteren, mit dem ersten Aspekt verbindbaren, aber auch von dem ersten Aspekt unabhängig umsetzbaren Aspekt der vorliegenden Anmeldung wird eine authentischere virtuelle Teilnahme eines Nutzers an einem Live-Ereignis ermöglicht, indem eine mit einer Kameravorrichtung zum Aufnehmen einer Umgebung der Kameravorrichtung und einer Ausgangsschnittstelle zum Streamen zumindest eines Ausschnitts des durch die Kameravorrichtung erhaltenen Videomaterials ausgestattete Vorrichtung zusätzlich mit einer Informationsausgabeeinrichtung versehen wird, die ein Wiedergabesignal, das von einem Informationssignal abhängt, das über eine Eingangsschnittstelle der Vorrichtung von dem Endgerät des Nutzers empfangen wird, an eine oder mehrere Personen in der Umgebung der Vorrichtung ausgibt. Dabei kann es sein, dass die Ausgabe des Wiedergabesignals so erfolgt, dass von der Umgebung aus bzw. für die eine oder mehreren Per- sonen die Ausgabe des Wiedergabesignals und die Kameraposition zumindest in Projektion entlang einer Raumrichtung, wie z.B. in vertikaler Projektion, aus der gleichen Richtung liegen scheinen. Zum Beispiel deckt ein Gesichtsfeld der Kameravorrichtung mehr als 180° in einer vorbestimmten Ebene, wie zum Beispiel in der Horizontalen, ab. und das Wiedergabesignal wird so ausgegeben, dass es aus der Kameraposition in dieser Ebene oder einer Position auf einer Vertikalen zu dieser Ebene durch die Kameraposition herzurühren scheint. Die Koinzidenz zwischen Kameraposition und wahrgenommener Position der Ausgabe des Nutzer-initiierten Wiedergabesignals erhöht für den Nutzer die Authentizität der virtuellen Teilnahme an dem Live-Ereignis, denn die Zuschauer bzw. Personen vor Ort, die auf das Wiedergabesignal des Nutzers reagieren, werden mit hoher Wahr- scheinlichkeit auf das Wiedergabesignal in eine Richtung antworten, die dem wahrgenommenen Ausgabeort des Wiedergabesignals entspricht, und diese Position wiederum fällt zumindest aus der Perspektive des externen Nutzers in seiner Perspektive mit seiner eigenen virtuellen Position in dem Live-Ereignis zusammen, nämlich mit der Kameraposition. Der Nutzer erhält somit das Gefühl, dass seine Aktionen, d.h. das Wiedergabesignal, und Reaktionen der Personen, wie z.B. Zuschauer, vor Ort aufeinander zurückzuführen
sind, und das Gleiche gilt für die Personen vor Ort selbst auch. Dadurch steigert sich die Authentizität. According to another aspect of the present application, which can be connected to the first aspect but can also be implemented independently from the first aspect, a more authentic virtual participation of a user in a live event is made possible by using a camera device for recording an environment of the camera device and an output interface for streaming at least a portion of the video material obtained by the camera apparatus, is additionally provided with an information output device which transmits a reproduction signal, which depends on an information signal received via an input interface of the device from the user's terminal, to one or more persons the environment of the device outputs. In this case, the output of the reproduction signal may be such that the output of the reproduction signal and the camera position from the environment or for the one or more persons, at least in projection along a spatial direction, such as in vertical projection, from the same direction. For example, a field of view of the camera device covers more than 180 ° in a predetermined plane, such as in the horizontal plane. and the playback signal is output so that it seems to originate from the camera position in this plane or a position on a vertical to that plane through the camera position. The coincidence between camera position and perceived position of the output of the user-initiated playback signal increases the authenticity of the virtual participation in the live event for the user, because the on-site viewers who respond to the user's playback signal become highly true In this case, the position corresponds to the perceived output location of the playback signal, and this position coincides at least from the perspective of the external user in his perspective with his own virtual position in the live event, namely the camera position. The user thus gets the feeling that his actions, ie the playback signal, and reactions of the persons, such as spectators, back to each other locally and the same applies to the local people themselves. This increases the authenticity.
Vorteilhafte Ausgestaltungen der vorliegenden Anmeldung sind Gegenstand der abhängi- gen Patentansprüche. Bevorzugte Ausführungsbeispiele der vorliegenden Anmeldung werden nachfolgend Bezug nehmend auf die Figuren beschrieben, unter welchen Advantageous embodiments of the present application are the subject of the dependent claims. Preferred embodiments of the present application will be described below with reference to the figures, among which
Fig. 1 ein schematisches Blockschaltbild eines Systems zur virtuellen Teilnahme eines Nutzers an einem Live-Ereignis zeigt, wobei das System eine Vor- richtung für die Verwendung vor Ort sowie eine in einem Endgerät des Nutzers implementierbare Einrichtung gemäß einem Ausführungsbeispiel um- fasst; 1 shows a schematic block diagram of a system for a virtual participation of a user in a live event, the system comprising a device for on-site use as well as a device implementable in a user's terminal according to an embodiment;
Fig. 2 ein Blockschaltbild eines exemplarischen Endgeräts des externen Nutzers zeigt, in welchem die nutzerseitige Einrichtung implementierbar ist; Fig. 2 is a block diagram of an exemplary external user terminal in which the user-side device is implementable;
Fig. 3 eine schematisiert dargestellte dreidimensionale Darstellung eines Aufbaus einer Vor-Ort-Einrichtung zeigt, der die Kameravorrichtung und die Informationsausgabeeinrichtung der Vor-Ort-Einrichtung umfasst, wobei diese bei diesem Ausführungsbeispiel säulenformartig verbaut sind; 3 is a schematic three-dimensional representation of a construction of an on-site device comprising the camera device and the information output device of the on-site device, which are installed in a columnar form in this embodiment;
Fig. 4 schematisch ein Bild des Gesichtsfeldes zeigt, das durch die Kameravorrichtung in dem Fall voller Besetzung durch Zuschauer aufgenommen wird, wenn die Kameravorrichtung in dem Zuschauerbereich positioniert wird; Fig. 4 schematically shows an image of the field of view taken by the camera device in the case of full audience occupation when the camera device is positioned in the viewer area;
Fig. 5 eine schematische Darstellung einer blickrichtungsabhängigen Steuerung der Wiedergaberichtung des Wiedergabesignals des Nutzers gemäß einem Ausführungsbeispiel zeigt; Fig. 6 eine schematische Darstellung einer alternativen blickrichtungsabhängigen Fig. 5 is a schematic view showing a viewing direction-dependent control of the reproducing direction of the reproduced signal of the user according to an embodiment; Fig. 6 is a schematic representation of an alternative view direction dependent
Wiedergabe des Wiedergabesignals darstellt; und Represents playback of the playback signal; and
Fig. 7 eine schematisches Blockschaltbild eines Systems zur virtuellen Teilnahme eines Nutzers an einem Live-Ereignis, wie zum Beispiel eines Fußball-
Spiels, zeigt, und zwar mit einer exemplarischen Darstellung einer Einbettung in Infrastrukturen wie zum Beispiel sozialen Netzwerken. 7 is a schematic block diagram of a system for virtual participation of a user in a live event, such as a football event. Game, shows, with an exemplary representation of an embedding in infrastructures such as social networks.
Die nachfolgende Beschreibung von bevorzugten Ausführungsbeispielen der vorliegenden Anmeldung beginnt mit der Beschreibung eines Systems zur virtuellen Teilnahme eines Nutzers an einem Live-Ereignis mittels eines Endgeräts des Nutzers. Dabei sei aber darauf hingewiesen, dass die zu dem System gehörenden Entitäten, nämlich die Vorrichtung mit der vor Ort zu positionierenden Kameravorrichtung und das Endgerät des Nut- zers bzw. die in dem Endgerät installierbare Einrichtung getrennt vermarktbare bzw. eigenständige Entitäten und somit eigenständige Ausführungsbeispiele der vorliegenden Anmeldung sind. Das Gleiche gilt natürlich für den Verfahrensablauf, der im Zusammenhang mit der Beschreibung dargestellt wird. Das System von Fig. 1 ist allgemein mit dem Bezugszeichen 10 angezeigt und umfasst eine vor Ort, d.h. beim Live-Ereignis, zu betreibende Vorrichtung 12 und eine in einem Endgerät 14 des Nutzers 16 installierbare Einrichtung 18. Bei dem Nutzer 16 handelt es sich somit um eine Person, die sich nicht an einem Ort 20, an dem das Live-Ereignis stattfindet, befinden muss, solange sie sich irgendwo anders befinden kann. Bei dem Endge- rät 14 kann es sich beispielsweise um einen Computer, ein Mobiltelefon oder ein anderes elektronisches Gerät des Nutzers 16 handeln. Fig. 2 zeigt ein Beispiel eines solchen Endgeräts 14 detaillierter. Es umfasst einen Prozessor 20, einen Bildschirm 22, einen oder mehrere Lautsprecher 24 und eine Benutzereingabeschnittstelle 26. Die Benutzereingabeschnittstelle 26 umfasst beispielsweise ein Mikrophon 26a, eine Kamera 26c, eine Be- rührfunktion 26f des Bildschirms 22, eine Tastatur 26b, eine Maus 26g, eine Bewegungs- erfassungseinrichtung 26d, eine Gestikschnittstelle 26e oder Kombinationen derselben. Alle Einheiten könnten in einem Head-Up-Display untergebracht sein, das die Bildschirmfunktionalität des Bildschirms 22, die Lautsprecherfunktionalität des Lautsprechers 24 und eine Bewegungserfassungsfunktionalität als Benutzereingabeschnittstelle 26 sowie den Prozessor 20 aufweist. Der Prozessor 20 ist mit all den Einheiten 22, 24 und 26 verbunden. Bei der zu dem System 10 gehörigen Einrichtung 18 könnte es sich beispielsweise um eine auf dem Prozessor 20 laufende Applikation bzw. ein auf dem Prozessor 20 ausgeführtes Computerprogramm handeln. Alternativ könnte es sich bei dem Endgerät 14 um ein proprietäres Gerät, das eigens für das System 10 vorgesehen ist, handeln, in welchem Fall die Einrichtung 18 fest in das Endgerät 14 installiert wäre und somit quasi das Endge-
rät 14 selbst Teil des Systems 10 wäre. Die Installierbarkeit kann somit eine softwaremäßige oder elektrische Installierbarkeit bezeichnen. The following description of preferred embodiments of the present application will begin by describing a system for virtual user participation in a live event using a user's terminal. It should be noted, however, that the entities belonging to the system, namely the device with the camera device to be positioned on site and the user's terminal or the device installable in the terminal, can be separately marketed or independent entities and thus independent embodiments of the invention present application. The same applies, of course, to the process flow which is presented in connection with the description. The system of FIG. 1 is indicated generally by the reference numeral 10 and includes an on-site device, ie, the live event, device 12 to be operated on and a device 18 installable in a terminal 14 of the user 16. The user 16 is thus a person who does not need to be in a location 20 where the live event takes place, as long as it can be somewhere else. The terminal device 14 can be, for example, a computer, a mobile telephone or another electronic device of the user 16. Fig. 2 shows an example of such a terminal 14 in more detail. It comprises a processor 20, a screen 22, one or more loudspeakers 24 and a user input interface 26. The user input interface 26 comprises for example a microphone 26a, a camera 26c, a touch function 26f of the screen 22, a keyboard 26b, a mouse 26g, a motion detection device 26d, a gesture interface 26e or combinations thereof. All units could be housed in a head-up display having the screen functionality of the display 22, the speaker functionality of the speaker 24, and motion detection functionality as the user input interface 26, as well as the processor 20. The processor 20 is connected to all the units 22, 24 and 26. The device 18 belonging to the system 10 could be, for example, an application running on the processor 20 or a computer program running on the processor 20. Alternatively, the terminal 14 could be a proprietary device dedicated to the system 10, in which case the device 18 would be fixedly installed in the terminal 14 and thus, as it were, the terminal device. guesses 14 itself part of the system 10 would be. The installability can thus designate a software or electrical installability.
Wie bereits erwähnt, befindet sich der Nutzer 16 nicht selbst am Ort 20. Er kann sich vielmehr daheim befinden oder anderswo jenseits des Orts 20 des Ereignisses. Bei dem Ort 20 kann es sich beispielsweise um ein Fußballstadion, ein anderes Stadion, ein Theater, ein Opernhaus oder dergleichen handeln. Auf eine Art und Weise, die im Folgenden näher erörtert wird, ist das System 10 in der Lage, dafür zu sorgen, dass der Nutzer 16 zumindest virtuell an dem Live-Ereignis teilnehmen kann, das am Ort 20 stattfindet, wie z.B. ein Fußbalispiel, ein anderes sportliches Ereignis, ein Theaterstück, eine Oper oder dergleichen. Obwohl sich die nachfolgende Beschreibung eher nur auf die Beziehung zwischen einem Nutzer 16 und der Vorrichtung 12 beschäftigt, ist klar, dass auf die bezüglich des Nutzers 16 beschriebene Art und Weise eine Vielzahl von Nutzem auf die gleiche Art und Weise in den Genuss gebracht werden können, das Gefühl zu haben, das Live-Ereignis live mitzuerleben, wobei die Vorrichtung mit dieser Vielzahl interagieren würde. As already mentioned, the user 16 is not himself at the location 20. He may rather be at home or elsewhere beyond the location of the event. The location 20 may be, for example, a football stadium, another stadium, a theater, an opera house or the like. In a manner that will be discussed in more detail below, the system 10 is able to ensure that the user 16 can at least virtually participate in the live event taking place at the location 20, such as e.g. a football game, another sporting event, a play, an opera or the like. Although the following description deals only with the relationship between a user 16 and the device 12, it is to be understood that in the manner described with respect to the user 16, a variety of users may be benefited in the same manner to have the feeling of experiencing the live event live, the device would interact with this variety.
Wie bereits erwähnt, ist die Vorrichtung 12 dazu vorgesehen, vor Ort an dem Live- Ereignis betrieben zu werden. Genau genommen umfasst die Vorrichtung 12 eine Kame- ravorrichtung 28, eine Ausgangsschnittstelle 30, eine Eingangsschnittstelle 32 und eine Informationsausgabeeinrichtung 34 auf, wobei die Kameravorrichtung 28 und die Informationsausgabeeinrichtung 34 dazu vorgesehen sind, vor Ort positioniert zu werden. Es sei darauf hingewiesen, dass die Vorrichtung auch eine Steuerung 80 aufweisen kann, mit welcher und über die beispielsweise alle Einrichtungen der Vorrichtung 28 miteinander verbunden sind. Zum Teil können Funktionalitäten der Einrichtungen der Vorrichtung 28, wie z.B. der Schnittstellen 30 und 32 und der optional vorhandenen Steuerung 80 auf einem Prozessor implementiert sein, wie zum Beispiel als ein oder mehrere Programme. As already mentioned, the device 12 is intended to be operated on-site at the live event. Strictly speaking, the device 12 comprises a camera device 28, an output interface 30, an input interface 32 and an information output device 34, the camera device 28 and the information output device 34 being intended to be positioned in situ. It should be noted that the device may also include a controller 80, with which and via which, for example, all devices of the device 28 are connected to one another. In part, functionalities of the devices of the device 28, e.g. the interfaces 30 and 32 and the optional controller 80 may be implemented on a processor, such as one or more programs.
Vorzugsweise wird die Positionierung der Kameravorrichtung 28 so vorgenommen, dass die Kameravorrichtung 28, die dazu ausgebildet ist, ihre Umgebung aufzunehmen, die Aufnahme des Live-Ereignisses von einer bestimmten Position 38 innerhalb eines Zuschauerbereichs 36 des Live-Ereignisorts 20 aus vornimmt. Die Ausgangsschnittstelle streamt zumindest einen Ausschnitt des Videomaterials, das mitteis der Aufnahme durch die Kameravorrichtung 28 erhalten wird, an das Endgerät 14 des Nutzers 16 bzw. die Ein- richtung 18, damit der Nutzer 16 einen visuellen Eindruck der aufgenommenen Umgebung erhält. In dem Fall der Positionierung der Kameravorrichtung 28 so, dass die Auf-
nähme aus dem Zuschauerbereich 36 geschieht, erhält der Nutzer 16 so einen recht authentischen Eindruck, nämlich so, als ob er sich selbst unter den Zuschauern 40 befindet. In anderen Worten ausgedrückt, erzeugt die Kameravorrichtung 28 aufgrund ihrer Aufnahme ein Videomaterial 42 das von der Ausgangsschnittstelle 30 empfangen wird. Wie noch im Nachfolgenden beschrieben, kann die Kameravorrichtung 28 beispielsweise mehrere Kameras aufweisen oder eine Kamera, und das Videomaterial könnte ein Panoramavideo sein, das durch Zusammenfügen von Videos unterschiedlicher Kameras der Kameravorrichtung 28 entstanden ist, oder aber ein zusammengefügtes Video anderer Art, das z.B. kein Panoramagesichtsfeld abdeckt, oder ein Satz von mehreren Videos von Kameras der Kameravorrichtung 28, die in unterschiedliche Richtungen schauen und somit unterschiedliche Teile der Umgebung der Kameravorrichtung 28 aufnehmen und ebenfalls ein Gesichtsfeld abdecken - mit gegenseitigem Überlapp, gegeneinander angrenzend oder mit Lücken. Die Kameravorrichtung 28 besitzt also ein bestimmtes Gesichtsfeld, das sie abdeckt und aufnimmt, indem sie in diesem Gesichtsfeld mit einer oder mehreren Kameras die Umgebung mit Lücken oder lückenlos aufnimmt, und das Videomaterial 42 repräsentiert dieses Gesichtsfeld. In Fig. 1 ist repräsentativ das Gesichtsfeld vereinfachend bei 44 dargestellt. Es ist in Fig. 1 vereinfachend nicht als Panoramagesichtsfeld dargestellt, obwohl dies bei den nachfolgenden Ausführungsbeispielen der Fall ist. Die Ausgangsschnittstelle 30 streamt zu dem Nutzer 16 möglicherweise das gesamte Videomaterial 42 bezüglich des gesamten Gesichtsfeldes 44, oder nur einen Ausschnitt 46 daraus, nämlich einen räumlich eingeschränkten Teil des Gesichtsfeldes 44 betreffenden Anteil. Das Streamen selbst findet beispielsweise über das internet 49, beispielsweise mittels HTTP, statt. Eine Möglichkeit bestünde beispielsweise, dass die Ausgangsschnittstelle 30 das Videomateria! 42 zum Download durch die Einrichtung 18, beispiels- weise mittels eines geeigneten Streaming Downloadprotokolls, zur Verfügung stellt, wie z.B. zum Streamen oder Download mittels DASH. In diesem Fall wäre es beispielsweise möglich, dass die Einrichtung 18 den Ausschnitt 46 bestimmt, auf den das Streamen beschränkt wird: Der Ausschnitt 46 wird so gewählt, das sich in ihm ein Sichtausschnitt 48 befindet, welcher dem Nutzer 16 gegenüber gerade auf dem Bildschirm 22 des Endgeräts 14 angezeigt wird. Alternativ wäre es möglich, dass die Ausgangsschnittstelie 30 das Videomaterial 42 zu dem Endgerät 14 per Broadcast oder Multicastsignal überträgt, d.h. an das Endgerät 14 des Nutzers 16 in einem Vorgang zusammen zu anderen weiteren Nutzern, wobei die jeweiligen Endgeräte, wie das Endgerät 14, dann aus dem jeweiligen Broadcast- oder Multicastsignal den Sichtausschnitt 48 extrahieren und anzeigen.
Das von der Ausgangsschnittstelle 30 zu dem Endgerät 14 gestreamte Videomaterial 42, oder der Ausschnitt 46 desselben, wird in Fig. 1 mit dem Pfeil 50 veranschaulicht. Diese Richtung ist nicht die einzige. Vielmehr ist die Eingangsschnittstelle 32 dazu ausgelegt, von dem Endgerät 14 ein Informationssignal 52 zu empfangen. Die Übertragung des Sig- nals 52 könnte ebenso wie die Übertragung des Videomaterials 50 über das Internet 49 stattfinden. Preferably, the positioning of the camera device 28 is performed such that the camera device 28 adapted to receive its surroundings makes the recording of the live event from a particular position 38 within a viewer area 36 of the live event location 20. The output interface streams at least a portion of the video material received by the camera device 28 through the camera device 28 to the terminal 14 of the user 16 or the device 18 to give the user 16 a visual impression of the captured environment. In the case of positioning the camera device 28 so that the mounting would happen from the audience area 36, the user 16 gets a fairly authentic impression, namely, as if he himself is among the spectators 40. In other words, the camera device 28 generates a video material 42 that is received by the output interface 30 due to its recording. For example, as described below, the camera apparatus 28 may include a plurality of cameras or a camera, and the video material may be a panoramic video formed by composing videos of different cameras of the camera apparatus 28, or a composite video of another type, eg, none Panoramic field of view covers, or a set of multiple videos of cameras of the camera device 28, looking in different directions and thus record different parts of the environment of the camera device 28 and also cover a field of view - with mutual overlap, against each other or with gaps. The camera device 28 thus has a specific field of view, which covers and captures it by capturing the environment with gaps or gaps in this field of view with one or more cameras, and the video material 42 represents this field of view. In Fig. 1, the visual field is representatively shown at 44 representatively. It is not shown in Fig. 1 simplistic as a panoramic field of view, although this is the case in the following embodiments. The output interface 30 may stream to the user 16 all of the video material 42 relative to the entire field of view 44, or only a portion 46 thereof, namely a portion of the field of view 44 having a limited spatial extent. The streaming itself takes place, for example, via the Internet 49, for example by means of HTTP. One possibility would be, for example, that the output interface 30 the Videomateria! 42 for download by the device 18, for example by means of a suitable streaming download protocol, provides, such as streaming or download using DASH. In this case, it would be possible, for example, for the device 18 to determine the cutout 46 to which the streaming is restricted: the cutout 46 is selected such that there is a viewing cutout 48 which is directly opposite the user 16 on the screen 22 of the terminal 14 is displayed. Alternatively, it would be possible for the output interface 30 to broadcast the video material 42 to the terminal 14 by broadcast or multicast signal, ie to the terminal 14 of the user 16 in one operation together with other other users, with the respective terminals, such as the terminal 14, then Extract and display the field of view 48 from the respective broadcast or multicast signal. The video material 42 streamed from the output interface 30 to the terminal 14, or the section 46 thereof, is illustrated by the arrow 50 in FIG. This direction is not the only one. Rather, the input interface 32 is adapted to receive from the terminal 14 an information signal 52. The transmission of the signal 52 as well as the transmission of the video material 50 via the Internet 49 could take place.
Das Informationssignal 52 ist ein wie oben bereits erwähnt von der Einrichtung 18 abhängig von Benutzereingaben des Nutzers 16, die der Nutzer 16 über die Benutzereingabe- Schnittstelle 26 eingegeben hat, erzeugtes Signal, das beispielsweise eine Nachricht an einen oder mehrere der Zuschauer 40 enthält, und zwar möglicher Weise in Form einer Textnachricht, eines Videos und/oder einer Tonaufzeichnung. In anderen Worten ausgedrückt, kann in das Informationssignal 52 ein Wiedergabesignal codiert sein, wie z.B. eine Textnachricht, eine Audionachricht oder eine Videonachricht oder eine Kombination der- selben. Auf Seiten der Vorrichtung 12 wird des Wiedergabesignal dann beispielsweise durch Dekodierung erhalten. In das Informationssignal 52 könnten allerdings auch Gesten codiert sein, die der Nutzer 16 eingegeben hat. Insofern kann der Nutzer 16 zur Erzeugung des Informationssignals 52 in der Einrichtung 18 als Benutzereingabeschnittstelle 26 eine Kamera des Endgeräts 14, eine Tastatur des Endgeräts 14 und/oder ein Mikrofon des Endgeräts 14 verwendet haben. Die Eingangsschnittstelle 32 empfängt das Informationssignal 52 von dem Endgerät 14 bzw. der Einrichtung 18 und die Informationsausgabeeinrichtung 34 gibt das Wiedergabesignal, das von dem Informationssignal 52 abhängt, an eine oder mehrere Personen in der Umgebung der Kameravorrichtung aus, d.h. an eine oder mehrere Zuschauer 40. The information signal 52 is a signal generated by the device 16, which the user 16 has input via the user input interface 26, as previously mentioned, depending on user inputs of the user 16, for example, containing a message to one or more of the viewers 40, and possibly in the form of a text message, a video and / or a sound recording. In other words, in the information signal 52, a reproduction signal may be coded, e.g. a text message, an audio message or a video message or a combination of the same. On the device 12 side, the playback signal is then obtained, for example, by decoding. However, the information signal 52 could also encode gestures that the user 16 has entered. In this respect, the user 16 for generating the information signal 52 in the device 18 as a user input interface 26, a camera of the terminal 14, a keyboard of the terminal 14 and / or a microphone of the terminal 14 have used. The input interface 32 receives the information signal 52 from the terminal 14 and the device 18, respectively, and the information output device 34 outputs the reproduction signal, which depends on the information signal 52, to one or more persons in the vicinity of the camera device, i. to one or more viewers 40.
Bevor Bezug nehmend auf die nachfolgenden Figuren bevorzugte Ausbildungsbeispiele und Ausgestaltungen der oben bereits erwähnten beteiligten Module des Systems und einzelne Schritte des Ablaufs der Verwendung des Systems beschrieben werden, soll noch darauf hingewiesen werden, dass es offensichtlich sein sollte, dass die Vorrichtung 12 auch woanders eingesetzt werden könnte als in einem Zustand, bei dem die Kameravorrichtung 28 in einem Zuschauerbereich 36 positioniert ist. Die Funktionsfähigkeiten wären die gleichen. Before referring to the following figures, preferred embodiments and embodiments of the above-mentioned participating modules of the system and individual steps of the operation of the system will be described, it should be understood that it should be apparent that the device 12 is also used elsewhere could be as in a state where the camera device 28 is positioned in a viewer area 36. The functional capabilities would be the same.
Bezug nehmend auf Fig. 3 wird nun ein Ausführungsbeispiel für die Vorrichtung 12 be- schrieben, und zwar zumindest für denjenigen Teil der Vorrichtung 12, der die Kameravorrichtung 28 und die Informationsausgabeeinrichtung 34 umfasst. Zunächst sei anhand von
Fig. 3 aber veranschaulicht, dass die Informationsausgabeeinrichtung 34 und die Kameravorrichtung 28 bevorzugt auf eine vorbestimmte Art und Weise relativ zueinander angeordnet sind, wie z.B. indem sie relativ zueinander mechanisch fixiert sind, in einem gemeinsamen Gehäuse angeordnet sind oder durch ein gemeinsames Gestell gehaltert sind. Fig. 3 zeigt, dass die Kameravorrichtung 28 möglicherweise als ein Kamerasystem mit mehreren Kameras mit einem Gestell von Spiegeln 60 ausgebildet sein kann, wobei die Spiegel 60 beispielsweise wie die Seitenmantelflächen einer Pyramide angeordnet bzw. ausgerichtet sind, über welche Kameras der Kameravorrichtung 28, die in Fig. 3 nicht zu sehen sind, gespiegelt an den Spiegeln von einer Symmetrieachse 62 des Spie- gelgestells 60 wegblicken, wie es in Fig. 3 exemplarisch mit einer gestrichelten Linie 64 angedeutet ist. Auf diese Weise wäre die Kameravorrichtung 28 als Panoramakamerasystem ausgelegt, das in der Lage wäre, als Gesichtsfeld 44 einen Raumwinkelbereich abzudecken, der in der Ebene senkrecht zur Symmetrieachse 62 des Aufbaus 60 360° abdeckt und senkrecht dazu beispielsweise einen Öffnungswinkel von größer als 30° abdeckt, wie z. B. 30° bis 150°, oder einen Öffnungswinkel in einem Bereich von 45° bis 120°. Referring now to FIG. 3, an embodiment of the device 12 will be described, at least for that portion of the device 12 that includes the camera device 28 and the information output device 34. First, let's start with However, FIG. 3 illustrates that the information output device 34 and the camera device 28 are preferably arranged in a predetermined manner relative to each other, such as mechanically fixed relative to each other, disposed in a common housing, or supported by a common frame. 3 shows that the camera device 28 may possibly be configured as a camera system with a plurality of cameras with a frame of mirrors 60, the mirrors 60 being arranged, for example, like the lateral surface areas of a pyramid, via which cameras the camera device 28, 3, mirrored on the mirrors of an axis of symmetry 62 of the mirror gelgestells 60 look away, as in Fig. 3 by way of example with a dashed line 64 is indicated. In this way, the camera device 28 would be designed as a panoramic camera system, which would be able to cover as field of view 44 a solid angle range which covers 360 ° in the plane perpendicular to the axis of symmetry 62 of the structure 60 and perpendicular thereto, for example, covering an opening angle of greater than 30 ° , such as B. 30 ° to 150 °, or an opening angle in a range of 45 ° to 120 °.
Wie es nun in Fig. 3 veranschaulicht ist, ist es vorteilhaft, wenn die Informationsausgabeeinrichtung 34 zumindest entlang der axialen Richtung 62 am gleichen Ort angeordnet sind, d.h. die Projektionen von Kameravorrichtung 28 und Informationsausgabeeinrich- tung 34 entlang der Achse 62 aufeinander fallen. In anderen Worten ausgedrückt, sind Kameravorrichtung 28 und Informationsausgabeeinrichtung 34 auf einer gemeinsamen Achse 62 gehaltert. Fig. 3 zeigt beispielsweise, dass die Informationsausgabeeinrichtung 34 eine visuelle Anzeige 66 aufweisen kann und/oder ein Lautsprecherarray 68. Beide, d.h. die Anzeige 66 und das Lautsprecherarray 68, sind zur omnidirektionalen Anzeige bzw. Audiowiedergabe ausgestaltet. In anderen Worten ausgedrückt, ist eine Anzeigefläche der Anzeige 66 zylindrisch oder als Polygon ausgestaltet, um eine Anzeige nach allen Seiten von der Achse 62 aus zu ermöglichen, und das Lautsprecherarray 68 als ein Array von Lautsprechern mit Abstrahlrichtungen, die in unterschiedliche, diskrete Richtungen weg von der Achse 62 angeordnet sind. Die Lautsprecher des Arrays 68 sind beispiels- weise entlang eines Kreises oder entlang eines Polygons um die Achse 62 herum angeordnet, und auch die Anzeigefläche der Anzeige 66 könnte symmetrisch um die Achse 62 angeordnet sein, wie z. B. als die Mantelfläche eines Zylinders, Prismas oder einer Pyramide, wobei nicht zwingend die vollständige Mantelfläche als Anzeigefläche ausgebildet sein muss, sondern beispielsweise ein vorbestimmter Teil, wie z.B. weniger als 40% oder weniger als 20%, der Zylinderfläche, Prismenfläche oder Pyramidenstummfläche nicht zur Anzeige gehören, sondern beispielsweise zum Gehäuse gehören. Es reicht aber aus,
wenn visuelle Anzeige 66 und/oder Lautsprecherarray 68 in diskrete Richtungen abstrahlen können, die in Projektion entlang der Achse 62 über das Gesichtsfeld 44 verteilt sind. Omnidirektionalität ist für die Kameravorrichtung 28 nicht erforderlich und für die Informationsausgabeeinrichtung 34 reicht eine Wiedergabe in Richtungen innerhalb des aufge- spannten Gesichtsfeldes 44. As is now illustrated in FIG. 3, it is advantageous if the information output device 34 are arranged at the same location at least along the axial direction 62, ie the projections of the camera device 28 and information output device 34 coincide with one another along the axis 62. In other words, camera device 28 and information output device 34 are mounted on a common axis 62. For example, FIG. 3 shows that the information output device 34 may include a visual display 66 and / or a speaker array 68. Both the display 66 and the speaker array 68 are configured for omnidirectional display and audio reproduction, respectively. In other words, a display area of the display 66 is cylindrical or polygonal to allow display to all sides from the axis 62, and the speaker array 68 is an array of speakers having radiating directions in different, discrete directions are arranged from the axis 62. The loudspeakers of the array 68 are arranged, for example, along a circle or along a polygon about the axis 62, and also the display surface of the display 66 could be arranged symmetrically about the axis 62, such. Example, as the lateral surface of a cylinder, prism or a pyramid, wherein not necessarily the complete lateral surface must be designed as a display surface, but for example, a predetermined part, such as less than 40% or less than 20%, the cylindrical surface, prism surface or pyramid Silent surface not belong to the display, but belong to the housing, for example. But it is enough when visual display 66 and / or loudspeaker array 68 can emit in discrete directions that are projected along axis 62 across field of view 44. Omnidirectionality is not required for camera device 28, and for information output device 34, playback is in directions within the field of view stretched 44.
In Fig. 3 ist es exemplarisch so dargestellt, dass sich die Anzeige 66 über der Kameravorrichtung 28 befindet, während das Lautsprecherarray 68 unterhalb der Kameravorrichtung 28 angeordnet ist, aber die gegenseitige Lage entlang der Achse 62 könnte auch anders sein. Die ausgerichtete Anordnung entlang der Achse 62 sorgt aber dafür, dass von der durch die Kameravorrichtung 28 aufgenommenen Umgebung aus die Ausgabe des Wiedergabesignals durch die Informationsausgabeeinrichtung 34 von einer Position aus wahrgenommen wird, die zumindest in Projektion entlang der Raumrichtung 62 mit der Kameraposition der Kameravorrichtung 28 übereinstimmt. Genauer ausgedrückt, unab- hängig davon, wo sich eine Person in dem Gesichtsfeld 44 der Kameravorrichtung 28 befindet, wird diese Person das Wiedergabesignal aus einer Richtung kommend wahrnehmen, die die Achse 62 schneidet, d.h. aus einer Position wenigstens oberhalb oder unterhalb der Kameravorrichtung 28 oder sogar genau aus der gleichen Richtung, d.h. der Richtung, in der für die Person die Kameravorrichtung 28 räumlich positioniert ist. In Fig. 3, it is exemplarily shown that the display 66 is above the camera device 28 while the speaker array 68 is located below the camera device 28, but the mutual position along the axis 62 could also be different. The aligned arrangement along the axis 62, however, ensures that, from the environment captured by the camera device 28, the output of the playback signal is perceived by the information output device 34 from a position at least in projection along the spatial direction 62 with the camera position of the camera device 28 matches. More specifically, regardless of where a person is in the field of view 44 of the camera device 28, that person will perceive the playback signal coming from a direction intersecting the axis 62, i. from a position at least above or below the camera device 28, or even from the same direction, i. the direction in which the camera device 28 is spatially positioned for the person.
Für eine Person, wie z.B. einen Zuschauer 40 im Gesichtsfeld 44 ergibt sich dadurch das Gefühl, dass das Wiedergabesignal, das von der Informationswiedergabeeinrichtung 34 ausgegeben wird, von dem Aufbau 70 stammt, dass die informationsausgabeeinrichtung 34 und die Kameravorrichtung 28 umfasst, und in welcher selbige eingebaut sind. Dies wiederum gibt der oder den Personen 40 das Gefühl, dass sie ein„Gegenüber vor sich haben, mit welchem sie kommunizieren können, denn der Nutzer 16, von dem das Wiedergabesignal stammt, kann die betreffende Person bzw. die betreffenden Personen über das Videomaterial 50, das durch die Kameravorrichtung 28 erhalten wird, sehen und das Wiedergabesignal, das aus dem Informationssignal 52 erzeugt wird, entspricht somit einer „Reaktion" auf die aufgenommene Szene in dem Gesichtsfeld 44. Auf diese Weise erhalten sowohl Nutzer 16 als auch Personen 40 in der Umgebung der Kameravorrichtung 28 das Gefühl, den jeweils anderen Kommunikationspartner„vor sich zu haben". Dies erhöht die Authentizität, wie gewünscht, vor allem auf Seiten des Nutzers 16, der eigentlich nicht vor Ort ist.
In Fig. 3 ist der Aufbau 70, der die Kameravorrichtung 28 und die Informationsausgabeeinrichtung 34 beherbergt, als Gestell oder Gehäuse ausgelegt und besitzt eine im Wesentlichen säulenhafte Gestalt und vor allem weist sie eine Standfläche 72 auf, die als Fuß oder Verankerung des Aufbaus 70 ausgestaltet ist, um den Aufbau 70 auf dem Bo- den aufzustellen, so dass die Achse 62, beispielsweise der Vertikalen entspricht. Der Aufbau 70 kann dazu ausgelegt sein, fest mit dem Boden verankert zu werden, wie zum Beispiel einbetoniert oder dergleichen. Alternativ kann der Aufbau 70 so ausgelegt sein, dass er reversibel auf der Standfläche 72 aufgestellt und fixiert werden kann, wie z. B. mittels Schrauben oder dergleichen. Lediglich der Vollständigkeit halber wird darauf hingewiesen, dass die Standfläche 72 natürlich nicht notwendigerweise vorhanden sein muss, so dass der Aufbau 70 beispielsweise auch an einer Decke oder über Drahtseile fixiert sein könnte. For a person, such as a viewer 40 in the field of view 44, this gives the feeling that the playback signal output from the information reproducing device 34 comes from the structure 70 comprising the information output device 34 and the camera device 28, and in which are installed. This in turn gives the person or persons 40 the feeling that they have a "counterpart with whom they can communicate, because the user 16, from whom the playback signal originates, can use the video material 50 to inform the person or persons concerned seen by the camera device 28, and the playback signal generated from the information signal 52 thus corresponds to a "response" to the recorded scene in the field of view 44. In this way, both users 16 and persons 40 in the Surrounding the camera device 28 the feeling of "having the other communication partner" in front of him. This increases the authenticity, as desired, especially on the part of the user 16, who is actually not on site. In FIG. 3, the assembly 70 housing the camera device 28 and the information output device 34 is designed as a frame or housing and has a substantially columnar shape and, more particularly, has a footprint 72 configured as a foot or anchorage of the assembly 70 is to set up the structure 70 on the floor, so that the axis 62, for example, corresponds to the vertical. The assembly 70 may be configured to be firmly anchored to the ground, such as in-set or the like. Alternatively, the structure 70 may be designed so that it can be reversibly placed and fixed on the base 72, such. B. by means of screws or the like. Of course, for the sake of completeness, it is pointed out that the standing surface 72 does not necessarily have to be present, so that the structure 70 could also be fixed to a ceiling or wire ropes, for example.
Fig. 3 zeigt ferner, dass optional noch weitere Komponenten des Systems 10 in dem Auf- bau 70 untergebracht sein könnten. Beispielsweise könnte ein Mikrofonarray oder ein Mikrofon als ein Beispiel einer Audioaufnahmevorrichtung 74 in dem Aufbau 70 untergebracht sein, um die aus dem Gesichtsfeld 44 der Kameravorrichtung 28 herrührende Audioszene aufzunehmen, und zwar an einer Position, die im Wesentlichen auf der Achse 62 liegt. Die Ausgangsschnittstelle 30 würde demnach von der Audioaufnahmevorrichtung 74 eine Audiorepräsentation erhalten, nämlich das Ergebnis der Audioaufnahme der Umgebung der Kameravorrichtung 28, und würde ein von der Audiorepräsentation abgeleitetes Audiosignal 76 an das Endgerät 14 bzw. die Einrichtung 18 senden. Auch diese Übertragung könnte natürlich über das Internet 49 stattfinden. Das Audiosignal 76 könnte beispielsweise ein Multikanal-oder Multiobjektsignal sein, wie z.B. ein MPEG-Surround- oder SAOC-Signal. Insbesondere könnte also das Audiosigna! 76 so ausgestaltet sein, dass es die räumliche Audioszene repräsentiert, die von dem Gesichtsfeld 44 in Richtung der Kameravorrichtung 28 eintrifft. Die Einrichtung 18 könnte das Audiosignal 76 dem Nutzer 16 über den einen oder die mehreren Lautsprecher 24 wiedergeben. Dabei wäre es möglich, dass die Einrichtung 18 das Audiosignal 76 einer Verarbeitung unterzieht, so dass die Audioszene an die Richtung angepasst wird, in der der Sichtausschnitt 48 liegt. Das Audiosignal 76 könnte ebenso wie das Videomaterial 50 mittels Broadcast oder Muiticast einer Vielzahl von Nutzern gesendet werden. Alternativ wäre es möglich, dass das Audiosignal 76 ebenso wie das Videomaterial 50 mittels eines Streamingprotokolls von der Einrichtung 18 heruntergeladen wird. In diesem Fall wäre es möglich, dass das Audiosignal 76 von der Einrichtung 18 bereits gezielt heruntergeladen wird bzw. so, dass das Audiosignal 76 bereits die Audioszene an die Richtung 48 angepasst repräsentiert. In diesem Fall
könnte das Audiosignai 76 beispielsweise ein Stereosignal sein, das der Audioszene entspricht, die aus dem Gesichtsfeld 44 stammt, und in welcher linker und rechter Kanal relativ zu der Richtung des Sichtausschnittes 48 ausgerichtet sind. Fig. 3 zeigt ferner, dass der Aufbau 70 als weitere Komponente der Vorrichtung 12 eine Gesteneingabeschnittstelle 78 umfassen könnte, die beispielsweise einen Satz von Kameras aufweist, die in diskrete unterschiedliche Richtungen weg von der Achse 62 blicken und in der Lage sind, Gesten zu erkennen, die von Personen in dem Gesichtsfeld 44 stammen. Mit dieser Einrichtung 78 wären Personen in der Kameraumgebungsvorrich- tung, wie z.B. die Zuschauer 40, in der Lage, per Gesten Befehle an eine optional vorhandene Steuerung 80 der Vorrichtung 12 auszugeben, wie z.B. einen Befehl, eine Videokonferenz mit einem bestimmten Nutzer 16 aufzubauen oder zu beenden. Beispiele hierfür folgen noch. Schließlich zeigt Fig. 3 noch exemplarisch, dass es möglich sein könnte, dass der Aufbau 70 auch Schnittstellen zu Endgeräten von Personen in der Kameraumgebungsvorrichtung, wie z.B. Zuschauern 40, beherbergt, wie z.B. Drahtlosschnittstellen, wie z.B. eine Wi-Fi-Schnittstelle, eine Bluetooth-Schnittstelle oder dergleichen. Hierdurch könnten die Personen 40 in der Umgebung der Kameraumgebungsvorrichtung bzw. des Aufbaus 70, ebenfalls Befehle eingeben, wie z.B. den soeben erwähnten Befehl zum Aufbau oder zum Beenden einer Videokonferenz mit einem bestimmten Nutzer 16. FIG. 3 further shows that optionally further components of the system 10 could be accommodated in the structure 70. For example, as an example of an audio pickup device 74, a microphone array or microphone could be housed in the assembly 70 to pick up the audio scene originating from the field of view 44 of the camera device 28 at a position substantially on the axis 62. The output interface 30 would thus receive an audio presentation from the audio capture device 74, namely the result of the audio capture of the environment of the camera device 28, and would send an audio signal 76 derived from the audio presentation to the terminal 14 and the device 18, respectively. Of course, this transmission could also take place via the Internet 49. The audio signal 76 could be, for example, a multi-channel or multi-object signal, such as an MPEG surround or SAOC signal. In particular, the audio signal! 76 may be configured to represent the spatial audio scene arriving from the field of view 44 toward the camera device 28. The device 18 could play the audio signal 76 to the user 16 via the one or more speakers 24. In this case, it would be possible for the device 18 to process the audio signal 76 so that the audio scene is adapted to the direction in which the viewing section 48 lies. The audio signal 76, like the video material 50, could be broadcast by broadcast or multi-user to a plurality of users. Alternatively, it would be possible for the audio signal 76 as well as the video material 50 to be downloaded from the device 18 by means of a streaming protocol. In this case, it would be possible that the audio signal 76 is already being selectively downloaded by the device 18 or so that the audio signal 76 already represents the audio scene adapted to the direction 48. In this case For example, the audio signal 76 could be a stereo signal corresponding to the audio scene originating from the field of view 44, and in which left and right channels are aligned relative to the direction of the field of view 48. FIG. 3 further shows that the assembly 70, as another component of the device 12, could include a gesture input interface 78 comprising, for example, a set of cameras looking in discrete, different directions away from the axis 62 and capable of recognizing gestures that originate from persons in the field of view 44. With this device 78, persons in the camera-forming device, such as the viewers 40, would be able to gesture-issue commands to an optional controller 80 of the device 12, such as commanding to set up a videoconference with a particular user 16 to end. Examples will follow. Finally, FIG. 3 shows, by way of example, that it may be possible that the assembly 70 also houses interfaces to terminals of persons in the camera designation device, such as viewers 40, such as wireless interfaces, such as a Wi-Fi interface, a Bluetooth Interface or the like. This would also allow the people 40 in the vicinity of the camera building device or assembly 70 to enter commands, such as the just-mentioned command to set up or end a videoconference with a particular user 16.
Um eine besonders authentische virtuelle Teilnahme des Nutzers 16 an die Veranstaltung bzw. dem Ereignis zu gewähren, ist es vorteilhaft, wenn die Kameravorrichtung 28 in einer bestimmten Höhe h oberhalb des Bodens, wie z.B. gegenüber der Bodenhöhe des Zuschauerbereichs positioniert wird. In dem Fall von Fig. 3 wird die Höhe h beispielsweise über den Abstand der Kameravorrichtung 28 von der Standfläche 72 festgelegt. Allerdings bestehen natürlich auch andere Möglichkeiten zur Anordnung der Kameravorrichtung 28, wie es im Vorhergehenden erwähnt worden ist. Vorteilhaft ist, wenn die Höhe h beispiels- weise zwischen 1 bis 2,5 m (jeweils einschließlich) liegt, da dann für den Nutzer 16 das Gesichtsfeld 44 aus einer Höhe erblickt zu sein scheint, die auch den üblichen Blickhöhen bzw. Perspektiven von Personen bzw. Zuschauern 40 vor Ort zu entsprechen scheint. Bei Positionierung der Kameravorrichtung 28 ergibt sich beispielsweise in dem Gesichtsfeld 44 unter der Annahme einer dichten Besetzung des Zuschauerbereichs 36 mit Zuschau- ern ein Flächenverhältnis zwischen von Zuschauern eingenommener Sicht, die in Fig. 4 mit Kreuzschraffur dargestellt ist, 84 zu der Fläche des Gesichtsfeldes 44, in welcher die
Sicht nicht durch Zuschauer blockiert ist, von mehr als 20%. In Fig. 4 sind eher mehr als 50% dargestellt. Dies ergibt ein sehr authentisches Gefühl für den Nutzer 16. In order to grant a particularly authentic virtual participation of the user 16 to the event or event, it is advantageous if the camera device 28 is positioned at a certain height h above the ground, such as, for example, with respect to the ground level of the audience area. In the case of FIG. 3, the height h is determined, for example, by the distance of the camera device 28 from the standing surface 72. However, of course, there are other possibilities for arranging the camera device 28, as mentioned above. It is advantageous if the height h is, for example, between 1 to 2.5 m (in each case inclusive), since then for the user 16 the visual field 44 appears to be viewed from a height which also corresponds to the usual viewing heights or perspectives of persons or on-site spectators 40 seems to match. When the camera device 28 is positioned, for example, in the field of view 44 assuming a dense population of the viewer area 36 with spectators, an area ratio between view taken by spectators, represented in FIG. 4 by crosshatching, 84 to the area of the field of view 44 results in which the View is not blocked by viewers, more than 20%. In Fig. 4, more than 50% are shown. This gives a very authentic feeling for the user 16.
Fig. 5 geht näher auf die bereits oben erwähnte Möglichkeit ein, dass die Informations- ausgabeeinrichtung 34 dazu ausgebildet sein kann, dass die Wiedergabe des Wiedergabesignals richtungsselektiv abgebbar ist, d.h. richtungsselektiv in eine Richtung innerhalb des Gesichtsfelds 44 der Kameravorrichtung 28. Fig. 5 stellt exemplarisch den Fall eines 360°-Gesichtsfelds 44 dar, in welchem Fall die Informationsausgabeeinrichtung 34 beispielsweise in der Lage wäre, das Wiedergabesignal in unterschiedliche Richtungen von beispielsweise der Achse 32 weg auszugeben. Die Ausgabe könnte beispielsweise die Anzeige des Wiedergabesignals optisch in die bestimmte Richtung beinhalten, oder die Ausgabe des Wiedergabesignals über einen Lautsprecher in die entsprechende Richtung. Wie es Fig. 5 nun andeutet, geschieht die Ausgabe in eine Richtung, die einem augenblicklichen Sichtausschnitt 48 aus dem Gesichtsfeld 44 entspricht, das dem Nutzer 16 einem Endgerät 14 über beispielsweise den Bildschirm 22 desselben angezeigt wird. Fig. 5 zeigt exemplarisch über einen schraffierten Bereich 86 der Informationsausgabeeinrichtung 34, welcher Bereich 86 der Informationsausgabeeinrichtung 34 aktiviert wird, um das Wiedergabesignal des Nutzers 16 in die Kameravorrichtungsumgebung auszugeben. Um dies zu gewährleisten, ist die Einrichtung 18 beispielsweise ausgebildet, um über die Be- nutzereingabeschnittstelle 26 abhängig von dem Nutzer 16 eine virtuelle Blickrichtung 88 zu bestimmen, anhand welcher der Nutzer 16 in die Szene in dem Gesichtsfeld 44 blickt. Die Benutzereingabeschnittstelle 26, die die Einrichtung 18 hierzu nutzt, ist beispielsweise ein Bewegungssensor des Endgeräts 14. Die Einrichtung 18 erzeugt abhängig von der virtuellen Blickrichtung 88 ein Richtungssignal 90, das sie an die Vorrichtung 12 sendet, wo es beispielsweise von der Eingangsschnittstelle 32 empfangen wird. Die Übertragung kann wieder über das Internet 49 geschehen. Das Richtungssignai 90 codiert beispielsweise die Blickrichtung 88. Möglich wäre auch, dass das Richtungssignal 90 das Signal ist, das den Ausschnitt 46 des Videomaterials festlegt, der von der Vorrichtung 12 an die Einrichtung 18 bzw. das Endgerät 14 des Nutzers 16 gesendet wird. Der Vorteil der rieh - tungsselektiven Ausgabe des Wiedergabesignals in eine Richtung, die der virtuellen Blickrichtung 88 des Nutzers 16 entspricht, hat den Vorteil, dass Personen oder Zuschauer 40, die sich nicht in dem Sichtfeld 48 des Nutzers 16 befinden, das Wiedergabesignal, das von dem Nutzer 16 stammt, nicht, oder nicht so sehr wahrnehmen und somit mitunter auch nicht so sehr fälschlicherweise auf sich beziehen können, wodurch die Authentizität verbessert wird. Zudem ermöglicht es dieses Vorgehen, eine größere Anzahl von Nutzern gleichzeitig mit den Personen, die sich als Zuschauer 40 in dem Gesichtsfeld 44 der Ka-
meravorrichtungsumgebung befinden, zu kommunizieren zu lassen, da die einzelnen Kommunikationen zwischen den einzelnen Nutzern einerseits und den Zuschauern 40 andererseits entlang der Horizontalen bzw. der Quererstreckungsrichtung des Gesichtsfeld 44, d.h. in Projektion entlang der Richtung 32, „verteilt" werden können. Nutzer 16, die in die gleiche Blickrichtung 88 sehen, konkurrieren mit ihren Wiedergabesignalen miteinander und es kann hierzu vorgesehen sein, dass, wie im Nachfolgenden noch erwähnt, ein Selektionsprozess ausgeführt wird, um zu entscheiden, welcher Nutzer 16 in die entsprechende Richtung sein Wiedergabesignal ausgeben kann und welcher gegebenenfalls nicht. Dieser Selektionsprozess könnte automatisch erfolgen, wie z.B. anhand von be- stimmten Prioritätsrechten der Nutzer 16 oder sonstigen den Nutzern 16 zugeordneten Charakteristika, wie z.B. der Anzahl von Likes in sozialen Netzwerken oder dergleichen. Anstelle einer automatischen Selektion könnte allerdings auch zusätzlich oder alternativ eine Selektion manuell durch den Betreiber des Systems 10 erfolgen. Fig. 5 zeigt also, dass das Wiedergabesignal, das von einem bestimmten Nutzer 16 stammt, über die Informationsausgabeeinrichtung 34 in eine bestimmte Richtung ausgegeben werden kann. Die Richtungsselektivität schlägt sich beispielsweise darin nieder, dass das Wiedergabesignal an einen oder mehreren Lautsprechern der Informationsausgabeeinrichtung 34 ausgegeben werden, die im Wesentlichen in Richtung 88 abstrahlen. Alternativ oder zusätzlich, wird das Wiedergabesignal in einem Teil einer Anzeige der Informationsausgabeeinrichtung 34 angezeigt, die in die Richtung 88 weist oder am ehesten aus der Richtung 88 sichtbar ist. In dem Fall der Audiowiedergabe des Wiedergabesignals ist es natürlich möglich, mehrere Wiedergabesignale einander zu überlagern. In dem Fall einer optischen Anzeige, d. h. an einer Anzeige oder einem Bildschirm der In- formationsausgebeeinrichtung 34, könnte anstelle einer Überlagerung eine örtliche Aufteilung der Anzeigefläche verwendet werden. Anders ausgedrückt, würden Teile oder die gesamte zur Verfügung stehende Anzeigefläche der Informationsausgabeeinrichtung 34 aufgeteilt werden, um sie einer Teilmenge von einem oder mehreren Nutzern 16 aus allen Nutzern 16 zuzuweisen, die mit der Vorrichtung 12 in Verbindung stehen, wobei die Zu- Weisung ebenso erfolgt, dass Nutzern 16 solche Teile der Anzeigefläche zugewiesen werden, die der Blickrichtung 88 dieses Nutzers zugewandt sind. Aufgrund der begrenzten Anzahl solcher Anzeigebereiche kann eine Selektion erfolgen, die wie bereits erwähnt automatisch und/oder manuell durch den Systembetreiber erfolgen kann. Das in einem solchen Teil 86 einer Anzeige angezeigte Wiedergabesignal könnte ein Video, das über eine Kamera des Endgerätes 14, die als Benutzereingabeschnittstelle 26 fungiert, aufgezeichnet ist, oder eine Textnachricht sein, die der Nutzer 16 beispielsweise über ein Mik-
rophon mit Spracherkennung des Endgerätes 14 oder eine Tastatur des Endgerätes 14 als Benutzereingabeeinrichtung 26 eingegeben hat. Auch bei der Audiowiedergabe des Wiedergabesignals der Nutzer 16 kann eine Selektion stattfinden, um die gegenseitige Überlagerung der Audiowiedergabesignale anzahlmäßig zu begrenzen. Letztere Wieder- gabesignale können über ein Mikrophon des Endgerätes 14 als Benutzereingabeeinrichtung 26 eingegeben worden sein. FIG. 5 details the possibility already mentioned above that the information output device 34 can be configured such that the reproduction of the reproduction signal can be output in a directionally selective manner, ie directionally selective in one direction within the field of view 44 of the camera device 28. FIG by way of example, the case of a 360 ° field of view 44, in which case the information output device 34 would be capable, for example, of outputting the playback signal in different directions from, for example, the axis 32. For example, the output could include displaying the playback signal optically in the particular direction, or outputting the playback signal via a speaker in the appropriate direction. As indicated in Fig. 5, the output is in a direction corresponding to an instant visual field 48 from the field of view 44 displayed to the user 16 via a terminal 14 via, for example, the screen 22 thereof. 5 shows, by way of example, a hatched area 86 of the information output device 34, which area 86 of the information output device 34 is activated in order to output the playback signal of the user 16 into the camera device environment. In order to ensure this, the device 18 is designed, for example, to determine via the user input interface 26, depending on the user 16, a virtual viewing direction 88, by means of which the user 16 looks into the scene in the field of view 44. The user input interface 26, which uses the device 18 for this purpose, is, for example, a motion sensor of the terminal 14. The device 18 generates a direction signal 90 depending on the virtual line of sight 88, which sends it to the device 12, where it is received by the input interface 32, for example , The transmission can happen again via the Internet 49. The direction signal 90 encodes, for example, the line of sight 88. It would also be possible for the direction signal 90 to be the signal that defines the section 46 of the video material sent by the device 12 to the device 18 or the terminal 14 of the user 16. The advantage of the raster-selective output of the playback signal in a direction corresponding to the virtual line of sight 88 of the user 16 has the advantage that persons or viewers 40 who are not in the field of view 48 of the user 16, the playback signal from the user 16 is not, or not so much perceive and therefore sometimes not so much can refer to wrongly, whereby the authenticity is improved. In addition, this approach allows a larger number of users simultaneously with the persons acting as spectators 40 in the visual field 44 of the camera. On the other hand, since the individual communications between the individual users on the one hand and the viewers 40 on the other hand can be "distributed" along the horizontal or transverse extension direction of the visual field 44, ie, projected along the direction 32. which look in the same viewing direction 88 compete with each other with their playback signals, and it can be provided for this purpose that, as will be mentioned below, a selection process is carried out to decide which user 16 can output his playback signal in the appropriate direction and which This selection process might be automatic, such as based on certain priority rights of the users 16 or other characteristics associated with the users 16, such as the number of likes in social networks or the like Additionally or alternatively, a selection manually by the operator of the system 10. Thus, Fig. 5 shows that the playback signal originated by a particular user 16 can be outputted via the information output device 34 in a certain direction. The directional selectivity is reflected, for example, in that the playback signal is output to one or more speakers of the information output device 34, which radiate substantially in the direction 88. Alternatively or additionally, the playback signal is displayed in a portion of a display of the information output device 34 which faces in the direction 88 or is most visible from the direction 88. In the case of the audio reproduction of the reproduction signal, it is of course possible to superimpose a plurality of reproduction signals on each other. In the case of an optical display, ie on a display or a screen of the information output device 34, a local distribution of the display area could be used instead of an overlay. In other words, parts or all of the available display area of the information output device 34 would be split to assign to a subset of one or more users 16 from all users 16 associated with the device 12, the assignment also being made in that users 16 are assigned to those parts of the display area which face the viewing direction 88 of this user. Due to the limited number of such display areas, a selection can be made which, as already mentioned, can be performed automatically and / or manually by the system operator. The playback signal displayed in such a portion 86 of a display could be a video recorded via a camera of the terminal 14 functioning as a user input interface 26, or a text message which the user 16 may transmit via a microphone, for example. rophon with speech recognition of the terminal 14 or a keyboard of the terminal 14 has entered as user input device 26. Also in the audio playback of the playback signal of the user 16, a selection can take place in order to limit the mutual superimposition of the audio playback signals in number. The latter playback signals may have been input via a microphone of the terminal 14 as user input device 26.
Bevor Bezug nehmend auf die obigen Figuren konkrete Implementierungsmöglichkeiten erörtert werden sowie vorteilhafte Ausgestaltungen, sei noch darauf hingewiesen, dass in dem Fall des Ausführens des Verfahrens zur virtuellen Teilnahme des Nutzers 16 an einem Live-Ereignis, bei dem die Kameravorrichtung 28 so positioniert wird, dass sie das Live-Ereignis von einer Position innerhalb des Zuschauerbereichs 36 aufnimmt, gegebenenfalls hinsichtlich der Ausgabe des von dem Informationssignal 52 des Nutzers 16 abhängigen Wiedergabesignals Lockerungen vorgenommen werden können, wie z.B. hin- sichtlich des Orts, wo die Informationssignalwiedergabe vorgenommen wird. Diese kann z.B. auch anderen Orts stattfinden, d.h. nicht ko-lokal oder am gleichen Ort wie die Position der Kameravorrichtung 28. Beispielsweise könnte die Informationsausgabeeinrichtung 34 Lautsprecher aufweisen, die in der Kameraumgebungsvorrichtung 34 verteilt sind, und anstatt einer richtungsselektiven Audioausgabe würde eine ortselektive Audioausgabe in dem Sinne erfolgen, dass diejenigen Lautsprecher bzw. derjenige Lautsprecher zur Wiedergabe des Wiedergabesignals eines bestimmten Nutzers 16 aktiviert werden würde, der von der Kameravorrichtung 28 aus gesehen in der Blickrichtung 88 liegt bzw. in dem Sichtausschnitt 48, den sich der Nutzer 16 gerade anschaut. In diesem Fall würde weiterhin erzählt werden, dass vornehmlich Personen bzw. Zuschauer 40 das Wiedergabesig- nal eines Nutzers 16 erhalten, die auch in dem Sichtfeld des Letzteren stehen oder sitzen, wenngleich das Gefühl für die angesprochene Person bzw. den angesprochenen Zuschauer 40 verlorengeht, das Wiedergabesignale könne von dem Aufbau 70 kommen. Before referring to the above figures concrete implementation possibilities are discussed, as well as advantageous embodiments, it should be noted that in the case of carrying out the method of virtual participation of the user 16 in a live event in which the camera device 28 is positioned such that it receives the live event from a position within the viewer area 36, optionally with regard to the output of the dependent of the information signal 52 of the user 16 playback signal relaxations can be made, such as with respect to the location where the information signal reproduction is made. This can e.g. take place elsewhere, i. not co-local or in the same location as the position of the camera device 28. For example, the information output device 34 could comprise speakers distributed in the camera designation device 34, and instead of a directionally selective audio output, a location-selective audio output would take place in the sense that those speakers or the loudspeaker for reproducing the reproduction signal of a specific user 16 would be activated, which, viewed from the camera device 28, lies in the viewing direction 88 or in the viewing section 48, which the user 16 is currently looking at. In this case, it would also be said that primarily persons or viewers 40 receive the playback signal of a user 16 who also stands or sits in the field of vision of the latter, although the feeling for the addressed person or viewer 40 is lost, the playback signal may come from the setup 70.
Die zuletzt angesprochene Situation ist der Vollständigkeit halber nochmal in Fig. 6 ange- deutet, wo unter Lautsprechern eines Arrays von Lautsprechern, die von der Informationsausgabe, die von der Informationsausgabeeinrichtung 34 umfassten, ein solcher Teil mit dem Wiedergabesignal, das von dem Nutzer 16 stammt, beaufschlagt wird, der in dem Bereich liegt, in dem die virtuelle Blickrichtung 88 weist, bzw. in dem Bereich, der projiziert entlang der Richtung 32 mit dem Sichtausschnitt 48 überlappt. In Fig. 5 sind diese Laut- Sprecher schraffiert angedeutet. Anstelle von Lautsprecherkanälen könnten auch eine
andere Art von Wiedergabeorten verteilt angeordnet sein, wie z.B. ein Bildschirme an jedem Zuschauersitzplatz oder dergleichen. For the sake of completeness, the last-mentioned situation is again indicated in FIG. 6, where, among speakers of an array of loudspeakers, which are comprised of the information output comprised by the information output device 34, such a part coincides with the playback signal originating from the user 16 , which lies in the region in which the virtual viewing direction 88 points, or in the region which projects in the direction 32 overlaps with the viewing section 48. In Fig. 5, these loudspeakers are indicated by hatching. Instead of speaker channels could also be a other types of playback locations may be distributed, such as screens at each audience seat or the like.
Die obigen Ausführungsbeispiele lassen sich beispielsweise bei der Live-Übertragung von Fußballspielen verwenden. Das wird im folgendem Bezug nehmend auf Fig. 7 veranschaulicht. Im Unterschied zur konventionellen Fußballübertragung orientieren sich die oben beschriebenen Ausführungsbeispiele an den typischen Wahrnehmungsgewohnheiten und Riten eines Fans während eines Stadionbesuches. Um für den Nutzer 16 einen solchen virtuellen Stadionbesuch zu erzielen, schaffen obige Ausführungsbeispiele ein integriertes Kamera- und Kommunikationssystem 10. Wie es oben beschrieben worden ist, ist es dabei vorteilhaft, wenn der authentischen Wahrnehmungsgewohnheit entsprechend eine Kameraposition gewählt wird, die in einem Zuschauerbereich 36 liegt. Es könnte sich um einen speziell ausgewählten Fan-Block handeln, in welchem Zuschauer befindlich sind, die einer bestimmten Fan-Gemeinschaft 100 angehören. Nutzern, wie z.B. dem Nutzer 16, wird über die oben beschriebene Kommunikations- und Interaktionsmöglichkeit die Möglichkeit gegeben, an der Fan-Gemeinschaft 100 teilzuhaben. Wie oben beschrieben, kann hierzu die Kameravorrichtung 28 als ein 360°- Panoramaaufnahmesystem gestaltet sein. Sprachkommunikation 76/52, Textkommunikation 52, Videokommunikation 52 und/oder Gestensteuerung 102 können verwendet wer- den. Beispielsweise erhält der externe Fan 16, der auch als Satellite-Fan bezeichnet werden könnte, die Möglichkeit, mittels der Einrichtung 18, die beispielsweise eine App auf seinem Endgerät 14 ist, wie z. B. einem Smart-TV, PC, Notebook, Tablet, Smartphone oder einem VR-Gerät, die Möglichkeit, in dem Videomaterial, das von der Kameravorrichtung 28 erzeugt wird, wie z.B. einem 360°-Video, das gegebenenfalls mit einem Audio- Live-Strom 76 ergänzt ist, aus einer Stadion-Position mitten zwischen den Fans 40 zu navigieren. Er sieht dabei die umgebenen Fans wie in Fig. 4 bei 84 gezeigt aus nächster Nähe und bekommt gleichzeitig die akustische Szene 104 gegebenenfalls blickrichtungsabhängig auf dem Endgerät 14 angeboten, wobei es sich bei dem Lautsprecher 24, über welchen die Wiedergabe der Audioszene stattfindet, um Kopfhörer handeln kann. Die Einrichtung 18 könnte gleichzeitig Zugriff auf eine Chat-Plattform 106 mit Interaktionsmöglichkeiten per Text-, Sprach- und Bildeingabe bieten. So könnten Chat-Kommentare, Sprachnachrichten, Bilder oder kurze Video-Clips von einem Fan 16 auf die Chat- Plattform 106 und gegebenenfalls auch auf eines der Displays bzw. die Anzeige 66 gesendet werden, wie z. B. die Anzeige 66 in einem Aufbau 70 gernäß Fig. 3. Die Informati- onssignale 52 verschiedener Nutzer 16, die Wiedergabesignale definieren, könnten wie oben beschrieben einer Selektion unterzogen werden. Die Selektion könnte in einem
zweistufigen Verfahren erfolgen. Eine automatische Kontrolle 108 könnte unerwünschte Kommentare per zum Beispiel Schlagwortsuche herausfiltern, die dann verworfen werden. Die Anzahl von Likes oder sonstige Parameter 109 aus einem sozialen Netzwerk, die den Nutzern bzw. Urhebern der wettstreitenden Wiedergabesignale zugeordnet sind, können ebenfalls für eine solche Auswahl 108 herangezogen werden. Aus dem verbleibenden Wiedergabesignalen, wie z.B. dem verbleibenden Chat-Verlauf, der in der Einrichtung 18 aller externen Nutzer 16 verfolgt werden kann, können dann beispielsweise Moderatoren bzw. kann betreiberseitig manuell 1 10 eine Auswahl passender Kommentare, d.h. passender Wiedergabesignale, die beispielsweise Bilder, Video-Clips oder Audiobei- träge sein können, selektiert werden, um beispielsweise auf der Anzeige 66 ausgegeben zu werden, so dass diese auch von den lokalen Fans bzw. Zuschauern 40 gelesen, in der Fan-Gemeinde 100 gesehen oder gehört werden können. The above embodiments can be used, for example, in the live broadcast of football matches. This will be illustrated in the following with reference to FIG. 7. In contrast to conventional football transmission, the embodiments described above are based on the typical perception habits and rites of a fan during a stadium visit. In order to provide the user 16 with such a virtual stadium visit, the above embodiments provide an integrated camera and communication system 10. As has been described above, it is advantageous if, according to the authentic perceptual habit, a camera position is selected that is in a viewer area 36 lies. It could be a specially selected fan block in which viewers who belong to a particular fan community 100 are located. Users, such as the user 16, is given the opportunity to participate in the fan community 100 via the communication and interaction option described above. As described above, for this purpose, the camera device 28 can be designed as a 360 ° panoramic recording system. Voice communication 76/52, text communication 52, video communication 52 and / or gesture control 102 may be used. For example, the external fan 16, which could also be referred to as a satellite fan, has the option of using the device 18, which is for example an app on his terminal 14, such. As a smart TV, PC, notebook, tablet, smartphone or a VR device, the ability in the video material that is generated by the camera device 28, such as a 360 ° video, if necessary, with an audio live Stream 76 is supplemented to navigate from a stadium position midway between the fans 40. He sees the surrounded fans as shown in Fig. 4 at 84 from close range and at the same time the acoustic scene 104 is optionally offered depending on the direction of view on the terminal 14, wherein the speaker 24, via which the playback of the audio scene takes place to headphones can act. The device 18 could simultaneously provide access to a chat platform 106 with text, voice and image interaction capabilities. Thus, chat comments, voice messages, pictures or short video clips could be sent from a fan 16 to the chat platform 106 and optionally also to one of the displays 66, e.g. For example, the display 66 in a setup 70 is shown in FIG. 3. The information signals 52 from various users 16 that define playback signals could be subjected to selection as described above. The selection could be in one two-stage procedure. An automatic control 108 could filter out unwanted comments by, for example, keyword search, which are then discarded. The number of likes or other parameters 109 from a social network associated with the users of the competing playback signals may also be used for such selection 108. From the remaining playback signals, such as the remaining chat history, which can be followed in the device 18 of all external users 16, then, for example, moderators or operator side manually 1 10 a selection of suitable comments, ie matching playback signals, for example, pictures, May be selected to be displayed on the display 66, for example, so that they may also be read by the local fans or seen in the fan community 100 or heard.
Alle Beiträge können beispielsweise mit Likes bewertet werden. Für lokale Nutzer bzw. Zuschauer 40 könnte diese Bewertung auch mittels Gestik erfolgen, die über die oben erwähnte Gestik-Schnittstelle 78 erfasst werden. Diese Bewertungen können dann als Entscheidungshilfe für die automatische Auswahl, aber auch für die manuelle Auswahl nachfolgender Wiedergabesignale von externen Nutzern verwendet werden. Ausgewählte externe Nutzer 16 können zu einer videokonferenzähnlicher Verbindung 1 12 zu einem Segment eingeladen werden. In anderen Worten ausgedrückt, könnte das Informations- signai 52 eines Nutzers 16 ein Video- und Audiosignal umfassen, und dem Nutzer 16 würde fest ein bestimmter Teil 86 der Anzeige 66 zugewiesen werden, und sein Audioanteil des Videosignals über das Lautsprecherarray 68 ebenfalls in dem Bereich 68 ausgegeben werden, nämlich Bereiche, die im Wesentlichen in die virtuelle Blickrichtung 88 weisen, wodurch zusammen mit der Übertragung von Video 50 und Audioaufnahme 76 von Vorrichtung 12 an Endgerät 14 eine Art Videokonferenz entsteht. Letztere Übertragung von Vorrichtung 12 zu Einrichtung 18 kann in der Zeit einer Videokonferenzschaltung anders, wie z.B. über einen anderen Kanal, bewerkstelligt werden. Ferner besteht die Möglichkeit zur direkten bzw. nichtöffentlichen Kommunikation zwischen den Fans, d. h. sowohl den vor Ort befindlichen Zuschauern 40 und den externen Nutzern 16. Dazu können private Chat-Räume eröffnet werden oder direkte Skype- oder Skype-ähnliche Verbindungen aufgebaut werden. Für die Verbesserungen der soeben erwähnten Videokonferenzmöglichkeiten könnte es vorgesehen sein, dass der Blickkontakt zwischen den Videokonferenzteilnehmem, d. h.
den Nutzer 16 einerseits und dem einen oder den mehreren Zuschauern 40 auf der anderen Seite der Videokonferenz innerhalb des Gesichtsfelds, wie z. B. des 360°-Panoramas, durch zusätzliche Kameras, die Teile des Gesichtsfeldes 44 redundant, aber mit gegebenenfalls höherer Dichte aufnehmen, verbessert werden, indem dem Nutzer 16 der Video- konferenzteilnehmer virtuell so auf seinen Bildschirm 22 eingeblendet wird, als ob er den Nutzer 16 direkt ansehe. Eine Multi-View-Videoanalyse oder ein Teleprompter können ebenfalls verwendet werden. For example, all posts can be rated as Likes. For local users or viewers 40, this assessment could also be done by gestures that are captured via the gesture interface 78 mentioned above. These ratings can then be used as a decision support for the automatic selection, but also for the manual selection of subsequent playback signals from external users. Selected external users 16 may be invited to a videoconference-like connection 12 to a segment. In other words, the information signal 52 of a user 16 could comprise a video and audio signal, and the user 16 would be assigned a specific part 86 to the display 66 and his audio part of the video signal via the loudspeaker array 68 also in the area 68, namely areas facing substantially in the virtual line of sight 88, which together with the transmission of video 50 and audio recording 76 from device 12 to terminal 14 creates a type of video conference. The latter transmission from device 12 to device 18 may be accomplished differently during the time of a videoconferencing, such as via another channel. There is also the possibility of direct or non-public communication between the fans, ie both the on-site viewers 40 and the external users 16. For this private chat rooms can be opened or direct Skype or Skype-like connections are established. For the improvements of the video conferencing options just mentioned, it could be provided that the eye contact between the video conference participants, ie the user 16 on the one hand and the one or more viewers 40 on the other side of the videoconference within the field of view, such. As the 360 ° panorama, by additional cameras, the parts of the field of view 44 redundant, but with possibly higher density record, can be improved by the user 16 of the video conference participants virtually as his screen 22 is displayed as if he Look at user 16 directly. A multi-view video analysis or teleprompter can also be used.
Zur Überwindung von Sprachbarrieren, können Spracherkennung, automatische Überset- zung und Gestensteuerung integriert werden. Das bedeutet, Textnachrichten als Wiedergabesignale, die über Informationssignale 52 von einem Nutzer 16 stammen, können vor ihrer Anzeige oder Wiedergabe einer Spracherkennung und automatischen Übersetzung unterzogen werden. Umgekehrt könnte Gestensteuerung sowohl für Zuschauer 40 ermöglicht werden als auch für einen Nutzer 16 auf Seiten eines Endgeräts 14. To overcome language barriers, voice recognition, automatic translation and gesture control can be integrated. That is, text messages as playback signals derived from a user 16 via information signals 52 may be subjected to voice recognition and automatic translation prior to their display or playback. Conversely, gesture control could be enabled for both viewers 40 and a user 16 on a terminal 14 side.
Wie oben weiter erwähnt, könnte es für einen vereinfachten Zugang lokaler Fans 40 möglich sein, dass das System 10 mit Schnittstellen, wie z. B. einer WLAN- oder Bluetooth- Schnittstelle ausgestattet ist. Eine Funktionalität, die in den vorhergehenden Ausführungen noch nicht beschrieben worden ist, die aber optional integriert sein kann, betrifft eine „Snapshof'-Funktionalität 1 12 für den Nutzer 16. Auf eine bestimmte Eingabe durch den Nutzer 16 hin, wie z. B. das Aktivieren eines bestimmten Buttons, Knopfes oder dergleichen, sendet die Einrichtung 18 der Vorrichtung 12 einen Befehl, wonach die Vorrichtung 12 einen Zeitausschnitt aus dem Videomaterial 42 extrahieren und an eine dem Nutzer 16 dem Endgerät 14 zugeordnete Adresse senden soll. Die Adresse kann beispielsweise eine Emailadresse des Nutzers, ein bestimmter Social-Media-Account des Nutzers 16 in einem sozialen Netzwerk 1 14 oder dergleichen sein. Der Befehl, der von der Einrichtung 18 an die Vorrichtung 12 gesendet wird, ist beispielweise mit einem Zeitstempel versehen, der einen Zeitstempel des gerade angezeigten Sichtausschnitts 48 am Endgerät 14 des Nutzers 16 entspricht. Auf diese Weise ist es unerheblich, dass die vielen Nutzer, die mit der Vorrichtung 12 kommunizieren, gegebenenfalls unterschiedliche End-zu-End-Latenzen bei der Videowiedergabe des Videomaterials bzw. des Ausschnitts desselben aufweisen. Für diese Funktionalität greift die Vorrichtung 12 beispielsweise auf einen Puffer zurück, in welchem das Videomaterial 42 für eine gewisse Zeit zwischengespeichert wird. Der auf diese Weise extrahierte Zeitausschnitt 1 16 kann entweder ein Einzelbild des Gesichtsfeldes 44 sein,
oder aber eine Biidfoige des Gesichtsfeldes 44 mit vorbestimmter Dauer betreffen. Da der Zeitstempel, mit dem der Befehl versehen ist, aus den Zeitstempeln abgeleitet ist, mit denen die Zeitrahmen des Videomaterials 42 selbst versehen sind, ist diese Funktionalität End-zu-End-latenzneutrai. As discussed further above, for a simplified access of local fans 40, it may be possible for the system 10 to be interfaced, such as a computer. B. a wireless or Bluetooth interface is equipped. A functionality that has not yet been described in the preceding embodiments, but which may optionally be integrated, relates to a Snapshof functionality 12 for the user 16. As the activation of a particular button, button or the like, the device 18 of the device 12 sends a command, after which the device 12 extract a time excerpt from the video material 42 and send to the user 16 the terminal 14 associated address. The address may be, for example, an email address of the user, a particular social media account of the user 16 in a social network 14, or the like. The command, which is sent by the device 18 to the device 12, for example, provided with a time stamp corresponding to a time stamp of the currently displayed field of view 48 at the terminal 14 of the user 16. In this way, it is irrelevant that the many users communicating with the device 12 may have different end-to-end latencies in the video playback of the video material or the section thereof. For this functionality, the device 12, for example, relies on a buffer in which the video material 42 is temporarily stored for some time. The time segment 1 16 extracted in this way can either be a single image of the visual field 44, or affect a Biidfoige the visual field 44 with a predetermined duration. Since the timestamp provided to the instruction is derived from the timestamps provided by the timeframes of the video material 42 itself, this functionality is end-to-end latency neutral.
In dem Fall des Einrichtens einer Videokonferenz zwischen einem Nutzer 16 und einem oder mehreren Zuschauem 40 vor Ort ist es natürlich ferner möglich, dass nicht nur dem Nutzer 16 der Videokonferenzteilnehmer gewarpt angezeigt wird, so dass er direkt in sein Auge blickt, sondern eine solche Anzeige kann natürlich auch in dem Wiedergabeab- schnitt 86 dem einen oder den mehreren Zuschauern 40 gegenüber durchgeführt werden, indem die Aufzeichnung des Nutzers 16 über eine Kamera als Benutzereingabeschnittstelle 26 aufgezeichnet und in eine virtuelle Blickrichtung projiziert wird, so dass der Nutzer 16 den einen oder die mehreren Zuschauer 44 direkt anzusehen scheint. Zusätzlich zu den Optionen, die Bezug nehmend auf Fig. 3 beschrieben wurden, kann es sein, dass die vor Ort-Vorrichtung 12 mit einem haptischen Interface versehen ist, wie z. B. einem Touch Display. Further, in the case of setting up a videoconference between a user 16 and one or more on-site viewers 40, it is of course possible that not only the user 16 of the videoconference participant is displayed wary so as to look directly at his eye, but such a display can of course also be performed in the playback section 86 to the one or more viewers 40 by recording the record of the user 16 via a camera as a user input interface 26 and projecting it in a virtual line of sight so that the user 16 selects one or more several viewers 44 seems to look directly. In addition to the options described with reference to FIG. 3, it may be the case that the on-site device 12 is provided with a haptic interface, e.g. As a touch screen.
Wie es im Vorhergehenden beschrieben worden ist, kann es sein, dass die Nutzer 16 eine Blickrichtungsnavigation gestattet wird, wobei diese Blickrichtungsnavigation nicht nur den Sichtausschnitt 48 innerhalb des Gesichtsfeldes 44 navigiert, d. h. die Blickrichtung einer virtuellen Kamera, sondern gegebenenfalls auch die Hörrichtung des Mikrofonarrays 74, die Wiedergaberichtung des Lautsprecherarrays 68 und/oder die Wiedergaberichtung des Displays 66, wie es im Vorhergehenden beschrieben wurde. As described above, users may be allowed view-gaze navigation 16, which gaze navigation not only navigates the viewport 48 within the field of view 44, i. H. the viewing direction of a virtual camera, but possibly also the listening direction of the microphone array 74, the playback direction of the loudspeaker array 68 and / or the display direction of the display 66, as described above.
Durch die obigen Ausführungsbeispiele erhalten somit externe Zuschauer, wie z. B. der Nutzer 16 ein Gefühl, vor Ort bei einem Live-Ereignis dabei zu sein, wie z. B. ein Stadion- Feeling in dem Fall eines Fußballspiels. Dadurch erhalten Zuschauer, wie z. B. der Nutzer 16, ein Gefühl der Zugehörigkeit zur Fangemeinschaft vor Ort. Dadurch kann eine engere Bindung zu den Vereinen entstehen, wie z. B. in den Fußballvereinen. Die Vereine könnten beispielsweise Betreiber des Systems 10 sein und erhalten dadurch die Möglichkeit, ihre Fan-Gemeinde deutlich zu vergrößern. Diese neuen Fans 16 sind persönlich adressierbar, wodurch der Verein die Möglichkeit erhält, sie mit personalisiertem Marketing anzusprechen.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu ver- stehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen program- mierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. By the above embodiments thus receive external viewers such. For example, the user 16 has a feeling of being there on-site during a live event such as B. a stadium feeling in the case of a football game. This will give viewers such. As the user 16, a sense of belonging to the fan community on site. This may result in a closer bond with the clubs, such. B. in the football clubs. The clubs could for example be operator of the system 10 and thereby get the opportunity to increase their fan community significantly. These new fans 16 are personally addressable, giving the club the opportunity to engage with personalized marketing. Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Diso, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steu- ersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic media or optical memory are stored on the electronically readable control signals, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
Manche Ausführungsbeispieie gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Thus, some embodiments of the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger ge- speichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nicht-vergänglich bzw. nicht- vorübergehend. The program code can also be stored, for example, on a machine-readable carrier. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer. A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein. The data carrier, the digital storage medium or the computer-readable medium are typically representational and / or non-transitory or non-transient.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Da- tenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor-
richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device, or a similar device. be direction. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (bei- spielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. In general, in some embodiments, the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The devices described herein may be implemented, for example, using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. The devices described herein, or any components of the devices described herein, may be implemented at least in part in hardware and / or software (computer program).
Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. For example, the methods described herein may be implemented using a hardware device, or using a computer, or using a combination of a hardware device and a computer.
Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Ein- zelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
The methods described herein, or any components of the methods described herein, may be performed at least in part by hardware and / or by software. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented with the description and explanation of the embodiments herein.
Claims
Patentansprüche claims
1 . Verfahren zur virtuellen Teilnahme eines Nutzers (16) an einem Liveereignis, mit 1 . A method for virtual participation of a user (16) in a live event, with
Aufnehmen des Liveereignisses mittels einer Kameravorrichtung (28) von einer vorbestimmten Position (38) innerhalb eines Zuschauerbereichs (36) des Liveereignisses aus, um einen Videomaterial (42) zu erhalten; Capturing the live event by means of a camera device (28) from a predetermined position (38) within a viewer area (36) of the live event to obtain a video material (42);
Streamen zumindest eines Ausschnitts (46) des Videomaterials (42) an ein Endgerät (14) des Nutzers (16); Streaming at least a portion (46) of the video material (42) to a terminal (14) of the user (16);
Empfangen eines Informationssignals (52) von dem Endgerät (14); und Receiving an information signal (52) from the terminal (14); and
Ausgeben eines Wiedergabesignals, das von dem Informationssignal (52) abhängt, an einen oder mehrere Zuschauer (40) in dem Zuschauerbereich (36). Outputting a playback signal that depends on the information signal (52) to one or more viewers (40) in the viewer area (36).
2. Verfahren gemäß Anspruch 1 , bei dem das Ausgeben des Wiedergabesignals an den einen oder die mehreren Zuschauer (40) an der vorbestimmten Position (38) durchgeführt wird. A method according to claim 1, wherein outputting the reproduction signal to the one or more viewers (40) is performed at the predetermined position (38).
3. Verfahren gemäß Anspruch 1 oder 2, bei dem das Ausgeben Wiedergabesignals an die Zuschauer durch Audio-, Text- und/oder Videoausgabe durchgeführt wird. A method according to claim 1 or 2, wherein the outputting of the reproduction signal to the viewers is performed by audio, text and / or video output.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, bei dem das Ausgeben des Wiedergabesignals an die Zuschauer richtungsselektiv in eine Richtung durchgeführt wird, die von einem Richtungssignal (90) abhängt, das von dem Endgerät stammt, oder ortsselektiv an einer Teilmenge von verteilt angeordneten Wiedergabepositionen durchgeführt wird, die von einem Richtungssignal (90) abhängt, das von dem Endgerät stammt. A method according to any one of claims 1 to 3, wherein the outputting of the reproduction signal to the viewers is directionally selective in a direction which depends on a direction signal (90) originating from the terminal or location-selectively arranged on a subset of distributed Playback positions is performed, which depends on a direction signal (90), which comes from the terminal.
5. Verfahren gemäß einem Anspruch 3, bei dem
über eine Benutzerschnittstelle (26) an dem Endgerät (14) des Nutzers eine virtuelle Blickrichtung (88) bestimmt wird, wobei das Richtungssignal (90) von der virtuellen Blickrichtung (88) abhängt, und an dem Endgerät (14) dem Nutzer ( 16) ein von der virtuellen Blickrichtung (88) abhängi- ger Sichtausschnitt (48) des Videomateriales (42) angezeigt wird. 5. The method according to claim 3, wherein a virtual line of sight (88) is determined via a user interface (26) on the user's terminal (14), the direction signal (90) being dependent on the virtual line of sight (88), and the user (16) on the terminal (14) a view section (48) of the video material (42) which is dependent on the virtual viewing direction (88) is displayed.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, bei dem das Streamen mittels eines Broadcast- oder Multicastsignals an Endgeräte einer Vielzahl von Nutzern oder mittels eines Streamingdownloadprotokol!s durchgeführt wird. 6. The method according to any one of claims 1 to 5, wherein the streaming is performed by means of a broadcast or multicast signal to terminals of a plurality of users or by means of a Streamingdownloadprotokol! S.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, bei dem das Videomaterial (42) ein Panoramavideo oder ein Satz von einem oder mehreren Videos umfasst. A method according to any one of claims 1 to 6, wherein the video material (42) comprises a panoramic video or a set of one or more videos.
8. Verfahren gemäß einem der Ansprüche 1 bis 7, bei dem das Aufnehmen eine Audio- aufnähme umfasst. 8. The method of claim 1, wherein the recording comprises an audio recording.
9. Verfahren gemäß Anspruch 8, bei dem über eine Benutzerschnittstelle (26) an dem Endgerät des Nutzers eine virtuelle Blickrichtung (88) bestimmt wird, und an dem Endgerät dem Nutzer ein von der virtuellen Blickrichtung (88) abhängiger Sichtausschnitt (48) des Videomaterials (42) begleitet von einer Audiosignalausgabe angezeigt wird, die einem Richtungsausschnitt aus einer räumlichen Audioszene entspricht, die durch die Audioaufnahme erhalten wird. 9. The method according to claim 8, wherein a virtual line of sight (88) is determined via a user interface (26) on the user's terminal, and at the terminal a viewing section (48) of the video material dependent on the virtual line of sight (88) (42) accompanied by an audio signal output corresponding to a directional portion of a spatial audio scene obtained by the audio recording.
10. Verfahren gemäß einem der Ansprüche 1 bis 9, bei dem das an den einen oder die mehreren Zuschauer (40) ausgegebene Wiedergabesignal aus einer Vielzahl von Wiedergabesignalen ausgewählt wird, die von Informationssignalen abhängen, die von Endgeräten einer Vielzahl von Nutzern abhängen, an die das Videomaterial (42) zumindest ausschnittweise gestreamt wird.
A method according to any one of claims 1 to 9, wherein the reproduced signal outputted to the one or more viewers (40) is selected from a plurality of reproduced signals depending on information signals which depend on terminals of a plurality of users to whom the video material (42) is at least partially streamed.
1 1 . Verfahren gemäß einem der Ansprüche 1 bis 10, bei dem das Aufnehmen des Liveereignisses mittels der Kameravorrichtung (28) aus einer Höhe (h) von 1 bis 2,5 Metern gegenüber einem Boden des Zuschauer- bereichs (36) und/oder aus einer Position inmitten des Zuschauerbereichs (36) durchgeführt wird. 1 1. Method according to one of claims 1 to 10, wherein the recording of the live event by means of the camera device (28) from a height (h) of 1 to 2.5 meters from a floor of the audience area (36) and / or from a position in the spectator area (36).
12. Vorrichtung zur virtuellen Teilnahme eines Nutzers (16) an einem Liveereignis, mit einer Kameravorrichtung (28) zum Aufnehmen einer Umgebung der Kameravorrichtung (28), um ein Videomaterial (28) zu erhalten; einer Ausgangsschnittstelie (30) zum Streamen zumindest eines Ausschnitts (46) des Videomaterials (42) an ein Endgerät (14) des Nutzers (16); einer Eingangsschnittstelle (32) zum Empfangen eines informationssignals (52) von dem Endgerät (14); und einer Informationsausgabeeinrichtung (34) zum Ausgeben eines Wiedergabesignals, das von dem Informationssignal (52) abhängt, an eine oder mehrere Personen (40) in der Umgebung der Kameravorrichtung (28), so dass von der durch die Kameravorrichtung (28) aufgenommenen Umgebung aus die Ausgabe der Information und die Kameravor- richtung (28) zumindest in Projektion entlang einer Raumrichtung (62) in der gleichen Richtung wahrgenommen wird. A device for virtual participation of a user (16) at a live event, comprising: a camera device (28) for capturing an environment of the camera device (28) to obtain a video material (28); an output interface (30) for streaming at least a portion (46) of the video material (42) to a terminal (14) of the user (16); an input interface (32) for receiving an information signal (52) from the terminal (14); and information output means (34) for outputting a reproduction signal depending on the information signal (52) to one or more persons (40) in the vicinity of the camera device (28) so as to be out of the environment captured by the camera device (28) the output of the information and the camera device (28) is perceived in the same direction at least in projection along a spatial direction (62).
13. Vorrichtung gemäß Anspruch 12, bei der die Informationsausgabeeinrichtung (34) ausgebildet ist, das Wiedergabesignal durch Audio-, Text- und/oder Videoausgabe aus- zugeben. 13. The apparatus of claim 12, wherein the information output means (34) is adapted to output the playback signal by audio, text and / or video output.
14. Vorrichtung gemäß einem Anspruch 12 oder 13, bei der die Informationsausgabeeinrichtung (34) ausgebildet ist, das Wiedergabesignal an die eine oder die mehreren Perso-
nen (40) richtungsselektiv in eine Richtung auszugeben, die von einem Richtungssignal (90) abhängt, das von dem Endgerät (14) stammt. 14. An apparatus according to claim 12 or 13, wherein said information output means (34) is adapted to supply said playback signal to said one or more persons. directionally output direction (40) in a direction dependent on a direction signal (90) originating from the terminal (14).
15. Vorrichtung gemäß einem der Ansprüche 12 bis 14, bei der die Kameravorrichtung (28) ein Gesichtsfeld (44) aufweist, das horizontal mindestens 180° abdeckt, und die Informationsausgabeeinrichtung (34) hinsichtlich einer Auswahl einer oder mehrerer Richtungen aus einer Vielzahl von horizontal über das Gesichtsfeld verteilten Richtungen steuerbar ist, in welche das Wiedergabesignal ausgegeben wird. An apparatus according to any one of claims 12 to 14, wherein said camera device (28) has a field of view (44) horizontally covering at least 180 °, and said information output means (34) horizontally selecting one or more directions from a plurality of is controllable across the visual field distributed directions in which the playback signal is output.
16. Vorrichtung gemäß einem der Ansprüche 12 bis 15, bei der die Ausgangsschnittstelle ausgebildet ist, das Videomaterial (42) mittels eines Broadcast- oder Multicastsignals an eine Vielzahl von Nutzendgeräten oder mittels eines Streamingdownloadprotokolls zu streamen. 16. Device according to one of claims 12 to 15, wherein the output interface is adapted to stream the video material (42) by means of a broadcast or multicast signal to a plurality of user terminals or by means of a streaming download protocol.
17. Vorrichtung gemäß einem der Ansprüche 12 bis 16, bei der das Videomaterial (42) ein Panoramavideo oder ein Satz von einem oder mehreren Videos umfasst. The apparatus of any one of claims 12 to 16, wherein the video material (42) comprises a panoramic video or a set of one or more videos.
18. Vorrichtung gemäß einem der Ansprüche 12 bis 17, bei der die Vorrichtung eine Audioaufnahmevorrichtung (74) umfasst, die ausgebildet ist, um eine Audioaufnahme der Umgebung der Kameravorrichtung durchzuführen, um eine Audiorepresentation zu erhalten, wobei die Ausgangsschnittstelle ausgebildet ist, ein von der Audiorepresentation abgeleitetes Audiosignal (76) an das Endgerät (14) zu streamen. 18. The device according to claim 12, wherein the device comprises an audio pickup device (74) configured to perform an audio recording of the surroundings of the camera device to obtain an audio presentation, wherein the output interface is formed, one of Audio presentation (76) to the terminal (14).
19. Vorrichtung gemäß Anspruch 18, bei der die Audioaufnahmevorrichtung (74) : 19. The apparatus of claim 18, wherein the audio pickup device (74):
gebildet ist, dass die Audiorepresentation eine räumliche Audioszene repräsentiert. is formed so that the audio presentation represents a spatial audio scene.
20. Vorrichtung gemäß einem der Ansprüche 12 bis 19, bei der die Ausgangsschnittstelle (30) ausgebildet ist, zumindest einen jeweiligen Ausschnitt (46) des Videomaterials (42) an eine Vielzahl von Nutzerendgeräten zu streamen, bei der die Eingangsschnittstelle (32) ausgebildet ist, Informationssignale von der Vielzahl von Nutzerendgeräten zu erhal-
ten, und die ferner eine Einrichtung zum automatischen oder betreibergesteuerten Auswählen des ausgegebenen Wiedergabesginais aus einer Vielzahl von Wiedergabesignalen aufweist, die von den Informationssignalen der Vielzahl von Nutzerendgeräten abhängen. 20. Device according to one of claims 12 to 19, wherein the output interface (30) is adapted to stream at least a respective section (46) of the video material (42) to a plurality of user terminals, wherein the input interface (32) is formed To receive information signals from the plurality of user terminals. and further comprising means for automatically or operator-controlled selecting the output reproduction gamma from a plurality of reproduction signals that depend on the information signals of the plurality of user terminals.
21. Vorrichtung gemäß einem der Ansprüche 12 bis 20, bei der die Vorrichtung eine Standfläche (72) aufweist, wobei die Kameravorrichtung (28) so gegenüber der Standfläche (72) fixiert ist, dass die Aufnahme aus einer Höhe von 1 bis 2,5 Metern gegenüber der Standfläche (72) erfolgt. 21. Device according to one of claims 12 to 20, wherein the device has a standing surface (72), wherein the camera device (28) is fixed relative to the support surface (72) that the recording from a height of 1 to 2.5 Meters opposite the base (72).
22. Vorrichtung gemäß einem der Ansprüche 12 bis 21 , die ausgebildet ist, um auf einen Empfang eines mit einem Zeitstempel versehenen Befehls von dem Endgerät (14) hin mittels des Zeitstempels einen Zeitausschnitt aus dem Videomaterial zu extrahieren und an eine dem Nutzer des Endgeräts zugeordnete Adresse zu senden. Apparatus according to any one of claims 12 to 21, adapted to extract a time segment from the video material upon receipt of a time stamped instruction from the terminal (14) by means of the time stamp, and to a user assigned to the terminal Address to send.
23. System zur virtuellen Teilnahme eines Nutzers (16) an einem Liveereignis mittels eines Endgeräts (14) des Nutzers, mit einer Vorrichtung (12) mit einer Kameravorrichtung (28) zum Aufnehmen einer Umgebung der Kameravor- richtung (28), um ein Videomaterial (42) zu erhalten; einer Ausgangsschnittstelle (30) zum Streamen zumindest eines Ausschnitts (46) des Videomaterials (42) an ein Endgerät (14) des Nutzers; einer Eingangsschnittstelle (32) zum Empfangen eines Informationssignals (52) von dem Endgerät; und einer Informationsausgabeeinrichtung (34) zum Ausgeben eines Wiedergabesignals, das von dem Informationssignal (52) abhängt, an eine oder mehrere Personen (40) in der Umgebung der Kameravorrichtung (28), , und einer in dem Endgerät (14) installierbaren Einrichtung (18) zum Anzeigen des zumindest einen Sichtausschnitts (48) der Videomaterials (42) gegenüber dem Nutzer, Erzeugen des Informationssignals (52) über eine Benutzerschnittstelle (26) des Endgeräts (14) abhän-
gig von dem Nutzer (16) und Senden des Informationssignals (52) an die Vorrichtung23. A system for virtual participation of a user (16) at a live event by means of a terminal (14) of the user, comprising a device (12) with a camera device (28) for receiving an environment of the camera device (28) to a video material (42) to obtain; an output interface (30) for streaming at least a portion (46) of the video material (42) to a terminal (14) of the user; an input interface (32) for receiving an information signal (52) from the terminal; and an information output device (34) for outputting a reproduction signal, which depends on the information signal (52), to one or more persons (40) in the vicinity of the camera device (28), and to a device (18 ) for displaying the at least one visible section (48) of the video material (42) relative to the user, generating the information signal (52) via a user interface (26) of the terminal (14). from the user (16) and sending the information signal (52) to the device
(12). (12).
24. System gemäß Anspruch 23, bei dem die Informationsausgabeeinrichtung (34) aus- gebildet ist, das Wiedergabesignal durch Audio-, Text- oder Videoausgabe auszugeben. 24. A system according to claim 23, wherein said information output means (34) is adapted to output the reproduction signal by audio, text or video output.
25. System gemäß einem Anspruch 23 oder 24, bei dem die Informationsausgabeeinrichtung ausgebildet ist, das Wiedergabesignal an die eine oder mehreren Personen (40) richtungsselektiv in eine Richtung auszugeben, die von einem RichtungssignalA system according to claim 23 or 24, wherein the information output means is adapted to output the reproduction signal to the one or more persons (40) in a direction-selective direction, that of a direction signal
(90) abhängt, oder ortsselektiv an einer Teilmenge von verteilt angeordneten Wiedergabepositionen auszugeben, die von einem Richtungssignal (90) abhängt; und die in dem Endgerät installierbare Einrichtung (18) ausgebildet ist, über die Benutzerschnittstelle (26) abhängig von dem Nutzer eine virtuelle Blickrichtung (88) zu bestimmen, das Richtungssignal (90) abhängig von der virtuellen Blickrichtung (88) zu erzeugen, das Richtungssignal (90) an die Vorrichtung (12) zu senden und dem Nutzer (16) einen von der virtuellen Blickrichtung (88) abhängigen Sichtausschnitt (48) des Videomateriales (42) anzuzeigen. (90) depends on or outputs selectively to a subset of distributed playback locations that depends on a direction signal (90); and the device (18) which can be installed in the terminal is designed to determine via the user interface (26), depending on the user, a virtual line of sight (88) to generate the direction signal (90) in dependence on the virtual line of sight (88), the direction signal (90) to the device (12) to send and the user (16) dependent on the virtual line of sight (88) viewing section (48) of the video material (42).
26. System gemäß einem der Ansprüche 23 bis 25, bei dem die Kameravorrichtung (28) ein Gesichtsfeld (44) aufweist, das horizontal mindestens 180° abdeckt, die Informationsausgabeeinrichtung (34) hinsichtlich einer Auswahl einer oder mehrerer Richtungen aus einer Vielzahl von horizontal über das Gesichtsfeld verteilten Richtungen steuerbar ist, in welche das Wiedergabesignal ausgegeben wird.
26. A system according to any one of claims 23 to 25, wherein the camera device (28) has a field of view (44) horizontally covering at least 180 °, the information output device (34) for selecting one or more directions from a plurality of horizontal over the field of view distributed directions is controllable, in which the playback signal is output.
27. System gemäß einem der Ansprüche 23 bis 26, bei dem die Ausgangsschnittstelle (30) ausgebildet ist, das Videomaterial (42) mittels eines Broadcast- oder Multicastsignals an eine Vielzahl von Nutzerendgeräten oder mittels eines Streamingdownloadprotokolls zu streamen. A system according to any one of claims 23 to 26, wherein the output interface (30) is adapted to stream the video material (42) to a plurality of user terminals or via a streaming download protocol by means of a broadcast or multicast signal.
28. System gemäß einem der Ansprüche 23 bis 27, bei dem das Videomaterial (42) ein Panoramavideo oder ein Satz von einem oder mehreren Videos umfasst. A system according to any one of claims 23 to 27, wherein the video material (42) comprises a panoramic video or a set of one or more videos.
29. System gemäß einem der Ansprüche 23 bis 28, bei dem die Vorrichtung (12) eine Audioaufnahmevorrichtung (74) umfasst, die ausgebildet ist, um eine Audioaufnahme der Umgebung der Kameravorrichtung (28) durchzuführen, um eine Audiorepresentation zu erhalten, wobei die Ausgangsschnittstelle (30) ausgebildet ist, ein von der Audiorepresentation abgeleitetes Audiosignal (76) an das Endgerät zu streamen. 29. A system according to any one of claims 23 to 28, wherein the device (12) comprises an audio pickup device (74) adapted to perform an audio recording of the surroundings of the camera device (28) to obtain an audio presentation, the output interface (30) is adapted to stream an audio signal (76) derived from the audio presentation to the terminal.
30. System gemäß Anspruch 29, bei dem die in dem Endgerät installierbare Einrichtung (18) ausgebildet ist, über die Benutzerschnittstelie (26) eine virtuelle Blickrichtung (88) zu bestimmen, das Richtungssignal (90) abhängig von der virtuellen Blickrichtung (88) zu erzeugen, und dem Nutzer ein von der virtuellen Blickrichtung (88) abhängigen SichtausschnittThe system of claim 29, wherein the device (18) installable in the terminal is adapted to determine a virtual line of sight (88) via the user interface (26), the direction signal (90) depending on the virtual line of sight (88) and to the user a viewing section dependent on the virtual line of sight (88)
(48) des Videomateriais (42) begleitet von einer Audiosignalausgabe anzuzeigen, die einem Richtungsausschnitt aus einer räumlichen Audioszene entspricht, die durch die Audiorepresentation repräsentiert wird. (48) of the video material (42) accompanied by an audio signal output corresponding to a directional excerpt from a spatial audio scene represented by the audio presentation.
31 . Syst m gemäß einem der Ansprüche 23 bis 30, bei der die Ausgangsschnittstelle (30) ausgebildet ist, das Videomaterials zumindest ausschnittweise an eine Vielzahl von Nutzendgeräten zu streamen,
bei der die Eingangsschnittsteiie (32) ausgebildet ist, Informationssignale von der Vielzahl von Nutzerendgeräten zu erhalten, und die ferner eine Einrichtung zum automatischen oder betreibergesteuerten Auswählen des ausgegebenen Wiedergabesginais aus einer Vielzahl von Wiedergabesignalen aufweist, die von den Informationssignalen der Vielzahl von Nutzerendgeräten abhängen. 31. A system according to any one of claims 23 to 30, wherein the output interface (30) is adapted to stream the video material at least partially to a plurality of user terminals, wherein the input interface (32) is adapted to receive information signals from the plurality of user terminals, and further comprising means for automatically or operator controlled selecting the output display gaiety from a plurality of playback signals depending on the information signals of the plurality of user terminals.
32. System gemäß einem der Ansprüche 23 bis 31 , bei dem die Vorrichtung (12) eine Standfläche (72) aufweist, wobei die Kameravorrichtung (28) so gegenüber der Standfläche (72) gehaltert ist, dass die Aufnahme aus einer Höhe von 1 bis 2,5 Metern gegenüber der Standfläche (72) erfolgt. 32. System according to one of claims 23 to 31, wherein the device (12) has a standing surface (72), wherein the camera device (28) is mounted opposite the support surface (72) such that the receptacle from a height of 1 to 2.5 meters opposite the base (72).
33. System gemäß einem der Ansprüche 23 bis 32, bei der die Vorrichtung (12) ausgebildet ist, um auf einen Empfang eines mit einem Zeitstempel versehenen Befehls von dem Endgerät hin mittels des Zeitstempels einen Zeitausschnitt aus dem Videomaterial (42) zu extrahieren und an eine dem Nutzer des Endgeräts zugeordnete Adresse zu senden. A system according to any of claims 23 to 32, wherein the apparatus (12) is adapted to extract and extract a time slice from the video material (42) upon receipt of a time stamped instruction from the terminal by means of the time stamp to send an address assigned to the user of the terminal.
34. System gemäß Anspruch 33, bei der die in dem Endgerät installierbare Einrichtung ausgebildet ist, auf eine Benutzereingabe durch den Nutzer hin den Zeitstempel, mit dem der Befehl versehen ist, aus Zeitstempeln gegenwärtig angezeigter Zeitrahmen des Videomaterials abzuleiten und den Befehl an die Vorrichtung (12) zu senden. 34. The system of claim 33, wherein the device installable in the terminal is adapted, upon user input by the user, to derive the time stamp provided to the command from timestamps of currently displayed time frames of the video material and send the command to the device ( 12).
35. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 1 1 , wenn das Programm auf einem Computer abläuft.
35. Computer program with a program code for carrying out the method according to one of claims 1 to 1 1, when the program runs on a computer.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17165208.4 | 2017-04-06 | ||
EP17165208 | 2017-04-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018184735A1 true WO2018184735A1 (en) | 2018-10-11 |
Family
ID=58606022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2018/025091 WO2018184735A1 (en) | 2017-04-06 | 2018-04-04 | Concept for virtual participation in live events |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2018184735A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473168A (en) * | 2021-07-02 | 2021-10-01 | 北京达佳互联信息技术有限公司 | Live broadcast method and system, live broadcast method executed by portable equipment and portable equipment |
CN115379134A (en) * | 2022-10-26 | 2022-11-22 | 四川中绳矩阵技术发展有限公司 | Image acquisition device, method, equipment and medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
EP1564992A1 (en) * | 2004-02-13 | 2005-08-17 | Seiko Epson Corporation | Method and system for recording videoconference data |
EP2290969A1 (en) * | 2009-05-12 | 2011-03-02 | Huawei Device Co., Ltd. | Telepresence system, method and video capture device |
US20140278377A1 (en) * | 2013-03-15 | 2014-09-18 | International Business Machines Corporation | Automatic note taking within a virtual meeting |
EP3016381A1 (en) * | 2014-10-31 | 2016-05-04 | Thomson Licensing | Video conferencing system |
-
2018
- 2018-04-04 WO PCT/EP2018/025091 patent/WO2018184735A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040254982A1 (en) * | 2003-06-12 | 2004-12-16 | Hoffman Robert G. | Receiving system for video conferencing system |
EP1564992A1 (en) * | 2004-02-13 | 2005-08-17 | Seiko Epson Corporation | Method and system for recording videoconference data |
EP2290969A1 (en) * | 2009-05-12 | 2011-03-02 | Huawei Device Co., Ltd. | Telepresence system, method and video capture device |
US20140278377A1 (en) * | 2013-03-15 | 2014-09-18 | International Business Machines Corporation | Automatic note taking within a virtual meeting |
EP3016381A1 (en) * | 2014-10-31 | 2016-05-04 | Thomson Licensing | Video conferencing system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473168A (en) * | 2021-07-02 | 2021-10-01 | 北京达佳互联信息技术有限公司 | Live broadcast method and system, live broadcast method executed by portable equipment and portable equipment |
CN113473168B (en) * | 2021-07-02 | 2023-08-08 | 北京达佳互联信息技术有限公司 | Live broadcast method and system, live broadcast method executed by portable device and portable device |
CN115379134A (en) * | 2022-10-26 | 2022-11-22 | 四川中绳矩阵技术发展有限公司 | Image acquisition device, method, equipment and medium |
CN115379134B (en) * | 2022-10-26 | 2023-02-03 | 四川中绳矩阵技术发展有限公司 | Image acquisition device, method, equipment and medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10673918B2 (en) | System and method for providing a real-time three-dimensional digital impact virtual audience | |
US8797377B2 (en) | Method and system for videoconference configuration | |
DE69803168T2 (en) | VIDEO CONFERENCE SYSTEM | |
US8259155B2 (en) | Providing perspective-dependent views to video conference participants | |
DE102015100926B4 (en) | Presentation of enhanced communication between remote participants through advanced and virtual reality | |
EP2922237B1 (en) | Method, device and system for controlling a conference | |
EP2622853B1 (en) | Two-way video conferencing system | |
CN108322474B (en) | Virtual reality system based on shared desktop, related device and method | |
CN1863301A (en) | Method and system for a videoconferencing | |
US11184362B1 (en) | Securing private audio in a virtual conference, and applications thereof | |
EP2352290A1 (en) | Method and apparatus for matching audio and video signals during a videoconference | |
DE112019003189T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM | |
US20220360742A1 (en) | Providing awareness of who can hear audio in a virtual conference, and applications thereof | |
WO2021207156A1 (en) | Integration of remote audio into a performance venue | |
KR101880156B1 (en) | Method and apparatus for executing an application, and computer program for executing the method | |
AU2023229565A1 (en) | A web-based videoconference virtual environment with navigable avatars, and applications thereof | |
WO2018184735A1 (en) | Concept for virtual participation in live events | |
CN114531564A (en) | Processing method and electronic equipment | |
DE202020002406U1 (en) | Apparatus representative spectator - "Stadium avatar" | |
KR20180021623A (en) | System and method for providing virtual reality content | |
DE102012007441B4 (en) | Virtual Transport Machine: Task-in-Cubicle | |
EP3711028A2 (en) | Method for presenting a three-dimensional object and an associated computer program product, digital storage medium and a computer system | |
JP2010028299A (en) | Conference photographed image processing method, conference device, and the like | |
KR102676182B1 (en) | Method and system for remote presence service | |
DE102008056158B4 (en) | A method of controlling and installing a simple-to-use audiovisual communications device, a special camera control device, and use for assisting a person |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18718689 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18718689 Country of ref document: EP Kind code of ref document: A1 |