WO2016055543A1 - Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung - Google Patents

Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung Download PDF

Info

Publication number
WO2016055543A1
WO2016055543A1 PCT/EP2015/073187 EP2015073187W WO2016055543A1 WO 2016055543 A1 WO2016055543 A1 WO 2016055543A1 EP 2015073187 W EP2015073187 W EP 2015073187W WO 2016055543 A1 WO2016055543 A1 WO 2016055543A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
encoded
data stream
input data
interface
Prior art date
Application number
PCT/EP2015/073187
Other languages
English (en)
French (fr)
Inventor
Christopher Saloman
Thomas HAUENSTEIN
Wolfgang Thieme
Original Assignee
Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. filed Critical Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority to JP2017518832A priority Critical patent/JP2017535171A/ja
Priority to EP15781610.9A priority patent/EP3205085A1/de
Priority to CA2963954A priority patent/CA2963954A1/en
Priority to KR1020177012418A priority patent/KR102001549B1/ko
Publication of WO2016055543A1 publication Critical patent/WO2016055543A1/de
Priority to US15/482,254 priority patent/US20170213575A1/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency

Definitions

  • the application relates to video processing, and more particularly to an apparatus and method for slicing multiple encoded video streams without prior decoding.
  • video streams are usually received by a plurality of cameras, from which a mixed output video stream is produced with a cut order to be determined, which is broadcast.
  • the uncompressed camera video streams are merged for this purpose on a video switch, with which the desired image can be switched to the output.
  • New developments in TV production mobile cameras, very high resolutions, etc.
  • require a prior compression of the video streams which is usually achieved through the use of digital video codecs.
  • An intra-frame (also called an intra-picture, I-frame, final sibiid or reference picture) in picture prediction in a group of pictures is an image which is independently decodable (from the other pictures). In a group of images, the prediction of the other images (which are not intra-frames) builds on the intra-frame. Intra-frames are well known to those skilled in the video signal processing art.
  • Inter-frames are for example P-frames or B-frames.
  • P-frames the image data of the P-frame (ua) is determined from the image data of previous images.
  • B frames the image data of the B frame (ua) is determined from the image data of previous and subsequent images.
  • Inter-frames, P-frames and B-frames are well known to those skilled in the art of video signal processing.
  • H264 a video codec, in which such a subdivision of the images into intra-frames (reference images) and inter-frames (referencing images) make (for H.264, see for example [1]).
  • Figure 2 shows two example video streams, specifically, the construction of H264 streams.
  • GOPs group of pictures
  • a reference image e.g., H264: I-frame
  • a plurality of referencing images e.g., in H264: P-frames
  • all single images can be decoded without error.
  • a video switch (video switcher) is used for cutting, which makes it possible to cut uncompressed video streams.
  • these video streams must be decoded in front of the input to the switch, which leads to a high computational effort, which increases the more compressed data streams are present in such a scenario , Thereafter, these can be used traditionally as uncompressed streams.
  • Another approach to switching between encoded streams is the use of so-called S-frames.
  • S-frames can only be used when switching between streams generated by the same source, which then only in their quality level (Resolution, data rate, etc.).
  • An apparatus for generating a video output data stream by switching from a first video input data stream to a second video input data stream includes an interface for receiving encoded video frames of a first video input data stream, wherein each of the encoded video frames of the first video input data stream is either an encoded intra-frame or an encoded inter-frame.
  • the apparatus further comprises a video data stream generator for generating the video output data stream, wherein the video data stream generator is configured to output one or more video frames of the first video input data stream as one or more encoded video frames of the video output data stream.
  • the interface is adapted to receive a toggle command instructing to switch to the reception of encoded video frames of the second video input data stream, wherein each of the encoded video frames of the second video input data stream is either an encoded intra-frame or an encoded inter-frame. Further, the interface is configured to send a request command requesting the transmission of one of the encoded intraframes of the second video input data stream upon receipt of the switching command. Furthermore, the interface is configured to receive the encoded video frames of the second video input data stream.
  • the video stream generator is adapted to issue, in response to a arrival of one of the intra-frames of the second video input data stream at the interface, that intra-frame and the encoded video frame of the second video input data stream received from the interface upon receipt of that intraframe as video frames of the video output data stream.
  • the video stream generator may be configured to determine that intra-frame of the second video stream by the video stream generator, upon receiving the toggle command, to check each of the encoded video frames of the second video input stream received at the interface to see if that encoded video frame is an encoded intra-frame.
  • the video data stream generator can be designed, for example, to output this IntraFrame as a video frame of the video output data stream.
  • the video data stream generator may be configured, for example, none of the encoded interframes of the second video input data stream received from the interface After the switch command has been received and before the interface has received one of the encoded intra-frames of the second video input data stream upon receipt of the switch command, they are output as encoded video frames of the video output data stream. Further, the video data stream generator may be configured, for example, each of the encoded inter-frames of the second video input data stream received by the interface after the switching command has been received, and after the interface has received at least one of the encoded intra-frames of the second video input data stream upon receipt of the switching command has received to output as a video frame of the video output stream.
  • the video stream generator may be e.g. to form each of the encoded video frames of the first video input data stream received from the interface after the switching command has been received and before the interface has received one of the encoded intra-frames of the second video input data stream after receiving the switching command as the encoded video frames of Output video output data stream.
  • the device may also be e.g. a user interface by means of which a user can trigger the toggle command.
  • the device may be e.g. a switching unit adapted to trigger the switching command, wherein the switching unit may be arranged to trigger the switching command independently of a user, and wherein the switching unit may be further configured to initiate the switching command regardless of when encoded intra-switching Frames of the second video input data stream are received by the interface.
  • the toggle command may be a first toggle command
  • the request command may be, for example, a first request command
  • the interface may be configured to receive a second toggle command instructing to toggle to receive encoded video frames of a third video input data stream each of the encoded video frames of the third video input data stream is either an encoded intra-frame or an encoded inter-frame.
  • the interface can be designed, for example, to send a second request command after receiving the second switching command requesting the transmission of one of the encoded intraframes of the third video input data stream.
  • the interface may, for example, be configured to receive the encoded video frames of the third video input data stream.
  • the video data stream generator may be formed, for example, after reception the second toggle command to check each of the encoded video frames received at the interface of the third video input data stream to see if that encoded video frame is an encoded intraframe.
  • the video data stream generator may be configured, if this encoded video frame is an encoded intra-frame, to output this encoded intra-frame as a video frame of the video output data stream.
  • the video stream generator may be configured, for example, not to receive any of the encoded inter-frames of the third video input data stream received by the interface after the second switching command has been received and before the interface receives one of the encoded intra-frames of the third video input data stream second switching command has been issued to output as encoded video frames of the video output data stream.
  • the video stream generator may be configured to receive each of the encoded inter-frames of the third video input data stream received from the interface after the second switching command has been received and after the interface receives at least one of the encoded intra-frames of the third video input data stream after receipt of the second Switch command to output as a video frame of the video output data stream.
  • the interface may e.g. be configured to receive an image group comprising one of the encoded intra-frames of the second video input data stream and at least ten of the encoded inter-frames of the second video input data stream, the interface being adapted to first encode the encoded intra-frame of the image group and then to receive the at least ten encoded interframes of the image group, the interface eg may be configured to receive no other video frame of the second video input data stream between the encoded intra-frame of the image sequences and between each of the encoded inter-frames of the second video input data stream.
  • the video data stream generator may e.g. be configured to output the encoded intraframe of the image sequence and each of the at least ten encoded interframes of the image sequence as eleven or more consecutive encoded video frames of the video output data stream.
  • the encoded intra-frame of the second video input data stream is subsequently followed by at least 30 intraframes of the second video input data stream.
  • the system includes a device as described above, a first encoder, and a second encoder.
  • the first encoder points an encoding unit and an interface, wherein the encoding unit of the first encoder is adapted to generate the encoded video frames of the first video input data stream, the interface of the first encoder configured to send the encoded video frames of the first video input data stream to the interface of the apparatus described above.
  • the second encoder has a further encoding unit and a further interface, wherein the encoding unit of the second encoder is adapted to generate the encoded video frames of the second video input data stream, the interface of the second encoder being adapted to interface the encoded video frames of the second video input data stream to the interface of the above to send described device.
  • the interface of the device described above is configured to send the request command to the interface of the second encoder after receipt of the switching command.
  • the interface of the second encoder is adapted to receive the request command. Further, upon receiving the request command, the interface of the second encoder is adapted to send one of the encoded video frames of the second video input data stream, which is one of the encoded intraframes of the second video input data stream, to the interface of the apparatus described above.
  • the interface of the second encoder may be configured between receiving the request command and transmitting said one of the encoded intra-frames of the second video input data stream, not one of the encoded video frames of the second video input data stream that is not an intra-frame. to send to the interface of the device described above.
  • the interface of the second encoder may be configured to send a group of pictures to the interface of the apparatus described above, wherein the picture stream comprises one of the encoded intra-frames of the second video input data stream and at least ten of the encoded inter-frames of the second video input data stream .
  • the interface of the second encoder may be designed, for example, first to send the encoded intraframe of the group of pictures and then the at least ten encoded interframes of the group of pictures to the interface of the device described above, wherein the interface of the second encoder may be formed not to send any other video frame of the second video input data stream between the encoded intra-frame of the image sequences and between each of the encoded inter-frames of the second video input data stream to the interface of the device described above.
  • the interface of the apparatus described above can be set up, for example, to receive the picture group, the interface of the apparatus described above being configured, for example, for this purpose. may be initially receiving the encoded intraframe of the imagery and thereafter receiving the at least ten encoded interframes of the imagery, wherein the interface of the apparatus described above is configured to receive no other video frame of the second input video stream between the encoded intraframe of the imagery and to receive between each of the encoded inter-frames of the second video input data stream.
  • the video data stream generator of the device described above can be designed, for example, to output the encoded intraframe of the image sequence and each of the at least ten encoded interframes of the image sequence as eleven or more consecutive encoded video frames of the video output data stream.
  • the encoded intra-frame of the second video input data stream is subsequently followed by at least 30 intra-frames of the second video input data stream.
  • the system may further comprise one or more terminals, each of the one or more terminals including an interface and a decoder.
  • the interface of each of the one or more terminals may be configured to receive the video output data stream.
  • the decoder of each of the one or more terminals may be configured to decode the encoded video frames of the video output data stream.
  • a method for generating a video output data stream by switching from a first video input data stream to a second video input data stream comprising:
  • each of the encoded video frames of the first video input data stream is either an encoded intra-frame or an encoded inter-frame.
  • Embodiments realize that, despite the particular structure of such video codecs, mixing of such encoded video streams is possible.
  • Embodiments are based on the concept of not directly executing the switch command, but the command is understood by the device according to one embodiment only as a request to comply with this command at the earliest possible time. However, this procedure would lead to large (image group structures) GOP structures that the switching process would be carried out very delayed. Embodiments accomplish this by sending a request command requesting an intra-frame of the data stream to be switched to.
  • FIG. 1 shows a device according to an embodiment
  • Figure 2 shows two example video streams, specifically, the construction of H264 streams.
  • FIG. 3 shows a device according to a further embodiment, which also has a user interface
  • FIG. 4 shows a device according to a further embodiment, which also has a switching unit
  • Fig. 5 shows a device according to another embodiment
  • FIG. 6 shows a system according to an embodiment comprising a device according to an embodiment and two encoders.
  • FIG. 7 shows a system according to an embodiment, further comprising
  • FIG. 8 shows a direct request for an intra-frame in an encoder in a system according to an embodiment.
  • 1 shows an apparatus 100 for generating a video output data stream by switching from a first video input data stream to a second video input data stream according to an embodiment.
  • the apparatus 100 includes an interface 110 for receiving encoded video frames of a first video input data stream, wherein each of the encoded video frames of the first video input data stream is either an encoded intra-frame or an encoded inter-frame.
  • the apparatus 100 includes a video data stream generator 120 for generating the video output data stream, the video data stream generator 120 configured to output one or more video frames of the first video input data stream as one or more encoded video frames of the video output data stream.
  • the interface 110 is configured to receive a toggle command instructing it to switch to the reception of encoded video frames of the second video input data stream.
  • Each of the encoded video frames of the second video input data stream is in turn either an encoded intra-frame or an encoded inter-frame.
  • the interface 110 is now configured to send a request command requesting the transmission of one of the encoded intra-frames of the second video input data stream upon receipt of the switching command. Furthermore, the interface 110 is configured to receive the encoded video frames of the second video input data stream.
  • the video data stream generator 120 is formed in response to a arrival of one of the intra-frames of the second video input data stream at the interface 1 10, this intra-frame and the received from the interface after the arrival of this intra-frame encoded video frame of the second video input data stream as video frames of Output video output data stream.
  • Exemplary embodiments of the invention concern, for example, the compilation of a video output data stream as a live stream, whereby the (first) video input data stream of a first camera from several camera live recordings, but then, in response to the switchover command, the (second) video input data stream of a second camera into the first Video output data stream to be inserted.
  • the problem here is that the video input data streams only occasionally have intra-frames that can be decoded by themselves, but also a large number of consecutive inter-frames that require an intra-frame for their decoding.
  • the present invention solves these technical difficulties by having interface 110 configured to send a request command requesting the transmission of one of the encoded intra-frames of the second video input data stream upon receipt of the switch command.
  • a request command requesting the transmission of one of the encoded intra-frames of the second video input data stream upon receipt of the switch command.
  • an encoder that provides the second video stream can be informed that an IntraFrame is needed.
  • the encoder is informed of the desire of the device 100 to immediately receive an intra-frame, and can send this to the interface 1 10.
  • the device 100 can also receive groups of images with a large number of interframes and still allow fast switching. remains possible. Not many intraframes need to be preemptively provisioned in the video input data streams to enable fast switching at any time. Instead, a required intra-frame is explicitly requested by the request command when the switch command is issued.
  • the output data stream is to contain only relatively few IntraFrames, it is not necessary to recode the video input data streams in the device 100 (from input data streams having a relatively large number of intraframes to enable fast switching, recoded to an output data stream) relatively few intra-frames to keep the data rate low). Instead, the frames of the respectively selected video input data stream can be directly output as frames of the video output data stream as soon as the requested intra-frame arrives at the interface 110. Although an acceleration of the intra-frame preservation of the second data stream is achieved by the request command.
  • the video data stream generator 120 may be provided e.g. be formed to determine arrival of the first intra-frame of the second video data stream by the video data stream generator 120, after receiving the switching command, to check whether each of the encoded video frames incoming at the interface 1 10 of the second video input data stream, whether this encoded - te video frame is an encoded intra-frame.
  • the video stream generator 120 may then be configured to output this intra-frame as a video frame of the video output data stream.
  • the video data stream generator may be configured, for example, not to receive any of the encoded inter-frames of the second video input data stream received by the interface after the switching command has been received and before the interface receives one of the encoded intra-frames of the second video input data stream upon receipt of the switching command has to output as encoded video frames of the video output stream.
  • These inter-frames of the second video input data Currents are not decodable without an intra-frame of the second video input data stream. If they were nevertheless inserted in the video output data stream, this would lead to artifacts in a decoder which wants to receive and decode the video output data stream, which should be avoided.
  • the video data stream generator 120 may be configured to receive each of the encoded inter-frames of the second video input data stream received by the interface 110 after the switching command has been received, and after the interface 110 receives at least one of the encoded intra-frames of the second video input data. after receiving the switching command, to output as a video frame of the video output data stream.
  • These inter-frames of the second video input data stream are then decodable without artifacts for a decoder receiving and decoding the video output data stream, since the previous intra-frame of the second video input data stream has already been inserted into the video output data stream.
  • the video stream generator may be e.g. to form each of the encoded video frames of the first video input data stream received from the interface after the switching command has been received and before the interface has received one of the encoded intra-frames of the second video input data stream after receiving the switching command as the encoded video frames of Output video output data stream.
  • it may be useful to continue to insert the frames of the first video input data stream into the video output data stream for the short transition period until the arrival of the requested first intraframe of the second video input data stream, since these can each be decoded ,
  • the device 100 may also be e.g. a user interface 1 12, by means of which a user can trigger the toggle command.
  • Fig. 3 shows such a user interface 1 12, at which e.g. a live broadcast director switching from e.g. Camera image 1 on camera image 2 can trigger.
  • the user interface may be a keyboard or buttons of a mixing console for mixing video streams.
  • the apparatus 100 may further include a switching unit 14 that is configured to initiate the switching command 14, wherein the switching unit 14 may be configured to trigger the switching command independently of a user and wherein the switching unit 14 may be further configured to initiate the switching instruction independently of when it encoded Intra-frames of the second video input data stream from the interface 1 10 are received.
  • the switching unit 14 may be a time switch, which makes it possible to switch between monitoring videos from different surveillance cameras at fixed or variable time intervals. A vote of the switching in the program logic of the switching unit to the input of I-frames would be technically complex. However, persistent artifacts in the video output stream that provides the watch video presented to the user are undesirable.
  • the interface may be configured to receive a second toggle command instructing it to toggle to receive encoded video frames of a third video input data stream, each of the encoded video frames of the third video input data stream being either an encoded intra-frame or an encoded inter-frame is.
  • the interface can be designed, for example, to send a wide request command after receiving the second switching command requesting the transmission of one of the encoded intra-frames of the third video input data stream.
  • the interface may, for example, be configured to receive the encoded video frames of the third video input data stream.
  • the video data stream generator may be configured, for example, after receiving the switch command to check each of the encoded video frames of the third video input data stream arriving at the interface to see if this encoded video frame is an encoded intraframe.
  • the video data stream generator may be configured, if this encoded video frame is an encoded intra-frame, to output this encoded intra-frame as a video frame of the video output data stream.
  • the video data stream generator may be configured, for example, not to receive any of the encoded inter-frames of the third video input data stream received by the interface after the second switching command has been received, and before the interface receives one of the encoded intra-frames of the third video input data stream upon receipt of the second switching command received as encoded video frames of the video output stream issue.
  • the video stream generator may be configured to receive each of the encoded inter-frames of the third video input data stream received from the interface after the second switching command has been received and after the interface receives at least one of the encoded intra-frames of the third video input data stream of the second switching command has been issued as a video frame of the video output data stream.
  • the interface may e.g. be configured to receive an image group comprising one of the encoded intra-frames of the second video input data stream and at least ten of the encoded inter-frames of the second video input data stream, the interface being adapted to first encode the encoded intra-frame of the image group and then to receive the at least ten encoded interframes of the image group, the interface eg may be configured to receive no other video frame of the second video input data stream between the encoded intra-frame of the image sequences and between each of the encoded inter-frames of the second video input data stream.
  • the video data stream generator may e.g. be configured to output the encoded intraframe of the image sequence and each of the at least ten encoded interframes of the image sequence as eleven or more consecutive encoded video frames of the video output data stream.
  • the encoded intra-frame of the second video input data stream is subsequently followed by at least 30 intra-frames of the second video input data stream.
  • Fig. 6 shows a system according to an embodiment. The system includes the apparatus 100 described above, a first encoder 210, and a second encoder 220.
  • the first encoder 210 comprises an encoding unit 21 1 and an interface 212, wherein the encoding unit 21 1 of the first encoder 210 is adapted to generate the encoded video frames of the first video input data stream, and wherein the interface 212 of the first encoder is formed encoded video frames of the first video deoe input data stream to the interface 1 10 of the device 100 described above to send.
  • the second encoder 220 has a further encoding unit 221 and a further interface 222, wherein the encoding unit 221 of the second encoder 220 is configured to generate the encoded video frames of the second video input data stream and wherein the interface 222 of the second encoder 220 is formed, send the encoded video frames of the second video input data stream to the interface 110 of the apparatus 100 described above.
  • the interface 110 of the apparatus 100 described above is configured to send the request command to the interface 222 of the second encoder 220 upon receiving the switch command.
  • the interface 222 of the second encoder 220 is configured to receive the request command. Further, upon receiving the request command, the interface 222 of the second encoder 220 is adapted to send one of the encoded video frames of the second video input data stream, which is one of the encoded intra-frames of the second video input data stream, to the interface 110 of the apparatus 100 described above.
  • the interface 222 of the second encoder 220 may be e.g.
  • the interface 222 of the second encoder 220 may be configured to send a group of pictures to the interface 110 of the apparatus 100 described above, the frame being one of the encoded intra-frames of the second video input data stream and at least ten of the encoded inter-frame. Frames of the second video input data stream includes.
  • the interface 222 of the second encoder 220 can be designed, for example, to first transmit the encoded intraframe of the picture group and then the at least ten encoded interframes of the picture group to the interface of the device 100 described above.
  • the interface of the second encoder is configured to transmit no other video frame of the second video input data stream between the encoded intraframe of the image sequences and between each of the encoded interframes of the second video input data stream to the interface of the device 100 described above.
  • the interface 110 of the device 100 described above is configured to receive the image group, the interface 110 of the device 100 being designed, for example, first the encoded intraframe of the image group and then the at least ten encoded interframes of the Receive image group, wherein the interface 1 10 of the device 100 described above is adapted to receive no other video frame of the second video input data stream between the encoded IntraFrame of the image sequences and between each of the encoded inter-frames of the second video input data stream.
  • the video data stream generator 120 of the device 100 described above can be designed, for example, to output the encoded intraframe of the image sequence and each of the at least ten encoded interframes of the image sequence as eleven or more consecutive encoded video frames of the video output data stream.
  • the encoded intra-frame of the second video input data stream is subsequently followed by at least 30 intra-frames of the second video input data stream.
  • each of the one or more terminals having an interface 31 1, 321 and a decoder 321, 322 includes.
  • the interface 31 1, 321 of each of the one or more terminals 310, 320 may be configured to receive the video output data stream.
  • the decoder 312, 322 of each of the one or more terminals 310, 320 may be configured to decode the encoded video frames of the video output data stream.
  • the system includes two or more terminals 310, 320.
  • Fig. 8 shows a system according to another embodiment. Specifically, a direct request of an intra-frame (reference frame) is shown in an encoder according to an embodiment.
  • the video stream generator 120 of the apparatus 100 described above includes a multiplexer 125 for generating the video output data stream by multiplexing the first video input data stream and the second video input data stream.
  • I stands for an intra-frame
  • P stands for an interframe (for example a P-frame)
  • index 1 denotes the first video input data stream
  • index 2 denotes the second video input data stream.
  • the system registers this request, requests a new reference frame from the corresponding encoder 220, and begins analyzing the stream to be switched to.
  • the provided device 100 it is possible to still use large GOP structures with low At. As a result, the data rate can be reduced while maintaining the same video quality and it is still possible to quickly change the power.
  • this has the advantage of allowing more cameras in the same quality system to use the channel.
  • the quality of the camera streams can be increased as they are allowed to consume more data rate.
  • it is also often necessary to compress the cut signal at the output of the switch for further transmission (via satellite, Internet, etc.), which makes it necessary to decode the received signal from the camera, to cut in the video switch and then encode again.
  • the unnecessary steps encode (recorder), then decode (video switch) and then encode (video switch at the output) are no longer needed. Instead, it only needs to be encoded on the side of the recorder.
  • the decoding and encoding processes cost electricity, which leads to a reduced battery life in mobile systems.
  • Embodiments can be used in any setup where multiple encoded streams are to be cut or switched: TV production, streaming services, live editing, OB trucks, mobile reporting, surveillance cameras, etc.
  • aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. At some According to embodiments, some or more of the most important method steps may be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software.
  • the implementation may be performed using a digital storage medium such as a floppy disk, a DVD, a BluRay disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic or optical Memory are stored on the electronically readable control signals are stored, which can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
  • some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
  • embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored, for example, on a machine-readable carrier.
  • an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further embodiment of the method according to the invention is thus a data medium (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for performing one of the methods described herein.
  • a further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein.
  • the data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
  • Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver.
  • the transmission can be done for example electronically or optically.
  • the receiver may be, for example, a computer, a mobile device, a storage device or a similar device.
  • the device or system may include a file server for transmitting the computer program to the recipient.
  • a programmable logic device eg, a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein.
  • the methods are performed by any hardware device. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Eine Vorrichtung (100) zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoeingangsdatenstrom wird bereitgestellt. Die Vorrichtung (100) umfasst eine Schnittstelle (110) zum Empfangen von enkodierten Videoframes eines ersten Videoeingangsdatenstroms. Die Schnittstelle (110) ist ausgebildet, einen Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten. Ferner ist die Schnittstelle (110) ausgebildet, nach Empfang des Umschaltbefehls einen Anfragebefehl zu senden, der die Übertragung eines der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms anfragt. Einer Videodatenstromgenerator (120) ist ausgebildet, in Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Videoeingangsdatenstroms bei der Schnittstelle (110), diesen Intra-Frame und die von der Schnittstelle (110) nach Eintreffen dieses Intra-Frames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms auszugeben.

Description

Vorrichtung und Verfahren zum Schneiden von mehreren kodierten Videoströmen ohne vorherige Dekodierung
Beschreibung
Die Anmeldung betrifft Videoverarbeitung, und insbesondere eine Vorrichtung und ein Verfahren zum Schneiden von mehreren kodierten Videoströmen ohne vorherige Dekodierung. Bei einer TV-Produktion werden üblicherweise Videoströme von mehreren Kameras empfangen, aus welchen mit einer zu bestimmenden Schnittreihenfolge ein gemischter Ausgangsvideostrom entsteht, welcher ausgestrahlt wird. Traditionell werden die unkomprimierten Kamera-Videoströme zu diesem Zweck auf einem Videoswitch zusammengeführt, mit dem das gewünschte Bild auf den Ausgang geschalten werden kann. Neue Entwicklungen in der TV-Produktion (mobile Kameras, sehr hohe Auflösungen, etc.) erfordern oft eine vorherige Kompression der Videoströme, welche im Normalfall durch die Verwendung von digitalen Videocodecs erreicht wird.
Bei vielen Videocodecs ist eine Unterteilung der enkodierten Einzelbilder wie folgt mög- lieh.
Zum einen gibt es Bilder, welche unabhängig von anderen kodierten Bildern wieder zu einem anzeigbaren Einzelbild fehlerfrei zurückgerechnet werden können. Dies sind IntraFrames. Sie können auch als Referenzbilder bezeichnet werden.
Ein Intra-Frame (auch Intra-Bild, I-Frame, Schlüsseibiid oder Referenzbild genannt) ist bei der Bildprädiktion in einer Gruppe von Bildern ein Bild, das unabhängig (von den anderen Bildern) dekodierbar ist. In einer Gruppe von Bildern baut die Vorhersage der weiteren Bilder (die keine Intra-Frames sind) auf dem Intra-Frame auf. Intra-Frames sind dem Fachmann auf dem Gebiet der Videosignalverarbeitung wohlbekannt.
Zum anderen gibt es Bilder, welche sich auf andere im Videostrom vorhandene kodierte Bilder beziehen und nur bei Vorhandensein dieser fehlerfrei zurückgerechnet werden können. Dies sind Inter-Frames. Sie können auch als bezugnehmende Bilder (oder be- zugnehmendes Bild) bezeichnet werden.
Bei einem Inter-Frames (auch Inter-Bilder oder bezugnehmende Bilder genannt) wird ein Teil des Bildes durch eine Bezugnahme auf schon vorhandene Bilddaten (z.B. eines an- deren Bildes angegeben). Dies reduziert die erforderliche Datenmenge. Inter-Frames sind beispielsweise P-Frames oder B-Frames. Bei P-Frames werden die Bilddaten des P- Frames (u.a.) aus den Bilddaten vorhergehender Bilder ermittelt. Bei B-Frames werden die Bilddaten des B-Frames (u.a.) aus den Bilddaten vorhergehender und nachfolgender Bilder ermittelt. Inter-Frames, P-Frames und B-Frames sind dem Fachmann auf dem Gebiet der Videosignalverarbeitung wohlbekannt.
Ein Anwendungsbeispiel ist H264 ein Videocodec, bei dem sich eine solche Unterteilung der Bilder in Intra-Frames (Referenzbilder) und Inter-Frames (bezugnehmende Bilder) vornehmen lässt (zu H.264, siehe beispielsweise [1]).
Fig. 2 zeigt zwei Beispielvideoströme, speziell, den Aufbau von H264-Strömen.
Es ist zu sehen dass der Strom dabei in sog. GOPs (Bildergruppen; engl.: Group-Of- Pictures) unterteilt wird.
Bei diesen Strukturen folgen auf ein Referenzbild (z.B. bei H264: I-Frame) mehrere bezugnehmende Bilder (z.B. bei H264: P-Frames), welche sich auf das anfängliche Referenzbild oder auf andere bezugnehmende Bilder beziehen. Ist eine GOP-Struktur komplett vorhanden können alle Einzelbilder aus ihr fehlerfrei dekodiert werden.
Wie oben beschrieben, wird zum Schneiden traditionell ein Videoswitch (Video Umschalter) benutzt, der es ermöglicht, unkomprimierte Videoströme zu schneiden. Um diesen Videoswitch nun in einem Umfeld mit Videoströmen nutzen zu können, die enkodiert sind, müssen diese Videoströme vor dem Eingang in den Switch dekodiert werden, was zu einem hohen rechnerischen Aufwand führt, welcher steigt, je mehr komprimierte Datenströme in einem solchen Szenario vorhanden sind. Danach können diese traditionell wie unkomprimierte Ströme benutzt werden. Eine andere Herangehensweise um zwischen enkodierten Strömen umzuschalten, stellt die Benutzung von sogenannten S-Frames dar. Diese S-Frames können jedoch nur benutzt werden wenn zwischen Strömen umgeschaltet werden soll, die von der gleichen Quelle erzeugt wurden, welche sich dann nur in ihrer Qualitätsstufe (Auflösung, Datenrate usw.) unterscheiden können.
Es gibt Kompressionsstandards, wie JPEG2000, bei denen es keine Intra-Frames gibt, was dazu führt, dass diese an beliebigen Stellen ohne Sonderbehandlung geschnitten werden können. Diese benötigen für gleiche Qualität im Allgemeinen jedoch eine wesentlich höhere Datenrate.
Eine Vorrichtung nach Anspruch 1 , eine Verfahren nach Anspruch 14 und ein Computer- programm nach Anspruch 15 wird bereitgestellt.
Eine Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoeingangsdatenstrom wird bereitgestellt. Die Vorrichtung umfasst eine Schnittstelle zum Empfangen von enkodierten Videoframes eines ersten Videoeingangsdatenstroms, wobei jeder der enkodierten Videoframes des ersten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Ferner umfasst die Vorrichtung einen Videodatenstromgenerator zum Erzeugen des Videoausgangsdatenstroms, wobei der Videodatenstromgenerator ausgelegt ist, ein oder mehrere Videoframes des ersten Videoeingangs- datenstroms als ein oder mehrere enkodierte Videoframes des Videoausgangsdatenstroms auszugeben. Die Schnittstelle ist ausgebildet, einen Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des zweiten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Ferner ist die Schnittstelle ausgebildet, nach Empfang des Umschaltbefehls einen Anfragebefehl zu senden, der die Übertragung eines der enkodierten IntraFrames des zweiten Videoeingangsdatenstroms anfragt. Des Weiteren ist die Schnittstelle ausgebildet, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator ist ausgebildet, in Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Videoeingangsdatenstroms bei der Schnittstelle, diesen Intra-Frame und die von der Schnittstelle nach Eintreffen dieses IntraFrames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms auszugeben. Gemäß einer Ausführungsform kann der Videodatenstromgenerator z.B. ausgebildet sein, diesen Intra-Frame des zweiten Videodatenstroms zu bestimmen, indem der Videodatenstromgenerator ausgebildet ist, nach Empfang des Umschaltbefehls, jeden der bei der Schnittstelle eingehenden enkodierten Videoframes des zweiten Videoeingangsdatenstroms daraufhin zu überprüfen, ob dieser enkodierte Videoframe ein enkodierter Intra- Frame ist. Dabei kann der Videodatenstromgenerator z.B. ausgelegt sein, diesen IntraFrame als einen Videoframe des Videoausgangsdatenstroms auszugeben. Ferner kann der Videodatenstromgenerator dabei z.B. ausgebildet sein, keine der enkodierten InterFrames des zweiten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdaten- stroms auszugeben. Ferner kann der Videodatenstromgenerator dabei z.B. ausgebildet sein, jeden der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms, der von der Schnittstelle empfangen wird, nachdem der Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle wenigstens einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als einen Videoframe des Videoausgangsdatenstroms auszugeben.
In einer Ausführungsform, kann der Videodatenstromgenerator z.B. ausgebildet sein, jeden der enkodierten Videoframes des ersten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des zweiten Videoeingangsda- tenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
Gemäß einer Ausführungsform kann die Vorrichtung ferner z.B. eine Benutzerschnittstelle aufweisen, mittels der ein Benutzer den Umschaltbefehl auslösen kann.
In einer Ausführungsform kann die Vorrichtung z.B. eine Umschalteinheit umfassen, die dafür eingerichtet ist, den Umschaltbefehl auszulösen, wobei die Umschalteinheit eingerichtet sein kann, den Umschaltbefehl unabhängig von einem Benutzer auszulösen, und wobei die die Umschalteinheit ferner eingerichtet sein kann, den Umschaltbefehl unab- hängig davon auszulösen, wann enkodierte Intra-Frames des zweiten Videoeingangsdatenstroms von der Schnittstelle empfangen werden.
Gemäß einer Ausführungsform kann der Umschaltbefehl z.B. ein erster Umschaltbefehl sein, der Anfragebefehl kann z.B. ein erster Anfragebefehl sein, und die Schnittstelle kann z.B. ausgelegt sein, einen zweiten Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes eines dritten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des dritten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Dabei kann die Schnittstelle z.B. ausgebildet sein, nach Empfang des zweiten Umschaltbefehls einen zweiten Anfragebefehl zu senden, der die Übertragung eines der enkodierten IntraFrames des dritten Videoeingangsdatenstroms anfragt. Ferner kann die Schnittstelle z.B. ausgebildet sein, die enkodierten Videoframes des dritten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator kann z.B. ausgebildet sein, nach Empfang des zweiten Umschaltbefehls, jeden der bei der Schnittstelle eingehenden enkodierten Videoframes des dritten Videoeingangsdatenstroms daraufhin zu überprüfen, ob dieser enkodierte Videoframe ein enkodierter Intra-Frame ist. Der Videodatenstromgenerator kann z.B. ausgelegt sein, wenn dieser enkodierte Videoframe ein enkodierter Intra-Frame ist, diesen enkodierten Intra-Frame als einen Videoframe des Videoausgangsdatenstroms auszugeben. Ferner kann der Videodatenstromgenerator z.B. ausgebildet sein, keine der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der zweite Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des dritten Videoeingangsdaten- Stroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben. Des Weiteren kann der Videodatenstromgenerator ausgebildet sein, jeden der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, der von der Schnittstelle empfangen wird, nachdem der zweite Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle wenigstens einen der enkodierten Intra-Frames des dritten Videoeingangsdatenstroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als einen Videoframe des Videoausgangsdatenstroms auszugeben.
So kann in einer Ausführungsform die Schnittstelle z.B. dafür eingerichtet sein, eine Bil- dergruppe zu empfangen, die einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst, wobei die Schnittstelle dafür ausgelegt sein kann, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle z.B. ausgebildet sein kann, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator kann z.B. ausgebildet sein, den enkodierten Intra-Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
In einer bevorzugten Ausführungsform folgen dem enkodierten Intra-Frame des zweiten Videoeingangsdatenstroms darauffolgend mindestens 30 Intra-Frames des zweiten Vi- deoeingangsdatenstroms.
Ferner wird ein System bereitgestellt. Das System umfasst eine Vorrichtung wie oben beschrieben, einen ersten Enkoder, und einen zweiten Enkoder. Der erste Enkoder weist eine Enkodiereinheit und eine Schnittstelle auf, wobei die Enkodiereinheit des ersten Enkoders ausgebildet ist, die enkodierten Videoframes des ersten Videoeingangsdatenstroms zu erzeugen, wobei die Schnittstelle des ersten Enkoders ausgebildet ist, die enkodierten Videoframes des ersten Videoeingangsdatenstroms zur Schnittstelle der oben beschriebenen Vorrichtung zu senden. Der zweite Enkoder weist eine weitere Enkodiereinheit und eine weitere Schnittstelle auf, wobei die Enkodiereinheit des zweiten Enkoders ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu erzeugen, wobei die Schnittstelle des zweiten Enkoders ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zur Schnittstelle der oben beschriebenen Vorrichtung zu senden. Die Schnittstelle der oben beschriebenen Vorrichtung ist ausgebildet, nach Empfang des Umschaltbefehls den Anfragebefehl zur Schnittstelle des zweiten Enkoders zu senden. Die Schnittstelle des zweiten Enkoders ist ausgebildet, den Anfragebefehl zu empfangen. Ferner ist die Schnittstelle des zweiten Enkoders ausgebildet, auf den Empfang des Anfragebefehls hin, einen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der einer der enkodierten IntraFrames des zweiten Videoeingangsdatenstroms ist, zur Schnittstelle der oben beschriebenen Vorrichtung zu senden.
Gemäß einer Ausführungsform kann die Schnittstelle des zweiten Enkoders z.B. ausge- bildet sein, zwischen dem Empfang des Anfragebefehls und dem Senden des besagten einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms, keinen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der kein Intra-Frame ist, zur Schnittstelle der oben beschriebenen Vorrichtung zu senden. In einer Ausführungsform kann die Schnittstelle des zweiten Enkoders z.B. dafür eingerichtet sein, eine Bildergruppe zu der Schnittstelle der oben beschriebenen Vorrichtung zu senden, wobei die Bilderfolge einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst. Die Schnittstelle des zweiten Enkoders kann dabei z.B. dafür ausgelegt sein, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu der Schnittstelle der oben beschriebenen Vorrichtung zu senden, wobei die Schnittstelle des zweiten Enkoders ausgebildet sein kann, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu der Schnittstelle der oben beschriebenen Vorrichtung zu senden. Dabei kann die Schnittstelle der oben beschriebenen Vorrichtung z.B. dafür eingerichtet sein, die Bildergruppe zu empfangen, wobei die Schnittstelle der oben beschriebenen Vorrichtung z.B. dafür ausge- legt sein kann, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle der oben beschriebenen Vorrichtung ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator der oben beschriebenen Vorrichtung kann dabei z.B. ausgebildet sein, den enkodierten Intra-Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
In einer bevorzugten Ausführungsform folgen dem enkodierten Intra-Frame des zweiten Videoeingangsdatenstroms darauffolgend mindestens 30 Intra-Frames des zweiten Videoeingangsdatenstroms.
In einer Ausführungsform kann das System ferner ein oder mehrere Endgeräte aufweisen, wobei jedes der ein oder mehreren Endgeräte eine Schnittstelle und einen Dekoder um- fasst. Die Schnittstelle jedes der ein oder mehreren Endgeräte kann dabei ausgebildet sein, den Videoausgangsdatenstrom zu empfangen. Dabei kann der Dekoder jedes der ein oder mehreren Endgeräte ausgelegt sein, die enkodierten Videoframes des Videoausgangsdatenstroms zu dekodieren.
Des Weiteren wird ein Verfahren zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoein- gangsdatenstrom bereitgestellt, Das Verfahren umfasst:
Empfangen von enkodierten Videoframes des ersten Videoeingangsdatenstroms, wobei jeder der enkodierten Videoframes des ersten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist.
Erzeugen des Videoausgangsdatenstroms, wobei ein oder mehrere Videoframes des ersten Videoeingangsdatenstroms als ein oder mehrere enkodierte Videoframes des Videoausgangsdatenstroms ausgegeben werden. - Empfangen eines Umschaltbefehls, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des zweiten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Nach Empfang des Umschaltbefehls, Senden eines Anfragebefehls, der die Übertragung eines der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms anfragt.
Empfangen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms. Und:
In Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Vi- deoeingangsdatenstroms, Ausgabe dieses Intra-Frames und der nach Eintreffen dieses Intra-Frames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms.
Ferner wird ein Computerprogramm mit einem Programmcode zur Durchführung des oben beschriebenen Verfahrens bereitgestellt.
Konzepte von Ausführungsformen basieren darauf, die GOP-Struktur so groß wie möglich zu machen, das heißt so wenig Referenzbilder wie möglich zu verwenden. Dies führt zu einer geringeren Datenrate bei gleichbleibender Qualität des Videos.
Ausführungsformen realisieren, dass trotz der speziellen Struktur solcher Videocodecs ein Mischen solcher enkodierten Videoströme möglich ist.
Mit den bereitgestellten Konzepten wird es möglich, mehrere kodierte Videoströme auch mit großen GOP Strukturen (Bildergruppen-Strukturen) effektiv zu schneiden, ohne dass eine Dekodierung dieser Ströme notwendig wird. Wie oben beschrieben, ist eine korrekte Dekodierung von bezugnehmenden Bildern nur möglich, wenn das dazugehörige Referenzbild (Referenzframe) und alle dazugehörigen anderen bezugnehmende Bilder vorhanden sind.
Soll nun ein Umschalten zwischen den zwei Videoströmen erfolgen, ist es also nicht möglich, ohne Vorkehrungen das nächste Einzelbild in den Ausgangsvideostrom (den Zielvideostrom) einzufügen, da sonst unter Umständen bezugnehmende Bilder eingefügt werden würden, zu denen die benötigten anderen Einzelbilder (insbesondere beispielsweise ein benötigtes bezugnehmendes Bild) nicht vorliegen. Ein solches Vorgehen würde zu Artefakten in dem Ausgangsvideo führen. Ausführungsformen basieren auf dem Konzept, den Befehl zum Umschalten nicht direkt auszuführen, sondern der Befehl wird von der Vorrichtung gemäß einer Ausführungsform nur als Aufforderung verstanden, zum nächstmöglichen Zeitpunkt diesem Befehl nachzukommen. Dieses Vorgehen würde jedoch bei großen (Bildergruppen-Strukturen) GOP Strukturen dazu führen, dass der Umschaltvorgang sehr verzögert ausgeführt werden würde. Ausführungsformen lösen dies durch Senden eines Anfragebefehls, mit dem ein Intra-Frame des Datenstroms, auf den umgeschaltet werden soll, angefragt wird.
Nachfolgend werden bevorzugte Ausführungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben.
In den Zeichnungen ist dargestellt:
Fig. 1 zeigt eine Vorrichtung gemäß einer Ausführungsform,
Fig. 2 zeigt zwei Beispielvideoströme, speziell, den Aufbau von H264-Strömen,
Fig. 3 zeigt eine Vorrichtung gemäß einer weiteren Ausführungsform, die ferner eine Benutzerschnittstelle aufweist,
Fig. 4 zeigt eine Vorrichtung gemäß einer weiteren Ausführungsform, die ferner eine Umschalteinheit aufweist,
Fig. 5 zeigt eine Vorrichtung gemäß einer weiteren Ausführungsform
deoeingangsdatenströmen,
Fig. 6 zeigt ein System gemäß einer Ausführungsform umfassend eine Vorrichtung gemäß einer Ausführungsform und zwei Enkoder, Fig. 7 zeigt ein System gemäß einer Ausführungsform, ferner umfassend
Endgeräte, und
Fig. 8 zeigt ein direktes Anfordern eines Intra-Frames bei einem Enkoder in einem System gemäß einer Ausführungsform. Fig. 1 zeigt eine Vorrichtung 100 zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoeingangsdatenstrom gemäß einer Ausführungsform. Die Vorrichtung 100 umfasst eine Schnittstelle 1 10 zum Empfangen von enkodierten Videoframes eines ersten Videoeingangsdatenstroms, wobei jeder der enkodierten Videoframes des ersten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Ferner umfasst die Vorrichtung 100 einen Videodatenstromgenerator 120 zum Erzeugen des Videoausgangsdatenstroms, wobei der Videodatenstromgenerator 120 ausgelegt ist, ein oder mehrere Videoframes des ersten Videoeingangsdatenstroms als ein oder mehrere enkodierte Videoframes des Videoausgangsdatenstroms auszugeben. Die Schnittstelle 1 10 ist ausgebildet, einen Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten. Jeder der enkodierten Videoframes des zweiten Videoeingangsdatenstroms ist dabei wiederum entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist.
Die Schnittstelle 1 10 ist nun ausgebildet, nach Empfang des Umschaltbefehls einen Anfragebefehl zu senden, der die Übertragung eines der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms anfragt. Des Weiteren ist die Schnittstelle 110 ausgebildet, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu empfangen. Dabei ist der Videodatenstromgenerator 120 ausgebildet, in Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Videoeingangsdatenstroms bei der Schnittstelle 1 10, diesen Intra-Frame und die von der Schnittstelle nach Eintreffen dieses Intra-Frames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms auszugeben.
Ausführungsbeispiele der Erfindung betreffen beispielsweise das Zusammenstellen eines Videoausgangsdatenstroms als Live-Stream, wobei von mehreren Kamera-Live- Aufnahmen zunächst der (erste) Videoeingangsdatenstrom einer ersten Kamera, dann aber, auf den Umschaltbefehl hin, der (zweite) Videoeingangsdatenstrom einer zweiten Kamera in den Videoausgangsdatenstrom eingefügt werden soll. Problematisch ist dabei, dass die Videoeingangsdatenströme nur vereinzelt Intra-Frames aufweisen, die für sich alleine dekodierbar sind, aber eben auch eine Vielzahl aufeinanderfolgenden Inter-Frames, die zu ihrer Dekodierung einen Intra-Frame benötigen. Trifft nun der Umschaltbefehl ein, wenn gerade Inter-Frames des zweiten Videoeingangsdatenstroms von der Schnittstelle 1 10 empfangen werden, so führt ein sofortiges Umschalten dazu, dass auf die Frames des ersten Videoeingangsdatenstroms im Videoaus- gangsdatenstrom zunächst Inter-Frames des zweiten Videoeingangsdatenstroms im Vi- deoausgangsdatenstrom folgen, die für sich alleine, z.B. von einem empfangenden Deko- der eines Beziehers des Videoausgangsdatenstroms, ohne den passenden Intra-Frame des zweiten Videoeingangsdatenstroms nicht dekodierbar sind. Folglich entstehen bei sofortigem Umschalten Artefakte beim Dekodieren.
Wird dagegen mit dem Umschalten gewartet, bis ein Intra-Frame des zweiten Videoda- tenstroms bei der Schnittstelle 1 10 eingeht, so kann dies zu unerwünschten Zeitverzögerungen führen, insbesondere wenn die Bildergruppen des zweiten Videoeingangsdatenstroms jeweils aus einem Intra-Frame und einer großen Anzahl von Inter-Frames bestehen (wenn z.B. auf einen Intra-Frame 10 Inter-Frames folgen, oder z.B. insbesondere, wenn auf einen Intra-Frame 30 Inter-Frames folgen). Dies gilt insbesondere dann, wenn es im zweiten Videoeingangsdatenstrom noch besonders lange dauert, bis der nächste Intra-Frame wieder gesendet wird.
Eine dritte Möglichkeit, präventiv eventuell benötigte Intra-Frames des zweiten Videodatenstroms zu speichern, noch bevor überhaupt ein Umschaltbefehl erfolgt ist, führt zu ei- nem erhöhten Speicherbedarf und zu erhöhter benötigter Prozessorzeit für das Speichern der präventiv gespeicherten Frames, was unerwünscht ist.
Die vorliegende Erfindung löst diese technischen Schwierigkeiten, indem die Schnittstelle 1 10 ausgebildet ist, nach Empfang des Umschaltbefehls einen Anfragebefehl zu senden, der die Übertragung eines der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms anfragt. Durch diesen expliziten Anfragebefehl eines Intra-Frames kann ein Enkoder, der den zweiten Videodatenstrom bereitstellt, informiert werden, dass ein IntraFrame benötigt wird. Durch den Anfragebefehl der Schnittstelle 1 10, wird der Enkoder über den Wunsch der Vorrichtung 100 informiert, unmittelbar einen Intra-Frame zu erhal- ten, und kann diesen zur Schnittstelle 1 10 senden.
Einer der entstehenden Vorteile hieraus ist, dass die Vorrichtung 100 auch Bildergruppen mit einer großen Anzahl Inter-Frames empfangen kann und trotzdem schnelles Umschal- ten möglich bleibt. Es müssen nicht besonders viele Intra-Frames präventiv in den Videoeingangsdatenströmen bereitgestellt werden, um jederzeit schnelles Umschalten zu ermöglichen. Stattdessen wird ein benötigter Intra-Frame durch den Anfragebefehl explizit angefragt, wenn der Umschaltbefehl ergeht.
Daraus ergibt sich auch, dass, wenn der Ausgangsdatenstrom nur relativ wenige IntraFrames enthalten soll, es nicht erforderlich ist, die Videoeingangsdatenströme in der Vorrichtung 100 umzukodieren (von Eingangsdatenströmen mit relativ vielen Intra-Frames, um schnelles Umschalten zu ermöglichen, umkodiert zu einem Ausgangsdatenstrom mit relativ wenigen Intra-Frames, um die Datenrate gering zu halten). Stattdessen können die Frames des jeweils ausgewählten Videoeingangsdatenstroms direkt als Frames des Vi- deoausgangsdatenstroms ausgegeben werden, sobald der angeforderte Intra-Frame bei der Schnittstelle 1 10 eintrifft. Zwar wird eine Beschleunigung des Intra-Frame-Erhalts des zweiten Datenstroms durch den Anfragebefehl erreicht. Dennoch kommt es zu einer geringen Zeitverzögerung zwischen dem Eingehen des Umschaltbefehls und dem Eintreffen des ersten Intra-Frames vom zweiten Videoeingangsdatenstrom, da die Übertragung des Anfragebefehls zum Enkoder des zweiten Videoeingangsdatenstroms, wenn auch nur geringe, Zeit erfordern wird. In der Zwischenzeit können jedoch Inter-Frames des zweiten Datenstroms bei der Schnittstelle 1 10 eingehen, die gemäße einer Ausführungsform, dann nicht in den Video- ausgangsdatenstrom eingehen dürfen.
Gemäß einer Ausführungsform kann hierfür der Videodatenstromgenerator 120 z.B. aus- gebildet sein, ein Eintreffen des ersten Intra-Frames des zweiten Videodatenstroms zu bestimmen, indem der Videodatenstromgenerator 120 ausgebildet ist, nach Empfang des Umschaltbefehls, jeden der bei der Schnittstelle 1 10 eingehenden enkodierten Videoframes des zweiten Videoeingangsdatenstroms daraufhin zu überprüfen, ob dieser enkodier- te Videoframe ein enkodierter Intra-Frame ist. Der Videodatenstromgenerator 120 kann dann ausgelegt sein, diesen Intra-Frame als einen Videoframe des Videoausgangsdaten- stroms auszugeben.
Ferner kann der Videodatenstromgenerator dabei z.B. ausgebildet sein, keine der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoaus- gangsdatenstroms auszugeben. Diese Inter-Frames des zweiten Videoeingangsdaten- Stroms sind ohne einen Intra-Frame des zweiten Videoeingangsdatenstroms nicht dekodierbar. Würden die dennoch in den Videoausgangsdatenstrom eingefügt, würde dies bei einem Dekoder, der den Videoausgangsdatenstrom empfängt und dekodieren will, zu Artefakten führen, was vermieden werden soll.
Ferner kann der Videodatenstromgenerator 120 ausgebildet sein, jeden der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms, der von der Schnittstelle 1 10 empfangen wird, nachdem der Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle 1 10 wenigstens einen der enkodierten Intra-Frames des zweiten Videoeingangsda- tenstroms nach Erhalt des Umschaltbefehls erhalten hat, als einen Videoframe des Vide- oausgangsdatenstroms auszugeben. Diese Inter-Frames des zweiten Videoeingangsdatenstroms sind dann für einen Dekoder, der den Videoausgangsdatenstrom empfängt und dekodiert, ohne Artefakte dekodierbar, da bereits der vorhergehende Intra-Frame des zweiten Videoeingangsdatenstroms in den Videoausgangsdatenstrom eingefügt wurde.
In einer Ausführungsform, kann der Videodatenstromgenerator z.B. ausgebildet sein, jeden der enkodierten Videoframes des ersten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des zweiten Videoeingangsda- tenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben. Damit es zu keinen zeitlichen Brüchen im Videoausgangsdatenstrom kommt, kann es sinnvoll sein, für den kurzen Übergangszeitraum bis zum Eintreffen des angeforderten ersten Intra-Frames des zweiten Videoeingangsdatenstroms die Frames des ersten Videoeingangsdatenstrom weiter in den Videoaus- gangsdatenstrom einzufügen, denn diese können je dekodiert werden.
Gemäß einer Ausführungsform kann die Vorrichtung 100 ferner z.B. eine Benutzerschnittstelle 1 12 aufweisen, mittels der ein Benutzer den Umschaltbefehl auslösen kann. Fig. 3 zeigt eine solche Benutzerschnittstelle 1 12, an der z.B. ein Live-Übertragungs-Regisseur das Umschalten von z.B. Kamerabild 1 auf Kamerabild 2 auslösen kann. Beispielsweise kann es sich bei der Benutzerschnittstelle um eine Tastatur oder um Knöpfe eines Mischpults zum Mischen von Videostreams handeln.
In einer Ausführungsform, gezeigt in Fig. 4, kann die Vorrichtung 100 ferner eine Um- schalteinheit 1 14 umfassen, die dafür eingerichtet ist, den Umschaltbefehl 1 14 auszulösen, wobei die Umschalteinheit 1 14 eingerichtet sein kann, den Umschaltbefehl unabhängig von einem Benutzer auszulösen, und wobei die die Umschalteinheit 1 14 ferner eingerichtet sein kann, den Umschaltbefehl unabhängig davon auszulösen, wann enkodierte Intra-Frames des zweiten Videoeingangsdatenstroms von der Schnittstelle 1 10 empfangen werden. Beispielsweise kann es sich bei der Umschalteinheit 1 14 um einen Zeitschalter handeln, wodurch in zeitlich festen oder zeitlich variablen Abständen ein Umschalten zwischen Überwachungsvideos von verschiedenen Überwachungskameras ermöglicht. Eine Abstimmung des Umschaltens in der Programmlogik der Umschalteinheit auf das Eingehen von I-Frames hin wäre technisch aufwändig. Ständige Artefakte im Videoaus- gangsdatenstrom, der das Überwachungsvideo bereitstellt, das dem Benutzer präsentiert wird, sind aber dennoch unerwünscht. Besonders bei Ausführungsformen bei denen zwischen drei oder mehreren Videoströmen umgeschaltet wird, kommen die Vorteile der oben dargestellten Konzepte besonders zur Geltung. Bei häufigem Umschalten zwischen den Videoeingangsdatenströmen, wie dies besonders bei einer großen Anzahl von Videoeingangsdatenströmen der Fall ist, käme es ohne den Einsatz der erfindungsgemäßen Vorrichtung 100 in besonderem Umfang zu Zeitverzögerungen.
So ist in Fig. 5 eine Ausführungsform gezeigt, bei der der oben angesprochene Umschaltbefehl ein erster Umschaltbefehl ist, und der oben angesprochene Anfragebefehl ein erster Anfragebefehl ist. Die Schnittstelle kann dabei z.B. ausgelegt sein, einen zweiten Um- schaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes eines dritten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des dritten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist. Dabei kann die Schnittstelle z.B. ausgebildet sein, nach Empfang des zweiten Umschaltbefehls einen weiten Anfragebefehl zu senden, der die Übertragung eines der enkodierten Intra-Frames des dritten Videoeingangsdatenstroms anfragt. Ferner kann die Schnittstelle z.B. ausgebildet sein, die enkodierten Videoframes des dritten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromge- nerator kann z.B. ausgebildet sein, nach Empfang des Umschaltbefehls, jeden der bei der Schnittstelle eingehenden enkodierten Videoframes des dritten Videoeingangsdaten- Stroms daraufhin zu überprüfen, ob dieser enkodierte Videoframe ein enkodierter IntraFrame ist. Der Videodatenstromgenerator kann z.B. ausgelegt sein, wenn dieser enkodierte Videoframe ein enkodierter Intra-Frame ist, diesen enkodierten Intra-Frame als einen Videoframe des Videoausgangsdatenstroms auszugeben. Ferner kann der Videodatenstromgenerator z.B. ausgebildet sein, keine der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, die von der Schnittstelle empfangen werden, nachdem der zweite Umschaltbefehl empfangen wurde, und bevor die Schnittstelle einen der enkodierten Intra-Frames des dritten Videoeingangsdatenstroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben. Des Weiteren kann der Videodatenstromgenerator ausgebildet sein, jeden der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, der von der Schnittstelle empfangen wird, nachdem der zweite Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle wenigstens einen der enkodierten Intra-Frames des dritten Vi- deoeingangsdatenstroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als einen Videoframe des Videoausgangsdatenstroms auszugeben.
Besonders vorteilhaft sind die oben dargestellten Konzepte wenn, wie bereits erwähnt, auf einen Intra-Frame im Videoeingangsdatenstrom jeweils eine große Anzahl von Inter- Frames folgt.
So kann in einer Ausführungsform die Schnittstelle z.B. dafür eingerichtet sein, eine Bildergruppe zu empfangen, die einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Vi- deoeingangsdatenstroms umfasst, wobei die Schnittstelle dafür ausgelegt sein kann, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle z.B. ausgebildet sein kann, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator kann z.B. ausgebildet sein, den enkodierten Intra-Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
In einer bevorzugten Ausführungsform folgen dem enkodierten Intra-Frame des zweiten Videoeingangsdatenstroms darauffolgend mindestens 30 Intra-Frames des zweiten Videoeingangsdatenstroms. Fig. 6 zeigt ein System gemäß einer Ausführungsform. Das System umfasst die oben beschriebene Vorrichtung 100, einen ersten Enkoder, 210 und einen zweiten Enkoder 220.
Der erste Enkoder 210 weist eine Enkodiereinheit 21 1 und eine Schnittstelle 212 auf, wo- bei die Enkodiereinheit 21 1 des ersten Enkoders 210 ausgebildet ist, die enkodierten Videoframes des ersten Videoeingangsdatenstroms zu erzeugen, und wobei die Schnittstelle 212 des ersten Enkoders ausgebildet ist, die enkodierten Videoframes des ersten Vi- deoeingangsdatenstroms zur Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 zu senden.
Der zweite Enkoder 220 weist eine weitere Enkodiereinheit 221 und eine weitere Schnitt- stelle 222 auf, wobei die Enkodiereinheit 221 des zweiten Enkoders 220 ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu erzeugen, und wobei die Schnittstelle 222 des zweiten Enkoders 220 ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zur Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 zu senden.
Die Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 ist ausgebildet, nach Empfang des Umschaltbefehls den Anfragebefehl zur Schnittstelle 222 des zweiten Enkoders 220 zu senden. Die Schnittstelle 222 des zweiten Enkoders 220 ist ausgebildet, den Anfragebefehl zu empfangen. Ferner ist die Schnittstelle 222 des zweiten Enkoders 220 ausgebildet, auf den Empfang des Anfragebefehls hin, einen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der einer der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms ist, zur Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 zu senden. Gemäß einer Ausführungsform kann die Schnittstelle 222 des zweiten Enkoders 220 z.B. ausgebildet sein, zwischen dem Empfang des Anfragebefehls und dem Senden des besagten einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms, keinen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der kein IntraFrame ist, zur Schnittstelle der oben beschriebenen Vorrichtung 00 zu senden.
In einer Ausführungsform kann die Schnittstelle 222 des zweiten Enkoders 220 z.B. dafür eingerichtet sein, eine Bildergruppe zu der Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 zu senden, wobei die Bilderfolge einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst. Die Schnittstelle 222 des zweiten Enkoders 220 kann dabei z.B. dafür ausgelegt sein, zunächst den enkodierten IntraFrame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu der Schnittstelle der oben beschriebenen Vorrichtung 100 zu senden. Dabei ist die Schnittstelle des zweiten Enkoders ausgebildet, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu der Schnittstelle der oben beschriebenen Vorrichtung 100 zu senden. Die Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 ist dabei dafür eingerichtet, die Bildergruppe zu empfangen, wobei die Schnittstelle 1 10 der Vorrichtung 100 z.B. dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle 1 10 der oben beschriebenen Vorrichtung 100 ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten IntraFrame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen. Der Videodatenstromgenerator 120 der oben beschriebenen Vorrichtung 100 kann dabei z.B. ausgebildet sein, den enkodierten Intra- Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoaus- gangsdatenstroms auszugeben.
In einer bevorzugten Ausführungsform folgen dem enkodierten Intra-Frame des zweiten Videoeingangsdatenstroms darauffolgend mindestens 30 Intra-Frames des zweiten Videoeingangsdatenstroms.
Fig. 7 zeigt eine Ausführungsform, bei der das System ferner ein oder mehrere Endgeräte (in Fig. 7 zwei Endgeräte 310, 320) aufweist, wobei jedes der ein oder mehreren Endgerä- te eine Schnittstelle 31 1 , 321 und einen Dekoder 321 , 322 umfasst. Die Schnittstelle 31 1 , 321 jedes der ein oder mehreren Endgeräte 310, 320 kann dabei ausgebildet sein, den Videoausgangsdatenstrom zu empfangen. Dabei kann der Dekoder 312, 322 jedes der ein oder mehreren Endgeräte 310, 320 ausgelegt sein, die enkodierten Videoframes des Videoausgangsdatenstroms zu dekodieren.
Beispielsweise weist das System zwei oder mehr Endgeräte 310, 320 auf.
Fig. 8 zeigt ein System gemäß einer weiteren Ausführungsform. Speziell wird ein direktes Anfordern eines Intra-Frames (Referenzframes) bei einem Enkoder gemäß einer Ausfüh- rungsform gezeigt. Der Videostromgenerator 120 der oben beschriebenen Vorrichtung 100 umfasst einen Multiplexer 125 zum Erzeugen des Videoausgangsdatenstroms durch Multiplexen des ersten Videoeingangsdatenstroms und des zweiten Videoeingangsdatenstroms. In den Videodatenströmen steht I für einen Intra-Frame, P steht für einen InterFrame (beispielsweise einen P-Frame), Der Index 1 bezeichnet den ersten Videoein- gangsdatenstrom und der Index 2 bezeichnet den zweiten Videoeingangsdatenstrom.
In einer speziellen Ausführungsform ist, wie in Fig. 8 gezeigt, der folgende exemplarische Ablauf realisiert: 1 . Es wird ein Befehl zum Umschalten auf Strom 2 empfangen (Zeitpunkt: f0).
2. Das System registriert diesen Wunsch, fordert einen neuen Referenzframe beim entsprechenden Enkoder 220 an und beginnt den Strom zu analysieren auf den geschaltet werden soll.
3. Auf diesem wird ein Referenzbild detektiert, es ist möglich den Strom ohne Artefakte umzuschalten (Zeitpunkt: ). Die Stomanalyse ist nicht mehr notwendig und wird beendet.
4. Der alte Strom wird vom Ausgang genommen und liefert keine neuen Pakete mehr an diesen. 5. Auf den Ausgang wird das Referenzbild aus Strom 2 und alle nachfolgenden P- Frames von ihm gelegt.
6. Der Umschaltvorgang ist damit abgeschlossen. Es wird also eine Ansteuerung für einen Enkoder 220 realisiert, mit der dem Enkoder 220 von außen angezeigt werden kann, dass ein neuer Intra-Frame (Referenzbild) generiert werden soll, wenn ein Umschaltwunsch registriert wurde.
Mit der bereitgestellten Vorrichtung 100 ist es möglich bei geringem At trotzdem große GOP Strukturen zu verwenden. Dadurch kann die Datenrate bei gleichbleibender Videoqualität gesenkt werden und es ist trotzdem möglich, schnell den Strom zu wechseln.
Bei einer gegebenen Maximaldatenrate eines Kanals bringt dies beispielsweise den Vorteil mit sich, dass mehr Kameras im System mit gleicher Qualität den Kanal benutzen können.
Ferner können stärkere Fehlerschutzmechanismen implementiert werden, da mehr Datenrate für sie zur Verfügung "übrig" bleibt. Dadurch kann die Störresistenz oder z.B. bei Drahtlosübertragungen die Reichweite erhöht werden.
Des Weiteren kann die Qualität der Kameraströme angehoben werden, da sie mehr Datenrate verbrauchen dürfen. Bei traditionellen Systemen ist es zudem oft nötig auch das geschnittene Signal am Ausgang des Switches für die weitere Übertragung (via Satellit, Internet, etc.) zu komprimieren, wodurch es nötig wird, das empfangene Signal von der Kamera zu dekodieren, im Videoswitch zu schneiden und danach wieder zu enkodieren. Die unnötigen Schritte Enkodieren(Aufnahmegerat), dann Dekodieren(Videoswitch) und dann Enkodieren (Videoswitch am Ausgang) werden nicht mehr benötigt. Stattdessen muss nur noch auf Seite des Aufnahmegerätes enkodiert werden.
Dies bringt den Vorteil geringerer Latenz mit sich: Das Dekodieren und erneute Enkodie- ren kostet Zeit, was zu einer Verzögerung des Ausgangsstroms relativ zum Aufnahmezeitpunkt führt.
Ferner ist weniger Energieverbrauch nötig: Die De- und Enkodierungsvorgange kosten Strom, was bei mobilen Systemen zu einer verringerten Akkulaufzeit führt.
Des Weiteren stellen sich dann kleinere Anforderungen an die Rechenleistung: Die De- und Enkodierungsvorgange haben hohe Anforderungen an die rechnerische Leistung des schneidenden Gerätes. Dadurch kann der alte Ansatz nur bedingt auf mobilen Geräten ausgeführt werden und erfordert bei stationären Geräten eine teurere Hardware.
Ferner wird bessere Skalierbarkeit erreicht: Es müssen keine ungenützten Dekoderstufen für die Eingange des Videoswitches vorgehalten werden
Ausführungsformen können in jedem Aufbau eingesetzt werden, in dem mehrere enko- dierte Ströme geschnitten oder umgeschaltet werden sollen: TV-Produktion, Streaming- Dienste, Live Schnitt, Ü-Wagen, mobile Berichterstattung, Überwachungskameras, etc.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Ver- fahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder einer elektronischen Schaltung durchgeführt werden. Bei eini- gen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer BluRay Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steu- ersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem pro- grammier-baren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerpro- grammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger ge- speichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschi- nen-lesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Daten- träger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfigu- riert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor- richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Ein- zelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
Literatur
The H.264 Advanced Video Compression Standard Second Edition, Wiley, ISBN: 978-0-470-51692-8 EFFICIENT VIDEO STREAM SWITCHING WITH PROGRESSIVE S-FRAMES, Byeong-Doo Choi, Ju-Hun Nam, Jin-Hyung Kim, Sung-Hoon Yun, and Sung-Jea Ko, Sen:wqior Member, IEEE.

Claims

Patentansprüche
Vorrichtung (100) zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoeingangsdatenstrom, umfassend: eine Schnittstelle (1 10) zum Empfangen von enkodierten Videoframes eines ersten Videoeingangsdatenstroms, wobei jeder der enkodierten Videoframes des ersten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist, und einen Videodatenstromgenerator (120) zum Erzeugen des Videoausgangsdatenstroms, wobei der Videodatenstromgenerator (120) ausgelegt ist, ein oder mehrere Videoframes des ersten Videoeingangsdatenstroms als ein oder mehrere enko- dierte Videoframes des Videoausgangsdatenstroms auszugeben, wobei die Schnittstelle (1 10) ausgebildet ist, einen Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des zweiten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame o- der ein enkodierter Inter-Frame ist, wobei die Schnittstelle (1 10) ausgebildet ist, nach Empfang des Umschaltbefehls einen Anfragebefehl zu senden, der die Übertragung eines der enkodierten IntraFrames des zweiten Videoeingangsdatenstroms anfragt, wobei die Schnittstelle (1 10) ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu empfangen, und wobei der Videodatenstromgenerator (120) ausgebildet ist, in Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Videoeingangsdatenstroms bei der Schnittstelle ( 10), diesen Intra-Frame und die von der Schnittstelle (1 10) nach Eintreffen dieses Intra-Frames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms auszugeben.
2. Vorrichtung (100) nach Anspruch 1 , wobei der Videodatenstromgenerator (120) ausgebildet ist, diesen Intra-Frame des zweiten Videodatenstroms zu bestimmen, indem der Videodatenstromgenerator (120) ausgebildet ist, nach Empfang des Umschaltbefehls, jeden der bei der Schnittstelle (1 10) eingehenden enkodierten Videoframes des zweiten Videoeingangsdatenstroms daraufhin zu überprüfen, ob dieser enkodierte Videoframe ein enkodierter Intra-Frame ist, wobei der Videodatenstromgenerator (120) ausgelegt diesen Intra-Frame als einen Videoframe des Videoausgangsdatenstroms auszugeben, wobei der Videodatenstromgenerator (120) ausgebildet ist, keine der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms, die von der Schnittstelle (1 10) empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle (1 10) einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben, und wobei der Videodatenstromgenerator (120) ausgebildet ist, jeden der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms, der von der Schnittstelle (1 10) empfangen wird, nachdem der Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle (1 10) wenigstens einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als einen Videoframe des Videoausgangsdatenstroms auszugeben.
Vorrichtung (100) nach Anspruch 1 oder 2, wobei der Videodatenstromgenerator (120) ausgebildet ist, jeden der enkodierten Videoframes des ersten Videoeingangsdatenstroms, die von der Schnittstelle (110) empfangen werden, nachdem der Umschaltbefehl empfangen wurde, und bevor die Schnittstelle (1 10) einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms nach Erhalt des Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
Vorrichtung (100) nach einem der Ansprüche 1 bis 3, wobei die Vorrichtung (100) ferner eine Benutzerschnittstelle (1 12) aufweist, mittels der ein Benutzer den Umschaltbefehl auslösen kann.
Vorrichtung (100) nach einem der Ansprüche 1 bis 3, wobei die Vorrichtung (100) ferner eine Umschalteinheit (1 14) umfasst, die dafür eingerichtet ist, den Umschaltbefehl auszulösen, wobei die Umschalteinheit (1 14) eingerichtet ist, den Umschaltbefehl unabhängig von einem Benutzer auszulösen, und wobei die die Umschalteinheit (1 14) eingerichtet ist, den Umschaltbefehl unabhängig davon auszulösen, wann enkodierte Intra-Frames des zweiten Videoeingangsdatenstroms von der Schnittstelle (1 10) empfangen werden.
6. Vorrichtung (100) nach einem der Ansprüche 1 bis 5, wobei der Umschaltbefehl ein erster Umschaltbefehl ist, wobei der Anfragebefehl ein erster Anfragebefehl ist, wobei die Schnittstelle (1 10) ausgelegt ist, einen zweiten Umschaltbefehl zu empfangen, der anweist, auf den Empfang von enkodierten Videoframes eines dritten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des dritten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist, wobei die Schnittstelle (1 10) ausgebildet ist, nach Empfang des zweiten Umschaltbefehls einen zweiten Anfragebefehl zu senden, der die Übertragung eines der enkodierten Intra-Frames des dritten Videoeingangsdatenstroms anfragt, wobei die Schnittstelle (1 10) ausgebildet ist, die enkodierten Videoframes des dritten Videoeingangsdatenstroms zu empfangen, wobei der Videodatenstromgenerator (120) ausgebildet ist, nach Empfang des zweiten Umschaltbefehls, jeden der bei der Schnittstelle (1 10) eingehenden enkodierten Videoframes des dritten Videoeingangsdatenstroms daraufhin zu überprüfen, ob dieser enkodierte Videoframe ein enkodierter Intra-Frame ist, und, wobei der Videodatenstromgenerator (120) ausgelegt ist, wenn dieser enkodierte Videoframe ein enkodierter Intra-Frame ist, diesen enkodierten Intra-Frame als einen Videoframe des Videoausgangsdatenstroms auszugeben, wobei der Videodatenstromgenerator (120) ausgebildet ist, keine der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, die von der Schnittstelle (1 10) empfangen werden, nachdem der zweite Umschaltbefehl empfangen wurde, und bevor die Schnittstelle (1 10) einen der enkodierten Intra-Frames des dritten Videoeingangsdatenstroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als enkodierte Videoframes des Videoausgangsdatenstroms auszugeben, und wobei der Videodatenstromgenerator (120) ausgebildet ist, jeden der enkodierten Inter-Frames des dritten Videoeingangsdatenstroms, der von der Schnittstelle (1 10) empfangen wird, nachdem der zweite Umschaltbefehl empfangen wurde, und nachdem die Schnittstelle (1 10) wenigstens einen der enkodierten IntraFrames des dritten Videoeingangsdatenstroms nach Erhalt des zweiten Umschaltbefehls erhalten hat, als einen Videoframe des Videoausgangsdatenstroms auszugeben.
Vorrichtung (100) nach einem der Ansprüche 1 bis 6, wobei die Schnittstelle (1 10) dafür eingerichtet ist, eine Bildergruppe zu empfangen, die einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst, wobei die Schnittstelle (1 10) dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle (1 10) ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen, und wobei der Videodatenstromgenerator (120) ausgebildet ist, den enkodierten IntraFrame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
Vorrichtung (100) nach einem der Ansprüche 1 bis 6, wobei die Schnittstelle (1 10) dafür eingerichtet ist, eine Bildergruppe zu empfangen, die einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms und mindestens 30 der enkodierten Inter-Frames des zweiten Videoein- gangsdatenstroms umfasst, wobei die Schnittstelle (1 10) dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens 30 enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle (1 10) ausgebildet ist, keinen anderen Videoframe des zweiten Videoein- gangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen, und wobei der Videodatenstromgenerator (120) ausgebildet ist, den enkodierten Intra- Frame der Bilderfolge und jeden der mindestens 30 enkodierten Inter-Frames der
Bilderfolge als 31 oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdatenstroms auszugeben.
9. System umfassend, eine Vorrichtung (100) nach einem der Ansprüche 1 bis 6, einen ersten Enkoder (210), und einen zweiten Enkoder (220), wobei der erste Enkoder (210) eine Enkodiereinheit (21 1) und eine Schnittstelle (212) aufweist, wobei die Enkodiereinheit (21 1 ) des ersten Enkoders (210) ausgebildet ist, die enkodierten Videoframes des ersten Videoeingangsdatenstroms zu erzeugen, wobei die Schnittstelle (212) des ersten Enkoders (210) ausgebildet ist, die enkodierten Videoframes des ersten Videoeingangsdatenstroms zur Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei der zweite Enkoder (220) eine weitere Enkodiereinheit (221 ) und eine weite- re Schnittstelle (222) aufweist, wobei die Enkodiereinheit (221 ) des zweiten
Enkoders (220) ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zu erzeugen, wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, die enkodierten Videoframes des zweiten Videoeingangsdatenstroms zur Schnittstelle (1 0) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 ausgebildet ist, nach Empfang des Umschaltbefehls den Anfragebefehl zur Schnittstelle (222) des zweiten Enkoders (220) zu senden, wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, den Anfragebefehl zu empfangen, und wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, auf den Empfang des Anfragebefehls hin, einen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der einer der enkodierten Intra-Frames des zweiten
Videoeingangsdatenstroms ist, zur Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden.
10. System nach Anspruch 9, wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, zwischen dem Empfang des Anfragebefehls und dem Senden des besagten einen der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms, keinen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, der kein Intra-Frame ist, zur Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden.
1 1 . System nach Anspruch 9 oder 0, wobei die Schnittstelle (222) des zweiten Enkoders (220) dafür eingerichtet ist, eine Bildergruppe zu der Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Bilderfolge einen der enkodierten Intra¬
Frames des zweiten Videoeingangsdatenstroms und mindestens zehn der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst, wobei die Schnittstelle (222) des zweiten Enkoders (220) dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens zehn enko- dierten Inter-Frames der Bildergruppe zu der Schnittstelle (1 10) der Vorrichtung
(100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoein- gangsdatenstroms zu der Schnittstelle (1 10) der Vorrichtung (100) nach einem der
Ansprüche 1 bis 6 zu senden, wobei die Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 dafür eingerichtet ist, die Bildergruppe zu empfangen, wobei die Schnittstelle ( 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindes- tens zehn enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die
Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen, und wobei der Videodatenstromgenerator (120) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 ausgebildet ist, den enkodierten Intra-Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als elf oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdaten- stroms auszugeben.
12. System nach Anspruch 9 oder 10, wobei die Schnittstelle (222) des zweiten Enkoders (220) dafür eingerichtet ist, eine Bildergruppe zu der Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Bilderfolge einen der enkodierten IntraFrames des zweiten Videoeingangsdatenstroms und mindestens 30 der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms umfasst, wobei die Schnittstelle (222) des zweiten Enkoders (220) dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindestens 30 enkodierten Inter-Frames der Bildergruppe zu der Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Schnittstelle (222) des zweiten Enkoders (220) ausgebildet ist, keinen anderen Videoframe des zwei- ten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu der Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 zu senden, wobei die Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 dafür eingerichtet ist, die Bildergruppe zu empfangen, wobei die Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 dafür ausgelegt ist, zunächst den enkodierten Intra-Frame der Bildergruppe und danach die mindes- tens 30 enkodierten Inter-Frames der Bildergruppe zu empfangen, wobei die Schnittstelle (1 10) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 ausgebildet ist, keinen anderen Videoframe des zweiten Videoeingangsdatenstroms zwischen dem enkodierten Intra-Frame der Bilderfolgen und zwischen jedem der enkodierten Inter-Frames des zweiten Videoeingangsdatenstroms zu empfangen, und wobei der Videodatenstromgenerator (120) der Vorrichtung (100) nach einem der Ansprüche 1 bis 6 ausgebildet ist, den enkodierten Intra-Frame der Bilderfolge und jeden der mindestens zehn enkodierten Inter-Frames der Bilderfolge als 31 oder mehrere aufeinanderfolgende enkodierte Videoframes des Videoausgangsdaten- stroms auszugeben.
System nach einem der Ansprüche 9 bis 12, wobei das System ferner ein oder mehrere Endgeräte (310, 320) aufweist, wobei jedes der ein oder mehreren Endgeräte (310, 320) eine Schnittstelle (31 1 , 321 ) und einen Dekoder (312, 322) umfasst, wobei die Schnittstelle (31 1 , 321 ) jedes der ein oder mehreren Endgeräte (310, 320) ausgebildet ist, den Videoausgangsdatenstrom zu empfangen, und wobei der Dekoder (312, 322) jedes der ein oder mehreren Endgeräte (310, 320) ausgelegt ist, die enkodierten Videoframes des Videoausgangsdatenstroms zu dekodieren.
Verfahren zum Erzeugen eines Videoausgangsdatenstroms unter Umschalten von einem ersten Videoeingangsdatenstrom auf einen zweiten Videoeingangsdatenstrom, umfassend:
Empfangen von enkodierten Videoframes des ersten Videoeingangsdatenstroms, wobei jeder der enkodierten Videoframes des ersten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist,
Erzeugen des Videoausgangsdatenstroms, wobei ein oder mehrere Videoframes des ersten Videoeingangsdatenstroms als ein oder mehrere enkodierte Videoframes des Videoausgangsdatenstroms ausgegeben werden, Empfangen eines Umschaltbefehls, der anweist, auf den Empfang von enkodierten Videoframes des zweiten Videoeingangsdatenstroms umzuschalten, wobei jeder der enkodierten Videoframes des zweiten Videoeingangsdatenstroms entweder ein enkodierter Intra-Frame oder ein enkodierter Inter-Frame ist, nach Empfang des Umschaltbefehls, Senden eines Anfragebefehls, der die Übertragung eines der enkodierten Intra-Frames des zweiten Videoeingangsdatenstroms anfragt,
Empfangen der enkodierten Videoframes des zweiten Videoeingangsdatenstroms, und in Abhängigkeit von einem Eintreffen eines der Intra-Frames des zweiten Videoeingangsdatenstroms, Ausgabe dieses Intra-Frames und der nach Eintreffen dieses Intra-Frames empfangenen enkodierten Videoframes des zweiten Videoeingangsdatenstroms als Videoframes des Videoausgangsdatenstroms.
15. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 14.
PCT/EP2015/073187 2014-10-08 2015-10-07 Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung WO2016055543A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017518832A JP2017535171A (ja) 2014-10-08 2015-10-07 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
EP15781610.9A EP3205085A1 (de) 2014-10-08 2015-10-07 Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung
CA2963954A CA2963954A1 (en) 2014-10-08 2015-10-07 Apparatus and method for cutting several encoded video streams without preceding decoding
KR1020177012418A KR102001549B1 (ko) 2014-10-08 2015-10-07 선행 디코딩없이 복수의 인코딩된 비디오 스트림들을 절단하는 장치 및 방법
US15/482,254 US20170213575A1 (en) 2014-10-08 2017-04-07 Apparatus and method for cutting several encoded video streams without preceding decoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014220372.4 2014-10-08
DE102014220372.4A DE102014220372A1 (de) 2014-10-08 2014-10-08 Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/482,254 Continuation US20170213575A1 (en) 2014-10-08 2017-04-07 Apparatus and method for cutting several encoded video streams without preceding decoding

Publications (1)

Publication Number Publication Date
WO2016055543A1 true WO2016055543A1 (de) 2016-04-14

Family

ID=54330739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/073187 WO2016055543A1 (de) 2014-10-08 2015-10-07 Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung

Country Status (7)

Country Link
US (1) US20170213575A1 (de)
EP (1) EP3205085A1 (de)
JP (1) JP2017535171A (de)
KR (1) KR102001549B1 (de)
CA (1) CA2963954A1 (de)
DE (1) DE102014220372A1 (de)
WO (1) WO2016055543A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737853A (zh) * 2017-04-20 2018-11-02 腾讯科技（深圳）有限公司 一种数据文件的降码处理方法和服务器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880585B1 (en) * 2019-06-12 2020-12-29 Amazon Technologies, Inc. Split-and-stitch media content encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327228A (ja) * 1994-05-31 1995-12-12 Nippon Hoso Kyokai <Nhk> ディジタル符号化・伝送システム
EP1087620A2 (de) * 1999-09-22 2001-03-28 Matsushita Electric Industrial Co., Ltd. Bildschalter und Schalterfahren, digitale Kamera und Überwachungssystem
EP1670252A2 (de) * 2004-12-10 2006-06-14 Microsoft Corporation Beschleunigter Kanalwechsel in datenratenbegrenzten Umgebungen

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4021998B2 (ja) * 1998-08-07 2007-12-12 松下電器産業株式会社 データ伝送制御システム及びデータ伝送制御方法
TWI260591B (en) * 2002-10-14 2006-08-21 Samsung Electronics Co Ltd Information storage medium with structure for multi-angle data, and recording and reproducing apparatus therefor
JP2004282340A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Ind Co Ltd 映像データ処理システム及び方法並びに映像データ処理装置
JP2006246384A (ja) * 2005-03-07 2006-09-14 Fujitsu Ltd デコードプログラム、デコード方法およびデコーダ
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
US8340098B2 (en) * 2005-12-07 2012-12-25 General Instrument Corporation Method and apparatus for delivering compressed video to subscriber terminals
JP4767729B2 (ja) * 2006-03-16 2011-09-07 三菱電機株式会社 監視システムおよび映像蓄積配信装置
EP1887802A1 (de) * 2006-08-03 2008-02-13 Nokia Siemens Networks Gmbh & Co. Kg Verfahren zur Umschaltung zwischen digitalen komprimierten Videoströmen
JP4856712B2 (ja) * 2006-09-20 2012-01-18 パナソニック株式会社 監視映像蓄積システム
US8605151B2 (en) * 2007-09-21 2013-12-10 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
JP5401134B2 (ja) * 2009-03-18 2014-01-29 株式会社 沖情報システムズ デコーダ装置
DE102011107161A1 (de) * 2011-07-13 2013-01-17 Pierre-Alain Cotte Verfahren und Vorrichtungen zum verzögerungsarmen Ein- oder Umschalten auf ein digitales Videosignal
WO2014139581A1 (en) * 2013-03-15 2014-09-18 Robert Bosch Gmbh Switching apparatus for switching compressed video streams, conference system with the switching apparatus and process for switching compressed video streams
JP6119363B2 (ja) * 2013-03-27 2017-04-26 沖電気工業株式会社 通信処理装置、方法及びプログラム、並びに、通信システム
US9532043B2 (en) * 2013-08-02 2016-12-27 Blackberry Limited Wireless transmission of real-time media
TWI539823B (zh) * 2014-09-29 2016-06-21 晶睿通訊股份有限公司 攝影畫面切換方法與監控系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327228A (ja) * 1994-05-31 1995-12-12 Nippon Hoso Kyokai <Nhk> ディジタル符号化・伝送システム
EP1087620A2 (de) * 1999-09-22 2001-03-28 Matsushita Electric Industrial Co., Ltd. Bildschalter und Schalterfahren, digitale Kamera und Überwachungssystem
EP1670252A2 (de) * 2004-12-10 2006-06-14 Microsoft Corporation Beschleunigter Kanalwechsel in datenratenbegrenzten Umgebungen

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3205085A1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737853A (zh) * 2017-04-20 2018-11-02 腾讯科技（深圳）有限公司 一种数据文件的降码处理方法和服务器
CN108737853B (zh) * 2017-04-20 2021-07-13 腾讯科技（深圳）有限公司 一种数据文件的降码处理方法和服务器
US11444998B2 (en) 2017-04-20 2022-09-13 Tencent Technology (Shenzhen) Company Limited Bit rate reduction processing method for data file, and server

Also Published As

Publication number Publication date
JP2017535171A (ja) 2017-11-24
US20170213575A1 (en) 2017-07-27
DE102014220372A1 (de) 2016-04-14
CA2963954A1 (en) 2016-04-14
KR102001549B1 (ko) 2019-07-19
EP3205085A1 (de) 2017-08-16
KR20170066591A (ko) 2017-06-14

Similar Documents

Publication Publication Date Title
DE60028942T2 (de) Videokodierung
JP6449852B2 (ja) 関心領域の符号化のための動き制限タイルセット
DE69917971T2 (de) Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen
DE69835211T2 (de) Umschaltung zwischen komprimierten videobitströmen
DE69921108T2 (de) Verfahren und vorrichtung zur adaptiven codierung eines videodatenstroms
DE112017003212T5 (de) Verfahren und System zur Videocodierung mit Kontextdecodierung und Rekonstruktionsumgehung
KR20150067157A (ko) 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법
DE102016125379A1 (de) Bewegungsvektoraufteilung des letzten Frames
DE102011051359A1 (de) Verfahren und Vorrichtung zur Video-Kodierung, die eine Bild-Struktur mit einer gering-verzögerten hierarchischen B-Gruppe verwendet
DE102019103346A1 (de) Ssim-basierte rate-distortion-optimierung für eine verbesserte wahrnehmbare qualität bei videos
DE60312960T2 (de) Kodierungsverfahren und Dekodierungsverfahren für bewegliche Bilder
US20200320274A1 (en) Encoder, image processing system, unmanned aerial vehicle and encoding method
EP2521357A1 (de) Verfahren und Vorrichtung zur Filterung von kodierten Bildpartitionen
WO2013007395A1 (de) Verfahren und vorrichtungen zum verzögerungsarmen ein- oder umschalten auf ein digitales videosignal
EP3205085A1 (de) Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung
DE112015001531T5 (de) Datenkodierung und Dekodierung
EP3204946A1 (de) Vorrichtung zum erzeugen eines videoausgangsdatenstroms, videoquelle, videosystem und verfahren zum erzeugen eines videoausgangsdatenstroms bzw. eines videoquellendatenstroms
DE102008017290A1 (de) Verfahren und Vorrichtung zur Bildung eines gemeinsamen Datenstroms insbesondere nach dem ATSC-Standard
DE112007001773T5 (de) Videocodierung
DE102009011251A1 (de) Multiplexverfahren und zugehörige funktionelle Datenstruktur zum Zusammenfassen digitaler Videosignale
DE60210757T2 (de) Vorrichtung zur videokodierung und -aufzeichnung
WO2011157399A1 (de) Verfahren und vorrichtung zum mischen von videoströmen auf der makroblock-ebene
DE102017125544B3 (de) Verarbeitungsverfahren und Verarbeitungssystem für Videodaten
EP0821531A2 (de) Codierung und Decodierung von Trickfilmen
DE102012202315A1 (de) Videosystem zur Darstellung von Bilddaten, Verfahren und Computerprogramm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15781610

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2963954

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2017518832

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015781610

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015781610

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177012418

Country of ref document: KR

Kind code of ref document: A