Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms, Videoquelie, Videosystem und Verfahren zum Erzeugen eines Videoausgangsdatenstroms bzw. eines Apparatus for generating a video output data stream, video source, video system and method for generating a video output data stream
Videoquellendatenstroms Video source data stream
Beschreibung description
Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen eines Video- ausgangsdatenstroms, etwa einen Videomixer, auf eine Videoquelie, auf ein Videosystem sowie auf Verfahren zum Erzeugen eines Videoausgangsdatenstroms bzw. eines Videoquellendatenstroms. Die Erfindung bezieht sich ferner auf ein Computerprogramm und auf eine verteilte Erstellung von speziellen Videoeffekten in einem Life-fähigen Videoproduktionssystem mit mehreren Kameras. The present invention relates to a device for generating a video output data stream, such as a video mixer, to a video source, to a video system and to methods for generating a video output data stream or a video source data stream. The invention further relates to a computer program and to distributed creation of special video effects in a multi-camera life-enabled video production system.
Der Workflow (Arbeitsablauf) einer Life-Videoproduktion mit mehreren Kameras kann vereinfacht so beschrieben werden, dass die Videoströme der Kameras in Echtzeit zum Videomixer übertragen werden. Der Regisseur entscheidet, welche der Kameras sendet, das heißt„on Air" geschaltet wird. Der Videostrom kann dann mit Überblendungen, wie beispielsweise Logos, Graphiken oder Texten versehen werden. Danach wird der Ausgabestrom encodiert und über ein Netzwerk (beispielsweise Internet, Satellit oder Kabel) dem Konsumenten zur Verfügung gestellt. The workflow of a life-video production with multiple cameras can be described in a simplified way so that the video streams of the cameras are transmitted in real-time to the video mixer. The director decides which of the cameras to send, that is, "on air." The video stream can then be transposed, such as logos, graphics, or text, then the output stream is encoded and sent over a network (such as the Internet, satellite, or Cable) provided to the consumer.
Beim Umschalten zwischen Kameras werden oft Übergangseffekte verwendet. Das Hin- zufügen von Übergangseffekten in Echtzeit wird von vielen Videomixern auf dem Markt unterstützt. Hierbei handelt es sich jedoch meistens um Geräte aus höheren Preiskategorien. Sie weisen Eingänge für unkomprimierte Videosignale sowie Netzwerkschnittstellen für Internetprotokoll (IP)-basierte Übertragung von komprimierten Videoströmen auf. Empfangene encodierte Videodaten werden zuerst decodiert. Das Mixen geschieht auf Basis unkomprimierter Videodaten, die anschließend wieder encodiert werden. Diese Lösung impliziert hohe Anforderungen an die Hardware des Videomixers und damit an den Preis. Switching between cameras often uses transitional effects. Adding transition effects in real time is supported by many video mixers on the market. However, these are mostly devices from higher price categories. They have inputs for uncompressed video and network interfaces for Internet Protocol (IP) -based transmission of compressed video streams. Received encoded video data is first decoded. The mixing is done on the basis of uncompressed video data, which are then re-encoded. This solution implies high demands on the hardware of the video mixer and thus on the price.
Für viele kostengünstige Live-Produktionen, insbesondere wenn sie von Semiprofis oder Amateuren gemacht werden, ist eine geringe Anzahl von Funktionen ausreichend, die ein Videomixer bieten soll. Für den Fall, dass für die Produktion mehrere Kameras verwendet werden, ist eine wichtige oder die wichtigste Funktion das einfache Umschalten zwischen
den Kameras. Wenn das Umschalten mit einfachen Mittein kreativ gestaltet werden kann, wird der Qualitätsanspruch der Sendung deutlich erhöht. For many low-cost live productions, especially when they are made by semi-professionals or amateurs, a small number of features that a video mixer can provide are sufficient. In case multiple cameras are used for the production, an important or the most important function is the simple switching between the cameras. If switching with simple means can be designed creatively, the quality standard of the shipment is significantly increased.
Ein dedizierter Hardware-Videomixer decodiert die eingehenden Videoströme von ange- schlossenen Kameras, berechnet Videoeffekte und encodiert den resultierenden Videostrom bzw. leitet den Ausgabestrom an einen separaten Encoder weiter. Zu den Vorteilen solch einer Lösung gehören ein breiter Funktionsumfang, eine sehr gute Performance, und eine Möglichkeit, encodierte und nicht encodierte Videoquellen zu kombinieren. Außerdem ist diese Lösung ein fester Bestandteil in etablierten Workflows. Zu den Nachtei- !en gehören eine komplexe Bedienung, ein hoher Preis, eine begrenzte Mobilität der Vorrichtung sowie ein hoher Berechnungsaufwand, der von dem Videomixer ausgeführt werden muss. A dedicated hardware video mixer decodes the incoming video streams from connected cameras, calculates video effects, and encodes the resulting video stream or forwards the output stream to a separate encoder. The benefits of such a solution include a wide range of features, very good performance, and a way to combine encoded and non-encoded video sources. In addition, this solution is an integral part of established workflows. The disadvantages include a complex operation, a high price, a limited mobility of the device and a high computational effort, which must be performed by the video mixer.
Es existieren Software-Videomixer, die auf handelsüblichen Personal Computern (PC) laufen. Ihr Funktionsumfang ähnelt dem dezidierten Hardware-Videomixern und ist durch die Hardware-Ressourcen des eigensetzten PCs begrenzt. There are software video mixers that run on standard personal computers (PC). Their functionality is similar to dedicated hardware video mixers and is limited by the hardware resources of the stand-alone PC.
Es existieren auch Softwarelösungen für mobile Geräte wie Mobiltelefone oder Tablets, die sich als Life-Videomixer positionieren. Die Software verbindet beispielsweise vier mo- bile Geräte in eine Gruppe und lässt die encodierten Videoströme von den als„Kamera" auftretenden Geräten zu dem„Director"-Gerät, dem Videomixer, live übertragen. Von dem Director-Gerät wird das Umschalten zwischen den Videoströmen gesteuert. Die Software erlaubt das Hinzufügen von Überblendeffekten beim Umschalten zwischen den Kameras. Das Ausgabevideo wird offline zusammengeführt, nachdem die Aufzeichnung beendet wurde. Dazu werden Schrittmarken verwendet, die während der Aufzeichnung vom„Di- rector" erstellt wurden. Die Erstellung von Überblendeffekten erfordert eine De- und En- codierung von Teilen der Aufnahme. There are also software solutions for mobile devices such as mobile phones or tablets that position themselves as life video mixers. For example, the software links four mobile devices into a group and lets the encoded video streams be transferred live from the devices that appear as "cameras" to the "director" device, the video mixer. The Director device controls the switching between video streams. The software allows the addition of crossfade effects when switching between the cameras. The output video will be merged offline after the recording has finished. This is done using step marks created by the Director during the recording process, and the creation of cross-fade effects requires the decoding and encoding of parts of the recording.
Heute existieren auch Cloud-basierte (Cloud = Wolke) Lösungen. Die Kameras übertra- gen encodierte Videoströme zu einem Server, der die notwendigen Ressourcen besitzt, um die Daten in Echtzeit zu verarbeiten. Dem Regisseur wird über ein Web- Interface Zugriff auf die Steuerelemente, wie eine Vorausschau (Preview) von allen Video/Audio- Quellen. Schnitt, Effekte, etc. gewährt. Zu den Vorteilen solcher Lösungen gehören eine erhöhte Skalierbarkeit, da die benötigte Performance zukaufbar ist. Auch der Preis für den Server ist niedriger als die Anschaffungskosten eigener Hardware. Kritisch sind die Qualitätsmerkmale der Netzwerkanbindung, wie zur Verfügung stehende Kanalbandbreite oder
mögliche Übertragungsfehler. Dadurch wird das Einsatzgebiet dieser Lösung eingeschränkt. Today there are cloud-based solutions as well. The cameras transmit encoded video streams to a server that has the necessary resources to process the data in real time. The director has access to the controls via a web interface, such as a preview of all video / audio sources. Cut, effects, etc. granted. The advantages of such solutions include increased scalability, as the required performance is available to buy. Also, the price for the server is lower than the cost of own hardware. Critical are the quality features of the network connection, such as available channel bandwidth or possible transmission errors. This limits the field of application of this solution.
In [1] und [2] sind Verfahren beschrieben, die eine Generierung von Ü be rg a ng seff e kte n direkt auf encodierten Videodaten erlauben, ohne sie vorher komplett decodieren zu müssen. Solche Verfahren reduzieren die Komplexität der Videobearbeitung und senken die Anforderungen an die Videomixer-Hardware. In [1] and [2] methods are described which allow the generation of interference effects directly on encoded video data without having to completely decode them beforehand. Such methods reduce the complexity of video editing and lower the demands on the video mixer hardware.
Wünschenswert wären demnach Videomixer, die geringe Anforderungen an die Hard- wäre, etwa die benötigte oder bereitgestellte Rechenleistung eines Prozessors des Videomixers, stellen. It would therefore be desirable to have video mixers which set low demands on the hard- ware, for example the required or provided computing power of a processor of the video mixer.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine live- bzw. echtzeitfähige Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms zu schaffen, der Übergangsef- fekte aufweist, wobei die Vorrichtung hierfür lediglich eine geringe Rechenleistung benötigt, so dass die Anforderungen an Energie- und/oder Rechenleistung gering sind. The object of the present invention is to provide a live or real-time capable device for generating a video output data stream which has transition effects, the device only requiring a low computing power for this, so that the requirements for energy and / or computing power are low are.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Ein Kemgedanke der vorliegenden Erfindung besteht darin, erkannt zu haben, dass obige Aufgabe dadurch gelöst werden kann, dass Übergangseffekte des Videoausgangsdatenstroms bei einem Umschalten zwischen zwei Videoquellen bereits von der Videoquelle appliziert, das heißt umgesetzt, werden, so dass ein Videoausgangsdatenstrom mit Umschalteffekten (Übergangseffekten) durch einfaches Umschalten zwischen Videoqueilen- datenströmen erhalten werden kann. Dies führt zu reduzierten Berechnungsaufwänden auf Seiten der Vorrichtung zum Erzeugen des Videoausgangsdatenstroms, so dass die technischen Anforderungen an die Hardware reduziert sind, ein Betrieb der Vorrichtung effizient, das heißt durch wenige Berechnungen und einen geringen Energieverbrauch, erfolgen kann und/oder dass ein Bauraum in der Vorrichtung reduziert ist. This object is solved by the subject matter of the independent patent claims. It is an object of the present invention to have realized that the above object can be achieved by applying transient effects of the video output data stream upon switching between two video sources already from the video source, i.e., converting them, so that a video output data stream with switching effects (transition effects ) can be obtained by simply switching between video source data streams. This leads to reduced computation costs on the part of the device for generating the video output data stream, so that the technical requirements for the hardware are reduced, an operation of the device can be carried out efficiently, that is to say by a few calculations and a low energy consumption, and / or that a construction space in the device is reduced.
Gemäß einem Ausführungsbeispiel umfasst eine Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms einen ersten und einen zweiten Signaleingang zum Empfangen eines ersten und zweiten Videoquellendatenstroms. Die Vorrichtung umfasst ferner eine Prozessoreinrichtung, die ausgebildet ist, um den Videoausgangsdatenstrom zu einem ersten Zeitpunkt basierend auf dem ersten Videoquellendatenstrom und mittels eines Umschaltvorgangs zu einem zweiten Zeitpunkt, der auf den ersten Zeitpunkt folgt, basie-
rend auf dem zweiten Videoquellendatenstrom bereitzustellen. Die Vorrichtung umfasst ferner einen Steuersignalausgang zum Senden eines Steuerbefehls an eine Videoquelle, wobei von der Videoquelle der der erste oder zweite Videoquellendatenstrom empfangen wird. Der Steuerbefehl umfasst eine Anweisung an die Videoquelle zur Anwendung eines Übergangseffektes auf den bereitgestellten Videoquelldatenstrom bzw. eine Sequenz von Bildern. Der Übergangseffekt ist zeitlich zwischen einem Bild des ersten und einem Bild des zweiten Videoquellendatenstroms in dem Videoausgangssignal angeordnet. Das Umschalten, ggf. ohne Decodierung, einer Berechnung und/oder Anwendung eines Übergangseffektes bzw. einer Encodierung der oder des empfangenen Videoqueildatenstroms ermöglicht einen effizienten Betrieb der Vorrichtung. According to one embodiment, an apparatus for generating a video output data stream includes first and second signal inputs for receiving first and second video source data streams. The apparatus further comprises processor means configured to base the video output data stream at a first time based on the first video source data stream and by means of a switching operation at a second time following the first time. provide on the second video source data stream. The apparatus further includes a control signal output for sending a control command to a video source, wherein the video source receives the first or second video source data stream. The control command includes an instruction to the video source to apply a transition effect to the provided source video stream or a sequence of images. The transition effect is timed between an image of the first and an image of the second video source data stream in the video output signal. The switching, possibly without decoding, a calculation and / or application of a transition effect or an encoding of the received or received Videoqueildatenstroms allows efficient operation of the device.
Gemäß einem weiteren Ausführungsbeispiel ist die Prozessoreinrichtung ausgebildet, um einen Programmcode zeitsynchron mit einer Prozessoreinrichtung der Videoquelle abzuarbeiten, das heißt die Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms ist mit einer, mehreren oder allen Videodatenquellen synchronisiert. Vorteilhaft an diese Ausführungsbeispiel ist, dass basierend auf einer gemeinsamen Zeitbasis von Vorrichtung und Videoquellen eine exakte zeitliche Positionierung des Übergangseffektes in dem Vi- deoausgangsdatenstrom ermöglicht ist. Gemäß einem weiteren Ausführungsbeispiel weist der Übergangseffekt einen ersten Teileffekt und einen zweiten Teileffekt auf. Die Vorrichtung ist ausgebildet, um einen ersten Steuerbefehl mit einer ersten Anweisung zur Anwendung des ersten Teileffektes an die erste Videoquelle zu senden und um einen Steuerbefehl mit einer zweiten Anweisung zur Anwendung des zweiten Teileffektes an die zweite Videoquelle zu senden. Vorteilhaft an diesem Ausführungsbeispiel ist, dass die Implementierung und Berechnung der Übergangseffekte bzw. Teilübergangseffekte verteilt in den Videoquellen ausgeführt werden kann, so dass die Berechnungsaufwände für die jeweilige Videoquelle reduziert sind. Ferner sind sowohl Übergangseffekte vor dem Umschalten, etwa während des Ausblendens, durch die erste Videoquelle als auch nach dem Umschalten, etwa während des Einblen- dens, durch die zweite Videoquelle darstellbar, d. h. anwendbar. According to a further embodiment, the processor device is designed to process a program code in synchronism with a processor device of the video source, that is to say the device for generating a video output data stream is synchronized with one, several or all video data sources. An advantage of this embodiment is that based on a common time base of device and video sources, an exact temporal positioning of the transition effect in the video output data stream is made possible. According to a further embodiment, the transition effect has a first partial effect and a second partial effect. The device is configured to send a first control command with a first instruction for applying the first partial effect to the first video source and to send a control command with a second instruction for application of the second partial effect to the second video source. It is advantageous in this exemplary embodiment that the implementation and calculation of the transition effects or partial transition effects can be carried out distributed in the video sources, so that the calculation costs for the respective video source are reduced. Furthermore, both transition effects before switching over, for example during the blanking, by the first video source and also after the switching, for example during the insertion, can be represented by the second video source, ie. H. applicable.
Gemäß einem weiteren Ausführungsbeispiel ist die Vorrichtung ausgebildet, um den ersten oder zweiten Videoquellendatenstrom mit dem Übergangseffekt als Videoausgangs- datenstrom bereitzustellen, ohne den ersten oder zweiten Videoquellendatenstrom zu manipulieren. Vorteilhaft an diesem Ausführungsbeispiel ist, dass die Vorrichtung im Sinne eines Wechselschalters bzw. im Sinne einer Weiche ausführbar ist, die zwischen den
Videoquellendatenströmen schaltbar ist und lediglich nur ein Videoquellendatenstrom als Videoausgang sdatenstrom weitergeleitet bzw. bereitgestellt wird, so dass der Videoaus- gangsdatenstrom mit weiter reduziertem Berechnungsaufwand bereitstellbar ist. Gemäß einem weiteren Ausführungsbeispiel umfasst eine Videoquelle, die ausgebildet ist, um einen Videoquellendatenstrom auszugeben, einen Signaleingang zum Empfangen eines Steuerbefehls von einer Vorrichtung zum Erzeugen eines Videoausgangsdaten- stroms. Der Steuerbefehl weist eine Anweisung zur Anwendung eines Übergangseffektes auf dem Videoquellendatenstrom auf, wobei sich die Anweisung auf zumindest eines aus einer Zeitdauer, einem Startzeitpunkt, einem Endzeitpunkt, einer Abbildung, einer Art oder einer Intensität des Übergangseffektes bezieht. Vorteilhaft an diesem Ausführungsbeispiel ist, dass die Implementierung des Übergangseffektes bereits vor einer Encodierung des Videoquellendatenstroms durch die Videoquelle erfolgen kann. Gemäß einem weiteren Ausführungsbeispiel weist die Videoquelle eine Prozessoreinrichtung auf, die ausgebildet ist, um einen Programmcode zeitsynchron mit einer Prozessoreinrichtung einer Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms abzuarbeiten. Gemäß einem weiteren Ausführungsbeispiel ist die Videoquelle ausgebildet, um den Übergangseffekt basierend auf einer Beeinflussung der Bildsignalbearbeitungskette oder basierend auf einer grafischen Prozessoreinrichtung anzuwenden. Vorteilhaft an diesem Ausführungsbeispiel ist, dass die hohe Berechnungseffizienz einer graphischen Prozessoreinrichtung für die Implementierung des Übergangseffektes nutzbar ist. According to another embodiment, the device is configured to provide the first or second video source data stream with the transition effect as the video output data stream without manipulating the first or second video source data stream. An advantage of this embodiment is that the device in the sense of a changeover switch or in the sense of a switch executable that between the Video source data streams can be switched and only one video source data stream as video output sdatenstrom forwarded or provided, so that the video output data stream with further reduced computational effort is available. In accordance with another embodiment, a video source configured to output a video source data stream includes a signal input for receiving a control command from a device for generating a video output data stream. The control instruction includes an instruction to apply a transition effect on the source video data stream, the instruction relating to at least one of a time duration, a start time, an end time, a map, a type, or an intensity of the transition effect. It is advantageous in this exemplary embodiment that the implementation of the transition effect can already take place before the video source data stream is encoded by the video source. According to a further embodiment, the video source comprises a processor device, which is designed to process a program code in synchronism with a processor device of a device for generating a video output data stream. In accordance with another embodiment, the video source is configured to apply the transition effect based on influencing the image signal processing chain or based on a graphical processor device. An advantage of this embodiment is that the high computational efficiency of a graphical processor device is usable for the implementation of the transition effect.
Weitere Ausführungsbeispiele schaffen ein Videosystem mit einer Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms, einer ersten und einer zweiten Videoquelle. Further embodiments provide a video system having a device for generating a video output data stream, a first and a second video source.
Weitere Ausführungsbeispiele beziehen sich auf ein Verfahren zum Erzeugen eines Vide- oausgangsdatenstroms, auf ein Verfahren zum Ausgeben eines Videoquellendatenstroms. Weitere Ausführungsbeispiele beziehen sich auf ein Computerprogramm. Further exemplary embodiments relate to a method for generating a video output data stream, to a method for outputting a video source data stream. Further embodiments relate to a computer program.
Weitere vorteilhafte Ausführungsformen sind der Gegenstand der abhängigen Patentansprüche.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen erläutert. Es zeigen: Further advantageous embodiments are the subject of the dependent claims. Preferred embodiments of the present invention will be explained below with reference to the accompanying drawings. Show it:
Fig. 1 ein schematische Blockschaltbild eines Videosystems mit einer Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms, einer ersten Videoquelle und einer zweiten Videoquelle gemäß einem Ausführungsbeispiel; 1 is a schematic block diagram of a video system having an apparatus for generating a video output data stream, a first video source and a second video source according to an embodiment;
Fig. 2a-d schematische Darstellungen von als Kamera ausgeführten Videoquellen zu verschiedenen Zeitpunkten bezüglich eines Umschaltzeitpunktes der Vorrichtung zum Erzeugen des Videoausgangsdatenstroms gemäß einem Ausführungsbeispiel, bei der 2a-d are schematic representations of camera-executed video sources at different times with respect to a switching time of the device for generating the video output data stream according to an embodiment, in which
Fig. 2a einen Zeitpunkt darstellt, zu dem kein Übergangseffekt angewendet wird; Fig. 2b einen Zeitpunkt darstellt, zu dem die erste Videoquelle einen ersten Übergangseffekt darstellt und der Videoausgangsstrom den Übergangseffekt aufweist; Fig. 2a illustrates a time when no transition effect is applied; Fig. 2b illustrates a time at which the first video source presents a first transition effect and the video output stream has the transition effect;
Fig. 2c einen Zeitpunkt darstellt, zu dem die zweite Videoquelle einen zweiten Übergangseffekt darstellt, die Vorrichtung zum Erzeugen des Videoausgangsstroms umgeschaltet hat und der Videoausgangsstrom den Übergangseffekt aufweist; Fig. 2c illustrates a time at which the second video source represents a second transition effect, has switched the video output current generating device, and the video output current has the transition effect;
Fig. 2d einen Zeitpunkt darstellt, zu dem der erste und der zweite Übergangseffekt beendet sind; und Fig. 3 eine schematische Gegenüberstellung der Videoquellendatenströme sowie des Fig. 2d illustrates a time at which the first and second transition effects are completed; and FIG. 3 shows a schematic comparison of the video source data streams and of the
Videoausgangsdatenstroms gemäß einem Ausführungsbeispiel unter Bezugnahme auf die Figuren. Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente unter- einander austauschbar ist bzw. aufeinander angewendet werden kann.
Fig. 1 zeigt ein schematische Blockschaltbild eines Videosystems 1000 mit einer Vorrichtung 100 zum Erzeugen eines Videoausgangsdatenstroms 102, einer ersten Videoquelle 200a und einer zweiten Videoquelle 200b. Bei der Videoquelle 200a bzw. 200b kann es sich beispielsweise um eine Kamera um oder ein Speichermedium handeln, das ausge- bildet ist, um einen Videoquellendatenstrom 202a bzw. 202b auszugeben. Bei den Video- quellendatenströmen 202a und/oder 202b kann es sich beispielsweise um unverschlüsselte, unkomprimierte, verschlüsselte bzw. codierte (encodierte) Videosignale handeln. Vorzugsweise sind die Videoquellendatenströme 202a und 202b encodierte, das heißt komprimierte, Videosignale. Video output data stream according to an embodiment with reference to the figures. Before embodiments of the present invention are explained in more detail in detail with reference to the drawings, it is pointed out that identical, functionally identical or equivalent elements, objects and / or structures in the different figures are provided with the same reference numerals, so that shown in different embodiments Description of these elements is interchangeable or can be applied to each other. 1 shows a schematic block diagram of a video system 1000 with a device 100 for generating a video output data stream 102, a first video source 200a and a second video source 200b. The video source 200a or 200b may, for example, be a camera or a storage medium that is designed to output a video source data stream 202a or 202b. The video source data streams 202a and / or 202b may be, for example, unencrypted, uncompressed, encoded (encoded) video signals. Preferably, the video source data streams 202a and 202b are encoded, that is, compressed, video signals.
Nachfolgend wird zuerst Bezug genommen auf den Aufbau und die Funktionsweise der Vorrichtung 100. Daran anschließend wird Bezug genommen auf den Aufbau und die Funktionsweise der Videoquellen 200a und 200b. Die Vorrichtung 100 umfasst einen ersten Signaleingang 104a zum Empfangen des (ersten) Videoquellendatenstroms 202a und einen zweiten Signaleingang 104b zum Empfangen des (zweiten) Videoquellendatenstroms 202b. Die Vorrichtung 100 umfasst ferner einen Signalausgang 106 zum Ausgeben des Videoausgangsdatenstroms 02, etwa an ein Medium oder Verteilernetzwerk und/oder an ein (Video-)Wiedergabegerät. Hereinafter, reference will first be made to the construction and operation of the apparatus 100. Hereinafter, reference will be made to the structure and operation of the video sources 200a and 200b. The device 100 comprises a first signal input 104a for receiving the (first) video source data stream 202a and a second signal input 104b for receiving the (second) video source data stream 202b. The apparatus 100 further includes a signal output 106 for outputting the video output data stream 02, such as to a medium or distribution network and / or to a (video) player.
Die Vorrichtung 100 umfasst einen Steuersignalausgang 1 12 zum Senden eines Steuerbefehls 1 14 an die Videoquellen 200a und/oder 200b. Der Steuerbefehl umfasst eine Anweisung an die Videoquelle 200a und 200b zur Anwendung eines Übergangseffektes, der in dem Videoausgangsdatenstrom 102 wiedergegeben wird, bzw. wiedergegeben werden soll. The device 100 comprises a control signal output 1 12 for sending a control command 1 14 to the video sources 200a and / or 200b. The control command includes an instruction to the video source 200a and 200b to apply a transition effect to be reproduced in the video output data stream 102.
Die Vorrichtung 100 umfasst eine Prozessoreinrichtung 130, die ausgebildet ist, um den Videoausgangsdatenstrom 102 zu erzeugen bzw. bereitzustellen. Die Prozessoreinrichtung 130 ist ausgebildet, um zur Erstellung des Videoausgangsdatenstroms 102 zwischen den Videoquellendatenströmen 202a und 202b zu schalten, so dass der Videoausgangsdatenstrom 102 beispielsweise zu einem ersten Zeitpunkt durch den Videoquellendatenstrom 202a und zu einem zweiten Zeitpunkt durch den Videoquellendatenstrom 202b bestimmt ist. Das Umschalten kann zwischen zwei aufeinanderfolgenden Zeitpunkten erfolgen, was auch als hartes Umschalten bezeichnet wird. Vereinfacht ausgedrückt ist die Prozessoreinrichtung 130 konfiguriert, um in der Funktion einer Weiche oder eines Schalters entweder den Videoquellendatenstrom 202a oder den Videoquellendatenstrom 202b
weiterzuleiten und als Videoausgangsdatenstrom 102 bereitzustellen. Die Vorrichtung 100 kann jeweils ein Videoquellensignal 202a oder 202b zeitselektiv weiterleiten, ohne das jeweilige Signal zu decodieren, zu verändern und zu encodieren, das heißt ohne das Signal zu manipulieren. The device 100 includes a processor device 130 configured to generate the video output data stream 102. The processor device 130 is configured to switch between the video source data streams 202a and 202b to produce the video output data stream 102, such that the video output data stream 102 is determined, for example, at a first time by the video source data stream 202a and at a second time by the video source data stream 202b. Switching can occur between two consecutive times, which is also referred to as hard switching. In simplification terms, the processor device 130 is configured to use either the video source data stream 202a or the video source data stream 202b in the function of a switch or switch forward and provide as video output data stream 102. The device 100 may each time-selectively forward a video source signal 202a or 202b without decoding, modifying, and encoding the respective signal, that is, without manipulating the signal.
Die Prozessoreinrichtung 130 kann ferner ausgebildet sein, um den jeweils weiterzuleitenden Videoquellendatenstrom 202a oder 202b zu encodieren oder weiter, d. h. über ein bisheriges Maß hinaus, zu encodieren, etwa um eine Kompatibilität des Videoausgangs- datenstroms 102 mit einem Kommunikationsprotokoll, wie etwa TCP/IP (Transmission Control Protocol/Internet Protocol), WLAN (Wireless Lokal Area Network - drahtloses lokales Netzwerk) und/oder einem drahtgebundenen Kommunikationsprotokoll zu ermöglichen. Ferner kann auch eine Encodierung derart erfolgen, dass der Videoausgangsdatenstrom 102 in einem Dateiformat speicherbar ist. Ein Umschalten 132 zwischen den Videoquellendatenströmen 202a und 202b kann mittels einer Benutzereingabe 1 16 ausgelöst werden, die an einer Benutzerschnittstelle 1 18 von der Vorrichtung 100 empfangen wird und an die Prozessoreinrichtung 130 geleitet wird, das heißt dieser bereitgestellt wird. Bei der Benutzerschnittstelle 118 kann es sich beispielsweise um eine drahtgebundene Schnittstelle handeln, etwa wenn das Umschal- ten 132 basierend auf einem Knopfdruck an der Vorrichtung 100 oder einem Eingabegerät derselben ausgelöst wird. Alternativ kann es sich bei der Benutzerschnittstelle 1 18 um eine drahtlose Schnittstelle handeln, etwa wenn die Benutzereingabe 1 16 drahtlos empfangen wird, wie beispielsweise durch eine drahtlose Fernbedienung. Während des Umschaltvorgangs, das heißt in einem Zeitintervall vor dem Umschaltzeitpunkt und/oder in einem Zeitintervall nach dem Umschaltzeitpunkt kann es wünschenswert sein, einen Übergangseffekt in dem Videoausgangsdatenstrom 102 zu integrieren. Der Übergangseffekt kann beispielsweise ein Einblenden (Fade-in), Ausbienden (Fade- out), eine Variation einzelner oder mehrerer Farbintensitäten oder eines Kontrastes und/oder eine Uberblendung des von der Videoquelle bereitgestellten Signals bzw. einer Sequenz von Bildern mit einer Graphik oder einem Bild umfassen. Alternativ oder zusätzlich kann der Übergangseffekt eine deterministische oder stochastische Abbildungsfunktion umfassen, etwa eine Verzerrung des ausgegebenen Bildes, eine (pseudo-)zufällige Veränderung des Bildes und/oder einen Mosaikeffekt.
Die Vorrichtung 100 ist ausgebildet, um den Steuerbefehl 1 14 entsprechend zu konfigurieren, so dass der Steuerbefehl eine Anweisung umfasst, die eine empfangene Videoquelle 200a und/oder 200b anweist, einen entsprechenden Übergangseffekt zumindest teilweise in den von ihr bereitgestellten Videoquellendatenstrom 202a und/oder 202b zu integrie- ren. The processor device 130 can furthermore be designed to either encode the video source data stream 202a or 202b to be forwarded or to encode it, ie beyond a previous extent, such as compatibility of the video output data stream 102 with a communication protocol, such as TCP / IP (FIG. Transmission Control Protocol / Internet Protocol), WLAN (Wireless Local Area Network) and / or a wired communication protocol. Furthermore, an encoding can also take place such that the video output data stream 102 can be stored in a file format. A switch 132 between the video source data streams 202a and 202b may be triggered by a user input 16 which is received at a user interface 118 from the device 100 and routed to, ie, provided to, the processor device 130. For example, the user interface 118 may be a wired interface, such as when the switch 132 is triggered based on a button press on the device 100 or an input device thereof. Alternatively, the user interface 118 may be a wireless interface, such as when the user input 16 is received wirelessly, such as by a wireless remote control. During the switching operation, that is, in a time interval before the switching time and / or in a time interval after the switching time, it may be desirable to integrate a transition effect in the video output data stream 102. The transition effect may be, for example, a fade-in, a fade-out, a variation of one or more color intensities or a contrast, and / or a fading of the signal provided by the video source or a sequence of images with a graphic or a Picture include. Alternatively or additionally, the transition effect may include a deterministic or stochastic mapping function, such as distortion of the output image, a (pseudo-) random change of the image, and / or a mosaic effect. The device 100 is configured to configure the control command 14 accordingly, such that the control command includes an instruction directing a received video source 200a and / or 200b, at least partially, into the video source data stream 202a and / or 202b provided by it to integrate.
Die Vorrichtung 100 kann bspw. als Videomixer ausgeführt sein. Alternativ oder zusätzlich kann die Vorrichtung 100 als Personal Computer (PC) oder als mobile Vorrichtung, etwa ein Mobiltelefon oder Tablet Computer, ausgeführt sein. Der erste und zweite Signalein- gang 104a und 104b können auch als gemeinsame Schnittstelle zusammengefasst sein, etwa eine Netzwerk- oder Drahtlosschnittstelle. The device 100 may, for example, be designed as a video mixer. Alternatively or additionally, the device 100 may be embodied as a personal computer (PC) or as a mobile device, such as a mobile phone or tablet computer. The first and second signal inputs 104a and 104b may also be combined as a common interface, such as a network or wireless interface.
Nachfolgend wird Bezug genommen auf die Funktionsweise der Videoquellen 200a bzw. 200b. Hereinafter, reference will be made to the operation of the video sources 200a and 200b, respectively.
Die Videoquellen 200a und 200b weisen einen Signa!eingang 204a bzw. 204b auf, an dem die Videoquelle 200a bzw. 200b den Steuerbefehl 1 14 empfängt. Die Videoquelle 200a umfasst eine Vorrichtung 210 zur Bereitstellung einer Sequenz 212 von Bildern, etwa einen Kamerachip oder einen Datenspeicher, auf dem eine Vielzahl von Bildern ab- gespeichert ist und der ausgebildet ist, um die Sequenz 212 mit einer Vielzahl von Bildern abzurufen. Die Videoquelle 200a umfasst ferner eine Prozessoreinrichtung 220, die ausgebildet ist. um die Sequenz 212 von Bildern von der Vorrichtung 210 zu empfangen und um diese mit dem Übergangseffekt zumindest teilweise zu überlagern. Dies wird nachfolgend als eine Überlagerung der Videoinformation mit dem Übergangseffekt bezeichnet. The video sources 200a and 200b have a signal input 204a or 204b at which the video source 200a or 200b receives the control command 14. The video source 200a comprises a device 210 for providing a sequence 212 of images, such as a camera chip or a data memory, on which a plurality of images are stored and which is designed to retrieve the sequence 212 with a multiplicity of images. The video source 200a further includes a processor device 220 that is formed. to receive the sequence 212 of images from the device 210 and to at least partially overlay them with the transition effect. This will hereinafter be referred to as a superimposition of the video information with the transition effect.
Die Prozessoreinrichtung 220 ist ferner ausgebildet, um das Videoquellensignal 202a zu erzeugen bzw. bereitzustellen. Bei der Prozessoreinrichtung 220 kann es sich um einen Prozessor der Videoquelle handeln, etwa eine zentrale Recheneinrichtung (Central Processing Unit - CPU), einen Mikrocontroller, ein Feldprogrammierbare Gatterarray (Field Porgrammable Gate Array - FPGA) oder dergleichen. Die Videoquelie 200a ist ausgebildet, um den Videoquellendatenstrom 202a basierend auf dem Übergangseffekt auszugeben bzw. der Videoquellendatenstrom 202a weist bei einer Anwendung des Uberlagerungseffektes den Übergangseffekt auf. Alternativ oder zusätzlich kann die Videoquelle ausgebildet sein, um den Übergangseffekt basierend auf einem Eingriff in eine hardware- beschleunigte Bildbearbeitungskette (Image Signal Processor - ISP) und/oder basierend auf einer Bildbearbeitung mittels einer grafischen Prozessoreinrichtung anzuwenden. Dies
ermöglicht eine Realisierung der des Übergangseffektes in einer geringen Zeitspanne und/oder einer geringen Anzahl von Rechenoperationen. The processor device 220 is further configured to generate the video source signal 202a. The processor device 220 may be a processor of the video source, such as a central processing unit (CPU), a microcontroller, a Field Programmable Gate Array (FPGA), or the like. The video source 200a is configured to output the video source data stream 202a based on the transition effect, and the video source data stream 202a has the transition effect in an application of the overlaying effect. Alternatively or additionally, the video source can be designed to apply the transition effect based on an intervention in a hardware-accelerated image processing processor (ISP) and / or based on image processing by means of a graphical processor device. This allows realization of the transition effect in a small amount of time and / or a small number of arithmetic operations.
Die Videoquelle 200 umfasst eine Ausgangsschnittstelle 206, die ausgebildet ist, um das Videoquellensignal 202a zu senden. Das Senden kann drahtgebunden, etwa mittels eines Netzwerks oder einer direkten Kabelverbindung zu der Vorrichtung 100 erfolgen. Alternativ kann die Übertragung auch drahtlos erfolgen. In anderen Worten können die Signaleingänge 104a, 104b, 1 12, 204a, 204b und/oder 206 als drahtgebundene oder drahtlose Schnittstellen ausgeführt sein. The video source 200 includes an output interface 206 configured to transmit the video source signal 202a. The transmission may be wireline, such as via a network or direct cable connection to the device 100. Alternatively, the transmission can also be wireless. In other words, the signal inputs 104a, 104b, 112, 204a, 204b, and / or 206 may be implemented as wired or wireless interfaces.
Die Videoquelle 200 umfasst einen optionalen Graphikspeicher 230, der ausgebildet ist, um eine Graphik zu speichern und um diese der Prozessoreinrichtung 220 bereitzustellen. Bei der Graphik kann es sich beispielsweise um ein Logo oder einen kontinuierlichen oder konstanten Bildeffekt handeln, der mit von der Vorrichtung 210 bereitgestellten Bildern zumindest zeitweise überlagert wird. Alternativ kann die Videoquelle 200a und/oder 200b ausgebildet sein, um eine entsprechende Graphik von einer anderen Vorrichtung, etwa einem Computer oder von der Vorrichtung 100 zu empfangen. Dies kann beispielsweise mittels eines separaten oder bereits bestehender Übertragungskanäle, etwa einem Kanal, auf dem der Steuerbefehl 1 14 übertragen wird, erfolgen. The video source 200 includes an optional graphics memory 230 that is configured to store a graphic and provide it to the processor device 220. The graphics may, for example, be a logo or a continuous or constant image effect, which is superimposed at least temporarily with images provided by the device 210. Alternatively, the video source 200a and / or 200b may be configured to receive corresponding graphics from another device, such as a computer or device 100. This can be done for example by means of a separate or already existing transmission channels, such as a channel on which the control command 1 14 is transmitted.
Die Videoquellen 200a und 200b können beispielsweise als zwei Kameras ausgeführt sein, die einen gleichen oder voneinander verschiedene Objektbereiche erfassen, etwa gleiche (ggf. aus verschiedenen Blickwinkeln) oder voneinander verschiedene (Sport-) Ereignisse oder sonstige Aufnahmen wie Personen- und/oder Landschaftsszenerien. Al- ternativ oder zusätzlich kann zumindest eine der Videoquellen 200a oder 200b als Videospeicher, etwa als Festplattenspeicher, ausgeführt sein Alternativ kann das Videosystem 1000 weitere Videoquellen aufweisen. The video sources 200a and 200b may be embodied, for example, as two cameras which capture the same or different object areas, approximately the same (possibly from different angles) or different (sports) events or other recordings such as person and / or landscape scenes. As an alternative or in addition, at least one of the video sources 200a or 200b may be embodied as video memory, for example as hard disk storage. Alternatively, the video system 1000 may comprise further video sources.
Nachdem in vorangegangenen Ausführungen die Funktionalität der einzelnen Komponen- ten des Videosystems 1000 beschrieben wurde, wird nachfolgend auf die Funktionalität des Videosystems, das heißt auf das Zusammenwirken der einzelnen Komponenten Bezug genommen. After the functionality of the individual components of the video system 1000 has been described in the foregoing, reference will be made below to the functionality of the video system, that is to say to the interaction of the individual components.
Bei einem oder mehreren Übergängen von dem Videoquellendatenstrom 202a zu dem Videoquellendatenstrom 202b oder andersherum kann, beispielsweise durch einen Nutzer, ein Übergangseffekt gewünscht sein. Die entsprechende Nutzeingabe 1 6 ist bei-
spielsweise mittels der Schnittstelle 1 18 empfangbar. Eine Information bezüglich des Übergangseffektes wird mittels des Steuerbefehls 1 4 an die jeweilige oder alle beteiligten Videoquellen 200a und/oder 200b gesendet. Vereinfacht ausgedrückt liefert die Vorrichtung 100 Informationen darüber, welcher Umschalteffekt zu welchen Zeitpunkten aus- geführt werden soll. Die Information kann sich beispielsweise auf eine Identifikation, wie eine Nummer oder einen Index des Übergangseffektes, auf eine Zeitdauer des Übergangseffektes, auf einen Startzeitpunkt, auf einen Endzeitpunkt, auf eine Art oder eine Intensität des Übergangseffektes beziehen. Der Steuerbefehl 1 14 kann gezielt an eine Videoquelle 200a oder 200b gesendet werden oder mittels eines Rundrufs (Broadcast) an alle Teilnehmer versendet werden, so dass der jeweilige Empfänger, das heißt die Videoquelle 200a oder 200b erkennt, dass die Nachricht für Sie bestimmt ist. At one or more transitions from the video source data stream 202a to the video source data stream 202b, or vice versa, a transition effect may be desired, for example, by a user. The corresponding input 1 6 is included For example, by means of the interface 1 18 receivable. Information relating to the transition effect is sent by means of the control command 1 4 to the respective or all participating video sources 200a and / or 200b. In simple terms, the device 100 provides information about which switching effect should be performed at which times. The information may relate, for example, to an identification, such as a number or index of the transition effect, to a duration of the transition effect, to a start time, to an end time, to a type or intensity of the transition effect. The control command 1 14 can be sent specifically to a video source 200a or 200b or sent by broadcast to all participants, so that the respective receiver, that is, the video source 200a or 200b recognizes that the message is intended for you.
Umfasst der gewünschte Übergangseffekt eine Manipulation oder Veränderung der Vi- deoquellendatenströme 202a und 202b beider beteiligter Videoquellen 200a und 200b, so kann dieser Übergangseffekt in zwei oder mehrere Teileffekte unterteilt sein. Zumindest ein Teileffekt ist auf die Sequenz von Bildern 212 der jeweiligen Videoquelle 200a bzw. 200b anwendbar. Beispielsweise kann ein (ggf. als sanft bezeichneter) Übergangseffekt, von einem ersten auf einen zweiten Videoquelldatenstrom aus einem Ausblendeffekt des ersten und einem Einblendeffekt des zweiten Datenstroms bestehen. Dieser Übergangs- effekt kann als erster Teilübergangseffekt (Ausblendeffekt) und zweiter Teilübergangseffekt (Einblendeffekt) dargestellt werden. Je ein Teilübergangseffekt kann von einer der Videoquelien 200a bzw. 200b angewendet werden. Etwa kann ein Fade-out eines zu einem Zeitpunkt als Videoausgangsdatenstrom 102 bereitgestellten Videoque!lendaten- stroms 202a und ein Fade-in eines nachfolgend in dem Videoausgangsdatenstrom 102 enthaltenen Videoquellendatenstroms 202b durch ein Fade-out in der Videoquelle 200a und durch ein Fade-in in der Videoquelle 200b realisiert werden. Alternativ kann der Übergangseffekt auch lediglich in einem Videoquelledatenstrom realisiert werden, beispielsweise ein Ausblenden oder Verblassen oder lediglich ein Einblenden oder Fade-In. Die Prozessoreinrichtungen 130 der Vorrichtung 100 und 220 der Videoquellen 200a und/oder 200b können zeitlich untereinander synchronisiert sein, so dass eine zeitlich übereinstimmende Positionierung der einzelnen Übergangseffekte einstellbar ist Eine zeitliche Synchronisierung kann beispielsweise mittels eines weiteren Übertragungskanals, auf oder in dem der Steuerbefehl 1 14 übertragen wird, mittels eines Übertragungs- kanals, in dem die Videoquellendatenströme 202a und/oder 202b übertragen werden und/oder durch ein gemeinsames Synchronisierungssignal, das auf anderen Kanälen von
der Vorrichtung 100 und/oder von den Videoquellen 200a bzw. 200b empfangen wird, erhalten werden. Dies ermöglicht, dass eine zusätzliche Synchronisierung der Videoströme 202a und 202b jeweils mit und ohne Übergangseffekte durch die Vorrichtung 100 entfallen kann If the desired transition effect involves manipulation or alteration of the video source data streams 202a and 202b of both video sources 200a and 200b involved, this transition effect can be subdivided into two or more subeffects. At least a partial effect is applicable to the sequence of images 212 of the respective video sources 200a and 200b, respectively. By way of example, a transition effect (possibly referred to as gentle), from a first to a second video source data stream, may consist of a blanking effect of the first and a blanking effect of the second data stream. This transition effect can be represented as the first part-transition effect (blanking effect) and the second part-transition effect (overlay effect). Each partial transition effect may be applied by one of the video sources 200a and 200b, respectively. For example, a fade-out of a video source data stream 202a provided as a video output data stream 102 at a time and a fade-in of a video source data stream 202b subsequently included in the video output data stream 102 may be performed by a fade-out in the video source 200a and a fade-in the video source 200b are realized. Alternatively, the transition effect can also be realized only in a video source data stream, such as fading out or fading, or merely fade-in or fade-in. The processor devices 130 of the device 100 and 220 of the video sources 200a and / or 200b can be synchronized with each other in time, so that a temporally matching positioning of the individual transition effects is adjustable A temporal synchronization, for example by means of another transmission channel, or in which the control command is transmitted by means of a transmission channel in which the video source data streams 202a and / or 202b are transmitted and / or by a common synchronization signal which is transmitted on other channels device 100 and / or received by video sources 200a and 200b, respectively. This allows for additional synchronization of the video streams 202a and 202b, each with and without transient effects by the device 100, to be eliminated
Die Videoquellen 200a und/oder 200b können ferner ausgebildet sein, um den jeweiligen Videoquellendatenstrom 202a bzw. 202b mit einer variablen Bitrate auszugeben. Beispielsweise kann es ausreichend sein, dass die Videoquelle(n), deren Videoquellendatenstrom derzeit nicht in den Ausgangsdatenstrom 102 eingefügt werden, lediglich (Video-) Informationen mit einer geringeren Qualität, das heißt Bitrate, senden und beispielsweise eine Bitrate der Videoquelle, deren Videoquellendatenstrom in den Videoausgangsstrom integriert wird, mit einer gleichen oder höheren Bitraten und/oder Qualität sendet. Dies kann insbesondere bei einem gemeinsam genutzten Übertragungsmedium, beispielsweise ein gemeinsames Funkmedium oder eine gemeinsames drahtgebundenes Netzwerk, vorteilhaft sein. The video sources 200a and / or 200b may be further configured to output the respective video source data streams 202a and 202b at a variable bit rate, respectively. For example, it may be sufficient that the video source (s) whose video source data stream is not currently being inserted into the output data stream 102 only send (video) information of a lower quality, ie bit rate, and for example a bit rate of the video source whose video source data stream is in the video output stream is integrated, with an equal or higher bit rate and / or quality sends. This can be particularly advantageous in the case of a shared transmission medium, for example a shared radio medium or a common wired network.
Beispielsweise kann die jeweilige weitergeleitete Videoquelle 200a oder 200b mit einer hohen oder maximalen Bitrate Videosignale 202a und/oder 202b erzeugen, wohingegen etwa eine Miniaturansicht oder eine Darstellung mit geringerer Auflösung der derzeit nicht genutzten Videoquellendatenströme für den Operateur, der die Vorrichtung 100 nutzt bzw. den Übergangseffekt initiiert und/oder die Videoquellendatenströme 202a und/oder 202b betrachtet, ausreichend ist, um zu beurteilen, ob ein Umschalten erfolgen soll. Durch den Steuerbefehl 1 14 oder eine weitere Nachricht kann die jeweilige Videoquelle angewiesen werden, die Bitrate des jeweiligen Videoquellendatenstroms auf einen vorbestimmten o- der in der Nachricht enthaltenen Wert zu ändern. Alternativ kann die Videoquelle auch ausgebildet sein, um die Bitrate automatisch zu ändern, etwa um nach einem beendeten Ausblendeffekt die Bitrate zu reduzieren und/oder vor oder zeitgleich zu einem beginnenden Einblendeffekt die Bitrate von einem reduzierten Wert zu erhöhen. In anderen Worten besteht eine Grundidee darin, dass das Erstellen von Übergangseffekten den Kameras überlassen wird Dadurch werden die Anforderungen an den Videomixer, das heißt die Vorrichtung zum Erzeugen des Videoausgangsdatenstroms deutlich gesenkt. Er soll bspw. lediglich in der Lage sein, die eingehenden Videoströme einer oder mehrerer Kameras entgegenzunehmen, etwa in encodierter Form, und einen der Ströme als Ausgabevideostrom auszugeben. Ferner kann der Videomixer in der Lage sein, die eingehenden Videoströme anzuzeigen, etwa an einem Monitor oder die Videoströme ei-
nem Monitor bereitzustellen. Dazu kann der Videomixer bspw. in der Lage sein, eine De- codierung der Videoströme durchzuführen. Alternativ kann die die Decodierung auch in dem Monitor erfolgen. Dabei ist keine Umcodierung der Videodaten nötig. Zusätzlich kann eine Voraussetzung oder eine Weiterbildung darin bestehen, dass die Kameras und der Videomixer eine gemeinsame Zeitbasis haben, also synchronisiert sind. Auch eine Kommunikationsmöglichkeit zwischen dem Videomixer und den angeschlossenen Kameras (Rückkanal) kann vorausgesetzt werden. Das Umschalten kann entweder hart erfolgen oder es kann ein Übergangseffekt erstellt werden. Als harter Schnitt kann verstanden werden, wenn vor einem Umschaltzeitpunkt 7" ein Strom S1 als Ausgabestrom verwendet wird und zum Zeitpunkt T der Videostrom S2 zum Ausgabestrom wird. For example, the respective forwarded video source 200a or 200b may generate video signals 202a and / or 202b at a high or maximum bit rate, whereas, for example, a thumbnail or a lower resolution representation of the currently unused video source data streams may be used by the operator using the apparatus 100 Transition effect initiated and / or considered the video source data streams 202a and / or 202b, is sufficient to judge whether a switch is to take place. By the control command 14 or another message, the respective video source can be instructed to change the bit rate of the respective video source data stream to a predetermined or the value contained in the message. Alternatively, the video source may also be designed to automatically change the bit rate, for example to reduce the bit rate after a blanking effect has ended and / or to increase the bit rate from a reduced value before or at the same time as a starting overlay effect. In other words, a basic idea is that the creation of transition effects is left to the cameras. This significantly reduces the requirements for the video mixer, that is, the device for generating the video output data stream. For example, it should only be able to receive the incoming video streams from one or more cameras, for example in encoded form, and to output one of the streams as an output video stream. Furthermore, the video mixer may be able to display the incoming video streams, such as on a monitor or the video streams of a video monitor. to provide a monitor. For this purpose, the video mixer, for example, be able to perform a decoding of the video streams. Alternatively, the decoding can also be done in the monitor. No transcoding of the video data is necessary. In addition, a prerequisite or a further development may be that the cameras and the video mixer have a common time base, ie are synchronized. Also a communication possibility between the video mixer and the connected cameras (return channel) can be assumed. The switching can either be hard or a transition effect can be created. A hard cut can be understood when a current S1 is used as the output current before a switching time 7 " and at time T the video current S2 becomes the output current.
Vorteilhaft ist, dass eine Anwendung von Umschalteffekten in Echtzeit direkt auf der Kamera, ohne Postproduktion (Nachbearbeitung) oder teure Mixer-Hardware erfolgen kann. Ferner kann ein Entstehen von zusätzlichen Zeitverzögerungen durch Anwendung von Effekten verhindert werden, falls die Berechnung des partiellen Videoeffektes in entsprechenden Komponenten der Videoquelien ausgeführt wird. Dies kann beispielsweise durch eine Integration der Berechnung des partiellen Videoeffekts in eine Hardwarebeschleunigte Bildaufbereitungskette der Kamera erreicht werden. Dies ermöglicht ferner die Umsetzung des beschriebenen Konzeptes ohne eine Anordnung zusätzlicher Hard- ware-Ressourcen für die Erstellung von Videoeffekten auf Seiten der Kamera. Ferner werden keine zusätzlichen Hardware-Ressourcen für die Erstellung von Videoeffekten auf Seiten des Videomixers benötigt. Auch ist kein Umcodieren der empfangenen Videodaten nötig. Eine minimale Zeitverzögerung durch das Hinzufügen des Übergangseffektes kann erreicht werden, falls der partielle Übergangseffekt mit einer graphischen Prozessorein- richtung prozessiert wird. It is advantageous that an application of switching effects in real time can be done directly on the camera, without post-production (post-processing) or expensive mixer hardware. Furthermore, the occurrence of additional time delays can be prevented by applying effects if the partial video effect calculation is performed in corresponding components of the video sources. This can be achieved, for example, by integrating the calculation of the partial video effect into a hardware-accelerated imaging chain of the camera. This also allows the implementation of the described concept without an arrangement of additional hardware resources for the creation of video effects on the part of the camera. Furthermore, no additional hardware resources are needed to create video effects on the video mixer side. Also, no recoding of the received video data is necessary. A minimal time delay through the addition of the transition effect can be achieved if the partial transition effect is processed with a graphical processor device.
Die Fig. 2a-d zeigen schematische Darstellungen der als Kamera ausgeführten Videoquellen 200a und 200b zu verschiedenen Zeitpunkten bezüglich eines Umschaltzeitpunktes. Die Videoquellen 200a und 200b senden jeweils den Videoquellendatenstrom 202a bzw. 202b an die Vorrichtung 100 (Videomixer). Die Fig. 2a-d zeigen ferner einen Inhalt des Videoausgangsdatenstroms 102 Figures 2a-d show schematic representations of the video sources 200a and 200b as camera at different times with respect to a switching time. The video sources 200a and 200b respectively send the video source data stream 202a and 202b to the device 100 (video mixer). FIGS. 2 a - d further show a content of the video output data stream 102
Fig. 2a zeigt schematisch zu Zeitpunkten k < TS1 , dass die die Videoquelle 200a den als S1 bezeichneten Videoquellendatenstrom 202a und die Videoquelle 200b den als S2 be- zeichneten Videoquellendatenstrom 202b der Vorrichtung 100 zur Verfügung stellt. Die Vorrichtung 100 erzeugt den Videoausgangsdatenstrom 102 basierend auf dem Video-
quellendatenstrom 202a bzw. stellt diesen bereit. 7S1 bezeichnet einen Startzeitpunkt eines (Teil-)Übergangseffektes mit einer Dauer von 7max1 der von der Videoquelle 200a angewendet wird. Die dargestellten Zeitpunkte k befinden sich vor einem Beginn einer Darstellung des Übergangseffektes in einem der Datenströme 202a oder 202b, was mit„k < 7S1" beschrieben ist. Zu dem Zeitpunkt 7Si bis zu einem Zeitpunkt k = 7S1 + 7max1 wird ein Übergangseffekt auf den Videoquellendatenstrom 202a angewendet, was zu einem modifizierten Videoquelldatenstrom S'1 führt. FIG. 2 a shows schematically at times k <T S1 that the video source 200a provides the video source data stream 202a designated as S1 and the video source 200b the video source data stream 202b designated as S2 of the apparatus 100. The device 100 generates the video output data stream 102 based on the video Source data stream 202a or provides this. 7 S1 denotes a starting time point of a (partial) transition effect with a duration of 7 max1 applied by the video source 200a. The illustrated times k are before a start of a representation of the transition effect in one of the data streams 202a or 202b, which is described as "k <7 S1 ." At the time point 7, S i until a time k = 7 S1 + 7 max1 a transition effect is applied to the video source data stream 202a, resulting in a modified video source data stream S'1.
Wie in Fig. 2b dargestellt und durch die Bezeichnung S'1 angedeutet, liefert die Video- quelle 200a zu Zeitpunkten k, die größer oder gleich dem Zeitpunkt 7S1 und kleiner oder gleich 7Si + 7ma 1 sind, den modifizierten Videoquellendatenstrom S'1. Dies führt zu einem in dem Videoausgangsdatenstrom 102 enthaltenen Übergangseffekt, wie es durch die Bezeichnung S'1 in dem Videoausgangsdatenstrom 102 angedeutet ist. Fig. 2c zeigt schematisch, den Videoausgangsdatenstrom 102 nach dem Umschaltvorgang. Die Videoquelle 200b ist ausgebildet, um beginnend zu einem Zeitpunkt 7S2 für eine Dauer Tmax2 einen (partiellen) Übergangseffekt in dem Videoquellendatenstrom 202b zu implementieren und den so modifizierten Videoquellendatenstrom 202b auszugeben, was durch die Bezeichnung S'2 angedeutet ist. Der Videomixer bzw. die Vorrichtung 100 ist so konfiguriert, dass der Videoausgangsdatenstrom 102 basierend auf dem Videoquellendatenstrom 202b erzeugt bzw. bereitgestellt wird. D. h., die Vorrichtung 100 hat zu dem Zeitpunkt TS2 gegenüber der in Fig. 2b dargestellten Situation von dem Videoquellendatenstrom 202a auf den Videoquellendatenstrom 202b umgeschaltet, um diesen auszugeben. As shown in FIG. 2b and indicated by the designation S'1, the video source 200a delivers the modified video source data stream S at times k that are greater than or equal to the time instant 7 S1 and less than or equal to 7 S i + 7 ma 1 '1. This results in a transition effect contained in the video output data stream 102, as indicated by the designation S'1 in the video output data stream 102. Fig. 2c shows schematically the video output data stream 102 after the switching operation. The video source 200b is configured to implement a (partial) transition effect in the video source data stream 202b starting at a time instant 7 S2 for a duration T max2 and to output the thus modified video source data stream 202b, which is indicated by the designation S'2. The video mixer or device 100 is configured to generate the video output data stream 102 based on the video source data stream 202b. That is, the device 100 has switched from the video source data stream 202a to the video source data stream 202b at the time T S 2 from the situation shown in Fig. 2b to output the same.
Nach Ende des Übergangseffektes in dem Videoquellendatenstrom 202b, das heißt zu Zeitpunkten k > 7S2 + Tmgx2 und wie in Fig. 2d schematisch dargestellt, endet die Überlagerung des Stroms S2 mit dem Überlagerungseffekt, so dass die Videoquelle 200b dem (unmodifizierten) Strom S2 bereitstellt. Die Videoquelle 200b liefert den nicht mit einem Übergangseffekt überlagerten oder modifizierten Videoquellendatenstrom 202b (S2), was bei unveränderter Konfiguration der Vorrichtung 100 zu dem Videoausgangsdatenstrom 102 führt, der basierend auf dem Videoquellendatenstrom 202b bereitgestellt ist. After the end of the transition effect in the video source data stream 202b, ie at times k> 7 S2 + Tmgx2 and as schematically illustrated in FIG. 2d, the superimposition of the current S2 ends with the superimposition effect, so that the video source 200b terminates the (unmodified) stream S2 provides. The video source 200b provides the non-transitionally superimposed or modified video source data stream 202b (S2), which, with the device 100 unchanged, results in the video output data stream 102 provided based on the video source data stream 202b.
Alternativ kann die Vorrichtung 100 auch ausgebildet sein, um zu einem anderen Zeit- punkt zwischen den Videoquellendatenströmen 202a und 202b umzuschalten, zu denen der Videoquellendatenstrom 202a und/oder 202b einen (Teii-)Übergangseffekt aufweist.
Beispielsweise kann, wenn lediglich eine der Videoquellen 200a oder 200b einen Übergangseffekt anwendet, das Umschalten während der Dauer dieses Effektes erfolgen. Das Umschalten kann zu Beginn, am Ende oder während einer Dauer des (Teil-) Übergangseffektes erfolgen, etwa wenn ein totales Ausblenden des ersten Videoquellendatenstroms 202a nicht erforderlich oder gewünscht ist. Alternatively, the device 100 may also be configured to switch at a different time between the video source data streams 202a and 202b, to which the video source data stream 202a and / or 202b has a (partial) transition effect. For example, if only one of the video sources 200a or 200b applies a transition effect, the switching may occur during the duration of this effect. The switching may occur at the beginning, at the end, or during a duration of the (fractional) transition effect, such as when total blanking of the first video source data stream 202a is not required or desired.
Wenn das Umschalten mit einem Übergangseffekt erfolgen soll, wird zu den Videoquellen (Kameras) K1 und K2 jeweils eine Nachricht geschickt, die den partiellen Übergangseffekt beschreibt, wie beispielsweise Art des Effekts, z.B. Fade-in, Fade-out, Länge des Effekts Tmax und/oder der Start- oder Endzeitpunkt des jeweiligen partiellen Effekts. Aus Endzeitpunkt und Dauer des Effektes kann der Startzeitpunkt in der jeweiligen Videoquelle ermittelt werden. If you want to switch over with a transition effect, a message is sent to each of the video sources (cameras) K1 and K2 that describes the partial transition effect, such as type of effect, eg fade-in, fade-out, length of effect T max and / or the start or end time of each partial effect. From the end time and duration of the effect, the start time in the respective video source can be determined.
Zum Startzeitpunkt des Effektes kann auf der Kamera eine Routine gestartet werden, die sich (gegebenenfalls in Echtzeit) auf die Bildverarbeitung auswirkt. Diese Routine kann allgemein als eine Abbildung f(k) mit: f(k): Bk > B'k, Ts ^ k < Ts + Tmax definiert werden, die das Bild Bk, das zum Zeitpunkt k aufgenommen oder wiedergegeben wird, auf das Bild B'k abbildet. Für jeden möglichen partiellen Effekt i kann eine eigene Abbildung f,(k) definiert sein. Die Abbildung kann bspw. eine Verzerrung, Mosaikeffekte, oder beliebige andere (Teil-)Effekte umfassen. Fig. 3 zeigt eine schematische Gegenüberstellung der Videoquellendatenströme 202a und 202b sowie des Videoausgangsdatenstroms 102 unter Bezugnahme auf die Figuren 2a-d. Die Signale 202a, 202b und 102 sind synchronisiert, das heißt sie weisen die gleiche Zeitbasis auf. Beispielsweise wird in jedem der Videoquellendatenströme 202a und 202b zu jedem Zeitpunkt /( jeweils ein (Teil-)Bild wiedergegeben. At the start of the effect, a routine can be started on the camera, which (possibly in real time) affects the image processing. This routine may be generally as a function f (k) where: f (k): Bk>B'k, T s ^ k <T s + T max are defined that the picture Bk, which is the time k recorded or played on which picture B'k depicts. For every possible partial effect i, a separate mapping f, (k) can be defined. The image may include, for example, distortion, mosaic effects, or any other (sub) effects. FIG. 3 shows a schematic comparison of the video source data streams 202a and 202b and the video output data stream 102 with reference to FIGS. 2a-d. The signals 202a, 202b and 102 are synchronized, that is they have the same time base. For example, in each of the video source data streams 202a and 202b, at each time point / (each one (sub) image is reproduced.
Zu einem Zeitpunkt k = 7~S1 beginnt eine Überlagerung des Videoquellendatenstroms 202a einen Übergangseffekt der eine Dauer 7" max1 aufweist. Der Übergangseffekt endet zu einem Zeitpunkt k = 7~S1 + Tmax1. Zu Zeitpunkten 7S1 < k < TS1 + Tmax1 wird von der Vorrichtung 100 der modifizierte Videoquellendatenstrom S'1 empfangen. Zu einem Zeitpunkt k - 7~s2 beginnt eine Überlagerung des Videoquellendatenstroms 202b mit einem Übergangseffekt, der eine Dauer von Tmax2 aufweist und bis zu einem Zeitpunkt Ts?_ + Tmax2 andauert.
Zu Zeitpunkten 7S2 -- k < 7S2 + Tmgx? wird von der Vorrichtung 100 der modifizierte Video- quellendatenstrom S'2 empfangen. At a time k = 7 ~ S1 , an overlay of the video source data stream 202a begins a transition effect having a duration 7 " max1 The transition effect ends at a time k = 7 ~ S1 + Tmax1 At times 7 S1 <k <T S1 + T max1 , the modified video source data stream S'1 is received by the device 100. At a time k - 7 ~ s2, a superposition of the video source data stream 202b begins with a transition effect having a duration of T max2 and until a time T s? _ + T max2 lasts. At times 7 S2 - k <7 S2 + T mgx? The device 100 receives the modified video source data stream S'2.
Die Zeitdauern 7ma , und Tmax2 können gleich oder voneinander verschieden sein und auf dem jeweiligen Übergangseffekt oder Teilübergangseffekt basieren. Zu einem Zeitpunkt 7 schaltet der Videomixer um, so dass vor dem Zeitpunkt 7 der Videoausgangsdatenstrom 102 auf dem Videoquellendatenstrom 202a und ab dem Zeitpunkt 7 auf dem Videoquel- !endatenstrom 202b basiert. Der Zeitpunkt k = T ist so angeordnet, dass dieser zeitlich zu oder nach dem Zeitpunkt Ts? und zu oder vor dem Zeitpunkt 7S + Tmax-, ist. Beispielsweise entspricht der Zeitpunkt 7S2 dem Zeitpunkt 7S + 7mgx1 , so dass der Zeitpunkt 7 mit beiden Zeitpunkten (7S1 + 7max1 und 7S2) zusammenfällt. Der zeitliche Verlauf des Videoausgangssignals 02 vor dem Zeitpunkt 7S1 entspricht der Situation, wie sie in der Fig. 2a dargestellt ist. Die Situation ab dem Zeitpunkt 7S1 bis zu dem Zeitpunkt 7 entspricht analog der Situation der Fig. 2b. Von dem Zeitpunkt 7 bis zu dem Zeitpunkt TS2 + 7max2 ist die Situation beispielhaft in Fig. 2c dargestellt. Die Situation für darauffolgende Zeitpunkte, d. h. nachdem der Übergangseffekt der Videoquelle 202b endet, ist in Fig. 2d dargestellt. In anderen Worten zeigen die Figuren 2a-d und 3 den Gesamtablauf der Generierung eines verteilten Übergangseffektes. Vor dem Zeitpunkt 7S1 wird vom Videomixer der unveränderte Videostrom S1 ausgegeben. The durations 7 ma , and T max2 may be the same or different and based on the respective transition effect or partial transition effect . At a point in time 7, the video mixer switches over so that before time 7 the video output data stream 102 is based on the video source data stream 202a and, from time 7, on the video source stream 202b. The time k = T is arranged to be timed at or after the time Ts? and at or before time 7 S + T max -. For example, the time 7 S2 corresponds to the time 7 S + 7 mgx1 , so that the time 7 coincides with both times (7 S1 + 7 max1 and 7 S2 ). The time course of the video output signal 02 before time 7 S1 corresponds to the situation as shown in FIG. 2a. The situation from time 7 S1 to time 7 corresponds analogously to the situation of FIG. 2b. From time 7 to time T S2 + 7 max2 , the situation is exemplified in Fig. 2c. The situation for subsequent times, ie after the transition effect of the video source 202b ends, is shown in Figure 2d. In other words, Figures 2a-d and 3 show the overall process of generating a distributed transition effect. Before time 7 S1 , the video mixer outputs the unchanged video stream S1.
Zu den Zeitpunkten k mit 7S1 £ k < 7S1 + Tmax1 wird der Videostrom auf der Kamera K1 durch die Abbildung {k) beeinflusst und wird als S'1 bezeichnet. At the times k with 7 S1 £ k <7 S1 + T max1 , the video stream on the camera K1 is affected by the map {k) and is referred to as S'1.
Zu dem Zeitpunkt k = 7 (beispielsweise 7S2) mit 7 < 7S1 + 7max1 l d. h. , der Übergangseffekt der Videoquelle 200a ist noch nicht beendet, schaltet der Videomixer den Ausgangsstrom auf die Ausgabe der Kamera K2 um. Zu den Zeitpunkten k mit 7 < k < 7S2 + 7max2 wird der Videostrom auf der Kamera K2 durch die Abbildung f2{k) beeinflusst und wird als S'2 bezeichnet. At the time k = 7 (for example 7 S2 ) with 7 <7 S1 + 7 max1 l, ie the transition effect of the video source 200a has not yet ended, the video mixer switches the output current to the output of the camera K2. At the time points k 7 <k <7 S2 + 7 max2 the video stream on the camera K2 by the image f 2 {k) is influenced and is referred to as S'2.
Ab dem Zeitpunkt k = 7^ + 7m3x2 + 1 wird vom Videomixer der unveränderte Videostrom S2 ausgegeben. Die Generierung des Ubergangseffektes ist damit abgeschlossen .
Das vorgeschlagene Konzept ermöglicht gewünschte kostengünstige, mobile echtzeitfä- hige Videomixer, die auf Wunsch des Operateurs (Benutzer) einfache Umschalteffekte generieren können. Diese sind beispielsweise in mobilen Life-Videoinhalt-Produktionssystemen (Life Video Content) mit mehreren Kameras, die als Videomixer ein Handy oder einen Computer, einen Tablet-PC oder dergleichen einsetzen, anwendbar. From the time k = 7 ^ + 7 m3x2 + 1, the video mixer outputs the unchanged video stream S2. The generation of the transitional effect is thus completed. The proposed concept allows for low-cost, mobile real-time video mixers, which can generate simple switching effects at the request of the operator (user). These are applicable, for example, in Life Video Content (LIF) video content production systems with multiple cameras using a mobile phone or a computer, a tablet PC, or the like as a video mixer.
Obwohl sich vorangegangene Ausführungsbeispiele auf einen Videomixer mit einer Pro- zessoreinrichtung beziehen, können Ausführungsbeispiele der vorliegenden Erfindung auch als Programmcode bzw. Software implementiert sein. Although previous embodiments relate to a video mixer with a processor device, embodiments of the present invention may also be implemented as program code or software.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Ver- fahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step , Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausfüh- rungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode
dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable. Thus, some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed. In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer. The program code can also be stored, for example, on a machine-readable carrier. Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer. A further embodiment of the inventive method is thus a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program is recorded for carrying out one of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Da- tenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer
beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Ein- zelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. Generally, in some embodiments, the methods are performed by a any hardware device performed. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC. The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented with the description and explanation of the embodiments herein.
Literatur literature
[1 ] R. a. C. F. Kurceren,„Compressed Domain Video Editing," in Acoustics, Speech and Signal Processing, 2006. ICASSP 2006 Proceedings. 2006 IEEE International Conference on, 2006. [1] R. a. C.F. Kurceren, "Compressed Domain Video Editing," in Acoustics, Speech and Signal Processing, 2006. ICASSP 2006 Proceedings, 2006 IEEE International Conference on, 2006.
[2] W. A. C. Fernando, C. C.N. und D. Bull,„Video special effects editing in MPEG-2 compressed Video," in Circuits and Systems, 2000. Proceedings, ISCAP 2000 Geneva. The 2000 IEEE International Symposium on, Geneva, 2000.
[2] W.A.C. Fernando, C.C.N. and D. Bull, "Video Special Effects Editing in MPEG-2 Compressed Video," in Circuits and Systems, 2000. Proceedings, ISCAP 2000 Geneva.The 2000 IEEE International Symposium on, Geneva, 2000.