DE4143180A1 - Verfahren und anordnung zur einblendung eines hintergrundsignals in durch eine vorgegebene stanzfarbe festgelegte teile eines vordergrundsignals - Google Patents

Description

Die Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruchs.

Ein häufig beim Fernsehen angewandtes Verfahren zum Mischen verschiedener Bilder bzw. der entsprechenden Signale ist das sogenannte Farbstanzverfahren, auch Blauwandverfahren oder Chromakey genannt. Dazu wird ein Vordergrundsignal verwendet, das teilweise eine vorgegebene Farbe - meist blau - enthält, die durch entsprechende Teile eines Hintergrundsignals ersetzt wird. Das Vordergrundsignal sowie ein Hintergrundsignal werden einem Bildmischer zugeführt, der in Abhängigkeit von einem aus dem Vordergrundsignal abgeleiteten Steuersignal ein Umschalten zwischen beiden Signalen gestattet.

Dabei hat man bei bekannten Einrichtungen dieser Art zunächst das Steuersignal als Schaltsignal ausgebildet, wobei einem ersten Wert dieses Signals die sogenannte Stanzfarbe und dem zweiten Wert dieses Signals diejenigen Farben zugeordnet sind, die von der Stanzfarbe abweichen. Da die zur Durchführung des Verfahrens verwendete Blauwand, insbesondere durch Ungleichförmigkeiten der Beleuchtung, keine konstante Farbe aufweist, ist man bestrebt, den Bereich der Stanzfarbe auf ein möglichst großes Gebiet in der Farbebene auszuweiten, wobei jedoch die im Vordergrund enthaltenen Farben nicht erfaßt sein dürfen. Durch die plötzliche Umschaltung zwischen dem Vordergrund und dem Hintergrund ergeben sich jedoch bereits bei geringsten zeitlichen Verschiebungen des Umschaltzeitpunktes Fehler. Besonders störend ist ein an sich nicht vorgesehenes Umschalten auf die Blauwand an den Rändern des Vordergrundes. Dadurch treten vor allem bei feinen Details Farbsäume auf - insbesondere im Bereich der Haare einer vor einem eingestanzten Hintergrund befindlichen Person.

Bei einer Verbesserung des bekannten Verfahrens, das auch Soft-chromakey genannt wird, wird zwischen dem Bereich der Stanzfarben und den Vordergrundfarben eine sogenannte Proportionalzone eingeführt und das Steuersignal nicht mehr auf den Wertebereich von "0" und "1" beschränkt. Zwischen dem Vordergrundsignal und dem Hintergrundsignal erfolgt dann eine weiche Überblendung. Trotzdem treten noch leichte Farbsäume auf, insbesondere dann, wenn die Proportionalzone nicht bis dicht an die den Vordergrund darstellenden Farben heranreicht.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Einblendung eines Hintergrundsignals in durch eine vorgegebene Stanzfarbe festgelegte Teile eines Vordergrundsignals bezüglich der Übergänge zwischen dem Vordergrund und dem Hintergrund weiter zu verbessern.

Das erfindungsgemäße Verfahren mit den kennzeichnenden Merkmalen des Hauptanspruchs hat den Vorteil, daß praktisch keine Farbsäume, insbesondere keine blauen Farbsäume, mehr auftreten. Der Erfindung liegt die Erkenntnis zugrunde, daß bei der Überblendung zwischen Vordergrund- und Hintergrundsignal nach dem bekannten Soft-chromakey-Verfahren der Farbort des Vordergrundes zunächst in Richtung auf die Stanzfarbe (im allgemeinen blau) verschoben wird. Dieses wird bei dem erfindungsgemäßen Verfahren vermieden.

Bei dem erfindungsgemäßen Verfahren werden Übergangsfarben in Richtung auf die Stanzfarbe frühzeitig auf den jeweiligen Farbort des Hintergrundes transformiert, insbesondere wenn die Proportionalzone bis in das Zentrum der Vordergrundfarben reicht. Damit fehlt den neuen Übergangsfarben die Blautendenz. Statt dessen erhalten die Randbereiche des Vordergrundes die richtigen Farbsäume in Richtung auf die Farben der Randbereiche des eingeblendeten Hintergrundes.

Das erfindungsgemäße Verfahren arbeitet unabhängig von Steigzeiten der Chrominanzsignale. Jeder auch noch so langsame Übergang von der Farbe des Vordergrundes zur Stanzfarbe wird in einen entsprechenden langsamen Übergang zur Farbe des eingeblendeten Hintergrundes umgesetzt.

Die große Proportionalzone, also die große Länge der Transformationskennlinie, bewirkt eine weitgehend lineare Transformation der Farborte innerhalb des Übergangsbereichs. Alle Farb-Bildpunkte im Übergangsbereich sind für die Überblendung wirksam. Dadurch ist das erfindungsgemäße Verfahren auch für geringere Chrominanzbandbreiten geeignet, da es keine zur Bildung des Steuersignals heranzuziehenden Farb-Bildpunkte unterschlägt. Bei der Verwendung von digitalen Komponentensignalen nach dem 4:2:2-Standard tritt kein Qualitätsverlust gegenüber Komponentensignalen nach dem 4:4:4-Standard auf. Im Falle der Chrominanzsignale ist kein Oversampling erforderlich.

Da das erfindungsgemäße Verfahren im wesentlichen Farbsäume verhindert, kann gemäß einer anderen Weiterbildung das erfindungsgemäße Verfahren auf die Chrominanzsignale angewendet werden, während die Luminanzsignale in an sich bekannter Weise überblendet werden.

Durch die in weiteren Unteransprüchen aufgeführten Maßnahmen sind weitere vorteilhafte Weiterbildungen und Verbesserungen der im Hauptanspruch angegebenen Erfindung möglich.

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 ein Blockschaltbild einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens,

Fig. 2 Diagramme zur Erläuterung der Entstehung blauer Farbsäume bei einem ersten bekannten Verfahren,

Fig. 3 Diagramme zur Erläuterung eines zweiten bekannten Verfahrens,

Fig. 4 Darstellungen verschiedener Signale in der Farbebene bei dem zweiten bekannten Verfahren und bei dem erfindungsgemäßen Verfahren.

Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen.

Das erfindungsgemäße Verfahren kann mit einzelnen speziellen für die Rechenoperationen geeigneten Schaltungen durchgeführt werden. Eine Durchführung aller Rechenoperationen mit einem ASIC ist ebenfalls möglich. Schließlich kann das Verfahren auch mit einem entsprechend programmierten und ausreichend schnellen Signalprozessor durchgeführt werden. Deshalb dient das Blockschaltbild gemäß Fig. 1 sowohl zur Erläuterung des erfindungsgemäßen Verfahrens als auch zur Darstellung eines Ausführungsbeispiels einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens.

Fig. 1 stellt die Verarbeitung der Chrominanzsignale BG (Cr, Cb) und FG (Cr, Cb) nach dem erfindungsgemäßen Verfahren, das im folgenden auch dynamische Chromatransformation genannt wird, und der Luminanzsignale BG (Y) und FG (Y) nach dem bekannten Soft-chromakey-Verfahren dar.

Der Anordnung nach Fig. 1 werden über einen Eingang 1 die Chrominanzsignale BG (Cr, Cb), welche den Hintergrund darstellen, zugeführt. Über einen weiteren Eingang 2 gelangen die Chrominanzsignale FG (Cr, Cb) zur Schaltungsanordnung. Letztere beinhalten einen Vordergrund und eine Farbfläche - beispielsweise einen Sprecher, der vor einer Blauwand aufgenommen wird. Beide Signale sind beispielsweise 8 bit breite digitale Signale, wobei die Signale Cr, Cb zeitmultiplex übertragen werden. Mit Hilfe eines ersten Addierers 3 wird von den Chrominanzsignalen ein Signal KG subtrahiert, das die Stanzfarbe wiedergibt und in einem Schreib/Lesespeicher 4 abgelegt ist. Das Signal KC wurde zuvor in an sich bekannter Weise nach den jeweils vorliegenden Verhältnissen (Farbe der Blauwand, Beleuchtung) eingestellt und in den Schreib/Lesespeicher 4 eingeschrieben.

Das Ausgangssignal des Addierers 3 gelangt zu einem Multiplizierer S und wird dort mit dem Steuersignal K multipliziert. Dieses wird einem weiteren Schreib/Lesespeicher 6 entnommen, in welchem das Steuersignal K und dessen Komplement (1-K) in Abhängigkeit vom Vordergrundsignal abgelegt sind. Anordnungen zur Ableitung eines Steuersignals bzw. Stanzsignals sind an sich bekannt und brauchen im Zusammenhang mit der vorliegenden Erfindung nicht näher erläutert zu werden. Ein im Rahmen der Erfindung anwendbares Verfahren zur Ableitung eines Stanzsignals ist beispielsweise in der Patentanmeldung P 40 17 878 der Anmelderin beschrieben. Bei dem Ausführungsbeispiel nach Fig. 1 wird allerdings nicht jeder benötigte Wert des Steuersignals K neu ermittelt, sondern es werden die zuvor ermittelten Werte aus einer Tabelle, die im Schreib/Lesespeicher 6 abgelegt wurden, ausgelesen, wobei die Vordergrundsignale FG als Adressen dienen.

Das Resultat der Multiplikationen bei 5 wird in einen zweiten Addierer 7 zum Vordergrundsignal FG addiert. Die Summe stellt das Ausgangssignal OUT (Cr, Cb) dar, das den Vordergrund mit dem eingeblendeten Hintergrund enthält und am Ausgang 8 abgenommen werden kann.

Das Luminanzsignal des Hintergrundes BG (Y) und das Luminanzsignal des Vordergrundes FG (Y) werden weiteren Eingängen 11 und 12 zugeführt. Vom Signal BG (Y) wird in einem Addierer 13 ein Signal KY abgezogen, das in einem Schreib/Lesespeicher 14 abgelegt ist und die mittlere Luminanz der Blauwand darstellt. Außerdem kann im Addierer 13 der Luminanzanteil des Vordergrunds addiert werden, wenn ein bei der Aufnahme des Vordergrunds und der Blauwand entstehender Schatten auch auf dem eingeblendeten Hintergrund sichtbar sein soll.

Das Ausgangssignal des Addierers 13 gelangt zu einem Multiplizierer 15 und wird dort mit dem Steuersignal K multipliziert, das aus dem Schreib/Lesespeicher 6 ausgelesen wird. Der Luminanzanteil des Vordergrundsignals FG (Y) wird bei 19 mit (1-K) multipliziert. Die Ausgangssignale der Multiplizierer 15 und 19 werden dann in einem Addierer 17 addiert und gelangen als Luminanzsignal OUT (Y) zum Ausgang 18.

Im folgenden werden anhand der Fig. 3, 4 und 5 die Vorteile der dynamischen Chromatransformation gegenüber den bekannten Verfahren erläutert. Fig. 2 stellt jeweils in der Farbebene die Erzeugung eines Stanzsignals und die dabei entstehenden Videosignale als Zeitdiagramme dar. Bei der Erzeugung eines Stanzsignals gemäß Fig. 2a wird das Chrominanzsignal Cb über eine Schwelle geleitet, so daß das Stanzsignal den Wert 1 in dem schraffiert dargestellten Teil der Farbebene einnimmt und in dem anderen Teil den Wert K = 0. Farben außerhalb des schraffierten Bereichs werden als Vordergrund betrachtet und verbleiben im Vordergrundsignal, während Farben im schraffierten Teil durch die jeweils örtlich übereinstimmenden Anteile des Hintergrundsignals ersetzt werden.

Eine Verfeinerung des bekannten Verfahrens besteht darin, daß nicht nur der Blauanteil, sondern beide Komponenten des Chrominanzsignals, nämlich Cb und Cr, berücksichtigt werden. Damit läßt sich ein Stanzgebiet definieren, das beispielsweise beim Gegenstand der bereits erwähnten Patentanmeldung P 40 17 878 die Form einer Raute hat. Zur weiteren Erläuterung wird jedoch die Form eines Kreises (Fig. 2b und Fig. 2d) angenommen. Bei einer digitalen Signalverarbeitung kann das gewünschte Stanzgebiet einmal berechnet und als Tabelle abgelegt werden.

In den Fig. 2b und 2d sind die Farben des Vordergrundes FG schematisch durch Punkte dargestellt, wobei einzelne Teile des Vordergrundes eine Farbe aufweisen, die zwischen der eigentlichen Stanzfarbe (dem Zentrum der Kreisscheibe) und den übrigen Farben des Vordergrundes liegen. Im übrigen ist eine mögliche Farbe des Hintergrundes BG durch ein Kreuz gekennzeichnet.

Bei dem Beispiel nach Fig. 2b ist das Gebiet der Stanzfarbe relativ groß. Damit werden auch diejenigen Farben, die vereinzelt an den Kanten der Vordergrundobjekte vorkommen, als Stanzfarbe gewertet. Dieses bewirkt, daß an den Rändern der Vordergrund zu früh ausgeblendet wird und daß möglicherweise an einigen Stellen des Vordergrundes der Hintergrund durchscheint.

Für ein derart großes Stanzgebiet sind die beiden Farbkomponenten Cb und Cr, das Stanzsignal K sowie die Farbkomponenten Cb und Cr des Ausgangssignals in Fig. 2c als Zeitdiagramme dargestellt. An denjenigen Stellen, an denen das Hintergrundsignal eingeblendet werden soll, liegt FG (Cb) oberhalb der gestrichelt dargestellten Schwelle und FG (Cr) unter der für FG (Cr) eingestellten Schwelle. Es ist ferner angenommen, daß die Signale eine endliche Steigzeit haben. Das Stanzsignal K wird dann gebildet, wenn die Komponenten des Vordergrundsignals FG jeweils eine in Fig. 2c strichpunktiert dargestellte Schwelle unter- bzw. überschreiten. Durch den langsamen Anstieg bzw. Abfall der Komponenten des Vordergrundsignals im Vergleich zu der kurzen Anstiegs- bzw. Abfallzeit des Stanzsignals ergeben sich an den Rändern des Ausgangssignals OUT rampenförmige Verfälschungen, die sich als blaue Säume bemerkbar machen. Außerdem ist derjenige Teil, in welchem das Ausgangssignal den Vordergrund darstellt, gegenüber dem ursprünglich aufgenommenen Vordergrundsignal geschrumpft. Dieses führt dazu, daß vor allem feine Details (Haare) weggeschnitten werden.

Bei einem sehr kleinen Stanzgebiet, wie es in Fig. 2d dargestellt ist, wird dieses Abschneiden zwar vermieden. Es ergeben sich jedoch stärkere Blausäume, wie sich aus Fig. 2e leicht entnehmen läßt. Sowohl bei einem kleinen als auch bei einem großen Stanzgebiet ergeben sich zwischen dem Vordergrund und dem Hintergrund durch das harte Schneiden scharfe Kanten, die störend in Erscheinung treten.

Dieser Effekt wird beim Soft-Chromakey vermieden. Die Fig. 3a und 3b zeigen die Farbebene und Zeitdiagramme für den Fall des sogenannten Soft-chromakeys, wobei das Ausgangssignal nach der Gleichung OUT = K·BG + (1-K)·FG gebildet wird. Die Stanzfläche besteht aus einem inneren Teil, in welcher K = 1 ist und einer Übergangs- bzw. Proportionalzone, in welcher K von 1 auf 0 abfällt. Es verbleiben zwei Ursachen für die Bildung von Blausäumen. Zum einen entstehen Blausäume, wenn die Proportionalzone nicht an die Vordergrundfarben heranreicht, wie es in Fig. 3a dargestellt ist. In Fig. 3b sind die Blausäume durch Schraffuren unterhalb des Zeitdiagramms angedeutet.

Die andere Ursache wird im folgenden anhand von Fig. 4a erläutert. Diese stellt in der Farbebene die Signale FG, BG und die Stanzfarbe KC als Vektoren dar. Dabei kann das Vordergrundsignal FG auch Zwischenwerte zwischen der Farbe FG₀ des eigentlichen Vordergrundes und der Farbe KC (blau) einnehmen. Wird der innerhalb des Signals FG stattfindende Übergang von FG₀ über die Zwischenwerte 1 bis 9 zur Stanzfarbe KG nach der Gleichung OUT = K·BG + (1-K)·FG durch einen Übergang von der Vordergrundfarbe FG₀ zur Hintergrundfarbe BG ersetzt, so ergibt sich für die Zwischenwerte die Linie a.

Der Verlauf der Linie a liegt in der Nähe der Vordergrundfarben zu nahe an dem alten Verlauf in Richtung auf die Stanzfarbe (blau). Damit haben, von der Vordergrundfarbe ausgehend, die ersten Übergangsfarben die alte Tendenz in Richtung auf blau, worauf das Auge sehr empfindlich reagiert.

Wird bei der dynamischen Chromatransformation das Ausgangssignal gemäß der Gleichung OUT = FG + K·(BG-KC) gebildet, so ergibt sich die in Fig. 4b mit b dargestellte Linie beim Übergang zwischen der Vordergrundfarbe FG₀ und der Hintergrundfarbe BG. Damit fehlt den Übergangsfarben die bei den bekannten Verfahren vorhandene Blautendenz. Falls Farbsäume bemerkbar sein sollten, weisen diese bereits auf die Farben des eingeblendeten Hintergrundes hin.

Claims (7)

1. Verfahren zur Einblendung eines Hintergrundsignals in durch eine vorgegebene Stanzfarbe festgelegte Teile eines Vordergrundsignals, wobei aus dem Vordergrundsignal ein Steuersignal abgeleitet wird, das einen ersten Wert annimmt, wenn das Vordergrundsignal eine Farbe im Bereich der Stanzfarbe darstellt, und einen zweiten Wert annimmt, wenn das Vordergrundsignal eine andere Farbe darstellt, und wobei das Steuersignal einen Übergangsbereich zwischen beiden Werten aufweist, dadurch gekennzeichnet, daß dem Vordergrundsignal vektoriell eine vom Steuersignal bewertete Differenz zwischen dem Vektor des Hintergrundsignals und dem Vektor eines die Stanzfarbe darstellenden Signals hinzuaddiert wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ein Ausgangssignal (OUT) mit eingeblendetem Hintergrund nach folgender Gleichung abgeleitet wird: OUT = FG + K·(BG-KC),wobei FG das Vordergrundsignal, K das Steuersignal, BG das Hintergrundsignal und KC das die Stanzfarbe darstellende Signal ist und FG, BG und KG jeweils mindestens zwei Komponenten aufweisen.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Signale FG, BG und KG jeweils eine den Blauanteil (Cb) und eine den Rotanteil (Gr) darstellende Komponente aufweisen und daß eine Luminanzkomponente des Ausgangssignals nach der Gleichung OUT(Y) = K·BG(Y) + (1-K)·FG(Y)abgeleitet wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Übergangsbereich bis in das Zentrum der Vordergrundfarben reicht.

5. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die Signale FG, BG und KG jeweils drei Komponenten aufweisen.

6. Anordnung zur Durchführung des Verfahrens nach Anspruch 1, dadurch gekennzeichnet, daß einem ersten Addierer (3) Ghrominanzkomponenten des Hintergrundsignals und ein die Stanzfarbe darstellendes Signal (KG) derart zuführbar sind, daß das Signal (KG) von den Ghrominanzkomponenten subtrahiert wird, daß ein Ausgang des Addierers (3) mit einem ersten Eingang eines Multiplizierers (5) verbunden ist, dessen zweiter Eingang mit dem Steuersignal beaufschlagbar ist, und daß ein Ausgang des Multiplizierers (5) mit einem ersten Eingang eines zweiten Addierers (7) verbunden ist, dessen zweiten Ausgang das Vordergrundsignal zuführbar ist.

7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, daß für die Luminanzkomponenten des Hintergrundsignals und des Vordergrundsignals eine Überblendschaltung (15, 17, 19) vorgesehen ist, die mit dem Steuersignal und dem Komplement des Steuersignals steuerbar ist.