-
Die
Erfindung geht aus von einem Verfahren nach der Gattung des Hauptanspruchs.
-
Ein
häufig
beim Fernsehen angewandtes Verfahren zum Mischen verschiedener Bilder
bzw. der entsprechenden Signale ist das sogenannte Farbstanzverfahren,
auch Blauwandverfahren oder Chromakey genannt. Dazu wird ein Vordergrundsignal
verwendet, das teilweise eine vorgegebene Farbe – meist blau – enthält, die
durch entsprechende Teile eines Hintergrundsignals ersetzt wird.
Das Vordergrundsignal sowie ein Hintergrundsignal werden einem Bildmischer
zugeführt,
der in Abhängigkeit
von einem aus dem Vordergrundsignal abgeleiteten Steuersignal ein
Umschalten zwischen beiden Signalen gestattet.
-
Dabei
hat man bei bekannten Einrichtungen dieser Art zunächst das
Steuersignal als Schaltsignal ausgebildet, wobei einem ersten Wert
dieses Signals die sogenannte Stanzfarbe und dem zweiten Wert dieses
Signals diejenigen Farben zugeordnet sind, die von der Stanzfarbe
abweichen. Da die zur Durchführung
des Verfahrens verwendete Blauwand, insbesondere durch Ungleichförmigkeiten
der Beleuchtung, keine konstante Farbe aufweist, ist man bestrebt,
den Bereich der Stanzfarbe auf ein möglichst großes Gebiet in der Farbebene
auszuweiten, wobei jedoch die im Vordergrund enthaltenen Farben
nicht erfaßt
sein dürfen.
Durch die plötzliche
Umschaltung zwischen dem Vordergrund und dem Hintergrund ergeben
sich jedoch bereits bei geringsten zeitlichen Verschiebungen des
Umschaltzeitpunktes Fehler. Besonders störend ist ein an sich nicht
vorgesehenes Umschalten auf die Blauwand an den Rändern des Vordergrundes.
Dadurch treten vor allem bei feinen Details Farbsäume auf – insbesondere
im Bereich der Haare einer vor einem eingestanzten Hintergrund befindlichen
Person.
-
Bei
einer Verbesserung des bekannten Verfahrens, das auch Soft-chromakey
genannt wird, wird zwischen dem Bereich der Stanzfarben und den
Vordergrundfarben eine sogenannte Proportionalzone eingeführt und
das Steuersignal nicht mehr auf den Wertebereich von "0" und "1" beschränkt. Zwischen dem
Vordergrundsignal und dem Hintergrundsignal erfolgt dann eine weiche Überblendung.
-
Bei
bekannten Verfahren zur Erzeugung eines Stanzgebietes einschließlich einer
Proportionalzone wird auf einfache mathematische Ableitungen zurückgegriffen,
welche entsprechende geometrische Formen, wie Rauten, Kreise oder
Ellipsen ergeben. Als Beispiel für
ein bereits vorgeschlagenes Verfahren dieser Art wird auf die frühere Anmeldung
P 40 17 878 der Anmelderin
verwiesen. Dabei treten noch leichte Farbsäume auf, insbesondere wenn bzw.
wo die Propartionalzone nicht bis dicht an die den Vordergrund darstellenden
Farben heranreicht.
-
Aufgabe
der vorliegenden Erfindung ist es, die Ableitung eines Steuersignals
zur Einblendung eines Hintergrundsignals in durch eine Stanzfarbe festgelegte
Teile eines Vordergrundsignals derart zu ermöglichen, dass die Proportionalzone
dicht an die den Vordergrund darstellenden Farben heranreicht und
somit eine wichtige Voraussetzung zur Vermeidung von Blausäumen an
den Rändern
des Vordergrundes geschaffen wird.
-
Diese
Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst.
-
Das
erfindungsgemäße Verfahren
hat den Vorteil, dass eine wichtige Voraussetzung zur Vermeidung
von Farbsäumen
geschaffen wird. Das mit dem erfindungsgemäßen Verfahren erzeugte Stanzgebiet
einschließlich
der Proportionalzone wird weitgehend an den Bereich der Vordergrundfarben
angepasst.
-
Eine
weitere Aufgabe der Erfindung ist es, eine Anordnung zur Durchführung des
erfindungsgemäßen Verfahrens
zu schaffen.
-
Diese
Aufgabe wird durch eine Anordnung gelöst, dadurch gekennzeichnet,
dass Chrominanzsignale des Vordergrundsignals in einem Speicher
ablegbar sind, dass aus dem Speicher wahlweise die Chrominanzsignale
eines einstellbaren Fensters oder die von einem digitalen Signalprozessor
ausgewählten
Chrominanzsignale auslesbar sind, dass die aus dem Speicher ausgelesenen
Chrominanzsignale über
eine Torschaltung, über
Testschaltungen und einen Multiplexer Adresseneingängen eines Schreib/Lesespeichers
zuführbar
sind und dass der digitale Signalprozessor mit den Testschaltungen,
mit Daten-Ein/Ausgängen des
Schreib/Lesespeichers und mit dem Multiplexer verbunden ist.
-
Vorteilhafte
Weiterbildungen der erfindungsgemäßen Anordnung sind in den Unteransprüchen angegeben.
-
Ausführungsbeispiele
der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und
in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
-
1 ein
Bockschaltbild einer Anordnung zur Durchführung des erfindungsgemäßen Verfahrens,
-
2 Darstellungen
verschiedener Farborte in der Farbebene zur Erläuterung der Aufgabe, welche
der Erfindung zugrundeliegt,
-
3 Darstellungen
von Schirmbildern und
-
4 von
verschiedenen Farborten in der Farbebene zur Erläuterung des erfindungsgemäßen Verfahrens,
-
5 Blockschaltbilder von Teilen der Anordnung
nach 1 und
-
6 bis 9 Teile
der Anordnung nach 1 zur Darstellung der einzelnen
Schritte eines Ausführungsbeispiels
des erfindungsgemäßen Verfahrens.
-
Gleiche
Teile sind in den Figuren mit gleichen Bezugszeichen versehen.
-
Das
erfindungsgemäße Verfahren
kann mit einzelnen speziellen für
die Rechenoperationen geeigneten Schaltungen durchgeführt werden.
Eine Durchführung
aller Rechenoperationen mit einem ASIC ist ebenfalls möglich. Schließlich kann
das Verfahren auch mit einem entsprechend programmierten und ausreichend
schnellen Signalprozessor durchgeführt werden. Deshalb dient das
Blockschaltbild gemäß 1 sowohl
zur Erläuterung
des erfindungsgemäßen Verfahrens
als auch zur Darstellung eines Ausführungsbeispiels einer Anordnung
zur Durchführung
des erfindungsgemäßen Verfahrens.
-
Der
Anordnung nach 1 werden die Chrominanzsignale
Cr und Cb über
einen Eingang 1 zugeführt.
Die Chrominanzsignale liegen in digitaler Form als jeweils 8 Bit
breite Datenworte vor. Ein Speicher 2 dient dazu, die Chrominanzsignale
für jeweils
ein Bild zwischenzuspeichern. Die Adressierung des Speichers 2 erfolgt
wahlweise von einem H/V-Generator 3 und einem digitalen
Signalprozessor 4, deren Ausgangsdaten über einen Multiplexer 5 dem
Adresseneingang des Speichers 2 zuführbar sind. Zur Festlegung
eines Bildausschnitts bzw. Fensters ist der H/V-Generator 3 mit
einem Joystick 6 verbunden.
-
Der
Datenausgang des Speichers 2 ist einerseits mit einem Adresseneingang
eines weiteren Speichers 7 und andererseits mit einer Torschaltung 8 verbunden,
die von aus dem weiteren Speicher 7 entnommenen Daten gesteuert
wird. Der weitere Speicher 7 sowie ein dritter Speicher 9 dienen
zur Ablage der Funktion zwischen dem Steuersignal und den Chrominanzsignalen,
also zur Ablage des Stanzgebietes einschließlich der Proportionalzone
und werden im folgenden Steuersignalspeicher genannt. Es sind deshalb
zwei Steuersignalspeicher vorgesehen, damit gleichzeitig neue Daten
in den Steuersignalspeicher 9 eingeschrieben werden können, während die
Torschaltung 8 mit aus dem Steuersignalspeicher ausgelesenen
Daten gesteuert werden kann.
-
Die
Ausgangssignale der Torschaltung 8 werden nacheinander über zwei
zuschaltbare Testschaltungen 10, 11 und einen
Multiplexer 12 zum Adresseneingang des Steuersignalspeichers 9 geleitet.
Anstelle der Chrominanzsignale können
jedoch auch vom digitalen Signalprozessor 4 erzeugte Adressen über den
Multiplexer 12 zu den Adresseneingängen des Steuersignalspeichers 9 geleitet
werden. Schließlich
ist eine Übertragung
von Daten zwischen dem Steuersignalspeicher 9 und dem digitalen Signalprozessor 4 möglich.
-
Vor
einer weiteren Erläuterung
der Anordnung nach 1 anhand der 5 bis 9 wird, bezugnehmend
auf 2, die dem erfindungsgemäßen Verfahren zugrundeliegende Problematik
erläutert.
-
2a zeigt in der Farbebene ein Beispiel, bei
welchem die einzelnen Farborte der Blauwand relativ eng beieinander
liegen, während
sich die Farborte des Vordergrundes von denen der Blauwand deutlich
unterscheiden. Die angedeutete elliptische Proportionalzone berücksichtigt
in dem eingezeichneten Beispiel zwar die zyanfarbenen Vordergrundobjekte
recht gut, für
die roten Objekte beginnt die Proportionalzone jedoch zu spät. Übergangsfarben, die
zwar hier nicht eingetragen sind, ergeben bei der späteren Transformation
farbige Säume.
-
Eine
Voraussetzung zur Verhinderung dieser farbigen Säume ist ein Steuersignal, das
von einem komplexen Gradientenfeld gebildet wird, wie es in 2b dargestellt ist. Dieses trägt allen
Farbortschwerpunkten des Vordergrundes Rechnung. Dort, wo die Vordergrundfarborte
einen relativ großen
Abstand zur Stanzfarbe KC haben, beginnt die Proportionalzone PZ
entsprechend weit von KC entfernt, damit diese Farben bei einer
Farbort-Transformation früh
berücksichtigt
werden können.
Ein derartiges Gebiet kann, wenn es einmal in einer Abgleichphase errechnet
wurde, in an sich bekannter Weise in einem mit den Chrominanzsignalen
Cb und Cr adressierbaren Schreib/Lesespeicher als Tabelle abgelegt werden.
-
Zu
einer automatischen Errechnung ist es erforderlich, daß Vordergrundfarben,
Stanzfarben und Übergangsfarben
für einen
Automaten unterscheidbar werden. Erst dann können Grenzlinien an diese Farborte
angelegt werden. Da in realen Bildern die Stanzfarben und die Vordergrundfarben
nicht getrennt vorliegen, was als Beispiel in 2c dargestellt
ist, bedarf es verschiedener komplexer Schritte zur Ableitung des Überblendsignals.
-
Das
erfindungsgemäße Verfahren
bedient sich als Unterscheidungsmerkmal zwischen Übergangsfarben
einerseits und Vordergrund- bzw. Stanzfarben andererseits einer
Größe, die
im folgenden chromatische Homogenität genannt wird. Wo die Änderung
der Chrominanzwerte zwischen zeitlich bzw. örtlich benachbarten Bildpunkten
einen Schwellwert übersteigt,
kann davon ausgegangen werden, daß dort weder Vordergrund- noch
Stanzfarben, sondern Übergangsfarben
vorliegen. Das Ergebnis der Filterung der Chrominanzsignale gemäß 2c ist in 2d dargestellt.
Dabei sind die stark veränderlichen
Farbwerte unterdrückt.
Je schärfer dabei
die Anforderungen an die chromatische Homogenität sind, desto stärker werden
die Zentren der Vordergrundfarben herausgefiltert.
-
Wesentliche
Funktionen bei der automatischen Ermittlung des Stanzgebietes KC
+ PZ (2b) werden von Testschaltungen
wahrgenommen, wie sie beispielsweise in den 5a und 5b dargestellt
sind.
-
Die
Anordnung nach 5a dient als Testschaltung 10 (1)
zum Herausfiltern derjenigen Farborte, die sich durch eine chromatische
Homogenität
auszeichnen. Dazu werden einem Eingang 31 die Chrominanzsignale
Cr und Cb und einem weiteren Eingang 32 Chrominanzsignale
Crk und Cbk, welche die Stanzfarbe darstellen, zugeführt. In
einer an sich bekannten Schaltung 33 wird die durch die Chrominanzsignale
Cr und Cb gegebene Darstellung der Farbe in karthesischen Koordinaten
in eine Darstellung in Polarkoordinaten umgewandelt. Dabei wird
die Stanzfarbe als Bezugspunkt verwendet, so daß die Länge und die Richtung der jeweils
anliegenden Farbe in Bezug auf die Stanzfarbe berechnet werden.
Eine geeignete Schaltung wird als Koordinaten-Transformer von der
Firma TRW unter der Typenbezeichnung TMC 2330 vertrieben.
-
Für die weitere
Signalverarbeitung wird jedoch nur die Länge L{dCr, dCb} verwendet.
Diese wird bei 34 und 35 um jeweils einen Bildpunkt
verzögert,
so daß die
Größe L für jeweils
drei benachbarte Bildpunkte gleichzeitig zur Verfügung steht.
Bei 36 wird die Länge
des mittleren Bildpunktes invertiert und anschließend bei 37 und 38 zu
den nichtinvertierten Längen
der benachbarten Bildpunkte addiert, so daß an den Ausgängen der
Addierer 37, 38 die Längendifferenz jeweils zweier
benachbarter Bildpunkte ansteht. Davon wird in Schaltungen 39, 40 der
Absolutwert gebildet, der anschließend je einer Schwellwertschaltung 41, 42 zugeführt wird.
Dort wird der Absolutwert jeweils mit einem Referenzwert DELTA-C
verglichen.
-
Die
Ausgangssignale der Schwellwertschaltungen 41, 42 werden
je einem Eingang einer Und-Schaltung 43 zugeführt. Das
Ausgangssignal der Und-Schaltung 43 nimmt den logischen
Pegel 1 an, wenn von drei benachbarten Bildpunkten die
Farbortdistanz zur Stanzfarbe kleiner als oder gleich DELTA-C ist.
Es steuert eine Torschaltung 45 derart, daß Chrominanzwerte
mit ausreichender Homogenität
zum Ausgang 46 weitergeleitet werden, also aus der Gesamtheit
der Chrominanzwerte herausgefiltert werden. Zwischen dem Eingang 31 und
der Torschaltung 45 ist eine Verzögerungsschaltung vorgesehen – zum Ausgleich
der Laufzeit der Schaltungen 33 bis 43.
-
5b stellt
die Testschaltung 11 (1) dar,
mit welcher diejenigen Farborte herausgefiltert werden, die weniger
als eine vorgegebene Distanz DELTA-REF von der Stanzfarbe KC entfernt
sind. Dazu werden wie bei der Anordnung nach 5a die Chrominanzsignale
einem Koordinaten-Transformer 33 zugeführt. Der Abstand L{dCr, dCb}
wird über
eine Schwellwertschaltung 47 geleitet und steuert die Torschaltung 45,
an deren Ausgang 46 diejenigen Farborte entnommen werden
können,
die einen kleineren Abstand als DELTA-REF von der Stanzfarbe aufweisen.
-
Beide
Testschaltungen 10, 11 (1) können durch
dauerndes Schließen
der Torschaltung 45 für
alle Farborte durchlässig
geschaltet werden, was in einzelnen Schritten des Verfahrens erforderlich
ist.
-
Der
Ablauf des gesamten Verfahrens wird anhand der Bildbeispiele gemäß 3 und
der Darstellungen in der Farbebene gemäß 4 im folgenden
erläutert.
Es wird dabei von einem Bild (3a) ausgegangen,
das eine Blume in Rot- und
Grünfarbtönen vor
einem blauen Hintergrund darstellt. Die Aufnahme dieses Bildes ergibt
das Vordergrundsignal FG. Die Verteilung der Farborte dieses Bildes
ist in 4a dargestellt. Es befinden
sich Schwerpunkte jeweils im roten, im grünen und im blauen Bereich, wobei
die Anhäufung
der Farborte im blauen Bereich durch die Blauwand bedingt ist. Außer diesen
Anhäufungen
bzw. Schwerpunkten enthält
das Bild eine Reihe von Übergangsfarben.
-
Die
für den
ersten Verfahrensschritt wirksamen Teile der Anordnung nach 1 sowie
deren Verbindungen untereinander sind in 6 dargestellt.
In dem ersten Schritt wird mit Hilfe des Joysticks 6 und
des H/V-Generators 3 (6) ein Fenster 21 auf
eine Stelle der Blauwand gerichtet, deren Farbe als Stanzfarbe definiert
werden soll. Entsprechend der Wahl der Stanzfarbe mit Hilfe des
Fensters 21 werden nur die innerhalb des Fensters befindlichen
Chrominanzsignale aus dem Speicher 2 ausgelesen. Weitere
Signale werden in diesem Verfahrensschritt nicht verwendet und sind
daher in 3b schraffiert gekennzeichnet.
-
In
der Farbebene ergeben sich durch diese Auswahl nur eng beieinander
liegende Farborte 22, die im wesentlichen der Stanzfarbe
KC gleichen (4b). Die entsprechenden
Chrominanzsignale gelangen über
den Multiplexer 12 zu Adresseneingängen des Steuersignalspeichers 9.
In die somit adressierten Speicherplätze werden vom digitalen Signalprozessor 4 vorgegebene
Werte eingeschrieben, welche dem Überblendfaktor K = 1 entsprechen.
-
In
einem weiteren Verfahrensschritt berechnet der digitale Signalprozessor 4 den
Mittelpunkt der bisher abgelegten Farborte sowie den Radius des
in 4c gestrichelt dargestellten Gebiets 23.
Dazu ist der Adressenausgang des digitalen Signalprozessors 4 über den
Multiplexer 12 gemäß 7 mit
dem Adresseneingang des Steuersignalspeichers 9 verbunden.
-
Im
folgenden werden die im Gebiet 23 liegenden Farborte daraufhin überprüft, ob sie
das Homogenitätskriterium
erfüllen.
Dieses sind bei dem dargestellten Beispiel die in 4c als
Punkte dargestellte Farborte. Zu dieser Berechnung wird durch eine
entsprechende Steuerung der Multiplexer 5, 12 die
Anordnung gemäß 8 betrieben.
-
Nachfolgend
wird die Anordnung wieder gemäß 7 betrieben,
wobei der digitale Signalprozessor 4 die Grenzen des geschlossenen
Stanzgebietes K1 berechnet, für
das K = 1 gilt und das in 4d dargestellt
ist. Außerdem
wird ein neuer Mittelpunkt der Stanzfarbe KC berechnet. Damit sind praktisch
alle Farben der Blauwand erfaßt
worden, was in 3c dargestellt ist.
-
In
einem weiteren Verfahrensschritt erfolgt das Herausfiltern aller
Vordergrund-Farborte, die das Homogenitätskriterium erfüllen und
nicht zum Gebiet K1 gehören.
Dazu wird die Anordnung gemäß 9 betrieben.
Da das Homogenitätskriterium
praktisch nur in der Nähe
der Zentren der Vordergrund-Farborte erfüllt wird, werden durch diese
Filterung nur entsprechende Farborte erfaßt, was in 4e in
der Farbebene und in 3d als Schirmbild dargestellt ist.
-
Nach
der Beendigung der Filterung aller im Speicher 2 abgelegten
Chrominanzsignale wird die Anordnung wieder in die in 7 dargestellte
Konfiguration umgeschaltet. Der digitale Signalprozessor berechnet
dann zunächst
eine Grenzlinie K0 (4f), welche die
Vordergrund-Farborte 24 ausgrenzt. Danach wird die Überblendsignaltabelle
derart berechnet, daß zwischen
K0 und K1 jeweils radial interpoliert wird, was in 4g durch
einige Linien angedeutet ist. Schließlich werden vom digitalen
Signalprozessor diejenigen Farborte, die außerhalb von K0 liegen, mit
K = 0 und die Farborte innerhalb von K1 mit K = 1 aufgefüllt.
-
Zum
Einblenden eines Hintergrundsignals anstelle der Blauwand werden
die Chrominanzsignale des Vordergrundsignals den Adresseneingängen des
Steuersignalspeichers 9 zugeführt. Das Steuersignal wird
den Datenausgängen
dieses Speichers entnommen und dem Steuereingang eines Überblenders
in an sich bekannter Weise zugeführt.