DE3310949C2 - - Google Patents

Description

Die Erfindung geht aus von einem Verfahren zur Er­ kennung und Modifizierung von Objekten in einer be­ wegten Bildfolge einer Bildszene.

Es sind Verfahren und Vorrichtungen zur Einfärbung von Schwarz/Weiß-Filmen bekannt, bei denen Schwarz/Weiß-Videosignale in Farbvideosignale umgewandelt werden. Die Schwarz/Weiß-Video­ signale werden digitalisiert und bestimmten Signalamplituden werden bestimmte Farben zuge­ ordnet. Dieses Verfahren hat aber den Nachteil, daß das in der Weise behandelte Signal keinerlei Informationen entsprechend der Farbkomponenten aufweist und keine neue Information zu dem umge­ wandelten Farbsignal hinzukommt.

Aus der US-PS 41 49 185 ist eine Vorrichtung und ein Verfahren zur Umwandlung eines Schwarz/Weiß-Videofilmes in einen Farb­ videofilm bekannt, bei dem ein Schwarz/Weiß- Videosignal über einen Luminanzkanal und zwei Farbkanäle geleitet wird. Durch bestimmte, von einem Operator vorgegebene Übertragungs­ funktionen kann das Videosignal in jedem Kanal verändert werden. Außerdem sind weitere Funktionen vorgesehen, über die das Signal abhängig von bestimmten Bildbereichen verändert werden kann. Dabei muß der Operator die Änderungsfunktionen für jedes Videobild im interaktiven Eingriff zusammenstellen und vorgeben. Dies ist eine sehr aufwendige Arbeit, da der Operator bei jedem Bild die Änderungsfunktionen neu zusammenstellen muß.

Hier setzt die vorliegende Erfindung ein, der die Aufgabe zugrunde liegt, ein Verfahren zur Erkennung und Modifizierung von Objekten, zum Beispiel Einfärben von Objekten in Bildern einer bewegten Bildfolge zu schaffen, bei der die Erkennung und Modifikation der Objekte weitgehend ohne interaktiven Eingriff erfolgt.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Hauptanspruchs in Verbindung mit den Merkmalen des Oberbegriffs gelöst.

Das erfindungsgemäße Verfahren ermöglicht es, bestimmte Objekte, die in dem ersten Bild der Bildfolge entsprechend ihrer Lage und ihrer Form vorgegeben werden, mittels ihnen zugeordneter Grauwerte und der lokalen Beziehungen der zu den Objekten gehörigen Bildpunkte und der ihnen benachbarten Bildpunkte, in den nachfolgenden Bildern der Bildfolge wieder­ zuerkennen und zu verfolgen. Durch Vorgabe der Modifikationssignale zum Verändern der jeweiligen Objekte ist es möglich, diese Veränderung der einzelnen Objekte durch die gesamte Bildfolge hindurch durchzuführen, ohne daß ein interaktiver Eingriff notwendig wird. Somit kann aus einem Schwarz/Weiß-Film in verhältnismäßig einfacher Weise ein Farb­ film hergestellt werden.

Durch die in den Unteransprüchen angegebenen Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen möglich.

Das Verfahren wird in der nachfolgenden Be­ schreibung anhand der Zeichnung näher erläutert. Es zeigt

Fig. 1 ein Blockschaltbild einer Vorrichtung, mit dem das erfindungsgemäße Ver­ fahren durchgeführt werden kann; und

Fig. 2 eine genaue Darstellung des Rechners in dem Blockschaltbild.

Die in Fig. 1 dargestellte Vorrichtung dient zur Umwandlung eines Schwarz/Weiß-Filmes in einen Farbfilm, wobei bestimmte Objekte, die zu Beginn vorgegeben werden, in der nachfolgenden Bildfolge mit bestimmten, am Anfang der Bildfolge gewählten Farben eingefärbt werden. Die Bilder eines Schwarz/Weiß-Filmes 1 werden von einer als Filmabtaster ausgebildeten Abtasteinrichtung 2, zum Beispiel einer Fernsehkamera oder einem Laser- Scanner abgetastet. Die von der Abtasteinrichtung 2 gelieferten Analog-Digitalsignale werden von dem Analog-Digitalwandler 3 in Digitalsignale umgewandelt, wobei jedes Digitalsignal einem Bildpunkt entspricht. Die Digitalsignale für ein Bild werden in einem matrixförmigen als RAM ausgebildeten Bildspeicher 4 gespeichert und geben die Luminanz, das heißt, den Grauwert jedes Bild­ punktes, wieder. Ein Monitor 5, dem ein Digital/ Analogwandler 52 vorgeschaltet ist, kann das abgetastete und gespeicherte Bild sichtbar machen.

Zu Beginn einer bestimmten Bildfolge einer Bildszene, in dem ersten Bild oder einem der ersten Bilder einer Szene, werden die interessierenden einzelnen Objekte, zum Beispiel ein Kopf, ein Hut oder ein Auto, in ihrer Lage und ihrer Form definiert. Dazu werden die Objekte des auf dem Monitor 5 dargestellten Bildes mittels eines Joy-Sticks 51 umfahren, wobei Daten entsprechend den die Lage und die Form der Objekte bestimmenden Koordinaten geliefert werden. Diese Daten werden in einem Konturspeicher 8 gespeichert.

Eine andere Möglichkeit zur Festlegung der Objekte ist durch einen Schwellenwertprozeß gegeben. Dabei wird ein bestimmter Luminanzwert als Schwellen­ wert vorgegeben und es wird angenommen, daß alle Bildpunkte, die heller oder dunkler als dieser vorgegebene Schwellenwert sind, zu dem Objekt gehörig betrachtet werden. Die Unterscheidung wird durch eine Vergleichseinrichtung vorgenommen, in der die Luminanzsignale der jeweiligen Bild­ punkte mit dem Schwellenwert verglichen werden. Diese Möglichkeit zur Festlegung der Objekte kann aber nur bei sehr einfachen Szenen gewählt werden, da die jeweiligen Luminanzwerte im all­ gemeinen auch bei Nichtobjekt-Bildpunkten vorkommen.

Die in dem Bildspeicher 4 gespeicherten Digital­ signale geben jeweils den Luminanzwert eines Bildpunktes wieder, so daß in Verbindung mit den im Konturspeicher 8 gespeicherten Daten die Luminanzwerte der zu dem jeweiligen Objekt ge­ hörigen Bildpunkte des ersten Bildes bestimmt sind. Die Kenntnis der Luminanz der Objekte reicht aber noch nicht aus, um das Objekt im nächsten Bild der Szene wiederzuerkennen, da entsprechende Luminanz­ werte auch an anderen Stellen des Bildes vor­ handen sein können. Daher werden die lokalen Beziehungen der Bildpunkte untereinander, das heißt, die Struktur der Objekte und ihrer Umgebung, als weitere Merkmale verwendet.

Zur Bestimmung der Beziehungen zwischen einem Bildpunkt und seinen Nachbarpunkten wird ein einen Bildausschnitt begrenzendes Fenster ge­ bildet, das eine bestimmte Anzahl von Bildpunkten als Untergruppe umfaßt. Bei der Bestimmung der Kennzeichnungen eines Bildpunktes werden dann die der anderen im Fenster liegenden Bildpunkte mit herangezogen, so daß für einen in dem Fenster bestimmten Bildpunkt sowohl die eigenen Merkmale als auch Merkmale, die durch die anderen Bildpunkte vorgegeben werden, vorhanden sind.

Das Fenster wird vorzugsweise dadurch gebildet, daß der Rechner 6 jeweils aus dem Bildspeicher 4 die Daten einer bestimmten Anzahl von Bildpunkten in Form einer Matrix ausliest und verarbeitet. So stehen zum Beispiel dem Rechner 6 die Luminanz­ werte einer Bildpunktmatrix von fünf Spalten und fünf Reihen zur Verfügung. Mit Hilfe dieser Luminanzwerte können die oben angegebenen lokalen Beziehungen der Bildpunkte in dem Bildausschnitt untereinander bestimmt werden, so daß weitere Unterscheidungsmerkmale zur Differenzierung zwischen Objektpunkt und Nichtobjektpunkt zur Verfügung stehen. Einige dieser Merkmale sind der Kontrast zwischen mehreren Bildpunkten, der Mittelwert der Grauwerte, der Gradient der Grau­ werte und die Grauwertverteilung innerhalb des jeweiligen Rahmens.

In Fig. 2 ist der Rechner dargestellt, wobei der Aufbau des Rechners an das Verfahren angepaßt ist, da die Verarbeitung der Informationen mit einer sehr hohen Geschwindigkeit erfolgen muß. In dem Bildspeicher 4 ist schematisch das Fenster einge­ zeichnet, wobei die Daten der Luminanzwerte der Bildpunkte im Fenster auf dem Daten-Bus zur Ver­ fügung stehen. Die Merkmale der lokalen Beziehungen zu den Nachbarpunkten beziehungsweise der Struktur, die in den Merkmalsprozessoren M 1 bis M 18 für einen bestimmten Punkt innerhalb des Fenster, dem Aufpunkt bestimmt sind, werden über den Host- Computer 21 in einem Speicher 20 abgelegt. Das Fenster wird um einen Bildpunkt weitergeschoben und die Merkmale werden für den nächsten Aufpunkt neu festgelegt und gespeichert. In dieser Weise wird für das erste Bild einer Bildszene das Fenster über das gesamte Bild geführt, wobei gleichzeitig durch Vergleich mit den in dem Konturspeicher 8 gespeicherten Objektinformationen festgestellt wird, zu welchem Objekt der Aufpunkt gehört. Nach der Bearbeitung des ersten Bildes stehen für jeden Bildpunkt die Merkmale bezüglich Luminanz- und/oder Chrominanz und der lokalen Beziehungen zu den Nachbarpunkten und die Zu­ ordnung zu den entsprechenden Objekten zur Ver­ fügung, die als Daten in dem Speicher 20 gespeichert sind.

Abhängig von den gespeicherten Merkmalen und den Objektzugehörigkeiten des ersten Bildes werden in bekannter und in der vorliegenden An­ meldung nicht beanspruchter Weise Wichtungen, zum Beispiel in Form eines Polynomklassifikators, festgelegt, die die einzelnen Merkmale in den folgenden Bildern bewerten sollen. Um festzustellen, ob die gewählten Wichtungen zutreffend sind, werden stichprobenhaft einige Bildpunkte des ersten Bildes bewertet. Dies kann vorzugsweise dadurch geschehen, daß der Host-Computer 21 die dem jeweils gewählten Bildpunkt zugeordneten Merkmale aus dem Speicher 20 abruft und in dem Multiplizierer 24 der Merkmalsvektor mit den Wichtungen als Koeffizienten des vorher bestimmten matrixförmigen Polynomklassifikators multipliziert wird, wobei die Zeilen der Matrix jeweils den unterschiedlichen Objekten zugeordnet sind. Die Daten dieses Ergebnisses, die die Wahrscheinlichkeit der Zugehörigkeit des betrachteten Bildpunktes zu den bestimmten Objekten angeben, werden im Schätzvektorregister 25 gespeichert. Der Maximumsucher 26 sucht das Maximum aus den jeweils den Objekten entsprechenden Daten heraus und ordnet den betrachteten Bildpunkt dem Objekt mittels Objektkennungsdaten zu. Durch Vergleich mit den im Speicher 20 niedergelegten Kennungsdaten wird festgestellt, ob die Zuordnung des Bildpunktes mit der vorgegebenen übereinstimmt. Ist die Übereinstimmung nicht zufriedenstellend, so werden die Wichtungen so lange verändert, bis eine Optimierung gegeben ist oder andere Merkmale werden irretativ verändert.

Nachdem die Wichtungen, mit den die Merkmale auch der jeweils folgenden Bilder bewertet werden sollen, festliegen, wird das folgende Bild der Bildszene abgetastet und in dem Bild­ speicher 4 gespeichert. Entsprechend dem Verfahren während des ersten Bildes wird nacheinander das mehrere Bildpunkte umfassende Fenster über das gesamt Bild verschoben, wobei allerdings die Merkmale für den jeweiligen Aufpunkt nicht im Speicher 20 gespeichert werden, sondern Aufpunkt für Aufpunkt, das heißt, Bildpunkt für Bildpunkt, nacheinander den Objekten zugeordnet werden. Dazu werden die Merkmale, die jeweils für den einen Aufpunkt in den Merkmalsprozessoren M 1 bis M 18 bestimmt werden, in dem mehrere Flip-Flops aufweisenden Merkmalsregister 22 gespeichert. Entsprechend dem oben beschriebenen Verfahren wird der Merkmalsvektor mit dem als RAM ausge­ bildeten Wichtungsregister 23 gespeicherten Wichtungen, die im ersten Bild bestimmt wurden, multipliziert und über den Maximumsucher 26 die Zuordnung vorgenommen. Die Kennungsdaten, die die Objektzugehörigkeit des jeweils betrachteten Bildpunktes angeben, werden im Bildspeicher 7 entsprechend seinem Ort im Gesamtbild ge­ speichert. In der Weise wird nacheinander jeder Bildpunkt zugeordnet, wobei am Ende im Bildspeicher 7 die Kennungsdaten wie im Bildspeicher 4 matrix­ förmig entsprechend dem Bildpunktraster vor­ liegen.

Üblicherweise sind die Veränderungen der Objekte von einem Bild zum anderen innerhalb einer Bild­ szene nur geringfügig, so daß die im ersten Bild bestimmten Wichtungen für die gesamte Bildszene beibehalten werden können. Die auftretenden Ver­ schiebungen von einem Bild zum anderen werden durch die für jeden Bildpunkt unterschiedlichen Merkmale erfaßt. Damit das Ende einer Bildszene oder sehr starke Veränderungen der Objekte von einem Bild zum anderen ohne interaktiven Eingriff gefunden werden können, werden, nachdem die Kennungsdaten des jeweiligen gesamten Bildes im Bildspeicher 7 niedergelegt sind, diese mit denen des vorange­ gangenen Bildes verglichen. Stimmen die Kennungs­ daten weitgehend überein, so kann das nächste Bild bearbeitet werden, stimmen sie in erheblichem Maße nicht überein, so ist anzunehmen, daß eine neue Bildszene anfängt. Soll ein derartiger Ver­ gleich stattfinden, so müssen die Kennungsdaten des vorangegangenen Bildes auch gespeichert sein. Hierzu kann ein zusätzlicher Speicher vorgesehen sein oder die Daten werden in den Konturspeicher 8 umgeschrieben.

Falls nur wenige Objekte in den Bildern einer Bild­ folge gefunden und eingefärbt werden sollen, ist es nicht notwendig, das gesamte Bild abzu­ tasten und für jeden Bildpunkt die Merkmale zu bestimmen und die Bewertung der Nachbarpunkte vorzunehmen, sondern es werden nur die Bildpunkte in der Nähe der Objekte und innerhalb des Objekts betrachtet.

Für das Einfärben von Objekten in einer bewegten Bildfolge wird im allgemeinen davon ausgegangen, daß die jeweiligen Objekte durch die gesamte Bildszene hindurch einen gleichbleibenden Farbton aufweisen sollen. Die Information über die je­ weilige Farbe wird am Anfang der Bildszene einge­ geben und im Konturspeicher 8, in dem auch die Daten über die Lage und Form der Objekte im ersten Bild enthalten sind, gespeichert. Die verschiedenen zur Verfügung stehenden Farben werden zum Beispiel auf dem Monitor 5 angezeigt, der dann allerdings als Farbmonitor ausgebildet sein muß. Mit dem Joy-Stick können die gewünschten Farben angewählt werden und die Farbsignale werden entsprechend den Objekten in dem Konturspeicher 8 abgelegt. Wenn über den Rechner 6 bei dem be­ trachteten Bild der jeweilige Bildpunkt den ver­ schiedenen Objekten zugeordnet wird, wird gleich­ zeitig die zugehörige Farbinformation aus dem Konturspeicher 8 in den Bildspeicher 7 übernommen, so daß in dem Bildspeicher 7 das Maskenbild und die Farbinformation für die einzelnen Masken vor­ handen sind.

In der Composite-Logik 9 werden die Luminanzsignale der einzelnen Bildpunkte aus dem Bildspeicher 4 mit den Informationen aus dem Bildspeicher 7 über­ lagert, so daß am Ausgang der Logik 9 die Luminanz- und Chrominanzsignale für jeden Bildpunkt in digitaler Form vorliegen. Ein Farbleser 12 ist mit der Composite-Logik 9 verbunden, wobei die einzelnen Farbkanäle des Farblesers 12 entsprechend der Farbinformation digital angesteuert werden. Über den Farbleser 12 kann dann ein Farbfilm 13 hergestellt werden. Die Composite-Logik 9 ist außerdem mit einem Digital-Analogwandler 14 ver­ bunden, über den die an dem Ausgang der Logik 9 vorhandenen Digitalsignale in Analogsignale umgewandelt werden. Das eingefärbte Bild wird über einen RGB- oder FBAS-Mischer 10 auf einem Farbmonitor 11 angezeigt.

Zur Überprüfung der im ersten Bild vorgewählten Farben für die Objekte wird das mit der Farbe versehene erste Bild auf dem Monitor 5 oder dem Farbmonitor 11 dargestellt, wobei notwendige Änderungen der Farbe im ersten Bild in bekannter Weise in den Konturspeicher 8 eingegeben werden.

Im vorliegenden Ausführungsbeispiel des Verfahrens wurde die Herstellung eines Farbfilms aus einem Schwarz/Weiß-Film beschrieben. Selbstverständlich beschränkt sich das Verfahren nicht nur auf ein derartiges Ausführungsbeispiel. So können auch Objekte in einem Farbfilm oder einer farbigen Bildfolge dahingehend verändert werden, daß sie mit einer anderen Farbe versehen werden. Auch ist es denkbar, daß bestimmte Objekte im Laufe der Bildfolge in ihrer Struktur oder Form ver­ ändert werden, wobei Stilisierungen und Karikaturisierungen vorgenommen werden können. Wenn die Modifikationen der Darstellung der Objekte durch die gesamte Bildfolge einer Bildszene gleichbleiben soll, werden die Modifikations­ signale, wie oben beschrieben, am Anfang der Szene vorgegeben. Es ist aber auch möglich, die Objekte in ihrer Farbe, ihrer Grautonzuordnung, ihrer Struktur oder Form durch interaktives Eingreifen innerhalb einer Szene zu verändern.

Claims (5)

1. Verfahren zur Erkennung und Modifizierung von Objekten in Bildern einer bewegten Bildfolge einer Bildszene, bei dem die Bilder der Bild­ folge nacheinander abgetastet werden und die abgetasteten Bildpunkte in Digitalsignale umgewandelt werden, dadurch ge­ kennzeichnet,

• a) daß von der Gesamtheit der Bildfolge das erste oder eines der ersten Bilder mit den interessierenden Objekten abgetastet und die Daten des abgetasteten Bildes ge­ speichert werden und daß die Objekte be­ züglich ihrer Lage und Form durch inter­ aktiven Eingriff gekennzeichnet und die Kennzeichnungsdaten gespeichert werden,
• b) daß anschließend ein Fenster aus einer von einem Bildausschnitt begrenzten Anzahl von Bildpunkten als Untergruppe gebildet wird,
• c) daß innerhalb des Fensters mindestens einem Bildpunkt beliebig wählbare Merkmale hinsichtlich Luminanz und/oder Chrominanz und der lokalen Beziehungen in bezug auf die anderen Bildpunkte des Fensters zugeordnet und in einer Speichereinheit gespeichert werden,
• d) daß das die Untergruppe umfassende Fenster zeitlich und örtlich über das gesamte Bild geführt wird, wobei jeweils Merkmal c) durhgeführt wird,
• e) daß abhängig von den Merkmalen der Bildpunkte und der vorgegebenen Zuordnung der jeweiligen Objekte Wichtungen gewählt und gespeichert werden, die zur Bewertung der Merkmale der Bildpunkte in den folgenden Bildern der Bildszene dienen sollen, wobei für jedes Objekt Wichtungen vorgesehen sind, und daß diese Wichtungen im ersten Bild mittels ausgewählter Bildpunkte der unterschiedlichen Objekte durch Bewertung ihrer Merkmale über­ prüft werden und gegebenenfalls verändert werden,
• f) daß nacheinander für jedes der folgenden Bilder die Luminanz- und/oder Chrominanzdaten der abgetasteten Bildpunkte jeweils gespeichert werden und Merkmal c) durchgeführt wird, wobei nacheinander die Merkmale des betrachteten Bildpunktes mit den im ersten Bild festge­ legten Wichtungen bewertet werden und die Zuordnung zu dem jeweiligen Objekt vorgenommen wird, die in Form von Objektkennungsdaten gespeichert werden;
• g) daß nach Zuordnung der gesamten Bildpunkte eines Bildes zu den Objekten diese durch vor­ gebbare Modifikationssignale verändert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Objekte in ihrer Farbe und/oder ihrem Grauwert verändert werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekenn­ zeichnet, daß die Objekte in ihrer Form verändert werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Modifikations­ signale zur Modifizierung der jeweiligen Objekte zu Beginn der Bildfolge vorgegeben werden und gespeichert werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Objekt­ kennungsdaten eines Bildes solange gespeichert werden, bis die Kennungsdaten des nachfolgenden Bildes festgelegt sind und daß ein Vergleich zwischen den Kennungsdaten der zwei Bilder vorgenommen wird.