DE60018684T2

DE60018684T2 - Detektion von wiederholten und eingefrorenen Bildern in einem Videosignal

Info

Publication number: DE60018684T2
Application number: DE60018684T
Authority: DE
Inventors: Bozidar Portland Janko; Kamalesh Portland Patel
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 1999-12-07
Filing date: 2000-11-28
Publication date: 2005-08-25
Anticipated expiration: 2020-11-29
Also published as: EP1107604A2; EP1107604B1; EP1107604A3; KR100730603B1; KR20010060286A; CN1302156A; US6377297B1; JP3563687B2; DE60018684D1; CN1154364C; JP2001186514A

Description

STAND DER TECHNIK
Die vorliegende Erfindung betrifft das Detektieren von Artefakten in einem Videosignal, und im Besonderen betrifft die vorliegende Erfindung das Detektieren wiederholter und eingefrorener Frames in einem Videosignal.
Wenn ein Videotransport eine Videokomprimierung umfasst, so kann es bei unzureichender verfügbarer Bandbreite für den Transport häufig vorkommen, dass ein Komprimierungscodierer einfach eine Kopie eines vorherigen Frames erneut übermittelt. Der auf diese Weise erzeugte Defekt wird als "eingefrorener bzw. fester Frame" (englisch: Frame Freeze) bezeichnet, der von den Betrachtern als ein "Ruck" in einem sich in dem Video bewegenden Objekt wahrgenommen wird. Ferner unterbrechen Komprimierungscodierer gelegentlich die Codierung, d.h. die frieren ein. Der letzte Frame vor dem Einfrieren bleibt erhalten und wird durch die Decodierer angezeigt, wobei ein Standbild oder ein flackerndes Bild erzeugt wird, wobei Feld1 und Feld2 verschachtelt und wechselweise dargestellt werden.
Eine triviale Lösung für das Problem wiederholter bzw. "eingefrorener" Frames ist das Subtrahieren der entsprechenden Felder Pixel für Pixel in aufeinander folgenden Frames. Wenn alle resultierenden Pixel in der Bitmap gleich Null sind, wird impliziert, dass ein Wiederholungs-Frame gegeben ist. Eine derartig triviale Lösung lässt sich in der Praxis jedoch nicht zuverlässig einsetzen, da in dem Video Rauschstörungen vorhanden sein können. Abhängig davon, wo derartiges Rauschen in der Videokette hinzugefügt wird, kann es sein, dass sich das Rauschmuster nicht von Videofeld zu Videofeld wiederholt. An den Stellen, an denen der vernünftige Videoinhalt in aufeinander folgenden Frames wiederholt wird, erzeugt die Differenz zwischen zwei Feldern keine Null, da die Rauschstörungsmuster nicht übereinstimmen, d.h. nicht identisch sind.
US-A-5.828.786, US-A-5.606.373, EP-A-0762772, Low-cost Telecine Detection for Real-Time Video Coding, R. Armitano, Proceedings of the Spie, Spie, Bellingham, VA, USA (11-1999), 3528, S. 261–268, und US-A-5.929.902 offenbaren die vorkennzeichnenden Merkmale der gegenständlichen Ansprüche.
Benötigt werden ein Verfahren und eine Vorrichtung zum Detektieren der wiederholten und eingefrorenen Frames in einem Videosignal mit zuverlässiger Funktionsweise in einer Praxisumgebung, d.h. in Gegenwart von Rauschstörungen.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Vorgesehen ist gemäß einem ersten Aspekt der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.
Vorgesehen ist gemäß einem zweiten Aspekt der vorliegenden Erfindung eine Vorrichtung gemäß dem gegenständlichen Anspruch 4.
Vorgesehen sind gemäß der vorliegenden Erfindung somit eine Vorrichtung und ein Verfahren zum Detektieren wiederholter und eingefrorener Frames in einem Videosignal, indem die absoluten Differenzen zwischen Pixeln aus entsprechenden Feldern in aufeinander folgenden Frames ermittelt werden. Aus den absoluten Differenzen wird eine logische Bitmap erzeugt, wobei eine logische "1" für jedes Pixel in die logische Bitmap eingefügt wird, bei dem die absolute Differenz einen Schwellenwert überschreitet, der eine Funktion eines Maximums darstellt, das aus den absoluten Differenzen für das Feld abgeleitet wird. Ein normalisierter Verteilungszählwert wird als die Summe aller logischen Werte von "1" in der logischen Bitmap bestimmt. Danach wird die logische Bitmap in eine Mehrzahl von Zellen gleicher Größe aufgeteilt. Die logischen Werte von "1" werden ebenfalls für jede Zelle gezählt. Aus dem normalisierten Verteilungszählwert werden Grenzen erzeugt, und die tatsächlichen Zählwerte für jede Zelle werden mit den Grenzen verglichen. Wenn alle tatsächlichen Zählwerte für das Feld innerhalb der Grenzen liegen, wird ein wiederholter Frame gemeldet. Wenn alternativ in einer rauschfreien Umgebung alle tatsächlichen Zählwerte kleiner sind als ein Mindestwert, so wird ein Wiederholungsframe gemeldet.
Die Aufgaben, Vorteile und weitere neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung deutlich, wenn diese in Verbindung mit den anhängigen Ansprüchen und den beigefügten Zeichnungen gelesen wird.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Es zeigen:
die 1A, 1B und 1C grafische Ansichten der Erzeugung logischer Bitmaps gemäß der vorliegenden Erfindung;
die 2A und 2B grafische Ansichten logischer Bitmaps für (a) ein Videosignal ohne Bewegung und (b) einen wiederholten Frame mit vorhandenem Rauschen;
die 3A und 3B grafische Ansichten der Segmentierung logischer Bitmaps, die den Abbildungen der 2A und 2B entsprechen;
die 4A und 4B grafische Ansichten der Abweichungen des tatsächlichen Zellenzählwerts für die logischen Bitmaps, die den Abbildungen der 3A und 3B entsprechen; und
5 ein Blockdiagramm einer Vorrichtung zum Detektieren wiederholter Frames in einem Videosignal gemäß der vorliegenden Erfindung.
GENAUE BESCHREIBUNG DER ERFINDUNG
Die Lösung für das Problem der wiederholten bzw. Wiederholungs-Frames lautet:

– Für jeweils zwei aufeinander folgende Frames in einer Videosequenz werden die Luminanzwerte in den entsprechenden Feldern subtrahiert, d.h. die Luminanzwerte in Feld1 eines Frames werden von den entsprechenden Luminanzwerten in Feld1 des vorangehenden Frames subtrahiert, so dass eine Differenzabbildung erzeugt wird.
– Nach Ermittlung der Differenzabbildung wird jeder Differenzwert durch seinen Absolutwert ersetzt.
– Ein Maximum wird als größter Wert dieser Absolutwerte ermittelt.
– Die Differenzabbildung der Absolutwerte wird in eine logische Abbildung umgewandelt, indem die Werte von "1" an Stellen platziert werden, an denen der Absolutwert der Differenzen einen Schwellenwert auf der Basis eines Bruchteils des Maximus wie zum Beispiel 50% des Maximums überschreitet. Ansonsten wird eine "0" an Stellen platziert, an denen der Absolutwert der Differenzen diesen Schwellenwert nicht überschreitet.

Die Abbildungen der 1A, 1B und 1C zeigen verschiedene Differenzabbildungen, (a) für die Differenzen zwischen Luminanzwerten in den entsprechenden Feldern aufeinander folgender Frames, (b) für die absoluten Differenzen und (c) für die resultierende logische Abbildung.
In folgendem Bezug auf die Abbildungen der 2A und 2B zeigen diese logische Abbildungen für aufeinander folgende Frames (a) mit Bewegung zwischen den beiden Frames und (b) mit wiederholten Frames. Die logische Abbildung mit Bewegung zwischen aufeinander folgenden Frames zeigt eine Darstellung des sich bewegenden Objekts, während die logische Abbildung für wiederholte Frames nur Rauschstörungen zeigt.
In dem nächsten Schritt wird die logische Abbildung in N übereinstimmende Bereiche unterteilt, wie zum Beispiel in 60 Rechtecke, wie dies in den Abbildungen der 3A und 3B für die entsprechenden logischen Abbildungen der 2A und 2B dargestellt ist. Die Rauschwerte in jedem Bereich werden summiert, so dass eine Anordnung von N Zahlen erzeugt wird. Wenn Bewegtbildvideo vorhanden ist, sind einige der N Zahlen deutlich größer als andere; während für den Fall, dass nur Rauschstörungen in dem Video vorhanden sind, die N Zahlen ungefähr übereinstimmende Werte innerhalb der Grenzen der statistischen Schwankung aufweisen, wie dies entsprechend in den Abbildungen der 4A und 4B dargestellt ist.
Die Tatsache, ob Rauschstörungen vorhanden sind, d.h. der Frame wiederholt wird, wird wie folgt bestimmt:

– Es wird ein Zählwert C der logischen Pixel "1" in jeder der N Zellen in Übereinstimmung mit einer einheitlichen Verteilung über alle Zellen bestimmt.
– Wenn nur Rauschen vorhanden ist, befindet sich der Zählwert in jeder Zelle innerhalb der Grenzen eines bestimmten statistischen Maßes wie zum Beispiel C' = C +/– 4*Quadratwurzel(C), wobei C' dem Zählwert der logischen Werte von "1" für eine bestimmte der N Zellen entspricht. Wenn eine einzelne Zelle existiert, bei der der Wert von C' diese Grenzen überschreitet, so wird der Frame nicht wiederholt.
– Ein weiteres Kriterium für den Fall, dass kein Rauschen vorhanden ist, wenn C' für jede Zelle kleiner ist als eine bestimmte Mindestzahl, wie etwa fünf, ist eine Wiederholung des Frames.

Die Abbildung aus 5 zeigt eine Vorrichtung zur Meldung von Fällen wiederholter Frames. Ein Erfassungsmodul 12 empfängt das Videosignal, digitalisiert es, wenn es sich um ein analoges Signal handelt, trennt das aktive Video von Zeitsteuerungsinformationen und decodiert das aktive Video, um Luminanzwerte für jedes Pixel des aktiven Videos vorzusehen. Die Luminanzwerte für ein Feld werden in eine Subtraktionseinheit 14 und in eine Frame-Verzögerungseinheit 16 eingegeben, wobei die Ausgabe aus der Frame-Verzögerungseinheit ebenfalls in die Subtraktionseinheit eingegeben wird. Die Eingaben in die Subtraktionseinheit 14 sind somit entsprechende Felder aufeinander folgender Frames. Die Differenzen aus der Subtraktionseinheit 14 werden in eine Absolutwerteinheit 18 eingegeben, die absolute Differenzen erzeugt, die in einer Bitmap 20 gespeichert werden. Für jedes Feld wird der maximale absolute Differenzwert Maximum durch einen Schwellenwertgenerator 22 bestimmt und mit einer spezifizierten Bruchzahl wie etwa 0,5 multipliziert, um einen Schwellenwert TH zu erzeugen. Für jedes Feld werden die absoluten Differenzen aus der Bitmap 20 gemeinsam mit dem Schwellenwert in einen Komparator 24 eingegeben, und die Ausgabe des Komparators wird in eine logische Bitmap 26 eingegeben. Die Ausgabe der logischen Bitmap 26 für jedes Feld wird in einen Normalverteilungsrechner 28 und einen Segmentierungszähler 30 eingegeben.
Der Normalverteilungsrechner 28 summiert die Anzahl der logischen Werte von "1" in der logischen Bitmap 26 und dividiert das Ergebnis durch N, die Anzahl der Segmente, in welche die Bitmap aufgeteilt ist, so dass der Normalverteilungszählwert C erzeugt wird. Der Segmentierungszähler 30 zählt die Anzahl der logischen Werte von "1" für jedes Segment der logischen Bitmap 26, so dass die Segmentzählwerte C' erzeugt werden. Der Normalverteilungszählwert C wird in eine Grenzschaltung 32 eingegeben, um die Grenzen für die Segmentzählwerte C' vorzusehen. Die Grenzen der Grenzschaltung 32 entsprechen C +/– K, wobei K gleich 4*Quadratwurzel(C) sein kann. Die Grenzen werden gemeinsam mit den Segmentzählwerten C' in entsprechende Komparatoren 34, 36 eingegeben. Die Ausgaben der Komparatoren 34, 36 werden in ein UND-Glied 38 eingegeben, so dass für den Fall, dass sich alle Segmentzählwerte C' für ein Feld innerhalb der Grenzen befinden, eine Ausgabe erzeugt wird, die einen wiederholten Frame anzeigt. Alternativ erden die Segmentzählwerte C' in einen weiteren Komparator 40 eingegeben, in dem sie mit einem Mindestwert verglichen werden, wie etwa 5. Wenn alle Segmentzählwerte C' für ein Feld unter dem Mindestwert liegen, so sieht der Komparator 40 eine Ausgabe zum Anzeigen eines wiederholten Frames vor. Die Komparatoren 34, 36 weisen eine Flaggenschaltung auf, die gesetzt wird, wenn sich einer der Segmentwerte C' für ein Feld außerhalb der Grenzen befindet, wobei die Flaggenschaltung zu Beginn des nächsten Felds zurückgesetzt wird. Das Setzen der Flaggenschaltung sperrt das UND-Glied-38, so dass am Ende des Felds keine Frame-Ausgabe vorgesehen wird. Das UND-Glied 38 wird durch ein Feldsignal freigegeben, das am Ende jedes Felds behauptet wird, um den Status der Flaggenschaltung zu melden. In ähnlicher Weise wird ein UND-Glied 42 an dem Ausgang des rauschfreien Komparators 40 durch das Feldsignal freigegeben, so dass der Status einer Flaggenschaltung in dem Komparator gemeldet wird, die gesetzt wird, wenn das Minimum von einem Segmentzählwert C' in dem Feld überschritten wird. Die Ausgaben der UND-Glieder 38, 42 können durch ein ODER-Glied 44 verknüpft bzw. kombiniert werden, um in jeder Situation die Ausgabe des Wiederholungs-Frames vorzusehen. Die Elemente 14-44 können durch einen Mikroprozessor 46 ersetzt werden, der gesteuert durch Software so betrieben wird, dass er alle entsprechenden Funktionen ausführt.
Vorgesehen sind gemäß der vorliegenden Erfindung somit eine Vorrichtung und ein Verfahren zum Detektieren wiederholter und eingefrorener Frames in einem Videosignal durch die Gestaltung einer logischen Bitmap für jedes Feld des Videosignals, wobei die logische Bitmap die Pixel entsprechender Felder aufeinander folgender Frames darstellt, die einen vorbestimmten Schwellenwert überschreiten, wobei der Zählwert der logischen Werte von "1" für jedes der N Segmente der logischen Bitmap mit einem normalisierten Zählwert je Zelle für die gesamte logische Bitmap verglichen wird, und wobei Wiederholungs-Frames gemeldet werden, wenn sich der Segmentzählwert auf der Basis des normalisierten Zählwerts außerhalb der Grenzen befindet.

Claims

Verfahren zum Detektieren wiederholter Frames in einem Videosignal, wobei das Verfahren die folgenden Schritte umfasst: das Gestalten (14 – 26) einer logischen Bitmap aus entsprechenden Feldern aufeinander folgender Frames für jedes Feld des Videosignals als eine Funktion der absoluten Differenzen zwischen Pixeln der entsprechenden Felder, gekennzeichnet durch: das Segmentieren (30) der logischen Bitmap in eine Mehrzahl von Zellen; und das Melden (28 – 44) wiederholter Frames als eine Funktion eines Zählwerts der Anzahl der logischen Werte von "1" für jedes Segment der logischen Bitmap für jede Zelle im Vergleich zu einem normalisierten Zählwert für jede Zelle.
Verfahren nach Anspruch 1, wobei der Schritt des Gestaltens die folgenden Schritte umfasst: das Differenzieren (14) der Pixel aus den entsprechenden Feldern der aufeinander folgenden Frames, so dass die absoluten Differenzen erhalten werden; das Bestimmen (22) eines Schwellenwertes aus den absoluten Differenzen; und das Einfügen (24) einer logischen "1" in die logische Bitmap für jedes Pixel, bei dem die absolute Differenz den Schwellenwert überschreitet.
Verfahren nach Anspruch 2, wobei der Schritt des Meldens ferner die folgenden Schritte umfasst: das Bestimmen (30) des normalisierten Zellenzählwerts als die Summe der logischen Werte von "1" für die logische Bitmap für jedes Feld dividiert durch die Anzahl der Zellen; das Zählen der Anzahl der logischen Werte von "1" für jede Zelle in jedem Feld, um den Zählwert für jede Zelle zu erzeugen; das Bestimmen von Grenzen aus dem normalisierten Zellenzählwert; und das Melden von Wiederholungs-Frames, wenn der Zählwert für alle Zellen in dem Feld innerhalb der Grenzen liegt.
Vorrichtung zum Detektieren wiederholter Frames in einem Videosignal, wobei die Vorrichtung folgendes umfasst: eine Einrichtung (14 – 26) zum Gestalten einer logischen Bitmap aus entsprechenden Feldern aufeinander folgender Frames für jedes Feld des Videosignals als eine Funktion der absoluten Differenzen zwischen Pixeln der entsprechenden Felder, gekennzeichnet durch: eine Einrichtung (30) zum Segmentieren der logischen Bitmap in eine Mehrzahl von Zellen; und eine Einrichtung (28 – 44) zum Melden wiederholter Frames als eine Funktion eines Zählwerts der Anzahl der logischen Werte von "1" für jedes Segment der logischen Bitmap für jede Zelle im Vergleich zu einem normalisierten Zählwert für jede Zelle.
Vorrichtung nach Anspruch 4, wobei die Einrichtung zum Gestalten folgendes umfasst: eine Einrichtung zum Differenzieren (14) der Pixel aus den entsprechenden Feldern der aufeinander folgenden Frames, so dass die absoluten Differenzen erhalten werden; eine Einrichtung zum Bestimmen (22) eines Schwellenwertes aus den absoluten Differenzen; und eine Einrichtung zum Einfügen (24) einer logischen "1" in die logische Bitmap für jedes Pixel, bei dem die absolute Differenz den Schwellenwert überschreitet.
Vorrichtung nach Anspruch 5, wobei die Einrichtung zum Melden folgendes umfasst: eine Einrichtung zum Bestimmen (28) des normalisierten Zellenzählwerts als die Summe der logischen Werte von "1" für die logische Bitmap für jedes Feld dividiert durch die Anzahl der Zellen; eine Einrichtung zum Zählen (30) der Anzahl der logischen Werte von "1" für jede Zelle in jedem Feld, um den Zählwert für jede Zelle zu erzeugen; eine Einrichtung zum Bestimmen (32) von Grenzen aus dem normalisierten Zellenzählwert; und eine Einrichtung zum Melden (34 – 44) von Wiederholungs-Frames, wenn der Zählwert für alle Zellen in dem Feld innerhalb der Grenzen liegt.
Vorrichtung nach Anspruch 4, wobei die Einrichtung zum Gestalten folgendes umfasst: ein Videoerfassungsmodul (12) mit dem Videosignal als Eingabe, wobei das Videoerfassungsmodul aus den entsprechenden Feldern aufeinander folgender Frames die logische Bitmap für jedes Feld des Videosignals als Ausgabe erzeugt, wobei die Segmentierungseinrichtung einen Segmentierer (30) umfasst, mit der logischen Bitmap als Eingabe und mit der Mehrzahl von Zellen als Ausgabe; und wobei die Einrichtung zum Melden einen Prozesor umfasst, der die Mehrzahl von Zellen als Eingabe aufweist und als Ausgabe eine Meldung der Wiederholungs-Frames vorsieht.
Vorrichtung nach Anspruch 7, wobei das Videoerfassungsmodul folgendes umfasst: eine Differenzierungsschaltung (14) mit dem Videosignal als Eingabe, wobei die Differenzierungsschaltung die Pixel aus den entsprechenden Feldern der aufeinander folgenden Frames differenziert, so dass eine Ausgabe der absoluten Differenzen vorgesehen wird; einen Schwellenwertgenerator (22), der die absoluten Differenzen als eine Eingabe aufweist, wobei der Schwellenwertgenerator aus den absoluten Differenzen einen Schwellenwert als eine Ausgabe bestimmt; und einen Komparator (24), der die absoluten Differenzen und die Schwellenwerte als Eingaben aufweist, wobei der Komparator für jedes Pixel eine logische "1" in die logische Bitmap einfügt, wenn die absolute Differenz den Schwellenwert überschreitet.
Vorrichtung nach Anspruch 8, wobei der Komparator folgendes umfasst: einen Normalisierer (28) mit der logischen Bitmap als eine Eingabe, wobei der Normalisierer als eine Ausgabe den normalisierten Zellenzählwert als die Summe der logischen Werte von "1" für die logische Bitmap für jedes Feld dividiert durch die Anzahl der Zellen erzeugt; einen Segmentierungszähler (30), der die logische Bitmap als eine Eingabe aufweist, wobei der Segmentierungszähler für jede Zelle in jedem Feld die Anzahl der logischen Werte von "1" zählt, so dass als eine Ausgabe der Zählwert für jede Zelle erzeugt wird; einen Begrenzer (32), der den normalisierten Zellenzählwert als eine Ausgabe aufweist, wobei der Begrenzer Grenzen als Ausgaben bestimmt, wobei die Grenzen eine Funktion des normalisierten Zellenzählwerts darstellen; und einen Meldungskomparator (34 – 44), der die Grenzen und den Zählwert für jede Zelle des Felds als Eingaben aufweist, wobei der Meldungskomparator als eine Ausgabe eine Flagge vorsieht, welche Wiederholungs-Frames anzeigt, wenn der Zählwert für alle Zellen in dem Feld innerhalb der Grenzen liegt.