DE69920055T2

DE69920055T2 - Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen

Info

Publication number: DE69920055T2
Application number: DE69920055T
Authority: DE
Inventors: Wei Yau HUI; Huang Kwong GOH
Original assignee: STMicroelectronics Asia Pacific Pte Ltd
Current assignee: STMicroelectronics Asia Pacific Pte Ltd
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2005-09-15
Anticipated expiration: 2019-02-27
Also published as: EP1163801B1; DE69920055D1; EP1163801A1; US7623576B1; WO2000051355A1

Description

Die vorliegende Erfindung bezieht sich auf Verfahren und eine Vorrichtung zur Vorverarbeitung von sich bewegenden Bildern vor dem Codieren. Insbesondere bezieht sich die Erfindung auf Verfahren und auf Vorrichtungen zur Bestimmung, ob ein digitaler Bildrahmen ein ineinandergreifend abgetastetes (interlaced-scan) Bild oder ein nicht-ineinandergreifend abgetastetes (noninterlaced-scan) Bild ist, wobei ein wiederholtes Feld identifiziert wird, und wobei ferner ein Szenenwechsel in einer Sequenz von Filmbildern detektiert wird.
Codierverfahren wie beispielsweise die bekannten MPEG-1 und MPEG-2 Standards werden allgemein für die effiziente Übertragung und Speicherung von Video verwendet. Ein MPEG Codierer komprimiert ein Eingangsvideosignal Bild-für-Bild um ein Ausgangssignal oder einen Bitstrom zu erzeugen, und zwar entsprechend dem relevanten MPEG Standard. Die Vorverarbeitungstechniken können auf das Eingangsvideosignal vor dem Codieren angewandt werden, und zwar beispielsweise zur Entfernung von Rauschen und zum Reformatieren des Signals (beispielsweise 4:2:2 bis 4:2:0 Umwandlung, Bildgrößenumwandlung, usw.).
Das Eingangsvideosignal ist typischerweise in einem ineinandergreifenden (interlaced) Format, beispielsweise dem 525/60 oder dem 625/50 (Zei-len/Frequenz) Format, wobei jeder Videorahmen aus zwei Feldern besteht (oberes Feld und unteres Feld). Das Ausgangs- oder Quellenmaterial des Videosignals kann ursprünglich auf Film hergestellt worden sein und wird in das Videosignal über einen „Telecine" Prozess umgewandelt. Dieser Prozess wandelt eine progressive oder fortlaufende Quelle in ein ineinandergreifendes interlaced) Format um, und liefert gleichzeitig, wenn notwendig, eine Rahmenratenumwandlung und zwar beispielsweise eine 3:3 oder 2:2 Herabzieh- (pulldown) Technik verwendend. Im Falle der 24 Hz Film zu 525/60 Hz Videoumwandlung wird jedes fortlaufende Filmbild in zwei ineinandergreifende Videofelder umgewandelt und zudem gibt es 12 wiederholte Felder, gemäß den 3:2 Herabzieh- (pulldown) Mustern in jeder Sekunde des umgewandelten Videos.
Eine Verbesserung der Codiereffizienz kann dann erreicht werden, wenn die Videoquelle vom Film identifiziert ist, und die wiederholten (oder redundanten) Felder detektiert werden und vor dem Codieren entfernt werden. Vorverarbeitungstechniken, angewandt vor dem Codieren, können auch aus den Ergebnissen der Filmbilddetektion Gewinn ziehen.
Die bekannten Verfahren der Filmmodedetektion können allgemein in zwei Kategorien klassifiziert werden:

1. Filmmodedetektion unter Verwendung der Filmrahmenmusteridentifikation und
2. Filmmodedetektion unter Verwendung der automatischen Interlace-/Progressivrahmendetektion.

Die Ausgangsgröße des Verfahrenstyps unter Verwendung der Filmrahmenmusteridentifikation ist eine Entscheidung, ob die Eingangssequenz ein ineinander greifendes (interlaced) Video oder ein 3:2/2:2 „Pulldown" Film ist. Die Detektion versucht das einzigartige Muster eines 3:2 oder 2:2 „Pulldown" Films zu identifizieren. Eines der am Weitesten verwendeten Verfahren besteht darin, das Wiederholfeldmuster (repeat field pattern) in dem 3:2 Pulldown Film zu detektieren (wie dies in den US-Patenten 5,317,398 und 5,398,071 beschrieben ist). Die Pixel-zu-Pixel Feldunterschiede zwischen abwechselnden Feldern (Feldern mit der gleichen Parität) werden gemessen, um zu identifizieren, ob das 3:2 Wiederholfeldmuster existiert.
Eine weitere, üblicherweise verwendete Annahme besteht darin, dass die Feldunterschiede zwischen zwei ineinander greifenden Feldern signifikant größer sind als die Felddifferenz zwischen zwei nicht ineinander greifenden (oder progressiven) Feldern. Ein Verfahren besteht darin, die aufeinander folgenden Felder, die mindestens Felddifferenzen als einen Filmrahmen (wie im US-Patent 5,565,998 beschrieben) haben zu gruppieren. Ein anderes Verfahren besteht darin, die aufeinander folgenden oder konsekutiven Felddifferenzen von ankommenden Felder zu messen und das Muster zu überwachen, um zu entscheiden, ob es ein ineinander greifendes (interlaced)Video, ein 3:2 Film oder ein 2:2 Film ist (wie dies in den US-Patenten 5,365,273 und 5,689,301 beschrieben ist). In den oben genannten Verfahren wird das einzigartige Muster für eine Periode (die typischerweise 5 bis 64 Felder überspannt) überwacht, bevor eine Entscheidung vorgenommen wird.
Bei dem Verfahren der Filmmode- oder Artdetektion unter Verwendung der Interlace-/Progressiv-Rahmendetektion bestimmt diese Art der Detektion, abgesehen von der Entscheidung ob eine ankommende Sequenz ein Film ist, auch ob ein Rahmen ineinander greifend (interlaced) oder progressiv ist und identifiziert ein wiederholtes Feld. Infolge des Einschlusses der Interlace-/Progressiv-Detektion für jeden Rahmen besitzt es kein langsames Ansprechen beim Interlace-/Progressiv-Codieren, wie dies bei Filmrahmenmusteridentifkationsvertahren, wie sie oben beschrieben wurden, der Fall ist. Eines der für die Interlace-/Progressiv-Detektion verwendeten Verfahren, wie beispielsweise das gemäß US-Patent 5,452,011, ist der Infeld- (intra-field = Intra-feld) und der Zwischenfeld- (inter-field = Interfeld) Unterschieds- (IIFD) Vergleich. Das IIFD-Verfahren vergleicht die Interfeld- und die Intrafeldunterschiede um zu detektieren, ob zwei aufeinander folgende Felder interlaced sind. Die Annahme ist die, dass die Interfelddifferenz größer als die Intrafelddifferenz sein wird. Bei den meisten der derzeitigen Video-/Filmdetektionsverfahren, die keine automatische Interlace-/Progressiv-Detektion besitzen, wird die Entscheidungsumschaltung nach einer Verzögerung einer typischerweise 5 bis 64 Felder überspannenden Periode vorgenommen, wenn eine Umsetzung (transition) von ineinander greifendem Video-zu-Film erfolgt. Das bedeutet, dass die Codierung der Filmrahmen in dieser Verzögerungsperiode noch in dem Interlacemode (Interlacebetriebsart) erfolgt, und dass redundante Felder in dieser Periode nicht vor dem Codieren entfernt werden. In ähnlicher Weise, wenn ein Übergang vom Film-zu-Interlaced oder ineinander greifendem Video vorliegt, so bleiben die ineinander greifenden Videorahmen in der Entscheidungsschaltverzögerungsperiode weiterhin als progressive Rahmen codiert.
Eine Filmsequenz wird oftmals editiert und ein Szenenwechsel kann in jedem Feld auftreten. Auch können Subtitel oder auch Untertitel genannt ebenfalls jedem Feld des Films hinzugefügt werden, wodurch das 3:2 Wiederholfeldmuster des Films geändert wird, so dass die Rahmen nicht stets progressiv sind. Ineinandergreifende (interlaced) Videosequenzen bestehen auch aus einigen progressiven Rahmen und zwar infolge von sehr wenig oder keiner Bewegung zwischen diesen Feldern. Die derzeitigen Filmdetektionsverfahren, die keine automatische Interlace-/Progressiv-Detektion besitzen, sind nicht in der Lage, diese ineinander greifenden (interlaced) Rahmen innerhalb eines Films und die progressiven Rahmen innerhalb des Interlace-Videos zu detektieren.
WO 95 15659 beschreibt ein Verfahren und eine Vorrichtung zum Detektieren von Videofeldcharakteristika. Insbesondere weist dieses bekannte Verfahren Folgendes auf: Bestimmen ob aufeinander folgende Felder interlaced oder progressiv sind, die Kalkulation einer Anzahl von Größen, wie beispielsweise einer Differenzialaktivität (streifen- oder stripbasierende Pixeldifferenz zwischen aufeinander folgenden Feldern von unterschiedlicher Parität), ungeradzahlige und geradzahlige Intra-Strip- oder Streifenaktivitäten (strip- oder streifenbasierende Pixeldifferenzen zwischen benachbarten Zeilen der gleichen Parität oder eines gleichen Feldes), Vergleich dieser Werte mit eigenen Schwellen, Berechnen von Indizes R-i, Vergleich der Indizes mit eigenen Schwellen, Berechnen der Anzahl von positiven Vergleichen der Indizes und Entscheidung, basierend auf der Anzahl von positiven Vergleichen der Indizes.
Es ist daher ein Ziel der vorliegenden Erfindung, die oben erwähnten Probleme anzugehen, und zwar durch Detektieren ob ein Rahmen interlaced oder progressiv ist, und zwar unmittelbar nach dem Empfang der Rahmendaten, so dass der Codierer den Rahmen als interlaced oder progressiv codieren kann, und zwar gemäß der Detektionsentscheidung oder mindestens soll eine brauchbare Alternative vorgesehen werden.
Für existierende automatische interlace und progressive Detektionsverfahren, die Intrafeld- und Interfelddifferenzen vergleichen, um die Detektionsentscheidung vorzunehmen, ist der Vergleich nicht stets genau. Die Ungenauigkeit kann die Folge davon sein, dass die Interfelddifferenz sehr klein ist, da wenig oder keine Bewegung zwischen aufeinander folgenden Rahmen vorliegt, oder aber infolge der Tatsache, dass die Intrafelddifferenz groß ist wegen der sehr detaillierten Textur oder Information innerhalb des Feldes.
Es gibt auch Ungenauigkeitsprobleme bei den Detektionsverfahren, die annehmen, dass die Interlace-Differenz signifikant größer ist als die progressive Differenz. Das Problem, welches sich aus dieser Annahme ergibt, ist das Folgende: wenn das vorherige Feld (f_N-1) und das laufende Feld (f_N1) wenig oder keine Bewegung besitzen, könnte die ineinander greifende oder interlaced Felddifferenz zwischen f_N-1 und f_N nicht signifikant größer sein als die Differenz zwischen dem progressiven Felder f_N und f_N+1.
Die vorliegende Erfindung beabsichtigt auch die Genauigkeit der Interlace-/Progressiv-Detektion zu verbessern, und zwar dadurch, dass die Detektionsentscheidung nicht nur auf dem Vergleich zwischen der Interlace-Differenz und der progressiven Differenz basiert, sondern auch auf den Bewegungsaktivitäten zwischen aufeinander folgenden Rahmen. Dies dient zur Prüfung, ob eine insignifikante Felddifferenz zwischen f_N-1 und f_N infolge von wenig Bewegung vorliegt, um so eine unrichtige Entscheidung infolge der insignifikanten Interlace-Differenz zu vermeiden.
Die vorliegende Erfindung sieht ein Verfahren und eine Vorrichtung vor, und zwar zum Verarbeiten von Videodaten um Feldcharakteristika der Daten gemäß den Ansprüchen 1 und 11 zu detektieren.
Eine bevorzugte Ausführungsform der vorliegenden Erfindung wird anhand eines Beispiels unter Bezugnahme auf die beigefügten Zeichnungen beschrieben; in der Zeichnung zeigt:
1 ein Blockdiagramm eines Systems zur Bestimmung von Interlace-/Non-Interlace-Rahmen, zum Identifizieren von wiederholten Feldern und zum Detektieren von Szenewechseln aus einer Videoquelle gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 ein Flussdiagramm, welches den Feldgruppierungsentscheidungsprozess veranschaulicht;
3 ein Blockdiagramm eines darauf folgenden Felddifferenzvorgangs;
4 ein raumzeitliches (spatio-temporal) Pixeldiagramm, welches die darauf folgende Felddifferenzberechnung veranschaulicht;
5 ein Flussdiagramm des Interlace-/Progressiv-Entscheidungsmachungsalgorithmus; und
6 ein raumzeitliches Pixeldiagramm, welches die Bewegungsregion oder Zonendetektionsmethode veranschaulicht.
In dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung sind nur zwei Feldspeichereinheiten 101 und 102 erforderlich. Es sei auf 1 Bezug genommen: zu einem bestimmten Zeitpunkt liefert eine Videoquelle 100 ein Feld N an den Feldspeicher 101, Subtrahierer 103 und die darauf folgende oder konsekutive Felddifferenzeinheit 106. Zu dieser Zeit gibt der Feldspeicher 101 das vorherige Feld N-1 an den zweiten Feldspeicher 102 und die darauf folgende oder konsekutive Felddifferenzeinheit 106 aus. Ebenfalls zu dieser Zeit gibt der zweite Feldspeicher 102 das Feld N-2 an den Subtrahierer 103 aus. Die Subblocksumme (Unterblocksumme) von absoluten Differenzen zwischen den Pixeln der ankommenden Felder N und N-2 (funktionell ausgedrückt als SBD (N-2, N)) wird gemessen unter Verwendung des Subtrahierers 103 und des Subblockakkumulators 104. Die konsekutive Felddifferenz zwischen dem laufenden Feld N und dem vorherigen Feld N-1 (funktionell ausgedrückt als CFD (N-1, N)) wird durch die konsekutive Felddifferenzeinheit 106 gemessen und in eine Interlace-/Progressiv-Entscheidungseinheit 107 eingespeist. Der Wert von SBD (N-2, N) wird in einer Szenenänderungsentscheidungseinheit 108 verwendet, um zu entscheiden, ob das Feld N eine neue Szene, verglichen mit dem Feld N-2 ist. Es wird ebenfalls verwendet, in einer Wiederholfeldentscheidungseinheit 105, um zu entscheiden, ob das Feld N ein Wiederholungsfeld des Feldes N-2 ist. Die Anzahl der Subblockbewegungspixel zwischen Feld N-2 und N (funktionell ausgedrückt als ein sich bewegendes Pixel (N-2, N)) wird durch einen Subblockbewegungspixelzähler 109 berechnet und in die Wiederholfeldentscheidungseinheit 105 und die Interlace-/Progressiv-Entscheidungseinheit 107 eingegeben. Wenn das Feld N+1 ankommt, so wird CFD (N, N+1) gemessen, und mit CFD (N-1, N) in der Interlace-/Progressiv-Entscheidungseinheit 107 verglichen. Die Anzahl der Subblockbewegungspixel, sich bewegende Pixel (N-1, N+1) wird in der Interlace-/Progressiv-Entscheidungseinheit 107 verwendet, um zu entscheiden, ob die Felder N und N+1 interlaced oder progressiv sind. Die Feldgruppierungsentscheidung wird in einer Feldgruppierungsentscheidungseinheit 110 getroffen. Das sich auf die Feldgruppierungsentscheidungseinheit 110 beziehende Diagramm ist in 2 gezeigt. Die Felder N und N+1 werden als ein interlaced oder progressiver Rahmen gruppiert, und zwar abhängig von der Ausgangsgröße der Entscheidungseinheit 107. Wenn das laufende Feld N und das Feld N+1 als interlaced durch die Einheit 107 detektiert werden, so werden die Felder N und N+1 als ein interlaced Rahmen gruppiert und Feld N+2 wird das neue laufende Feld. Wenn die Felder N und N+1 als progressiv detektiert werden, und die Felder N und N+2 als nicht wiederholt detektiert werden, und zwar durch die Einheit 105, dann werden die Felder N und N+1 als progressiv gruppiert und Feld N+2 wird das neue laufende Feld. Wenn jedoch die Felder N und N+1 als progressiv detektiert werden, so werden die Felder N und N+2 als wiederholt detektiert, worauf dann die Felder N und N+1 als progressiv gruppiert werden, Feld N+2 wird beseitigt und Feld N+3 wird als das neue laufende Feld eingestellt.
Vorzugsweise gilt für alle Subblockmessungen, dass jedes Feld in 32 gleiche Subblöcke unterteilt ist.
Das Blockdiagramm der Konsekutivfelddifferenzeinheit 106 ist in 3 gezeigt. Subtrahierer 300 und 303 werden dazu verwendet, um die absoluten Pixeldifferenzen zwischen den Feldern N und N-1 zu berechnen und die klei nere der Pixeldifferenzen wird durch einen Komparator 301 gewählt. Die kleinere Pixeldifferenz wird sodann durch die Rauschdämpfungsvorrichtung 302 auf Null eingestellt, wenn sie kleiner ist als eine Schwelle T_noise (T_Rauschen) und jede nicht gedämpfte Pixeldifferenz wird in einem Akkumulator 305 akkumuliert. Dies ist in 4 dargestellt, wo A ein Pixel des laufenden Feldes N ist, und wo B und C Pixel vom vorherigen Feld N-1 mit gezeigten Vertikalpositionen sind. Die Pixeldifferenz (PD) des Pixels A wird als die kleinere der Absolutdifferenz zwischen A und B und der Absolutdifferenz zwischen A und C definiert, d.h. es gilt Folgendes: PD = Min(/A – B/, /A – C/)
Die PD jedes Pixels im Feld N wird berechnet und die Werte von PD kleiner als T_noise werden als Rauschen (noise) angesehen und auf Null eingestellt. Die konsekutive Felddifferenz CFD(N-1, N) des Feldes f_N-1 und Feldes f_N wird als die Summe sämtlicher PD's im Feld f_N definiert. Der Grund für die Auswahl der kleineren der zwei Differenzen besteht darin, dass dies Ungenauigkeiten bei der Kalkulation oder Berechnung der Felddifferenzen reduziert, die sich durch eine unnormale vertikale Versetzung oder Horizontalkanten ergeben. Um zu entscheiden, ob Feld f_N und f_N+1 interlaced oder progressiv sind, ist die Berechnung von CFD(N-1, N) und CFD(N, N+1) erforderlich.
Die Anzahl der Subblock „bewegende Pixels" zwischen Feldern f_N-1 und f_N+1 wird ebenfalls durch den Subblockbewegungspixelzähler 109 berechnet, um herauszufinden, ob eine signifikante Bewegung stattfindet zwischen den Felder f_N-1 und f_N+1. Das sich bewegende Pixel (N-1, N+1) wird als das Pixel in jedem Subblock (vorzugsweise 32 Subblöcke pro Feld) zwischen Feld f_N-1 und f_N+1 definiert, wo die Pixel-zu-Pixeldifferenz größer als eine Schwelle T_move (T_Bewegung) ist.
Ein Entscheidungsflussdiagramm ist in 5 gezeigt. Ein Verhältnis aus CFD(N-1, N) zu CFD(N, N+1) kleiner als eine Schwelle T1 am Schritt 403 zeigt, dass die Felder f_N und f_N+1 interlaced sind, aber um sicherzustellen, dass ein kleiner Wert von CFD(N-1, N) nicht infolge einer geringen oder keiner Bewegung auftritt, ist es auch erforderlich, dass die Anzahl der sich bewegenden Pixel zwischen Feld f_N-1 und f_N+1 größer als die Schwelle T2 im Schritt 405 ist. Die Entscheidung an den Schritten 407 und 408 hinsichtlich der Progressivität der Felder N und N+1 hängt auch von dem CFD ab, und zwar berechnet für den vorherigen Rahmen während der Entscheidung. Prev_CFD(N, N+1) ist das 'CFD(N, N+1)', berechnet für den vorherigen Rahmen (äquivalent zu entweder CFD(N-2, N-1 ), wenn das Feld f_N-1 nicht ein wiederholtes Feld ist, oder CFD(N-3, N-2), wenn das Feld f_N-1 als ein wiederholtes Feld detektiert ist. Die zwei Schwellen T3 und T4 werden dazu verwendet, um die Empfindlichkeit der Entscheidungsschaltung einzustellen, und zwar von progressiv-zu-interlace bzw. interlace-zu-progressiv (bei den Schritten 409 und 410). Dies dient zur Vermeidung des Problems, dass eine interlaced Sequenz, die wenig oder keine Bewegung besitzt, die Entscheidung zu häufig umschaltet zwischen interlace und progressiv. Geeignete Werte für T_noise, T_mo _ve, T1, T2, T3 und T4 wurden mit ungefähr 5 bzw. 30 bzw. 1.4 bzw. 100 bzw. 1.1 bzw. 1.7 festgestellt.
Wenn es eine Szenenänderung zwischen f_N-2 und f_N beim Schritt oder der Stufe 401 gibt, dann kann es bedeutungslos sein CFD(N-1, N) mit CFD(N, N+1) zu vergleichen, da die Szenenänderungen oder der Szenenwechsel auftreten kann zwischen f_N-1 und f_N was bewirkt, dass der Wert von CFD(N-1, N) willkürlich ist. Die Entscheidung kann nur auf der Information in den Feldern f_N und f_N+1 basieren. Wenn daher ein Szenenwechsel detektiert wird (zwischen dem laufenden Feld f_N und dem zweiten vorherigen Feld f_N-2), dann wird die Bewegungsregionsdetektion (MRD) Methode beim Schritt 402 verwendet. Die MRD Methode detektiert jedwede „jagged Region" oder „sich bewegende Region", die bemerkbar ist, wenn zwei „bewegende" aufeinander folgende Felder interlaced sind und als ein Rahmen betrachtet werden.
Es sei nunmehr auf 6 Bezug genommen (die das MRD Verfahren bzw. die MRD Methode veranschaulicht), wobei A und B Pixel vom Feld N sind und C und D sind Pixel vom Feld N+1 mit Vertikalpositionen wie gezeigt. Wenn die absolute Differenz zwischen A und C, B und C, und B und D alle größer sind als eine Schwelle T_interlace, dann wird gesagt, dass das Paar von Pixel C und D „interlaced Pixel" sind. Um zu entscheiden, ob der gesamte Rahmen interlaced ist, wird die Detektion wiederum vorzugsweise auf 32 Subblöcke basiert. Für jeden Subblock wird dann der Block als interlaced betrachtet, wenn mehr als die T_Region Zahl der oben genannten „interlaced Pixel" detektiert wird. Wenn mehr als ein Block als interlaced festgestellt wird, dann wird der Rahmen als interlaced angesehen.
Die Wiederholungsfelddetektion wird an einem Paar von Feldern der gleichen Parität (ungeradzahlig oder geradzahlig) durchgeführt. Die Feldähnlichkeitsmessung wird wiederum vorzugsweise basierend auf 32 Subblöcken vorgenommen, worin die absolute Summe sämtlicher Pixel-zu-Pixel Differenzen jedes Blockes im Akkumulator 104 akkumuliert wird. Die Wiederholfeldentscheidungseinheit 10b arbeitet wie folgt: die Pixeldifferenzen für jeden Subblockdifferenz (SBD) werden mit einer Schwelle T_repeat (T_wiederhole) verglichen, d.h. SBD/(Block_BreitexBlock_Höhe) < Trepeat für alle Subblöcke
Wenn die Pixeldifferenzen kleiner sind als T_repeat für sämtliche 32 Subblöcke, dann wird gesagt, dass ein Wiederholungsfeld detektiert wird und übersprungen werden kann zum Codieren durch die Feldgruppierungsentscheidungseinheit 110. Es sei bemerkt, dass die Wiederholfelddetektion nur dann ausgeführt wird, wenn der ankommende Rahmen als progressiv durch die Interlace-/Progressiv-Detektion detektiert wurde.
Um zu verhindern, dass ein inkorrektes darauf folgendes Wiederholungsfeld detektiert wird, und zwar infolge von sehr wenig Bewegung, wird der folgende Algorithmus implementiert:

wobei prev_decision1 (vorläufge_Entscheidung1) die erste vorherige Entscheidung für die Wiederholfelddetektion ist, und prev_decision3 (vorläufige_Entscheidung3) die dritte vorherige Entscheidung ist; scene-change (Szenen-Wechsel) ist die Szenenwechseldetektionsentscheidung; und moving-pixel (bewegendes-Pixel) ist die Anzahl von Pixeln mit einer Pixeldifferez größer als T_move, berechnet in dem Subblockbewegungspixelzähler 109. Ein geeigneter Wert für T_repeat wurde mit ungefähr 2.5 festgestellt.
Die Differenzen zwischen dem laufenden Feld und dem vorherigen Feld der gleichen Parität werden zum Detektieren irgendeiner signifikanten Änderung der Szene verwendet. Durch Verwendung der Subblockdifferenz (SBD) wird ein einfaches Schwellenverfahren durch die Szenenwechselentscheidungseinheit 108 verwendet. Jede Blockdifferenz pro Pixel wird verglichen mit einer Schwelle T_Szene. Wenn mehr als T_Block der Subblöcke seine Differenz pro Pixel größer als T_Szene aufweist, dann wird ein Szenenwechsel detektiert, d.h. es SBD/(block_widthxblock_height) < Tscene for more than Tblock sub-blocks SBD(Block_Breitex8lock_Höhe) < TSzene für mehr als TBlock Subblöcke
Abgesehen von der obigen Detektion wird ein Szenenwechsel auch dadurch detektiert, dass man die laufende Felddifferenz mit der vorherigen Felddifferenz vergleicht, um festzustellen, ob die laufende Felddifferenz ein plötzliches Inkrement infolge eines Szenenwechsels aufweist. Die Felddifferenz (FD) ist die Summe von sämtlichen der 32 absoluten Blockdifferenzen. Wenn die laufende Felddifferenz größer als T_ratio (T_Ratio) mal größer ist als die vorherige Felddifferenz (prev_FD = vorherige_Felddifferenz), dann wird gesagt, dass ein Szenenwechsel detektiert werden kann. Der Pseudocode des Szenenwechseldetektionsalgorithmus ist der Folgende:
While (not end of sequence)
Während (nicht am Ende der Folge oder Sequenz) gilt
In einer 3:2 pulldown-Filmsequenz können Untertitel zu einem wiederholten Feld hinzuaddiert werden, was in dem Feld das nicht als ein Wiederholfeld detektiert werden kann, resultiert. Wenn dieses spezielle Feld das laufende Feld wird, hat das laufende FD berechnet (zwischen dem laufenden Feld N und dem zweiten vorherigen Feld N-2) einen kleinen Wert (wegen der kleinen Änderung infolge der Untertitel). Daher muss beim auf den neuesten Standbringen der vorherigen Felddifferenz (prev_FD) der Zustand "prev_FD/FD < T_ratio" vermieden werden, wobei eine "Wiederholfelddifferenz" auf den neuesten Stand gebracht wird, die den später zu machenden Szenenwechselentscheid beeinflusst.
Die vorläufige_Szenen-Änderung oder der Szenen-Wechsel ist eine Szenenwechselentscheidung des vorherigen Rahmens. Wenn es einen Szenen-Wechsel gibt, und zwar detektiert in dem vorherigen Rahmen, dann braucht die Bedingung "prev_FD/FD < T_ratio2" nicht länger wahr zu sein, und zwar infolge des großen Wertes prev_FD und somit wird das Kriterium "prev_Szene_Änderung = Yes" ein update von prev_FD erzwingen. Geeignete Werte für T_Szene, T_Block, T_Ratio1 und T_Ratio2 wurden mit jeweils 15, 25, 2.5 und 3.0 festgestellt.
Ein Vorteil der erfindungsgemäßen Ausführungsbeispiele besteht darin, dass genaue Entscheidungen vorgenommen werden können, und zwar hinsichtlich der Frage, ob ein Rahmen als Interlace- oder Progressivrahmen codiert werden sollte und zwar unmittelbar nach dem zweiten Feld, wo der Rahmen empfangen wird. Dies ermöglicht dem MPEG Codierer den Rahmen als interlace oder progressiv, demgemäß genau zu codieren und zwar einschließlich dieser ungeradzahligen interlaced Rahmen innerhalb einer Filmsequenz infolge der Herausgabe (editing) der ungeradzahligen progressiven Rahmen mit einer interlaced Videosequenz. Bei der oben beschriebenen Interlace-/Progressiv-Bestimmungsmethode werden abgesehen vom Vergleichen der Aufnahme folgenden Felddifferenzen die Bewegungsaktivitäten zwischen zwei aufeinander folgenden Rahmen ebenfalls berechnet um sicherzustellen, dass die interlaced Felder mit wenig oder keiner Bewegung keine unrichtige Entscheidung bewirken. Die vorliegende Erfindung befasst sich auch mit der Situation, wo der Szenenwechsel in dem laufenden Rahmen auftritt. Das Bewegungszonendetektionsverfahren wird sodann für die Interlace-/Progressiv-Bestimmung verwendet.

Claims

Ein Verfahren zur Verarbeitung von Videodaten zum Detektieren von Feldcharakteristika der Daten, wobei die Daten eine Vielzahl von Feldern aufweisen, und wobei die folgenden Schritte vorgesehen sind: Berechnen (300 – 305) eines ersten Differenzwertes (CFD (N-1, N)), also eine Differenz zwischen den Pixeln eines ersten Feldes (N) und den Pixeln eines zweiten Feldes (N-1), wobei das erste Feld auf das zweite Feld folgt; Berechnen (300 – 305) eines zweiten Differenzwertes (CFD (N, N+1)) zwischen den Pixeln des erwähnten ersten Feldes und den Pixeln eines dritten Feldes (N+1), wobei das dritte Feld auf das erste Feld folgt, gekennzeichnet durch die folgenden Schritte: Berechnen (403) eines Verhältnisses zwischen den ersten und zweiten Differenzwerten (CFD (N-1, N), CFD (N, N+1)) und vergleichen des Verhältnisses mit einer voreingestellten Feldschwelle (T1) zur Bestimmung, ob das erste Feld ein ineinandergreifendes Feld (interlaced field) bzw. Zeilensprunghalbbild oder ein progressives bzw. fortlaufendes Feld bzw. Nichtzeilensprungbild bezüglich des dritten Feldes ist und zwar basierend auf dem Ergebnis des Vergleichsschritts.
Verfahren nach Anspruch 1, wobei die Schritte des Berechnens (300 – 305) eines ersten und eines zweiten Differenzwertes (CFD (N-1, N), CFD(N, N+1)), das Berechnen von absoluten Pixeldifferenzen (300 – 304) und das Akkumulieren (305) der absoluten Pixeldifferenzen umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Schritt (300 – 305) des Berechnens eines ersten und zweiten Differenzwertes (CFD (N-1, N), CFD (N, N+1)) die folgenden Schritte aufweist: Berechnen (300, 303) der Pixeldifferenzen zwischen einem Pixel des ersten bzw. des dritten Feldes und zwei Pixeln des zweiten bzw. ersten Feldes; Auswahl (301) der kleineren der erwähnten Pixeldifferenzen; Akkumulieren (305) der kleineren Pixeldifferenz.
Verfahren nach Anspruch 3, wobei vor dem Akkumulieren die erwähnte kleinere Pixeldifferenz auf Null eingestellt wird, wenn sie kleiner ist als eine voreingestellte Rauschschwelle.
Ein Verfahren nach einem der vorhergehenden Ansprüche wobei zur Entscheidung ob das erste Feld ein Ineinander greifendes Feld ist, die Anzahl der sich zwischen den zweiten (N-1) und dritten (N+1) Feldern bewegenden Pixel berechnet wird; wobei dann, wenn die erwähnte Zahl niedriger ist als eine voreingestellte Bewegungspixelschwelle (T2), die ersten und dritten Felder als progressiv bestimmt werden, während sie ansonsten als Ineinander greifend bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Schritt des Verifizierens (401), ob ein Szenenwechsel stattgefunden hat, ausgeführt wird vor den erwähnten Schritten des Berechnens eines ersten Differenzwertes und eines zweiten Differenzwertes.
Verfahren nach Anspruch 6, wobei dann, wenn der Schritt des Verifizierens (401) enthüllt, dass ein Szenenwechsel stattgefunden hat eine Bewegungspixeldetektion ausgeführt wird und zwar einschließlich der folgenden Schritte: Berechnen einer ersten Differenz zwischen einem ersten Pixel (A) in dem ersten Feld (N) und eines zweiten Pixels (C) im dritten Feld (N+1); Berechnen einer zweiten Differenz zwischen einem dritten Pixel (B) in dem ersten Feld und dem zweiten Pixel in dem dritten Feld; Berechnen einer dritten Differenz zwischen dem erwähnten dritten Pixel in dem ersten Feld und einem vierten Pixel (D) in dem dritten Feld; wo bei dann, wenn die ersten, zweiten und dritten Differenzen größer sind als eine Ineinandergreifschweile (T_{Ineinandergreifend}), die dritten und vierten Pixel als Ineinander greifend bestimmt werden.
Verfahren Anspruch 7, wobei folgendes vorgesehen ist: eine Bewegungszone oder Region der Bewegung einschließlich des Wiederholens des erwähnten Schrittes der Bewegungspixeldetektion für die Pixel eines Sub- oder Unterblocks der erwähnten ersten und dritten Felder; wobei dann, wenn die Anzahl der Ineinander greifenden Pixel in dem Subblock höher ist als eine Zonenschwelle (T_Zone) der Subblock als Ineinander greifend betrachtet wird; wobei das Verfahren ferner folgendes aufweist: Wiederholen des Schrittes der Bewegungszonendetektion für weitere Subblöcke und Betrachtung der ersten und dritten Felder als Ineinander greifend dann, wenn mehr als ein Subblock als Ineinander greifend gefunden wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dann, wenn die ersten und dritten Felder Ineinander greifend sind, die ersten und dritten Felder gruppiert werden und ein viertes Feld folgend auf das dritte Feld als aktuelles erstes Feld eingestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dann, wenn die ersten und dritten Felder nicht Ineinander greifend sind, geprüft wird, ob ein viertes Feld darauf folgend auf das dritte Feld das erste Feld wiederholt und wenn dies der Fall ist, gruppieren der ersten und dritten Felder wobei das vierte Feld weggelassen wird und ein fünftes Feld darauf folgend auf das vierte Feld als ein aktuelles erstes Feld eingestellt wird; wobei dann, wenn dies nicht der Fall ist die ersten und dritten Felder gruppiert werden und das vierte Feld als aktuelles erstes Feld eingestellt wird.
Eine Vorrichtung zur Verarbeitung von Videodaten zum Detektieren von Feldcharakteristika der Daten wobei die Daten eine Vielzahl von Feldern aufweisen und wobei die Vorrichtung folgendes vorsieht: Differenzwertberechnungsmittel (106) zum Berechnen eines ersten Differenzwertes (CFD (N-1, N)) als eine Differenz zwischen den Pixeln ei nes ersten Feldes (N) und den Pixeln eines zweiten Feldes (N-1); wobei das erste Feld auf das erste (zweite) Feld folgt, und berechnen eines zweiten Differenzwertes (CFD (N, N+1)) zwischen den Pixeln des erwähnten ersten Feldes und den Pixeln eines dritten Feldes (N+1) wobei das dritte Feld auf das erwähnte erste Feld folgt; eine Ineinander greifend/Progressiv-Entscheidungseinheit (107) verbunden mit den Differenzwertberechnungsmitteln (106) und zur Bestimmung, ob das erwähnte erste Feld ein Ineinander greifendes Feld oder ein progressives Feld ist und zwar bezüglich des dritten Feldes, dadurch ist gekennzeichnet, dass die Ineinander greifend/Progressiv-Entscheidungseinheit (107) folgendes aufweist: Divisions- bzw. Teilungsmittel (403) zum Berechnen eines Verhältnisses zwischen den ersten und zweiten Differenzwerten (CFD (N-1, N), CFD (N, N+1)), und Vergleichsmittel zum Vergleichen des erwähnten Verhältnisses mit einer voreingestellten Feldschwelle und bestimmen ob das erste Feld ein ineinander greifendes Feld oder ein progressives Feld ist und zwar basierend auf dem erwähnten Vergleich.
Verfahren nach Anspruch 11, wobei die Mittel (106) zur Berechnung eines ersten und zweiten Differenzwertes (CFD (N-1), N), CFD (N, N+1 )) Subtraktionsmittel (300 – 303) zum Berechnen der absoluten Pixeldifferenzen und einen Akkumulator (305) der erwähnten absoluten Pixeldifferenzen aufweisen.
Verfahren nach Anspruch 12, wobei die Subtraktionsmittel (300 – 303) Folgendes aufweisen: einen ersten Subtrahierer (300) der ein Pixel des ersten bzw. des dritten Feldes und ein erstes Pixel des zweiten bzw. des ersten Feldes empfängt, und berechnen einer ersten Pixeldifferenz; ein zweiter Subtrahierer (303) zum Empfang des erwähnten Pixels des ersten bzw. des dritten Feldes und zum Empfang eines zweiten Pixels des erwähnten zweiten bzw. ersten Feldes und berechnen einer zweiten Pixeldifferenz; ein Komparator (301) der die kleinere Differenz zwischen den erwähnten ersten und zweiten Pixeldifferenzen auswählt; ein Akkumulator (305) zum Akkumulieren der erwähnten kleineren Pixeldifferenz.
Verfahren nach Anspruch 13, wobei ferner folgendes vorgesehen ist: ein Rauschdämpfer (302) angeordnet stromabwärts gegenüber dem Komparator (301) und zwar zum auf Null setzen der kleineren Pixeldifferenz, wenn sie kleiner ist als eine voreingestellte Rauschschwelle.
Verfahren nach einem der Ansprüche 11-14, wobei folgendes vorgesehen ist: Eingabemittel (100); Ein erster Feldspeicher (101) mit einem Eingang verbunden mit den Eingangsmitteln und einem Ausgang verbunden mit den Differenzwertberechnungsmitteln (106) wobei die Differenzwertberechnungsmittel (106) auch mit den Eingangsmitteln verbunden sind; Ein zweiter Feldspeicher (102) verbunden mit dem Ausgang des ersten Feldspeichers; Ein Bewegungspixelzähler (103, 109) mit Eingängen verbunden mit den Eingangsmitteln und dem Ausgang des erwähnten zweiten Feldspeichers und ferner mit einem Ausgang verbunden mit der Ineinandergreifend/Progressiv-Entscheidungseinheit (107), wobei der Bewegungspixelzähler, die Anzahl der sich zwischen den zweiten (N-1) und dritten (N+1) Feldern bewegenden Pixel zählt, wobei die Ineinandergreifend/Progressiv-Entscheidungseinheit (107) ferner Mittel (405) aufweist zum Vergleichen der Anzahl der sich bewegenden Pixel bezüglich einer voreingestellten sich bewegenden Pixelschwelle (T2), und Mittel zum Definieren der erwähnten ersten und dritten Felder als progressiv, wenn die Anzahl der sich bewegenden Pixel kleiner ist als die erwähnte Bewegungspixelschwelle, zur Definition der ersten und dritten Felder als ineinander greifend im entgegengesetzten Falle.
Verfahren nach Anspruch 15, wobei der Bewegungspixelzähler (103, 109) einen Subtrahierer (103) aufweist und zwar mit Eingängen verbunden mit den Eingangsmitteln und mit dem Ausgang des zweiten Feldspeichers und zur Berechnung absoluter Differenzen zwischen den an den erwähnten eigenen Eingängen vorhandenen Pixeln; ein Subblockbewegungspixelzähler (109) verbunden mit dem Ausgang des Subtrahierers (103).
Verfahren nach Anspruch 16, wobei ferner folgendes vorgesehen ist: ein Subblockakkumulator (104) verbunden mit dem Ausgang des Subtrahierers (103), eine Wiederholungsfelddetektiereinheit (105), die mit einem Eingang mit dem Ausgang des Subblockakkumulators verbunden ist und wobei schließlich eine Feldgruppiereinheit (110) mit dem Ausgang der erwähnten Wiederholungsfelddetektiereinheit und mit dem Ausgang der erwähnten Ineinandergreifend/Progressiv-Entscheidungseinheit (107) verbunden ist.
Verfahren nach Anspruch 17, wobei ferner folgendes vorgesehen ist: eine Szenenänderungsdetektiereinheit (108) mit einem Eingang verbunden mit dem Subblockakkumulator (104) und mit einem Ausgang verbunden mit der Ineinandergreifend/Progressiv-Entscheidungseinheit (107); wobei die Ineinandergreifend/Progressiv-Entscheidungseinheit folgendes aufweist: Mittel zur Berechnung einer ersten Differenz zwischen einem ersten Pixel (A) in dem ersten Feld (N) und einem zweiten Pixel (C) in dem dritten Feld (N+1); Mittel zur Berechnung einer zweiten Differenz zwischen einem dritten Pixel (B) in dem ersten Feld und einem zweiten Pixel in dem dritten Feld; Mittel zur Berechnung einer dritten Differenz zwischen dem dritten Pixel in dem ersten Feld und einem vierten Pixel (D) in dem dritten Feld; und Mittel zur Bestimmung der dritten und vierten Pixel, als ineinander greifend wenn die ersten, zweiten und dritten Differenzen größer sind als eine Ineinandergreifschwelle (T_{Ineinandergreifend}).