DE10140695A1

DE10140695A1 - Verfahren und Vorrichtung zur Erkennung einer Bewegung in einem Bild

Info

Publication number: DE10140695A1
Application number: DE10140695A
Authority: DE
Inventors: Markus Weber
Original assignee: Ps Miro Holdings Inc & Co KG
Current assignee: Pinnacle Systems Inc
Priority date: 2001-08-24
Filing date: 2001-08-24
Publication date: 2003-03-20
Anticipated expiration: 2021-08-25
Also published as: EP1421783A1; US20050041101A1; WO2003019933A1; DE10140695C2

Abstract

Bei einem Verfahren zum Erkennen von bewegten Bereichen eines Pixel aufweisenden Bildes, welches nach dem Zeilensprungverfahren erzeugt wurde, wobei das Bild zwei Halbbilder aufweist, wobei ein erstes Halbbild die geradzahligen Zeilen des Bildes und das zweite Halbbild die ungeradzahligen Zeilen des Bildes aufweist, ergibt sich eine einfache Detektion einer Bewegung in einem Bild, welches für eine Vielzahl von unterschiedlichem Videomaterial einsetzbar ist, dadurch, daß für wenigstens drei aufeinanderfolgende Pixel derselben Spalte, wobei eines der Pixel aus einem Halbbild stammt und die beiden anderen aus dem anderen Halbbild stammen, eine Auswertung der wenigstens drei Pixel bezüglich eines Pixel-Parameters durchgeführt wird, wobei abhängig von dem Ergebnis der Auswertung eine Bewegung in einem Bereich des Bildes, welcher wenigstens eines der drei Pixel aufweist, erkannt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen von bewegten Bereichen eines Pixel aufweisenden Bildes, welches nach dem Zeilensprungverfahren (z. B. Fernsehbild) erzeugt wurde, wobei das Bild zwei Halbbilder aufweist, wobei ein erstes Halbbild die geradzahligen Zeilen des Bildes und das zweite Halbbild die ungeradzahligen Zeilen des Bildes aufweist. Dabei wird unter einem Zeilensprungverfahren insbesondere verstanden, daß zwischen beiden Halbbildern eine zeitliche Differenz (bezüglich der Aufzeichnung oder Erzeugung) besteht, welche vorzugsweise der doppelten Vollbildfrequenz entspricht.
Im Gegensatz zum herkömmlichen Film wird Videomaterial zumeist im Zeilensprungverfahren aufgezeichnet. Hierbei werden zunächst nur Bildzeilen mit ungeradem Zeilenindex abgetastet, und dann mit einer zeitlichen Verzögerung (halber Vollbildabstand = doppelte Vollbildfrequenz) die Bildzeilen mit geradem Zeilenindex. Die Zeilenfolge beim Zeilensprungverfahren (Englisch: "interlacing") gemäß dem PAL-System ist daher 1, 3, 5 . . . 2, 4, 6 . . . Der Vorteil des aus der Fernsehtechnik stammenden Zeilensprungverfahrens oder Zwischenzeilenverfahrens besteht insbesondere in der Vermeidung eines Flimmerns. Ein Pixel (aus dem Englischen "picture element") ist die kleinste Einteilung eines Videoframes oder einer Rasterabtastlinie einer Anzeigeeinrichtung, wie z. B. eines Computermonitors oder dergleichen
Falls die aufgezeichnete Situation statisch ist, macht sich die dem Zeilensprungverfahren inhärente zeitliche Verzögerung nicht bemerkbar und das erzielte Bild ist zu einem progressiv abgetasteten Bild (Zeilenfolge: 1, 2, 3 . . .) identisch. Falls im Gegensatz dazu die aufgezeichnete Situation Bewegung enthält, unterscheiden sich die beiden Halbbilder in den Bereichen, in denen Bewegung stattfindet. In diesem Zusammenhang wird auf die Fig. 5 verwiesen, aus welcher sich insbesondere die Entstehung des sogenannten "Kammeffekts" bzw. von "Kammartefakten" ergibt. In der oberen Hälfte der Fig. 5 ist schematisch eine von einer nicht dargestellten Kamera aufzunehmende Situation, bestehend aus einem unbeweglichen Objekt, illustriert durch einen Baum, und einem sich in Richtung des eingezeichneten Pfeils bewegenden Objekt, illustriert durch ein Fahrzeug, dargestellt. Durch einen punktierten Rahmen ist der Kameraausschnitt der Videokamera angezeigt. Die in der linken oberen Hälfte der Fig. 5 dargestellte Situation geht dabei zeitlich der in der rechten oberen Hälfte der Fig. 5 dargestellte Situation voraus. Man erkennt dies auch an dem größeren Abstand zwischen Fahrzeug und Baum in der rechten oberen Hälfte der Fig. 5. Der zeitliche Abstand der beiden Situationen ist derart, daß das erste Halbbild die in der linken oberen Hälfte der Fig. 5 dargestellte Situation erfaßt, und das zweite Halbbild die in der rechten oberen Hälfte der Fig. 5 dargestellte Situation erfasst. Dies ist deutlich dem in der unteren Hälfte der Fig. 5 dargestellten Kameraausschnitt erkennbar. Dabei sind die Pixel des ersten Halbbildes schwarz und diejenigen des zweiten Halbbildes grau angezeigt. Man entnimmt der Darstellung der Fig. 5 deutlich, daß die Abbildung des unbewegten Objekts unproblematisch ist, während der Bildbereich, in welchem die Bewegung stattfindet, einen sogenannten Kammeffekt aufweist. Hierzu sei auf die hintere Kontur des Fahrzeugs aufmerksam gemacht. Grundsätzlich gilt, daß, wenn das Bild bewegte Anteile aufweist, sich die beiden Halbbilder in den Bereichen, in denen Bewegung stattfindet, unterscheiden. Dieser Kammeffekt ist mit bloßem Auge erkennbar und wirkt als beunruhigender Faktor bzw. Flackern bei der Betrachtung des Bildes, insbesondere wenn ein Standbild oder Einzelbild generiert werden soll. Es sei bemerkt, daß für die Entstehung des Kammeffekts grundsätzlich eine Relativbewegung zwischen Kamera und aufzuzeichnender Situation entscheidend ist. Selbst eine unbewegte Szene kann daher durch den Kammeffekt bei einer starken Kamerabewegung beeinträchtigt sein.
Wenn das Bild im Originalzustand angezeigt wird, stört, wie oben erläutert, der Kammeffekt. Um diesem abzuhelfen, könnte beispielsweise zur Erzeugung eines Standbildes lediglich ein Halbbild angezeigt werden. Dies ist aber keine befriedigende Lösung. In diesem Fall leidet die Bildwiedergabequalität, da nur die halbe vertikale Auflösung aus einem Halbbild gewonnen werden kann. Die Bewegung kann grundsätzlich auch durch Vergleich zeitlich aufeinanderfolgender Vollbilder erfasst werden, wobei dieser Ansatz aber z. B. dann versagt, wenn es sich um eine periodische Bewegung (z. B. Windrad) handelt oder wenn ein schlechter Kontrastunterschied vorliegt oder wenn überhaupt keine Vergleichsbilder vorhanden sind.
Der Erfindung liegt daher die Aufgabe zugrunde, die Nachteile des Standes der Technik zu vermeiden, und insbesondere ein Verfahren der eingangs genannten Art weiterzubilden, mit welchem auf einfache Weise eine Bewegung in einem Bild, insbesondere einem Videoframe bzw. -bild, detektiert werden kann, welches für eine Vielzahl von unterschiedlichem Videomaterial einsetzbar ist.
Diese Aufgabe wird bei einem Verfahren der eingangs genannten Art dadurch gelöst, daß für wenigstens drei aufeinanderfolgende Pixel derselben Spalte, wobei eines der Pixel aus einem Halbbild stammt und die beiden anderen aus dem anderen Halbbild stammen, eine Auswertung der wenigstens drei Pixel bezüglich eines Pixel-Parameters durchgeführt wird, wobei abhängig von dem Ergebnis der Auswertung eine Bewegung in einem Bereich des Bildes, welcher wenigstens eines der drei Pixel aufweist, erkannt wird.
Ein Vorteil besteht darin, daß durch das vorliegende Verfahren der Kammeffekt automatisch, und insbesondere selektiv für verschiedene Bereiche des Bildes detektiert werden kann. Die detektierten Bereiche können editiert und damit die Wiedergabequalität verbessert werden. Insbesondere ist dies für Anwendungen zur Erzeugung eines Standbildes oder bei einer Vergrößerung eines Bild(ausschnitts) vorteilhaft.
Ein weiterer besonderer Vorteil der vorliegenden Erfindung besteht darin, daß es neben der Videobearbeitung auch für andere Zwecke einsetzbar ist, wie z. B. für Sicherheitsanwendungen. Beispielsweise für eine zur Überwachung eingesetzten Videokamera kann mit Hilfe des vorliegenden Verfahrens eine Bewegung auf eine einfache Weise erkannt werden. Besonders gut ist das Verfahren einsetzbar, wenn die Kamera eine unbewegte Szene überwacht, und jegliche Bewegung grundsätzlich geeignet ist einen Alarm auszulösen. Auch kann die vorliegende Erfindung bei einer Vielzahl von derartigen Überwachungskameras simultan verwendet werden und nahezu in Echtzeit einen Alarm auslösen.
Vorteilhafterweise ist die Auswertung ein Vergleich, wobei zwei Sprünge in den Pixel- Parameterwerten der aufeinanderfolgenden Pixel anzeigen, daß in dem Bereich eine Bewegung vorliegt, während ein oder kein Sprung in den Pixel-Parameterwerten anzeigt, daß in dem Bereich keine Bewegung vorliegt. Für eine Reihe von Situationen bzw. Ausgangsbildern ist dieses Verfahren ausreichend. Es findet allerdings dann seine Grenze, wenn die zwei Sprünge anstelle durch einen Kammeffekt durch den Hintergrund verursacht wurden.
Bevorzugt ist der Pixel-Parameterwert ein oder mehrere Parameter eines Farbraums. Als Farbraum kommt hierbei grundsätzlich jeder Farbraum in Frage. Dabei ist ein Farbraum eine mathematische Darstellung eines Satzes von Farben. Lediglich zur Illustration der vorliegenden Erfindung seien der RGB-Raum (verwendet in der Computergraphik und der Farbfernsehtechnologie), der YIQ-, YUV-, und YC_bC_r-Raum (verwendet bei der Ausstrahlung und bei Fernsehsystemen) und der CMYK-Raum (verwendet beim Farbdruck) genannt. Zwischen diesen Räumen kann durch Umrechnungsformeln gewechselt werden. Für die Bearbeitung von Videoframes ist als Farbraum der YC_bC_r-Farbraum bevorzugt. Das Verfahren wird vorzugsweise mit einem Pixel-Parameterwert durchgeführt, es ist aber auch möglich das Verfahren mehrfach mit unterschiedlichen Pixel-Parameterwerten durchzuführen bzw. auch für unterschiedliche Bereiche des Bildes oder unterschiedliche Bilder eines Films verschiedene Pixel-Parameterwerte zur Auswertung heranzuziehen.
Ein für die Auswertung bevorzugter Pixel-Parameter ist die Luminanz (Luma) Y, d. h. die Helligkeitsinformation. Grundsätzlich kann jeder Parameter eines Farbraums, z. B. auch die Chrominanz (Chroma) C_b und/oder C_r, d. h. die Farbinformation, oder eine andere, insbesondere davon abgeleitete, Größe verwendet werden.
Vorteilhafterweise werden auf die Pixel-Parameter der wenigstens drei Pixel eine Fouriertransformation angewendet, woraus entsprechende Fourierkoeffizienten erhalten werden. Eine Bewegung wird erkannt, wenn wenigstens einer der Fourierkoeffizienten ein vorgegebenes Kriterium erfüllt. Durch die Fouriertransformation gelingt es, die absoluten Werte der Pixel-Parameter der ausgewählten Pixelgruppe, d. h. den DC-Anteil, zu unterdrücken und stattdessen Informationen über die für den Kammeffekt charakteristischen räumlichen Frequenzen zu erhalten.
Grundsätzlich ist die Auswahl der Anzahl der Gruppe von Pixeln wichtig, welche der Auswertung unterzogen werden. Hierbei muß eine Abwägung von unterschiedlichen Kriterien gemacht werden. Enthält die Gruppe viele Pixel, so erhöht sich der Rechenaufwand. Ebenfalls ist dann die Aussagekraft einer in dem Bereich der vielen Pixel detektierten Bewegung begrenzt, und macht insbesondere ein Nachbearbeitung des Bildes schwierig. In der Praxis wurde herausgefunden, daß eine Gruppe von vier Pixeln (x_m, m = 0, 1, 2, 3) bevorzugt ist. Dies liegt daran, daß mit drei Pixeln der Kammeffekt noch nicht in allen Fällen mit ausreichender Sicherheit detektiert werden kann.
In diesem Fall ist bevorzugt, daß die Fourierkoeffizienten durch folgende Formel bestimmt werden

Y_n= Σ_m=0,3x_me^-i ^ω ^mn, wobei ω = 2π/4 ist,

wobei als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, und wobei S eine vorgegebener bzw. vorgebbarer Schwellenwert ist.
Vorteilhafterweise werden die Fourierkoeffizienten unmittelbar durch folgende Formel bestimmt

Y₀ = X⁺ ₀₂ + X⁺ ₁₃

Y₁ = X^- ₀₂ + iX^- ₁₃

Y₂ = X⁺ ₀₂ - X⁺ ₁₃

Y₃ = X^- ₀₂ - iX^- ₁₃

wobei X⁺ ₀₂ = x₀ + x₂, X⁺ ₁₃ = x₁ + x₃, X^- ₀₂ = x₀ - x₂ und X^- ₁₃ = x₁ - x₃ gilt, wobei als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, und wobei S eine vorgegebener bzw. vorgebbarer Schwellenwert ist. Auf diese Weise muß nicht jedes Mal die Fouriertransformation durchgeführt werden, sondern lediglich deren Ergebnis kann nach den obigen Formeln unmittelbar berechnet werden.
Dabei wurde durch die vorliegende Erfindung erkannt, daß die Größe

|Y₂| : |Y₁
ein Maß für den Grad der Bewegung repräsentiert. Das Auffinden einer derartigen Größe ist insbesondere deshalb bevorzugt, da abhängig von der Stärke der Bewegung unterschiedliche Korrekturmaßnahmen für das Bild eingeleitet werden können. Im einfachsten Fall, wenn keine signifikante Bewegung erkannt wird, wird in diesem Bereich des Bildes keine weitergehende Bearbeitung durchgeführt. Ebenso kann diese Größe mit einem voreingestellten Alarmparameter verglichen werden. Dabei kann der Alarm ein sicherheitstechnischer Alarm sein, der beispielsweise Wach- oder Sicherheitspersonal vom Auftreten einer Bewegung unterrichtet; der "Alarm" kann aber auch lediglich dazu verwendet werden, um einem Videotechniker anzuzeigen, daß die Bildqualität durch den Kammeffekt verschlechtert ist.
Um einen abgestuften Alarm vorzusehen ist bevorzugt, daß mehrere Schwellenwerte vorgegeben werden, wobei je nach dem höchsten Schwellenwert, für den die Bewertungsgröße |Y₂| : |Y₁| größer oder gleich diesem Schwellenwert ist, der Grad der Bewegung bestimmt wird.
Durch Versuche mit einer Vielzahl von unterschiedlichen Bildern, die von vielen unterschiedlichen Aufnahmeeinrichtungen aufgezeichnet wurden, wurde herausgefunden, daß, wenn der Schwellenwert S in einem Wertebereich von S kleiner oder gleich 30, insbesondere von ungefähr 5 bis ungefähr 15 liegt, und vorzugsweise etwa 8 ist, eine optimale Erkennung der Bewegung herausgefunden werden kann.
Vorzugsweise erfolgt die Abtastung des Bildes oder eines Teilbereiches hiervon, dadurch, daß wenigstens ein Teil des Bildes spaltenweise, insbesondere von links nach rechts, mit jeweils einer Gruppe von wenigstens drei übereinanderliegenden Pixel derselben Spalte abgetastet wird, wobei nach dem Durchlauf durch im wesentlichen alle Spalten, die Abtastung verschoben um im wesentlichen eine Zeile wiederholt wird. Das erfindungsgemäße Verfahren muß daher nicht unbedingt auf das gesamte Bild angewendet werden. Es kann ohne jede Beeinträchtigung auch auf Bildausschnitte angewandt werden, solange diese mindestens drei Zeilen bzw. eine Anzahl von Zeilen entsprechend der verwendeten Pixelanzahl (bevorzugt sind vier Pixel bzw. Zeilen) aufweisen. Beispielsweise können auch unkritische Bereiche, z. B. Randbereiche, ausgespart werden.
Dabei ist vorteilhafterweise der Bereich des Bildes, in dem eine Bewegung erkannt wird, ein einzelnes Pixel, wobei das einzelne Pixel vorzugsweise eines der inneren Pixel bezüglich der Gruppe von Pixeln ist. Insbesondere für den Fall, daß vier Pixel verwendet werden ist bevorzugt, daß das einzelne Pixel das Pixel mit der zweitniedrigsten Zeilennummer ist.
Insbesondere bei sicherheitstechnischen Anwendungen, aber auch zur automatischen Prüfung von Bildmaterial ist bevorzugt, daß ansprechend auf die Erkennung einer Bewegung in dem Bild ein Alarm ausgelöst wird. Der Alarm kann dabei insbesondere ein visueller und/oder akustischer Alarm sein.
Vorzugsweise wird das Bild nach der Erkennung einer Bewegung in der Weise nachbearbeitet, daß in Bereichen in denen keine Bewegung vorliegt, das Bild unverändert übernommen wird, während zur Darstellung von Bereichen des Bildes in denen Bewegung erkannt worden ist, lediglich Pixelinformation aus einem Halbbild verwendet wird. Dabei ist es von Vorteil, daß die Wahrnehmung durch das menschliche Auge bei der Erkennung von Bewegung ohnehin entsprechende Mechanismen besitzt, um die Bewegung besonders gut zu erfassen. Insbesondere wirkt dieser Mechanismus auch dahingehend, die auf diese Weise bearbeiteten Bilder optisch als von guter Qualität wahrzunehmen.
Genauer wird für eine Stelle des Bildes, in denen Bewegung erkannt worden ist, zur Darstellung lediglich der Pixelwert aus einem Halbbild verwendet wird, wobei an jeweiligen Stellen des anderen Halbbildes, an welchen ebenfalls Bewegung erkannt wurde und die benachbart zu der Stelle sind, Ersatzwerte verwendet werden, welche durch eine Interpolation von Pixelwerten des einen Halbbildes aus einer Umgebung der Stelle erhalten werden.
Vorzugsweise reicht die Umgebung der Stelle, welche zur Interpolation herangezogen wird, in etwa bis zum dritten aufeinanderfolgenden Pixel des einen Halbbildes. Lediglich die Berücksichtigung der unmittelbar benachbarten Pixel ist zwar für manche Fälle ausreichend, stellt aber in der Regel nur eine oftmals unzureichende Näherung erster Ordnung dar. Dennoch kann die erste Näherung bevorzugt sein, und zwar beispielsweise in dem Fall, in welchem die Bewegung in einem Randbereich des Bildes vorliegt und keine größere Umgebung vorhanden ist.
Ferner ist bevorzugt, daß das erfindungsgemäße Verfahren als ein Softwareprogramm implementiert ist. Es ist aber ebenso möglich, daß das Verfahren hardwaremäßig ausgeführt ist oder in einen Mikrochip, eine Kamera, einen Camcorder, ein Fernsehgerät, einen Videorecorder, einen DVD-Spieler oder dergleichen integriert ist.
Weitere bevorzugte Ausführungsformen der Erfindung sind in den abhängigen Patentansprüchen offenbart.
Die Erfindung, sowie weitere Merkmale, Ziele, Vorteile und Anwendungsbeispiele derselben wird bzw. werden nachfolgend anhand einer Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei bilden alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger sinnvoller Kombination den Gegenstand der vorliegenden Erfindung, und zwar unabhängig von ihrer Zusammenfassung in den Patentansprüchen oder deren Rückbeziehung. In den Zeichnungen zeigen:
Fig. 1a bis d schematische Diagramme zur Veranschaulichung der theoretischen Grundlagen und praktischen Realisierung des bevorzugten Ausführungsform der vorliegenden Erfindung;
Fig. 2a bis d schematische Darstellungen zur Veranschaulichung der Abtastung eines Bildes gemäß der vorliegenden Erfindung;
Fig. 3 ein schematisches Flußdiagramm zur Veranschaulichung eines ersten Ausführungsbeispiels der vorliegenden Erfindung zur Erzeugung eines Standbilds;
Fig. 4 ein schematisches Flußdiagramm zur Veranschaulichung eines zweiten Ausführungsbeispiels der vorliegenden Erfindung zur Erzeugung eines Bewegungsmelders; und
Fig. 5 ein Schaubild zur Veranschaulichung der Entstehung und der Auswirkungen des Kammeffekts.
In den Fig. 1a bis d sind Diagramme zur Veranschaulichung der vorliegenden Erfindung schematisch dargestellt. Auf der x-Achse der jeweiligen Diagramme ist die Zeilennummer bzw. der Zeilenindex dargestellt und auf der y-Achse ist ein Pixel-Parameterwert dargestellt. Der Pixel-Parameterwert ist eine "Koordinate" eines Pixel-Farbraums und vorzugsweise die Luma (Y) des YC_bC_r-Farbraums. Zunehmende Werte des y-Werts der Darstellung entsprechen daher einer zunehmenden Helligkeit der Pixel, wobei die Farbinformation unterdrückt ist. Zur Erläuterung des bevorzugten Ausführungsbeispiels der vorliegenden Erfindung sind in den Diagrammen der Fig. 1a bis d jeweils vier unmittelbar übereinanderliegende Pixel x_m, m = 0, 1, 2, 3, aus derselben Spalte eingetragen. Dabei bezeichnen die x_m, m = 0, 1, 2, 3 die Pixelparameter der einzelnen Pixel(vektoren), d. h. zum Beispiel die Luma. Von den möglichen Konfigurationen sind in den Fig. 1a bis d zur Vereinfachung lediglich vier signifikante Grundmuster dargestellt. Grundsätzlich gibt es für einen Wertebereich von zwei Werten bei vier Pixeln genau 2⁴ = 16 verschiedene Grundmuster. Davon sind die zwei Grundmuster, bei welchen alle vier Pixelwerte 1 oder 2 sind, ohnehin nicht relevant, da, wie aus der Einleitung klar ist, kein Kammeffekt vorliegen kann. Ebenfalls sind die Typen von Grundmustern, bei denen drei Pixelwerte 1 oder 2 sind, nicht relevant, da ebenfalls kein Kammeffekt vorhanden ist. Die Anzahl der letzteren Situationen ist acht Grundmuster (jeweils eines der vier Pixelwerte ist von den übrigen drei verschieden, wobei der Zustand der übrigen drei Pixelwerte 1 oder 2 sein kann). Ferner wurde auf eine Darstellung der den Fig. 1c und 1d entsprechenden Situationen verzichtet, bei denen x₀ = 1, x₁ = 1, x₂ = 2 und x₃ = 2 bzw. x₀ = 2, x₁ = 1, x₂ = 1, und x₃ = 2 gilt. Insofern sind nur vier der sechzehn theoretisch möglichen Muster dargestellt. Die in den Fig. 1a und 1b dargestellten Diagramme entsprechen daher jeweils einem Fall, in welchem ein Kammeffekt auftritt. Dagegen repräsentieren die in den Fig. 1c und 1d dargestellten Diagramme, wie auch die in den Figuren nicht dargestellten Konstellationen, jeweils einen Fall, in welchem kein Kammeffekt, sondern z. B. eine Kontrastkante, wie sie eine Kamera erzeugt, vorliegt.
Gemäß dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird, um den Kammeffekt identifizieren zu können, eine Fouriertransformation auf die Pixelwerte der Pixel x_m, m = 0, 1, 2, 3 von vier übereinanderliegenden Zeilen angewendet. Die Auswahl von vier Pixeln ist dabei bevorzugt, daß weniger als vier Pixel nicht immer mit einer ausreichenden Sicherheit auf das Vorliegen einer Bewegung schließen lassen und mehr als vier Pixel, den Bereich, welcher auf Bewegung untersucht werden soll, nicht hinreichend begrenzen, und daher die Aussagekraft der Bewegungserkennung bei erhöhtem Rechenaufwand verschlechtern. Die Fourierkoeffizienten erlauben die Formulierung eines einfachen und stets signifikanten Kriteriums zum Auftreten des Kammeffekts. Gegeben seien daher vier Pixelwerte x_m, m = 0, 1, 2, 3. Diese werden durch

Y_n= Σ_m=0,3x_me^-i ^ω ^mn, ω = 2π/4 (Gleichung 1)

in vier Fourierkoeffizienten Y_n, n = 0, 1 , 2, 3, überführt. Unter Verwendung der Abkürzungen

X⁺ ₀₂ = x₀ + x₂; X⁺ ₁₃ = x₁ + x₃
X^- ₀₂ = x₀ - x₂; X^- ₁₃ = x₁ - x₃

ergibt dies für die Fourierkoeffizienten Y_n

Y₀ = X⁺ ₀₂ + X⁺ ₁₃ (Gleichung 2)

Y₁ = X^- ₀₂ + iX^- ₁₃ (Gleichung 3)

Y₂ = X⁺ ₀₂ - X⁺ ₁₃ (Gleichung 4)

Y₃ = X^- ₀₂ - iX^- ₁₃ (Gleichung 5)
Die sich in den Fällen der Fig. 1a bis 1d ergebenden Fourierkoeffizienten Y_n, n = 0, 1, 2, 3, sind jeweils rechts von dem zugehörigen Diagramm angezeigt. Zum Zweck der praktischen Realisierung der vorliegenden Erfindung müssen selbstverständlich nur die Fouriertransformation Y₁ und Y₂ berechnet werden. Das Zigzag-Muster des Kammeffekts sorgt dafür, daß die Koeffizienten Y₁ und Y₃ gegenüber Y₂ zu vernachlässigen sind, während sie in den anderen Fällen, in denen kein Kammeffekt vorliegt, gegenüber Y₂ dominieren. Deshalb ist das Kriterium für das Vorliegen einer Bewegung einfach |Y₂| : |Y₁| ≥ S wobei S ein vorgegebener Schwellenwert ist. Diese Bedingung ist das einzige zur Bestimmung einer Bewegung in dem Bereich des Bildes, welcher aus den vier Pixeln besteht, zu prüfende Kriterium. Dabei kann die in dem absoluten Betrag gefasste Größe auch eine komplexe Zahl sein. Insbesondere ist dieses Kriterium erfüllt, wenn |Y₁| = 0 gilt. In der Zeichnung sind exemplarisch die Werte des Pixel-Parameter, welcher vorzugsweise die Luma ist, als 1 und 2 angezeigt. Dies dient jedoch nur zum Zweck der Veranschaulichung der vorliegenden Erfindung und das Kriterium |Y₂| : |Y₁| ≥ S ist grundsätzlich auf jede in der Praxis vorkommende Situation mit allen Werten für die Pixel-Parameter anwendbar, und zwar insbesondere aufgrund der Wählbarkeit des Schwell- oder Grenzwerts S, welcher vorzugsweise ungefähr 8 ist. Anstelle des obigen Kriteriums können auch andere Kriterien verwendet werden, insbesondere ohne die Zuhilfenahme von aufwendigen rechentechnischen Operationen, wie eine Fouriertransformation, z. B. durch einfache Erkennung von Sprüngen innerhalb vorgegebener Wertebereiche.
In den Fig. 2a bis d ist schematisch dargestellt wie die Gruppe von vier Pixeln aus dem Bild nacheinander ausgewählt wird, wobei jeweils das oben in Zusammenhang mit den Fig. 1a bis d beschriebene Verfahren zur Bewegungsdetektion durchgeführt wird. Dargestellt in den Fig. 2a bis d ist jeweils ein Bereich des Bildes von fünf mal fünf Pixel. In den Fig. 2a und 2c ist jeweils der linke obere Bereich und in der Fig. 2b der rechte obere Bereich und in Fig. 2d der untere linke Bereich des Bildes als Ausschnitt dargestellt. In den Fig. 2a bis d sind jeweils die zur Bearbeitung ausgewählten Pixelpositionen durch ausgefüllte Kreise dargestellt sind. Jedes Pixel ist durch seine Koordinaten (Zeilenposition bzw. -nummer, Spaltenposition bzw. -nummer) eindeutig bestimmt. Gemäß der ITU-R BT.601 Videonorm (vormals CCIR 601) ist der Wertebereich für die Zeilennummer 1 bis 720 und der Wertebereich für die Spaltennummer 1 bis 485. Aufgrund des eingangs erläuterten Zeilensprungverfahrens bezeichnen die ungeradzahligen Zeilennummern daher Zeilen aus dem ersten Halbbild, während die geradzahligen Zeilennummern Zeilen aus dem zweiten Halbbild bezeichnen. Der Anfang des erfindungsgemäßen Abtastschemas ist in Fig. 2a dargestellt. Als erstes Pixelquadrupel werden die vier Pixel der ersten Spalte mit den niedrigsten Zeilennummern ausgewählt. Dies sind die vier Pixel (1,1), (2,1), (3,1) und (4,1). In den Fig. 2a bis d sind diese Pixel durch einen Kreis markiert. Falls nach dem zuvor beschriebenen Verfahren bei der Auswertung dieses Tupels Bewegung erkannt wurde, wird für das Pixel mit der zweitniedrigsten Zeilennummer, d. h. das Pixel (2,1), das Vorliegen eines Kammeffekts festgestellt. Anschließend wird das Verfahren für die rechts daneben liegendes Spalte, d. h. das nächste Tupel (1,2), (2,2), (3,2) und (4,2), entsprechend durchgeführt. Falls nach dem zuvor beschriebenen Verfahren bei der Auswertung dieses Tupels Bewegung erkannt wurde, wird für das Pixel (2,2) das Vorliegen eines Kammeffekts festgestellt. Das Verfahren schreitet nun weiter nach rechts fort, bis zu der in Fig. 2b dargestellten Situation. Für die ITU-R BT.601 Videoempfehlung sind dies die vier Pixel (1,485), (2,485), (3,485) und (4,485). Falls nach dem zuvor beschriebenen Verfahren bei der Auswertung dieses Tupels Bewegung erkannt wurde, wird für das Pixel (2,485) das Vorliegen eines Kammeffekts festgestellt. Daraufhin wird das Verfahren eine Zeile nach unten verschoben wiederholt. Diese Situation, d. h. die 486te Wiederholung des Verfahrens, ist bezüglich der Pixel (2,1), (3,1), (4,1) und (5,1) in Fig. 2c dargestellt. Das Verfahren wird nun weiter gemäß der obigen Bildungsregel durchgeführt, wobei in Fig. 2d das letzte Pixeltupel (720,485), (720,485), (720,485) und (720,485) des Videoframes dargestellt ist. Für diejenigen Pixel für die eine Bewegung erkannt wurde, wird nach einer vollen Abtastung eines Bildes eine Editierung bzw. Nachbearbeitung durchgeführt. Wie zuvor beschrieben wurde, kann diese einfach durch Weglassen der entsprechenden Pixel erfolgen. Ebenso kann eine Interpolation durch Pixel der Umgebung erfolgen.
Anhand der Fig. 3 wird im folgenden der Ablauf des erfindungsgemäßen Verfahren beschrieben. In einem Schritt 10 wird jeweils eine neues Tupel von Pixeln, vorzugsweise ein Quadrupel bestehend aus vier Pixeln ausgewählt. Die bevorzugte Auswahlvorschrift wurde zuvor anhand der Fig. 2a bis d näher erläutert. Anschließend wird im Schritt 20 eine Auswertung im Hinblick auf das Auftreten eines Kammeffekts durchgeführt. Die bevorzugte Art der Auswertung wurde oben ebenfalls in Verbindung mit den Fig. 1a bis d bereits erläutert. Falls das Ergebnis dieser Abfrage JA ist, werden in einem Schritt 30 die Bereiche bzw. Pixel, bei denen eine intra-frame Bewegung erkannt wurde gespeichert. Falls das Ergebnis der Abfrage im Schritt 20 NEIN ist, fährt das Verfahren mit dem Schritt 40 fort. Im Schritt 40 wird nun abgefragt, ob der ganze Videoframe bzw. der gesamte zu untersuchende Teilbereich des Bildes bereits abgetastet wurde. Falls das Ergebnis dieser Abfrage NEIN ist, kehrt der Ablauf zum Schritt 10 zurück. Anderenfalls, d. h. falls das Ergebnis dieser Abfrage JA ist, wird in einem Schritt 50 eine Bildbearbeitung für die erkannten Bereiche bzw. Pixel für die eine Bewegung erkannt wurde, durchgeführt, um die Wiedergabequalität des Bildes, insbesondere zur Unterdrückung von sich aus dem Kammeffekt ergebenden, störenden Effekten, zu erhöhen.
In dem Ablaufdiagramm der Fig. 4 ist eine Variante der Erfindung dargestellt, bei der nach der Erkennung eines Kammeffekts bzw. einer Bewegung im Videoframe ein Alarm ausgelöst wird. Das in Fig. 4 dargestellte Verfahren weist teilweise im wesentlichen ähnliche Verfahrensschritte wie das in Fig. 3 dargestellte Verfahren auf. Hierzu wird auf die Schritte 10 und 20 verwiesen. Ein wesentlicher Unterschied besteht allerdings darin, daß falls die Abfrage im Schritt 20 ergibt, daß Bewegung vorliegt, dies einen Alarm im Schritt 25auslöst. Selbstverständlich kann gemäß einer nicht dargestellten Variante der Erfindung ein Alarm im Schritt 25 auch nur dann ausgelöst werden, wenn der Bereich in dem Bewegung erkannt wird hinreichend groß ist, d. h. in dem Fall in welchem insbesondere mehrere Abfragen im Schritt 20 das Vorliegen einer Bewegung im Bild anzeigen.
Die Erfindung wurde vorstehend anhand von bevorzugten Ausführungsformen derselben näher erläutert. Für einen Fachmann ist es jedoch offensichtlich, dass unterschiedliche Abwandlungen und Modifikationen gemacht werden können, ohne von dem der Erfindung zugrundeliegenden Gedanken abzuweichen.

Claims

1. Verfahren zum Erkennen von bewegten Bereichen eines Pixel aufweisenden Bildes, welches nach dem Zeilensprungverfahren erzeugt wurde, wobei das Bild zwei Halbbilder aufweist, wobei ein erstes Halbbild die geradzahligen Zeilen des Bildes und das zweite Halbbild die ungeradzahligen Zeilen des Bildes aufweist, dadurch gekennzeichnet, daß für wenigstens drei aufeinanderfolgende Pixel derselben Spalte, wobei eines der Pixel aus einem Halbbild stammt und die beiden anderen aus dem anderen Halbbild stammen, eine Auswertung der wenigstens drei Pixel bezüglich eines Pixel-Parameters durchgeführt wird, wobei abhängig von dem Ergebnis der Auswertung eine Bewegung in einem Bereich des Bildes, welcher wenigstens eines der drei Pixel aufweist, erkannt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Auswertung ein Vergleich ist, wobei zwei Sprünge in den Pixel-Parameterwerten der aufeinanderfolgenden Pixel anzeigen, daß in dem Bereich eine Bewegung vorliegt, während ein oder kein Sprung in den Pixel-Parameterwerten anzeigt, daß in dem Bereich keine Bewegung vorliegt.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß der Pixel-Parameterwert ein oder mehrere Parameter eines Farbraums ist.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß der Farbraum der YC_bC_r- Farbraum ist.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß der Pixel-Parameter das Luma (Y) ist.

6. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß das Bild ein Videoframe ist.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß auf die Pixel-Parameter der wenigstens drei Pixel eine Fouriertransformation angewendet wird, woraus entsprechende Fourierkoeffizienten erhalten werden, wobei eine Bewegung erkannt wird, wenn wenigstens einer der Fourierkoeffizienten ein vorgegebenes Kriterium erfüllt.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß vier Pixel (x_m, m = 0, 1, 2, 3), verwendet werden.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß die Fourierkoeffizienten durch folgende Formel bestimmt werden
Y_n= Σ_m=0,3x_me^-i ^ω ^mn, wobei ω = 2π/4 ist,
wobei als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, und wobei S ein vorgegebener Schwellenwert ist.

10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, wobei Y₁ = X^- ₀₂ + iX^- ₁₃ und Y₂ = X⁺ ₀₂ -X⁺ ₁₃ ist, wobei X⁺ ₀₂ = x₀ + x₂, X⁺ ₁₃ = x₁ + x₃, X^- ₀₂ = x₀ - x₂ und X^- ₁₃ = x₁ - x₃ gilt, und wobei S ein vorgegebener Schwellenwert ist.

11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, daß die Größe
|Y₂| : |Y₁ ein Maß für den Grad der Bewegung repräsentiert.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß mehrere Schwellenwerte vorgegeben werden, wobei je nach dem höchsten Schwellenwert, für den die Bewertungsgröße |Y₂| : |Y₁| größer oder gleich diesem Schwellenwert ist, der Grad der Bewegung bestimmt wird.

13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, daß der Schwellenwert S in einem Wertebereich von ungefähr 5 bis ungefähr 15 liegt, und vorzugsweise etwa 8 ist.

14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, daß wenigstens ein Teil des Bildes spaltenweise, insbesondere von links nach rechts, mit jeweils einer Gruppe von wenigstens drei übereinanderliegenden Pixel derselben Spalte abgetastet wird, wobei nach dem Durchlauf durch im wesentlichen alle Spalten, die Abtastung verschoben um im wesentlichen eine Zeile wiederholt wird.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß der Bereich des Bildes, in dem eine Bewegung erkannt wird, ein einzelnes Pixel ist.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß das einzelne Pixel eines der inneren Pixel bezüglich der Gruppe von Pixeln ist.

17. Verfahren nach Anspruch 8 und 16, dadurch gekennzeichnet, daß das einzelne Pixel das Pixel mit der zweitniedrigsten Zeilennummer ist.

18. Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, daß ansprechend auf die Erkennung einer Bewegung in dem Bild ein Alarm ausgelöst wird.

19. Verfahren zum Bearbeiten eines Bildes, in welchem Bewegung gemäß einem Verfahren der vorhergehenden Ansprüche 1 bis 15 erkannt wurde, dadurch gekennzeichnet, daß in Bereichen in denen keine Bewegung vorliegt, das Bild unverändert übernommen wird, während zur Darstellung von Bereichen des Bildes in denen Bewegung erkannt worden ist, lediglich Pixelinformation aus einem Halbbild verwendet wird.

20. Verfahren nach Anspruch 15 und 19, dadurch gekennzeichnet, daß für eine Stelle des Bildes, in denen Bewegung erkannt worden ist, zur Darstellung lediglich der Pixelwert aus einem Halbbild verwendet wird, wobei an jeweiligen Stellen des anderen Halbbildes, an welchen ebenfalls Bewegung erkannt wurde und die benachbart zu der Stelle sind, Ersatzwerte verwendet werden, welche durch eine Interpolation von Pixelwerten des einen Halbbildes aus einer Umgebung der Stelle erhalten werden.

21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß die Umgebung der Stelle in etwa bis zum dritten aufeinanderfolgenden Pixel des einen Halbbildes reicht.

22. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Verfahren als ein Softwareprogramm implementiert ist.

23. Verwendung einer Detektion des Kamm-Effekts durch Auswertung eines Pixel- Parameters einer Gruppe von Pixeln zur Erkennung von bewegten Bereichen eines Pixel aufweisenden Bildes, welches nach dem Zeilensprungverfahren erzeugt wurde.

24. Vorrichtung zum Erkennen von bewegten Bereichen eines Pixel aufweisenden Bildes, welches nach dem Zeilensprungverfahren erzeugt wurde, wobei das Bild zwei Halbbilder aufweist, wobei ein erstes Halbbild die geradzahligen Zeilen des Bildes und das zweite Halbbild die ungeradzahligen Zeilen des Bildes aufweist, dadurch gekennzeichnet, daß die Vorrichtung Auswertemittel aufweist, um für wenigstens drei aufeinanderfolgende Pixel derselben Spalte, wobei eines der Pixel aus einem Halbbild stammt und die beiden anderen aus dem anderen Halbbild stammen, eine Auswertung der wenigstens drei Pixel bezüglich eines Pixel-Parameters durchzuführen, wobei abhängig von dem Ergebnis der Auswertung eine Bewegung in einem Bereich des Bildes, welcher wenigstens eines der drei Pixel aufweist, erkannt wird.

25. Vorrichtung nach Anspruch 24, dadurch gekennzeichnet, daß die Auswertemittel Vergleichsmittel sind, wobei zwei Sprünge in den Pixel-Parameterwerten der aufeinanderfolgenden Pixel anzeigen, daß in dem Bereich eine Bewegung vorliegt, während ein oder kein Sprung in den Pixel-Parameterwerten anzeigt, daß in dem Bereich keine Bewegung vorliegt.

26. Vorrichtung nach Anspruch 24 oder 25, dadurch gekennzeichnet, daß der Pixel- Parameterwert ein oder mehrere Parameter eines Farbraums ist.

27. Vorrichtung nach Anspruch 26, dadurch gekennzeichnet, daß der Farbraum der YC_bC_r-Farbraum ist.

28. Vorrichtung nach Anspruch 27, dadurch gekennzeichnet, daß der Pixel-Parameter das Luma (Y) ist.

29. Vorrichtung nach einem der Ansprüche 24 bis 28, dadurch gekennzeichnet, daß das Bild ein Videoframe ist.

30. Vorrichtung nach einem der Ansprüche 24 bis 29, dadurch gekennzeichnet, daß auf die Pixel-Parameter der wenigstens drei Pixel eine Fouriertransformation angewendet wird, woraus entsprechende Fourierkoeffizienten erhalten werden, wobei eine Bewegung erkannt wird, wenn wenigstens einer der Fourierkoeffizienten ein vorgegebenes Kriterium erfüllt.

31. Vorrichtung nach einem der Ansprüche 24 bis 30, dadurch gekennzeichnet, daß vier Pixel (x_m, m = 0, 1, 2, 3), verwendet werden.

32. Vorrichtung nach Anspruch 31, dadurch gekennzeichnet, daß die Fourierkoeffizienten durch folgende Formel bestimmt werden
Y_n= Σ_m=0,3x_me^-i ^ω ^mn, wobei ω = 2π/4 ist
wobei als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, und wobei S ein vorgegebener Schwellenwert ist.

33. Vorrichtung nach Anspruch 31, dadurch gekennzeichnet, daß als Kriterium zur Erkennung einer Bewegung |Y₂| : |Y₁| ≥ S verwendet wird, wobei Y₁ = X^- ₀₂ + iX^- ₁₃ und Y₂ = X⁺ ₀₂- X⁺ ₁₃ ist, wobei X⁺ ₀₂ = x₀ + x₂, X⁺ ₁₃ = x₁ + x₃, X^- ₀₂ = x₀ - x₂ und X^- ₁₃ = x₁ - x₃ gilt, und
wobei S ein vorgegebener Schwellenwert ist.

34. Vorrichtung nach Anspruch 32 oder 33, dadurch gekennzeichnet, daß die Größe
|Y₂| : |Y₁
ein Maß für den Grad der Bewegung repräsentiert.

35. Vorrichtung nach Anspruch 34, dadurch gekennzeichnet, daß mehrere Schwellenwerte vorgegeben werden, wobei je nach dem höchsten Schwellenwert, für den die Bewertungsgröße |Y₂| : |Y₁| größer oder gleich diesem Schwellenwert ist, der Grad der Bewegung bestimmt wird.

36. Vorrichtung nach einem der Ansprüche 32 bis 35, dadurch gekennzeichnet, daß der Schwellenwert S in einem Wertebereich von ungefähr 5 bis ungefähr 15 liegt, und vorzugsweise etwa 8 ist.

37. Vorrichtung nach einem der Ansprüche 24 bis 36, dadurch gekennzeichnet, daß wenigstens ein Teil des Bildes spaltenweise, insbesondere von links nach rechts, mit jeweils einer Gruppe von wenigstens drei übereinanderliegenden Pixel derselben Spalte abgetastet wird, wobei nach dem Durchlauf durch im wesentlichen alle Spalten, die Abtastung verschoben um im wesentlichen eine Zeile wiederholt wird.

38. Vorrichtung nach Anspruch 37, dadurch gekennzeichnet, daß der Bereich des Bildes, in dem eine Bewegung erkannt wird, ein einzelnes Pixel ist.

39. Vorrichtung nach Anspruch 38, dadurch gekennzeichnet, daß das einzelne Pixel eines der inneren Pixel bezüglich der Gruppe von Pixeln ist.

40. Vorrichtung nach Anspruch 31 und 39, dadurch gekennzeichnet, daß das einzelne Pixel das Pixel mit der zweitniedrigsten Zeilennummer ist.

41. Vorrichtung nach einem der Ansprüche 21 bis 40, dadurch gekennzeichnet, daß die Vorrichtung eine Alarmeinrichtung aufweist, wobei ansprechend auf die Erkennung einer Bewegung in dem Bild die Alarmeinrichtung betätigt und ein Alarm ausgelöst wird.

42. Vorrichtung nach einem der Ansprüche 24 bis 41, dadurch gekennzeichnet, daß die Vorrichtung ferner eine Einrichtung zum Bearbeiten des Bildes aufweist, die in Bereichen in denen keine Bewegung erkannt wurde, das Bild unverändert übernimmt, während sie in Bereichen des Bildes, in denen Bewegung erkannt wurde, eine Bearbeitung vornimmt, wobei lediglich Pixelinformation aus einem, Halbbild verwendet wird.

43. Vorrichtung nach Anspruch 38 und 42, dadurch gekennzeichnet, daß für eine Stelle des Bildes, in denen Bewegung erkannt worden ist, zur Darstellung lediglich der Pixelwert aus einem Halbbild verwendet wird, wobei an jeweiligen Stellen des anderen Halbbildes, an welchen ebenfalls Bewegung erkannt wurde und die benachbart zu der Stelle sind, Ersatzwerte verwendet werden, welche durch eine Interpolation von Pixelwerten des einen Halbbildes aus einer Umgebung der Stelle erhalten werden.

44. Vorrichtung nach Anspruch 43, dadurch gekennzeichnet, daß die Umgebung der Stelle in etwa bis zum dritten aufeinanderfolgenden Pixel des einen Halbbildes reicht.

45. Vorrichtung nach einem der Ansprüche 24 bis 44, dadurch gekennzeichnet, daß die Vorrichtung ein Mikrochip, eine Kamera, ein Camcorder, ein Fernsehgerät, ein Videorecorder, ein DVD-Spieler oder dergleichen ist.