DE3854171T2

DE3854171T2 - Bewertung von Bewegungsvektoren in Fernsehbildern.

Info

Publication number: DE3854171T2
Application number: DE3854171T
Authority: DE
Inventors: Clive Henry Gillard; Carl Vincent Harradine
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1987-06-09
Filing date: 1988-05-20
Publication date: 1995-12-21
Anticipated expiration: 2008-05-21
Also published as: DE3854171D1; US4864393A; JPS63313980A; EP0294962A2; EP0294962B1; EP0294962A3

Description

Die vorliegende Erfindung bezieht sich auf eine Vektorbewertung in Fernsehbildern. Eine derartige Bewegungsvektor-Bewertung wird insbesondere, jedoch nicht ausschließlich, in fernsehnormen-Umsetzern und in Zeitlupen-Prozessoren benutzt.
Der internationale Austausch von Fernsehprogrammen erfordert Normenumsetzer infolge unterschiedlicher Fernsehnormen, die in verschiedenen Ländern benutzt werden, z. B. das 625-Zeilen/50-Teilbilder-pro-Sekunde- (625/50-)PAL-System, das im Vereinigten Königreich benutzt wird, und das 525-Zeilen/60-Teilbilder-pro-Sekunde- (525/60-)NTSC-system, das in den USA benutzt wird.
Es sind bereits zahlreiche unterschiedliche Normenumsetzer vorgeschlagen worden. Einer der bekanntesten davon ist der ACE (Advanced Conversion Equipment), der durch die British Broadcasting Corporation entwickelt wurde. ACE arbeitet grundsätzlich auf der Basis eines digitalen Eingangs-fernsehsignals Zeile für Zeile, um interpolierte Teilbilder abzuleiten, die erforderlich sind, um ein digitales Ausgangs- Fernsehsignal zu bilden. Die Interpolation wird nicht nur räumlich unter Benutzung vier aufeinanderfolgender horizontaler Abtastzeilen des Eingangs-Fernsehsignals, sondern auch unter vorübergehender Benutzung aufeinanderfolgender Teilbilder des Eingangs-Fernsehsignals vorgenommen. Demzufolge wird jede Zeile des Ausgangs-Fernsehsignals durch Multiplizieren betreffender Abtastproben aus 16 Zeilen des Eingangs-Kernsehsignals mit betreffenden Wichtungskoeffizienten abgeleitet.
Weitere Einzelheiten des ACE sind in der UK-PS GB-A-2 059 712 und in "Four-field digital standards converter for the eighties" von R N Robinson u. G J Cooper auf S. 11 Bis 13 in "Television "dem Journal der Royal Television Society) für Januar/Februar 1982 zu finden.
Obgleich ACE gute Ergebnisse liefert, besteht ein Problem dahingehend, daß die Einrichtung sehr voluminös ist. Um dieses Problem zu lösen, wurde von der Anmelderin vor kurzem ein Fernseh-Normenumsetzer vorgeschlagen, der drei Teilbildspeicher und vier 4-Zeilen-Speicher zum Aufnehmen eines digitalen Eingangs-Fernsehsignals der einen Norm und zum Ableiten von Feldern mit 16 Zeilen umfaßt, wobei jedes Feld aus vier aufeinanderfolgenden Zeilen aus jedem von vier aufeinanderfolgenden Teilbildern des Eingangs-Fernsehsignals besteht. Ein Wichtungskoeffizienten-Speicher speichert Sätze von 16 Wichtungskoeffizienten, wobei betreffende Sätze den Positionen sowohl räumlich als auch zeitlich betrachtet betreffenden Zeilen eines digitalen Ausgangs-Fernsehsignals einer unterschiedlichen Norm relativ zu den 16 Zeilen des Eingangs-Fernsehsignals entsprechen. Zwei Interpolationsfilter leiten dann Zeile für Zeile das Ausgangs-Fernsehsignal durch Multiplizieren entsprechender Abtastprobenwerte aus jeder der 16 Zeilen des Eingangs-Fernsehsignals mit einem betreffenden Wichtungskoeffizienten in einem Satz von Wichtungskoeffizienten ab und summieren die sich ergebenden Produkte, um einen interpolierten Abtastprobenwert zu bilden, und vier Ausgangs-Teilbildspeicher nehmen die abgeleiteten Zeilen des Ausgangs-Fernsehsignals auf und speichern diese. Um die zusätzlichen Zeilen, welche abgeleitet sind, zu speichern, wenn das Ausgangs-Fernsehsignal mehr Zeilen als das Eingangs-Fernsehsignal hat, ist ein 45-Zeilen-Speicher zwischen eines der Interpolationsfilter und die Ausgangs-Teilbildspeicher geschaltet. Weitere Einzelheiten sind in der UK-PS GB-A-2 140 644 zu finden.
Die Ausführung derartiger Normenumsetzer, welche Vertikal/Zeitbezugs-Interpolationstechniken benutzen, stellt einen Kompromiß zwischen dem Erzeugen verschmierter Bilder und dem Aufrechterhalten einer guten Bewegungsnachbildung sowie dem Aufrechterhalten einer guten Vertikalauflösung dar, allerdings um den Preis einer "Verwackelung". Das Vorstehende ist ein Ergebnis der Nachfilterung, die dazu dient, Bildstörungen oder sonstige Effekte zu verhindern. Letzteres ist ein Ergebnis des Eindringens benachbarter zweidimensionaler Wiederholungsabtastproben-Strukturen.
Die Anmelderin hat daher vorgeschlagen, daß eine Bewegungsvektor-Bewertung in Fernseh-Normenumsetzern und in Zeitlupen- Prozessoren enthalten sein sollte. Das Problem bei der Mehrheit der bestehenden Bewegungsvektor-Bewertungsverfahren besteht darin, das deren Benutzung auf Videokonferenz-Anwendungen gerichtet ist, wobei im allgemeinen der Betrachtungsgegenstand entweder der Kopf einer einzelnen Person und deren Schultern oder eine kleine Gruppe von Leuten, die um einen Tisch herum Platz genommen haben, ist. Bei Fernsehbildern dieser Art ist die Bewegung relativ einfach im Vergleich mit gesendeten Fernsehbildern, bei denen z. B. bei einem Pferderennen die Kamera den Anführern des Feldes in einem Rennen folgen könnte. In dieser Situation würde die Bewegung komplex, z. B. weil die Kamera schwenken könnte. Demzufolge kann sich der Hintergrund sehr wohl bei Geschwindigkeiten bewegen, die einer Anderung von mehr als acht Pixel je Teilbild entsprechen, während sich im Vordergrund zumindest ein galloppierendes Pferd befinden würde. Dies bedeutet, daß das Bewegungsvektor-Bewertungsverfahren versuchen muß, die Beine des Pferdes zu verfolgen, welche sich sehr wohl in bezug auf den sich bereits bewegenden Hintergrund in unterschiedlichen Richtungen bewegen können.
Ein Artikel in SIGNAL PROCESSING, Vol 11, No 4, December 1986, S. 387 bis 404, Amsterdam, NL, Bierling et al, beschreibt ein Verfahren zur Bewegungsvektor-Bewertung in einem Fernsehbild unter Benutzung eines das Bild darstellenden digitalisierten Signals, welches Verfahren einen Schritt enthält zum Bestimmen mittels einer Blockvergleichstechnik einer Bewegung in dem Bild an Punkten, die um eine vorbestimmte Anzahl von Pixeln in horizontaler Richtung und um eine vorbestimmte Anzahl von Pixeln in vertikaler Richtung einen Abstand voneinander aufweisen, um dadurch Bewegungsvektoren abzuleiten, die horizontale und vertikale Komponenten haben, welche jeweils eine ganze Zahl von Pixelabständen betragen. Bei diesem Verfahren sind die Bewegungsvektor-Komponenten Vielfache von zumindest zwei Pixeln.
Gemäß einer Ausführungsform der vorliegenden Erfindung ist ein Verfahren vorgesehen, das gekennzeichnet ist durch den Schritt zum Bestimmen, wenn einmal ein derartiger Bewegungsvektor abgeleitet worden ist, einer Teilpixelverschiebung x, die kleiner als ein Pixelabstand ist, in zumindest einer der horizontalen und vertikalen Richtungen, so daß der Bewegungsvektor und die betreffende Teilpixelverschiebung zusammen eine Bewegung zwischen Teilbildern des Bildes, die nicht gleich einem ganzzahligen Vielfachen des Abstands zwischen Pixeln ist, repräsentieren.
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung ist außerdem eine Vorrichtung vorgesehen zur Bewertung von Bewegungsvektoren in einem Fernsehbild unter Benutzung eines das Bild darstellenden digitalisierten Signals, welche Vorrichtung Mittel enthält zum Bestimmen mittels einer Blockvergleichstechnik einer Bewegung in dem Bild an Punkten, die um eine vorbestimmte Anzahl von Pixeln in horizontaler Richtung und um eine vorbestimmte Ahzahl von Pixeln in vertikaler Richtung einen Abstand voneinander aufweisen, um dadurch Bewegungsvektoren abzuleiten, die horizontale und vertikale Komponenten haben, welche jeweils eine ganze Zahl von Pixelabständen betragen, gekennzeichnet durch ein Mittel zum Bestimmen, wenn einmal ein derartiger Bewegungsvektor abgeleitet worden ist, einer Teilpixelverschiebung x, die kleiner als ein Pixelabstand ist, in zumindest einer der horizontalen und vertikalen Richtungen, so daß der Bewegungsvektor und die betreffende Teilpixelverschiebung zusammen eine Bewegung zwischen Teilbildern des Bildes, die nicht gleich einem ganzzahligen Vielfachen des Abstands zwischen Pixeln ist, repräsentieren.
Die Erfindung wird im folgenden beispielhaft anhand der Figuren beschrieben, in denen gleiche Teile mit gleichen Bezugszeichen bezeichnet sind.
Fig. 1 zeigt ein stark vereinfachtes Blockschaltbild eines Fernseh-Normenumsetzers.
Fig. 2 zeigt ein Blockschaltbild eines ersten Fernseh-Normenumsetzers.
Fig. 3 zeigt ein Blockschaltbild eines zweiten Fernseh-Normenumsetzers.
Fig. 4 zeigt einen Teil des Fernseh-Normenumsetzers gemäß Fig. 3 in Form eines mehr ins einzelne gehenden Blockschaltbilds.
Fig. 5 zeigt Zeitdiagramme zur Erläuterung der Arbeitsweise des Teils gemäß Fig. 4.
Fig. 6 zeigt einen Teil des Fernseh-Normenumsetzers gemäß Fig. 2 in Form eines mehr ins einzelne gehenden Blockschaltbilds.
Fig. 7 zeigt Zeitdiagramme zur Erläuterung der Arbeitsweise des Teils gemäß Fig. 6.
Fig. 8 zeigt einen Teil des Fernseh-Normenumsetzers gemäß Fig. 2 in Form eines mehr ins einzelne gehenden Blockschaltbilds.
Fig. 9 zeigt Zeitdiagramme zur Erläuterung der Arbeitsweise des Teils gemäß Fig. 8.
Fig. 10 zeigt einen Teil des Fernseh-Normenumsetzers gemäß Fig. 2 in Form eines mehr ins einzelne gehenden Blockschaltbilds.
Fig. 11 zeigt diagrammartig die Auswirkung in einem Fall, in dem keine Teilpixel-Bewertung durchgeführt wird.
Fig. 12 zeigt diagrammartig die Auswirkung in einem Fall, in dem eine Teilpixel-Bewertung durchgeführt wird.
Fig. 13 zeigt diagrammartig den Vergleich von Güteziffern.
Fig. 14 zeigt diagrammartig den Vergleich weiterer Güteziffern .
Fig. 15 zeigt einen Teil des Fernseh-Normenumsetzers gemäß 1sfig. 2 in Form eines mehr ins einzelne gehenden Blockschaltbilds.
Zunächst werden zum Zwecke eines leichteren Verständnisses der Bewegungsvektor-Bewertung, die den Gegenstand der vorliegenden Erfindung darstellt, Form und Arbeitsweise zweier Normenumsetzer und eines Zeitlupen-Prozessors, welche Einrichtungen einer derartige Bewegungsvektor-Bewertung benutzen, beschrieben. Die Normenumsetzer, die zu beschreiben sind, behalten die Vertikalauflösung bei und entfernen die "Verwackelung" durch Kompensieren der Bewegung zwischen Teilbildern. Im Effekt wird die Bewegung zwischen aufeinanderfolgenden Teilbildern analysiert. Diese Teilbilder können derart Pixel für Pixel "ausgerichtet" sein, daß sie statische Bilder sind, woraufhin die Umsetzung erfolgen kann. Als Ergebnis kann die Vertikalauflösung aufrechterhalten werden.
Die Normenumsetzer, die zu beschreiben sind, können in zwei Teile unterteilt sein. Der erste Teil ist analog zu einem bekannten Normenumsetzer aufgebaut, der eine Vertikal/Zeitbezugs-Interpolation durchführt, um von einer 525/60- in eine 625/50-Fernsehnorm umzusetzen. Dieser Teil allein würde ein Ausgangssignal erzeugen, in welchem die Vertikalauflösung aufrechterhalten würde, jedoch mit dem zusätzlichen Effekt der Verwackelung. Um diese Verwackelung zu beseitigen, werden vier Teilbilder des digitalen Eingangs-Fernsehsignals, die bei dem Umsetzungsprozeß benutzt werden, unter Steuerung von Bewegungsvektoren, die von einem Bewegungsanalysator erzeugt sind, ausgerichtet, was den zweiten Teil des Normenumsetzer bildet.
Dies ist in einem stark vereinfachten Blockschaltbild in Fig. 1 gezeigt. Der Videoteil eines digitalen Eingangs-Fernsehsignals einer Norm, welcher z. B. durch Abtasten eines analogen Fernsehsignals bei 13.5 MHz abgeleitet worden ist, wird einem Interpolator 1 zugeführt, von welchem der Videoteil des erforderlichen Ausgangs-Fernsehsignals einer unterschiedlichen Norm abgeleitet wird. Ein Bewegungsanalysator 2 empfängt das Video-Leuchtdichtesignal und leitet Bewegungsvektoren ab, die Daten liefern, welche die Bewegung zwischen aufeinanderfolgenden Teilbildern des Eingangs-Fernsehsignals repräsentieren, um den Betrieb des Interpolators zu steuern. Der Interpolator 1 arbeitet in einer allgemein ähnlichen Weise wie der entsprechende Teil eines bekannten Normenumsetzers, z. B. wie zuvor erläutert. Er enthält indessen die Mittel zum Ausrichten der vier Teilbilder, die bei der Interpolation benutzt werden, unter Steuerung durch die Bewegungsvektoren.
Das Neupositionieren der vier Teilbilder wird in zwei Stufen durchgeführt. Die erste Stufe schließt in sich die Änderung der Adresse eines variablen Verzögerungselements, das jedem Teilbild zugeordnet ist, ein, um das Bild zu der nächsten Zeile oder zu dem nächsten Teilbild neu zu positionieren. Die zweite Stufe benutzt Interpolationstechniken sowohl für die vertikale als auch für die horizontale Richtung, um innerhalb eines Bereichs von ±1/16 oder ±1/8 eine Teilbilds neu zu positionieren, wobei dieser Vorgang eine Teilpixelbewegungs-Bewertung einschließt. Sogar dann, wenn keine Bewegung vorliegt, werden beide der zuvor genannten Techniken benutzt, um die Umsetzung von Zeilennormen zu gestatten.
Der Vertikalinterpolator hat vier Abgriffe je Teilbild, was effektiv gestattet, ein 8-Abgriffe-Vertikalfilter auf die statischen Bilder anzuwenden. Ein 8-Abgriffe-Interpolator gestattet eine gute Vertikalauflösung mit einer minimalen Verzerrung aufrechtzuerhalten. Der Effekt der Verzerrung in dem Horizontalinterpolator ist kein großes Problem, so daß ein 2-Abgriffe-Horizontalfilter benutzt wird, obwohl z. B. ein 4-Abgriffe-Horizontalfilter benutzt werden kann.
Der zeitbezogene Interpolator wird bei einem normalen Betrieb benutzt, um die Interpolation von perspektivischen Änderungen zu gestatten, oder wenn kein wahrnehmbarer Bewegungsvektor erfaßt werden kann, in welchem Fall der Interpolator 1 zu einem normalen Normenumsetzungs-Betrieb zurückkehren muß, bei dem kein Bild-Neupositionieren auftritt.
Wenn eine Umsetzung von einer hohen Teilbildrate in eine niedrigere Rate erfolgt, werden die ankommenden Teilbilder in einer Weise interpoliert, daß ein interpoliertes Teilbild gelegentlich ohne irgendeine Bewegungsverschlechterung verworfen werden kann. All diese Interpolation wird bei der Eingangs-Teilbildrate durchgeführt, und das sich ergebende Signal wird zu einem Zeitbasis-Korrekturglied weitergeleitet, das dann die Teilbilder, die über die erforderliche Zeitperiode hinweg erzeugt sind, für die Ausgangsnorm zeitlich streut.
Die zuvor beschriebene Operation ist notwendig, wenn eine Umsetzung von einer 525/60- in eine 625/50-Norm erfolgt. Es ist indessen offensichtlich, daß 625 Zeilen dort erzeugt werden müssen, wo nur 525 Zeilen in dem Eingangssignal existieren.
Um dieses Problem der Umsetzung der Zeilenanzahl zu lösen, wird ein zweites Zeitbasis-Korrekturglied bei dem Eingang benutzt, um ein Signal zu erzeugen, das 585 Zeilen bei der 60-Hz-Rate hat. Ein 585-Zeilen-Format kann all die aktive Bildinformation in den 625-Zeilen-Format enthalten. Folgend auf diese erste Zeitbasis-Korrektur sind gelegentlich Zeilen vorhanden, die keine Videoinformation beinhalten. Die Interpolator-Speicher werden während dieser Zeit "eingefroren", so daß eine zusätzliche interpolierte Zeile aus diesen Zeilen erzeugt werden kann, die benutzt wird, um die vorhergehende Ausgangszeile zu erzeugen. Dieser Prozeß gestattet, daß 625 Zeilen aus den ursprünglichen 525 Zeilen interpoliert werden.
Der Grund für die Auswahl des 585/60-Formats wird im folgenden mehr im einzeln beschrieben. Ein 625-Zeilen-Bild enthält 288 aktive Zeilen in jedem Teilbild und 720 Bildpunkte in jeder horizontalen Zeile bei der Abtastrate von 13.5 MHz. Die im folgenden zu beschreibenden Schaltungen der Fernseh-Normenumsetzer gemäß Fig. 2 u. 3 benutzen Techniken, die gestatten, daß das Bild horizontal um plus oder minus 24 Bildpunkte verschoben wird. Dies erfordert eine minimale horizontale Austastung von 48 Bildpunkten. Die Gesamtzahl von Bildpunktpositionen, welche in einem Teilbild erforderlich ist, beträgt daher
(720 + 48) x 288 = 224 184.
Es bestehen offensichtlich beträchtliche Vorteile beim Benutzen eines 13.5-MHz-Takts durch das gesamte System hindurch, in welchem Fall die Anzahl von Taktzyklen innerhalb der 60-Hz-Periode (genauer innerhalb einer 59.94-Hz-Periode) P225 225
beträgt. Wenn 576 Zeilen von Daten in einem Vollbild erforderlich sind, würde die Anzahl von Horizontal-Bildpunkten 7 820 3125 betragen. Obgleich diese Anzahl ausreichend ist, um die erforderlichen (720 + 48) Bildpunkte zu enthalten, würde der gebrochene Bildpunkt bedeuten, daß die Struktur nichtorthogonal auf einer Zeile-zu-Zeile-Basis war. Dies würde deutliche Auslegungsschwierigkeiten bei dem Rest des Normenumsetzers verursachen, weil die Anzahl von Zeilen, die erforderlich ist, graduell von 576 erhöht wurde, bis eine ganze Zahl von Bildpunkten, tatsächlich 770, in jeder Zeile existierte.
Das einzige Format, das die orthogonale Struktur erreicht, ist das 585/60-Format, welches zusätzlich eine brauchbare Vertikalaustastung von vier Zeilen in dem ersten Teilbild, fünf Zeilen in dem zweiten Teilbild und 50 Bildpunkte in der Horizontalaustastung ergibt.
In der 625/50- bis 625/50-Zeitlupenbetriebsart, auf die im folgenden Bezug genommen wird, besteht kein Erfordernis, das aktive Videosignal des 625-Formats innerhalb der 60-Hz-Periode zu speichern, weil die Interpolation und die weitere Verarbeitung in dem normalen 625/50-Format bewerkstelligt wird.
Wenn von einer niedrigen Teilbildrate in eine höhere Teilbildrate umgesetzt wird, ist die Eingangs-Zeitbasiskorrektur erforderlich, um einen Video-Datenfluß bei der Ausgangsrate zu erzeugen. Dies wird durch gelegentliches Wiederholen eines Eingangs-Teilbilds durchgeführt. Wenn das wiederholte Teilbild auftritt, müssen sämtliche der Interpolator-Speicher "eingefroren" werden, damit die Interpolation auf diese Eingangs-Teilbilder, die benutzt werden, angewendet wird, um das vorhergehende Ausgangs-Teilbild zu erzeugen.
Wenn diese Technik nicht benutzt würde, würden zwei Sätze von Interpolatoren und Bewegungsdetektoren erforderlich sein, um das fehlende Teilbild aufzubauen.
Die zuvor genannte Operation wird durchgeführt, wenn von einer 625/50- in eine 525/60-Norm umgesetzt wird. Um zu ermöglichen, daß 625 Zeilen während einer 60-Teilbilder-pro-Sekunde-Periode existieren, erfordert dies wiederum, das 58 5/60- Zwischenformat anzunehmen. Während dieses Prozesses werden einige der interpolierten Zeilen nicht benötigt, wenn nur 525 aus den ursprünglichen 625 erzeugt werden müssen. Es ist daher ein Zeitbasis-Umsetzer an dem Ausgang erforderlich, um das endgültige 525/60-Format zu erzeugen.
Das Ausmaß der Interpolation, das erforderlich ist, wird durch Vergleichen der Eingangs- und Ausgangs-Synchronisierungsimpulsphasen bestimmt.
Wie zuvor erwähnt, wird eine Bewegungsanalyse an dem Leuchtdichtesignal des Eingangs-Videosignals durchgeführt. Das verwendete Verfahren schließt eine Anzahl von Stufen ein, um einen einzigen Bewegungsvektor für jedes Pixel zu erreichen. Die Bewegung kann in dem Bereich ±24 Pixel horizontal und ±8 Pixel (Teilbildrate) vertikal erfaßt werden.
In einer ersten Stufe wird die Bewegung in dem Bild an Punkten auf dem Bildschirm, die einen Abstand von 16 Abtastproben oder Bildpunkten horizontal und 8 Zeilen vertikal haben, unter Benutzung einer Blockvergleichstechnik bestimmt. Die ursprünglichen Bewegungsvektoren in einem Teilbild werden alle 16 Abtastproben und alle 8 Zeilen berechnet. Jeder dieser Punkte liegt in dem Zentrum eines Suchblocks. Begrifflich gesprochen wird jeder Block über ±24 Abtastproben horizontal und +8 und -8 Abtastproben vertikal über das nächste Teilbild jedesmal dann abgetastet, wenn die Summation der Differenzen zwischen den zwei Teilbildern über den Bereich des Suchblocks hinweg erzeugt wird. Die minimale Differenz über alles gibt dann an, in welcher Richtung sich das Objekt an diesem Punkt bewegt hat.
In der Praxis wird die zuvor genannte Technik in separaten Schritten angewendet, was in großen Umfang die Menge und die Komplexität der erforderlichen Hardware verringert.

Schritt 1:

Prüfung auf minimale Differenz in gerade drei Positionen, nämlich der zentralen Position, 16 Abtastproben nach links, 16 Abtastproben nach rechts.

Schritt 2:

Beginnend von dem zuvor genannten Punkt aus Prüfung auf minimale Differenz in neun Positionen, die symmetrisch um den zuvor genannten Startpunkt verteilt sind, in Schritten zu acht Abtastproben oder Zeilen.

Schritt 3:

Beginnend von dem zuvor genannten Punkt aus Prüfung auf minimale Differenz in neun Positionen, die symmetrisch um den zuvor genannten Startpunkt verteilt sind, in Schritten zu vier Abtastproben oder Zeilen.

Schritt 4:

Beginnend von dem zuvor genannten Punkt aus Prüfung auf minimale Differenz in neun Positionen, die symmetrisch um den zuvor genannten Startpunkt verteilt sind, in Schritten zu zwei Abtastproben oder Zeilen.

Schritt 5:

Beginnend von dem zuvor genannten Punkt aus Prüfung auf minimale Differenz in neun Positionen, die symmetrisch um den zuvor genannten Startpunkt verteilt sind, in Schritten zu einer Abtastprobe oder Zeile.

Schritt 6:

Nach Schritt 5 ist die Bewegung des Objekts zu dem nächsten Pixel erfaßt worden. Ein genauerer Vektorwert kann durch Zufügen eines sechsten Schritts erreicht werden, in welchem die Differenz, die bei der letzten Position erzeugt ist, die durch Schritt 5 angegeben ist, verglichen wird mit den zwei Differenzen oberhalb und unterhalb, um den Vertikal-Vektorwert zu justieren, und mit den zwei Differenzen nach links und nach rechts, um den Horizontal-Vektorwert zu justieren.
Die zuvor genannte Technik vertraut auf das Erreichen einer Korrelation zwischen dem Referenz-Suchblock und einem ähnlichen Block von Videodaten betrreffend das folgende Teilbild (die Suchpositionen). In Schritt 5 ist es möglich, daß die wahre Bewegung ein halbes Pixel mehr oder weniger als erfaßt war, jedoch ist es notwendig, daß die beste Korrelation an diesem Punkt auftritt, sogar obwohl eine korrekte Korrelation nicht erreicht werden kann. Um dies sicherzustellen, kann das Bild sowohl horizontal als auch vertikal durch ein Gauß'sches Filter mit einer +6-dB-Dämpfung bei 1/2 Nyquist Frequenzgang gefiltert werden
In ähnlicher Weise kann für Schritt 4 das Bild mit einer 6-dB-Dämpfung bei 1/4 Nyquist Frequenzgang gefiltert werden, was einen 1-Pixel-Fehler zu erfassen gestattet.
Schritt 3 benutzt ein Bild, das mit einer 6-dB-Dämpfung bei 1/8 Nyquist Frequenzgang gefilter ist, was einen 2-Pixelfehler zu erfassen gestattet.
Schritt 2 benutzt ein Bild, das mit einer 6-dB-Dämpfung bei 1/16 Nyquist Frequenzgang gefiltert ist, was einen 4-Pixelfehler zu erfassen gestattet.
Schließlich benutzt Schritt 1 ein Bild, das mit einer 6-dB- Dämpfung bei 1/32 Nyquist Frequenzgang gefiltert ist, was einen 8-Pixelfehler zu erfassen gestattet. Zusätzlich können, da die Bilder so stark während der Schritte 1, 2, 3 u. 4 gefiltert werden, die Abtastproben verringert, z. B. in ihrer Anzahl halbiert, werden, was noch weiter die Anzahl von Berechnungen und die Menge der erforderlichen Hardware in großem Umfang verringert.
Die effektive Suchblock-Größe ist 16 Zeilen hoch und 48 Abtastproben lang. Ein großer Suchblock ist erforderlich, um die Bewegung von großen gewöhnlichen Flächen akkurat zu erfassen. Der zentrale Teil von gewöhnlichen Flächen ist unwichtig, wenn sich die Werte der Pixel an diesen Punkten nicht von einem Teilbild zu dem nächsten ändern, jedoch sind die Ränder solcher Objekte offensichtlich wichtig. Wenn die Erfassung der Bewegung auf ±24 Abtastproben horizontal und ± 8 Zeilen vertikal begrenzt ist, würde dann ein Block der zuvor genannten Größe die minimale Größe sein, um eine akkurate Bewegungserfassung sicherzustellen.
In den Normenumsetzern tritt abhängig von den Umsetzungs-Betriebsarten das Video-Leuchtdichtesignal, welches in den Bewegungsanalysator 2 gelangt, in verschiedenen Formen von 585-Zeilen/60 Teilbilder-pro-Sekunde-Formaten auf. Diese könnten wiederholte Zeilen für 525 eingegebene oder wiederholte Teilbilder für 625 eingegebene umfassen. Zusätzlich enthält das Eingangssignal beide Teilbild-Vorzeichen. Der erste Prozeß besteht darin, eine Kontinuität von Daten und ein einziges Teilbild-Vorzeichen für die Bewegungs-Bewertungsverarbeitung sicherzustellen. Dies wird durch Interpolation der Eingangsdaten mittels einer Vektor-Zwischenebene, um die Kontinuität aufrechtzuerhalten, und mittels Filterung in horizontaler Richtung, um die nachfolgende Bewegungs-Erfassung/Korrelation zu unterstützen, erreicht.
Es werden getrennte Ausgangssignale von diesen Schaltungen zu Bewegungs-Bewertungs-Vektorfiltern und Bewegungs-Erfassungs- Teilbildspeichern/Vektorauswählern geleitet. Das Ausgangssignal der Vektor-Zwischenebene ist, wie zuvor beschrieben, räumlich kontinuierlich und enthält Teilbilddaten mit einem einzigen Vorzeichen. Das Ausgangssignal, das zu den Teilbildspeichern/Vektorauswählern geleitet wird, hängt von den Eingangs- und Ausgangs-Betriebsarten ab. In einigen Betriebsarten ist es kontinuierlich, und in anderen enthält es wiederholte Zeilen/Teilbilder. Die Vektorfilter und Vektorberechner führen die zuvor erläuterten Schritte aus.
Die Verarbeitung der verschiedenen Schritte wird durch Vektorberechner und einen Vektorprozessor ausgeführt. Die Vektorberechner führen die Schritte 1 bis 5 durch, und der Vektorprozessor führt den Schritt 6 durch. Zusätzlich führt der Vektorprozessor die zweite Stufe in der Bewegungs-Bewertung wie folgt durch:
Für jeden 8x16-Block wird eine Auswahl von vier aus sieben Bewegungsvektoren getroffen, wobei die sieben Bewegungsvektoren der eine für den speziellen Block ist bzw. sechs für die sechs nächsten Blöcke vorgesehen sind.
Zusätzlich bestimmt der Vektorprozessor außerdem die vier im höchsten Maß gemeinsamen Bewegungsvektoren über das gesamte Eingangs-Teilbild hinweg, wobei diese als modale Bewegungsvektoren bezeichnet werden. Der primäre Gebrauch der modalen Bewegungsvektoren ist in den Grenzbereichen nahe dem Rand eines Teilbilds gegeben, wo es nicht möglich ist, irgendeinen lokalen der Bewegungsvektoren tatsächlich zu berechnen. Ausserdem werden, wenn irgendeiner oder mehrere der lokalen Bewegungsvektoren gleich sind, diese dann durch die modalen Bewegungsvektoren ersetzt.
In der nächsten Stufe der Bewegungs-Erfassung für jedes Pixel werden die vier Bewegungsvektoren durch Erzeugen der Differenz zwischen den extrapolierten Positionen betreffend Teilbild 0 bis Teilbild 1 geprüft. Während der Normenumsetzung ist es für ein Teilbild erfoderlich, daß es zwischen zwei Teilbildern interpoliert wird, z. B. zwischen Teilbild 0 und Teilbild 1. Auf diese Weise werden Bewegungsvektoren zwischen diesen zwei Teilbildern als die am meisten repräsentativen der Bewegung betrachtet. Es werden vier Bewegungsvektoren von diesen zwei Teilbildern benutzt. Um zu entscheiden, welcher der korrekte Bewegungsvektor ist, wird ein Pixel aus dem Teilbild 0 mit einem Pixel aus dem Teilbild 1 unter Benutzung des Bewegungsvektors verglichen, um zu bestimmen, woher das Pixel, welches zu erzeugen ist, dem Teilbild 0 entstammt und wohin es zu Teilbild 1 übergeben wurde. Mathematisch gesehen sind, wenn die Position x, y, z erzeugt werden muß, wobei x = Horizontalposition, y = Vertikalposition, z = zeitliche Position zwischen Teilbild 0 u. Teilbild 1 gilt, die Pixel, die für den Vergleich benutzt werden, wie im folgenden gezeigt ausgedrückt. Für Teilbild 0 sei angenommen, daß es bei z = 0 liegt und für Teilbild 1, daß es bei z = 1 liegt.
Pixel aus Teilbild 0
x&sup0; = x - (Vh * z)
y&sup0; = y - (Vv * z)
Pixel aus Teilbild 1
x¹ = x + (1-z)Vh
y¹ = y + (1-z)Vv
Vh = horizontale Komponente des Vektors
Vv = vertikale Komponente des Vektors
Für jeden Bewegungsvektor wird ein konstanter Koeffizient der Differenz zwischen den Pixeln, die in dem Teilbild 0 und dem Teilbild 1 bezeichnet sind, gefunden. Diese minimale Differenz wird als eine erste Bewertung angenommen, um den korrekten Bewegungsvektor zu kennzeichnen. Wenn eine Anzahl von Bewegungsvektoren eine sehr ähnliche Differenz erzeugen, werden diese Bewegungsvektoren erneut unter Benutzung eines Vergleichs der Teilbilder -1 und 0 geprüft.
Pixel von Teilbild -1
x&supmin;¹ = x - (1 + z)Vh
y&supmin;¹ = y - (1 + z)Vv
Der minimale konstante Koeffizient der Differenz der verbleibenden Bewegungsvektoren, der durch diese zweite Prüfung erzeugt ist, wird dann so betrachtet, als repräsentiere er den genauesten Bewegungsvektor.
Wenn eine Anzahl von Bewegungsvektoren wiederum ähnliche Differenzen haben, dann besteht eine Möglichkeit, daß keine Bewegung vorliegt. Wenn sich nur die horizontale Komponente geändert hat und die vertikale Komponente nicht, dann würde nur die horizontale Komponente auf Null gesetzt, und die vertikale Komponente würde bei dem erfaßten Wert belassen. Wenn sich nur die vertikale Komponente geändert hat, dann würde die horizontale Komponente beibehalten, und nur die vertikale Komponente würde auf Null gesetzt. Wenn die ausgewählte Pixel-Differenz zu groß ist, dann besteht eine Möglichkeit, den gesamten Bewegungsvektor in beiden Richtungen auf Null zu setzen.
Eine letzte Stufe wird angewendet, wenn erst einmal jedes Pixel einem Bewegungsvektor zugewiesen ist. Hierbei wird die Bewegung jedes Pixels von einem Teilbild zu dem nächsten verfolgt, und es wird ein rekursives Filter auf den Vektorwert angewendet. Dies beseitigt die Effekte des Rauschens und kleiner Bewegungs-Bewertungsfehler und glättet den Anderungsverlauf der Bewegungsvektoren.
Es gibt zwei mögliche Wege des Verfolgens der Bewegung eines Pixels.
Bei dem ersten Weg wird der Bewegungsvektor für ein Pixel in Teilbild t benutzt, um auf ein Pixel in Teilbild (t+1) zu weisen. Der Bewegungsvektor, welcher für dieses Pixel in Teilbild (t+1) bestimmt ist, wird dann rekursiv gefiltert, um den endgültigen Bewegungsvektor für das Pixel in Teilbild (t+1) zu bilden.
Bei dem zweiten Weg wird der Bewegungsvektor für ein gegebenes Pixel in Teilbild t benutzt, um auf ein Pixel in Teilbild (t-1) zu weisen. Der Bewegungsvektor dieses Pixels wird dann mit dem Bewegungsvektor für das gegebene Pixel rekursiv gefiltert, um den endgültigen Bewegungsvektor für dieses gegebene Pixel in Teilbild t zu bilden.
In jedem Fall ist das endgültige Ausgangssignal ein Bewegungsvektor für jedes Pixel, das von dem Bewegungsanalysator 2 zu dem Interpolator 1 weitergeleitet ist, der beim Ausrichten der vier Teilbilder, das bei der Normenumsetzungs- Verarbeitung benutzt wird, zu verwenden ist.
Der erste Normenumsetzer zum Umsetzen eines digitalen 625-Zeilen/50-Teilbilder-pro-Sekunde-Eingangs-Fernsehsignals in ein digitales 525-Zeilen/60-Teilbilder-pro-Sekunde-Ausgangs-Fernsehsignal ist im einzelnen in Form eines Blockschaltbilds in Fig. 2 gezeigt.
Das ankommende Videosignal mit 50 Teilbildern pro Sekunde und einer Abtastrate von 13.5 MHz, d. h. CCIR 601-Daten, wird einem Demultiplexer 31 zugeführt, der es in Leuchtdichtekomponenten Y, Synchronisierungssignale SYN und Farbdifferenzkomponenten UV aufteilt. Die Leuchtdichtekomponenten Y werden einem 4-Teilbilder-Leuchtdichte-Zeitbasiskorrekturglied TBC 11Y zugeführt, und die Farbdifferenzkomponenten UV werden einem 4-Teilbilder-Farbdifferenz-Zeitbasiskorrekturglied TBG 11C zugeführt. Die Synchronisierungssignale SYNC werden einer Steuereinrichtung 32 zusammen mit einem Eingangs-Teilbildvorzeichensignal von einem externen Eingang zugeführt, und ein Ausgangs-Teilbildsynchronisierungs-Referenzsignal wird ihr von einem weiteren externen Eingang zugeführt. Die TBC's 11Y u. 11C wiederholen gelegentlich Teilbilder, so daß das Ausgangssignal bei einer Rate von 60 Teilbildern pro Sekunde liegt. Die Steuerung der TBC's 11Y u. 11C, welche die Wiederholung eines Teilbilds verursacht, wird von den Eingangs- Teilbildsynchronisierungsimpulsen und den erforderlichen Ausgangs-Teilbildsynchronisierungsimpulsen abgeleitet. Der Vergleich der Synchronisierungsimpulse erzeugt außerdem eine Zeitversatzzahl, die das Ausmaß der zeitbezogenen Interpolation angibt, die bei den Ausgangssignalen der TBC'S 11Y u. 11C erforderlich ist, so daß eine gleichförmige Bewegung bei 60 Teilbildern pro Sekunde zu beobachten sein könnte.
Beim Umsetzen von einem 50-Teilbilder-pro-Sekunde-Format in ein 60-Teilbilder-pro-Sekunde-Format auf diese Weise ist eine Zeilenumsetzung von 625 in 525 Zeilen erforderlich. Es ist daher notwendig, die ursprünglichen 625 Zeilen Information bei einer 60-Teilbilder-pro-Sekunde-Rate beizubehalten, so daß sie alle verfügbar sind, um die interpolierten Zeilen zu bilden.
Der Normenumsetzer benutzt eine Zwischennorm, die in der Lage ist, alles der aktiven vertikalen Information des 50-Teilbilder-pro-Sekunde-Signals bei der 60-Teilbilder-pro-Sekunde-Rate zu beinhalten. Die Zwischennorm beinhaltet außerdem alles der aktiven Zeileninformation, die orthogonal Zeile für Zeile angeordnet ist, wobei nach wie vor die ursprüngliche 13.5-MHz-Abtastrate benutzt wird.
Die benutzte Zwischennorm, die wie zuvor als in der Lage befindlich beschrieben wurde, diese Erfordernisse zu erfüllen, ist ein 585-Zeilen-Format mit 60 Teilbildern pro Sekunde. Wenn bei 13.5 MHz abgetastet wird, hat jede Zeile dieses Formats exakt 770 Abtastproben. Es ist daher verständlich, daß 585 Zeilen ausreichend sind, um die 576 aktiven Zeilen des 625-Zeilen-Formats bei einer 60-Teilbilder-pro-Sekunde-Rate zu beinhalten. Weil die aktive Zeilenbreite nur 720 Abtastproben beträgt, stehen noch 50 Abtastproben-Plätze der horizontalen Austastung zur Verfügung.
Die Leuchtdichte-Daten (D) aus dem Leuchtdichtesignal-TBC 11Y werden mittels eines Verarbeitungskompensations-Verzögerungsglieds 17Y an ein Leuchtdichtesignalzeit-Schieberegister 16Y geführt, das vier Teilbildspeicher (FS) 12Y, 13Y, 14Y u. 15Y umfaßt. Das Leuchtdichtesignal-TBC 11Y liefert außerdem ein Anhaltesignal oder "Zeiteinfrierungssignal" (F) mittels des Verzögerungsglieds 17Y an das Schieberegister 16Y. Das Leuchtdichtesignal-TBC 11C liefert die Leuchtdichtesignaldaten (D) mittels eines Verarbeitungskompensations-Verzögerungsglieds 17C an ein Leuchtdichtesignalzeit-Schieberegister 16C, das vier Teilbildspeicher 12C, 13C, 14C u. 15C umfaßt. Das Farbdifferenzsignal-TBC 11C liefert außerdem ein zeitliches Einfrierungssignal mittels des Verzögerungsglieds 17C an das Schieberegister 16C. Dem Schieberegister 16Y ist ein Leuchtdichtesignal-Interpolator 1Y zugeordnet, welcher Eingangssignale von jedem der Teilbildspeicher 12Y, 13Y, 14Y u. 15Y aufnimmt und außerdem das 585-Zeilenformat ableitet. Das Ausgangssignal des Leuchtdichtesignal-Interpolators 1Y wird an ein 2-Teilbilder-Leuchtdichtesignal-TBG 18Y geliefert. Dem Schieberegisters 16C ist ein Farbdifferenzsignal-Interpolator lc zugeordnet, der Eingangssignale von den Teilbildspeichern 12C, 13C, 14C u. 15C aufnimmt und außerdem das 585-Zeilen- Format ableitet. Das Ausgangssignal des Farbdifferenzsignal- Interpolators 1C wird einem 2-Teilbilder-Farbdifferenzsignal- TBC 18C zugeführt. Wenn die Ausgangssignale der TBC'S 11Y u. 11C während einer Wiederholung eines Teilbilds "eingefroren" sind, werden die Schieberegister 16Y u. 16C ebenfalls "eingefroren", so daß vier voneinander getrennte aufeinanderfolgende Teilbilder des Eingangssignals bereits in den Schieberegistern 16Y u. 16C bestehen. Auf diese Weise werden die Schieberegister 16Y u. 16C benutzt, um die zeitlichen Abgriffe für die Interpolatoren 1Y u. 1C2 zu schaffen.
Jeder zeitliche Abgriffliefert 4-Zeilen-Abgriffe bei einer Position, die von den Bewegungsvektoren abhängt, so daß ein zweidimensionales Filter benutzt werden kann, um die notwendige Interpolation vorzunehmen. Das interpolierte Bild wird 576 aktive Zeilen enthalten, so daß ein korrektes Bild gewonnen wird, wenn jede sechste Zeile in einem Teilbild verworfen wird. Die 484 verbliebenen Zeilen erzeugen den aktiven Bildteil des 525-Zeilen-Formats. Um zu gestatten, daß Zeilen auf diese Weise verworfen werden, werden die Ausgangssignale der Interpolatoren 1Y u. 1C dem 2-Teilbilder-TBC 18 zugeführt. Die TBC' s 18Y u. 18C schreiben alle 576/2 Zeilen ein, lesen jedoch nur die erforderlichen 484/2 Zeilen aus, um das erforderliche Ausgangs-Fernsehsignal zu erzeugen. Die Ausgangssignale des Leuchtdichtesignal-TBC 18Y und des Farbdifferenzsignal-TBC 18C werden einem Multiplexer 34 zugeführt, der die Leuchtdichtekomponenten Y und die Farbdifferenzkomponenten UV zeitlich verschachtelt, um Ausgangs-CCIR 601- Daten in der Form eines digitalen 525-Zeilen/60-Teilbilder- pro-Sekunde-Fernsehsignals zu erzeugen.
Die Steuereinrichtung 32 liefert Steuersignale (C) an das Leuchtdichtesignal-TBC 11y und das Farbdifferenzsignal-TBC 11C. Die Steuereinrichtung 32 liefert außerdem Steuersignale an das 18 Y und das 18 C. Die liefert außerdem Interpolations-Steuersignale (IC) an den Leuchtdichtesignal-Interpolator 1L und den Farbdifferensignal-Interpolator 1C.
Die Leuchtdichtesignaldaten allein, wie sie durch das Leuchtdichtesignal-TBC 11Y abgegeben sind, werden außerdem dem Bewegungsanalysator 2 zugeführt, der in dem oberen Teil von Fig. 2 gezeigt ist, so daß Bewegungsvektoren erzeugt werden können. Tatsächlich ist eine Vollbild-Verzögerung zwischen den TBC's 11Y u. 11C und den Schieberegistern 16Y u. 16C erforderlich, um die Zeit, die für die Verarbeitung der Bewegungsvektoren benötigt wird, zur Verfügung zu stellen. Das "Einfrieren" der Schieberegisters 16Y u. 16C muß daher ebenfalls um ein Vollbild verzögert werden, und diese Verzögerungen werden durch die Verzögerungsglieder 17Y u. 17C bewerkstelligt.
Der Bewegungsanalysator 2 umfaßt eine Vektor-Schnittstelle 35, der Leuchtdichtesignaldaten von dem Leuchtdichtesignal- TBC 11Y zusammen mit dem Interpolations-Steuersignal aus der Steuereinrichtung 32 zugeführt werden. Die Vektor-Schnittstelle 35 liefert Daten, die zu 625 Zeilen interpoliert sind, an ein Vektor-Filter 36 und einen Bewegungsvektor-Berechner 37, welche zusammen die zuvor beschrieben Bewegungs-Bewertung durchführen. Das Ausgangssignal des Bewegungsvektor-Berechners 37 wird einem modalen Bewegungsvektor-Prozessor 38 und außerdem einem Teilpixelbewegungs-Bewerter 39 zugeführt, welche die vorliegende Erfindung insbesondere betrifft. Der Bewegungsvektor-Prozessor 38 liefert vier Ausgangssignale, und der Teilpixelbewegungs-Bewerter 39 liefert ein Ausgangssignal an eine, Bewegungsvektor-Reduzierungseinrichtung 40, die vier Ausgangssignale an einen Vektor-Auswähler 41 liefert.
Die Vektorschnittstelle 35 gibt außerdem die Daten, welche zu geradzahligen Teilbildern interpoliert sind, an ein Verarbeitungskompensations-Verzögerungsglied 42 aus, dem außerdem das empfangene Interpolations-Steuersignal und außerdem ein empfangenes Interpolations-Steuersignal sowie außerdem ein Zeiteinfrierungssignal (F), das bei der Vektorschnittstelle 35 erzeugt ist, zugeführt wird. Die Daten aus dem Verarbeitungskompensations-Verzögerungsglied 42 werden einem Zeit-Schieberegister 43 zugeführt, das drei Teilbild-Speicher 44, 45 u. 46 umfaßt, welche betreffende Daten-Ausgangssignale an den Vektor-Auswähler 41 liefern. Das Verarbeitungskompensations- Verzögerungsglied 42 liefert das Interpolations-Steuersignal an den Vektor-Auswähler 41, welcher den ausgewählten Bewegungsvektor an ein rekursives Bewegungsvektor-Filter 47 ausgibt, dessen Ausgangssignal die Bewegungsvektor-Daten sind, welche dem Leuchtdichtesignal-Interpolator 1Y und dem Farbdifferenzsignal-Interpolator 1C zugeführt werden.
Die Art und Weise, in welcher der Bewegungsanalysator 2 die Bewegungsvektor-Daten ableitet, ist zuvor im einzelnen beschrieben worden und wird im folgenden näher beschrieben, jedoch wird die Operation der Elemente 35 bis 43 u. 47 im folgenden nur kurz beschrieben.
Die Vektor-Schnittstelle 35 empfängt die Leuchtdichtesignaldaten von dem Leuchtdichtesignal-TBC 11Y und die Interpolations-Steuersignale von der Steuereinrichtung 32. Sie gibt 625-Zeilen-Daten, die normalerweise in dem 585/60-Format enthalten sind, an das Vektor-Filter 36 aus. Sie liefert außerdem Daten an das Verarbeitungskompensations-Verzögerungsglied 42. Diese Daten müssen ein Bild enthalten, das dieselbe Zeilennorm wie das erforderliche Ausgangssignal hat, das wiederum normalerweise in dem 585/60-Format enthalten ist. Jedes Feld der interpolierten Daten wird so ausgelegt, daß es geradzahlig erscheint.
Das Vektor-Filter 36 erzeugt die gefilterten Bilddaten, die für die Schritte 1 bis 5 der Bewegungserfassung, welche zuvor beschrieben wurden, erforderlich sind. Die gefilterten Bilddaten werden in abtastprobenreduzierter Form an den Bewegungsvektor-Berechner 37 geliefert.
Der Bewegungsvektor-Berechner 37 verarbeitet die gefilterten und abtastprobenreduzierten Daten aus dem Vektor-Filter 36 unter Benutzung eines Algorithmus, der in den Ausdrücken der zuvor beschriebenen Schritte 1 bis 5 der Bewegungserfassung beschrieben ist. Der Prozeß ist im wesentlichen eine zweidimensionale binäre Suche nach der Bewegung bis herunter zur Pixel/Zeilen-Auflösung. Für jedes Feld werden 1200 Bewegungsvektoren erzeugt und sowohl an den modalen Bewegungsvektor- Prozessor 38 als auch an den Teilpixelbewegungs-Bewerter 39 ausgegeben. Er liefert außerdem umgebungsgewichtete Absolutdifferenz- (WAD)-Werte, wie sie durch Schritt 5, der zuvor beschrieben wurde, berechnet sind, an den Teilpixelbewegungs- Bewerter 39. Zu den Einzelheiten der WAD-Berechnungen s. "Advances in Picture Codingr", Musmann et al, Proceedings of the IEEE, April 1985. Der spezielle WAD-Wert, welcher in Schritt 5 der Bewegungserfassung, der zuvor beschrieben wurde, das Minimum ist, stellt eine Güteziffer (FOM) zur Verfügung.
Der Bewegungsvektor-Prozessor 38 berechnet die vier im größten Ausmaß gemeinsamen Bewegungsvektoren, die in jedem Teilbild erfaßt sind und liefert diese an die Bewegungsvektor- Reduzierungseinrichtung 40.
Der Teilpixelbewegungs-Bewerter 39 empfängt die Bewegungsvektoren von dem Bewegungsvektor-Berechner 37 zusammen mit den umgebenden WAD-Werten. Aus diesen bewertet er die Teilpixel- Bewegung, die den Bewegungsvektor-Werten zuzuordnen ist. Mit jedem Bewegungsvektor wird dessen entsprechender endgültiger WAD-Wert ebenfalls an die Bewegungsvektor-Reduzierungseinrichtung 40 geliefert.
Die Bewegungsvektor-Reduzierungseinrichtung 40 empfängt die Bewegungsvektoren aus dem Bewegungsvektor-Prozessor 38 und aus dem Teilpixelbewegungs-Bewerter 39. Für jeden Bewegungsvektor aus dem Teilpixelbewegungs-Bewerter 39 werden die sechs am nächsten liegenden Bewegungsvektoren zu einer Gruppe zusammengefaßt. Für jeden Bewegungsvektor bestehen elf Auswahlmöglichkeiten. Der Reduzierungsprozeß wählt vier Bewegungsvektoren aus den elf Bewegungsvektoren zur Lieferung an den Vektor-Auswähler 41 aus.
Die Bewegungsvektor-Reduzierungseinrichtung 40 beliefert den Vektor-Auswähler 41 mit vier repräsentativen Bewegungsvektoren für jeden 16-Pixel-mal-8-Zeilen-Block des Bilds. Durch Vergleich der Pixel über drei Teilbilder hinweg wählt der Vektor-Auswähler 41 den einzelnen besten Bewegungsvektor für jedes Pixel in dem Bild aus. Der ausgewählte Bewegungsvektor wird dem Bewegungsvektor-Filter 47 zugeführt.
Das Verzögerungsglied 42 verzögert die Daten um ein Vollbild weniger 21 Zeilen, um andere Verzögerungen in dem System zu kompensieren.
Das Zeit-Schieberegister 43 hält und liefert die 3 Felder von Daten, die durch den Vektor-Auswähler 41 benutzt werden.
Das Bewegungsvektor-Filter 47 verfolgt einen Bewegungsvektor von einem Teilbild zum anderen, wobei eine Filterung auf die Bewegungsvektoren durch Kombinieren von Bewegungsvektoren in unterschiedlichen Teilbildern angewendet wird, um so die Bewegungs-Erfassungsfehler zu verringern. Das Ausgangssignal des Bewegungsvektor-Filters 47 wird den Leuchtdichtesignalund Farbdifferenzsignal-Interpolatoren 1Y u. 1C zugeführt, um die Ausrichtung der Teilbilddaten zu steuern.
Genau dieselbe Hardware kann als ein Zeitlupen-Prozessor mit guter Bewegungs-Abbildungsfähigkeit für entweder ein 62 5/50- -oder ein 525/60-Fernsehsignal benutzt werden. Es ist indessen notwendig, den Vertikal-Interpolator zu benutzen, um die Zeilenanzahl-Umsetzung zu bewerkstelligen. In allen Fällen bestimmt die Steuereinrichtung 32, welche Operation erforderlich ist, und zwar durch Erkennen der Eingangs-/Ausgangs- Norm aus den Eingangs- und Ausgangs-Teilbildsynchronisierungsimpulsen. Bei einem Zeitlupen-Betrieb wird das Eingangs- Teilbildvorzeichen benutzt.
Während bei einer 50-Teilbilder-pro-Sekunde-zu-60-Teilbilder-pro-Sekunde-Umsetzung ein Teilbild gelegentlich wiederholt wird, wird bei einem Zeitlupen-Betrieb das Teilbild die gleiche Anzahl von Malen wie das Eingangs-Teilbild wiederholt. Weil wiederholte Teilbilder nicht in die Schieberegister 16Y u. 16C eingeschrieben werden, enthalten die Schieberegister 16Y u. 16C wiederum voneinander getrennte aufeinanderfolgende Teilbilder. Tatsächlich wird, wenn ein Videomagnetbandrecorder ohne irgendeine eigene Interpolation eine Aufzeichnung wiedergibt, die ursprüngliche Zeilensprung- Struktur aufrechterhalten, was eine vollständige Auflösung des zu erzeugenden Bildes gestattet. Der Zeitversatz, der erforderlich ist, wird durch Vergleich der augenblicklichen Teilbild-Impulsrate, sei diese nun 50-Teilbilder-pro-Sekunde oder 60-Teilbilder-pro-Sekunde, mit der Rate, bei welcher ein neues Teilbild empfangen wird, berechnet. Um den Zeitversatz auf diese Weise zu bestimmen, benötigt das System ein Signal, das verfügbar sein muß, welches das wahre Teilbild-Vorzeichen des wiederholten Teilbilds angibt. Der Vertikal-Interpolator wird stets das erforderliche Teilbild-Vorzeichen an dem Ausgang erzeugen.
Begrifflich gesprochen sind die TBC's 11Y u. 11C nicht wirklich für die Zeitlupen-Operation erforderlich, jedoch stellt ihr Vorhandensein eine Vollbild-Synchronisationsmöglichkeit zur Verfügung und vereinfacht außerdem die System-Konfiguration.
Der zweite Normenumsetzer zum Umsetzen eines digitalen 525- Zeilen/60-Teilbilder-pro-Sekunde-Eingangs-Fernsehsignals in ein digitales 625-Zeilen/50-Teilbilder-pro-Sekunde-Ausgangs- Fernsehsignal ist in seinen Einzelheiten in Form eines Blockschaltbilds in Fig. 3 gezeigt.
In diesem Fall erfordert die Interpolation, daß alle der Eingangsdaten in einer aufeinanderfolgenden Form zur Verfügung stehen. In diesem Fall würde es daher nicht möglich sein, in ein Format "50-Teilbilder-pro-Sekonde" vor den Interpolatoren 1Y u. 1C umzusetzen. Die Eingangsdaten enthalten indessen nur 484 aktive Zeilen, und die Interpolatoren 1Y u. 1C müssen 576 erzeugen. Die 2-Teilbilder-TBC's 18Y u. 18C sind daher vor dem Normenumsetzer angeordnet, um die notwendigen Zeitschlitze für die 484-Zeilen-zu-576-Zeilen-Umsetzung zu erzeugen.
Die ursprüngliche kontinuierliche Zeilenstruktur wird in die TBC's 18Y u. 18C eingeschrieben, jedoch in der 585-Zeilen- Norm mit angenähert jede sechste Zeile ausgetastet leer ausgelesen. Die Interpolatoren 1Y u. 1C werden dann benutzt, um ein kontinuierliches Bild bei der Ausgangs-Zeilenrate durch "Einfrieren" ihrer Zeilenspeicher während der leeren Eingangszeile zu erzeugen und um die erforderliche zusätzliche Zeile an dem Ausgang zu erzeugen, um so sicherzustellen, daß ein räumlich korrektes Bild aufgebaut wird. Der erforderliche Zeitversatz wird erfaßt und wie in dem ersten Normenumsetzer angewendet, obgleich die Interpolation derart angewendet wird, daß ein Teilbild gelegentlich verworfen wird, was die Bewegung gleichförmig verlaufen läßt. Das Teilbild wird so verworfen, daß eine 60-Teilbilder-pro-Sekunde-zu-50-Teilbilder-pro-Sekunde-Umsetzung erreicht wird. Das Verwerfen eines Teilbilds wird durch Benutzung der 4-Teilbilder-TBC's 11Y u. 11C an dem Ausgang erzielt.
Demzufolge unterscheidet sich der zweite Normenumsetzer von dem ersten Normenumsetzer, der in Fig. 2 gezeigt ist, nur in geringfügiger Weise. Insbesondere sind die Leuchtdichtesignal-TBC's 11Y u. 18Y platzmäßig vertauscht, und die Farbdifferenzsignal-TBC's 11C u. 18C sind ebenfalls platzmäßig vertauscht. Außerdem sind keine Zeiteinfrierungssignale erforderlich.
In beiden Fällen hat die Steuereinrichtung 32 verschiedene Funktionen wie folgt:
- Steuern des Auslesens aus und des Einschreibens in die TBS'c 11Y, 11C, 18Y u. 18C,
- Erzeugen einer Zeitversatzzahl und in dem Fall des ersten Normenumsetzers des Zeiteinfrierungssignals und
- Erzeugen einer Vertikal-Versatzzahl zusammen mit Vertikal- Interpolations-Steuersignalen.
Diese Funktionen werden im folgenden im einzelnen beschrieben.
Zunächst schalten die 2-Teilbilder-Leuchdichtesignal- u. Farbdifferenzsignal-TBC's 18Y u. 18C stets zwischen Teilbild- Speichern am Ende jedes 60-Hz-Teilbilds um. Indessen hängt die Arbeitsweise der 4-Teilbilder-Leuchdichtesignal- u. Farbdifferenzsignal-TBC's 11Y u. 11C von der Betriebsart ab, und deren Steuerung ist ebenfalls an die Erzeugung des Zeitversatzsignals gebunden. Tatsächlich wird die Steuerung der Leuchdichtesignal- u. Farbdifferenzsignal-TBC's 11Y u. 11C aus den Eingangs- u. Ausgangs-Teilbildsynchronisierungssignalen bestimmt.
Die Ableitung des Zeitversatzsignals in dem Fall der 525/60- zu-625/50-Operation wird nun anhand von Fig. 4 u. Fig. 5 beschrieben.
In Fig. 4 ist die Steuereinrichtung 32 so gezeigt, daß sie einen Zeilenzähler 61 und erste und zweite Pufferspeicher 62 u. 63 enthält. Ein Zeilen-Taktsignal wird einem Taktanschluß des Zeilenzählers 61 zugeführt, während das Eingangs-Teilbild-Synchronisierungssignal einem Rücksetzanschluß des Zeilenzählers 61 und einem Taktanschluß des ersten Pufferspeichers 62 zugeführt wird. Das Ausgangs-Teilbildsynchronisierungssignal wird einem Taktanschluß des ersten Pufferspeichers 62 zugeführt. Das Ausgangssignal des Zeilenzählers 61 wird einem Eingang des ersten Pufferspeichers 62 zugeführt, dessen Ausgangssignal dem Eingang des zweiten Pufferspeichers 63 zugeführt, dessen Ausgangssignal das Zeitversatzsignal ist, das den Leuchtdichtesignal- u. Farbdifferenzsignal- Schieberegistern 11Y, 11C, 18Y u. 18C zugeführt wird.
Die Eingangs- u. Ausgangs- Teilbildsynchronisierungssignale sind in Fig. 5A bzw. Fig. 5B gezeigt. Fig. 5C zeigt das Ausgangssignal des Zeilenzählers 61, welcher wiederholend 0 bis 524 zählt. Fig. 5D u. Fig. 5E zeigen die Ausgangssignale der ersten und zweiten Pufferspeicher 62 bzw. 63. Durch Zwischenspeichern der Ausgangssignale des Zeilenzählers 61 wird die Proportion Der Eingangs-Teilbildperiode bestimmt. Der Zeitverschiebewert tn gibt die Position zwischen zwei Eingangs- Teilbildern an, wo das Ausgangs-Teilbild interpoliert werden muß, so daß wenn das schraffierte Teilbild, welches in Fig. 5A gezeigt ist, verworfen wird, nach wie vor eine kontinuierliche Bewegung auftritt. Auf diese Weise ist das Teilbild, welches den Zeitversatz benutzt, der in Fig. 5E dargestellt ist, dasjenige, das verworfen wird. Anhand von Fig. 5A u. Fig. 5B ist ersichtlich, daß das Teilbild, welches verworfen wird, eines ist, das mit sich verbunden eine neue Zeitverschiebung aufweist. Das Teilbild (mit Pfeilen versehen), das zu verwerfen ist, wird der nachfolgenden Schaltungsanordnung durch das Zeiteinfrierungssignal angezeigt.
Die Ableitung des Zeitversatzsignals im Falle der 625/50-zu- 525/60-Operation wird im folgenden anhand von Fig. 6 u. Fig. 7 beschrieben.
In Fig. 6 ist die Steuereinrichtung 32 so gezeigt, daß sie einen in Zeilenzähler 71 und einen Pufferspeicher 72 enthält. Ein Taktsignal wird einem Taktanschluß des Zeilenzählers 71 zugeführt, während das Eingangs-Teilbildsynchronisierungssignal einem Rücksetzanschluß des Zeilenzählers 71 zugeführt wird. Das Ausgangs-Teilbildsynchronisierungssignal wird einem Taktanschluß des Pufferspeichers 72 zugeführt. Das Ausgangssignal des Zeilenzählers 71 wird dem Eingang des Pufferspeichers 72 zugeführt, dessen Ausgangssignal das Zeitversatzsignal ist, welches den Leuchtdichtesignal- u. Farbdifferenzsignal-Schieberegistern 11Y, 11C, 18Y u. 18C zugeführt wird.
Die Eingangs- u. Ausgangs-Teilbildsynchronisierungssignale sind in Fig. 7A bzw. Fig. 7B gezeigt. Fig. 7C zeigt das Ausgangssignal des Zeilenzählers 71, der wiederholend von 0 bis 624 zählt. Fig. 7D zeigt das Ausgangssignal des Pufferspeichers 72. Durch Zwischenspeichern des Zählstands des Zeilenzählers 71 wird die erforderliche Proportion der Eingangs- Teilbildperiode bestimmt. Demzufolge zeigt der Zeitverschiebewert tn wiederum die Position zwischen zwei Eingangs-Teilbildern an, wo das Ausgangs-Teilbild derart interpoliert werden muß, daß wenn das schraffierte Teilbild wiederholt wird, nach wie vor eine kontinuierliche Bewegung auftritt. Das Teilbild, welches wiederholt wird, ist das eine, das mit sich verbunden zwei Zeitverschiebewerte aufweist. Das Teilbild (mit Pfeilen versehen), welches zu wiederholen ist, wird der nachfolgenden Schaltungsanordnung durch das Zeiteinfrierungssignal angezeigt.
Die Abweichung des Zeitversatzsignals in dem Fall des Zeitlupen-Betriebs entweder bei einer 525/60-zu-525/60- oder einer 625/50-zu-625/50-Umsetzung ist dieselbe und wird im folgenden anhand von Fig. 8 u. Fig. 9 beschrieben.
In Fig. 8 ist die Steuereinrichtung 32 so gezeigt, daß sie einen Zeilenzähler 81, einen Teilbildzähler 82, erste bis vierte Pufferspeicher 83 bis 86, ein Exklusiv-ODER-Glied 87 und einen 88 Vorteiler hat. Das Eingangs-Teilbildsynchronisierungssignal wird einem Taktanschluß des ersten Pufferspeichers 83, einem Takt-Freigabeanschluß des Teilbildzählers 82 und einem zweiten Rücksetzanschluß des Zeilenzählers 81 zugeführt. Das Eingangs-Teilbildvorzeichensignal wird dem ersten Pufferspeicher 83 und demzufolge dem zweiten Pufferspeicher 84 und außerdem einem Eingang des Exklusiv-ODER- Glieds 87 zugeführt. Der zweite Pufferspeicher 84 liefert ein Ausgangssignal an den zweiten Eingang des Exklusiv-ODER- Glieds 87, dessen Ausgangssignal einem ersten Rücksetzanschluß des Zeilenzählers 81, einem Rücksetzanschluß des Teilbildzählers 82 und einem Taktanschluß des dritten Pufferspeichers 85, der einen Geschwindigkeitserfassungs-Zwischenspeicher bildet, zugeführt wird. Ein Zeilen-Taktsignal wird einem Taktanschluß des zweiten Pufferspeichers 84 und betreffenden Taktanschlüssen des Zeilenzählers 81 und des Teilbildzählers 82 zugeführt. Das Ausgangssignal des Zeilenzählers 81 wird einem Eingangsanschluß des Vorteilers 88 zugeführt, und das Ausgangssignal des Teilbildzählers 82 wird einem Eingang des dritten Pufferspeichers 85 und außerdem einem Versatz-Eingangsanschluß des Vorteilers 88 zugeführt. Das Ausgangs-Teilbildsynchronisierungssignal wird einem Taktanschluß des vierten Pufferspeichers 86 zugeführt. Das Ausgangssignal des dritten Pufferspeichers 85 wird einem Wichtungsfaktor-Anschluß des Vorteilers 88 zugeführt, dessen Ausgangssignal dem vierten Pufferspeichers 86 zugeführt wird, dessen Ausgangssignal das Zeitversatzsignal ist.
Das Eingangs-Teilbildsynchronisierungssignal und das Eingangs-Teilbildvorzeichensignal sind in Fig. 9A bzw. Fig. 9B gezeigt. Fig. 9C gibt außerdem die Eingangs-Teilbild-Synchronisierungssignale und Fig. 9D die Ausgangs-Teilbild- Synchronisierungssignale an. Fig. 9E u. Fig. 9F geben die Operationen des Teilbildzählers 82 und des Zeilenzählers 81 an, die jeweils Teilbilder und Zeilen von 0 bis N zählen. Fig. 9C gibt das Ausgangssignal des vierten Pufferspeichers 86 an, welches das Zeitversatzsignal ist. Fig. 9H gibt das Zeiteinfrierungssignal (das aktiv ist, wenn es auf niedrigem Pegel liegt) an, und wie durch Pfeile angedeutet, ist das schraffierte Teilbild, welches den Zeitversatz benutzt, der gezeigt ist, eine Wiederholung des vorhergehenden Teilbilds, das dem Zeitversatz t1 benutzt hatte.
Um das Zeiteinfrierungssignal erzeugen zu können, ist die Steuereinrichtung 32, wie in Fig. 10 gezeigt, mit einem RS- Flipflop 91, einem Pufferspeicher 92, einem Inverter 93 und einem UND-Glied 94 versehen. Das Ausgangs-Teilbildsynchronisierungssignal wird einen Eingang des RS-Flipflops 91, dem Eingang des Inverters 93 und einem Takt-Freigabeanschluß des Pufferspeichers 92 zugeführt. Das Eingangs-Teilbildsynchronisierungssignal wird dem anderen Eingang des RS-Flipflops 91 zugeführt, während ein Zeilen-Taktsignal den Taktanschlüssen des RS-Flipflops 91 und des Pufferspeichers 92 zugeführt wird. Das Ausgangssignal des RS-Flipflops 91 wird einem Eingang des UND-Glieds 94 zugeführt, welches an seinem anderen Eingang das Ausgangssignal des Inverters 93 aufnimmt. Das Ausgangssignal des UND-Glieds 94 wird dem Eingang des Pufferspeichers 92 zugeführt, dessen Ausgangssignal das Zeiteinfrierungssignal bildet. Die Arbeitsweise dieser Schaltung ist derart, daß wenn mehr als ein Ausgangs- Teilbildsynchronisierungsimpuls einem Eingangs-Teilbildsynchronisierungsimpuls folgt, ein "Einfrieren" stattfindet.
Anhand von Fig. 2 wird im folgenden die Vertikal-Versatzzahlerzeugung durch die Steuereinrichtung 32 beschrieben. Derselbe Adressengenerator, welcher Daten aus dem Leuchtdichtesignal-TBC 11Y in den Leuchtdichtesignal-Interpolator 1Y und den Bewegungsanalysator 2 einliest, adressiert außerdem einen löschbaren programmierbaren Nur-Lesespeicher (EPROM), der die Vertikal-Versatzzahl zusammen mit Vertikal- Einfrierungssignalen, falls erforderlich, erzeugt.
(In der Anordnung gemäß Fig. 3, die für das 525/60-zu-26/50- Umsetzen benutzt wird, werden die ausgelesenen Adressen des Leuchtdichtesignal-TBC 18Y benutzt, jedoch werden in allen anderen Betriebsarten die ausgelesenen Adressen des Leuchtdichtesignal-TBC 11Y benutzt.)
Die Vertikal-Versatzzahl wird unter der Annahme erzeugt, daß beide der Eingangs- u. Ausgangs-Teilbilder geradzahlig sind und daß dann die Position zwischen den Eingangszeilen, wo die Ausgangszeile derart interpoliert werden muß, daß ein nichtverzerrtes Bild erzeugt würde, wenn
- eine Zeile gelegentlich bei der 625/50-zu-525/60-Umsetzung verworfen würde oder
- eine Zeile gelegentlich bei der 525/60-zu-625/50-Umsetzung wiederholt würde.
Wenn eine Zeile durch das Leuchtdichtesignal-TBC 11Y (18Y) wiederholt wird, wird ein Vertikal-Einfrierungssignal erzeugt.
Wenn die Eingangs-Teilbilder beide nicht geradzahlig sind, müssen dann die Interpolatoren 1Y u.1C von dem Eingangsteilbildvorzeichen und dem Ausgangs-Teilbildvorzeichen Gebrauch machen, um eine korrekte Interpolation sicherzustellen.
Die Inhalte des EPROM werden in einer Weise ähnlich derjenigen, die zuvor in Verbindung mit Fig. 10 für das Zeitversatzsignal beschrieben wurde, unter Benutzung der bekannten Zeilenposition sowohl in einem 525- als auch in einem 625-Zeilen-Bild erzeugt.
Die Ausführungsform und Arbeitsweise des Teilpixelbewegungs- Bewerters 39, auf den sich die vorliegende Erfindung insbesondere bezieht, wird im folgenden im einzelnen anhand von Fig. 11 bis Fig. 15 beschrieben.
Wie zuvor erklärt, werden 1200 Bewegungsvektoren pro Teilbild erzeugt, wobei jeder Bewegungsvektor einem Block von Pixeln zugeordnet ist, die als 8-Zeilen-mal-16-Horizontal-Abtastproben-Blöcke angeordnet sind.
Selbstverständlich ist ein Bewegungsvektor nicht kennzeichnend für die Bewegung innerhalb eines speziellen Blocks, und zwar ungeachtet der Größe des Blocks. Folglich ist es erforderlich, eine Auswahl von Bewegungsvektoren für jeden Block derart zu treffen, daß für jedes Pixel innerhalb dieses Blocks eine gute Möglichkeit gegeben ist, seine Bewegung akkurat zu bewerten.
In dem vorliegenden Fall werden vier Bewegungsvektoren aus sieben lokalen Bewegungsvektoren ausgewählt. Diese vier Bewegungsvektoren werden dann einem zweiten Prozessor zugeführt, der einen aus vier Bewegungsvektoren auswählt.
Die Bewegungsvektoren werden in dem kartesischen Koordinatensystem dargestellt und sind als solche als eine Vertikal- Komponente und eine Horizontal-Komponente verfügbar. Jedem Bewegungsvektor ist eine Gütezahl FOM (Figur of merit) zuge-1sordnet, die auf der Größe WAD (weighted absolute difference - gewichtete Absolutdifferenz) innerhalb eines Blocks basiert. Diese repräsentiert eine quantitative Abschätzung des Grades der Korrelation innerhalb eines Blocks.
Die 1200 Bewegungsvektoren bilden ein Bewegungsvektoren-Feld von 30 vertikalen mal 40 horizontalen Reihen, das für jedes Teilbild erzeugt wird. In vertikaler Richtung werden die Bewegungsvektoren jeweils um 8 Zeilen versetzt, während sie in horizontaler Richtung jeweils um 16 Pixel versetzt werden, wobei jeder Bewegungsvektor einem 8-mal-16-Block von Pixeln zugeordnet ist.
Teilpixel-Bewegungsvektor-Bewertung bedeutet, daß es möglich ist, einen Schritt über die Bewegungsvektor-Bewertung hinaus, die bereits wie zuvor beschrieben, bestimmt ist, durch Berechnen der Teilpixel-Auflösung der ursprünglichen Bewegungsvektor-Bewertung zu vollziehen. In dem zu beschreibenden Beispiel ist es möglich, eine Auflösung von einem Achtel einer Zeile in vertikaler Richtung und einem Viertel eines Pixels in horizontaler Richtung zu berechnen.
Der Hauptgrund für den Wunsch, die Teilpixel-Auflösung der Bewertung des Bewegungsvektors zu berechnen, besteht darin, daß sich Bilder in realen Fernsehbildern nicht notwendigerweise in ganzen Pixeln oder Zeilenschritten bewegen. Die Interpolatoren 1Y u. 1C (Fig. 2 u. Fig. 3), welche im Effekt Teilbilder vor dem Interpolieren eines neuen Teilbilds ausrichten, können auch gebrochene Versätze interpolieren. Daher besteht das reine Ergebnis der Teilpixel-Bewegungsvektor-Bewertung darin, die Auflösung eines interpolierten Ausgangs- Teilbilds zu erhöhen. Dies kann leichter durch das folgende Beispiel, welches anhand von Fig. 11 u. Fig. 12 beschrieben wird, verstanden werden, wobei jede diese Figuren diagrammartig die Bewegung eines Objekts über vier aufeinanderfolgende Teilbilder hinweg zeigt.
Es sei angenommen, das sich Objekt vertikal aufwärts bei einer Rate von 2.5 Zeilen pro Teilbild bewegt und daß das neue Teilbild exakt in der Mitte wischen Teilbild n und Teilbild n-1 zu interpolieren ist. Ohne Teilpixel-Erfassung (Fig. 11) ist es am wahrscheinlichsten, daß das Ergebnis der Bewegungsvektor-Bewertung drei Zeilen pro Teilbild beträgt. Dies wird in den Interpolatoren 1Y u. 1C zu einer Verschiebung der vier Teilbilder vor der Interpolation zu den Positionen führen, wie sie in Fig. 11 durch Pfeile angedeutet sind. Das interpolierte Teilbild wird unter Benutzung der schraffierten Positionen des Objekts aufgebaut, die über drei Zeilen gestreut sind, und wird daher verschmiert, obwohl dies beiläufig bemerkt ein immer noch besseres Ergebnis ist, als es ein linearer Interpolator hervorbringen könnte.
Mit der Teilpixel-Erfassung wird das Ergebnis der Bewegungsvektor-Bewertung 2.5 Zeilen pro Teilbild betragen, was dazu führt, das in den Interpolatoren 1Y u. 1C die Ausrichtung der vier Teilbilder beinahe exakt vor dem Interpolieren des neuen Ausgangs-Teilbilds erfolgt, wie dies in Fig. 12 gezeigt ist. Demzufolge wird das neue Teilbild mit der Teilpixel-Erfassung weniger verschmierte bewegte Bilder erbringen.
Das Verfahren, welches beim Bestimmen der Teilpixel-Bewegung benutzt wird, verwendet die Gütezahlen (FOM), wie sie in Schritt 5 des Bewegungsvektor-Bewertungsalgorithmus berechnet wurden. Die erforderlichen FOM's sind:
(i) die FOM, bei welcher das Minimum auftrat, sei mit B bezeichnet,
(ii) die FOM's links und rechts von B, die dazu dienen, den horizontalen Teilpixel-Versatz zu berechnen, seien mit A bzw. C bezeichnet,
(iii) die FOM' s oberhalb und unterhalb von B, die dazu dienen, den vertikalen Teilpixel-Versatz zu berechnen, seien wiederum mit A bzw. B bezeichnet, weil die Horizontal- und Vertikal-Berechnungen identisch sind und mittels derselben Hardware durchgeführt werden.
Der Prozeß ist ein solcher zum Auffinden des maximalen Abstiegsgradienten zwischen entweder A u. B oder C u. B, und derselbe Gradient wird dann auf die andere äußere FOM angewendet. Der Punkt, bei dem sich die zwei Gradienten kreuzen und der auf die horizontale Achse projiziert wird, ergibt den gebrochenen Versatz. Der Teilpixel-Versatz kann unter Benutzung der folgenden Gleichung bestimmt werden, wobei D der größere Wert von A u. C ist:
Die Gleichung ist wie folgt abgeleitet:
Wie in Fig. 13 gezeigt, sind die drei aufeinanderfolgenden FOM's A, B u. C zu betrachten, wobei B das Minimum ist und wobei A größer als C sei und nun D genannt wird.
Der Gradient der Geraden, die D und B verbindet, ist durch -(D-B) gegeben, wobei diese Linie als die Referenz angenommen ist, deren Gleichung
y = -(D-B)x lautet.
Eine Linie mit dem gleichen Gradienten, jedoch mit umgekehrtem Vorzeichen erstreckt sich durch G, wie dies in Fig. 13 gezeigt ist. Die Gleichung dieser Linie wird
y = (D-B)x-z
sein.
Der Wert x repräsentiert den gebrochenen Versatz.
Daher gilt:
Als nächstes sei die Situation betrachtet, die in Fig. 14 gezeigt ist, bei der C größer als A ist und nun D genannt wird und wobei B nach wie vor das Minimum ist. Es sei dieselbe Näherung wie in den vorstehenden Gleichungen der zwei Zeilen angenommen:
y = -(D-B)x-z
y = (D-B) x
Daher gilt:
In dem ersten Fall ist
z= (D-B)-(C-B)
=(D-C)
=(A-C)
In dem zweiten Fall ist
z = (D-B)-(A-B)
= (D-A)
= (C-A)
Durch Substitution für z in den Gleichungen 1 bzw. 2 ergibt sich:
Folglich ist die allgemeine Gleichung für den Teilpixel-Versatz gegeben durch:
wobei D das Maximum von A u. C ist.
Der Teilpixelbewegungs-Bewerter 39 ist mehr im einzelnen in Fig. 15 gezeigt. Er umfaßt zwei Stufen eines programmierbaren Nur-Lesespeichers mit fünf Registern 101 bis 105, einem Komparator 106, zwei Subtrahierern 107 u. 108 und einem Dividierer 109, welche Teile in bestimmter Weise zusammengeschaltet sind und Eingangssignale aufnehmen, wie dies gezeigt ist. Es ist nicht wesentlich, 2 Stufen zu benutzen, jedoch wird dies in dem vorliegenden Ausführungsbeispiel so gehandhabt, weil die FOM's 12-bit-Zahlen sind, und weil die Auflösung der zuvor angegebenen Gleichungen für den Teilpixel-Versatz die Division von zwei 12-bit-Zahlen beinhaltet, ist die Benutzung eines Ein-Chip-Dividierers nicht möglich, da er nicht fähig wäre, die Division in der zur Verfügung stehenden Zeit durchzuführen. Die Arbeitsweise ist aus der zuvor gegebenen Beschreibung ersichtlich.

Claims

1. Verfahren zur Bewertung von Bewegungsvektoren in einem Fernsehbild unter Benutzung eines das Bild darstellenden digitalisierten Signals, welches Verfahren einen Schritt enthält zum Bestimmen mittels einer Blockvergleichstechnik einer Bewegung in dem Bild an Punkten, die um eine vorbestimmte Anzahl von Pixeln in horizontaler Richtung und um eine vorbestimmte Anzahl von Pixeln in vertikaler Richtung einen Abstand voneinander aufweisen, um dadurch Bewegungsvektoren abzuleiten, die horizontale und vertikale Komponenten (Vh, Vv) haben, welche jeweils eine gerade Zahl von Pixelabständen betragen, gekennzeichnet durch den Schritt zum Bestimmen, wenn einmal ein derartiger Bewegungsvektor abgeleitet worden ist, einer Teilpixelverschiebung x, die kleiner als ein Pixelabstand ist, in zumindest einer der horizontalen und vertikalen Richtungen, so daß der Bewegungsvektor und die betreffende Teilpixelverschiebung zusammen eine Bewegung zwischen Teilbildern des Bildes, die nicht gleich einem ganzzahligen Vielfachen des Abstands zwischen Pixeln ist, repräsentieren.

2. Verfahren nach Anspruch 1, bei dem der Schritt zum Bestimmen einer Teilpixelverschiebung x umfaßt Bestimmen einer Güteziffer B für den Blockvergleich des betreffenden Bewegungsvektors,

Bestimmen einer Güteziffer A für den Blockvergleich eines ersten benachbarten Bewegungsvektors, der um einen Pixelabstand geringer als der betreffende Bewegungsvektor in der einen Richtung ist,

Bestimmen einer Güteziffer G für den Blockvergleich eines zweiten benachbarten Bewegungsvektors, der um einen Pixelabstand größer als der betreffende Bewegungsvektor in der einen Richtung ist, und

Berechnen der Teilpixelverschiebung x aus den Güteziffern A, B, G, die derart bestimmt sind.

3. Verfahren nach Anspruch 2, bei dem der Schritt zum Berechnen die Berechnung

x = ½(A-C)/(D-B)

umfaßt, wobei D diejenige unter den Güteziffern A und C ist, die den schlechtesten Blockvergleich repräsentiert.

4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem betreffende Teilpixelverschiebungen für eine horizontale und eine vertikale Bewegung bestimmt werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt zum Ableiten von Bewegungsvektoren eine fortlaufende Verfeinerung der Bewegungsvektoren enthält.

6. Verfahren nach Anspruch 5, bei dem die Blockvergleichstechnik Schritte umfaßt zum

Prüfen in drei Positionen auf eine minimale Differenz hin der mittleren Position eines Blocks einer vorbestimmten Anzahl von Abtastproben nach links und der gleichen vorbestimmten Anzahl von Abtastproben nach rechts,

Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer kleineren vorbestimmten Anzahl von Abtastproben oder Zeilen,

Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer noch kleineren vorbestimmten Anzahl von Abtastproben oder Zeilen,

Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer noch kleineren vorbestimmten Anzahl von Abtastproben oder Zeilen und Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer Abtastprobe oder einer Zeile.

7. Vorrichtung zur Bewertung von Bewegungsvektoren in einem Fernsehbild unter Benutzung eines das Bild darstellenden digitalisierten Signals, welche Vorrichtung Mittel (36, 37) enthält zum Bestimmen mittels einer Blockvergleichstechnik einer Bewegung in dem Bild an Punkten, die um eine vorbestimmte Anzahl von Pixeln in horizontaler Richtung und um eine vorbestimmte Anzahl von Pixeln in vertikaler Richtung einen Abstand voneinander aufweisen, um dadurch Bewegungsvektoren abzuleiten, die horizontale und vertikale Komponenten (Vh, Vv) haben, welche jeweils eine gerade Zahl von Pixelabständen betragen,

gekennzeichnet durch ein Mittel (39) zum Bestimmen, wenn einmal ein derartiger Bewegungsvektor abgeleitet worden ist, einer Teilpixelverschiebung x, die kleiner als ein Pixelabstand ist, in zumindest einer der horizontalen und vertikalen Richtungen, so daß der Bewegungsvektor und die betreffende Teilpixelverschiebung zusammen eine Bewegung zwischen Teilbildern des Bildes, die nicht gleich einem ganzzahligen Vielfachen des Abstands zwischen Pixeln ist, repräsentieren.

8. Vorrichtung nach Anspruch 7, bei der das Mittel (39) zum Bestimmen der Teilpixelverschiebung umfaßt:

ein Mittel (37) zum Bestimmen einer Güteziffer B für den Blockvergleich des betreffenden Bewegungsvektors, zum Bestimmen einer Güteziffer A für den Blockvergleich eines ersten benachbarten Bewegungsvektors, der um einen Pixelabstand geringer als der betreffende Bewegungsvektor in der einen Richtung ist, und zum Bestimmen einer Güteziffer C für den Blockvergleich eines zweiten benachbarten Bewegungsvektors, der um einen Pixelabstand größer als der betreffende Bewegungsvektor in der einen Richtung ist, und

ein Mittel (39) zum Berechnen der Teilpixelverschiebung x aus den Güteziffern A, B, C, die derart bestimmt sind.

9. Vorrichtung nach Anspruch 8, bei der das Mittel (39) zum Berechnen der Teilpixelverschiebung umfaßt:

einen Komparator (104, 105, 106) zum Bestimmen von D, welche diejenige unter den Güteziffern A und C ist, die den schlechtesten Blockvergleich repräsentiert, und

ein arithmetisches Mittel (107, 108, 109) zum Berechnen der Teilpixelverschiebung x als

x = ½(A-C)/(D-B)

10. Vorrichtung nach einem der Ansprüche 7 bis 9, bei der das Mittel (39) zum Berechnen der Teilpixelverschiebung betreffende Teilpixelverschiebungen für eine horizontale und eine vertikale Bewegung bestimmt.

11. Vorrichtung nach einem der Ansprüche 7 bis 10, bei der das Mittel (36, 37) zum Ableiten von Bewegungsvektoren einen Vektorfilter (36) und einen Vektorberechner (37) umfaßt, die eine Bewegung in dem Bild an Punkten, welche um eine vorbestimmte Anzahl von Abtastproben in horizontaler Richtung und um eine vorbestimmte Anzahl von Abtastprobe in vertikaler Richtung einen Abstand aufweisen, mittels einer Blockvergleichstechnik mit fortlaufender Verfeinerung der Bewegungsvektorbewertung bestimmen, die auf diese Art erzielt wird.

12. Vorrichtung nach Anspruch 11, bei welcher der Vektorberechner (37) dazu eingerichtet ist, die folgenden Schritte betreffend ein digitalisiertes Signal, welches das Bild darstellt und dem Vektorberechner (37) duch das Vektorfilter (36) zugeführt wird, durchzuführen,

Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer noch kleineren vorbestimmten Anzahl von Abtastproben oder Zeilen und

Starten von dem Punkt aus, der zuvor angegeben ist, einer Prüfung in neun Positionen, die symmetrisch um den zuvor angegebenen Startpunkt herum verteilt sind, auf eine minimale Differenz hin in Schritten einer Abtastprobe oder einer Zeile.

13. Fernsehnormenumsetzer, der umfaßt:

Mittel (36 bis 40), die eine Vorrichtung (36, 37, 39) nach einem der Ansprüche 7 bis 12 umfassen, zum Analysieren der Bewegung zwischen aufeinanderfolgenden Teilbildern eines Eingangs-Fernsehsignals einer Fernsehnorm,

ein Mittel (1) zum anschließenden Angleichen der Teilbilder in Abhängigkeit von der Bewegungsanalyse, um auf diese Weise wirksam statische Bilder darzustellen, und

ein Mittel (1) zum Bewirken einer Umsetzung unter Benutzung der statischen Bilder, um das erforderliche Ausgangs- Fernsehsignal einer unterschiedlichen Fernsehnorm abzuleiten.

14. Fernsehnormenumsetzer nach Anspruch 13, bei dem das Mittel (1) zum Bewirken der Umsetzung einen Interpolator (1) zum Bewirken einer vertikal/zeitlichen Interpolation umfaßt und das Eingangs-Fernsehsignal dem Interpolator (1) mittels einer Zeitbasiskorrekturschaltung (11, 18) zugeführt wird, die daraus ein Fernsehsignal mit der Norm "585 Zeilen/60 Teilbilder je Sekunde" erzeugt.

15. Fernsehnormenumsetzer nach Anspruch 14, bei dem das Eingangs-Fernsehsignal ein Signal mit der Norm "625 Zeilen/50 Teilbilder je Sekunde" ist, die Zeitbasiskorrekturschaltung (11, 18) eine 4-Teilbilder-Zeitbasiskorrekturschaltung (11) ist und das Ausgangssignal der Zeitbasiskorrekturschaltung (11) dem Interpolator (1) mittels eines 4-Teilbilder- Schieberegisters (12) zugeführt wird.

16. Fernsehnormenumsetzer nach Anspruch 14, bei dem das Eingangs-Fernsehsignal ein Signal mit der Norm "525-Zeilen/60 Teilbilder je Sekunde" ist, die Zeitbasiskorrekturschaltung (11, 18) eine 2-Teilbilder-Zeitbasiskorrekturschaltung (18) ist und das Ausgangssignal der Zeitbasiskorrekturschaltung (18) dem Interpolator (1) mittels eines 4-Teilbilder-Schieberegisters (12) zugeführt wird.

17. Fernsehnormenumsetzer nach einem der Ansprüche 13 bis 16, bei dem das Mittel (1) zum Angleichen der Teilbilder arbeitet, um die Adresse eines variablen Verzögerungselements zu ändern, um jedes Pixel des Bildes zu der nächstliegenden Zeile oder der nächstliegenden Abtastprobe hin umzupositionieren und dann um jeden Pixel des Bildes sowohl in vertikaler Richtung als auch in horizontaler Richtung zu einem Bruchteil einer Zeile bzw. zu einem Bruchteil einer Abtastprobe hin umzupositionieren.

18. Fernsehnormenumsetzer nach Anspruch 17, bei dem das vertikale Umpositionieren zu einem Bruchteil einer Zeile hin mittels eines Vertikalinterpolators (1) mit vier Abgriffen je Teilbild ausgeführt wird und das horizontale Umpositionieren zu einem Bruchteil einer Abtastprobe hin mittels eines Horizontalfilters ausgeführt wird, das zwei oder vier Abgriffe hat.

19. Fernsehnormenumsetzer zum Umsetzen der Fernsehnorm "625 Zeilen/50 Teilbilder je Sekunde" in die Fernsehnorm "525 Zeilen/60 Teilbilder je Sekundel,, der umfaßt:

eine 4-Teilbilder-Zeitbasiskorrekturschaltung (18) zum Empfangen eines digitalen Eingangs-Fernsehsignals der Fernsehnorm "625 Zeilen/50 Teilbilder je Sekunde",

einen Bewegungsanalysator (36 bis 40), der eine Vorrichtung (36, 37, 39) nach einem der Ansprüche 7 bis 12 umfaßt, die mit dem Ausgang der Zeitbasiskorrekturschaltung (18) zum Analysieren einer Bewegung in dem Eingangs-Fernsehsignal verbunden ist,

ein Schieberegister (12), das ebenfalls mit dem Ausgang der Zeitbasiskorrekturschaltung (18) verbunden ist,

einen Interpolator (1) zum Ableiten von Abtastproben eines erforderlichen digitalen Fernsehsignals der Fernsehnorm "525 Zeilen/60 Teilbilder je Sekunde" in Abhängigkeit von Abtastproben, die von dem Schieberegister (12) abgeleitet sind, und von Bildbewegungsdaten, die mittels des Bewegungsanalysators (36 bis 40) abgeleitet sind, und

eine 2-Teilbilder-Zeitbasiskorrekturschaltung (18) zum Zusammensetzen der abgeleiteten Abtastproben, um das Ausgangs-Fernsehsignal zu bilden.

20. Fernsehnormenumsetzer nach Anspruch 19, bei dem die 4-Teilbilder-Zeitbasiskorrekturschaltung (11) ein Fernsehsignal der Fernsehnorm "585 Zeilen/60 Teilbilder je Sekunde" aus dem Eingangs-Fernsehsignal zur Lieferung an das Schieberegister (12) ableitet.

21. Fernsehnormenumsetzer zum Umsetzen der Fernsehnorm "525 Zeilen/60 Teilbilder je Sekunde" in die Fernsehnorm "625 Zeilen/50 Teilbilder je Sekunde", der umfaßt:

eine 2-Teilbilder-Zeitbasiskorrekturschaltung (18) zum Empfangen eines digitalen Eingangs-Fernsehsignals der Fernsehnorm "525 Zeilen/60 Teilbilder je Sekunde",

einen Interpolator (1) zum Ableiten von Abtastproben eines erforderlichen digitalen Fernsehsignals der Fernsehnorm "625 Zeilen/50 Teilbilder je Sekunde" in Abhängigkeit von Abtastproben, die von dem Schieberegister (12) abgeleitet sind, und von Bildbewegungsdaten, die mittels des Bewegungsanalysators (36 bis 40) abgeleitet sind, und

eine 4-Teilbilder-Zeitbasiskorrekturschaltung (11) zum Zusammensetzen der abgeleiteten Abtastproben, um das Ausgangs-Fernsehsignal zu bilden.

22. Fernsehnormenumsetzer nach Anspruch 21, bei dem die 2-Teilbilder-Zeitbasiskorrekturschaltung (18) ein Fernsehsignal der Fernsehnorm "585 Zeilen/60 Teilbilder je Sekunde" aus dem Eingangs-Fernsehsignal zur Lieferung an das Schieberegister (12) ableitet.

23. Fernsehnormenumsetzer nach Anspruch 20 oder 22, bei dem der Bewegungsanalysator (36 bis 40) Bewegungsvektoren in Abhängigkeit von der Bewegung zwischen betreffenden Pixeln in aufeinanderfolgenden Teilbildern des Eingangs-Fernsehsignals ableitet und die Bewegungsvektoren an den Interpolator (1) liefert, um so wirksam die Pixel in den aufeinanderfolgenden Teilbildern anzugleichen, um auf diese Weise statische Bilder darzustellen.

24. Zeitlupenprozessor, der umfaßt:

eine Eingangsschaltung (31, 11) zum Empfangen eines Eingangs-Fernsehsignals,

einen Bewegungsanalysator (36 bis 40), der eine Vorrichtung (36, 37, 39) nach einem der Ansprüche 7 bis 12 umfaßt, zum Analysieren einer Bewegung in dem Eingangs-Fernsehsignal

ein Schieberegister (12) zum Zwischenspeichern aufeinanderfolgender unterschiedlicher Teilbilder des Eingangs- Fernsehsignals,

einen Interpolator (1) zum Ableiten von Abtastproben eines erforderlichen digitalen Ausgangs-Zeitlupenfernsehsignals in Abhängigkeit von dem Grad der Langsambewegung, von Abtastproben, die von dem Schieberegister (12) abgeleitet sind, und von Bildbewegungsdaten, die mittels des Bewegungsanalysators (36 bis 40) abgeleitet sind, und

eine 2-Teilbilder-Zeitbasiskorrekturschaltung (18) zum Zusammensetzen der abgeleiteten Abtastproben, um das Ausgangs-Zeitlupenfernsehsignal zu bilden.

25. Zeitlupenprozessor nach Anspruch 24, bei dem die Eingangsschaltung (31, 11) eine 4-Teilbilder-Zeitbasiskorrekturschaltung (11) umfaßt.

26. Zeitlupenprozessor nach Anspruch 25, bei dem die 4-Teilbilder-Zeitbasiskorrekturschaltung (11) ein Fernsehsignal der Fernsehnorm "585 Zeilen/60 Teilbilder je Sekunde" aus dem Eingangs-Fernsehsignal zum Liefern an das Schieberegister (12) ableitet.