DE69123844T2

DE69123844T2 - Videosignalverarbeitung

Info

Publication number: DE69123844T2
Application number: DE69123844T
Authority: DE
Inventors: Timothy John Tadworth Surrey Kt20 6Np Borer
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 1990-06-19
Filing date: 1991-06-19
Publication date: 1997-05-22
Anticipated expiration: 2011-06-20
Also published as: DE69123844D1; GB9013642D0; ATE146925T1; JP3245417B2; JPH05507826A; WO1991020155A1; EP0535066B1; EP0535066A1

Description

Hintergrund der Erfindung

Diese Erfindung betrifft eine Videosignalverarbeitung.
Es ist aus dem BBC Research Department Report Nr. RD 1987/11, der von der British Broadcasting Corporation, Research Department, Engineering Division veröffentlicht ist, und von der Patentbeschreibung Nr. GB-A-2, 188,510 des Vereinigten Königreichs bekannt, eine Schätzung der offensichtlichen Bewegung in verschiedenen Teilen eines Videobildes von einem Frame bzw. Vollbild zu dem nächsten zu machen. Die Bewegung wird als ein Vektor gemessen, d.h. es wird Richtung und Betrag bzw. Größe der Bewegung festgelegt. Diese Bewegungsvektor- Schätzung kann vorteilhaft bei bewegungskompensierten Normenwandlungen (z.B. zwischen 50 und 60 Hz Field-Raten bzw. Halbbildraten), oder in anderen bewegungskompensierten ("motion-compensated") Bildverarbeitungsanwendungen, wie zum Beispiel einer Zeitlupenanzeige, Film-Bewegungs-Darstellungsverbesserung, Halbbildraten-Aufwärtsmischung ("field rate upconversion"), Videorausch- Unterdrückung, PAL-Dekodierung, Bandbreiten-Reduktion und Schmutz-Verringerung bzw. "dirt"-Verringerung verwendet werden.
Figur 1 der beigefügten Zeichnungen zeigt die Grundstruktur eines bewegungskompensierten Videoverarbeitungssystems 10 im Überblick. Ein Eingang 12 empfängt ein Videosignal bei einer Halbbild- oder Bildrate von fi Hz und dieses wird an einem Bewegungsanalysator 14 in einem Bewegungsschätzer 16 angelegt. Der Bewegungsschätzer beinhaltet ebenso eine Vektor-Zuweisschaltung 16, die angeschlossen ist, um ein "Menü" möglicher Bewegungsvektoren von dem Bewegungsanalysator zu empfangen. Die Bewegungsvektoren werden an eine Synchronisiereinrichtung bzw. Synchronisator 20 in der Anwendungshardware 22 angelegt, die ebenso die gewünschte bewegungskompensierte Bildverarbeitungs-Schaltung 24 enthält. Die Schaltung 24 empfängt sowohl das Eingangssignal vom Eingang 12 als auch das Ausgangssignal von der Synchronisiereinrichtung 22 und liefert ein Ausgangssignal bei der Ausgangs-Halbbild- oder Bildrate fo Hz an einem Ausgangsanschluß 26.
In diesem System leitet der Bewegungsanalysator für jedes Pixel bzw. für jeden Bildpunkt ein Menü möglicher Bewegungsvektoren (Versuchsvektoren) ab, die zu jenem Pixel passen können. Dies kann, indem die Phasenkorrelations-Technlk verwendet wird, die in den oben beschriebenen Druckschriften beschrieben ist, oder auf andere Weise durchgeführt werden. Die Vektor-Zuweisstufe weist einen der möglichen Bewegungsvektor jedem Pixel zu oder zeigt an, daß keiner geeignet ist.
Die obigen Druckschriften offenbaren einen Algorithinus zur Vektor-Zuordnung. Dies schließt die Verschiebung des nächsten nachfolgenden Bildes durch jeden Versuchsvektor und das Vergleichen des verschobenen Bildes mit dem Eingangsbild mit ein. Der Vektor, der die beste Übereinstimmung in einem kleinen Bereich um das Pixel herum gibt, stellt eine Zuweisung zu jenem Pixel dar. Falls kein Versuchsvektor eine gute Übereinstimmung gibt, wird ein "keine Übereinstimmung" Flag als jener "Vektor" des Pixels gesetzt.
Wir haben gefunden, daß mit einem derartigen System ein unerwartetes Problem auftreten kann. Das sich ergebende Videobild kann, nachdem es einer Normenwandlung unterzogen wurde, einen störenden "Halo" hinter sich bewegenden Objekten aufweisen.
Dieser Halo-Effekt wird durch sich bewegende Objekte verursacht, die den Hintergrund in dem Bild abdecken und aufdecken.
Es ist in SIGNAL PROCESSING Band 15, Nr. 3, Oktober 1988, Seiten 315-334 vorgeschlagen, daß sowohl Vorwärts- als auch Rückwärts-Zuweisung verwendet wird, um derartige abgedeckte und aufgedeckte Bereiche festzustellen, indem Vorwärts- und Rückwärts-Zuweisung von Vektoren verwendet wird.

Zusammenfassung der Erfindung

Uns ist bewußt, daß dieser "Halo" auftritt, weil ein ungeeigneter Vektor in dem Bereich der nachlaufenden Kante bzw. des nachfolgenden Endes ("trailing edge")der Objekte verwendet wird. Dies sind Gebiete, die einen enthüllten bzw. zum Vorschein gebrachten Hintergrund bilden. Dieser Effekt tritt nicht bei dem führenden Ende bzw. der führenden Kante ("leading edge") eines Objektes auf; dieser Bereich wird korrekterweise als "keine Übereinstimmung" markiert bzw. mit einem entsprechenden Flag versehen.
Es wird klar sein, daß das Bewegungs-Zuweisungsverfahren, das in den oben erwähnten Druckschriften beschrieben ist, durch eine "Vorwärts-Zuweisung" gekennzeichnet werden kann. Dies wird auf der linken Seite einer jeden der Figuren 2 und 3 der beigefügten Zeichnungen gezeigt. Bei der Vorwärts-Zuweisung wird der Bewegungsvektor, wenn es eine Bewegung eines Objekts zwischen einer ersten Position in einem ersten Vollbild und einer zweiten Position in dem zweiten Vollbild gibt, der Gesamtheit der ersten Position des Objekts zugewiesen, wohingegen er nur dem Gebiet zugeordnet werden sollte, über den sich die erste und die zweite Position überlappen. Der Bereich der ersten Position, der nicht durch die zweite Position uberlappt wird, der einen Bereich eines enthüllten bzw. freigelegten Hintergrund darstellt, sollte als "keine Übereinstimmung" identifiziert bzw. bezeichnet werden. In Figuren 2 und 3 stellt V&sub0; die Geschwindigkeit des Vordergrund-Objektes, die Geschwindigkeit des Hintergrunds und NM ("no match") keine-Übereinstimmung- Bereiche, zu denen kein Vektor zugewiesen wird, dar.
Somit ist eine Vorwärts-Vektorzuweisung, allgemein ausgedrückt, nur zur Extrapolation ein Bild vorwärts in die Zukunft gültig. Wir waren uns bewußt, daß es viele Gelegenheiten gibt, wo dies ungeeignet ist.
In Übereinstimmung mit dieser Erfindung schlagen wir zusätzlich vor, das Bild in die Vergangenheit bzw. rückwärts in der Zeit zu extrapolieren, und zwar durch das, was wir als Rückwärts-Zuweisung bezeichnen können. Dies wird erreicht, indem dieselben Verfahren wie bei der Vorwärts-Zuweisung bzw. Zukunfts-Zuweisung verwendet werden, wie es bei den obigen Druckschriften beschrieben ist, wobei aber die Rollen der "gegenwärtigen" und "nachfolgenden" Bilder umgekehrt werden.
Bei diesen Verfahren wird das gegenwärtige Bild durch jeden der Versuchsvektoren verschoben und mit dem nachfolgenden Bild verglichen. Wie zuvor entspricht der Vektor, der einem Pixel zugewiesen wurde, dem Versuchsvektor, der die beste Übereinstimmung in einem kleinen Bereich um jenen Pixel herum gibt. Rückwärts- Zuweisung wird auf der rechten Seite eines jeden der Figuren 2 und 3 gezeigt.
Rückwärts-Zuweisung ist für eine Interpolation eines Bildes rückwärts (aber nicht vorwärts) in der Zeit gültig. Falls rückwärts-zugewiesene Vektoren zur Bewegungs- Kompensation verwendet werden, so wird, wie oben beschrieben, ein störender Halo am vorderen Ende der führenden Kante eines Objektes (aber nicht dahinter) erzeugt. Die Gründe dafür sind vollständig analog zu jenen fur die Vorwärts-Zuweisung, die oben beschrieben wurden.
In Fällen, in denen es erwünscht ist, sowohl verdeckten als auch freigelegten Hintergrund Rechnung zu tragen, wird deshalb weder Vorwärts- noch Rückwärts- Zuweisung für sich alleine vollständig zufriedenstellend sein. Eine verbesserte Vektor- Zuweisung kann somit bewerkstelligt werden, indem Vorwärts- und Rückwärts- Zuweisungsprozesse kombiniert werden, damit sich die besten Merkmale eines jeden ergeben. Dies kann erreicht werden, indem versucht wird, jedem Versuchsvektor zuzuweisen, indem sowohl Vorwärts- als auch Rückwärts-Zuweisung parallel verwendet wird. Die Ungleichheit zwischen verschobenen und stationären Bildern in beiden Zuweisungs-Prozessen kann kombiniert werden, um ein zusammengesetztes Maß der Ungleichheit zu geben. Die Ungleichheit zwischen verschobenen und stationären Bildern kann als die lokale mittlere absolute Differenz zwischen den Bildern gemessen werden, wie dies in den obigen Druckschriften beschrieben ist. Alternativ kann die lokale quadratische Mittelwerts-Differenz zwischen den Bildern verwendet werden. In jedem Fall können diese Maße von Ungleichheit für Vorwärts- und Rückwärts-Zuweisung einfach addiert werden, um ein kombiniertes Maß von Ungleichheit zu ergeben. Wie zuvor würde der Versuchsvektor, der die geringste zusammengesetzte Ungleichheit aufweist, jedem Pixel zugewiesen werden (vorausgesetzt die Ungleichheit war gering).
Kombinierte Vektor-Zuweisung markiert Bereiche von sowohl freigelegtem als auch verdecktem Hintergrund als "keine Übereinstimmung" bzw. versieht sie mit einem entsprechenden Flag, so daß eine Bereitschafts- bzw. Rückfall-Interpolationstechnlk verwendet werden kann. In diesen Bereichen des aufgedeckten und verdeckten Hintergrunds wird entweder Vorwärts- oder Rückwärts-Zuweisung (aber nicht beides) eine große Ungleichheit ergeben. Deshalb sollte die zusammengesetzte Ungleichheit groß sein und der Bereich als "keine Übereinstimmung" markiert werden. Es ist wichtig, daß die beeinflußte bzw. beeinträchtigte Bildregion, falls entweder Vorwärts- oder Rückwärts-Zuweisung eine große Ungleichheit aufweist, als "keine Übereinstimmung" markiert wird. Aus diesem Grund kann es das beste sein, eine kombinierte Ungleichheit als die quadratische Mittelwerts-Ungleichheit der Vorwärts- und Rückwärts-Zuweisung auszubilden, eher als einfach durch ihre Summe.
Bereiche für die die Vorwärts- und Rückwärts-Zuweisung eine große und eine kleine Ungleichheit geben, können als aufgedeckter oder verdeckter Hintergrund in Abhängigkeit davon, welcher Zuweisungs-Prozeß die größte Ungleichheit ergibt, klassifiziert werden.
Markierungs-Bereiche bzw. Flag-Bereiche von sowohl aufgedecktem als auch verdecktem Hintergrund ermöglicht eine verbesserte bewegungskompensierte Verarbeitung im Vergleich zur Verwendung von entweder Vorwärts- oder Rückwärts- Zuweisung für sich alleine. Eine einfache Synchronisiereinrichtung kann verwendet werden, um ein Vektorfeld, das mit Anwendungshardware-Ausgangsbildern (Figur 1) co-getimed bzw. parallel seitlich gesteuert ist, zu erzeugen. Die Synchronisationseinrichtung erzeugt eine Ausgangsbild-Abfolge einer Bildrate, die sich von jener ihrer Eingangs-Abfolge unterscheidet. Dies wird bewerkstelligt, indem das jüngste Eingangs-Bild bei jedem notwendigen Ausgangs-Augenblick wiederholt wird. Da alle Problembereiche des Bildes markiert sind bzw. mit einem Flag versehen sind, brauchen keine störenden Halo-Effekte erzeugt zu werden, was passieren würde, wenn entweder Vorwärts- oder Rückwärts-Zuweisung alleine verwendet würde.

Kurze Beschreibung der Zeichnungen

Die Erfindung wird nun detaillierter und beispielhaft und unter Bezugnahme auf die Zeichnungen beschrieben, in denen:
Figur 1 (auf die oben hingewiesen wurde) ein Blockdiagramm eines bewegungskompensierten Video-Verarbeitungssystems ist;
Figur 2 (auf die oben hingewiesen wurde) ein horizontales/zeitliches Diagramm ist, das die Vorwärts-Zuweisungs- und Rückwärts-Zuweisungs- Prozesse zeigt;
Figur 3 (auf die oben hingewiesen wurde) eine horizontale/vertikale Ansicht der Vorwärts-Zuweisungs- und Rückwärts-Zuweisungs-Prozesse ist;
Figur 4 Zuweisungsoperationen relativ zu einem Ausgangs-Halbbild auf halbem Weg zwischen zwei Eingangshalbbildem zeigt, wobei bei (a) eine horizontale/zeitliche Ansicht und bei (b) eine horizontale/vertikale Ansicht gezeigt wird;
Figur 5 ein Blockschaltbild eines Bewegungsanalysators ist, der Phasenkorrelation verwendet;
Figur 6 ein Blockschaltbild eines Vektor-Zuweisungssystems ist;
Figur 7 ein Blockschaltbild einer Vektor-Zuweisungseinheit in dem Vektor- Zuweisungssystem der Figur 6 ist; und
Figur 8 eine horizontale/zeitliche Ansicht ist, die die Vorwärtsprojektion eines Vektors in der Zeit bei einem anderen Verfahren der Budratenkonversion zeigt.

Detaillierte Beschreibung der bevorzugten Ausführungsform

Figur 4 der beigefügten Zeichnungen zeigt ein kombiniertes Zuweisungssystem, bei welchem sowohl Vorwärts- als auch Rückwärts-Zuweisung verwendet wird. Zwei Eingangsbildern, nämiich Eingangsbild 1 und Eingangsbild 2 werden miteinander verglichen.
In Figur 4(b) ist die Geschwindigkeit des Vordergrund-Gegenstandes wiederum als V&sub0; gezeigt und die Geschwindigkeit des Hintergrunds als V . Vorwärts- und Rückwärts-Zuweisung wird verwendet, um eine "Schablone" zu bestimmen, die auf das Intervall zwischen dem Eingangsbild 1 und dem Eingangsbild 2 von Bereichen, die als sich mit dem Objekt-Vektor V&sub0; bewegend betrachtet werden, Bereichen, die sich mit dem Hintergrundvektor Vb bewegen, und Bereichen, die aufgedeckten oder verdeckten Hintergrund enthalten können, anwendbar ist. Diese Schablone kann dann verwendet werden, um ein gewünschtes Ausgangsbild vorherzusagen, das zwischen den Eingangsbildern liegt, indem von einem der zwei Eingangsbildern extrapoliert wird, indem die Bewegungsvektoren in einer Proportion verwendet werden, die zu dem Zeitablauf des Ausgangsbildes relativ zu den zwei Eingangsbildem in Beziehung steht. Die Schablone wird nicht für jedes gegebenene Ausgangs-Halbbild optimal sein, wie gezeigt, weil es als "keine Übereinstimmung" Bereiche des Bildes markiert, die zu einem aufgedeckten oder verdeckten Hintergrund bei jedem Ausgangsbild-Ort zwischen den beiden Eingangsbildern entsprechen würde.
Kombinierte Zuweisung sollte die Probleme verringern, die damit verbunden sind, daß versucht wird, eine Bewegung von einer Interlace-Fernsehquelle bzw. von einer Fernsehquelle nach dem Zeilensprungverfahren zu schätzen. Probleme treten bei der Verwendung von Vorwärts- (oder Rückwärts-)Zuweisung mit Interlace-Bildern bzw. Bildern nach den Zeilensprungverfahren auf vertikalen Enden bzw. Kanten (zum Beispiel horizontale gerade Linien) auf. Dies liegt daran, daß jedes Feld (vertikal) unterabgetastet wird, was zu einem Durcheinanderbringen zwischen vertikaler Bewegung und Einzelheiten führt. Die Verschiebung eines einzelnen Halbbildes führt zu einem Alias-Effekt, bei dem verschobenen Bild. Dieser Alias-Effekt führt zum Auftreten von Fehlern in der gemessenen Ungleichheit zwischen dem verschobenen und dem Referenz-Bild. Bei der kombinierten Zuweisung werden sowohl das gegenwärtige Bild als auch sein Nachfolger verschoben (in entgegengesetzte Richtungen). Vertikale Alias-Effekte werden zum Auftreten von verschiedenen Fehlern in der gemessenen Ungleichheit für Vorwärts- und Rückwärts-Zuweisung führen. Im Mittel werden diese Fehler dazu neigen, sich gegenseitig aufzuheben. Zum Beispiel ist es wahrscheinlich, daß, falls eine Vorwärts-Zuweisung eine fehlerhafte niedrige Ungleichheit ergibt, dies durch eine fehlerhafte hohe Ungleichheit von der Rückwärts-Zuweisung ausgeglichen wird. Eine kombinierte Zuweisung sollte deshalb zuverlässigere Ergebnisse liefern, wenn Vektoren Interlace-Bildem bzw. Bildern nach dem Zeilensprungverfahren zugewiesen werden.
Somit weist zusammengefaßt der bevorzugte Vektor-Zuweisungsprozeß einen Bewegungsvektor, der aus einem Menü von möglichen Vektoren ausgewählt ist, jedem Pixel in einem Bild individuell zu. Das Menü von Vektoren kann aus einer Phasenkorrelation oder auf andere Weise abgeleitet werden. Falls kein Menü verfügbar ist, können alle möglichen Bewegungsvektoren versucht werden (eine erschöpfende Suche). In diesem Fall bildet die vorgeschlagene Vektor-Zuweisung selbst ein Bewegungs-Schätzsystem.Jedoch wäre dieser Ansatz berechnungsmäßig ineffizient.
Der oben beschriebene Vektor-Zuweisungsprozeß weist eine Anzahl von vorteilhaften Eigenschaften bzw. Merkmalen auf, einschließlich:
1) Bewegungsvektoren werden Pixeln in einem Eingangsbild zugewiesen. Dies wird derartig durchgeführt, daß der zugewiesene Vektor verwendet werden kann, um ein neues Bild zu jeder Zeit zwischen dem Eingangsbild und seinem unmittelbaren Nachfolger zu interpolieren. Dies impliziert, daß eine einfache Synchronisationseinrichtung verwendet werden kann, um Bewegungsvektoren von einer Eingangs-Bildrate in eine unterschiedliche Ausgangsbildrate für eine bestimmte Anwendung zu konvertieren. Dies ist in Situationen nützlich, wo bewegungskompensierte Verarbeitung verwendet wird, um Bilder bei einer Ausgangsrate zu produzieren, die sich von der Eingangsrate unterscheidet.
2) Pixels, für die kein Vektor, wie oben beschrieben, zugewiesen werden kann, werden klar identifiziert. Dies erlaubt, daß eine alternative (Ersatz-) Interpolationstechnik durch die Anwendungshardware für diese Pixel verwendet wird.
3) Pixels, für die kein Vektor zugewiesen werden kann, können in jene aufgeteilt werden, die einem aufgedeckten oder einem verdeckten Hintergrund entsprechen. Dies kann eine Interpolation durch die Anwendungshardware unterstützen und eine verbesserte Leistungsfähigkeit erzeugen.
4) Die Vektoren, die zugewiesen sind, sind robust bezüglich zerstörerischer Effekte (für Bewegungsschätzung) von Interlace-gescannten Fernsehbildern bzw. von Femsehbildern, die nach dem Zeilensprungverfahren abgetastet werden und von Rauschen.

Implementation

Figur 1 zeigt, daß eine Bewegungsschätzeinrichtung zwei Teile aufweisen kann, einen Bewegungsanalysator 14 und ein Vektor-Zuweisungssystem 18. Auf den Bewegungsanalysator kann grundsätzlich verzichtet werden und ein Menü von allen möglichen Vektoren kann stattdessen versucht werden. Dies ist eine erschöpfende Suche und sehr ineffizient.
Eine effiziente Bewegungsschätzeinrichtung erfordert einen Bewegungsanalysator. Dieser nimmt das Eingangsvideosignal und erzeugt eine kleine Anzahl (typischerweise 8) von möglichen Bewegungen (die als Versuchsvektoren bekannt sind) für jeden Teil des Bildes. Ein System, um dies zu erreichen, ist in Figur 5 gezeigt und in den obigen Druckschriften beschrieben. Die gezeigte Technik ist als Phasenkorrelation bekannt. Alternative Bewegungsanalysetechniken sind verfügbar, die mit dieser Erfindung verwendet werden könnten (siehe zum Beispiel SPIE, Band 1153, Applications of Digital Image Processing XIII (1989) Seiten 193 bis 202; Lee D.J., Mitra S. und Krile T.F. "A hybrid registration and analysis technique for sequential complex images").
Kurzgesagt, empfängt der auf Phasenkorrelation basierende Bewegungsanalysator 14 das Eingangs-Bildsignal und unterwirft dieses einer räumlichen Fourier-Transformation in einer Schaltung 30. Der Ausgang von dieser liefert eine Darstellung des räumlichen Spektrums des Eingangs-Fernsehbildes. Eine Phasen-Diferenzschaltung 32 erzeugt die Phasendifferenz zwischen dem Ausgang der Transformationsschaltung 30 sowohl direkt als auch nach einer Einbild-Verzögerung 34. Diese Phasendifferenz- Funktion wird an eine Schaltung 36 für eine inverse räumliche Fourier-Transformation angelegt, die ein Ausgangssignal liefert, das eine "Korrelationsoberfläche" darstellt. Eine Schaltung 38 lokalisiert die Positionen der Peaks in dieser Oberfläche, um ein Menü von möglichen Bewegungsvektoren zu liefern. Bezüglich weiterer Details sollte auf den oben erwähnten BBC Report RD 1987/11 und die UK-Patentbeschreibung 2,188,510 bezuggenommen werden.
Die Funktion des Vektor-Zuweisungssystems 18 in Figur 1 ist es, zu bestimmen, welcher (falls überhaupt irgendeiner) der Versuchsvektoren auf jeden individuellen Pixel in dem Eingangsbild paßt bzw. anwendbar ist. Dies wird bewerkstelligt, indem beurteilt wird, wie gut verschobene Versionen des Bildes sowohl mit dem früheren (Vorwärts-Zuweisung) oder späteren (Rückwärts-Zuweisung) Bildern in der Abfolge übereinstimmen. Ein Blockdiagramm der Vektorzuweisung ist in Figur 6 mit weiteren Details in der Figur 7 gegeben. Das Vektorzuweisungs-System 18 der Figur 6 empfängt das Eingangsvideosignal 12 direkt und über eine Ein-Bild-Verzögerungseinrichtung 40 und empfängt ebenso die Versuchsvektoren V&sub1;...Vn aus dem Bewegungsanalysator 14. Zugeordnet zu jedem Versuchsvektor ist ein entsprechender aus n- Zuweisungseinheiten 42, von denen jeder einen Zuweisungsfehler erzeugt. Dies wird an eine Schaltung 44 angelegt, die gestaltet ist, um den minimalen Zuweisungsfehler zu finden und um zu bestimmen, für welchen der Vektoren dies zutrifft. Falls alle Zuweisungsfehler groß sind, kann eine "keine Übereinstimmung" Situation angenommen werden. Das Ausgangssignal der Schaltung 44 stellt somit die Nummer der Zuweisungseinheit dar, die den kleinsten Fehler ergibt, oder ein Wert, der anzeigt, daß keine Übereinstimmung gefünden wurde. Dies wird auf eine Auswahleinrichtung 46 angewendet, die den entsprechenden Vektor als den zugewiesenen Vektor auswählt, und zwar zur Verwendung in der nachfolgenden Anwendungs-Hardware, zum Beispiel für Normenwandlung.
Somit wird die Übereinstimmung zwischen der gegenwärtigen und einer verzögerten Version der Eingangs-Bildabfolge in der Zuweisungs-Einheit 42 bestimmt. Die Zuweisungs-Einheit, die die beste Übereinstimmung gibt, wird bestimmt und verwendet, um auszuwählen, welche der Versuchsvektoren als geeignet für ein gegebenes Pixel erachtet wird. Falls keiner der Versuchsvektoren eine gute Übereinstimmung gibt, dann wird "kein Vektor gefunden" eher gemeldet bzw. übermittelt als einer der Versuchsvektoren.
Die Zuweisungs-Einheiten sind detailliert in Figur 7 gezeigt, in der die obere Hälfte 64 des Diagramms die Vorwärts-Zuweisung darstellt, während die untere Hälfte 66 die Rückwärts-Zuweisung darstellt. Die Fehler von jedem Typ von Zuweisung werden wie die letzte Stufe in der Zuweisung-Einheit kombiniert.
Nimmt man Bezug auf die Figur 7, so ist ein Vorwärts-Zuweisungsabschnitt 64 der Zuweisungseinheit gezeigt, die das Eingangs-Videosignal empfängt und dieses durch den Versuchsvektor verschiebt, der jener Zuweisungs-Einheit in einer Schaltung 50 zugeordnet ist. Ein Substrahierer 52 empfängt das verschobene Signal und substrahiert von diesem das verzögerte Eingangs-Bild, das bei einem Eingangssignal 54 nach der Verzögerung bei einem Ein-Bild-Verzögerer 40 empfangen wird. Eine Kompensierungs-Verzögerungseinrichtung 56 kompensiert bezüglich der Verzögerung, die in der Schaltung 50 eingeführt wird. Das Ausgangssignal des Substrahierers 52 wird an eine nicht-lineare Nachschlagtabelle 58 angelegt, die ein Ausgangssignal liefert, das den Modulus bzw. den Umrechnungsfaktor des Eingangssignals genommen zu der Potenz n darstellt, wobei n wenigstens 1 ist und typischerweise 2 sein kann, wie zuvor bemerkt wurde. Bei jedem gegebenen Apparat kann n als fest betrachtet werden. Das Ergebnis wird an einen räumlichen Tiefpaßfilter 60 angelegt und dann an einen Eingang einer kombinierenden Schaltung 62, deren Ausgang die Quadratwurzel der Summe der Eingänge dazu ist. Dies liefert eine quadratische Mittelwertfunktion. Der Rückwärts-Zuweisungsabschnitt 66 der Einheit 42 ist derselbe und liefert das andere Eingangssignal an die kombinierende Schaltung 62.

Alternatives Verfahren einer Bildrate-Konversion für Bewegungsvektoren

Die Bewegungsvektoren, die abgeleitet werden, wie oben beschrieben, können einfach in eine unterschiedliche Bildrate umgewandelt werden, indem ein Synchronisierer verwendet wird. Das heißt, um ein Feld von Bewegungsvektoren für einen gegebenen Augenblick zu erzeugen, wird das letzte verfügbare Eingangs-Feld von Bewegungsvektoren verwendet. Dieser Prozeß ist leicht in Hardware zu implementieren und ist der grundsätzliche Vorteil dieser Erfindung.
Ein alternatives Verfahren, um die Bildrate der Bewegungsvektoren zu ändern, wurde vorgeschlagen, siehe Proceedings of the Second International Workshop on Signal Processing of HDTV, L'Aquila Italien, 1988 editiert von L. Chiariglione, veröffentlicht von Elsevier Science Publishers B.V. ISBN 0-444-70518-X; siehe insbesondere Abschnitt 4 einer bewegungskompensierten Anzeigeumwandlung ("Motion Compensated Display Conversion") von Fernando G.M.X. und Parker D.W. Dies wird kurz beschrieben, um die Probleme und das Verfahren zu zeigen und die Vorteile dieser Erfindung hervorzuheben.
Um Vektoren von dem Augenblick eines Eingangsbildes in ein Ausgangsbild bei einem unterschiedlichen Augenblick umzuwandeln, können die Eingangsvektoren vorwärts in der Zeit projiziert werden (wobei ihre Bewegung erlaubt wird). Wenn Vektoren vorwärts in der Zeit projiziert werden, ist es geeignet bzw. passend, nur Vorwärts-Zuweisung zu verwenden (wie oben beschrieben wurde). Dieser Prozeß ist in Figur 8 gezeigt. Das Vordergrund-Objekt (zerhackt gezeigt) bewegt sich in dem Diagramm nach unten, während der Hintergrund sich nach oben bewegt. Die Vektoren, die einem Eingangsbild 1 durch Vorwärts-Zuweisung zugewiesen sind (Figur 2) werden vorwärts in der Zeit zu dem Augenblick des Ausgangsbildes projiziert.
Verschiedene Probleme wohnen der Vorwärts-Projektion von Vektoren in der Zeit inne. Während diese Probleme nicht unüberwindbar sind, ist die Techhik einer kombinierten Vorwärts- und Rückwärtszuweisung einfacher und deshalb attraktiver. Der erste Nachteil der Projektion von Vektoren ist es, daß ein neues Vektorfeld für jedes Ausgangsbild, das erforderlich ist, erzeugt werden muß. Im Gegensatz zu einer kombinierten Vorwärts- und Rückwärts-Zuweisung, brauchen die jüngst verfügbaren Bewegungsvektoren lediglich wiederholt zu werden. Die Vorwärts-Projektion von Vektoren in der Zeit kann dazu fuhren, daß Ausgangs-Pixel entweder keinem oder mehreren Vektoren zugewiesen werden. Dies kann an der Natur des Eingangsbildes, an unkorrekt gemessenen Vektoren oder daran liegen, weil Bewegungsvektoren nicht genau auf Ausgangs-Pixelplätze projiziert werden können. Falls einem Ausgangs-Pixel kein Vektor zugewiesen wird, kann das Bild in einem "Ersatzl-"Modus interpoliert werden. Isolierte Pixel, die auf diese Art und Weise interpoliert werden, vermitteln bzw. geben den interpolierten Ausgangs-Bildern einen unerwünschten "körnigen Eindruck". Dies kann auf Kosten zusätzlicher Hardware überwunden werden, indem das Ausgangs-Vektorfeld mediangefiltert wird. Falls mehrere Vektoren demselben Ausgangs-Pixel zugewiesen werden, muß der Konflikt gelöst werden. Dies kann wiederum auf Kosten zusätzlicher Hardware bewerkstelligt werden, wie in der zuletzt erwähnten Druckschrift von Fernando und Parker beschrieben ist.
Während der Apparat in Termen diskreter Hardware beschrieben wurde, kann er grundsätzlich insgesamt oder teilweise mittels eines Computers implementiert werden, wobei in diesem Fall die Hardware-Diagramme als Flußdiagramme betrachtet werden sollten, was von einem Fachmann verstanden werden wird. Es sollte bewußt sein, daß, wo der Term "Bild" verwendet wurde, dies so hingenommen werden sollte, daß er "Vollbild" oder "Halbbild" des Videosignals umfaßt und nicht nur ein Interlace- Zwei-Halbbilder-Bild bzw. ein Zwei-Halbbilder-Bild nach dem Zeilensprungverfahren.

Claims

1. Verfahren der Zuweisung der passenden bzw. geeigneten (wenn überhaupt) von einer Vielzahl von möglichen Bewegungsvektoren zu Pixeln eines Videosignals, das aus einer Reihe von Bildern besteht, wobei das Verfahren die Schritte aufweist:

eine Rückwärts-Zuweisungsoperation, in der ein erstes Eingangsbild durch jeden einer Vielzahl von möglichen Vektoren verschoben wird und mit einem zweiten, nachfolgenden Bild verglichen wird, um Zuweisungs-Fehler für jeden Fehler bei jedem Pixel zu bestimmen;

eine Vorwärts-Zuweisungsoperation, bei welcher das zweite Bild durch jeden einer Vielzahl von möglichen Vektoren verschoben wird und mit dem ersten Bild verglichen wird, um Zuweisungs-Fehler für jeden Vektor bei jedem Pixel zu bestimmen; und

ein Verwenden der Zuweisungs-Fehler für jeden Pixel, die sowohl in Vorwärts-Zuweisungs- als auch Rückwärts-Zuweisungs-Operationen bestimmt werden, um zu bestimmen, ob irgendeiner der Vektoren für jenen Pixel geeignet ist.

2. Verfahren nach Anspruch 1, das weiter das Vergleichen der Zuweisungs-Fehler für die Vorwärts- und Rückwärts-Zuweisungs-Operationen für einen Pixel aufweist, um zu bestimmen, ob der Pixel mit aufgedeckten oder verdeckten Hintergrund in Beziehung stehen kann.

3. Verfahren nach Anspruch 1, bei welchem die Vektoren, die für die Rückwärts- Zuweisung verwendet werden, das Inverse der Vektoren sind, die für die Vorwärts- Zuweisung verwendet werden.

4. Verfahren nach Anspruch 1, das weiter eine Erzeugung eines Ausgangsbildes von einem der Eingangsbilder durch Extrapolation umfaßt, wobei die Bewegungsvektoren, die den Pixeln zugewiesen sind, verwendet werden.

5. Apparat zum Zuweisen der geeigneten (wenn überhaupt) einer Vielzahl von möglichen Bewegungsvektoren (Vn) zu Pixeln eines Videosignals, das aus einer Reihe von Bildern besteht, wobei der Apparat aufweist:

eine Rückwärts-Zuweisungs-Einrichtung (42), um ein erstes Eingangsbild durch jeden einer Vielzahl von möglichen Bewegungsvektoren zu verschieben und um das Ergebnis bzw. die Resultierende mit einem zweiten nachfolgenden Bild zu vergleichen, um Zuweisungs-Fehler für jeden Vektor bei jedem Pixel zu bestimmen;

eine Vorwärts-Zuweisungs-Einrichtung (42), um das zweite Bild um jeden einer Vielzahl von möglichen Bewegungsvektoren zu verschieben und um die Resultierende mit dem ersten Bild zu vergleichen, um Zuweisungs-Fehler für jeden Vektor bei jedem Pixel zu bestimmen; und

eine Vektorbestimmungseinrichtung (44), die wirksam bzw. betriebsfähig für jeden Pixel ist, um aus den Zuweisungs-Fehlern, die sowohl in Vorwärts-Zuweisungsals auch Rückwärts-Zuweisungs-Operationen bestimmt wurden, zu bestimmen, ob irgendeiner der Vektoren für jenen Pixel geeignet ist.

6. Apparat nach Anspruch 5, bei welchem die Vektorbestimmungseinrichtung zusätzlich die Zuweisungsfehler für die Vorwärts- und Rückwärts-Zuweisungs- Operationen für einen Pixel vergleicht, um zu bestimmen, ob der Pixel zu einem aufgedeckten oder verdeckten Hintergrund in Beziehung stehen kann.

7. Apparat nach Anspruch 5, bei welchem die Vektoren, die bei der Rückwärts- Zuweisung-Einrichtung verwendet werden, das Inverse der Vektoren sind, die bei der Vorwärts-Zuweisungseinrichtung verwendet werden.

8. Apparat nach Anspruch 5, der weiter eine Einrichtung zur Erzeugung eines Ausgangsbildes aus einem der Eingangsbilder durch Extrapolation aufweist, indem die Bewegungsvektoren-Zuweisung zu den Pixeln verwendet wird.