DE68919947T2

DE68919947T2 - Messung der Bildbewegung.

Info

Publication number: DE68919947T2
Application number: DE68919947T
Authority: DE
Inventors: Gerard Marius Xavier Fernando
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1988-09-05
Filing date: 1989-09-01
Publication date: 1995-06-29
Anticipated expiration: 2009-09-02
Also published as: HK76696A; EP0358267A3; US4974084A; GB2222500A; JP2947360B2; EP0358267A2; DE68919947D1; JPH02108393A; EP0358267B1; GB8820839D0

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Messung der Bildbewegung mit Aufteilung von Bildern in zwei oder mehr Bereiche und zur Korrelation korrespondierender Bereiche von zwei Bildern als Funktion einer Verschiebung, um von den Spitzenkorrelationswerten eine Mehrzahl von Bewegungsvektoren zu ermitteln. Die Erfindung bezieht sich zudem auf eine Vorrichtung zur Verwendung mit einem solchen Verfahren.
Ein Verfahren der eingangs erwähnten Art wird in GB-A-2188510 beschrieben, das insbesondere die Erzeugung von Bewegungsvektoren für Fernsehbilder betrifft. Im Bereich des Hochauflösungsfernsehens "High Definition Television (HDTV)" werden solche Bewegungsvektoren mit einem Fernsehsignal übertragen und dazu benutzt, an einem Empfänger eine verbesserte Anzeige zu erzeugen, entweder durch Erzeugung zusätzlicher Zeilen zu denen im empfangenen Signal oder durch Erzeugung zusätzlicher Felder zwischen denen im empfangenen Signal. Aufgrund von Kapazitätsbeschränkungen ist es nicht immer möglich, jeden erzeugten Bewegungsvektor zu übertragen, so daß aus den erzeugten Bewegungsvektoren eine Auswahl getroffen werden muß. Sowohl GB-A-2187059 als auch EP-A-181215 beschreiben Konstellationen zur Erzeugung eines einzelnen Bewegungsvektors.
Aufgabe der vorliegenden Erfindung ist das Schaffen eines Verfahrens der eingangs erwähnten Art und einer Vorrichtung, in der die dominantesten Bewegungsvektoren einfach ausgewählt werden können.
Nach einem ersten Aspekt schafft die Erfindung ein Verfahren zur Messung der Bildbewegung, das die Unterteilung von Bildern in zwei oder mehr Bereiche und die Korrelation korrespondierender Bereiche von zwei Bildern umfaßt, um die Korrelation als Funktion einer Verschiebung zu ermitteln, um so aus den Spitzenkorrelationswerten eine Mehrzahl von Bewegungsvektoren zu ermitteln, wobei das genannte Verfahren durch folgende Schritte gekennzeichnet ist:
i) Gewichtung von Bewegungsvektoren aus Bereichen des genannten unterteilten Bildes in Abhängigkeit von einer gegebenen relativen Größe, die typisch für eine Eigenschaft der Spitzenwerte in der genannten Korrelationsfunktion ist,
ii) individuelle Summierung dieser gewichteten Bewegungsvektoren mit entsprechenden Koordinaten aus jedem der genannten Bereiche des genannten unterteilten Bildes zur Erzeugung einer Mehrzahl von summierten Größen, wobei sich jede Größe auf bestimmte Bewegungsvektorkoordinaten bezieht, und
iii) Auswahl der Koordinaten aus einer gegebenen Anzahl der größten der genannten summierten Größen zur Bildung einer Mehrzahl der dominantesten der genannten Bewegungsvektoren.
Ein derartiges Verfahren hat den Vorteil, daß die dominantesten Bewegungsvektoren auf zuveriässige Weise festgestellt werden können.
Die Gewichtung der Bewegungsvektoren kann von der relativen Höhe der Spitzenwerte in den Korrelationsfunktionen abhängen. Je größer ein Spitzenwert ist, um so größer ist also die Anzahl von Bildpunkten in einem Bereich, die das gleiche Maß von Bewegung aufweisen, und wenn ein solches Maß an Bewegung in anderen Bereichen dominiert, dann wird dessen Bedeutung durch Gewichtung betont. Als Alternative oder zusätzlich hierzu könnte die Gewichtung von den relativen Breiten der Spitzenwerte abhängen, die sich auf ein Verwaschen bezieht, das an der Bildquelle durch mögliche Integration entsteht.
Die gegebene Anzahl dominanter Bewegungsvektoren kann direkt proportional zu dem Intervall zwischen den beiden Bildern sein. Wenn der Abstand der beiden Bilder also zwei Fernseh-Frames entspricht, ist die Anzahl der Bewegungsvektoren doppelt so hoch, als wenn die Bilder nur ein Fernsehbild voneinander entfernt wären.
Wenn zumindest die genannte Anzahl der summierten Größen von einer entsprechend großen Wert ist, kann ein Komplexitätssignal zusätzlich zu oder anstelle einer Auswahl von Koordinaten erzeugt werden, um die dominantesten Vektoren zu bilden, wobei das Komplexitätssignal anzeigt, daß die Bilder ein großes Maß an Bewegungskomplexität enthalten.
Die Erfindung stellt zudem eine Vorrichtung zur Verwendung mit dem oben genannten Verfahren bereit. Eine Vorrichtung zur Messung der Bildbewegung nach einem zweiten Aspekt der Erfindung kann Mittel zur Korrelierung korrespondierender Bereiche von zwei Bildern umfassen, um Korrelation als Funktion eines Versatzes zu ermitteln, um aus Spitzenkorrelationswerten eine Mehrzahl von Bewegungsvektoren zu ermitteln, und kann dadurch gekennzeichnet sein, daß sie zusätzliche Mittel zur Gewichtung von Bewegungsvektoren aus Bereichen des genannten unterteilten Bildes in Abhängigkeit von einer gegebenen relativen Größe umfaßt, die für eine Eigenschaft der Spitzenwerte in den genannten Korrelationsfunktionen typisch ist, Mittel zur individuellen Summierung dieser gewichteten Bewegungsvektoren mit korrespondierenden Koordinaten aus jedem der genannten Bereiche des genannten unterteilten Bildes zur Erzeugung einer Mehrzahl von summierten Größen, wobei sich jede Größe auf bestimmte Bewegungsvektorkoordinanten bezieht, und Mittel zur Auswahl der Koordinaten einer gegebenen Anzahl aus den größten der genannten summierten Größen zur Bildung einer Mehrzahl der dominantesten der genannten Bewegungsvektoren.
Das Mittel zur Gewichtung der Bewegungsvektoren kann Mittel zur Gewichtung der Bewegungsvektoren in Abhängigkeit von den relativen Höhen und/oder den relativen Breiten der Spitzenwerte in den Korrelationsfunktionen umfassen.
Für den Fall, daß zumindest eine gegebene Anzahl von summierten Mengen von entsprechend großem Wert ist, können Mittel zur Erzeugung eines Komplexitätssignals bereitgestellt werden, dessen Signal zusätzlich zu oder anstelle von den dominantesten Bewegungsvektoren erzeugt werden kann.
Die oben genannten Funktionen sowie weitere Funktionen werden nachfolgend anhand von Beispielen beschrieben, und zwar unter Bezugnahme auf die beiliegenden Zeichnungen, die folgendes zeigen:
Figur 1 zeigt ein Blockdiagramm der Vorrichtung zur Verwendung mit der Erfindung, und
Figur 2 zeigt eine typische Korrelationsfläche für denselben Bereich von zwei Bildern eines Fernsehsignals.
Im Blockdiagramm von Figur 1 bezeichnet Bezugszeichen 1 einen Bewegungsvektorgenerator mit einem Luminanzeingang Y, in dem die Fernsehbilder für ein Fernsehsystem unterteilt werden, um eine Anzahl von Bereichen zu bilden, wobei für den vorliegenden Zweck angenommen wird, daß jeder Bereich 32 Bildpunkte mal 32 Zeilen umfaßt, obwohl selbstverständlich andere Regionengrößen möglich sind. Die Luminanzinformationen für korrespondierende Bereiche in zwei benachbarten Fernsehbildern werden korreliert, um eine Korrelationsfunktion für jedes korrespondierende Bereichspaar zu erzeugen, wobei eine typische Korrelationsfläche für solch eine Funktion in Figur 2 gezeigt wird, in der der Versatz in X- und Y-Richtung von -16 bis + 16 Abtastpositionen veriäuft, und in der jede Abtastung einen Bildpunkt voneinander entfernt liegt. In der Praxis würde Figur 2 nicht als fortlaufende Korrelationsfunktion erscheinen, sondern als Reihe einzelner Abtastungen von gegebenen Größen, die im Abstand von einem Bildpunkt oder weniger nebeneinander liegen, wenn die Funktion mit einer Genauigkeit von unter einem Bildpunkt ermittelt wird. Die Korrelationsfläche kann rnit Hilfe von Phasenkorrelation erzielt werden, wie in der eingangs erwähnten britischen Patentanmeldung oder in dem Artikel "Video-rate Image Correlation Processor" von J. J. Pearson, D. C. Hines Jr., S. Golosman und C. D. Kinglin, SPIE Ausgabe 119, Applications of Digital Image Proccssing (IOCC 1977), beschrieben oder durch ein anderes geeignetes Verfahren, wie etwa optimale Entsprechung mit den korrespondierenden Bereichen. Nullversatz stellt fehlende Bewegung dar, und die abseits der Nullversatzkoordinaten befindlichen Spitzenwerte zeigen verschiedene Bewegungsgrade von Komponenten innerhalb des Bereichs an.
Die Spitzenwerte in der Korrelationsfläche zeigen die Koordinaten für Bewegungsvektoren für den fraglichen Bereich an, und eine weitere Verarbeitung kann zur Erhöhung der Genauigkeit der Spitzenwertlage erfolgen, um die Genauigkeit der Koordinaten zu erhöhen. Die kann wie in unserer gleichzeitig anhängenden Patentanmeldung EP-A-366165 oder in unserer gleichzeitig anhängenden Patentanmeldung EP-A- 367310 beschrieben erzielt werden. Die Bewegungsvektorkoordinaten für jeden Bereich eines Bildes oder zumindest für die dominantesten (sagen wir 10) für jeden Bereich werden über eine Verbindung 2 an eine Gewichtungsschaltung 3 angelegt, die auch aus dem Bewegungsvektorgenerator 1 über eine Verbindung 4 ein Signal für jeden Bewegungsvektor empfängt, der die relative Größe und/oder die relative Breite des Spitzenwerts darstellt, aus dem er abgeleitet ist. Die Größe eines Spitzenwerts bezieht sich auf die Anzahl der Bildpunkte in einem Bereich, die dasselbe Maß an Bewegung aufweisen, während sich die Breite eines Spitzenwerts auf ein Verwaschen bezieht, das an der Bildquelle durch mögliche Integration erzeugt wird. Mittels der Gewichtungsschaltung 3 kann jeder Bewegungsvektor aus jedem Bereich gemäß dem Eingang von Verbindung 4 gewichtet werden.
Die resultierenden gewichteten Bewegungsvektoren werden an eine zweidimensionale Summierungsanordnung 5 angelegt, die 32 mal 32 einzelne Speicher oder "Fächer" umfaßt, von denen jedes einem bestimmten der 32 mal 32 Bewegungsvektoren entspricht. Jeder Speicher empfängt und speichert daher eine Anzahl gewichteter Mengen für einen korrespondierenden Bewegungsvektor, abhängig von der Anzahl der Bereiche, in denen dieser Vektor erscheint sowie dessen relativer Größe undloder Breite, wobei diese Mengen in ihren entsprechenden Speichern summiert werden. Summierungsanordnung 5 kann man sich so vorstellen, daß sie ein zweidimensionales Vektorhistogramm bereitstellt. Die resultierenden summierten Mengen werden an einen Selektor 6 zur Auswahl der größten Vektoren angelegt, der eine gegebene Anzahl (sagen wir 16) von Bewegungsvektoren auswahlt, deren Speicher in der Summierungsanordnung 5 die größten Mengen enthalten. Diese gegebene Anzahl bildet die dominantesten Bewegungsvektoren für die benachbarten Fernsehbilder mit Berücksichtigung, welche Bewegungsvektoren an eine Klemme 7 zur Codierung für Übertragung mit dem Fernsehsignal angelegt werden. Sollte das untersuchte Bild ein großes Maß an Bewegungskomplexität aufweisen, wie etwa beim Bild-Zoomen, bei dem kein Vektor dominiert, wird die tatsächliche Position im Bild von normalen Bewegungsvektortechniken am Empfänger, der eine beschränkte Anzahl von Bewegungsvektoren verwendet, nicht dargestellt. In diesem Fall enthalten viele der Speicher in der Summierungsanordnung 5 summierte Mengen von korrespondierender Größe. Wenn der Selektor 5 eine solche Situation bestätigt (sagen wir 16 Bewegungsvektoren von ahnlicher Größe), wird er ein Komplexitäts-Markierungssignal an einem Ausgang 8 erzeugen. In einem solchen Fall werden Empfänger einfachere Verfahren zur Interpolation verwenden, die nicht von Bewegungsvektoren abhängen.
In der vorausgehenden Beschreibung liegen die beiden Bilder nebeneinander, und somit eine Bild- oder Frame-Periode voneinander entfernt, um die gegebene Anzahl von z.B. 16 dominanten Bewegungsvektoren zu erzeugen. Es gibt keinen Grund dafür, warum der Zeitraum, über den die dominanten Bewegungsvektoren abgeleitet werden, keine ganze Zahl von Bildperioden größer eins sein darf, in welchem Fall die gegebene Anzahl dominanter Bewegungsvektoren mit dieser ganzen Zahl multipliziert würde. So könnte die Anzahl der dominanten Bewegungsvektoren, die für eine Periode von zwei Bildern relevant ist, 32 sein. Obwohl die größere Anzahl dominanter Bewegungsvektoren ausgewählt werden könnte, indem mit Bewegungsvektoren gearbeitet wird, die über einen Zeitraum von (sagen wir) zwei Bildern oder Frames erzeugt wurden, wäre es einfacher, wenn eine zweidimensionale Summierungs-Operation für die erste Frame-Periode auf die beschriebene Weise erzeugt würde und dann diese zum Bewegungsvektor addiert würde, der von den Bereichen für die zweite Frame-Periode erzeugt wurde. Mit anderen Worten wird ein zweidimensionales Histogramm für die erste Frame-Periode erzeugt, das während der zweiten Frame-Periode "aufgefüllt" wird. Die dorninantesten Bewegungsvektoren werden dann aus der resultierenden Summierungsoperation entnommen.
Obwohl in den vorausgehenden Ausführungen das Verfahren so beschrieben wird, daß es von Vorrichtungseinheiten ausgeführt wird, die bestimmte Funktionen aufweisen, ist es klar, daß das Verfahren von einem Mikrocomputer unter Steuerung durch eine spezielle Software ausgeführt werden kann.
Mit lesen der vorliegenden Beschreibung werden sachkundigen Personen andere Modifikationen offenkundig sein. Solche Modifikationen können andere Merkmale betreffen, die bereits in Konstruktion, Fertigung und Verwendung des diesbezüglichen Verfahrens, der Vorrichtung und der Komponenten umfassen, und die anstelle oder zusätzlich zu den bereits hier beschriebenen Merkmalen verwendet werden können.

Claims

1. Verfahren zur Messung der Bildbewegung mit Unterteilung von Bildern in zwei oder mehr Bereiche und Korrelieren korrespondierender Bereiche von zwei Bildern zur Ermittlung von Korrelation als Funktion einer Verschiebung, um dadurch aus Spitzenkorrelationswerten für jeden Bereich eine Mehrzahl von Bewegungsvektoren zu ermitteln, wobei das genannte Verfahren durch die folgenden weiteren Schritte gekennzeichnet ist:

i) Gewichtung von Bewegungsvektoren aus Bereichen des genannten unterteiiten Bildes in Abhängigkeit von einer gegebenen relativen Menge, die typisch für eine Eigenschaft der Spitzenwerte in den genannten Korrelationsfunktionen ist,

ii) individuelle Summierung dieser gewichteten Bewegungsvektoren mit korrespondierenden Koordinaten aus jedem der genannten Bereiche des genannten unterteilten Bildes zur Erzeugung einer Mehrzahl von summierten Größen, wobei sich jede Größe auf bestimmte Bewegungsvektorkoordinaten bezieht, und

iii) Auswahl der Koordinaten aus einer gegebenen Anzahl der größten der genannten summierten Größen zur Bildung einer Mehrzahl der dominantesten der genannten Bewegungsvektoren.

2. Verfahren nach Anspruch 1, in dem die Gewichtung der genannten Bewegungsvektoren von den relativen Größen der Spitzenwerte in den Korrelationsfunktionen abhängt.

3. Verfahren nach Anspruch 1 oder 2, in dem die Gewichtung der genannten Bewegungsvektoren von den relativen Breiten der Spitzenwerte in den Korrelationsfunktionen abhängt.

4. Verfahren nach Anspruch 1, 2 oder 3, in dem die genannte Anzahl dominanter Bewegungsvektoren direkt proportional zu dem Intervall zwischen den genannten beiden Bildern ist.

5. Verfahren nach Anspruch 1, 2 oder 3 zur Verwendung in einem Fernsehsystem, in dem die genannte Anzahl dominanter Bewegungsvektoren direkt proportional zu der Anzahl der Frames zwischen den genannten beiden Bildern ist.

6. Verfahren nach einem der vorausgehenden Ansprüche, in dem im Falle, daß zurnihdest die genannte Anzahl der genannten Größen von einem entsprechend großen Wert ist, ein Komplexitätssignal zusätzlich oder anstelle einer Auswahl von Koordinaten erzeugt wird, um die dominantesten Vektoren zu bilden, wobei das Komplexitätssignal anzeigt, daß die Bilder ein großes Maß an Bewegungskomplexität enthalten.

7. Vorrichtung zur Messung der Bildbewegung mit Mitteln zur Korrelierung korrespondierender Bereiche von zwei Bildern, um Korrelation als Funktion einer Verschiebung zu ermitteln, um aus Spitzenkorrelationswerten für jeden Bereich eine Mehrzahl von Bewegungsvektoren zu ermitteln, dadurch gekennzeichnet, daß die genannte Vorrichtung zusätzlich Mittel zur Gewichtung von Bewegungsvektoren aus Bereichen des genannten unterteilten Bildes in Abhängigkeit von einer gegebenen relativen Größe umfaßt, die für eine Eigenschaft der Spitzenwerte in den genannten Korrelationsfunktionen typisch ist, Mittel zur individuellen Summierung dieser gewichteten Bewegungsvektoren mit korrespondierenden Koordinaten aus jedem der genannten Bereiche des genannten unterteilten Bildes zur Erzeugung einer Mehrzahl von summierten Größen, wobei sich jede Menge auf bestimmte Bewegungsvektorkoordinanten bezieht, und Mittel zur Auswahl der Koordinaten einer gegebenen Anzahl aus den größten der genannten summierten Größen zur Bildung einer Mehrzahl der dominantesten der genannten Bewegungsvektoren.

8. Vorrichtung nach Anspruch 7, in der das genannte Mittel zur Gewichtung der genannten Bewegungsvektoren Mittel zur Gewichtung dieser Bewegungsvektoren in Abhängigkeit von den relativen Höhen der Spitzenwerte in den Korrelationsfunktionen umfaßt.

9. Vorrichtung nach Anspruch 7 oder 8, in der das genannte Mittel zur Gewichtung der genannten Bewegungsvektoren Mittel zur Gewichtung dieser Bewegungsvektoren in Abhängigkeit von den relativen Breiten der Spitzenwerte in den Korrelationsfunktionen umfaßt.

10. Vorrichtung nach Anspruch 7, 8 oder 9, in der, für den Fall, daß zumindest die genannte gegebene Anzahl von summierten Größen von entsprechend großem Wert ist, Mittel zur Erzeugung eines Komplexitätssignals bereitgestellt werden, dessen Signal zusätzlich zu oder anstelle von den dominantesten Bewegungsvektoren erzeugt werden kann.