DE4442643B4 - Verfahren zum Abschätzen der Bewegung in einem Bewegtbild - Google Patents

Verfahren zum Abschätzen der Bewegung in einem Bewegtbild Download PDF

Info

Publication number
DE4442643B4
DE4442643B4 DE19944442643 DE4442643A DE4442643B4 DE 4442643 B4 DE4442643 B4 DE 4442643B4 DE 19944442643 DE19944442643 DE 19944442643 DE 4442643 A DE4442643 A DE 4442643A DE 4442643 B4 DE4442643 B4 DE 4442643B4
Authority
DE
Germany
Prior art keywords
block
frame
motion
luminance
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE19944442643
Other languages
English (en)
Other versions
DE4442643A1 (de
Inventor
Shi-Hwa Lee
Jae-Seob Shin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE4442643A1 publication Critical patent/DE4442643A1/de
Application granted granted Critical
Publication of DE4442643B4 publication Critical patent/DE4442643B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Verfahren zur Bewegungsabschätzung zwischen Einzelbildern einer Bildfolge, bei dem
– die Einzelbilder in eine Vielzahl von Blöcken gleicher Größe jeweils aufgeteilt werden,
– ausgehend von einem Block in einem aktuellen Einzelbild ein Bezugsblock in dem vorhergehenden Einzelbild ermittelt wird, der dem Block im aktuellen Einzelbild am ähnlichsten ist, indem der Block im aktuellen Einzelbild mit den Blöcken im vorhergehenden Einzelbild verglichen wird und derjenige Block als Bezugsblock gewählt wird, bei dem die Summe der Luminanzunterschiede zwischen den einzelnen Bildpunkten des Blockes im aktuellen Einzelbild und des damit verglichenen Blockes im vorhergehenden Einzelbild am kleinsten ist, und
– als Maß für die Bewegung der Bewegungsvektor zwischen dem Block im aktuellen Einzelbild und dem Bezugsblock im vorhergehenden Bild gebildet wird,
dadurch gekennzeichnet, dass
– vor der Ermittlung des Bezugsblockes im vorhergehenden Einzelbild der Mittelwert der Luminanz des Blockes im aktuellen Einzelbild und die Mittelwerte der Luminanz der...

Description

  • Die Erfindung betrifft ein Verfahren zur Bewegungsabschätzung zwischen Einzelbildern einer Bildfolge nach dem Gattungsbegriff des Patentanspruchs 1.
  • Bei diesem sogenannten Block-Matching-Verfahren, das aus der US 5,162,907 bekannt ist, werden die Einzelbilder in Blöcke gleicher Größe aufgeteilt, wird von einem Block in einem aktuellen Einzelbild ausgehend ein Bezugsblock, d.h., ein Block ermittelt, der dem Block im aktuellen Bild am ähnlichsten kommt, was über die Summe der Luminanzunterschiede zwischen den einzelnen Bildpunkten der sich gegenüberstehenden Blöcke erfolgt und wird ein Bewegungsvektor zwischen dem Block im aktuellen Einzelbild und dem Bezugsblock im vorhergehenden Bild gebildet.
  • Ein Bewegtbildcodierungssystem wurde von einem Differentialpulscodemodulationssystem (DPCM) in ein bewegungskompensiertes Zwischenbildcodierungssystem (MCIC) weiterentwickelt und in der jüngsten Zeit auf ein modellbasiertes Codierungssystem (MBC) oder ein objektorientiertes Codierungssystem (OOC) ausgedehnt.
  • Während beim DPCM-System nur ein vorausgesagter Fehler übertragen wird, wird beim MCIC-System eine Bewegungsinformation mit einem vorausgesagten Fehler übertragen. Beim MBC- oder OOC-System können die Bewegungsinformation und eine Forminformation mit einem vorausgesagten Fehler übertragen werden.
  • Die Codierung mit dem MCIC-System erfolgt im allgemeinen in Einheiten von Blöcken mit bestimmter Größe, die beispielsweise für einen Block bei 4 × 4 Bildpunkten liegt. Ein Bewegungsvektor jedes Blockes und ein Fehlersignal zwischen einem Zielbild und einem rekonstruierten Bild, das durch eine Bewegungskompensation erhalten wird, werden übertragen.
  • Bei einer Codierung mit dem OOC-System wird der Hintergrund von einem Gegenstand abgetrennt und wird die Bewegung des Gegenstandes analysiert um Parameter zu erzeugen. Der Hintergrund gibt dabei den Bereich wieder, in dem zwischen benachbarten Einzel- oder Halbbildern keine Bewegung auftritt, und der Gegenstand gibt den Bereich wieder, in dem zwischen den benachbarten Einzelbildern eine Bewegung auftritt.
  • Bei einer herkömmlichen Bewegungsabschätzung wurde bisher zum Erzeugen eines Bewegungsvektors ein Vollsuchverfahren, ein Dreistufensuchverfahren oder ein anderes Verfahren verwandt. Bei der Vollsuche wird ein Block, der einem Block des laufenden Bildes am ähnlichsten ist, in einem bestimmten Suchfenster des vorhergehenden Bildes gesucht und wird dann der Abstand zwischen dem laufenden Block und dem gesuchten Block, als Bewegungsvektor (x, y) bestimmt.
  • Das Dreistufensuchverfahren hat den Vorteil, daß eine schnelle Suche erfolgen kann, hat jedoch den Nachteil, daß ein ungenauer Bewegungsvektor verglichen mit dem Vollsuchverfahren erzeugt wird. Das Vollsuchverfahren wird daher viel öfter angewandt.
  • Bei dem herkömmlichen Verfahren besteht allerdings die Gefahr, daß aufgrund der Tatsache, daß zur Ermittlung des Bezugsblockes die gegebenen Luminanzunterschiede zwischen den Bildpunkten der sich gegenüberstehenden Blöcke herangezogen werden, auch dann ein Bewegungsvektor erzeugt wird, wenn die Summe dieser Luminanzunterschiede aufgrund von Änderungen in den Helligkeits- oder Lichtverhältnissen zwischen den aufeinanderfolgenden Einzelbildern nicht gleich Null ist, so daß ein Bewegungsvektor erzeugt wird, obwohl tatsächlich keine Bewegung stattgefunden hat.
  • Die der Erfindung zugrunde liegende Aufgabe besteht daher darin, bei dem Verfahren zur Bewegungsabschätzung der eingangs genannten Art diesen Fehler in der Bewegungsabschätzung zwischen den Einzelbildern einer Bildfolge zu vermeiden.
  • Diese Aufgabe durch das im Patentanspruch 1 angegebene Verfahren gelöst.
  • Bei dem erfindungsgemäßen Verfahren werden Unterschiede aufgrund einer reinen Änderung in den Helligkeitsverhältnissen ausgeglichen, so daß dann, wenn anschließend der eigentliche Bezugsblock über die Luminanzunterschiede nach der Kompensation ermittelt wird und anhand des in dieser Weise ermittelten Bezugsblocks der Bewegungsvektor gebildet wird, nur Bewegungsvektoren gebildet werden, die einer tatsächlich auftretenden Bewegung zwischen zwei aufeinanderfolgenden Einzelbildern entsprechen.
  • Ein bevorzugtes Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist Gegenstand des Patentanspruchs 2.
  • Im folgenden wird anhand der zugehörigen Zeichnung ein besonders bevorzugtes Ausführungsbeispiel der Erfindung näher beschrieben. Es zeigen:
  • 1 in einem Flußdiagramm ein Beispiel des Bewegungsabschätzungsverfahrens bei einem Bewegtbildcodierer, der in 5 dargestellt ist,
  • 2 ein Flußdiagramm des Bewegungsabschätzungsverfahrens bei einem Bewegtbildcodierer, der in 6 dargestellt ist,
  • 3 die Bildqualität eines rekonstruierten Bildes, das nach dem erfindungsgemäßen Bewegungsabschätzungsverfahren korrigiert wurde, verglichen mit der Bildqualität ohne diese Korrektur bei der in 6 dargestellten Vorrichtung,
  • 4 eine Darstellung der erzeugten Bitmengen, von denen eine nach dem Bewegungsabschätzungsverfahren gemäß der Erfindung angepasst wurde, während die andere nicht angepasst wurde und zwar bei der in 6 dargestellten Vorrichtung,
  • 5 in einem Blockschaltbild einen Bewegtbildcodierer, der nach dem herkömmlichen MCIC-System arbeitet, und
  • 6 das Blockschaltbild eines Bewegtbildcodierers, der nach dem herkömmlichen OOC-System arbeitet.
  • In 5 sind ein Frequenzwandler 100, ein Quantisierer 112, ein Codierer 104 variabler Länge, ein Umkehrquantisierer 108, ein Umkehrfrequenzwandler 110, ein Bildspeicher 112, ein Bewegungskompensator 114 und eine Bewegungsabschätzeinheit 116 dargestellt. Bei dem in 5 dargestellten Codierer wird der über die Bewegungsabschätzeinheit 116 erzeugte Bewegungsvektor dazu benutzt, ein Bild bezüglich des vorhergehenden Bildes im Bewegungskompensator 114 zu rekonstruieren. Das rekonstruierte Bild wird mit dem zu codierenden Zielbild verglichen, und es wird ein Differenzbild erzeugt.
  • Für das erzeugte Differenzbild wird eine Duplizierung der zweidimensionalen Daten über eine diskrete Cosinustransformation (DCT) in der Frequenzwandlereinheit 100 ausgeschlossen, und es erfolgt eine Quantisierung daran nach Maßgabe der Zielmenge der Biterzeugung im Quantisierer 102. Dann wird selbst eine statistische Duplizierung durch eine Entropie-Codierung im Codierer 104 mit variabler Länge ausgeschlossen.
  • Zu diesem Zeitpunkt liegen die quantisierten Daten erneut am Umkehrquantisierer 108 und am Umkehrfrequenzwandler 110, wobei sie zum Rekonstruieren eines Bildes verwandt werden, das gegenwärtig codiert wird. Dieses rekonstrierte Bild wird als Bezugsbild verwandt, wenn eine Bewegung bei einer folgenden Bildcodierung abgeschätzt wird. In 5 sind weiterhin ein Ausgangspuffer 106, ein Subtrahierer 118 und ein Addierer 120 dargestellt.
  • Wenn angenommen wird, daß der gerade codierte Block mit xt [n], 0 ≤ n ≤ N, wiedergegeben werden kann, dann ergibt sich der Bezugsblock, der nach dem Vollsuchverfahren gesucht wurde, als xt–1[n], 0 ≤ n ≤ N, und ergibt sich der Bezugsblock, der durch das Suchverfahren nach der vorliegenden Erfindung gesucht wurde, als x't–1[n], 0 ≤ n ≤ N. Die Eingangsdaten x[n], 0 ≤ n ≤ N, für das DCT-Verfahren bei Verwendung des Vollsuchverfahrens und die DCT-Eingangsdaten x'[n], 0 ≤ n ≤ N, bei Verwendung des erfindungsgemäßen Verfahren lauten wie folgt: xt[n] – xt–1[n] = Δx[n] xt[n] – x't–1[n] = Δx'[n] + α (1)wobei 0 ≤ n ≤ N. Dabei ist α ein kompensierender Luminanzsignalwert, der für alle Bildpunkte des Bezugsblockes gilt.
  • Wenn die Ungleichung
    Figure 00050001
    gilt, dann werden Δx[n] als Eingangsdaten des DCT-Systems benutzt während anderenfalls nur Δx'[n] als Eingangsdaten des DCT-Systems benutzt werden.
  • Der Ausdruck Δx'[n], der durch die vorliegende Erfindung neu eingeführt wird, erhöht selbst dann die Datenmenge nicht, wenn ein Kompensationswert α nicht separat an einem Decodierer bei der Bewegungsabschätzung liegt, und zwar verglichen mit dem Fall, daß ein DCT-Arbeitsvorgang an den Daten Δx'[n] + α ausgeführt wird. In der Gleichung (1) kann der DCT-Wert C(k) bezüglich Δx'[n] in der folgenden Weise berechnet werden:
    Figure 00060001
  • Da zu diesem Zeitpunkt aufgrund von DCT (α) die zu codierenden Daten auf die Daten beschränkt sind, die dem Fall k = 0 entsprechen, und der größte Teil der Daten, die dem Fall k = 0 entsprechen, bereits durch die Codierung von DCT (Δx'[n] + α) verarbeitet worden sind, ergibt sich, daß aufgrund von DCT (α) keine Zunahme in den zu codierenden Daten auftritt.
  • 6 zeigt in einem Blockschaltbild einen Bewegtbildcodierer, der nach dem OOC-System arbeitet.
  • Der in 6 dargestellte Codierer läßt sich grob in eine globare Bewegungsabschätzungseinheit und eine örtliche Bewegungsabschätzungseinheit unterteilen. In 6 sind eine Zielbildquelle 200 zum Empfang eines zu codierenden Zielbildes und ein Rekonstruktionsbildspeicher 202 dargestellt, der ein Bezugsbild speichert, das kürzlich rekonstruiert wurde. Weiterhin sind eine globale Bewegungsabschätzeinheit 204, ein globaler Bewegungskompensator 206, ein Zwischenbildspeicher 210 zum Speichern eines im Bewegungskompensator 206 rekonstruierten Zwischenbildes, eine lokale Bewegungsabschätzeinheit 214, ein lokaler Bewegungskompensator 216, ein Hintergrundbildprozessor 218 und ein Hintergrundbildspeicher 212 dargestellt.
  • Die Arbeitsweise der in 6 dargestellten Vorrichtung wird im folgenden beschrieben.
  • Wenn die Größe des analysierten Gegenstandes, der aus dem Bereich extrahiert wurde, in dem eine Bewegungsabschätzung in einem Bezugsbild erfolgen kann, größer als ein bestimmter Wert ist, dann codiert die globale Bewegungsabschätzeinheit 204 die Form und die Bewegung des analysierten Gegenstandes. Ein Parameter 1, der zu diesem Zeitpunkt erzeugt wird, wird auf einen nicht dargestellten Decodierer übertragen. Der globale Bewegungskompensator 206 kompensiert das Bezugsbild unter Verwendung der Größen- und Bewegungsinformation des extrahierten Analysegegenstandes und erzeugt ein temporäres Zwischenbild.
  • Die lokale Bewegungsabschätzeinheit 214 führt eine kleine Bewegungsverarbeitung nämlich eine Hintergrundverarbeitung und eine Verarbeitung des Bereiches durch, in dem eine Bewegungsabschätzung nicht erfolgen kann, und zwar nach Maßgabe einer Verarbeitungsart und unter Bezug auf das Zielbild von der Zielbildquelle 200, das Zwischenbild von dem Zwischenbildspeicher 210 und das Hintergrundbild vom Hintergrundbildspeicher 212. Ein Parameter 2, der zu diesem Zeitpunkt erzeugt wird, wird auf den Decodierer übertragen.
  • Der lokale Bewegungskompensator 260 konstruiert ein rekonstruiertes Endbild, indem er eine geeignete Rekonstruktion nach Maßgabe einer Verarbeitungsart jedes Analysegegenstandes ausführt, und das konstruierte Endbild wird auf den Rekonstruktionsbildspeicher 202 übertragen, um als Bezugsbild während der Vearbeitung für das folgende Zielbild benutzt zu werden. Das Endbild wird auch auf den Hintergrundbildprozessor 218 übertragen, um das Hintergrundbild zu handhaben. Der Hintergrundbildprozessor 218 kompensiert und verarbeitet das Hintergrundbild.
  • Der in 6 dargestellte Codierer hat einen derartigen Aufbau, daß das zu codierende Bild mit dem vorhergehenden Bezugsbild verglichen wird, um den Bereich zu erfassen, in dem eine Bewegung auftritt, eine Bewegungsanalyse an dem erfaßten Bereich mittels der Einheit eines kleinen Blockes erfolgt, und eine Codierung mittels der Einheit einer Gruppe aus benachbarten Blöcken mit den gleichen Bewegungsvektoren erfolgt.
  • Für jede Gruppe besteht die übertragene Information aus einer Anfangspositionsinformation, einer Bewegungsinformation und einer Forminformation. Bei diesem Aufbau kann es einen Block geben, auf den im vorhergehenden Bild kein Bezug genommen werden kann. Dieser Block wird Intrablock genannt. Da ein Bewegungsvektor in diesem Block nicht erhalten werden kann, sollte der Inhalt dieses Blockes direkt codiert werden, und gibt der Inhalt dieses Blockes eine relativ große Informationsmenge verglichen mit den Blöcken wieder, in denen eine Bewegungsabschätzung in einem Bezugsbild erfolgen kann.
  • Die Anwendung des erfindungsgemäßen Verfahrens auf die in 6 dargestellte Vorrichtung führt zu Charakteristiken, die von der Anwendung bei der Vorrichtung in 5 verschieden sind. In relativ kleinen Grundblöcken mit einer Größe von beispielsweise 4 × 4 Bildpunkten, werden benachbarte Blöcke mit gleichem Bewegungsvektor in eine Gruppe klassifiziert und erfolgt eine Codierung mit der Einheit der klassifizierten Gruppe. Für die jeweiligen Gruppen mit einem Block werden die Positionsinformation, die Bewegungsinformation und die Forminformation codiert. Bei dem Codierungsverfahren der in 6 dargestellten Vorrichtung besteht somit der beste Weg, das Maß an Bit-Erzeugung zu reduzieren, darin, die Anzahl der Blöcke zu reduzieren, indem die Anzahl an benachbarten Blöcken mit gleicher Bewegung maximiert wird. Es gibt jedoch eine Beschränkung hinsichtlich der Reduzierung der Anzahl von Gruppen, wenn ein Bewegungsvektor einfach dadurch erzeugt wird, daß eine Bewegung im vorhergehenden Bild abgeschätzt wird, wie es bei dem herkömmlichen Verfahren der Fall ist. Das beruht darauf, daß sich die Luminanzwerte eines Gegenstandes und des Umfangsbereichs des Gegenstandes nach Maßgabe der Bewegung des Gegenstandes in einem Bild ändern. Selbst bei einem ortsfesten Gegenstand ändert sich darüberhinaus der Luminanzwert aufgrund von Änderungen im Licht.
  • Wenn somit das Luminanzsignalanwendungsverfahren nach der vorliegenden Erfindung benutzt wird, kann eine Bewegung korrekt unter allen Umständen gesucht werden, so daß der Block mit glei chem Bewegungsanteil und einem anderen Luminanzsignal gegenüber dem benachbarten Block in die gleiche Gruppe klassifiziert werden kann, was dazu führt, daß die Informationsmenge, die zu codieren ist, abnimmt. Wenn dabei eine Transformationscodierung wie beispielsweise die DCT-Codierung nicht benutzt wird, sollte ein Anwendungswert, der in der Luminanzsignalanwendung verwandt wird, auf einen Decodierer übertragen werden. Die Zunahme an zu übertragender Information aufgrund dieses Wertes ist jedoch kleiner als die Abnahme aufgrund der Luminanzsignalanwendung, was zu einer Gesamtverringerung der zu übertragenden Information führt.
  • 1 zeigt in einem Flußdiagramm ein Beispiel des Bewegungsabschätzungsverfahrens gemäß der Erfindung in seiner Anwendung bei der in 5 dargestellten Vorrichtung. Zunächst wird ein Mittelwert des Luminanzsignals bezüglich des laufenden Blockes erzeugt (Schritt 301).
  • Es wird geprüft, ob eine Bewegungsabschätzung bezüglich aller Blöcke in einem Suchfenster abgeschlossen ist oder nicht (Schritt 302). Wenn das der Fall ist, wird der geeignetste unter den erzeugten Bewegungsvektoren als Bewegungsvektor bestimmt.
  • Wenn im Suchfenster die Bewegungsabschätzung nicht abgeschlossen ist, dann wird ein Mittelwert des Luminanzsignals für einen Bezugsblock erzeugt (Schritt 303) und wird der Unterschied H zwischen dem Mittelwert des laufenden Blocks und dem des Bezugsblocks erzeugt (Schritt 304).
  • Nachdem die Bildpunktewerte des Bezugsblocks durch den im Schritt 304 erzeugten Wert H kompensiert sind, wird die Summe SUM der Unterschiede zwischen den Bildpunktwerten des kompensierten Bezugsblockes und des jeweils laufenden Blockes erzeugt (Schritt 305).
  • Der minimale Wert SUM-MINIMUM unter den Werten SUM, die in dieser Weise durch Anwendung einer anderen Bewegungskomponente auf den laufenden Block erzeugt werden, wird mit dem Wert SUM verglichen, der im Schritt 305 durch Anwendung der laufenden Bewegungskomponente auf dem laufenden Block erzeugt wurde (Schritt 306).
  • Wenn der SUM-Wert kleiner als der Wert SUM-MINIMUM ist, dann wird SUM-MINIMUM durch SUM ersetzt und wird die Bewegungkomponente zu diesem Zeitpunkt gespeichert (Schritt 307). Anschließend wird zur Anwendung der Bewegungskomponente, die nicht angewandt wurde, die Bewegungskomponente geändert und geht der Arbeitsvorgang auf den Schritt 302 zurück, um den obigen Arbeitsvorgang erneut auszuführen (Schritt 308).
  • 2 zeigt in einem Flußdiagramm ein Beispiel des Bewegungsabschätzungsverfahren der vorliegenden Erfindung in seiner Anwendung auf die in 6 dargestellte Vorrichtung. Zunächst wird der Mittelwert des laufenden zu codierenden Blockes erzeugt (Schritt 401).
  • Es wird geprüft, ob eine Bewegungsabschätzung für alle Blöcke in einem Suchfenster abgeschlossen ist oder nicht. Wenn das der Fall ist, wird die Bewegungsabschätzung beendet. Die Information der Bewegungskomponente, die zu diesem Zeitpunkt erzeugt wird, und die Positionsinformation der Blöcke, die als eine Blockgruppe bestimmt wurden, werden erzeugt (Schritt 302).
  • Es wird die Summe SUM der Unterschiede zwischen dem Bildwert des laufenden Blockes und dem des Bezugsblockes gebildet, zwischen denen eine Bewegung auftritt (Schritt 403). Es wird geprüft, ob der Wert SUM größer als ein bestimmter Schwellenwert TH ist oder nicht. Wenn der Wert SUM größer als der Schwellenwert ist, dann wird die Positionsinformation des laufenden Blockes gespeichert, um in dieser Weise eine Gruppe zu bestimmen, die den gleichen Bewegungsanteil hat (Schritt 405).
  • Es wird geprüft, ob es einen Block unter den benachbarten Blocken in der laufenden Gruppe gibt, in dem keine Bewegungsabschätzung erfolgt ist (Schritt 406). Der Block, in dem keine Bewegungsabschätzung erfolgt ist, wird einem laufenden Block zugeordnet, und es wird ein Bezugsblock dadurch bestimmt, daß die vorhergehende Bewegungskomponente auf den Block angewandt wird, woraufhin das Verfahren auf den Schritt 403 übergeht (Schritt 407).
  • Wenn die Summe SUM der Unterschiede zwischen dem laufenden Block und dem Bezugsblock nicht größer als der Schwellenwert ist, dann wird der Mittelwert des Bezugsblockes erzeugt (Schritt 408). Es wird der Unterschied H zwischen dem Mittelwert des laufenden Blockes und dem Mittelwert des Bezugsblockes erzeugt (Schritt 409) und es wird dieser Unterschied auf jeden Bildpunkt des Bezugsblockes angewandt, um eine derartige Steuerung zu bewirken, daß der Mittelwert des Bezugsblockes gleich dem Mittelwert des laufenden Blockes ist. Die Summe SUM' der Unterschiede zwischen dem Bildpunktwert des kompensierten Bezugsblockes und dem des laufenden Blockes wird dann erzeugt.
  • Es wird bestimmt, ob die Summe SUM' größer als der Schwellenwert TH ist oder nicht, was im Schritt 404 erfolgt, wobei dann, wenn das der Fall ist, der Arbeitsvorgang auf den Schritt 405 übergeht, um die Information des laufenden Blockes zu speichern und dann zum Schritt 406 zurückzugehen (Schritt 411).
  • Wenn die Summe SUM' nicht größer als der Schwellenwert TH ist, was im Schritt 411 festgestellt wird, dann wird ermittelt, ob der laufende Block ein Block ist, auf den die laufende Bewegungskomponente zum erstenmal angewandt wurde (Schritt 412). Wenn der laufende Block der erste Block ist, dann geht das Verfahren auf den Schritt 413 über, um eine andere Bewegungskomponente auf den laufenden Block anzuwenden. Wenn der laufende Block jedoch nicht der erste Block ist, dann geht das Verfahren auf den Schritt 406 über, um zu bestimmen, ob es einen benachbarten Block gibt, und um nach und nach die Bewegungsabschätzung auszuführen.
  • 3 zeigt die Bildqualität eines rekonstruierten Bildes mit der Korrektur nach dem Bewegungsabschätzungsverfahren der vorliegenden Erfindung verglichen mit der ohne derartige Korrektur bei einer Vorrichtung, die in 6 dargestellt ist. Die Bildqualität ist durch das Spitzensignalrauschverhältnis PSNR wiedergegeben.
  • 4 zeigt eine Darstellung der erzeugten Bitmengen, von denen eine nach dem Bewegungsabschätzungsverfahren der vorliegenden Erfindung bei der in 6 dargestellten Vorrichtung gegeben ist und die andere nicht dementsprechend eingerichtet ist. Je größer die Anzahl der geschätzten Gruppen ist, und je höher das Verhältnis der Intra-Blöcke ist, um so größer ist die erzeugte Bitmenge. Das benutzte Bewegtbild ist ein übliches Bild mit der Größe 360 × 288 pro Einzelbild. Jedes Einzelbild wird mit 10 MHz abgetastet und die Auflösung jedes Bildpunktes beträgt 8 Bits.
  • Wie es oben beschrieben wurde, hat die vorliegende Erfindung den Effekt, daß eine Bewegungsabschätzung nach Art des MCIC-Systems in 5 selbst dann korrekt erfolgen kann, wenn die Lichtquelle variiert oder das Luminanzsignal aufgrund einer Bewegung des Gegenstandes variiert.
  • Die vorliegende Erfindung hat weiterhin zum Ergebnis, daß die Anzahl der Gruppen geringer ist, und die Anzahl der Intrablöcke mit großen Informationsmengen verglichen mit dem Block, in dem eine Bewegungsabschätzung möglich ist, bei der Bewegtbildcodierung nach dem System OOC in 6 kleiner ist, so daß ein außerordentlicher Effekt im Hinblick auf die Bildqualität und die Menge an erzeugter Information erzielt wird.

Claims (2)

  1. Verfahren zur Bewegungsabschätzung zwischen Einzelbildern einer Bildfolge, bei dem – die Einzelbilder in eine Vielzahl von Blöcken gleicher Größe jeweils aufgeteilt werden, – ausgehend von einem Block in einem aktuellen Einzelbild ein Bezugsblock in dem vorhergehenden Einzelbild ermittelt wird, der dem Block im aktuellen Einzelbild am ähnlichsten ist, indem der Block im aktuellen Einzelbild mit den Blöcken im vorhergehenden Einzelbild verglichen wird und derjenige Block als Bezugsblock gewählt wird, bei dem die Summe der Luminanzunterschiede zwischen den einzelnen Bildpunkten des Blockes im aktuellen Einzelbild und des damit verglichenen Blockes im vorhergehenden Einzelbild am kleinsten ist, und – als Maß für die Bewegung der Bewegungsvektor zwischen dem Block im aktuellen Einzelbild und dem Bezugsblock im vorhergehenden Bild gebildet wird, dadurch gekennzeichnet, dass – vor der Ermittlung des Bezugsblockes im vorhergehenden Einzelbild der Mittelwert der Luminanz des Blockes im aktuellen Einzelbild und die Mittelwerte der Luminanz der Blöcke im vorhergehenden Einzelbild gebildet werden und die Mittelwerte der Luminanz der Blöcke im vorhergehenden Einzelbild so kompensiert werden, dass sie gleich dem Mittelwert der Luminanz des Blockes im aktuellen Einzelbild sind.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass beim Kompensieren der Mittelwerte der Luminanz der Blöcke im vorhergehenden Einzelbild der Unterschied zwischen dem Mittelwert der Luminanz des Blockes im aktuellen Einzelbild und den Mittelwerten der Luminanz der Blöcke im vorhergehenden Einzelbild den Luminanzen im vorhergehenden Einzelbild zuaddiert wird.
DE19944442643 1994-01-31 1994-11-30 Verfahren zum Abschätzen der Bewegung in einem Bewegtbild Expired - Lifetime DE4442643B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019940001752A KR950024600A (ko) 1994-01-31 1994-01-31 휘도신호적응 움직임 평가방법
KR94-1752 1994-01-31

Publications (2)

Publication Number Publication Date
DE4442643A1 DE4442643A1 (de) 1995-08-03
DE4442643B4 true DE4442643B4 (de) 2006-05-18

Family

ID=19376540

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19944442643 Expired - Lifetime DE4442643B4 (de) 1994-01-31 1994-11-30 Verfahren zum Abschätzen der Bewegung in einem Bewegtbild

Country Status (4)

Country Link
US (1) US6222882B1 (de)
JP (1) JP3386603B2 (de)
KR (1) KR950024600A (de)
DE (1) DE4442643B4 (de)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2751454B1 (fr) * 1996-07-18 1998-12-24 Thomson Multimedia Sa Procede d'estimation de mouvement
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
EP2352300A1 (de) * 1997-02-13 2011-08-03 Mitsubishi Denki Kabushiki Kaisha System zur Vorhersage von Bewegtbildern
EP1809044B1 (de) * 1997-02-14 2008-10-01 Nippon Telegraph and Telephone Corporation Prädikatives Dekodierungsverfahren von Videodaten
JP2000134631A (ja) * 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3663323B2 (ja) * 1999-04-05 2005-06-22 シャープ株式会社 ミリ波送信装置およびミリ波受信装置
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
DE10348911A1 (de) * 2003-10-21 2005-02-17 Siemens Ag Verfahren zum Bestimmen der Disparität zwischen einem Referenzbild und einem Suchbild
JP4606311B2 (ja) * 2005-11-21 2011-01-05 シャープ株式会社 画像符号化装置および画像符号化方法
CN101385346B (zh) * 2006-02-17 2012-05-30 汤姆森许可贸易公司 解决局部亮度变化的视频编码设备和方法
US20080126278A1 (en) * 2006-11-29 2008-05-29 Alexander Bronstein Parallel processing motion estimation for H.264 video codec
KR100922898B1 (ko) * 2007-12-17 2009-10-20 한국전자통신연구원 IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
CN101953167B (zh) * 2007-12-20 2013-03-27 高通股份有限公司 减少光晕的图像插值
US8265158B2 (en) * 2007-12-20 2012-09-11 Qualcomm Incorporated Motion estimation with an adaptive search range
EP2237221B1 (de) 2009-03-31 2012-02-29 Sony Corporation Verfahren und Einheit zur Erzeugung von hochdynamischen bildern und Videobildern
US8526500B2 (en) * 2009-08-11 2013-09-03 Seiko Epson Corporation System and method for global inter-frame motion detection in video sequences
JP5299214B2 (ja) * 2009-10-20 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
CN104125372B (zh) * 2014-07-29 2017-05-10 北京机械设备研究所 一种目标光电搜索探测方法
JP2021525009A (ja) 2019-04-30 2021-09-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 電子式手ぶれ補正方法、画像取得装置及び移動可能なプラットフォーム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0395264A2 (de) * 1989-04-27 1990-10-31 Sony Corporation Bewegungsabhängige Videosignalverarbeitung
WO1991003797A1 (fr) * 1989-08-29 1991-03-21 Thomson Consumer Electronics S.A. Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images
JPH04196794A (ja) * 1990-11-27 1992-07-16 Matsushita Electric Ind Co Ltd 動き補償符号化方法
US5162907A (en) * 1990-09-28 1992-11-10 Sony Broadcast & Communications Limited Motion dependent video signal processing
WO1993011502A1 (fr) * 1991-11-27 1993-06-10 Thomson Consumer Electronics S.A. Procede d'estimation et de codage hierarchise du mouvement de sequences d'images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105949B2 (ja) * 1989-03-20 1995-11-13 松下電器産業株式会社 画像の動きベクトル検出装置および揺れ補正装置
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0395264A2 (de) * 1989-04-27 1990-10-31 Sony Corporation Bewegungsabhängige Videosignalverarbeitung
WO1991003797A1 (fr) * 1989-08-29 1991-03-21 Thomson Consumer Electronics S.A. Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images
US5162907A (en) * 1990-09-28 1992-11-10 Sony Broadcast & Communications Limited Motion dependent video signal processing
JPH04196794A (ja) * 1990-11-27 1992-07-16 Matsushita Electric Ind Co Ltd 動き補償符号化方法
WO1993011502A1 (fr) * 1991-11-27 1993-06-10 Thomson Consumer Electronics S.A. Procede d'estimation et de codage hierarchise du mouvement de sequences d'images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gonzalez, Rafael C.: Digital image processing, ISBN 0-201-50803-6 *

Also Published As

Publication number Publication date
JPH07226937A (ja) 1995-08-22
DE4442643A1 (de) 1995-08-03
US6222882B1 (en) 2001-04-24
JP3386603B2 (ja) 2003-03-17
KR950024600A (ko) 1995-08-21

Similar Documents

Publication Publication Date Title
DE4442643B4 (de) Verfahren zum Abschätzen der Bewegung in einem Bewegtbild
DE69735679T2 (de) Verfahren zur Bilddecodierung
DE69637335T2 (de) Bildsignalkodierungsmethode und -vorrichtung
DE69126585T2 (de) Verfahren und Gerät zur Kodierung von bewegten Bildsignalen
DE69116869T2 (de) Digitale bildkodierung mit einer zufallsabtastung der bilder
EP0309669B1 (de) Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
DE69124536T2 (de) Bildkodiervorrichtung
DE69123705T2 (de) Verfahren zur Kompression von bewegten Bildsignalen nach dem Zeilensprungverfahren
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE69126940T2 (de) Blockadaptive lineare prädiktionskodierung mit adaptiver verstärkung und vorspannung
DE19743202B4 (de) Verfahren zum Codieren eines Bewegungsvektors
DE19541457C1 (de) Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
DE3788326T2 (de) Verfahren und Apparat zur Kodierung von Bewegtbildsignalen.
DE19717608B4 (de) Wahrnehmungsfehlerbearbeitungsverfahren und Bildkodierungsvorrichtung, welche dieses Verfahren verwendet
DE4405803C2 (de) Verfahren zur Quellcodierung
DE3486396T2 (de) Vektor-Quantisierer.
EP1101196B1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten
DE69824983T2 (de) Verfahren und Gerät zur Codierung durch Luminanzschätzung
EP1110407B1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors
EP1285537B1 (de) Verfahren und eine anordnung zur codierung bzw. decodierung einer folge von bildern
EP0981910B1 (de) Verfahren und vorrichtung zur codierung eines digitalisierten bildes
WO2001049038A1 (de) Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
DE10219640A1 (de) Verfahren zum Codieren und Decodieren von Videosequenzen und Computerprogrammprodukt
WO2000046998A1 (de) Verfahren und anordnung zur transformation eines bildbereichs
EP0284962B1 (de) Verfahren zur Bilddatenreduktion für digitale Fernsehsignale

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R082 Change of representative

Representative=s name: KOTITSCHKE & HEURUNG PARTNERSCHAFT MBB, DE

Representative=s name: KOTITSCHKE & HEURUNG PARTNERSCHAFT MBB PATENT-, DE

Representative=s name: KOTITSCHKE & HEURUNG PARTNERSCHAFT, DE

R071 Expiry of right
R071 Expiry of right