DE69422876T2 - Verfahren und Gerät zur Korrektur von Bewegungsvektoren - Google Patents

Verfahren und Gerät zur Korrektur von Bewegungsvektoren

Info

Publication number
DE69422876T2
DE69422876T2 DE69422876T DE69422876T DE69422876T2 DE 69422876 T2 DE69422876 T2 DE 69422876T2 DE 69422876 T DE69422876 T DE 69422876T DE 69422876 T DE69422876 T DE 69422876T DE 69422876 T2 DE69422876 T2 DE 69422876T2
Authority
DE
Germany
Prior art keywords
error
adjustment
block
minimum
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69422876T
Other languages
English (en)
Other versions
DE69422876D1 (de
Inventor
Nadine Bolender
Andrew Hackett
Michel Kerdranvat
Michael Knee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vantiva SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Publication of DE69422876D1 publication Critical patent/DE69422876D1/de
Application granted granted Critical
Publication of DE69422876T2 publication Critical patent/DE69422876T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Korrektur von Bewegungs-Vektoren.
  • Hintergrund
  • Blockanpassung ist allgemein als robustes und intuitiv einfaches Verfahren zur Bewegungsabschätzung für Fernsehbilder bekannt. Das Verfahren arbeitet gut, wenn es große oder abwechslungsreiche Einzelheiten in jedem Block gibt, aber es kann ungenaue Ergebnisse liefern, wenn die Information in einem Block aus einer periodischen Struktur besteht, zum Beispiel aus Störmustern (railings) oder Venetian blinds. Das Problem ist grundlegend für die Tatsache, daß übliche Fernseh-Halbbild-Raten von 50 Hz oder 60 Hz eine strenge zeitliche Unterabtastung bilden, die zu Aliasing-Effekten führt und daher zur Mehrdeutigkeit bei der genauen Bestimmung, was in der ursprünglichen sich bewegenden Bildsequenz vorhanden ist. Wenn das Ziel der Bewegungsabschätzung darin besteht, eine Vorhersage zu machen, z. B. bei Kodierungsanwendungen, ist das Problem von periodischen Strukturen üblicherweise unwichtig, weil eine gute Vorhersage erzielt werden kann, selbst wenn der "falsche" Bewegungs-Vektor verwendet wird. Wenn die Anwendung jedoch eine zeitliche Interpolation ist, z. B. eine Hochsetzung von 50 Hz auf 100 Hz, kann die Wirkung eines fehlerhaften Vektors in einer periodischen Struktur auf das interpolierte Bild stark sein, was oft zu einer vollständigen Phasenumkehr der Information in dem interpolierten Halbbild führt.
  • US-A-5,025,495 offenbart einen Norm-Konverter, bei dem zur Auswahl eines richtigen Bewegungs-Vektors für den Fall von mehreren Blockanpassungs-Fehlerminima die Größe des Anpassungsblocks erhöht wird. Es wird ferner abgeschätzt, ob die Differenz zwischen dem Minimum und einem nächsten Blockanpassungs- Fehlerminimum einen bestimmten Prozentsatz der Differenz zwischen dem Minimum und dem Blockanpassungs-Fehlermaximum überschreitet.
  • In EP-A-0 466 981 werden Unterblöcke und Vektor-Komponenten- Medianfilterung in Betracht gezogen, um zuverlässigere Bewegungs-Vektoren zu erhalten, z. B. in einem glatten Vektorfeld.
  • Erfindung
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Korrektur von Bewegungs-Vektoren für den Fall von periodischen Strukturen in dem Bild aufzuzeigen. Diese Aufgabe wird durch das im Anspruch 1 offenbarte Verfahren gelöst.
  • Es ist eine weitere Aufgabe der Erfindung, eine Vorrichtung aufzuzeigen, die das erfindungsgemäße Verfahren verwendet. Diese Aufgabe wird durch die im Anspruch 5 offenbarte Vorrichtung gelöst.
  • Gemäß der Erfindung werden die von einer Blockanpassung herrührenden Bewegungs-Vektoren für periodische Strukturen korrigiert, indem ein zuverlässigerer Vektor von dem Rand eines sich bewegenden Objekts genommen wird, das die periodische Struktur enthält. Die Erfindung erfordert eine sehr geringe zusätzliche Verarbeitung nach der Blockanpassung. Die Erfindung besteht aus zwei Teilen: der Feststellung von periodischen Strukturen und der Korrektur der Bewegungs-Vektoren, wenn eine periodische Struktur festgestellt wird.
  • Feststellung von periodischen Strukturen
  • Die Blockanpassung arbeitet üblicherweise durch Berechnung eines mittleren quadratischen oder eines mittleren absoluten Fehlerwertes für jeden Bewegungs-Vektor-Anwärter und Auswahl des Bewegungs-Vektors, der den minimalen Fehler liefert. Die Blockanpassung kann in üblicher Weise erfolgen oder "beidseitig" wie in WO-A-9507591 der Anmelderin beschrieben. Um eine Hardware- Kompliziertheit einzusparen, macht die Erfindung Gebrauch von den Fehlerwerten, die bereits in dem Blockanpassungsprozeß berechnet wurden.
  • Die Feststellung von periodischen Strukturen macht von der Tatsache Gebrauch, daß - wenn ein Block aus einer periodischen Struktur besteht - andere Fehlerwerte sehr nahe bei dem minimalen Wert vorhanden sein werden, aber die anderen Bewegungs- Vektoren entsprechen. Es ist jedoch nicht einfach ausreichend, einen anderen Fehlerwert zu finden, der dicht bei dem Minimum liegt, um sicherzustellen, daß der Block aus einer periodischen Struktur besteht. Erstens müssen Fehler für Bewegungs-Vektoren, die sehr nahe bei dem gewählten grundsätzlichen Bewegungsvektor liegen, ignoriert werden, weil der Block einfach geringe Einzelheiten enthalten könnte, oder der wahre Bewegungs-Vektor in der Mitte zwischen zwei benachbarten Anwärtern liegt. Zweitens sollte erkannt werden, daß nicht periodische Blöcke, die Einzelheiten in nur einer Richtung enthalten (z. B. Ränder) Anlaß zu einer Zeile von Minima in der senkrechten Richtung geben, was nicht zum Anlaß genommen werden sollte, eine Periodizität anzuzeigen.
  • Im allgemeinen wird eine Zeile von Minima LOM eine gegebene horizontale Reihe HOR (oder eine vertikale Spalte) von Fehlern an nur einem Punkt POE schneiden, was in Fig. 2 dargestellt ist. Die eine Ausnahme hierzu, die vorliegt, wenn die Zeile von Minima selbst horizontal (oder vertikal) ist, wird nachfolgend erläutert. In allen anderen Fällen kann die Suche nach Fehlern nahe dem Minimum auf eine horizontale Reihe (oder Spalte) beschränkt werden, beispielsweise die Reihe (oder Spalte), die das Minimum enthält. Periodische Strukturen geben im allgemeinen Anlaß zu einer Gruppe von parallelen Zeilen von Minima, die die horizontale Reihe (oder vertikale Spalte) an verschiedenen Orten schneiden, was die Feststellung der periodischen Struktur ermöglicht. (Aufgrund von Bildstatistiken und Hardware-Erfordernissen wird die Suche entlang einer Reihe jedoch bevorzugt).
  • Daher wird die Suche auf die Reihe von Fehlern beschränkt, die das Minimum enthalten, und die Fehler, die dem Minimum benachbart sind, werden ignoriert. Dieser Lösungsweg überwindet die falsche Feststellung von periodischen Strukturen mit Ausnahme für den Fall, daß Blöcke nur vertikale Einzelheiten enthalten, was eine horizontale Reihe von Minima erzeugt. Dieser Fall kann festgestellt werden, indem auch nach dem maximalen Fehler in der Reihe gesucht wird, was erfordert, daß er einen bestimmten Wert überschreitet, bevor von dem Block angenommen werden kann, daß er periodisch ist. Es wird ein Blick auf die Reihe geworfen, die den Bewegungs-Vektor enthält, weil der Vektorbereich üblicherweise horizontal viel breiter ist als vertikal.
  • Ein weiteres Erfordernis ist, daß die Feststellung einer periodischen Struktur mehr oder weniger unabhängig von dem gesamten Dynamikbereich des Blockes ist. Somit sollten die für den Vergleich verwendeten Schwellwerte durch ein gewisses Maß dieses Dynamikbereiches skaliert werden. Ein annäherndes Maß des Dynamikbereiches in dem Block und dem diesen umgebenden Gebiet oder in einem Block, der gemäß der gegenwärtigen minimalen Fehlerposition verschoben ist, ist der maximale Fehler, der sich aus dem Blockanpassungsprozeß ergibt.
  • Korrektur der Bewegungs-Vektoren in periodischen Blöcken
  • Wenn ein Block periodisch ist, wird der gegenwärtige Bewegungs-Vektor durch einen zuverlässigeren ersetzt. Der erste Lösungsweg ist der Ersatz des Bewegungs-Vektors durch denjenigen, der für den Block unmittelbar links berechnet wurde, wobei in Betracht gezogen wird, daß der Bewegungs-Vektor des Blockes bereits durch den periodischen Struktur-Algorithmus modifiziert worden sein kann. Dieser Lösungsweg geht davon aus, daß die richtige Bewegung links von dem gegenwärtigen Block gefunden werden kann. Ein bevorzugter Lösungsweg besteht darin, entweder den Bewegungs-Vektor aus dem linken Block oder aus dem Block unmittelbar darüber auszuwählen, welcher auch immer den kleineren Fehler in dem gegenwärtigen Block erzielt, oder eine Kombination zu nehmen, insbesondere den Mittelwert von beiden Vektoren. Es würde im Prinzip möglich sein, nach unten und nach rechts zu sehen (z. B. dem Mittelwert aller umgebenden Bewegungs-Vektoren), aber in den meisten Hardware-Ausführungen würde dies zu einer massiven Zunahme an Kompliziertheit führen. Eine mögliche Verfeinerung ist die Akzeptierung eines Ersatz-Vektors nur, wenn sein Fehler in dem gegenwärtigen Block unterhalb eines bestimmten Schwellwertes liegt.
  • Im Prinzip ist das erfindungsgemäße Verfahren für die Korrektur von Bewegungs-Vektoren geeignet, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind, und es enthält die folgenden Schritte:
  • - die Abschätzung von Fehlerwerten, die auf eine Anpassung der Pixelblöcke zwischen verschiedenen Bildern des Videosignals bezogen sind, wobei zusätzlich zu einem grundsätzlichen minimalen Fehler nach einem weiteren minimalen Fehler, der zu benachbarten Pixelpositionen mit Ausnahme der unmittelbar benachbarten Pixelpositionen gehört, entlang der Reihe oder Spalte, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält, gesucht wird;
  • - Vergleichen des weiteren minimalen Fehlers mit einem vorgewählten Schwellwert, was zu einer Entscheidung für eine periodische Struktur führt, wenn ein solcher weiterer minimaler Fehler kleiner als der Schwellwert ist;
  • - wenn eine periodische Struktur in dem Bildinhalt festgestellt wird, Ersetzen des gegenwärtigen Bewegungs-Vektors, der dem grundsätzlichen minimalen Fehler entspricht, durch einen Bewegungs-Vektor eines benachbarten Pixelblocks, insbesondere entweder von dem Block links oder von dem Block oben, welcher auch immer den kleineren Fehler in dem gegen wärtigen Block erzielt, oder indem der Mittelwert dieser beiden Vektoren genommen wird.
  • Vorteilhafte zusätzliche Ausführungsformen des erfindungsgemäßen Verfahrens ergeben sich aus den entsprechenden abhängigen Ansprüchen.
  • Im Prinzip enthält die erfindungsgemäße Vorrichtung zur Korrektur von Bewegungs-Vektoren, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind:
  • a) Abschätzungsmittel für Fehlerwerte, die auf eine Anpassung der Pixelblöcke zwischen unterschiedlichen Bildern des Signals bezogen sind, wobei:
  • - erste Minimalwert-Mittel aus den Fehlerwerten einen grundsätzlichen minimalen Fehler berechnen, der auf den gegenwärtigen Bewegungs-Vektor bezogen ist;
  • - zweite Minimalwert-Mittel, die einen weiteren minimalen Fehler berechnen, der zu benachbarten Piselpositionen mit Ausnahme unmittelbar benachbarter Pixelpositionen entlang der Reihe oder Spalte gehört, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält;
  • - erste Maximalwert-Mittel, die einen maximalen Fehler aus den Fehlerwerten berechnen, aus denen zwei Schwellwerte abgeleitet werden, wobei Fehler verwendet werden, die bei der Berechnung des grundsätzlichen minimalen Fehlers betroffen sind, die insbesondere zu dem gegenwärtigen Block oder zu einem Block gehören, der gemäß der gegenwärtigen minimalen Fehlerposition verschoben wurde;
  • - zweite Maximalwert-Mittel, die aus den Fehlerwerten einen maximalen Fehler in der Reihe oder Spalte berechnen, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält;
  • b) erste Vergleichswerte zum Vergleich der Differenzwerte zwischen den Ausgängen der zweiten und ersten Minimalwert- Mittel mit einem ersten der Schwellwerte, was zur Entscheidung einer ersten periodischen Struktur führt, wenn der weitere minimale Fehlerwert kleiner als der Schwellwert ist;
  • c) zweite Vergleichsmittel zum Vergleich der Differenzwerte zwischen den Ausgängen der zweiten Maximal- und der ersten Minimalwert-Mittel mit einem zweiten der Schwellwerte, was zu einer Entscheidung einer zweiten periodischen Struktur führt, wenn der weitere minimale Fehlerwert größer als/gleich dem Schwellwert ist;
  • d) Kombinationsmittel, um eine endgültige periodische Strukturentscheidung aus der ersten und zweiten periodischen Strukturentscheidung zu bilden;
  • e) Vektor-Austauschmittel, die den gegenwärtigen Bewegungs- Vektor entsprechend dem grundsätzlichen minimalen Fehler durch einen Bewegungs-Vektor eines benachbarten Pixelblocks ersetzen, insbesondere des linken oder des oberen oder des Mittelwerts von beiden, wenn die endgültige periodische Strukturentscheidung anzeigt, daß eine periodische Struktur in dem Bildinhalt festgestellt wird.
  • Vorteilhafte zusätzliche Ausführungsformen der erfindungsgemäßen Vorrichtung ergeben sich aus den entsprechenden abhängigen Ansprüchen.
  • Zeichnungen
  • Bevorzugte Ausführungsformen der Erfindung werden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den Zeichnungen stellen dar:
  • Fig. 1 eine Bewegungsvektor-Korrekturschaltung;
  • Fig. 2 eine Zeile von Fehlerminima, die eine Reihe von Pixeln schneidet.
  • Bevorzugte Ausführungsformen
  • Nachfolgend wird eine bestimmte Ausführungsform des Teils der Feststellung einer periodischen Struktur gemäß der Erfindung beschrieben. Es sei angenommen, daß der Bewegungs-Vektor-Bereich horizontal [-M, +M] und [-N, +N] vertikal ist, wobei der gewählte Bewegungs-Vektor gleich (X, Y) ist. Es sei angenommen, daß die Fehler für jeden Bewegungs-Vektor, die aus dem Blockanpassungsprozeß herrühren, E(x, y), x = -M, ..., +M, y = -N, ..., +N sind.
  • Wir berechnen vier Quantitäten:
  • E&sub1; = E(X,Y), der minimale Fehler
  • E&sub2; = maxx,y {E(x, y)}, der maximale Fehler
  • E&sub3; = minx(X ≠ X-1, X, X+1) {E(x, Y)}, das Reihen-Minimum weg von (X, Y)
  • E&sub4; = maxx {E(x,Y)}, das Reihen-Maximum
  • Der Block ist periodisch, wenn und nur wenn
  • E&sub3;-E&sub1; < E&sub2;/4 und E&sub4;-E&sub1; &ge; E&sub2;/2
  • Fig. 1 zeigt ein Blockschaltbild einer möglichen Hardware- Ausführung einer erfindungsgemäßen Vorrichtung zur Feststellung einer periodischen Struktur und zur Korrektur. Die Blockanpassungsfehler ERR treten in die Vorrichtung seriell in einer vorgegebenen Reihenfolge synchron mit einem Vektorzähler VCOU ein, der die entsprechenden Bewegungsvektor-Koordinaten x und y erzeugt. Das Minimum E&sub1; aller Fehler wird seriell unter Verwendung einer Minimum-Funktionsschaltung MIN1 mit zwei Eingängen und einer Ein-Abtastungs-Rückkopplungs-Verzögerung OED1 berechnet. Wenn alle Fehler durchgelaufen sind, erscheint der Vektor UNVEC, der dem Minimum entspricht, am Ausgang einer Latch-Vorrichtung LA. Dieser Vektor UNVEC bildet den Eingang für einen Steuerblock CON, der zwei Auslösesignale ENA4, ENA3 erzeugt, wobei das erste der Reihe entspricht, die den minimalen Fehler E&sub1; für die Berechnung des maximalen Reihenfehlers E&sub4; enthält und das zweite derselben Reihe ausschließlich des minimalen Fehlers und der benachbarten Fehler für die Berechnung des bestimmten minimalen Reihenfehlers E&sub3; entspricht.
  • Die Fehler ERR verlaufen auch durch eine Kompensations- Verzögerung COMD und zwei parallele Schalter SW3, SW4, die durch Signale ENA3, ENA4 gesteuert werden. E&sub3; wird unter Verwendung einer Minimum-Funktionsschaltung MIN3 mit zwei Eingängen hinter SW3 und einer Ein-Abtastungs-Rückkopplungs-Verzögerung OED3 berechnet. E&sub4; wird unter Verwendung der Maximal-Funktionsschaltung MAX4 mit zwei Eingängen nach SW4 und einer Ein-Abtastungs- Rückkopplungs-Verzögerung OED4 berechnet.
  • E&sub3; und E&sub4; werden jeweils in nachfolgenden Subtraktionsschaltungen SUB3, SUB4 von E&sub1; subtrahiert, und die Ergebnisse werden in Vergleichsschaltungen COM3, COM4 mit geeigneten Bruchteilen von E&sub2; verglichen, wobei das Block-Maximum, das in ähnlicher Weise zu dem Minimum E&sub1; berechnet wird, eine Maximum- Funktionsschaltung MAX2 mit zwei Eingängen verwendet, die mit den Fehlern ERR und einer Ein-Abtastungs-Rückkopplungs- Verzögerung OED2 gespeist wird. E2 wird auch durch 4 (z. B. Schiebeoperation) in einer Teilerschaltung DIV3 geteilt und COM3 zugeführt. E2 wird ebenfalls durch 2 (z. B. Verschiebeoperation) in der Teilerschaltung DIV4 geteilt und COM4 zugeführt. COM3 bestimmt, ob der Ausgang von DIV3 (E&sub2;/4) größer ist als der Ausgang von SUB3 (E&sub3;-E&sub1;). COM4 bestimmt, ob der Ausgang von DIV4 (E&sub2;/2) kleiner oder gleich dem Ausgang von SUB4 (E&sub4;-E&sub1;) ist. Die Ausgänge von COM3 und COM4 werden in einem UND-Tor CB kombiniert. Ein positives Ergebnis PER von beiden Vergleichen zeigt an, daß der gegenwärtige Block periodisch ist.
  • Die Fehler, die auf den "oberen" und "linken" Vektor UVEC bzw. LVEC bezogen sind, die von geeigneten Verzögerungsmitteln STD und OED ausgehen, bilden den Eingang zu Steuerblöcken CONU, CONL, die über Signale ENAU, ENAL die Latch-Vorrichtungen LAU, LAL auslösen, um die beiden Fehler ERRU, ERRL, die diesen beiden Vektoren entsprechen, zu erfassen. Das Ergebnis LOERR eines Vergleichs in der Vergleichsschaltung COMUL zwischen diesen beiden Fehlern ERRU und ERRL wählt in einem Multiplexer MUX1 zwischen den bezogenen beiden Vektoren UVEC, LVEC aus. Das Signal PER zur Feststellung der periodischen Struktur wählt in einem weiteren Multiplexer MUX2 zwischen dem resultierenden Ersatz-Vektor REVEC und dem nicht korrigierten Vektor UNVEC, wobei das endgültige Ergebnis COVEC den Ausgang der Vorrichtung und den Eingang zu den Verzögerungen OED und STD für nachfolgende Ersatz-Vektoren bildet.
  • OED ist eine Ein-Element-Verzögerung, die den Vektor LVEC von den resultierenden Vektoren COVEC liefert. STD ist eine Streifen-(Zeilen)-Verzögerung, die den Vektor UVEC aus den resultierenden Vektoren COVEC liefert.
  • Die Erfindung kann beispielsweise in Fernsehempfängern, Video-Kassettenrecordern und CD-I-Spielern/Aufzeichnungsgeräten verwendet werden, auch für Norm-Umwandlung, Zeitlupenerzeugung und Rauschverminderung.

Claims (6)

1. Verfahren zum Korrigieren von Bewegungs-Vektoren, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind, bei dem Fehlerwerte (ERR) abgeschätzt werden, die auf eine Anpassung der Pixelblöcke zwischen verschiedenen Bildern des Videosignals bezogen sind, und bei dem für einen gegenwärtigen Pixelblock zusätzlich zu einem grundsätzlichen minimalen Anpassungsfehler (E1), der einer ersten Anpassungs-Position entspricht, ein nächster minimaler Anpassungsfehler (E3), der einer zweiten Anpassungs- Position entspricht, die nicht der ersten Anpassungs- Position benachbart ist, bestimmt wird, dadurch gekennzeichnet, daß die zweite Anpassungs-Position sich in einer gegebenen Pixelreihe (HOR) bzw. Pixelspalte befindet, die das Pixel enthält, das der ersten Anpassungs-Position entspricht, daß der nächste minimale Anpassungsfehler mit einem vorgegebenen ersten Schwellwert verglichen wird (COM3), was zu einer periodischen Strukturentscheidung führt, wenn der nächste minimale Anpassungsfehler kleiner als der erste Schwellwert ist, und daß, wenn eine periodische Struktur in dem Bildinhalt festgestellt wird, der Bewegungs-Vektor, der der ersten Anpassungs-Position entspricht, durch den Bewe gungs-Vektor von dem Block links oder von dem Block oberhalb, welcher von ihnen einen kleineren Anpassungsfehler für den gegenwärtigen Block aufweist, ersetzt wird, oder durch einen Bewegungs-Vektor ersetzt wird, der der Mittelwert dieser beiden Vektoren ist, oder durch einen Bewegungs-Vektor von einem anderen, dem gegenwärtigen Block benachbarten Block ersetzt wird.
2. Verfahren nach Anspruch 1, bei dem eine periodische Struktur in dem Bildinhalt nur bestimmt wird, wenn der maximale Anpassungsfehler in der gegebenen Reihe bzw. Spalte einen zweiten Schwellwert überschreitet.
3. Verfahren nach Anspruch 1 oder 2, bei dem der erste und/oder der zweite Schwellwert in Bezug auf den Dynamikbereich des Blocks skaliert wird, insbesondere den maximalen Anpassungsfehler, der zu einem gegenwärtigen Pixelblock gehört, oder zu einem Pixelblock, der gemäß der ersten Anpassungs- Position verschoben ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der grundsätzliche minimale Anpassungsfehler E&sub1; = E(X, Y); der maximale Anpassungsfehler E&sub2; = maxx,y {E(x,y)};
der minimale Reihen- oder Spalten-Anpassungsfehler
E&sub3; = minx(x &ne; X-1, X, X+1) {E(x, Y)};
der maximale Reihen- oder Spalten-Anpassungsfehler
E&sub4; = maxx {E(x, Y)};
und der Block periodisch ist, und nur wenn,
E&sub3;-E&sub1; < E&sub2;/4 und E&sub4;-E&sub1; &ge; E&sub2;/2,
wobei der Bewegungs-Vektorbereich [-M, +M] horizontal und
[-N, +N] vertikal ist und der gewählte auf die erste Anpassungs-Position bezogene Bewegungs-Vektor gleich (X,Y) ist und die Fehler für die Anwärter-Bewegungs-Vektoren E(x,y), x = -M, ..., +M, y = -N, ... +N sind.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem der Ersatz-Bewegungs-Vektor nur akzeptiert wird, wenn sein entsprechender Fehler in dem gegenwärtigen Block unterhalb eines bestimmten Schwellwertes ist.
6. Vorrichtung zur Korrektur von Bewegungs-Vektoren, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind, einschließlich Abschätzungsmitteln zur Abschätzung von Fehlerwerten (ERR), die auf eine Anpassung der Pixelblöcke zwischen unterschiedlichen Bildern des Videosignals bezogen sind, wobei erste Minimalwert-Mittel (MIN1, OED1) aus den Fehlerwerten (ERR) einen grundsätzlichen minimalen Anpassungsfehler (E1) berechnen, der einer ersten Anpassungs-Position entspricht, gekennzeichnet durch zweite Minimalwert-Mittel (SW3, MIN3, OED3), die einen nächsten minimalen Anpassungsfehler (E3) berechnen, der einer zweiten Anpassungs-Position entspricht, die nicht neben der ersten Anpassungs-Position liegt, wobei die Berechnung in einer gegebenen Pixelreihe (HOR) bzw. Pixelspalte ausgeführt wird, die das Pixel enthält, das der ersten Anpassungs- Position entspricht;
- erste Maximalwert-Mittel (MAX2, OED2), die aus den Fehlerwerten (ERR) einen maximalen Anpassungsfehler (E2) berechnen, aus dem zwei Schwellwerte (DIV3, DIV4) abgeleitet werden, wobei Fehler verwendet werden, die bei der Berechnung des grundsätzlichen minimalen Anpassungsfehlers betroffen sind, der insbesondere zu dem gegenwärtigen Block oder zu einem Block gehört, der gemäß der ersten Anpassungs-Position verschoben ist;
- zweite Maximalwert-Mittel (SW4, MAX4, OED4), die aus den Fehlerwerten (ERR) einen maximalen Anpassungsfehler (E4) in der gegebenen Pixelreihe bzw. -spalte berechnen;
- erste Vergleichsmittel (SUB3, COM3), die die Differenzwerte zwischen den Ausgängen der zweiten und ersten Minimalewert- Mittel mit einem ersten der Schwellwerte vergleichen, was zu einer ersten periodischen Strukturentscheidung führt, wenn der nächste minimale Anpassungsfehler kleiner als der erste Schwellwert ist;
- zweite Vergleichsmittel (SUB4, COM4), die die Differenzwerte zwischen den Ausgängen der ersten Maximal- und der ersten Minimalwert-Mittel mit einem zweiten der Schwellwerte vergleichen, was zu einer zweiten periodischen Strukturentscheidung führt, wenn der nächste minimale Anpassungsfehler größer oder gleich dem zweiten Schwellwert ist;
- Kombinationsmittel (CB), die eine endgültige periodische Strukturentscheidung (PER) aus der ersten und zweiten periodischen Strukturentscheidung bilden;
- Vektor-Austauschmittel (LA, MUX2), die, wenn die endgültige periodische Strukturentscheidung (PER) anzeigt, daß eine periodische Struktur in dem Bildinhalt festgestellt wird, den gegenwärtigen Bewegungs-Vektor, der dem grundsätzlichen minimalen Anpassungsfehler (E1) entspricht, durch den Bewegungs-Vektor von dem Block links oder dem Block oberhalb, welcher von ihnen unter Verwendung der Vergleichsmittel (COMUL) einen kleineren Anpassungsfehler für den gegenwärtigen Block aufweist, ersetzt wird, oder durch einen Bewegungs-Vektor ersetzt wird, der der Mittelwert dieser beiden Vektoren ist, oder durch den Bewegungs-Vektor von einem anderen, dem gegenwärtigen Block benachbarten Block ersetzt wird.
DE69422876T 1993-10-11 1994-10-06 Verfahren und Gerät zur Korrektur von Bewegungsvektoren Expired - Fee Related DE69422876T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP93402507 1993-10-11

Publications (2)

Publication Number Publication Date
DE69422876D1 DE69422876D1 (de) 2000-03-09
DE69422876T2 true DE69422876T2 (de) 2000-06-15

Family

ID=8214754

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69422876T Expired - Fee Related DE69422876T2 (de) 1993-10-11 1994-10-06 Verfahren und Gerät zur Korrektur von Bewegungsvektoren

Country Status (5)

Country Link
US (1) US5793430A (de)
JP (1) JP3751988B2 (de)
CN (1) CN1056257C (de)
DE (1) DE69422876T2 (de)
SG (1) SG50718A1 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275527B1 (en) * 1998-01-14 2001-08-14 Conexant Systems, Inc. Pre-quantization in motion compensated video coding
GB2348064A (en) * 1999-03-16 2000-09-20 Mitsubishi Electric Inf Tech Motion vector field encoding
EP1078332B9 (de) 1999-03-18 2006-08-30 Koninklijke Philips Electronics N.V. Videosignalverarbeitung
JP2002325258A (ja) * 2001-04-25 2002-11-08 Nec Corp 画像符号化装置及びそれに用いる画像符号化方法
EP1440581B1 (de) 2001-07-10 2014-10-08 Entropic Communications, Inc. Vorrichtung und verfahren zur bewegunsschätzung, und bildverarbeitungsvorrichtung ausgerüstet mit einer solchen vorrichtung
US7085431B2 (en) * 2001-11-13 2006-08-01 Mitutoyo Corporation Systems and methods for reducing position errors in image correlation systems during intra-reference-image displacements
JP2006521616A (ja) * 2003-03-18 2006-09-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データセットを最適に整合させるための方法及び装置
WO2005098752A1 (ja) * 2004-04-09 2005-10-20 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置
US8218632B2 (en) 2006-09-20 2012-07-10 Mitsubishi Electric Corporation Frame interpolation apparatus and frame interpolation method
CN101374235B (zh) * 2007-08-24 2012-05-02 大唐移动通信设备有限公司 视频编码中的快速块运动估计方法和装置
US8265158B2 (en) * 2007-12-20 2012-09-11 Qualcomm Incorporated Motion estimation with an adaptive search range
WO2009085205A1 (en) 2007-12-20 2009-07-09 Integrated Device Technology, Inc. Image interpolation with halo reduction
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
CN102193194B (zh) * 2010-03-19 2013-07-03 瑞昱半导体股份有限公司 间距计算装置与应用其的透镜修正***及方法
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US9197891B1 (en) 2012-01-02 2015-11-24 Marvell International Ltd. Systems and methods for periodic structure handling for motion compensation
US10395378B2 (en) * 2016-07-15 2019-08-27 Samsung Electronics Co., Ltd. Detecting periodic patterns and aperture problems for motion estimation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2191656B (en) * 1985-12-24 1989-10-18 British Broadcasting Corp Method of coding a video signal for transmission in a restricted bandwidth
DE3853555T2 (de) * 1987-06-09 1995-08-17 Sony Corp Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern.
GB2231747B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231227B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
US5025496A (en) * 1990-05-07 1991-06-18 Rca Licensing Corporation Odd/even field detector for video signals
DE69029999T2 (de) * 1990-07-20 1997-08-14 Philips Electronics Nv Vorrichtung zur Verarbeitung von Bewegungsvektoren

Also Published As

Publication number Publication date
CN1056257C (zh) 2000-09-06
CN1112338A (zh) 1995-11-22
DE69422876D1 (de) 2000-03-09
SG50718A1 (en) 1998-07-20
JPH07177501A (ja) 1995-07-14
US5793430A (en) 1998-08-11
JP3751988B2 (ja) 2006-03-08

Similar Documents

Publication Publication Date Title
DE69422876T2 (de) Verfahren und Gerät zur Korrektur von Bewegungsvektoren
DE69803639T2 (de) Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
EP0259562B1 (de) Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung
DE69126804T2 (de) Kompressionssystem von bewegten Bilddaten
DE69123359T2 (de) Videobildverarbeitung
DE69016074T2 (de) Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation.
DE69523431T2 (de) Verfahren zum Ermitteln von Bewegungsvektoren zur Verwendung in einem auf Segmentation basierenden Kodierungssystem
DE69422255T2 (de) Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern
DE69811631T2 (de) Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen
DE69605018T2 (de) Kantenorientiertes Intrabild- und Zwischenbildinterpolationsfilter für Videogeräte besserer Qualität
DE69418244T2 (de) Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur
DE602004002455T2 (de) Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage
DE69415402T2 (de) Abtastungsumwandler von Zeilensprung in ohne Zeilensprung mit einer doppelten Glättungsfunktion und Verfahren dafür
DE69523441T2 (de) Verfahren zur Segmentierung und Schätzung des Bewegungsfeldes eines sich bewegenden Objektes
DE69427801T2 (de) Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen
DE3036769C1 (de) Vorrichtung und Verfahren zum Codieren eines Videosignals
DE69230115T2 (de) Auswertungsvorrichtung und Methode verwendbar für ein Gerät zur Detektion von Bewegungsvektoren
DE4411179A1 (de) Bildeinfangvorrichtung
DE69409816T2 (de) Verfahren und vorrichtung zur bewegungsschätzung mittels blockzusammenpassung
DE69511119T2 (de) Kodierung eines feldes von bewegungsvektoren
DE102011056975A1 (de) Digitale Bildstabilisierung
DE69318216T2 (de) Verfahren und Vorrichtung zur adaptiven Interpolation
DE69416662T2 (de) Bewegtbildkodierer
DE4442643B4 (de) Verfahren zum Abschätzen der Bewegung in einem Bewegtbild
DE69609028T2 (de) Bewegungskompensierte bildfrequenzumwandlung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8339 Ceased/non-payment of the annual fee