DE69422876T2 - Verfahren und Gerät zur Korrektur von Bewegungsvektoren - Google Patents
Verfahren und Gerät zur Korrektur von BewegungsvektorenInfo
- Publication number
- DE69422876T2 DE69422876T2 DE69422876T DE69422876T DE69422876T2 DE 69422876 T2 DE69422876 T2 DE 69422876T2 DE 69422876 T DE69422876 T DE 69422876T DE 69422876 T DE69422876 T DE 69422876T DE 69422876 T2 DE69422876 T2 DE 69422876T2
- Authority
- DE
- Germany
- Prior art keywords
- error
- adjustment
- block
- minimum
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims description 72
- 238000000034 method Methods 0.000 title claims description 17
- 230000000737 periodic effect Effects 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 5
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 claims description 3
- 101150080287 SUB3 gene Proteins 0.000 claims description 3
- 101150023658 SUB4 gene Proteins 0.000 claims description 3
- 101100327165 Arabidopsis thaliana CCD8 gene Proteins 0.000 claims description 2
- 101100129499 Arabidopsis thaliana MAX2 gene Proteins 0.000 claims description 2
- 102100022002 CD59 glycoprotein Human genes 0.000 claims description 2
- 101000897400 Homo sapiens CD59 glycoprotein Proteins 0.000 claims description 2
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 claims description 2
- 101150018444 sub2 gene Proteins 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 3
- 238000001514 detection method Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100440640 Drosophila melanogaster conu gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
- Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Korrektur von Bewegungs-Vektoren.
- Blockanpassung ist allgemein als robustes und intuitiv einfaches Verfahren zur Bewegungsabschätzung für Fernsehbilder bekannt. Das Verfahren arbeitet gut, wenn es große oder abwechslungsreiche Einzelheiten in jedem Block gibt, aber es kann ungenaue Ergebnisse liefern, wenn die Information in einem Block aus einer periodischen Struktur besteht, zum Beispiel aus Störmustern (railings) oder Venetian blinds. Das Problem ist grundlegend für die Tatsache, daß übliche Fernseh-Halbbild-Raten von 50 Hz oder 60 Hz eine strenge zeitliche Unterabtastung bilden, die zu Aliasing-Effekten führt und daher zur Mehrdeutigkeit bei der genauen Bestimmung, was in der ursprünglichen sich bewegenden Bildsequenz vorhanden ist. Wenn das Ziel der Bewegungsabschätzung darin besteht, eine Vorhersage zu machen, z. B. bei Kodierungsanwendungen, ist das Problem von periodischen Strukturen üblicherweise unwichtig, weil eine gute Vorhersage erzielt werden kann, selbst wenn der "falsche" Bewegungs-Vektor verwendet wird. Wenn die Anwendung jedoch eine zeitliche Interpolation ist, z. B. eine Hochsetzung von 50 Hz auf 100 Hz, kann die Wirkung eines fehlerhaften Vektors in einer periodischen Struktur auf das interpolierte Bild stark sein, was oft zu einer vollständigen Phasenumkehr der Information in dem interpolierten Halbbild führt.
- US-A-5,025,495 offenbart einen Norm-Konverter, bei dem zur Auswahl eines richtigen Bewegungs-Vektors für den Fall von mehreren Blockanpassungs-Fehlerminima die Größe des Anpassungsblocks erhöht wird. Es wird ferner abgeschätzt, ob die Differenz zwischen dem Minimum und einem nächsten Blockanpassungs- Fehlerminimum einen bestimmten Prozentsatz der Differenz zwischen dem Minimum und dem Blockanpassungs-Fehlermaximum überschreitet.
- In EP-A-0 466 981 werden Unterblöcke und Vektor-Komponenten- Medianfilterung in Betracht gezogen, um zuverlässigere Bewegungs-Vektoren zu erhalten, z. B. in einem glatten Vektorfeld.
- Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Korrektur von Bewegungs-Vektoren für den Fall von periodischen Strukturen in dem Bild aufzuzeigen. Diese Aufgabe wird durch das im Anspruch 1 offenbarte Verfahren gelöst.
- Es ist eine weitere Aufgabe der Erfindung, eine Vorrichtung aufzuzeigen, die das erfindungsgemäße Verfahren verwendet. Diese Aufgabe wird durch die im Anspruch 5 offenbarte Vorrichtung gelöst.
- Gemäß der Erfindung werden die von einer Blockanpassung herrührenden Bewegungs-Vektoren für periodische Strukturen korrigiert, indem ein zuverlässigerer Vektor von dem Rand eines sich bewegenden Objekts genommen wird, das die periodische Struktur enthält. Die Erfindung erfordert eine sehr geringe zusätzliche Verarbeitung nach der Blockanpassung. Die Erfindung besteht aus zwei Teilen: der Feststellung von periodischen Strukturen und der Korrektur der Bewegungs-Vektoren, wenn eine periodische Struktur festgestellt wird.
- Die Blockanpassung arbeitet üblicherweise durch Berechnung eines mittleren quadratischen oder eines mittleren absoluten Fehlerwertes für jeden Bewegungs-Vektor-Anwärter und Auswahl des Bewegungs-Vektors, der den minimalen Fehler liefert. Die Blockanpassung kann in üblicher Weise erfolgen oder "beidseitig" wie in WO-A-9507591 der Anmelderin beschrieben. Um eine Hardware- Kompliziertheit einzusparen, macht die Erfindung Gebrauch von den Fehlerwerten, die bereits in dem Blockanpassungsprozeß berechnet wurden.
- Die Feststellung von periodischen Strukturen macht von der Tatsache Gebrauch, daß - wenn ein Block aus einer periodischen Struktur besteht - andere Fehlerwerte sehr nahe bei dem minimalen Wert vorhanden sein werden, aber die anderen Bewegungs- Vektoren entsprechen. Es ist jedoch nicht einfach ausreichend, einen anderen Fehlerwert zu finden, der dicht bei dem Minimum liegt, um sicherzustellen, daß der Block aus einer periodischen Struktur besteht. Erstens müssen Fehler für Bewegungs-Vektoren, die sehr nahe bei dem gewählten grundsätzlichen Bewegungsvektor liegen, ignoriert werden, weil der Block einfach geringe Einzelheiten enthalten könnte, oder der wahre Bewegungs-Vektor in der Mitte zwischen zwei benachbarten Anwärtern liegt. Zweitens sollte erkannt werden, daß nicht periodische Blöcke, die Einzelheiten in nur einer Richtung enthalten (z. B. Ränder) Anlaß zu einer Zeile von Minima in der senkrechten Richtung geben, was nicht zum Anlaß genommen werden sollte, eine Periodizität anzuzeigen.
- Im allgemeinen wird eine Zeile von Minima LOM eine gegebene horizontale Reihe HOR (oder eine vertikale Spalte) von Fehlern an nur einem Punkt POE schneiden, was in Fig. 2 dargestellt ist. Die eine Ausnahme hierzu, die vorliegt, wenn die Zeile von Minima selbst horizontal (oder vertikal) ist, wird nachfolgend erläutert. In allen anderen Fällen kann die Suche nach Fehlern nahe dem Minimum auf eine horizontale Reihe (oder Spalte) beschränkt werden, beispielsweise die Reihe (oder Spalte), die das Minimum enthält. Periodische Strukturen geben im allgemeinen Anlaß zu einer Gruppe von parallelen Zeilen von Minima, die die horizontale Reihe (oder vertikale Spalte) an verschiedenen Orten schneiden, was die Feststellung der periodischen Struktur ermöglicht. (Aufgrund von Bildstatistiken und Hardware-Erfordernissen wird die Suche entlang einer Reihe jedoch bevorzugt).
- Daher wird die Suche auf die Reihe von Fehlern beschränkt, die das Minimum enthalten, und die Fehler, die dem Minimum benachbart sind, werden ignoriert. Dieser Lösungsweg überwindet die falsche Feststellung von periodischen Strukturen mit Ausnahme für den Fall, daß Blöcke nur vertikale Einzelheiten enthalten, was eine horizontale Reihe von Minima erzeugt. Dieser Fall kann festgestellt werden, indem auch nach dem maximalen Fehler in der Reihe gesucht wird, was erfordert, daß er einen bestimmten Wert überschreitet, bevor von dem Block angenommen werden kann, daß er periodisch ist. Es wird ein Blick auf die Reihe geworfen, die den Bewegungs-Vektor enthält, weil der Vektorbereich üblicherweise horizontal viel breiter ist als vertikal.
- Ein weiteres Erfordernis ist, daß die Feststellung einer periodischen Struktur mehr oder weniger unabhängig von dem gesamten Dynamikbereich des Blockes ist. Somit sollten die für den Vergleich verwendeten Schwellwerte durch ein gewisses Maß dieses Dynamikbereiches skaliert werden. Ein annäherndes Maß des Dynamikbereiches in dem Block und dem diesen umgebenden Gebiet oder in einem Block, der gemäß der gegenwärtigen minimalen Fehlerposition verschoben ist, ist der maximale Fehler, der sich aus dem Blockanpassungsprozeß ergibt.
- Wenn ein Block periodisch ist, wird der gegenwärtige Bewegungs-Vektor durch einen zuverlässigeren ersetzt. Der erste Lösungsweg ist der Ersatz des Bewegungs-Vektors durch denjenigen, der für den Block unmittelbar links berechnet wurde, wobei in Betracht gezogen wird, daß der Bewegungs-Vektor des Blockes bereits durch den periodischen Struktur-Algorithmus modifiziert worden sein kann. Dieser Lösungsweg geht davon aus, daß die richtige Bewegung links von dem gegenwärtigen Block gefunden werden kann. Ein bevorzugter Lösungsweg besteht darin, entweder den Bewegungs-Vektor aus dem linken Block oder aus dem Block unmittelbar darüber auszuwählen, welcher auch immer den kleineren Fehler in dem gegenwärtigen Block erzielt, oder eine Kombination zu nehmen, insbesondere den Mittelwert von beiden Vektoren. Es würde im Prinzip möglich sein, nach unten und nach rechts zu sehen (z. B. dem Mittelwert aller umgebenden Bewegungs-Vektoren), aber in den meisten Hardware-Ausführungen würde dies zu einer massiven Zunahme an Kompliziertheit führen. Eine mögliche Verfeinerung ist die Akzeptierung eines Ersatz-Vektors nur, wenn sein Fehler in dem gegenwärtigen Block unterhalb eines bestimmten Schwellwertes liegt.
- Im Prinzip ist das erfindungsgemäße Verfahren für die Korrektur von Bewegungs-Vektoren geeignet, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind, und es enthält die folgenden Schritte:
- - die Abschätzung von Fehlerwerten, die auf eine Anpassung der Pixelblöcke zwischen verschiedenen Bildern des Videosignals bezogen sind, wobei zusätzlich zu einem grundsätzlichen minimalen Fehler nach einem weiteren minimalen Fehler, der zu benachbarten Pixelpositionen mit Ausnahme der unmittelbar benachbarten Pixelpositionen gehört, entlang der Reihe oder Spalte, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält, gesucht wird;
- - Vergleichen des weiteren minimalen Fehlers mit einem vorgewählten Schwellwert, was zu einer Entscheidung für eine periodische Struktur führt, wenn ein solcher weiterer minimaler Fehler kleiner als der Schwellwert ist;
- - wenn eine periodische Struktur in dem Bildinhalt festgestellt wird, Ersetzen des gegenwärtigen Bewegungs-Vektors, der dem grundsätzlichen minimalen Fehler entspricht, durch einen Bewegungs-Vektor eines benachbarten Pixelblocks, insbesondere entweder von dem Block links oder von dem Block oben, welcher auch immer den kleineren Fehler in dem gegen wärtigen Block erzielt, oder indem der Mittelwert dieser beiden Vektoren genommen wird.
- Vorteilhafte zusätzliche Ausführungsformen des erfindungsgemäßen Verfahrens ergeben sich aus den entsprechenden abhängigen Ansprüchen.
- Im Prinzip enthält die erfindungsgemäße Vorrichtung zur Korrektur von Bewegungs-Vektoren, die auf Pixelblöcke bezogen sind, in die die Bilder eines Videosignals unterteilt sind:
- a) Abschätzungsmittel für Fehlerwerte, die auf eine Anpassung der Pixelblöcke zwischen unterschiedlichen Bildern des Signals bezogen sind, wobei:
- - erste Minimalwert-Mittel aus den Fehlerwerten einen grundsätzlichen minimalen Fehler berechnen, der auf den gegenwärtigen Bewegungs-Vektor bezogen ist;
- - zweite Minimalwert-Mittel, die einen weiteren minimalen Fehler berechnen, der zu benachbarten Piselpositionen mit Ausnahme unmittelbar benachbarter Pixelpositionen entlang der Reihe oder Spalte gehört, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält;
- - erste Maximalwert-Mittel, die einen maximalen Fehler aus den Fehlerwerten berechnen, aus denen zwei Schwellwerte abgeleitet werden, wobei Fehler verwendet werden, die bei der Berechnung des grundsätzlichen minimalen Fehlers betroffen sind, die insbesondere zu dem gegenwärtigen Block oder zu einem Block gehören, der gemäß der gegenwärtigen minimalen Fehlerposition verschoben wurde;
- - zweite Maximalwert-Mittel, die aus den Fehlerwerten einen maximalen Fehler in der Reihe oder Spalte berechnen, die die Pixelposition des grundsätzlichen minimalen Fehlers enthält;
- b) erste Vergleichswerte zum Vergleich der Differenzwerte zwischen den Ausgängen der zweiten und ersten Minimalwert- Mittel mit einem ersten der Schwellwerte, was zur Entscheidung einer ersten periodischen Struktur führt, wenn der weitere minimale Fehlerwert kleiner als der Schwellwert ist;
- c) zweite Vergleichsmittel zum Vergleich der Differenzwerte zwischen den Ausgängen der zweiten Maximal- und der ersten Minimalwert-Mittel mit einem zweiten der Schwellwerte, was zu einer Entscheidung einer zweiten periodischen Struktur führt, wenn der weitere minimale Fehlerwert größer als/gleich dem Schwellwert ist;
- d) Kombinationsmittel, um eine endgültige periodische Strukturentscheidung aus der ersten und zweiten periodischen Strukturentscheidung zu bilden;
- e) Vektor-Austauschmittel, die den gegenwärtigen Bewegungs- Vektor entsprechend dem grundsätzlichen minimalen Fehler durch einen Bewegungs-Vektor eines benachbarten Pixelblocks ersetzen, insbesondere des linken oder des oberen oder des Mittelwerts von beiden, wenn die endgültige periodische Strukturentscheidung anzeigt, daß eine periodische Struktur in dem Bildinhalt festgestellt wird.
- Vorteilhafte zusätzliche Ausführungsformen der erfindungsgemäßen Vorrichtung ergeben sich aus den entsprechenden abhängigen Ansprüchen.
- Bevorzugte Ausführungsformen der Erfindung werden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. In den Zeichnungen stellen dar:
- Fig. 1 eine Bewegungsvektor-Korrekturschaltung;
- Fig. 2 eine Zeile von Fehlerminima, die eine Reihe von Pixeln schneidet.
- Nachfolgend wird eine bestimmte Ausführungsform des Teils der Feststellung einer periodischen Struktur gemäß der Erfindung beschrieben. Es sei angenommen, daß der Bewegungs-Vektor-Bereich horizontal [-M, +M] und [-N, +N] vertikal ist, wobei der gewählte Bewegungs-Vektor gleich (X, Y) ist. Es sei angenommen, daß die Fehler für jeden Bewegungs-Vektor, die aus dem Blockanpassungsprozeß herrühren, E(x, y), x = -M, ..., +M, y = -N, ..., +N sind.
- Wir berechnen vier Quantitäten:
- E&sub1; = E(X,Y), der minimale Fehler
- E&sub2; = maxx,y {E(x, y)}, der maximale Fehler
- E&sub3; = minx(X ≠ X-1, X, X+1) {E(x, Y)}, das Reihen-Minimum weg von (X, Y)
- E&sub4; = maxx {E(x,Y)}, das Reihen-Maximum
- Der Block ist periodisch, wenn und nur wenn
- E&sub3;-E&sub1; < E&sub2;/4 und E&sub4;-E&sub1; ≥ E&sub2;/2
- Fig. 1 zeigt ein Blockschaltbild einer möglichen Hardware- Ausführung einer erfindungsgemäßen Vorrichtung zur Feststellung einer periodischen Struktur und zur Korrektur. Die Blockanpassungsfehler ERR treten in die Vorrichtung seriell in einer vorgegebenen Reihenfolge synchron mit einem Vektorzähler VCOU ein, der die entsprechenden Bewegungsvektor-Koordinaten x und y erzeugt. Das Minimum E&sub1; aller Fehler wird seriell unter Verwendung einer Minimum-Funktionsschaltung MIN1 mit zwei Eingängen und einer Ein-Abtastungs-Rückkopplungs-Verzögerung OED1 berechnet. Wenn alle Fehler durchgelaufen sind, erscheint der Vektor UNVEC, der dem Minimum entspricht, am Ausgang einer Latch-Vorrichtung LA. Dieser Vektor UNVEC bildet den Eingang für einen Steuerblock CON, der zwei Auslösesignale ENA4, ENA3 erzeugt, wobei das erste der Reihe entspricht, die den minimalen Fehler E&sub1; für die Berechnung des maximalen Reihenfehlers E&sub4; enthält und das zweite derselben Reihe ausschließlich des minimalen Fehlers und der benachbarten Fehler für die Berechnung des bestimmten minimalen Reihenfehlers E&sub3; entspricht.
- Die Fehler ERR verlaufen auch durch eine Kompensations- Verzögerung COMD und zwei parallele Schalter SW3, SW4, die durch Signale ENA3, ENA4 gesteuert werden. E&sub3; wird unter Verwendung einer Minimum-Funktionsschaltung MIN3 mit zwei Eingängen hinter SW3 und einer Ein-Abtastungs-Rückkopplungs-Verzögerung OED3 berechnet. E&sub4; wird unter Verwendung der Maximal-Funktionsschaltung MAX4 mit zwei Eingängen nach SW4 und einer Ein-Abtastungs- Rückkopplungs-Verzögerung OED4 berechnet.
- E&sub3; und E&sub4; werden jeweils in nachfolgenden Subtraktionsschaltungen SUB3, SUB4 von E&sub1; subtrahiert, und die Ergebnisse werden in Vergleichsschaltungen COM3, COM4 mit geeigneten Bruchteilen von E&sub2; verglichen, wobei das Block-Maximum, das in ähnlicher Weise zu dem Minimum E&sub1; berechnet wird, eine Maximum- Funktionsschaltung MAX2 mit zwei Eingängen verwendet, die mit den Fehlern ERR und einer Ein-Abtastungs-Rückkopplungs- Verzögerung OED2 gespeist wird. E2 wird auch durch 4 (z. B. Schiebeoperation) in einer Teilerschaltung DIV3 geteilt und COM3 zugeführt. E2 wird ebenfalls durch 2 (z. B. Verschiebeoperation) in der Teilerschaltung DIV4 geteilt und COM4 zugeführt. COM3 bestimmt, ob der Ausgang von DIV3 (E&sub2;/4) größer ist als der Ausgang von SUB3 (E&sub3;-E&sub1;). COM4 bestimmt, ob der Ausgang von DIV4 (E&sub2;/2) kleiner oder gleich dem Ausgang von SUB4 (E&sub4;-E&sub1;) ist. Die Ausgänge von COM3 und COM4 werden in einem UND-Tor CB kombiniert. Ein positives Ergebnis PER von beiden Vergleichen zeigt an, daß der gegenwärtige Block periodisch ist.
- Die Fehler, die auf den "oberen" und "linken" Vektor UVEC bzw. LVEC bezogen sind, die von geeigneten Verzögerungsmitteln STD und OED ausgehen, bilden den Eingang zu Steuerblöcken CONU, CONL, die über Signale ENAU, ENAL die Latch-Vorrichtungen LAU, LAL auslösen, um die beiden Fehler ERRU, ERRL, die diesen beiden Vektoren entsprechen, zu erfassen. Das Ergebnis LOERR eines Vergleichs in der Vergleichsschaltung COMUL zwischen diesen beiden Fehlern ERRU und ERRL wählt in einem Multiplexer MUX1 zwischen den bezogenen beiden Vektoren UVEC, LVEC aus. Das Signal PER zur Feststellung der periodischen Struktur wählt in einem weiteren Multiplexer MUX2 zwischen dem resultierenden Ersatz-Vektor REVEC und dem nicht korrigierten Vektor UNVEC, wobei das endgültige Ergebnis COVEC den Ausgang der Vorrichtung und den Eingang zu den Verzögerungen OED und STD für nachfolgende Ersatz-Vektoren bildet.
- OED ist eine Ein-Element-Verzögerung, die den Vektor LVEC von den resultierenden Vektoren COVEC liefert. STD ist eine Streifen-(Zeilen)-Verzögerung, die den Vektor UVEC aus den resultierenden Vektoren COVEC liefert.
- Die Erfindung kann beispielsweise in Fernsehempfängern, Video-Kassettenrecordern und CD-I-Spielern/Aufzeichnungsgeräten verwendet werden, auch für Norm-Umwandlung, Zeitlupenerzeugung und Rauschverminderung.
Claims (6)
1. Verfahren zum Korrigieren von Bewegungs-Vektoren, die auf
Pixelblöcke bezogen sind, in die die Bilder eines
Videosignals unterteilt sind, bei dem Fehlerwerte (ERR) abgeschätzt
werden, die auf eine Anpassung der Pixelblöcke zwischen
verschiedenen Bildern des Videosignals bezogen sind, und bei
dem für einen gegenwärtigen Pixelblock zusätzlich zu einem
grundsätzlichen minimalen Anpassungsfehler (E1), der einer
ersten Anpassungs-Position entspricht, ein nächster
minimaler Anpassungsfehler (E3), der einer zweiten Anpassungs-
Position entspricht, die nicht der ersten Anpassungs-
Position benachbart ist, bestimmt wird, dadurch
gekennzeichnet, daß die zweite Anpassungs-Position sich in einer
gegebenen Pixelreihe (HOR) bzw. Pixelspalte befindet, die das
Pixel enthält, das der ersten Anpassungs-Position
entspricht, daß der nächste minimale Anpassungsfehler mit einem
vorgegebenen ersten Schwellwert verglichen wird (COM3), was
zu einer periodischen Strukturentscheidung führt, wenn der
nächste minimale Anpassungsfehler kleiner als der erste
Schwellwert ist, und daß, wenn eine periodische Struktur in
dem Bildinhalt festgestellt wird, der Bewegungs-Vektor, der
der ersten Anpassungs-Position entspricht, durch den
Bewe
gungs-Vektor von dem Block links oder von dem Block
oberhalb, welcher von ihnen einen kleineren Anpassungsfehler für
den gegenwärtigen Block aufweist, ersetzt wird, oder durch
einen Bewegungs-Vektor ersetzt wird, der der Mittelwert
dieser beiden Vektoren ist, oder durch einen Bewegungs-Vektor
von einem anderen, dem gegenwärtigen Block benachbarten
Block ersetzt wird.
2. Verfahren nach Anspruch 1, bei dem eine periodische Struktur
in dem Bildinhalt nur bestimmt wird, wenn der maximale
Anpassungsfehler in der gegebenen Reihe bzw. Spalte einen
zweiten Schwellwert überschreitet.
3. Verfahren nach Anspruch 1 oder 2, bei dem der erste und/oder
der zweite Schwellwert in Bezug auf den Dynamikbereich des
Blocks skaliert wird, insbesondere den maximalen
Anpassungsfehler, der zu einem gegenwärtigen Pixelblock gehört, oder
zu einem Pixelblock, der gemäß der ersten Anpassungs-
Position verschoben ist.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der
grundsätzliche minimale Anpassungsfehler E&sub1; = E(X, Y);
der maximale Anpassungsfehler E&sub2; = maxx,y {E(x,y)};
der minimale Reihen- oder Spalten-Anpassungsfehler
E&sub3; = minx(x ≠ X-1, X, X+1) {E(x, Y)};
der maximale Reihen- oder Spalten-Anpassungsfehler
E&sub4; = maxx {E(x, Y)};
und der Block periodisch ist, und nur wenn,
E&sub3;-E&sub1; < E&sub2;/4 und E&sub4;-E&sub1; ≥ E&sub2;/2,
wobei der Bewegungs-Vektorbereich [-M, +M] horizontal und
[-N, +N] vertikal ist und der gewählte auf die erste
Anpassungs-Position bezogene Bewegungs-Vektor gleich (X,Y) ist
und die Fehler für die Anwärter-Bewegungs-Vektoren E(x,y), x
= -M, ..., +M, y = -N, ... +N sind.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem der
Ersatz-Bewegungs-Vektor nur akzeptiert wird, wenn sein
entsprechender Fehler in dem gegenwärtigen Block unterhalb
eines bestimmten Schwellwertes ist.
6. Vorrichtung zur Korrektur von Bewegungs-Vektoren, die auf
Pixelblöcke bezogen sind, in die die Bilder eines
Videosignals unterteilt sind, einschließlich Abschätzungsmitteln
zur Abschätzung von Fehlerwerten (ERR), die auf eine
Anpassung der Pixelblöcke zwischen unterschiedlichen Bildern des
Videosignals bezogen sind, wobei erste Minimalwert-Mittel
(MIN1, OED1) aus den Fehlerwerten (ERR) einen
grundsätzlichen minimalen Anpassungsfehler (E1) berechnen, der einer
ersten Anpassungs-Position entspricht, gekennzeichnet durch
zweite Minimalwert-Mittel (SW3, MIN3, OED3), die einen
nächsten minimalen Anpassungsfehler (E3) berechnen, der einer
zweiten Anpassungs-Position entspricht, die nicht neben der
ersten Anpassungs-Position liegt, wobei die Berechnung in
einer gegebenen Pixelreihe (HOR) bzw. Pixelspalte ausgeführt
wird, die das Pixel enthält, das der ersten Anpassungs-
Position entspricht;
- erste Maximalwert-Mittel (MAX2, OED2), die aus den
Fehlerwerten (ERR) einen maximalen Anpassungsfehler (E2)
berechnen, aus dem zwei Schwellwerte (DIV3, DIV4) abgeleitet
werden, wobei Fehler verwendet werden, die bei der Berechnung
des grundsätzlichen minimalen Anpassungsfehlers betroffen
sind, der insbesondere zu dem gegenwärtigen Block oder zu
einem Block gehört, der gemäß der ersten Anpassungs-Position
verschoben ist;
- zweite Maximalwert-Mittel (SW4, MAX4, OED4), die aus den
Fehlerwerten (ERR) einen maximalen Anpassungsfehler (E4) in
der gegebenen Pixelreihe bzw. -spalte berechnen;
- erste Vergleichsmittel (SUB3, COM3), die die Differenzwerte
zwischen den Ausgängen der zweiten und ersten Minimalewert-
Mittel mit einem ersten der Schwellwerte vergleichen, was zu
einer ersten periodischen Strukturentscheidung führt, wenn
der nächste minimale Anpassungsfehler kleiner als der erste
Schwellwert ist;
- zweite Vergleichsmittel (SUB4, COM4), die die Differenzwerte
zwischen den Ausgängen der ersten Maximal- und der ersten
Minimalwert-Mittel mit einem zweiten der Schwellwerte
vergleichen, was zu einer zweiten periodischen
Strukturentscheidung führt, wenn der nächste minimale Anpassungsfehler
größer oder gleich dem zweiten Schwellwert ist;
- Kombinationsmittel (CB), die eine endgültige periodische
Strukturentscheidung (PER) aus der ersten und zweiten
periodischen Strukturentscheidung bilden;
- Vektor-Austauschmittel (LA, MUX2), die, wenn die endgültige
periodische Strukturentscheidung (PER) anzeigt, daß eine
periodische Struktur in dem Bildinhalt festgestellt wird, den
gegenwärtigen Bewegungs-Vektor, der dem grundsätzlichen
minimalen Anpassungsfehler (E1) entspricht, durch den
Bewegungs-Vektor von dem Block links oder dem Block oberhalb,
welcher von ihnen unter Verwendung der Vergleichsmittel
(COMUL) einen kleineren Anpassungsfehler für den
gegenwärtigen Block aufweist, ersetzt wird, oder durch einen
Bewegungs-Vektor ersetzt wird, der der Mittelwert dieser beiden
Vektoren ist, oder durch den Bewegungs-Vektor von einem
anderen, dem gegenwärtigen Block benachbarten Block ersetzt
wird.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP93402507 | 1993-10-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69422876D1 DE69422876D1 (de) | 2000-03-09 |
DE69422876T2 true DE69422876T2 (de) | 2000-06-15 |
Family
ID=8214754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69422876T Expired - Fee Related DE69422876T2 (de) | 1993-10-11 | 1994-10-06 | Verfahren und Gerät zur Korrektur von Bewegungsvektoren |
Country Status (5)
Country | Link |
---|---|
US (1) | US5793430A (de) |
JP (1) | JP3751988B2 (de) |
CN (1) | CN1056257C (de) |
DE (1) | DE69422876T2 (de) |
SG (1) | SG50718A1 (de) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6275527B1 (en) * | 1998-01-14 | 2001-08-14 | Conexant Systems, Inc. | Pre-quantization in motion compensated video coding |
GB2348064A (en) * | 1999-03-16 | 2000-09-20 | Mitsubishi Electric Inf Tech | Motion vector field encoding |
EP1078332B9 (de) | 1999-03-18 | 2006-08-30 | Koninklijke Philips Electronics N.V. | Videosignalverarbeitung |
JP2002325258A (ja) * | 2001-04-25 | 2002-11-08 | Nec Corp | 画像符号化装置及びそれに用いる画像符号化方法 |
EP1440581B1 (de) | 2001-07-10 | 2014-10-08 | Entropic Communications, Inc. | Vorrichtung und verfahren zur bewegunsschätzung, und bildverarbeitungsvorrichtung ausgerüstet mit einer solchen vorrichtung |
US7085431B2 (en) * | 2001-11-13 | 2006-08-01 | Mitutoyo Corporation | Systems and methods for reducing position errors in image correlation systems during intra-reference-image displacements |
JP2006521616A (ja) * | 2003-03-18 | 2006-09-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | データセットを最適に整合させるための方法及び装置 |
WO2005098752A1 (ja) * | 2004-04-09 | 2005-10-20 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4799330B2 (ja) * | 2006-09-08 | 2011-10-26 | 株式会社東芝 | フレーム補間回路、フレーム補間方法、表示装置 |
US8218632B2 (en) | 2006-09-20 | 2012-07-10 | Mitsubishi Electric Corporation | Frame interpolation apparatus and frame interpolation method |
CN101374235B (zh) * | 2007-08-24 | 2012-05-02 | 大唐移动通信设备有限公司 | 视频编码中的快速块运动估计方法和装置 |
US8265158B2 (en) * | 2007-12-20 | 2012-09-11 | Qualcomm Incorporated | Motion estimation with an adaptive search range |
WO2009085205A1 (en) | 2007-12-20 | 2009-07-09 | Integrated Device Technology, Inc. | Image interpolation with halo reduction |
JP4309453B2 (ja) * | 2007-12-26 | 2009-08-05 | 株式会社東芝 | 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 |
CN102193194B (zh) * | 2010-03-19 | 2013-07-03 | 瑞昱半导体股份有限公司 | 间距计算装置与应用其的透镜修正***及方法 |
US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
US9197891B1 (en) | 2012-01-02 | 2015-11-24 | Marvell International Ltd. | Systems and methods for periodic structure handling for motion compensation |
US10395378B2 (en) * | 2016-07-15 | 2019-08-27 | Samsung Electronics Co., Ltd. | Detecting periodic patterns and aperture problems for motion estimation |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2191656B (en) * | 1985-12-24 | 1989-10-18 | British Broadcasting Corp | Method of coding a video signal for transmission in a restricted bandwidth |
DE3853555T2 (de) * | 1987-06-09 | 1995-08-17 | Sony Corp | Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern. |
GB2231747B (en) * | 1989-04-27 | 1993-07-07 | Sony Corp | Motion dependent video signal processing |
GB2231227B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
GB2231751B (en) * | 1989-04-27 | 1993-09-22 | Sony Corp | Motion dependent video signal processing |
US5025496A (en) * | 1990-05-07 | 1991-06-18 | Rca Licensing Corporation | Odd/even field detector for video signals |
DE69029999T2 (de) * | 1990-07-20 | 1997-08-14 | Philips Electronics Nv | Vorrichtung zur Verarbeitung von Bewegungsvektoren |
-
1994
- 1994-10-06 DE DE69422876T patent/DE69422876T2/de not_active Expired - Fee Related
- 1994-10-06 SG SG1996009627A patent/SG50718A1/en unknown
- 1994-10-07 CN CN94116847A patent/CN1056257C/zh not_active Expired - Fee Related
- 1994-10-11 JP JP24547994A patent/JP3751988B2/ja not_active Expired - Fee Related
-
1997
- 1997-11-24 US US08/976,937 patent/US5793430A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1056257C (zh) | 2000-09-06 |
CN1112338A (zh) | 1995-11-22 |
DE69422876D1 (de) | 2000-03-09 |
SG50718A1 (en) | 1998-07-20 |
JPH07177501A (ja) | 1995-07-14 |
US5793430A (en) | 1998-08-11 |
JP3751988B2 (ja) | 2006-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69422876T2 (de) | Verfahren und Gerät zur Korrektur von Bewegungsvektoren | |
DE69803639T2 (de) | Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors | |
EP0259562B1 (de) | Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung | |
DE69126804T2 (de) | Kompressionssystem von bewegten Bilddaten | |
DE69123359T2 (de) | Videobildverarbeitung | |
DE69016074T2 (de) | Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation. | |
DE69523431T2 (de) | Verfahren zum Ermitteln von Bewegungsvektoren zur Verwendung in einem auf Segmentation basierenden Kodierungssystem | |
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE69811631T2 (de) | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen | |
DE69605018T2 (de) | Kantenorientiertes Intrabild- und Zwischenbildinterpolationsfilter für Videogeräte besserer Qualität | |
DE69418244T2 (de) | Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur | |
DE602004002455T2 (de) | Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage | |
DE69415402T2 (de) | Abtastungsumwandler von Zeilensprung in ohne Zeilensprung mit einer doppelten Glättungsfunktion und Verfahren dafür | |
DE69523441T2 (de) | Verfahren zur Segmentierung und Schätzung des Bewegungsfeldes eines sich bewegenden Objektes | |
DE69427801T2 (de) | Verfahren und Gerät zur Bestimmung von Bewegungsvektorfelden durch die Unterdrückung lokaler Abweichungen | |
DE3036769C1 (de) | Vorrichtung und Verfahren zum Codieren eines Videosignals | |
DE69230115T2 (de) | Auswertungsvorrichtung und Methode verwendbar für ein Gerät zur Detektion von Bewegungsvektoren | |
DE4411179A1 (de) | Bildeinfangvorrichtung | |
DE69409816T2 (de) | Verfahren und vorrichtung zur bewegungsschätzung mittels blockzusammenpassung | |
DE69511119T2 (de) | Kodierung eines feldes von bewegungsvektoren | |
DE102011056975A1 (de) | Digitale Bildstabilisierung | |
DE69318216T2 (de) | Verfahren und Vorrichtung zur adaptiven Interpolation | |
DE69416662T2 (de) | Bewegtbildkodierer | |
DE4442643B4 (de) | Verfahren zum Abschätzen der Bewegung in einem Bewegtbild | |
DE69609028T2 (de) | Bewegungskompensierte bildfrequenzumwandlung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) | ||
8339 | Ceased/non-payment of the annual fee |