DE60303614T2 - Verfahren zur bildskalierung - Google Patents

Verfahren zur bildskalierung Download PDF

Info

Publication number
DE60303614T2
DE60303614T2 DE60303614T DE60303614T DE60303614T2 DE 60303614 T2 DE60303614 T2 DE 60303614T2 DE 60303614 T DE60303614 T DE 60303614T DE 60303614 T DE60303614 T DE 60303614T DE 60303614 T2 DE60303614 T2 DE 60303614T2
Authority
DE
Germany
Prior art keywords
image
pixel values
filter
pixel
scaling unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60303614T
Other languages
English (en)
Other versions
DE60303614D1 (de
Inventor
Gerard De Haan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE60303614D1 publication Critical patent/DE60303614D1/de
Publication of DE60303614T2 publication Critical patent/DE60303614T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Systems (AREA)

Description

  • Die Erfindung betrifft eine Bildskalierungseinheit zum Skalieren eines ersten Bilds mit einer ersten Auflösung auf ein zweites Bild mit einer zweiten Auflösung, wobei die Bildskalierungseinheit Folgendes umfasst:
    • – ein Koeffizientenberechnungsmittel zum Berechnen eines ersten Filterkoeffizienten auf der Basis von Pixelwerten des ersten Bilds;
    • – ein adaptives Filtermittel zum Berechnen eines zweiten Pixelwerts des zweiten Bilds auf der Basis eines ersten der Pixelwerte des ersten Bilds und des ersten Filterkoeffizienten.
  • Die Erfindung betrifft des Weiteren ein Verfahren zum Skalieren eines ersten Bilds mit einer ersten Auflösung auf ein zweites Bild mit einer zweiten Auflösung, wobei das Verfahren Folgendes umfasst:
    • – Berechnen eines ersten Filterkoeffizienten auf der Basis von Pixelwerten des ersten Bilds;
    • – Berechnen eines zweiten Pixelwerts des zweiten Bilds auf der Basis eines ersten der Pixelwerte des ersten Bilds und des ersten Filterkoeffizienten.
    • Die Erfindung betrifft des Weiteren ein Bildverarbeitungsgerät, das Folgendes umfasst:
    • – Empfangsmittel zum Empfangen eines Signals, das dem ersten Bild entspricht; und
    • – die vorstehend genannte Bildskalierungseinheit zum Skalieren eines ersten Bilds auf ein zweites Bild.
  • Die Einführung von HDTV (High Definition Television) verstärkt den Bedarf an Verfahren zur Hochskalierung, die es ermöglichen, SD-Videomaterial (Standard Definition) auf HDTV-Fernsehgeräten anzusehen. Herkömmliche Verfahren sind lineare Interpolationsverfahren wie die bilineare Interpolation oder Verfahren, bei denen mehrphasige Tiefpass-Interpolationsfilter verwendet werden. Erstere werden wegen ihrer niedrigen Qualität für Fernsehanwendungen kaum verwendet, doch letztere sind im Handel als ICs erhältlich. Mit den linearen Verfahren wird die Zahl der Pixel im Frame erhöht, doch der Hochfrequenzanteil des Spektrums wird nicht ausgedehnt, d. h. die wahrgenommene Schärfe des Bilds wird nicht erhöht. Anders gesagt, die Leistungsfähigkeit der Wiedergabeanordnung wird nicht vollständig ausgenutzt.
  • Neben den herkömmlichen linearen Verfahren wurde eine Reihe nichtlinearer Algorithmen vorgeschlagen, um diese Hochskalierung zu bewerkstelligen. Mitunter werden diese Verfahren als inhaltsbasierte oder kantenabhängige räumliche Hochskalierung bezeichnet. Einige dieser Verfahren sind bereits auf dem Verbraucherelektronikmarkt erhältlich.
  • Eine Ausführungsform der Bildskalierungseinheit der eingangs beschriebenen Art ist aus dem Artikel „New Edge-Directed Interpolation" von Xin Li et al., in IEEE Transactions on Image Processing, Bd. 10, Nr. 10, Oktober 2001, S. 1521-1527, bekannt. Bei dieser Bildskalierungseinheit werden die Filterkoeffizienten eines Interpolationsfilters zur Hochskalierung an den lokalen Bildinhalt angepasst. Für das Fenster des Interpolationsfilters zur Hochskalierung wird ein Interpolationsalgorithmus vierter Ordnung gemäß Gleichung 1 verwendet:
    Figure 00020001
    mit den Leuchtdichtewerten FHD(i,j) der HD-Ausgangspixel, den Leuchtdichtewerten FSD(i,j) der Eingangspixel und den Filterkoeffizienten wi. Die Filterkoeffizienten werden aus einem größeren Fenster mittels eines LMS-Optimierungsverfahrens (Least Mean Squares, Methode der kleinsten Quadrate) erhalten. In dem angeführten Artikel wird erklärt, wie die Filterkoeffizienten berechnet werden. Das Verfahren gemäß dem Stand der Technik wird auch im Zusammenhang mit 1A und 1B erklärt. Das Verfahren zielt darauf ab, dass die Interpolation entlang von Kanten anstatt durch sie hindurch erfolgt, um ein Verschmieren zu verhindern. Die Autoren gehen von der vernünftigen Annahme aus, dass sich die Kantenorientierung mit der Skalierung nicht ändert. Daher können die Koeffizienten aufgrund des SD-Eingangsbilds innerhalb eines lokalen Fensters mittels des LMS-Verfahrens approximiert werden.
  • Obwohl das „New Edge-Directed Interpolation" genannte Verfahren entsprechend dem angeführten Stand der Technik in vielen Bildteilen relativ gut funktioniert, bereitet die Hochskalierung in detailreichen Bildbereichen ein Problem.
  • Der Erfindung liegt unter anderem die Aufgabe zugrunde, eine Bildskalierungseinheit der eingangs beschriebenen Art zu schaffen, welche in detailreichen Bildbereichen eine verbesserte Leistung liefert.
  • Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass die Bildskalierungseinheit außerdem ein zusätzliches Filtermittel umfasst, um das erste Bild zu filtern, woraus sich gefilterte Pixelwerte ergeben, und das Koeffizientenberechnungsmittel so eingerichtet ist, dass es den ersten Filterkoeffizienten auf der Basis der gefilterten Pixelwerte berechnet. Pixelwerte beziehen sich auf die Leuchtdichte oder die Farbe. Eine Annahme, die dem Algorithmus zugrunde liegt, der dem Stand der Technik entspricht und der mittels einer Bildskalierungseinheit implementiert wird, nämlich dass sich die Kantenorientierung mit der Skalierung nicht ändert, ist in diesen Bereichen nicht mehr gültig. Dies liegt daran, dass, obwohl die Koeffizienten auf einem Gitter geringerer Dichte optimiert werden, kein Mittel existiert, um den Treppeneffekt (Aliasing) auf diesem Gitter zu verhindern. Die erfindungsgemäße Bildskalierungseinheit umfasst ein zusätzliches Filtermittel, das der Berechung der Filterkoeffizienten vorgeschaltet ist. Es ist zu beachten, dass sich dieses zusätzliche Filtermittel nicht in dem direkten Pfad der Verarbeitung der Eingangspixel des ersten Bilds zu Ausgangspixeln, d. h. den Pixeln des zweiten Bilds, befindet, sondern im Steuerpfad zur Bestimmung der Filterkoeffizienten. Das zusätzliche Filtermittel umfasst vorzugsweise ein räumliches Tiefpassfilter.
  • In einer Ausführungsform der erfindungsgemäßen Bildskalierungseinheit hat das räumliche Tiefpassfilter einen Durchlassbereich, der ungefähr einem Viertel einer Abtastfrequenz des ersten Bilds entspricht. Dieses Tiefpassfilter entspricht dem Abtasttheorem.
  • Das räumliche Tiefpassfilter kann ein eindimensionales Filter oder eine Kaskade zweier orthogonaler Filter sein, doch alternativ dazu wird ein zweidimensionales Filter angewendet. In einer Ausführungsform der erfindungsgemäßen Bildskalierungseinheit ist das räumliche Tiefpassfilter so eingerichtet, dass ein erster der gefilterten Pixelwerte durch Mittelung über die Pixelwerte eines Pixelblocks des ersten Bilds berechnet wird. Ein Vorteil dieser erfindungsgemäßen Ausführungsform besteht darin, dass sie relativ einfach ist. Der Pixelblock kann beispielsweise 2·2 oder 3·3 oder 4·4 Pixeln entsprechen.
  • Der Erfindung liegt des Weiteren die Aufgabe zugrunde, ein Verfahren der eingangs beschriebenen Art mit einer verbesserten Leistung in detailreichen Bildbereichen zu schaffen.
  • Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass das Verfahren zusätzlich das Filtern des ersten Bilds umfasst, woraus sich gefilterte Pixelwerte ergeben, sowie die Berechnung des ersten Filterkoeffizienten auf der Basis der gefilterten Pixelwerte.
  • Der Erfindung liegt des Weiteren die Aufgabe zugrunde, ein Bildverarbeitungsgerät der eingangs beschriebenen Art mit verbesserter Leistungsfähigkeit in detailreichen Bildbereichen zu schaffen.
  • Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass die Bildverarbeitungseinheit des Bildverarbeitungsgeräts des Weiteren ein zusätzliches Filtermittel umfasst, um das erste Bild zu filtern, woraus sich gefilterte Pixelwerte ergeben, und das Koeffizientenberechnungsmittel so eingerichtet ist, dass es den ersten Filterkoeffizienten auf der Basis der gefilterten Pixelwerte berechnet. Das Bildverarbeitungsgerät umfasst optional eine Anzeigeeinrichtung zum Anzeigen des zweiten Bilds. Das Bildverarbeitungsgerät kann beispielsweise ein Fernsehgerät, eine Set-Top-Box, ein VCR-Player (Video Cassette Recorder) oder ein DVD-Player (Digital Versatile Disk) sein.
  • Abwandlungen und Varianten der Bildskalierungseinheit können Abwandlungen und Varianten des beschriebenen Verfahrens und des beschriebenen Bildverarbeitungsgeräts entsprechen.
  • Diese und andere Aspekte der Bildskalierungseinheit, des Verfahrens und des Bildverarbeitungsgeräts gemäß der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden im Zusammenhang mit den Implementierungen und Ausführungsformen näher beschrieben. Es zeigen:
  • 1A in schematischer Darstellung eine Ausführungsform der Bildskalierungseinheit gemäß dem Stand der Technik;
  • 1B in schematischer Darstellung eine Anzahl von Pixeln zur Erläuterung des Verfahrens gemäß dem Stand der Technik;
  • 2A in schematischer Darstellung eine Anzahl von Pixeln zur Erläuterung des erfindungsgemäßen Verfahrens;
  • 2B in schematischer Darstellung eine Ausführungsform der erfindungsgemäßen Bildskalierungseinheit;
  • 3A in schematischer Darstellung ein SD-Eingangsbild;
  • 3B in schematischer Darstellung das SD-Eingangsbild aus 3A, dem Pixel zur Erhöhung der Auflösung hinzugefügt wurden;
  • 3C in schematischer Darstellung das Bild aus 3B nach einer Drehung um 45 Grad;
  • 3D in schematischer Darstellung ein aus dem SD-Eingangsbild aus 3A abgeleitetes HD-Ausgangsbild; und
  • 4 in schematischer Darstellung eine Ausführungsform des erfindungsgemäßen Bildverarbeitungsgeräts.
  • In allen Figuren werden zur Bezeichnung ähnlicher Teile dieselben Bezugszeichen verwendet.
  • 1A zeigt in schematischer Darstellung eine Ausführungsform der Bildskalierungseinheit 100, wie sie dem Stand der Technik entspricht. Die Bildskalierungseinheit 100 erhält am Eingangsanschluss 108 SD-Bilder (Standard Definition) und liefert am Ausgangsanschluss 110 HD-Bilder (High Definition). Die Bildskalierungseinheit 100 umfasst:
    • – eine Pixelerfassungseinheit 102, die so eingerichtet ist, dass sie eine erste Menge von Pixelwerten 1-4 in einer ersten Umgebung einer bestimmten Stelle in einem ersten der SD-Eingangsbilder erfasst, die einer Stelle eines HD-Ausgangspixels entspricht, und dass sie eine zweite Menge von Pixelwerten 1-16 in einer zweiten Umgebung dieser bestimmten Stelle in dem ersten der SD-Eingangsbilder erfasst;
    • – eine Filterkoeffizientenberechnungseinheit 106, die so eingerichtet ist, dass sie auf der Basis der ersten Menge von Pixelwerten 1-4 und der zweiten Menge von Pixelwerten 1-16 Filterkoeffizienten berechnet. Anders gesagt, die Filterkoeffizienten werden anhand des SD-Eingangsbilds innerhalb eines lokalen Fensters approximiert. Dies erfolgt mittels eines LMS-Verfahrens (Least Mean Squares), das in Verbindung mit 1B erklärt wird; und
    • – eine adaptive Filtereinheit 104 zum Berechnen des Werts des HD-Ausgangspixels auf der Basis der ersten Menge von Pixelwerten 1-4 und der durch Gleichung 1 bestimmten Filterkoeffizienten. Demnach ist die Filterkoeffizientenberechnungseinheit 106 so eingerichtet, dass sie die adaptive Filtereinheit 104 steuert.
  • 1B zeigt in schematischer Darstellung eine Anzahl von Pixeln 1-16 eines SD-Eingangsbilds und ein HD-Pixel eines HD-Ausgangsbilds, um das Verfahren ge mäß dem Stand der Technik zu erläutern. Das HD-Ausgangspixel wird als gewichtetes Mittel von 4 Pixeln 1-4 interpoliert. Das heißt, der Leuchtdichtewert FHD des HD-Ausgangspixels ergibt sich als gewichtete Summe seiner 4 im SD-Bild benachbarten Pixel: FHD = w1FSD(1) + w2FSD(2) + w3FSD(3) + w4FSD(4), (2)wobei FSD(1) bis FSD(4) die Werte der 4 SD-Eingangspixel 1-4 sind und w1 bis w4 die zu berechnenden Filterkoeffizienten. Die Autoren des angeführten Artikels, in dem das Verfahren gemäß dem Stand der Technik beschrieben ist, gehen von der vernünftigen Annahme aus, dass sich die Orientierung der Kanten mit der Skalierung nicht ändert. Diese Annahme hat zur Folge, dass die optimalen Filterkoeffizienten dieselben sind wie die, die auf dem Gitter, das der Standardauflösung entspricht, interpoliert werden sollen:
    • – Pixel 1 aus 5, 7, 11 und 4 (das heißt, Pixel 1 kann von seinen 4 Nachbarn abgeleitet werden)
    • – Pixel 2 aus 6, 8, 3 und 12
    • – Pixel 3 aus 9, 2, 13 und 15
    • – Pixel 4 aus 1, 10, 14 und 16
  • Dies ergibt ein System von 4 linearen Gleichungen, aus denen mittels der LSM-Optimierung die 4 optimalen Filterkoeffizienten für die Interpolation des HD-Ausgangspixels ermittelt werden.
  • Bezeichnet man mit M die zum Berechnen der 4 Gewichte verwendete Pixelmenge auf dem SD-Gitter, lässt sich der mittlere quadratische Fehler (MSE) bei der Optimierung über die Menge M als Summe von Quadraten der Differenzen der ursprünglichen SD-Pixel FSD und der interpolierten SD-Pixel FSI schreiben:
    Figure 00060001
  • In Matrixschreibweise wird daraus: MSE = ∥y → – w →C∥2 (4)
  • Hierin enthält y → die SD-Pixel in M(Pixel FSD(1,1) bis FSD(1,4), FSD(2,1) bis FSD(2,4), FSD(3,1) bis FSD(3,4), FSD(4,1) bis FSD(4,4)) und C ist eine 4 × M2 -Matrix, deren k-te Zeile aus der gewichteten Summe der vier diagonalen SD-Nachbarn eines jeden SD-Pixels aus y → besteht. Die gewichtete Summe einer jeden Zeile beschreibt ein Pixel FSI entsprechend der Bezeichnung in Gleichung 3. Um das Minimum von MSE zu finden, d. h. LMS, wird die Ableitung von MSE nach w → berechnet:
    Figure 00070001
    –2y →C + 2w →C2 = 0 (6) w → = (CTC)–1(CTy →) (7)
  • Durch Lösen von Gleichung 7 werden die Filterkoeffizienten ermittelt und unter Verwendung von Gleichung 2 lassen sich die Werte der HD-Ausgangspixel berechnen.
  • In diesem Beispiel wird zum Berechnen der Filterkoeffizienten ein Fenster von 4 mal 4 Pixeln verwendet. Eine LMS-Optimierung über ein größeres Fenster, z. B. 8 mal 8 anstatt 4 mal 4, ergibt bessere Ergebnisse.
  • Zur weiteren Erklärung der Erfindung wird ein sehr einfaches Beispiel für eine Implementierung der Erfindung dargestellt, bei dem das zusätzliche Filtermittel ein Filter ist, das über 4 Pixel mittelt, und bei dem das LMS-Verfahren auf einen 5 × 5-Block um das zu interpolierende HD-Pixel angewendet wird. Bei der Nummerierung der Pixel wird auf 2A Bezug genommen. Zunächst werden die gefilterten Pixel auf dem Gitter niedriger Dichte unter Verwendung der Mittelwerte ihrer diagonalen Nachbarn berechnet, d. h.:
    • – Pixel a = (5 + 6 + 9 + 1)/4
    • – Pixel b = (6 + 7 + 1 + 2)/4
    • – ......
    • – ...... Pixel i = (4 + 12 + 15 + 16)/4
  • Als Nächstes müssen die optimalen Filterkoeffizienten für die Interpolation des Pixels HD (an derselben Position wie Pixel e) als gewichtete Summe der Pixel 1, 2, 3 und 4 berechnet werden. Hierzu wird das LMS-Verfahren zum Lösen der optimalen Interpolation der 9 gefilterten Pixel a, b, c, ... i über ihre 4 diagonalen Nachbarn angewendet. Zum Beispiel wird das Pixel e über die Pixel a, c, g und i interpoliert. 2A müsste erweitert werden, da die diagonalen Nachbarn der Pixel a, b, c, d, f, g, h und I nicht in dieser Fig. abgebildet sind.
  • Das Fenster für den LMS-Algorithmus kann natürlich erweitert werden, beispielsweise auf 5 mal 5 oder 7 mal 7, und ein Filter höherer Ordnung kann in vorteilhafter Weise das Filter zur Mittelung über 4 Pixel ersetzen. Auch ein symmetrisches Filter – mit einer ungeraden Anzahl von Taps – lässt sich mit Blockgrößen von 4 mal 4, 8 mal 8 usw. verwenden. Außerdem ist es nicht erforderlich, dass das Fenster eine rechteckige Form hat.
  • 2B zeigt in schematischer Darstellung eine Ausführungsform der erfindungsgemäßen Bildskalierungseinheit 200. Die Bildskalierungseinheit 200 erhält am Eingangsanschluss 108 SD-Bilder (Standard Definition) und liefert am Ausgangsanschluss 110 HD-Bilder (High Definition). Die SD-Eingangsbilder haben Pixelmatrizen gemäß der Spezifikation in CCIR-601, z. B. 625·720 Pixel oder 525·720 Pixel. Die HD-Ausgangsbilder haben Pixelmatrizen, die in horizontaler und vertikaler Richtung z. B. zweimal oder eineinhalbmal so viele Pixel aufweisen. Die Bildskalierungseinheit 200 umfasst:
    • – eine Pixelerfassungseinheit 102, die so eingerichtet ist, dass sie eine erste Menge von Pixelwerten 1-4 in einer ersten Umgebung einer bestimmten Stelle in einem ersten der SD-Eingangsbilder erfasst, die der Stelle des HD-Ausgangspixels entspricht, und dass sie eine zweite Menge von Pixelwerten 1-16 in einer zweiten Umgebung dieser bestimmten Stelle erfasst;
    • – ein Tiefpassfilter 112 zum Berechnen einer Menge von gemittelten Werten a, b, c,...i, d. h. von gefilterten Pixelwerten a, b, c,...i, auf der Basis der zweiten Menge von Pixelwerten 1-16;
    • – eine Filterkoeffizientenberechnungseinheit 106, die so eingerichtet ist, dass sie auf der Basis der Menge der gefilterten Pixel a, b, c,...i und der zweiten Menge von Pixelwerten 1-16 Filterkoeffizienten berechnet. Anders gesagt, die Filterkoeffizienten werden anhand des gefilterten SD-Eingangsbilds innerhalb eines lokalen Fensters approximiert. Dies erfolgt mittels eines LMS-Verfahrens (Least Mean Squares), das in Verbindung mit 1B und 2A erklärt wird; und
    • – eine adaptive Filtereinheit 104 zum Berechnen eines Pixelwerts eines HD-Ausgangsbilds auf der Basis der zweiten Menge von Pixelwerten 1-4. Das HD-Ausgangspixel wird als gewichtete Summe der Pixel 1-4 berechnet.
  • Die Pixelerfassungseinheit 102, das Tiefpassfilter 112, die Filterkoeffizientenberechnungseinheit 106 und die adaptive Filtereinheit 104 können mittels eines einzigen Prozessors implementiert werden. Normalerweise werden diese Funktionen durch ein Softwareprogramm gesteuert ausgeführt. Während der Ausführung wird das Softwareprogramm normalerweise in einen Speicher geladen, beispielsweise ein RAM, und von dort aus ausgeführt. Das Programm kann von einem Hintergrundspeicher wie einem ROM, einer Festplatte oder einem magnetischen und/oder optischen Speicher geladen werden, oder es kann über ein Netz wie das Internet geladen werden. Optional kann die beschriebene Funk tionalität durch einen anwendungsspezifischen integrierten Schaltkreis zur Verfügung gestellt werden.
  • Zum Skalieren eines SD-Eingangsbilds auf ein HD-Ausgangsbild ist eine Reihe von Verarbeitungsschritten erforderlich. Diese Verarbeitungsschritte werden anhand der 3A-3D erläutert. 3A zeigt in schematischer Darstellung ein SD-Eingangsbild; 3D zeigt in schematischer Darstellung ein von dem SD-Eingangsbild aus 3A abgeleitetes HD-Ausgangsbild und die 3B und 3C zeigen in schematischer Darstellung Zwischenergebnisse.
  • 3A zeigt in schematischer Darstellung ein SD-Eingangsbild. Jedes X-Symbol entspricht jeweils einem Pixel.
  • 3B zeigt in schematischer Darstellung das SD-Eingangbild aus 3A, welchem zur Erhöhung der Auflösung Pixel hinzugefügt wurden. Die hinzugefügten Pixel sind durch +-Zeichen gekennzeichnet. Diese hinzugefügten Pixel werden mittels einer Interpolation der jeweils diagonal benachbarten Pixel berechnet. Die Filterkoeffizienten für die Interpolation werden bestimmt, wie es im Zusammenhang mit 2B beschrieben wurde.
  • 3C zeigt in schematischer Darstellung das Bild aus 3B nach einer Drehung um 45 Grad. Zum Berechnen des in 3D gezeigten Bilds auf der Basis des in 3B gezeigten Bilds kann dieselbe Bildskalierungseinheit 200 verwendet werden wie zum Berechnen des in 3B gezeigten Bilds auf der Basis des in 3A gezeigten Bilds. Das bedeutet, dass neue Pixelwerte mittels einer Interpolation der jeweils diagonal benachbarten Pixel berechnet werden.
  • 3D zeigt in schematischer Darstellung das endgültige HD-Ausgangsbild. Die Pixel, die im letzten Skalierungsschritt hinzugefügt wurden, sind durch o-Zeichen gekennzeichnet.
  • 4 zeigt in schematischer Darstellung eine Ausführungsform des erfindungsgemäßen Bildverarbeitungsgeräts 400, das Folgendes umfasst:
    • – ein Empfangsmittel 402 zum Empfangen eines Signals, das SD-Bilder repräsentiert. Das Signal kann ein Broadcast-Signal sein, das über eine Antenne oder über Kabel empfangen wird, oder auch ein Signal von einer Speichereinrichtung wie einem VCR (Video Cassette Recorder) oder einer DVD (Digital Versatile Disk). Das Signal wird dem Eingangsanschluss 408 zugeführt.
    • – die Bildskalierungseinheit 404, wie sie im Zusammenhang mit 2B beschrieben wurde; und
    • – eine Anzeigeeinrichtung 406 zum Anzeigen der HD-Ausgangsbilder der Bildskalierungseinheit 200. Diese Anzeigeeinrichtung 406 ist optional.
  • Das Bildverarbeitungsgerät 400 kann z. B. ein Fernsehgerät sein. Alternativ umfasst das Bildverarbeitungsgerät 400 nicht die optionale Anzeigeeinrichtung, sondern gibt die HD-Bilder an ein Gerät weiter, das eine Anzeigeeinrichtung 406 umfasst. Dann kann das Bildverarbeitungsgerät 400 z. B. eine Set-Top-Box, ein Satellitentuner, ein VCR-Player oder ein DVD-Player sein. Doch es kann auch ein System sein, das von einem Filmstudio oder einer Sendeanstalt verwendet wird.
  • Es ist anzumerken, dass die vorstehend genannten Ausführungsformen den Erfindungsgedanken nicht beschränken, sondern ihn vielmehr veranschaulichen, und dass der Fachmann alternative Ausführungsformen entwickeln kann, ohne vom Anwendungsbereich der beigefügten Ansprüche abzuweichen. In den Ansprüchen sind Bezugszeichen zwischen Klammern nicht als Beschränkung des jeweiligen Anspruchs zu verstehen. Das Wort ,umfassend' schließt nicht das Vorhandensein von Elementen oder Schritten aus, die in einem Anspruch nicht aufgeführt sind. Das Wort „ein" bzw. „eine" vor einem Element schließt nicht das Vorhandensein einer Vielzahl solcher Elemente aus. Die Erfindung lässt sich mittels einer Hardware, die mehrere einzelne Elemente umfasst, sowie mittels eines geeigneten programmierten Computers realisieren. In den Ansprüchen, die sich auf die Einheit beziehen und in denen mehrere Mittel aufgeführt werden, können mehrere dieser Mittel mit Hilfe ein und desselben Hardwareteils realisiert werden.

Claims (7)

  1. Bildskalierungseinheit zum Skalieren eines ersten Bilds mit einer ersten Auflösung auf ein zweites Bild mit einer zweiten Auflösung, wobei die Bildskalierungseinheit Folgendes umfasst: – ein Koeffizientenberechnungsmittel zum Berechnen eines ersten Filterkoeffizienten auf der Basis von Pixelwerten des ersten Bilds; – ein adaptives Filtermittel zum Berechnen eines zweiten Pixelwerts des zweiten Bilds auf der Basis eines ersten der Pixelwerte des ersten Bilds und des ersten Filterkoeffizienten, dadurch gekennzeichnet, dass die Bildskalierungseinheit des Weiteren ein zusätzliches Filtermittel zum Filtern des ersten Bilds umfasst, woraus sich gefilterte Pixelwerte ergeben, und das Koeffizientenberechnungsmittel so eingerichtet ist, dass es den ersten Filterkoeffizienten auf der Basis der gefilterten Pixelwerte berechnet.
  2. Bildskalierungseinheit nach Anspruch 1, dadurch gekennzeichnet, dass das zusätzliche Filtermittel ein räumliches Tiefpassfilter umfasst.
  3. Bildskalierungseinheit nach Anspruch 2, dadurch gekennzeichnet, dass das räumliche Tiefpassfilter einen Durchlassbereich hat, der ungefähr einem Viertel einer Abtastfrequenz des ersten Bilds entspricht.
  4. Bildskalierungseinheit nach Anspruch 2, dadurch gekennzeichnet, dass das räumliche Tiefpassfilter so eingerichtet ist, dass es durch Mittelung der Pixelwerte eines Blocks von Pixeln des ersten Bilds einen ersten der gefilterten Pixelwerte berechnet.
  5. Verfahren zur Skalierung eines ersten Bilds mit einer ersten Auflösung auf ein zweites Bild mit einer zweiten Auflösung, wobei das Verfahren Folgendes umfasst: – Berechnen eines ersten Filterkoeffizienten auf der Basis von Pixelwerten des ersten Bilds; – Berechnen eines zweiten Pixelwerts des zweiten Bilds auf der Basis eines ersten der Pixelwerte des ersten Bilds und des ersten Filterkoeffizienten, dadurch gekennzeichnet, dass das Verfahren des Weiteren das Filtern des ersten Bilds umfasst, woraus sich gefilterte Pixelwerte ergeben, sowie das Berechnen des ersten Filterkoeffizienten auf der Basis der gefilterten Pixelwerte.
  6. Bildverarbeitungsgerät, welches Folgendes umfasst: – Empfangsmittel zum Empfangen eines Signals, das einem ersten Bild entspricht; und – die Bildskalierungseinheit nach Anspruch 1 zum Skalieren des ersten Bilds auf ein zweites Bild.
  7. Bildverarbeitungsgerät nach Anspruch 6, das des Weiteren eine Anzeigeeinrichtung zum Anzeigen des zweiten Bilds umfasst.
DE60303614T 2002-09-11 2003-08-05 Verfahren zur bildskalierung Expired - Fee Related DE60303614T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02078720 2002-09-11
EP02078720 2002-09-11
PCT/IB2003/003377 WO2004025558A2 (en) 2002-09-11 2003-08-05 Method for image scaling

Publications (2)

Publication Number Publication Date
DE60303614D1 DE60303614D1 (de) 2006-04-20
DE60303614T2 true DE60303614T2 (de) 2006-12-07

Family

ID=31985078

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60303614T Expired - Fee Related DE60303614T2 (de) 2002-09-11 2003-08-05 Verfahren zur bildskalierung

Country Status (9)

Country Link
US (1) US20060045384A1 (de)
EP (1) EP1540593B1 (de)
JP (1) JP2005538464A (de)
KR (1) KR20050059171A (de)
CN (1) CN1324527C (de)
AT (1) ATE317997T1 (de)
AU (1) AU2003250407A1 (de)
DE (1) DE60303614T2 (de)
WO (1) WO2004025558A2 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454089B2 (en) * 2004-06-14 2008-11-18 Primax Electronics Ltd. Interpolation system and method
US7379626B2 (en) * 2004-08-20 2008-05-27 Silicon Optix Inc. Edge adaptive image expansion and enhancement system and method
US7724256B2 (en) * 2005-03-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Fast graph cuts: a weak shape assumption provides a fast exact method for graph cuts segmentation
US7738712B2 (en) * 2006-01-04 2010-06-15 Aten International Co., Ltd. Mixing 2-D gradient-difference and interpolation/decimation method and device for scaling a digital image
US8054380B2 (en) * 2006-04-12 2011-11-08 Zoran (France) Method and apparatus for robust super-resolution video scaling
TWI367457B (en) 2006-07-03 2012-07-01 Nippon Telegraph & Telephone Image processing method and apparatus, image processing program, and storage medium for storing the program
WO2008041178A2 (en) * 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
CN101903907B (zh) * 2007-12-21 2012-11-14 杜比实验室特许公司 针对边缘的图像处理
JP5253835B2 (ja) * 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
FR2929431B1 (fr) * 2008-03-26 2010-12-03 Canon Kk Procede et dispositif de classification des echantillons representatifs d'un signal numerique d'image
US8363728B2 (en) * 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
JP4444354B2 (ja) * 2008-08-04 2010-03-31 株式会社東芝 画像処理装置、および画像処理方法
US20100067818A1 (en) * 2008-09-15 2010-03-18 Sony Corporation, A Japanese Corporation System and method for high quality image and video upscaling

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903481A (en) * 1994-09-09 1999-05-11 Sony Corporation Integrated circuit for processing digital signal
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same

Also Published As

Publication number Publication date
EP1540593B1 (de) 2006-02-15
CN1682244A (zh) 2005-10-12
CN1324527C (zh) 2007-07-04
AU2003250407A1 (en) 2004-04-30
AU2003250407A8 (en) 2004-04-30
DE60303614D1 (de) 2006-04-20
US20060045384A1 (en) 2006-03-02
KR20050059171A (ko) 2005-06-17
WO2004025558A2 (en) 2004-03-25
WO2004025558A3 (en) 2004-09-30
ATE317997T1 (de) 2006-03-15
JP2005538464A (ja) 2005-12-15
EP1540593A2 (de) 2005-06-15

Similar Documents

Publication Publication Date Title
DE602004002618T2 (de) Verfahren und System zur Kantenhervorhebung
DE69132203T2 (de) System und Verfahren zur Echtzeit-Mischung von Videobildern aus mehreren Quellen
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
DE69411470T2 (de) Methode und Vorrichtung zur Verbesserung der Schärfe einer einem kontinuierlichem Zoom unterworfenen Bildfolge
DE602004009702T2 (de) Verfahren und System zur automatischen Reduzierung von Aliasing-Artefakten
DE69415402T2 (de) Abtastungsumwandler von Zeilensprung in ohne Zeilensprung mit einer doppelten Glättungsfunktion und Verfahren dafür
DE69906031T2 (de) System und Verfahren zur massstäblichen Umformung von Bildern
DE69713707T2 (de) Multiformatabtastumsetzung
DE69709451T2 (de) Bilddatengeräuschfilterung
DE60221757T2 (de) Verfahren und Vorrichtung zur gleichzeitigen Entfernung des Mosaikeffekts und Grössenänderung von Rohbilddaten
DE3788997T3 (de) Interpolation von Zeilen eines Videosignals.
DE69605936T2 (de) Bewegungskompensierte interpolation
DE60120031T2 (de) Gerät und Verfahren zum Verdecken von Interpolationartefakten in einem Umwandler von Zeilensprungsvideo in Video mit progressiver Abtastung
DE2937282C2 (de)
DE60303614T2 (de) Verfahren zur bildskalierung
DE19815861A1 (de) Verfahren und Vorrichtung für eine auf Blöcken basierende Bildverarbeitung
DE69522376T2 (de) Verfahren und Vorrichtung zur graphischen Verarbeitung
DE69818751T2 (de) Dekompression von interpolierten Bildern
DE19920812A1 (de) Einrichtung zum Erzeugen einer interpolierten Videozeile
WO2002058385A2 (de) Verfahren und vorrichtung zur konversion von video signalen
DE102006038646A1 (de) Bildverarbeitungsvorrichtung für Farb-Bilddaten und Verfahren zur Bildverarbeitung von Farb-Bilddaten
DE4342305A1 (de) Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
DE3720163A1 (de) Verfahren und anordnung zum einfrieren eines fernsehbildes
DE60122382T2 (de) Vorrichtung und verfahren zur bereitstellung einer nützlichkeitsmetrik auf der grundlage der codierung von informationen zur verbesserung von videosignalen
DE69206833T2 (de) Gerät mit progressiver Abtastung zur Erzeugung von Fernseh-Spezialeffekten und zugehörendes Verfahren

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee