DE69816824T2

DE69816824T2 - Texturabbildung in 3-d-rechnergraphik

Info

Publication number: DE69816824T2
Application number: DE69816824T
Authority: DE
Inventors: A. Garth DICKIE
Original assignee: Avid Technology Inc
Current assignee: Avid Technology Inc
Priority date: 1997-08-01
Filing date: 1998-05-27
Publication date: 2004-05-19
Anticipated expiration: 2018-05-28
Also published as: EP0998727A1; CA2297916C; EP0998727B1; WO1999006952A8; DE69816824D1; WO1999006952A1; CA2297916A1; US6016152A; AU7697498A; JP2001512265A

Description

Die Erfindung bezieht sich auf das Editieren von Graphiken und insbesondere auf das Bestimmen eines Pixelwerts in einem Bild, das durch einen Spezialeffekt erzeugt worden ist, der eine Funktion enthält, die eine nicht-gleichmäßige Skalierung oder eine beliebige Verzerrung einer Quellenbildfunktion umfasst.
HINTERGRUND DER ERFINDUNG
In vielen Computergraphikanwendungen wird ein Bild, das auf einem zweidimensionalen Anzeigebildschirm angezeigt wird, durch Transformation eines weiteren Bildes, das ein Quellenbild genannt wird, erzeugt. Beispielsweise kann das Quellenbild eine Textur sein, die auf ein dreidimensionales Objekt abgebildet wird, das auf eine durch die Anzeige definierte zweidimensionale Ebene projiziert wird. Eine weitere Anwendung umfasst Spezialeffekte bei bewegten Bildern oder bei der Animation, in denen ein Quellenbild verformt wird, um ein gewünschtes Bild zu erzeugen.
Das Quellenbild kann durch ein rechtwinkliges Gitter von Abtastwerten einer kontinuierlichen 2-D-Funktion f(x, y) dargestellt werden. Jeder Abtastwert ist der Wert der kontinuierlichen Funktion an einem gegebenen Abtastpunkt oder Pixel, wobei jedes Pixel einen Punkt des Bildes darstellt, der die Farbe des Bildes an diesem Punkt enthält. Eine ideale Prozedur zum Skalieren des Bildes, d. h. eines Bildes, das als diskrete Pixelorte entlang fester Abtastlinien in einer rechtwinkligen Anordnung von Abtastlinien dargestellt ist, umfasst die Rekonstruktion der kontinuierlichen Originalfunktion des Quellenbilds aus den abgetasteten Daten und daraufhin das Verformen des kontinuierlichen Bildes. Um Frequenzen in dem Zielbild über einer Nyquist-Frequenz zu beseitigen, wird ein Tiefpassfilter angewendet. Die Nyquist-Frequenz bestimmt die niedrigste Abtastrate, die möglich ist, um Einzelheiten in dem Bild zu erhalten, und ist gleich dem Doppelten der Frequenz der höchsten Frequenzkomponente in einem Quellensignal. Das Tiefpassfilter wird verwendet, da irgendeine Frequenzkomponente, die höher als die Hälfte der Abtastrate ist, falsch abgetastet und in eine tiefere Frequenz verfälscht wird. Nach Anwendung des Filters wird an der kontinuierlichen Funktion des verformten Bildes eine Abtastung unter Verwendung einer anderen Abtastauflösung ausgeführt, um ein Zielbild zu erzeugen. Gemäß der Abtasttheorie ist die sinc-Funktion f(x, y) = [sin(πx)sin(πy)]/π²x ideal für die Rekonstruktion eines zweidimensionalen Bildes. Die Abtastung bestimmt den Farbwert jedes Punktes in dem Ziel, um das endgültige Zielbild zu erzeugen. Der gesamte Prozess der Rekonstruktion, der Verformung, der Filterung und der Abtastung ist als Resampling bekannt.
Allerdings ist der ideale Prozess, wie er oben umrissen wurde, in der Praxis hauptsächlich deshalb unpraktisch, weil praktisch kein ideales Rekonstruktionsfilter implementiert werden kann. Da die sinc-Funktion an Punkten, die beliebig weit vom Ursprung entfernt sind, von Null verschieden ist, ist beispielsweise die Ausführung von Berechnungen an allen Punkten unpraktisch. Somit wird zur Filterung des Signals, das ein Quellenbild darstellt, ein endliches Rekonstruktionsfilter versucht, wobei etwa häufig bilineare und bikubische Filter verwendet werden. Außerdem kann ein tatsächliches kontinuierliches Bild in einer Computerumgebung nicht dargestellt werden und ein kontinuierliches Bild nicht leicht verzerrt werden.
Eine Möglichkeit, den idealen Prozess zu simulieren, umfasst das Anwenden einer Transformation auf regelmäßig beabstandete Pixel von einem Quellenbild und daraufhin das Anwenden eines Tiefpassfilters auf das transformierte Bild. Allerdings ist es möglich, dass das transformierte Bild nach Anwendung der Transformation keine regelmäßig beabstandeten Punkte mehr enthält, wobei das Anwenden eines Tiefpassfilters auf die unregelmäßig beabstandeten Punkte schwierig auszuführen ist.
In herkömmlichen Systemen kann eine Verkleinerung unter Verwendung von MIP-Mapping-Techniken ausgeführt werden. Obgleich beim MIP-Mapping bei der Filterung eine Standardgestalt eines Quadrats verwendet wird, kann sich der Bereich des Filters ändern. Ein Quellenbild wird nacheinander auf eine niedrigere Auflösung heruntergemittelt. Jedes Bild besitzt die halbe Auflösung des vorhergehenden Bildes, d. h. die halbe lineare Abmessung und ein Viertel der Anzahl der Abtastwerte seines vorhergehenden Bildes. Unter Verwendung einer bilinearen Interpolation wird für die Werte jedes Pixels, während es herunterskaliert wird, eine Intensität bestimmt. Die lineare Interpolation zwischen den Ebenen der Filterung glättet die Werte weiter. Allerdings kann das MIP-Mapping in Bewegtbildanwendungen unerwünschte Artefakte erzeugen.
Die Standardboxfilterung kann ebenfalls zur Abbildung eines Bildes verwendet werden. Es kann eine rechteckige Box verwendet werden, die der genäherten Gestalt des Zielpixels entspricht, um durch Summieren aller Werte in dem Zielbild, die in dem Rechteck enthalten sind, einen gefilterten Mustennrert für das Pixel zu berechnen. Jedes Zielpixel besitzt einen Wert, der ein gewichteter Mittelwert eines Bereiches der Quellenpixel ist. Allerdings können sich unerwünschte Artefakte in dem Zielbild ergeben, wenn das transformierte Pixel nicht genähert ein ausgerichtetes Rechteck ist.
Das Problem der unerwünschten Artefakte kann besonders unangenehm sein, wenn ein Bild nicht-gleichmäßig skaliert wird, d. h. einer beliebigen Verformung unterliegt. Diese Artefakte entstehen besonders bei der Anwendung von Spezialeffekten auf ein Bild, die das Ändern wenigstens eines Teils des Bildes anders als andere Teile des Bildes umfassen. Zwei Beispiele einer nicht-gleichmäßigen Skalierung durch einen Spezialeffekt umfassen die Kugel und die Kräuselung. Beim Anwenden eines Kräuselungseffekts enthält das resultierende Bild ein Kräuselungsmuster wie etwa ein solches, wie es sich aus dem Werten eines Steins in einen See ergibt. Die Anwendung des Kugeleffekts erzeugt einen vergrößerten Querteil einer Kugel, d. h. eine 'Wölbung', während das umgebende Bild in der Kugel aufrechterhalten wird.
Es besteht ein Bedarf an einem System oder an einem Prozess zur Transformation eines Quellenbilds in ein Zielbild, das den idealen Resampling-Prozess annähert, während es die Artefakte, die von herkömmlichen Filterverfahren verursacht werden, die mit nicht-gleichmäßig skalierenden Anwendungen verwendet werden, beseitigt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung nähert einen idealen Resampling-Prozess unter Verwendung eines Rekonstruktionsfilters an, das durch eine lineare Transformation modifiziert worden ist. Das modifizierte Rekonstruktionsfilter wird in dem Quellenbild angewendet, um Werte für Pixel in dem Zielbild zu bestimmen. Durch die Anwendung eines modifizierten Rekonstruktionsfilters in dem Quellenbild können Artefakte, die durch das Resampling eines gefilterten Quellenbilds verursacht werden, verringert werden.
Ein Aspekt der vorliegenden Erfindung ist ein Prozess zum Erhalten eines Pixelwerts in einem Zielbild, das durch nicht-gleichmäßige Skalierung erzeugt wird. Es wird ein Rekonstruktionsfilter gewählt und ein Einheitskreis bestimmt, der in einem Pixel in einem Zielbild zentriert ist. An dem Einheitskreis wird eine durch die nichtgleichmäßige Skalierung bestimmte affine Transformationsfunktion ausgeführt, um wenigstens zwei orthogonale Achsen in einem Quellenbild zu definieren. Es wird eine lineare Transformation zwischen einem Einheitskreis in dem Quellenbildraum und den orthogonalen Achsen bestimmt. Daraufhin wird die lineare Transformation auf das Rekonstruktionsfilter angewendet. Daraufhin werden diejenigen Pixel aus dem Quellenbildraum identifiziert, die in dem modifizierten Rekonstruktionsfilter enthalten sind. Aus den Pixeln, die in dem Träger des ausgewählten Rekonstruktionsfilters enthalten sind, wird ein Wert für ein Pixel in einem Zielbild bestimmt.
Weitere Aspekte der vorliegenden Erfindung umfassen ein Computersystem, das diesen Prozess implementiert, sowie weitere Systeme und Prozesse, die unten und in den beigefügten Ansprüchen dargestellt sind.
KURZBESCHREIBUNG DER ZEICHNUNG
In der Zeichnung ist
1 ein Blockschaltplan eines Systems zur Verarbeitung der nichtgleichmäßigen Skalierung von Bildern gemäß einer Ausführungsform der vorliegenden Erfindung;
2 ein Blockschaltplan eines Universalcomputers, der für eine Ausführungsform der Erfindung geeignet ist;
3 ein Funktionsdiagramm des Prozesses einer Ausführungsform der vorliegenden Erfindung;
4 ein Ablaufplan des Prozesses einer Ausführungsform der vorliegenden Erfindung; und
5 ein Blockschaltplan eines Systems zur Verarbeitung der nichtgleichmäßigen Skalierung von Bildern gemäß einer Ausführungsform der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung wird umfassender verständlich durch die folgende ausführliche Beschreibung, die in Verbindung mit der beigefügten Zeichnung gelesen werden sollte, in der gleiche Bezugszeichen ähnliche Strukturen bezeichnen.
Die vorliegende Erfindung nähert einen idealen Resampling-Prozess unter Verwendung eines Rekonstruktionsfilters an, das durch eine lineare Transformation modifiziert worden ist. Das modifizierte Rekonstruktionsfilter wird in dem Quellenbild angewendet, um Werte für Pixel in dem Zielbild zu bestimmen. Durch Anwendung eines modifizierten Rekonstruktionsfilters in dem Quellenbild können Artefakte, die durch das Resampling eines gefilterten Quellenbilds verursacht werden, verringert werden.
Dieser Prozess wird nun allgemein in Verbindung mit 1 und nachfolgend ausführlicher in Verbindung mit den 3, 4 und 5 beschrieben. Das Spezialeffekt-Hilfsmittelmodul 125 erzeugt einen Effekt, der die nicht-gleichmäßige Skalierung umfasst. Um solche Effekte zu definieren, können verschiedene Hilfsmittel verwendet werden. Die Effektdaten 130 können zur zukünftigen Verwendung gespeichert oder an den Filtermodifizierer 105 gesendet werden. Der Filtermodifizierer 105 empfängt ein ausgewähltes Filter 120, ein ausgewähltes Pixel 115 in einem Zielbild sowie Daten 130, die den Effekt angeben, der auf ein Zielbild 110 anzuwenden ist. Der Filtermodifizierer 105 modifiziert das ausgewählte Filter 120 gemäß einer durch den Effekt 130 definierten Beziehung zwischen dem ausgewählten Pixel 115 und einem Punkt in dem Zielbild 110, um ein transformiertes Filter 135 zu erzeugen. Das Filteranwendungsmodul 140 wendet das modifizierte Filter 135 auf das Quellenbild 110 an, um einen Pixelwert 145 in dem Zielbild zu erhalten. Der Pixelwert 145 wird an eine Render-Vorrichtung 150 ausgegeben, um das Zielbild anzuzeigen.
Die vorliegende Erfindung kann unter Verwendung eines Universalcomputers implementiert werden, der in der Weise programmiert ist, dass er durch nichtgleichmäßige Skalierung eines Quellenbilds ein Zielbild mit verringerten Artefakten erzeugt. Ein beispielhaftes Computersystem ist in 2 gezeigt. Insbesondere enthält die Vorrichtung, wie in 2 gezeigt ist, einen Universalcomputer 20 mit einem Prozessor 22, einer Eingabevorrichtung 24, einer Ausgabevorrichtung 26 und einem Speicher 28, die über einen Computerbus 30 miteinander verbunden sind. Der Speicher 28 umfasst einen primären Speicher 32 (d. h. einen schnellen flüchtigen Speicher wie etwa einen dynamischen Halbleiterspeicher) und einen sekundären Speicher 34 (d. h. einen nicht flüchtigen Speicher wie etwa Magnetplatten). Der Speicher 28 speichert eines oder mehrere Programme 36, die, wenn sie von dem Prozessor 22 ausgeführt werden, eine Transformation von einem Quellenbild in ein Zielbild ausführen. Die Eingabevorrichtung 24 empfängt Befehle von einem Graphikeditor und die Ausgabevorrichtung 26 zeigt die Ergebnisse des transformierten Bildes in dem Graphikeditor an. Die Ergebnisse des transformierten Bildes können zur zukünftigen Verwendung im Speicher 28 gespeichert werden.
Selbstverständlich können mit dem Computer 20 eine oder mehrere Ausgabevorrichtungen verbunden sein. Beispielhafte Ausgabevorrichtungen 26 umfassen verschiedene Abbildungsvorrichtungen einschließlich einer Katodenstrahlröhren-Anzeige (CRT-Anzeige), einer Flüssigkristallanzeige (LCD), Druckern und Kommunikationsvorrichtungen wie etwa einem Modem. Mit dem Computersystem können eine oder mehrere Eingabevorrichtungen 24 verbunden sein. Beispielhafte Eingabevorrichtungen umfassen eine Tastatur, ein Tastenfeld, einen Trackball, eine Maus, einen Stift und ein Tablett, eine Kommunikationsvorrichtung und einen Scanner. Selbstverständlich ist die Erfindung nicht auf die in Verbindung mit dem Computersystem 20 verwendeten oder hier beschriebenen besonderen Eingabeoder Ausgabevorrichtungen beschränkt. Außerdem ist die Endung nicht auf eine besondere Computerplattform, auf einen besonderen Prozessor oder auf eine besondere höhere Programmiersprache beschränkt. Außerdem kann das Computersystem 20 ein Mehrprozessorcomputersystem sein oder mehrere Computer umfassen, die über ein Computernetz verbunden sind.
Anhand von 3 wird nun ein allgemeines Beispiel beschrieben, das die Prinzipien eines Prozesses gemäß der vorliegenden Erfindung zeigt. In diesem Prozess wird ein Pixelwert in einem Zielbild 205 gemäß einer nicht-gleichmäßigen Skalierung eines Quellenbilds 210 bestimmt. Die nicht-gleichmäßige Skalierung kann irgendeine Verformung des Quellenbilds umfassen. Diese Skalierung kann zur Veredlung der Graphik entweder in Standbildern, z. B. in einem hochwertigen Poster, oder in bewegten Bildern, z. B. in Videospielen, Filmen usw., verwendet werden und zweidimensionale oder dreidimensionale Spezialeffekte umfassen. Die dreidimensionalen Effekte können eine beliebige Verformung eines Quellen bilds durch Abbildung eines zweidimensionalen Quellenbilds in ein weiteres zweidimensionales Bild umfassen. Insbesondere kann dies eine beliebige Verformung durch Abbildung auf eine dreidimensionale Oberfläche vor einer orthographischen oder perspektivischen Projektion umfassen. Die unter Verwendung der nichtgleichmäßigen Skalierung eine Bildes anzuwendenden zweidimensionalen Spezialeffekte können Kugel-, Kräuselungs-, Wirbel-, Umblätter-, Verzerrungs-, Taumel-, Fahnenwellen- oder Einschnüreffekte oder irgendeine Verformung, die durch eine Funktion von einer Ebene in eine andere bestimmt ist, umfassen.
In 3 kann sowohl das Zielbild 205 als auch das Quellenbild 210 als Menge von Abtastwerten in einer zweidimensionalen Ebene betrachtet werden, die Punkte oder Pixel genannt werden, wobei jeder Abtastwert Koordinaten in einer Ebene und einen Wert, der seine Farbe angibt, besitzt. Selbstverständlich kann die Erfindung auch auf Schwarz-Weiß-Bilder angewendet werden. Das Zielbild 205 und das Quellenbild 210 können eine beliebige Gestalt und Größe haben. Ein Punkt 225 in dem Quellenbild 210 kann gemäß der auf das Quellenbild 210 anzuwendenden Verformung zu dem Wert eines Punktes, z. B. 215 oder 230, in dem Zielbild 205 beitragen.
Für irgendeine beliebige Verformung des Quellenbilds 210 kann eine affine Transformation definiert werden, die einen Punkt 230 in dem Zielbild 205 in einen Punkt 225 in dem Quellenbild 210 abbildet. Ähnlich bildet diese affine Transformation einen Einheitskreis 235, der um den Punkt 230 zentriert ist, in dem Zielbild in eine Ellipse 260 in dem Quellenbild 210 ab. Die Länge und die Richtung der orthogonalen Achsen der Ellipse 260 können unter Verwendung dieser affinen Transformation bestimmt werden. Wenn die Länge einer der Achsen größer als zwei Einheiten ist, besagt die auf die Quelle anzuwendende Verformung, dass die Tiefpassfilterung in Richtung dieser Achse stattfinden sollte. Falls die Länge der Achse kleiner als zwei ist, sollte keine Tiefpassfilterung in Richtung dieser Achse stattfinden, wobei angenommen werden kann, dass die Länge dieser Achse, wie bei 220 gezeigt ist, eins ist. Eine Einheit ist der Abstand zwischen zwei benachbarten Pixeln in dem Quellenbild 210. Ausgehend von der Länge und von der Richtung der orthogonalen Achsen R₁ und R₂ der Ellipse 220 wird eine lineare Transformation bestimmt, die einen zu der Ellipse 220 konzentrischen Einheitskreis 240 in die Ellipse 220 abbildet. Ein gewünschtes Rekonstruktionsfilter 245, z. B. ein bilineares oder bikubisches Filter, das ebenfalls mit dem Einheitskreis 240 konzentrisch ist, wird gemäß dieser linearen Transformation modifiziert.
Dieses modifizierte Rekonstruktionsfilter ist bei 250 dargestellt. Die Pixel 255 des Quellenbilds 210, die in das modifizierte Rekonstruktionsfilter 250 fallen, werden verwendet, um einen Pixelwert für den Punkt 230 im Zielbild 205 zu bestimmen.
In Verbindung mit 4 wird nun eine Ausführungsform des oben in Verbindung mit 3 beschriebenen Prozesses ausführlicher beschrieben. Dieser Prozess beginnt in Schritt 305 mit der Auswahl eines Spezialeffekts, der die nichtgleichmäßige Skalierung oder die beliebige Verformung eines Bildes betrifft, das in einen Computer 20 (2) eingegeben werden kann. Der Spezialeffekt kann ein zweidimensionaler oder ein dreidimensionaler Effekt sein wie etwa die obenbeschriebenen, der zur Transformation eines Quellenbilds 210 in ein Zielbild 205 verwendet wird. Die vorgegebenen Spezialeffekte können im Speicher 28 (2) gespeichert sei und gemäß einer Anwendereingabe in den Computer 20 (2) ausgewählt werden. Die beispielhaften beliebigen Verformungsfunktionen umfassen die Abbildung eines zweidimensionalen Quellenbilds in eine dreidimensionale Oberfläche wie etwa bei der Texturabbildung und daraufhin die Projektion der Oberfläche als ein zweidimensionales Zielbild. Eine weitere Art einer beliebigen Verformungsfunktion ist eine inverse perspektivische Transformation in den dreidimensionalen Raum vor einer Abbildung zurück in den zweidimensionalen Raum. Weitere Funktionen, die ein Bild nicht-gleichmäßig skalieren, können ebenfalls verwendet werden.
In Schritt 310 wird ein Rekonstruktionsfilter gewählt. Das Filter kann aus vorgegebenen Funktionen ausgewählt werden, die im Speicher 28 gespeichert sind und ebenfalls durch den Anwender auswählbare Parameter besitzen können. Beispielhafte Rekonstruktionsfilter umfassen bilineare Filter, bikubische Filter und Boxfilter. In dem in 3 gezeigten Beispiel ist das Rekonstruktionsfilter ein bilineares Filter.
Daraufhin wird während der Schritte 315 bis 350, die nun beschrieben werden, ein Wert für ein Pixel in dem Zielbild 205 bestimmt. In Schritt 315 wird ein Punkt 230 in dem Zielbild 205 ausgewählt. Der Punkt kann das Zentrum eines Pixels in dem Zielbild sein oder kann ein beliebiger Punkt in dem Zielbildraum sein, der seinerseits verwendet wird, um den Wert eines besonderen Pixels zu berechnen. Die Koordinaten des ausgewählten Punktes 230 werden verwendet, um eine affine Transformation zu definieren, die einen Einheitskreis 235, der um den ausgewählten Punkt 230 zentriert ist, in eine Ellipse 260 in dem Zielbild abbildet. Diese affine Transformation nähert lokal und stellt das Inverse der beliebigen Verformungsfunktion dar, die den in Schritt 305 ausgewählten Spezialeffekt implementiert.
In einer Ausführungsform wird die affine Funktion durch Koordinatenfunktionen u_A(x, y) und v_A(x, y) dargestellt, die einen Punkt (x, y) in dem Zielbild in einen Punkt (u, v) in dem Quellenbildraum abbilden. Unter der Annahme, dass u_A(x, y), v_A(x, y) bei (x₀, y₀), im Punkt 230, partielle Ableitungen besitzen, ist die affine Transformation, die die beliebige differenzierbare Funktion von (x, y) auf (u, v) darstellt:

ist hier die partielle Ableitung von u(x, y) nach x; und
ist diese partielle Ableitung, berechnet bei (x₀, y₀), was zu einem Zahlenwert führt.
In Schritt 320 wird die Ellipse 260 in dem Quellenbild 210 definiert, indem unter Verwendung der affinen Transformation die Länge und die Richtung ihrer orthogonalen Achsen berechnet werden. Ausgehend von einer beliebigen Verformung vom Quellenbildraum in den Zielbildraum, einem Punkt (x₀, y₀) in dem Zielbildraum und einer lokalen inversen Verformung mit den Koordinatenfunktionen u(x, y), v(x, y) können die Achsenrichtungen (u₁, v₁), (u₂, v₂) und die Beträge R₁, R₂ für die Ellipse 220 berechnet werden, die das Bild des Einheitskreises 235 mit dem Zentrum bei (x₀, y₀), im Punkt 230, unter der inversen Verformung ist.
Die Funktionen u(x, y), v(x, y) können wohldefinierte partielle Ableitungen bei (x₀, y₀) besitzen, die wie folgt zur Definition von Werten a, b, c, d verwendet werden können:
Falls a = b = c = d = 0 ist, gilt R₁ = R₂ = 0 sowie (u₁, v₁) = (1, 0), (u₂, v₂) = (0, 1). Andernfalls gilt, falls ad – bc = 0 ist,
Da eines von a, b, c, d von null verschieden ist, ist entweder a² + b² oder c² + d² von null verschieden. Falls a² + b² von null verschieden ist, gilt
Falls c² + d² von Null verschieden ist, gilt
Ansonsten werden die Achsen wie folgt berechnet:
Falls λ = 0 ist, gilt
(Gl. 16) und
, (u₁, v₁) = (1, 0), (u₂, v₂) = (0, 1) (Gl. 17). Andernfalls wird der folgende Wert berechnet:
damit ist R
und
Nachdem durch die Bestimmung von F₁, R₂, (u₁, v₁) und (u₂, v₂) die Ellipse 260 definiert ist, wird die Ellipse 260 in Schritt 325 entlang ihrer Achsen gedehnt, um die Achsen wenigstens zu zwei Einheitslängen zu machen und die gedehnte Ellipse 220 zu erzeugen. Insbesondere dann, wenn entweder R₁ oder R₂ einen Wert kleiner als 1 hat, wird sein Wert auf 1 gesetzt. Die Achsen der Ellipse 220 haben dann in den durch die Vektoren (u₁, v₁) und (u₂, v₂) definierten Richtungen eine Länge von 2R₁ bzw. 2R₂, wobei R₁ und R₂ die halben Längen der ersten bzw. der zweiten orthogonalen Achse der Ellipse 220 sind. Somit sind die Achsen der Ellipse durch die Vektoren (R₁u₁, R₁v₁) und (R₂u₂, R₂v₂) definiert.
Nachfolgend wird in Schritt 330 eine lineare Transformation von einem zur Ellipse 220 konzentrischen Einheitskreis 240 in die Ellipse 220 bestimmt. Die einfachste lineare Transformation von dem Einheitskreis 240 in die Ellipse 220 bildet die Einheitsvektoren (1, 0) und (0, 1) auf die Vektoren (R₁u₁, R₁v₁) bzw. (R₂u₂, R₂v₂) ab und besitzt die folgenden Koordinatenfunktionen u'(u, v), v'(u, v): u'(u, v) = R1u1u + R2u2v (Gl. 23) v'(u, v) = R1u1u + R2u2v (Gl. 24)wobei u und v die Koordinaten in dem Quellenbild sind und wobei (u, v) = (0, 0) der Ursprung der Ellipse 220 ist. Die affine Transformation, die zur Erzeugung der Ellipse 220 verwendet wird, kann in irgendeine Transformation zwischen dem Einheitskreis 240 und der Ellipse 220 eine Dreh- oder Versatz- bzw. Schrägkomponente einführen. Die in den Gleichungen 23 und 24 gezeigte lineare Transformation besitzt eine Drehkomponente, aber keine Versatz- bzw. Schrägkomponente.
Außerdem kann eine lineare Transformation definiert werden, die sowohl die Versatz- bzw. Schrägkomponente als auch die Drehkomponente entfernt. Ein Beispiel einer solchen linearen Transformation bildet unter Verwendung der folgenden Koordinatenfunktionen: u'(u, v) = ((R1u1v2 – R2u2v2)u – (R1 – R2)u1u2v)/(u1v2 – v1u2) (Gl. 25) v'(u, v) = ((R1 – R2)v1v2u – (R1u2v1 – R2u1v2)v)/(u1v2 – v1u2) (Gl. 26)(u₁, v₁) auf (R₁u₁, R₁v₁) sowie (u₂, v₂) auf (R₂u₂, R₂v₂) ab. Diese Transformationen behandeln das Zentrum der Ellipse 220 als den Ursprung in dem Quellenbildraum. Eine Übersetzung in die tatsächlichen Koordinaten kann dadurch ausgeführt werden, dass zu den Gleichungen 25 und 26 oder zu der Anwendung ihrer Inversen in den Schritten 340 bis 345 unten zusätzliche Versätze addiert werden.
Nachfolgend wird in Schritt 335 dadurch, dass ein Filter definiert wird, das zuerst das Inverse der linearen Transformation auf die Koordinaten eines Punktes abbildet und daraufhin diese Punkte mit dem ursprünglichen ausgewählten Rekonstruktionsfilter 245 filtert, das ausgewählte um den Ursprung 225 zentrierte Rekonstruktionsfilter 245 mit dem Zentrum modifiziert, um ein neues Rekonstruktionsfilter 250 mit dem Zentrum um den Ursprung 225 zu erhalten. Es wird angemerkt, dass das modifizierte Filter und das ursprüngliche Filter gleich sein können, wenn die lineare Transformation eine Einheitstransformation ist, was die Verarbeitung der unten beschriebenen Schritte 340 und 345 vereinfacht. Wenn die Größe des ausgewählten Rekonstruktionsfilters, wenn es um den Einheitskreis 240 zentriert ist, den Bereich des Einheitskreises enthält, enthält das modifizierte Rekonstruktionsfilter wie gezeigt die gesamte Ellipse 220. Allerdings kann das ausgewählte Rekonstruktionsfilter 245 wie etwa ein Boxfilter mit einem Radius von einhalb in dem Einheitskreis 240 enthalten sein. Da das Filter 245 in diesem Fall kleiner als der Einheitskreis 240 ist, ist das modifizierte Filter 250 kleiner als die Ellipse 220.
In Schritt 340 werden diejenigen Pixel 255 in dem Quellenbild 210 identifiziert, die in dem durch das modifizierte Rekonstruktionsfilter 250 definierten Bereich enthalten sind. Dieser Trägerbereich des Rekonstruktionsfilters enthält alle Pixel, bei denen das Filter von Null verschieden ist. Um die Pixel zu identifizieren, deren Zentren in dem Träger des transformierten Filters 250 enthalten sind, können mehrere Prozesse verwendet werden. In einer Ausführungsform wird eine rechteckige begrenzende Box definiert, die den Träger des modifizierten Filters enthält. Diese begrenzende Box kann dadurch definiert werden, dass die in Schritt 330 bestimmte lineare Transformation auf die Koordinaten der vier Ecken des Filters angewendet wird. Für jedes Pixel in dem Quellenbild mit einem Zentrum in der begrenzenden Box wird das Inverse der Gleichungen 25 und 26 auf seine Koordinaten angewendet, um transformierte Koordinaten in dem Quellenbildraum zu erhalten. Falls die transformierten Koordinaten des Pixels innerhalb des Trägers des ursprünglichen unmodifizierten Filters in dem Quellenbildraum liegen, befindet sich das Pixel in dem Träger des modifizierten Filters.
In einer weiteren Ausführungsform werden lediglich diese Pixel mit Zentren in dem Träger des modifizierten Filters identifiziert, wobei der Träger durch ein Polygon definiert ist. Daraufhin kann eine Standard-Polygon-Rastertechnik wie etwa die Verwendung des Bresenham-Linienzugalgorithmus entlang der Seiten des Polygons verwendet werden. Daraufhin werden diejenigen Pixel identifiziert, die zwischen den linken und den rechten Linien liegen, wobei auf die Koordinaten jedes Pixels das Inverse der linearen Transformation der Gleichungen 25 und 26 angewendet wird, um transformierte Koordinaten in dem Quellenbildraum zu erhalten. Falls die transformierten Koordinaten des Pixels innerhalb des Trägers des ursprünglichen unmodifizierten Filters in dem Quellenbildraum liegen, liegt das Pixel innerhalb des Trägers des modifizierten Filters.
Daraufhin werden die Werte wie etwa die Farbe und die Intensität der in dem Träger des modifizierten Rekonstruktionsfilters 250 enthaltenen Pixel 255 in Schritt 345 verwendet, um für das ausgewählte Pixel 230 im Zielbild 205 einen Pixelwert zu bestimmen. In einer Ausführungsform wird der Farbwert jedes Pixels in dem Träger des Rekonstruktionsfilters durch einen entsprechenden Wert von dem ursprünglichen unmodifizierten Filter skaliert. Diese skalierten Werte werden Bemittelt, um einen Farbwert für das ausgewählte Pixel 230 in dem Zielbild zu liefern.
Falls der Wert für jedes Pixel im Zielbild 205, wie in Schritt 350 bestimmt wird, berechnet worden ist, wird der Prozess abgeschlossen und das Zielbild 205 in Schritt 355 gerendert. Andernfalls wird ein nächstes Pixel ausgewählt und der Prozess mit Schritt 315 wie oben beschrieben fortgesetzt.
5 zeigt ein entsprechendes System, das die durch den Ablaufplan aus 4 beschriebene Ausführungsform implementiert, und zeigt ausführlicher eine Ausführungsform des Systems aus 1. Dieses System kann unter Verwendung einer höheren Computerprogrammiersprache in einem Computersystem wie etwa in dem oben in 2 beschriebenen implementiert werden. In diesem System empfängt ein Modul 415 zur Auswahl der affinen Transformation, typischerweise über eine graphische Anwenderschnittstelle, eine Anwendereingabe 405. Die Anwendereingabe 405 umfasst eine Angabe eines gewünschten zu erreichenden Spezialeffekts, der eine nicht-gleichmäßige Skalierung oder eine beliebige Verformung ausführt. Ausgehend von einem spezifizierten Spezialeffekt 405 wird eine affine Transformation 420 erzeugt oder ausgelesen, die die beliebige Verformung des Spezialeffekts darstellt und annähert. Wie eine solche affine Transformation erzeugt wird, ist im Gebiet wohlbekannt. Die affine Transformation 420 kann im Speicher gespeichert werden.
Die Ellipsendefinitionseinrichtung 430 empfängt eine Angabe eines in dem Zielbild identifizierten Punktes 425 und ein Quellenbild 410 und verwendet die affine Transformation 420, um in dem Quellenbild 410 eine Ellipse zu definieren, die einem um den Punkt 425 definierten transformierten Einheitskreis entspricht. Wie oben beschrieben wurde, wird die Ellipse in der Weise definiert, dass sie Achsen mit wenigstens zwei Längeneinheiten besitzt. Durch die Ellipsendefinitionseinrichtung 430 wird eine Angabe des Zentrums 435 der definierten Ellipse und der Länge und der Richtung ihrer orthogonalen Achsen an die Transformationseinheit 445 ausgegeben. Die Transformationseinheit 445 definiert eine lineare Transformation zwischen einem Einheitskreis 440 in dem Quellenbild um das definierte Zentrum der Ellipse 435 und der Ellipse. Eine solche lineare Transformation ist oben beschrieben. Die zum Skalieren des Einheitskreises 440 erforderliche lineare Transformation 450 kann zur späteren Verwendung im Speicher gespeichert werden.
Ein wie obenbeschriebenes Rekonstruktionsfilter 455 wird zusammen mit einer Angabe der linearen Transformation 450 in eine Filtertransformationseinheit 460 eingegeben. Wie oben in Schritt 335 aus 4 beschrieben worden ist, gibt die Einheit 460 ein modifiziertes Filter 465 aus. Das modifizierte Filter kann im Speicher gespeichert und auf weitere Quellenbilder angewendet werden. Die Identifizierungseinheit 470 bestimmt, welche Pixel in dem Quellenbild in dem Bereich oder Träger des modifizierten Filters 465 enthalten sind. Wie oben in Bezug auf den Schritt 340 aus 4 diskutiert worden ist, kann die Identifizierungseinheit 470 verschiedene Verfahren verwenden, um zu bestimmen, welche Pixel in dem Träger des modifizierten Filters enthalten sind. Die Werte derjenigen Pixel 475 in dem Quellenbild, die in dem Träger des Filters 465 enthalten sind, werden im Speicher gespeichert. Eine Recheneinheit 480 empfängt die Pixelwerte 475, um den Wert eines Punktes in einem Zielbild zu bestimmen. Die Recheneinheit kann irgendeine einer Vielzahl von Funktionen verwenden, um diese Bestimmung vorzunehmen. Beispielsweise können die Werte für die Pixel in dem Träger des Filters gefiltert und daraufhin gemittelt werden, um den Pixelwert für das Zielbild 485 zu bestimmen. Eine Anzeigevorrichtung 490 zeigt das nicht-gleichmäßig skalierte Bild an.
Der Prozess und die Vorrichtung der vorliegenden Erfindung können auf das Resampling eines Bildes mit drei oder mehr Dimensionen angewendet werden. In solchen Anwendungen ist ein Einheitskreis 240 (3) in dem Quellenbild 210 eine N-dimensionale Kugel, während eine Ellipse 220 in dem Quellenbild 210 ein N-dimensionales Ellipsoid ist. Das Quellenbild wie etwa das Bild 210 kann ein dreidimensionales Bild sein, das volumetrische Daten enthält, wie etwa die, die für die medizinische Bildererzeugung oder für Wetteranwendungen verwendet werden. Außerdem kann das Quellenbild 210 ein vierdimensionales Bild sein, das beispielsweise ein dreidimensionales Bild enthält, das sich mit der Zeit ändert. Außerdem kann das Quellenbild in irgendeiner Dimension ein einzelnes Bild oder eine Sequenz von Bildern sein.
Eine weitere Ausführungsform der vorliegenden Erfindung umfasst die Optimierung des in 3 gezeigten Resampling-Prozesses. Da die nicht-gleichmäßige Skalierung des Quellenbilds durch eine beliebige Funktion ausgeführt wird, können die Ellipsenberechnungen für jedes Pixel des Zielbilds für einige Anwendungen zu zeitaufwendig und aufwendig sein. Somit kann der wie in den 3 und 4 gezeigte Prozess optimiert werden, um die beliebige Skalierung unter Verwendung eines stückweisen Zugangs anzunähern. Anstatt ein einzelnes Pixel zu identifizieren, können in dieser Ausführungsform mehrere Dreiecke in dem Zielbild definiert werden. Jedes Dreieck stellt eine Zusammenstellung von Punkten in dem Zielbild dar. Daraufhin werden die Scheitel jedes Dreiecks verwendet, um die nicht-gleichmäßige Skalierungsfunktion von dem Zielbild in das Quellenbild zu bestimmen. Um eine Ellipse in einem Quellenbild zu definieren, wird eine affine Transformation ausgeführt, die die nicht-gleichmäßige Skalierungsfunktion jedes Scheitels und somit anhand jedes Scheitels eine affine Transformation an jedem einzelnen Dreieck darstellt. Die affine Transformation stellt die nicht-gleichmäßige Skalierungsfunktion des Quellenbilds dar, wobei die Ellipsenberechnungen einmal pro Dreieck ausgeführt und somit auf mehrere Pixel gleichzeitig angewendet werden. Daraufhin wird die lineare Transformation, die ausgeführt wird, um einen um einen Mittelpunkt einer Ellipse zentrierten Einheitskreis in die Ellipse zu transformieren, auf das Rekonstruktionsfilter angewendet.
Nachdem nun einige Ausführungsformen der Erfindung beschrieben worden sind, ist für den Fachmann auf dem Gebiet klar, dass das Vorstehende lediglich erläuternd und nicht einschränkend ist und lediglich beispielhaft dargestellt wurde. Zahlreiche Abwandlungen und weitere Ausführungsformen liegen im Umfang eines Durchschnittsfachmanns und sollen in den Umfang der Erfindung fallen, wie er durch die beigefügten Ansprüche und Entsprechungen dazu definiert ist.

Claims

Computerimplementierter Prozess zur Erzeugung eines nicht-gleichmäßig transformierten Zielbildes, das die Schritte enthält, wonach: eine affine Transformation eines Quellenbilds basierend auf einer nicht-gleichmäßigen Transformation bestimmt wird; Achsen in dem Quellenbild werden gemäß der affinen Transformation definiert; eine lineare Transformation wird von einem Bereich in dem Quellenbild zu den Achsen berechnet, wobei die lineare Transformation einer nicht-gleichmäßigen Transformation entspricht und die Gestalt eines Bereichs in dem Zielbild darstellt, das durch eine Transformation fransformiert wird, die gemäß dem Inversen der nicht-gleichmäßigen Transformation definiert ist; ein Rekonstruktionsfilter wird in dem Quellenbild gemäß der linearen Transformation modifiziert; Pixel des Quellenbilds, die in einem Träger des modifizierten Rekonstruktionsfilters enthalten sind, werden identifiziert; der Wert eines Punktes in dem Zielbild wird basierend auf dem Wert eines jeden identifizierten Pixel in dem Quellenbild berechnet.
Computerimplementierter Prozess nach Anspruch 1, der weiter ein Anzeigen des nichtgleichmäßig transformierten Zielbildes umfasst.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Rekonstruktionsfilter quadrilateral ist.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Bereich in dem Quellenbild ein Einheitskreis ist.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Bereich in dem Zielbild ein Einheitskreis ist.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Identifizierungsschritt weiter folgendes enthält: eine rechteckige begrenzende Box wird erzeugt, die den Träger des modifizierten Filters enthält; eine inverse Transformation wird auf Koordination eines jeden Pixels angewendet, wobei ein Zentrum innerhalb der begrenzenden Box ist; und es wird bestimmt, ob die Koordinaten in dem Träger des unmodifizierten Rekonstruktionsfilters enthalten sind.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem wenigstens zwei Achsen gemäß der affinen Transformation definiert sind.
Computerimplementierter Prozess nach Anspruch 7, bei welchem die wenigsten zwei Achsen wenigstens zwei Einheitslängen sind, wobei jede Einheit gleich einem Abstand zwischen zwei benachbarten Pixeln ist.
Computerimplementierter Prozess nach Anspruch 7 oder 8, bei welchem der Bereich um die Mitte der wenigsten zwei Achsen zentriert ist.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, wobei die Achsen, die gemäß der affinen Transformation definiert sind, orthogonal sind.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, wobei die Achsen, die gemäß der affinen Transformation definiert sind, Eigenvektoren sind.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, wobei die Berechnung des Werts eines Punkts in dem Zielbildschritt enthält: ein Farbwert eines jeden identifizieren Pixels des Quellenbildes wird mit dem Wert von dem unmodifizierten ausgewählten Rekonstruktionsfilter multipliziert; ein gewichteter Mittelwert der Pixelwerte der identifizierten Pixel des Quellenbilds wird bestimmt.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Identifizierungsschritt weiter enthält: Pixel werden bestimmt, deren Zentren in dem Träger des modifizierten Konstruktionsfilters sind, indem der Träger des transformierten Filters als ein Polygon behandelt wird; und eine Polygon-Raster-Technik wird verwendet.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem die Berechnung eines linearen Transformationsschrittes für eine Vielzahl von Pixeln durchgeführt wird.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Schritt der Bestimmung einer affinen Transformation für eine Vielzahl von Pixeln durchgeführt wird.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Schritt der Berechnung einer linearen Transformation die Annäherung der nichtgleichmäßigen Transformation zur Implementierung zweidimensionaler Spezialeffekte durch eine Funktion enthält.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Schritt der Bestimmung einer affinen Transformation eine Annäherung der nichtgleichförmigen Transformation zur Implementierung zweidimensionaler Spezialeffekte durch eine Funktion enthält.
Computerimplementierter Prozess nach einem der Ansprüche 1 bis 15, bei welchem der Schritt der Berechnung einer linearen Transformation eine Annäherung der nicht gleichmäßigen Transformation zur Implementierung dreidimensionaler Effekte durch eine Funktion enthält.
Computerimplementierter Prozess nach einem der Ansprüche 1 bis 15 oder Anspruch 18, bei welchem die Bestimmung eines Schrittes einer affinen Transformation eine Annäherung der nicht-gleichmäßigen Transformation zur Implementierung dreidimensionaler Effekte durch eine Funktion enthält.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Schritt der Berechnung einer linearen Transformation eine Entfernung einer Versatz- bzw. Schrägkomponente enthält.
Computerimplementierter Prozess nach einem der Ansprüche 1 bis 19, bei welchem der Schritt der Berechnung einer linearen Transformation die Entfernung einer Versatzbzw. Schräg- und einer Drehkomponente enthält.
Computerimplementierter Prozess nach einem vorhergehenden Anspruch, bei welchem der Schritt der Bestimmung einer affinen Transformation vor der Durchführung einer perspektivischen Projektion ist.
Computersystem zur Erzeugung einer Darstellung eines nicht gleichmäßig transformierten Quellenbildes, das einen Prozessor und einen Speicher enthält, der mit dem Prozessor verbunden ist, um ein Programm zu speichern, das, wenn es von dem Prozessor ausgeführt wird, die Schritte durchführt, wonach: ein Quellenbild, ein gewünschter Spezialeffekt und ein Rekonstruktionsfilter empfangen wird; Achsen in dem Quellenbild gemäß einer affmen Transformation eines Quellenbilds basierend auf einer nicht-gleichmäßigen Transformation definiert werden; eine lineare Transformation von einem Bereich in dem Quellenbild zu den Achsen berechnet wird, wobei die lineare Transformation einer nicht-gleichmäßigen Transformation entspricht und die Gestalt eines Bereichs in dem Zielbereich darstellt, der von einer Transformation transformiert wird, die gemäß der Inversen der nichtgleichmäßigen Transformation definiert ist; der Rekonstruktionsfilter wird basierend auf der Anwendung des gewünschten Spezialeffekts auf das Quellenbild modifiziert; Pixel in dem Quellenbild, die in einem Träger des modifizierten Rekonstruktionsfilters enthalten sind, werden identifiziert; der Wert eines Pixels in einem Ziel wird basierend auf den identifizierten Pixeln bestimmt; und das Zielbild wird gerendert bzw. aufbereitet.
Computersystem, wie in Anspruch 23 beansprucht, bei welchem das Quellenbild ein einzelnes Bild ist.
Computersystem, wie in Anspruch 23 beansprucht, bei welchem das Quellenbild eine Sequenz von Bildern ist.
Computersystem, wie in einem der Ansprüche 23 bis 25 beansprucht, bei welchem der modifizierte Rekonstruktionsfilter nicht wenigsten entweder eine Versatz- bzw. Schrägoder eine Drehkomponente enthält.
Computersystem, wie in einem der Ansprüche 23 bis 25 beansprucht, bei welchem der Spezialeffekt zweidimensionale oder höherdimensionale Effekte enthält.
Computersystem, wie in einem der Ansprüche 23 bis 27 beansprucht, bei welchem der Rekonstruktionsfilter ein quadrilateraler ist.
Computersystem, wie in einem der Ansprüche 23 bis 28 beansprucht, bei welchem der Identifizierungsschritt weiter enthält: eine rechteckige begrenzende Box wird erzeugt, die den Träger des modifizierten Filters enthält; eine inverse Transformation wird auf Koordinaten eines jeden Pixels angewendet, der ein Zentrum innerhalb der begrenzenden Box hat; und es wird bestimmt, ob die Koordinaten in dem Träger des unmodifizierten Rekonstruktionsfilters enthalten sind.
Computerprogramm oder Computerprogrammprodukt, das Instruktionen umfasst, um die Schritte des computerimplementierten Prozesses eines der Ansprüche 1 bis 22 durchzuführen.