DE102004046237A1

DE102004046237A1 - Verfahren und System für die gemischte rigide Registrierung von medizinischen 2D/3D-Bildern

Info

Publication number: DE102004046237A1
Application number: DE102004046237A
Authority: DE
Inventors: Chenyang Xu; Xiaolei Huang; Frank Sauer; Christophe Chefd'hotel; Jens Guehring; Sebastian Vogt; Yiyong Sun
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2003-09-22
Filing date: 2004-09-22
Publication date: 2005-07-14
Also published as: US7409108B2; US20050094898A1

Abstract

Das Verfahren zum Ausrichten eines Paars von Bildern mit (101) einem ersten Bild und einem zweiten Bild, wobei die Bilder eine Mehrzahl von Intensitäten entsprechend einem Bereich von Punkten in einem D-dimensionalen Raum aufweisen, umfasst das Identifizieren (102) von Merkmalspunkten auf beiden Bildern unter Verwendung derselben Kriterien, das Berechnen (103) eines Merkmalsvektors für jeden Merkmalspunkt, das Messen einer Merkmalsverschiedenheit (104) für jedes Paar von Merkmalsvektoren, wobei ein erster Merkmalsvektor eines jeden Paars mit einem ersten Merkmalspunkt auf dem ersten Bild verknüpft ist und ein zweiter Merkmalsvektor eines jeden Paars mit einem zweiten Merkmalspunkt auf dem zweiten Bild verknüpft ist. Eine Übereinstimmungszuordnung (105) für jedes Paar von Merkmalspunkten wird bestimmt unter Verwendung der Merkmalsverschiedenheit, die mit jedem Paar von Merkmalspunkten verknüpft ist, und eine Bildtransformation (106) wird definiert, um das zweite Bild mit dem ersten Bild auszurichten unter Verwendung eines Paars oder mehrerer Paare von Merkmalspunkten, die am wenigsten verschieden sind.

Description

Querverweis auf zugehörige US-Anmeldungen
Diese Anmeldung nimmt die Priorität der vorläufigen Patentanmeldung Nr. 60/504,873 von Xu et al., eingereicht am 22. September 2003 mit dem Titel "Ein gemischtes rigides Registrierungsverfahren für medizinische 2D/3D-Bilder" in Anspruch, deren Inhalte durch den Querverweis in dieser Anmeldung einbezogen sind.

Hintergrund der Erfindung

Bildregistrierung dient dazu, ein Bild räumlich mit einem anderen auszurichten. Zu diesem Zweck müssen Parameter eines globalen Transformationsmodells, etwa rigide, affine oder projektive, zurückgewonnen werden, um ein Bild, das bewegt wird (im Folgenden "sich bewegendes Bild" genannt), geometrisch umzuwandeln, um eine hohe räumliche Übereinstimmung mit einem ortsfesten Bild zu erhalten. Das Problem wurde aufgrund seiner Signifikanz in einem großen Bereich von Gebieten, einschließlich der Verschmelzung, Fernerkundung, Wiedererkennung, Verfolgung, Mosaikbildung usw. in verschiedenen Zusammenhängen studiert.

Die rigide Registrierung von medizinischen 2D/3D-Bildern ist eine wesentliche Komponente einer großen Anzahl von Registrierungs- und Verschmelzungsanwendungen. Im Bereich der Diagnose, Behandlungsplanung, Auswertung von Operationsvorgängen und radiotherapeutischen Verfahren, werden typischerweise mehrere Einfachmodalitäts- oder Mehrfachmodalitätsbilder in der klinischen Abfolge von Vorgängen erlangt. Da sich diese Bilder gegenseitig ergänzen, ist oftmals die zusammenführende Integration von hilfreichen Daten von getrennten Bildern gewünscht. Die rigide Registrierung, ein erster Schritt in diesem Integrationsprozess, dient dazu, die mehreren Bilder räumlich zueinander auszurichten.

Existierende Verfahren zur Bildregistrierung können grob in drei Klassen eingeteilt werden: merkmalbasierte Verfahren, intensitätsbasierte Verfahren und gemischte Verfahren, die die beiden vorherigen umfassen. Merkmalbasierte Verfahren verwenden dünne geometrische Merkmale wie Punkte, Kurven und/oder Oberflächenstellen sowie deren eindeutige Übereinstimmung, um eine optimale Transformation zu berechnen. Diese Verfahren sind relativ schnell. Die Hauptkritikpunkte derartiger Verfahren in der Literatur sind jedoch die Robustheit der Merkmalsextrahierung, die Genauigkeit der Merkmalsübereinstimmungen und die häufig notwendige Interaktion des Nutzers. Intensitätsbasierte Registrierungsverfahren arbeiten direkt mit den Intensitätswerten aus dem Vollbildinhalt ohne vorherige Merkmalsextrahierung. Diesen Verfahren wurde in den letzten Jahren verstärkte Aufmerksamkeit gewidmet, da sie vollautomatisch durchgeführt werden können und für Mehrfachmodalitätsbild-Matching unter Verwendung von geeigneten Ähnlichkeitsmaßen verwendet werden können. Diese Verfahren neigen jedoch aufgrund der Notwendigkeit der Optimierung auf komplexe, nicht-konvexe Energiefunktionen dazu, hohe Computerkosten mit sich zu bringen. Sie erfordern außerdem, dass die Stellungen von zwei Eingangsbildern eng genug aneinander liegen, um zu einem lokalen Optimum zu konvergieren. Außerdem liefern sie oft schlechte Ergebnisse, wenn ein teilweises Matching erforderlich ist.

Vor kurzem wurden mehrere gemischte Verfahren vorgeschlagen, die die Vorzüge der merkmalbasierten und der intensitätsbasierten Verfahren vereinigen. Die meisten konzentrieren sich darauf, vom Nutzer gelieferte oder automatisch extrahierte geometrische Merkmalsbedingungen in die intensitätsbasierten Energiefunktionen einzugliedern, um eine sanftere und schnellere Optimierung zu erlangen. Typischerweise sind sie flexibler und derart ausgestaltet, dass entweder Intensitätsinfor mationen (Grauwerte, Gradienten) in einen merkmalbasierten Algorithmus eingearbeitet sind oder Merkmalsinformationen (Punkte, Oberflächen) in einen hinsichtlich der Pixel/Voxel intensitätsbasierten Algorithmus eingeführt werden. Die gemischten Verfahren sollten sich als effizienter und robuster als die rein auf Merkmalen oder Intensitäten basierten Verfahren erweisen.

Zusammenfassung der Erfindung

Ein gemischtes rigides Registrierungsverfahren verwendet extrahierte Merkmale und Merkmalsübereinstimmungen. Das Verfahren soll ein schnelles (Echtzeit), robustes und funktionierendes Registrierungssystem schaffen, das in praktischen Anwendungen auf einer normalen Basis verwendet werden kann. Während der Registrierung werden gute, hervorstechende anatomische Merkmale anders als andere Pixel/Voxel behandelt. Sie werden in den anfänglichen Iterationen verwendet und es wird ihnen eine deutlich höhere Gewichtung gegeben. Beim expliziten Suchen nach hervorstechenden anatomischen Merkmalsübereinstimmungen und Verwendung der Übereinstimmungen zum Berechnen einer Transformation wird ein Registrierungsergebnis geliefert, das ein ausreichendes Plausibiltätsmaß besitzt.

Unter einem Gesichtspunkt der Erfindung wird ein Verfahren zum Ausrichten eines Paar von Bildern mit einem ersten Bild und einem zweiten Bild geschaffen, wobei die Bilder eine Mehrzahl von Intensitäten entsprechend einem Bereich von Punkten in einem D-dimensionalen Raum aufweisen. Das Verfahren umfasst die Schritte des Identifizierens von Merkmalspunkten auf beiden Bildern unter Verwendung der selben Kriterien, des Berechnens eines Merkmalsvektors für jeden Merkmalspunkt, des Messens einer Merkmalsverschiedenheit für jedes Paar von Merkmalsvektoren, wobei ein erster Merkmalsvektor eines jeden Paars mit einem ersten Merkmalspunkt auf dem ersten Bild verknüpft ist, und ein zweiter Merkmalsvektor eines jeden Paars mit einem zweiten Merkmalspunkt auf dem zwei ten Bild verknüpft ist, des Bestimmens einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten unter Verwendung der Merkmalsverschiedenheit, die mit jedem Paar von Merkmalspunkten verknüpft ist; und des Definierens einer Bildtransformation, um das zweite Bild mit dem ersten Bild unter Verwendung eines Paars oder mehrerer Paare von Merkmalspunkten auszurichten, die am wenigsten verschieden sind.

Unter einem weiteren Gesichtspunkt der Erfindung werden die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Messens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation über eine vorbestimmte Anzahl von Iterationen wiederholt.

Unter einem weiteren Gesichtspunkt der Erfindung werden die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Definierens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation wiederholt, bis sich das transformierte zweite Bild vom ersten Bild um einen vorbestimmten Fehler unterscheidet.

Unter einem weiteren Gesichtspunkt der Erfindung umfassen die Kriterien zum Identifizieren von Merkmalspunkten das Auswählen von Punkten, deren lokale Intensitätsvarianz ein Maximum ist.

Unter einem weiteren Gesichtspunkt der Erfindung umfassen die Kriterien zum Identifizieren von Merkmalspunkten das Auswählen von Punkten mit einer hohen lokalen Krümmung.

Unter einem weiteren Gesichtspunkt der Erfindung werden die Merkmalsvektorkomponenten aus einer Gruppe ausgewählt, die die Koordinaten des Merkmalspunkts, die mit dem Merkmalspunkt verknüpfte Intensität, die mit dem Merkmalspunkt verknüpfte lokale Krümmung, ein Histogramm von Intensitätswerten der lo kalen Nachbarschaft und Intensitätswerte der Nachbarpunkte umfasst.

Unter einem weiteren Gesichtspunkt der Erfindung kann die Verschiedenheit eines Paars von Merkmalsvektoren über eine Entfernung zwischen entsprechenden Merkmalsvektoren des Paars von Vektoren gemessen werden.

Unter einem weiteren Gesichtspunkt der Erfindung wird die Entfernung zwischen den entsprechenden Merkmalsvektoren aus einer Gruppe ausgewählt, die eine Euklidsche Entfernung, eine Mahalanobis-Entfernung, eine normalisierte Kreuzkorrelation und eine Synentropie umfasst.

Unter einem weiteren Gesichtspunkt der Erfindung beinhaltet die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten das Verknüpfen eines jeden Merkmalsvektors auf dem ersten Bild mit dem nähesten Merkmalsvektor auf dem zweiten Bild, bestimmt durch den geringsten Verschiedenheitswert zwischen dem Merkmalsvektor auf dem ersten Bild und jedem Merkmalsvektor auf dem zweiten Bild.

Unter einem weiteren Gesichtspunkt der Erfindung umfasst das Bestimmen einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten das Zuordnen einer Kante (Liniensegment), die jeden Merkmalsvektor auf dem ersten Bild mit jedem Merkmalsvektor auf dem zweiten Bild verknüpft, und das Zuordnen einer Gewichtung zu jeder Kante.

Unter einem weiteren Gesichtspunkt der Erfindung basiert die Gewichtung, die jeder Kante zugeordnet wird, auf der Verschiedenheit der beiden verknüpften Merkmalsvektoren.

Unter einem weiteren Gesichtspunkt der Erfindung umfasst das Verfahren das Anordnen der Kanten auf der Basis der Gewichtung und das Auswählen der Merkmalspunkte, die mit den Merkmalsvektorpaaren mit der höchsten Gewichtung verknüpft sind, um die Transformation zwischen dem zweiten Bild und dem ersten Bild zu definieren.

Unter einem weiteren. Gesichtspunkt der Erfindung weist das Verfahren den Schritt auf, Merkmalsbereiche von Interesse zu identifizieren, wobei ein Merkmalsbereich einen Merkmalspunkt und eine Nachbarschaft von Punkten um den Merkmalspunkt aufweist, und wobei die Verschiedenheit von zwei Merkmalsbereichen über alle entsprechenden Punkte eines Paars von Merkmalsbereichen gemessen wird.

Unter einem weiteren Gesichtspunkt der Erfindung kann ein Nutzer unter Verwendung einer Nutzerschnittstelle einen Merkmalspunkt hinzufügen, einen Merkmalspunkt entfernen, eine Übereinstimmung hinzufügen und eine Übereinstimmung entfernen.

Unter einem weiteren Gesichtspunkt der Erfindung ist die Intensität entsprechend einem jeden Bildpunkt auf jedem Bild ein Farbintensitätsvektor.

Unter einem weiteren Gesichtspunkt der Erfindung weist der Farbintensitätsvektor rote, grüne und blaue Intensitätswerte auf.

Unter einem weiteren Gesichtspunkt der Erfindung kann die Bildtransformation durch ein Verfahren der kleinsten Quadrate definiert werden.

Unter einem weiteren Gesichtspunkt der Erfindung wird eine Programmspeichervorrichtung geschaffen, die von einem Computer ausgelesen werden kann, und die ein Programm von Instruktionen materiell verkörpert, das durch den Computer ausführbar ist, um die Verfahrensschritte zum Transformieren eines ersten Bilds von einem Paar von Bildern in ein zweites Bild des Paars durchzuführen.

Kurze Beschreibung der Zeichnungen
1 zeigt ein Ablaufdiagramm für das gemischte rigide Registrierungssystem; und
2 zeigt ein beispielhaftes Computersystem zur Implementierung einer bevorzugten Ausführungsform der Erfindung.
Detaillierte Beschreibung von bevorzugten Ausführungsformen
Die hier offenbarten gemischten Registrierungsverfahren liefern einen allgemeinen, flexiblen Rahmen, in dem ein effizienter Algorithmus für die Registrierung in verschiedenen Anwendungen entwickelt werden kann. 1 zeigt ein Ablaufdiagramm, das die Schritte eines bevorzugten schnellen, gemischten Registrierungsalgorithmus darstellt. Obwohl die hier offenbarten gemischten Registrierungsverfahren unter Verwendung eines 2D-Bilds als Beispiel beschrieben werden, können sie auch unmittelbar auf das Matching von Merkmalspunkten in 3D-Bildern oder höher dimensionalen Bildern angewendet werden.
Als ein erster Schritt 101 wird ein ortsfestes Bild und ein sich bewegendes Bild bereitgestellt, und bei Schritt 102 werden Merkmalspunkte auf den zwei Bildern detektiert. Die Merkmalspunkte auf dem ortsfesten Bild und dem sich bewegenden Bild sollten unter Verwendung des selben hervorstechenden Merkmalskriteriums identifiziert werden. Das Merkmalsauswahlkriterium kann darauf ausgerichtet sein, Merkmale zu bevorzugen, die in beiden Bildern vorhanden sind, und Merkmale, die relativ einzigartig sind. Ein mögliches Merkmal beinhaltet die Maximalpunkte der Varianz der örtlichen Grauwerte (Intensität). Als Beispiel sei ein 2D-Bild genommen, dessen Gebiet ein rechteckiges Gitter ist. Für jedes Pixel betrachtet man die Intensität sowie die Abweichung der Pixelintensitäten von benachbarten Pixeln bezüglich des betrachteten Pixels. Für ein 2D-Bild sind beispielhafte Nachbarschaften 3 × 3 oder 5 × 5 Pixel, obwohl auch größere Nachbarschaften im Bereich der Erfindung liegen. In einem 3D-Bild könnte man Nachbarschaften von 3 × 3 × 3 Pixel, 5 × 5 × 5 Pixel etc. um das jeweils betrachtete Pixel in Betracht ziehen. Auf ähnliche Weise kann man Nachbarschaften für höher dimensionale Bilder definieren. Ein Pixel, dessen Intensität eine große Varianz bezüglich der Intensität seiner benachbarten Pixel zeigt, befindet sich an einem lokalen Intensitätsmaximum (oder -minimum). Ein solches Pixel wird wahrscheinlich ein hervorstechender Merkmalspunkt auf dem Bild sein. Ein anderes mögliches Merkmal sind lokale Punkte hoher Krümmung. Da die Krümmung das Änderungsverhältnis der Ableitung der Intensitätswerte ist und die Berechnung von zweiten Ableitungen für jedes Pixel erfordert, muss man Nachbarschaften von wenigstens 5 × 5 in 2D, 5 × 5 × 5 in 3D etc. betrachten. Ein Pixel, dessen Intensität eine sehr hohe Krümmung bezüglich seiner Nachbarn aufweist, ist wiederum ein wahrscheinlicher Kandidat für ein hervorstechendes Merkmal. Ein extremer Fall eines Pixels mit einer hohen Krümmung ist ein Pixel, dessen Intensität ein Eckpunkt ist.
Ein medizinisches digitales 2D-Bild kann bis zu 512 × 512 oder mehr, oder nahezu 250 × 103 Pixel besitzen. Durch das Auswählen von hervorstechenden Merkmalspunkten versucht man, die Anzahl zu betrachtender Bildpunkte um mehrere Größenordnungen zu reduzieren.
Sobald Merkmalspunkte sowohl im ortsfesten als auch im sich bewegenden Bild identifiziert sind, wird beim Schritt 103 ein Merkmalsvektor für jeden Merkmalspunkt berechnet. Die Merkmalsvektorkomponenten beinhalten genug Informationen, um ein Merkmal unterscheidungskräftig zu machen. Die Merkmalsvektorkomponenten können die Koordinaten des Pixels (x und y in 2D, x, y und z in 3D etc.) enthalten, das mit dem Pixel verbundene Intensitätsniveau oder unveränderliche geometrische Eigenschaften wie die dem Pixel zugeordnete lokale Krümmung. Informationen über die Nachbarschaft können ebenfalls eingeschlossen sein, wie zum Beispiel ein Histogramm von lokalen Intensitätswerten der Nachbarschaft oder die Intensitätswerte der benachbarten Pixel selbst. Diese Liste von Eigenschaften, die in einem Merkmalsvektor beinhaltet sein können, ist beispielhaft, und andere Eigenschaften eines Merkmalspunkts können je nach Bedarf umfasst sein. Somit ist ein Merkmalspunkt bezüglich der Anzahl der Komponenten potentiell nicht eingeschränkt, obwohl geeignete Ausführungsformen etwa zwischen 4 und 20 Komponenten besitzen. Die zusätzlichen Informationen, die mit jedem Merkmalspunkt verbunden sind, sind jedoch immer noch geringer, als wenn jedes Pixel in dem Bild bei der Ausrichtung des ortsfesten und des sich bewegenden Bilds betrachtet würde.
Der nächste Schritt ist die Bestimmung von Merkmalsübereinstimmungen zwischen Merkmalspunkten auf dem ortsfesten und dem sich derzeit bewegenden Bild. Wenn man die selbe Anzahl von Merkmalspunkten auf dem ortsfesten Bild und dem sich derzeit bewegenden Bild hat, dann besteht die Möglichkeit, dass jeder Merkmalspunkt auf dem ortsfesten Bild einem Merkmalspunkt auf dem sich derzeit bewegenden Bild entspricht und umgekehrt. Es besteht jedoch auch die Möglichkeit, dass eine gewisse Anzahl von Merkmalspunkten auf dem ortsfesten Bild in dem sich bewegenden Bild nicht auftritt, und eine gleiche Anzahl von Merkmalspunkten, die im ortsfesten Bild nicht vorhanden sind, in dem sich bewegenden Bild auftritt. Allgemeiner gesagt, wenn wir das ortsfeste Bild mit I_f und das sich bewegende Bild mit I_m bezeichnen, wobei N_f und N_m jeweils die Merkmalspunkte sind, werden N_f und N_m nicht gleich sein, und es wird Merkmalspunkte geben, die vom ortsfesten Bild verschwinden, und Merkmalspunkte, die auf dem sich bewegenden Bild wieder auftauchen.
Eine Verschiedenheit D_i,j kann bei Schritt 104 zwischen dem i-ten Merkmalspunkt P_i des Bilds I_f und dem j-ten Merkmalspunkt P_j des Bilds I_m mittels der Entfernung zwischen den entsprechenden Merkmalsvektoren V_i und V_j definiert werden. Je kleiner der Verschiedenheitswert, desto wahrscheinlicher ist die Übereinstimmung zwischen den Merkmalsvektoren V_i und V_j. Die Entfernungsmetrik für jede Komponente ist flexibel gemäß der Natur der Merkmalskomponente. Eine Möglichkeit für geometrische Komponenten des Merkmalsvektors besteht darin, die Euklidsche Entfernung zu verwenden, mit D_ij = ((V_i-V_j)(V_i-V_j)^T)^½. Eine weitere Möglichkeit, die die statistischen Eigenschaften der Merkmalsvektoren berücksichtigt, ist die Mahalanobis-Entfernung, definiert als D_ij = ((V_i-V_j)S_ij ^-1(V_i-V_j)^T)^½, wobei S_ij ^-1 die inverse Kovarianzmatrix der Merkmalsvektoren ist.
Für Intensitätskomponenten des Merkmalsvektors sind andere Verschiedenheitsmaße möglich. Zum Beispiel kann man die Verschiedenheit unter Verwendung einer normalisierten Kreuzkorrelation durch D_ij = σ(V_i, V_j)/σ(Vi)σ(V_j) definieren, wobei σ eine Varianz (oder Kovarianz) ist. Auf ähnliche Weise kann man die Synentropie der beiden Merkmalsvektoren, definiert durch D_ij = -Σp(V_i)log p(V_i) -Σp(V_j)log p (V_j) +Σp(V_i V_j)log p(V_i,V_j), wobei p(V) eine Wahrscheinlichkeitsdichte für die Merkmalsvektoren ist, p(V_i,V_j) eine gemeinsame Wahrscheinlichkeitsdichte ist und die Summen jeweils über die Komponenten der Merkmalsvektoren laufen, verwenden.
Nach der Definition einer Verschiedenheit für jedes Paar von Merkmalsvektoren kann man nun bei Schritt 105 die Übereinstimmungszuordnung zwischen Paaren von Merkmalspunkten auf dem ortsfesten Bild und dem sich bewegenden Bild bestimmen. Hierfür gibt es mehrere mögliche Verfahren. Eine Möglichkeit liegt darin, für jeden Merkmalspunkt auf dem ortsfesten Bild den entsprechenden Merkmalspunkt auf dem sich bewegenden Bild als den sich bewegenden Merkmalspunkt mit dem nähesten Merkmalsvektor, oder äquivalent hierzu, dem geringsten Verschiedenheitswert, zu definieren. Ein anderes Verfahren verwendet einen gewichteten zweiteiligen Graphmatchingalgorithmus. Bei diesem Verfahren bilden die Merkmalspunkte auf dem ortsfesten Bild den ersten Satz von Knoten des zweiteiligen Graphen, und die Merkmalspunkte des sich bewegenden Bilds bilden den zweiten Satz von Knoten. Mit einer Kante (Liniensegment), die jeden Merkmalspunkt des ortsfesten Bilds mit jedem Merkmals punkt des sich bewegenden Bilds verbindet und eine Eins-zu-eins-Zuordnung zwischen den beiden Sätzen von Merkmalspunkten bildet, kann auf der Basis des Verschiedenheitswerts jeder Kante eine Gewichtung zugeordnet werden. Eine Möglichkeit der Gewichtung der Kanten besteht darin, die Gewichtung einer Kante auf der Basis des Reziprokwerts des Verschiedenheitswerts für diese Kante durchzuführen. Bei diesem System werden zwei Merkmals-punkte, die nahe aneinander liegen, einen kleinen Verschiedenheitswert und somit eine große Gewichtung besitzen, während eine große Verschiedenheit einen entsprechend kleinen Gewichtungsfaktor mit sich bringt.
Das Zuordnen eines Gewichtungsfaktors zu jedem Paar von detektierten Übereinstimmungen hilft dabei, Merkmalszweideutigkeiten zu berücksichtigen, wie einen Merkmalspunkt des ortsfesten Bilds, der auf dem sich bewegenden Bild verschwindet, oder einen neuen Merkmalspunkt, der auf dem sich bewegenden Bild erscheint, ohne eine Übereinstimmung auf dem ortsfesten Bild zu besitzen. Beispielsweise wird ein Merkmalspunkt auf einem Bild, der keinen entsprechenden Merkmalspunkt auf dem anderen Bild besitzt, verschiedene Merkmalsvektoren besitzen, so dass eine Gewichtung auf der Basis des Verschiedenheitswerts eine geringe Größe besitzen wird. Andererseits werden Merkmalspunkte auf dem Bild, die sich gegenseitig entsprechen, ähnliche Merkmalsvektoren und somit geringe Verschiedenheitswerte und große Gewichtungsfaktoren besitzen. Somit kann der Gewichtungsfaktor einer Kante den Zuverlässigkeitswert bezüglich der Genauigkeit der Übereinstimmung widerspiegeln.
Man kann auch die jeder Übereinstimmung zugeordneten Gewichtungen verwenden, um die Übereinstimmungen nach ihrem Zuverlässigkeitswert anzuordnen. Unter Verwendung einer oder mehrerer aus den am meisten zuverlässigen Übereinstimmungen kann bei Schritt 106 eine geschlossenförmige rigide Transformation auf dem sich bewegenden Bild definiert werden, um es bei Schritt 108 in eine Übereinstimmung mit dem ortsfesten Bild zu bringen (oder umgekehrt, Transformation auf dem ortsfesten Bild, um es in eine Übereinstimmung mit dem sich bewegenden Bild zu bringen). Die Transformation kann erhalten werden, indem eine Aufgabe der kleinsten Quadrate gelöst wird.
Beispielsweise wird die Transformation auf das sich bewegende Bild angewandt. Nach der Berechnung einer Schätzung des derzeitigen transformierten Bilds kann man die Kriterien für die Einbeziehung von hervorstechenden Merkmalspunkten lockern, um mehr Merkmalspunkte hinzuzufügen. Man kann bei Schritt 210 die Schritte des Definierens von Merkmalsvektoren, des Berechnens des Verschiedenheitswerts für Merkmalspaare, des Bestimmens der Übereinstimmungen und die Neuberechnung einer derzeitigen Transformation über eine vorbestimmte Anzahl an Itarationen wiederholen, oder bis das derzeit transformierte Bild ausreichend nahe an das ortsfeste Bild herankommt. Unter Verwendung lediglich guter Merkmale zu Beginn und Hinzufügen von mehr und mehr Merkmalen nach jeder Iteration kann die Effizienz der merkmalbasierten Verfahren zusammen mit der konvergierten Genauigkeit der intensitätsbasierten Verfahren erreicht werden.
In einer anderen Abwandlung können anstelle des Auffindens von interessanten Merkmalspunkten kleine Bereiche, d.h. interessante Bildnachbarschaften, verfolgt werden, und entsprechend der Ähnlichkeitswert zwischen zwei Merkmalsbereichen definiert werden, wobei alle Pixel/Voxel in den Bereichen einfließen. Ein Verfahren zum Detektieren von Merkmalsbereichen beinhaltet das Berechnen eines lokalen Differenzial-Entropiewerts, wie in der parallelen Patentanmeldung "Verfahren und System für eine gemischte rigide Registrierung auf der Basis von gemeinsamen Entsprechungen zwischen skaleninvarianten hervorstechenden Bereichsmerkmalen" von Xu et al., die gleichzeitig mit dieser Anmeldung eingereicht wurde und das Anwaltszeichen 2003P14506US trägt.
In einer anderen Abwandlung ist das Bild ein Farbbild, wobei die mit jedem Punkt im Bild verknüpfte Intensität ein Vektor mit roten, grünen und blauen Intensitätswerten anstelle der Graustufenintensität ist. Merkmalspunkte können dann auf der Basis der Intensität einer einzelnen Farbe oder auf der Basis der Gesamtgröße des Farbenintensitätsvektors ausgewählt werden. Zudem können die Farbintensitätswerte zu den Komponenten des Merkmalsvektors aufgenommen werden.
In einer anderen Ausführungsform kann Wissen des Fachmanns einbezogen werden, indem dem Nutzer ein interaktives Editieren von Merkmalen und Übereinstimmungen ermöglicht wird. Eine Nutzerschnittstelle kann entwickelt werden, um Fachleuten zu ermöglichen, mehr anatomisch signifikante Merkmalspunkte hinzuzufügen oder schlechte automatisch detektierte Punkte zu entfernen. Experten können auch die automatisch detektierten Übereinstimmungen bearbeiten.
Es sollte klar sein, dass die vorliegende Erfindung mit verschiedenen Arten von Hardware, Software, Firmware, Abläufen für spezielle Zwecke, oder einer Kombination hiervon implementiert werden kann. In einer Ausführungsform kann die vorliegende Erfindung in einer Software als Anwendungsprogramm implementiert werden, das konkret auf einer computerlesbaren Programmspeichervorrichtung vorliegt. Das Anwendungsprogramm kann auf ein geeignetes Gerät mit einer geeigneten Architektur geladen und ausgeführt werden.
Bezugnehmend auf 2 kann gemäß einer Ausführungsform der vorliegenden Erfindung ein Computersystem 201 zum Implementieren der vorliegenden Erfindung unter anderem eine zentrale Rechnereinheit (CPU) 202, einen Speicher 203 und eine Eingangs-/Ausgangs(I/O)-Schnittstelle 204 aufweisen. Das Computersystem 201 ist im Allgemeinen über die I/O-Schnittstelle 204 mit einem Display 205 und verschiedenen Eingabegeräten 206, wie Maus und Tastatur, verbunden. Die unterstützenden Schaltungen können Schaltungen wie Cache, Stromversorgungen, Zeitnehmerschaltungen und einen Kommunikationsbus enthalten. Der Speicher 203 kann einen Schreib-Lese-Speicher (RAM), einen Lese-Speicher (ROM), ein Disklaufwerk, Kassettenlaufwerk etc. oder Kombinationen hiervon aufweisen. Die vorliegende Erfindung kann als eine Routine 207 implementiert sein, die im Speicher 203 gespeichert wird und durch die CPU 202 ausgeführt wird, um das Signal von der Signalquelle 208 zu verarbeiten. Das Computersystem 201 als solches ist ein Computersystem für übliche Zwecke, das ein Computersystem für einen speziellen Zweck wird, wenn die Routine 207 der vorliegenden Erfindung ausgeführt wird.
Das Computersystem 201 weist auch ein Betriebssystem und einen Mikrobefehlscode auf. Die verschiedenen Prozesse und Funktionen, die hier beschrieben sind, können entweder Teil des Mikroinstruktionscodes oder Teil des Anwendungsprogramms sein, das über das Betriebssystem ausgeführt wird (oder einer Kombination hiervon). Zusätzlich können verschiedene andere Peripheriegeräte mit der Computerplattform verbunden sein, wie ein zusätzliches Datenspeichergerät und ein Drucker.
Es sollte weiterhin klar sein, dass, da einige beitragende Systemkomponenten und Verfahrensschritte, die in den begleitenden Zeichnungen dargestellt sind, in Software implementiert sein können, die eigentlichen Verbindungen zwischen den Systemkomponenten (oder die Prozessschritte) abhängig von der Art und Weise, wie die Erfindung programmiert ist, verschieden sein können. Mit der Lehre der hier beschriebenen vorliegenden Erfindung kann ein Fachmann in der Lage sein, diese und ähnliche Implementierungen oder Konfigurationen der vorliegenden Erfindung in Erwägung zu ziehen.
Die besonderen Ausführungsformen, die oben beschrieben wurden, sind lediglich beispielhaft, da die Erfindung in verschiedenen äquivalenten Weisen modifiziert und durchgeführt werden kann, die einem Fachmann bei Kenntnis der hier enthaltenen Lehre offensichtlich sind. Außerdem sind keine Ein schränkungen auf die Details der hier gezeigten Konstruktion oder Ausgestaltung beabsichtigt außer denen, wie sie in den Ansprüchen beschrieben sind. Es ist deshalb klar, dass die speziellen Ausführungsformen, die oben offenbart wurden, verändert oder modifiziert werden können und alle diese Variationen in den Schutzbereich der Erfindung fallen. Dementsprechend wird der begehrte Schutz durch die beigefügten Ansprüche festgelegt.

Claims

Verfahren zum Ausrichten eines Paars von Bildern, mit folgenden Schritten: Bereitstellen eines Paars von Bildern mit einem ersten Bild und einem zweiten Bild, wobei die Bilder eine Mehrzahl von Intensitäten entsprechend einem Bereich von Punkten in einem D-dimensionalen Raum aufweisen, Identifizieren von Merkmalspunkten auf beiden Bildern unter Verwendung derselben Kriterien; Berechnen eines Merkmalsvektors für jeden Merkmalspunkt; Messen einer Merkmalsverschiedenheit für jedes Paar von Merkmalsvektoren, wobei ein erster Merkmalsvektor eines jeden Paars mit einem ersten Merkmalspunkt auf dem ersten Bild verknüpft ist, und ein zweiter Merkmalsvektor eines jeden Paars mit einem zweiten Merkmalspunkt auf dem zweiten Bild verknüpft ist; Bestimmen einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten unter Verwendung der Merkmalsverschiedenheit, die mit jedem Paar von Merkmalspunkten verknüpft ist; und Definieren einer Bildtransformation, um das zweite Bild mit dem ersten Bild auszurichten, wobei ein Paar oder mehrere Paare von Merkmalspunkten verwendet werden, die am wenigsten verschieden sind.
Verfahren nach Anspruch 1, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Messens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation über eine vorbestimmte Anzahl an Iterationen wiederholt wird.
Verfahren nach Anspruch 1, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Definierens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation wiederholt werden, bis sich das transformierte zweite Bild vom ersten Bild durch einen vorbestimmten Fehler unterscheidet.
Verfahren nach Anspruch 1, wobei die Kriterien zum Identifizieren von Merkmalspunkten das Auswählen von Punkten beinhalten, deren lokale Intensitätsvarianz ein Maximum ist.
Verfahren nach Anspruch 1, wobei die Kriterien zum Identifizieren von Merkmalspunkten das Auswählen von Punkten mit einer hohen lokalen Krümmung beinhalten.
Verfahren nach Anspruch 1, wobei die Merkmalsvektorkomponenten aus einer Gruppe ausgewählt werden, die die Koordinaten des Merkmalspunkts, die mit dem Merkmalspunkt verknüpfte Intensität, die mit dem Merkmalspunkt verknüpfte lokale Krümmung, ein Histogramm der Intensitätswerte der lokalen Nachbarschaft und Intensitätswerte der Nachbarpunkte umfasst.
Verfahren nach Anspruch 1, wobei die Verschiedenheit eines Paars von Merkmalsvektoren über eine Entfernung zwischen entsprechenden Merkmalsvektoren des Paars von Vektoren gemessen werden kann.
Verfahren nach Anspruch 7, wobei die Entfernung zwischen den entsprechenden Merkmalsvektoren aus einer Gruppe ausgewählt wird, die eine Eucliksche Entfernung, eine Mahalanobis-Entfernung, eine normalisierte Kreuzkorrelation und eine Synentropie umfasst.
Verfahren nach Anspruch 1, wobei die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten die Verknüpfung eines jeden Merkmalsvektors auf dem ersten Bild mit dem nähesten Merkmalsvektor auf dem zweiten Bild beinhaltet, bestimmt durch den geringsten Verschiedenheitswert zwischen dem Merkmalsvektor auf dem ersten Bild und jedem Merkmalsvektor auf dem zweiten Bild.
Verfahren nach Anspruch 1, wobei die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten die Zuordnung einer Kante (Liniensegment) beinhaltet, die jeden Merkmalsvektor auf dem ersten Bild mit jedem Merkmalsvektor auf dem zweiten Bild verknüpft, und das Zuordnen einer Gewichtung zu jeder Kante.
Verfahren nach Anspruch 10, wobei die Gewichtung, die jeder Kante zugeordnet wird, auf der Verschiedenheit der beiden verknüpften Merkmalsvektoren basiert.
Verfahren nach Anspruch 10, des weiteren mit den Schritten, die Kanten auf der Basis der Gewichtung anzuordnen und die Merkmalspunkte, die mit den Merkmalsvektorpaaren mit den höchsten Gewichtungen verknüpft sind, auszuwählen, um die Transformation zwischen dem zweiten Bild und dem ersten Bild zu definieren.
Verfahren nach Anspruch 1, des weiteren mit dem Schritt, die Merkmalsbereiche von Interesse zu identifizieren, wobei ein Merkmalsbereich einen Merkmalspunkt und eine Nachbarschaft von Punkten um den Merkmalspunkt aufweist, und wobei die Verschiedenheit von zwei Merkmalsbereichen über alle entsprechenden Punkte eines Paars von Merkmalsbereichen gemessen wird.
Verfahren nach Anspruch 1, des weiteren mit folgenden Schritten: Hinzufügen eines Merkmalspunkts; Entfernen eines Merkmalspunkts; Hinzufügen einer Übereinstimmung; und Entfernen einer Übereinstimmung, wobei die Schritte des Hinzufügens eines Merkmalspunkts, des Entfernens eines Merkmalspunkts, des Hinzufügens einer Übereinstimmung und des Entfernens einer Übereinstimmung durch einen Nutzer durchgeführt werden, der mit dem Verfahren über eine Nutzerschnittstelle interagiert.
Verfahren nach Anspruch 1, wobei die Intensität entsprechend jedem Bildpunkt auf jedem Bild ein Farbintensitätsvektor ist.
Verfahren nach Anspruch 15, wobei der Farbintensitätsvektor rote, grüne und blaue Intensitätswerte aufweist.
Verfahren nach Anspruch 1, wobei die Bildtransformation mittels eines Verfahrens der kleinsten Quadrate definiert werden kann.
Programmspeichervorrichtung, die von einem Computer ausgelesen werden kann, die materiell ein Programm von Instruktionen verkörpert, das durch den Computer ausführbar ist, um die Verfahrensschritte zum Transformieren eines ersten Bilds eines Paars von Bildern in ein zweites Bild des Paars durchzuführen, wobei die Bilder eine Mehrzahl von Intensitäten entsprechend einem Bereich von Punkten in einem D-dimensionalen Raum aufweisen, wobei das Verfahren folgende Schritte aufweist: Identifizieren von Merkmalspunkten auf beiden Bildern unter Verwendung der selben Kriterien; Berechnen eines Merkmalsvektors für jeden Merkmalspunkt; Messen einer Merkmalsverschiedenheit für jedes Paar von Merkmalsvektoren, wobei ein erster Merkmalsvektor eines jeden Paars mit einem ersten Merkmalspunkt auf dem ersten Bild verknüpft ist, und ein zweiter Merkmalsvektor eines jeden Paars mit einem zweiten Merkmalspunkt auf dem zweiten Bild verknüpft ist; Bestimmen einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten unter Verwendung der Merkmalsverschiedenheit, die mit jedem Paar von Merkmalspunkten verknüpft ist; und Definieren einer Bildtransformation, um das zweite Bild mit dem ersten Bild auszurichten, unter Verwendung eines Paars oder mehrerer Paare von Merkmalspunkten, die am wenigsten verschieden sind.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Messens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation über eine vorbestimmte Anzahl von Iterationen wiederholt werden.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Definierens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation wiederholt werden, bis sich das transformierte zweite Bild vom ersten Bild um einen vorbestimmten Fehler unterscheidet.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Kriterien zum Identifizieren der Merkmalspunkte das Auswählen von Punkten umfassen, deren lokale Intensitätsvarianz ein Maximum ist.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Kriterien zum Identifizieren von Merkmalspunkten das Auswählen von Punkten mit einer hohen lokalen Krümmung umfassen.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Merkmalsvektorkomponenten aus einer Gruppe ausgewählt werden, die die Koordinaten des Merkmalspunkts, die mit dem Merkmalspunkt verknüpfte Intensität, die mit dem Merkmalspunkt verknüpfte lokale Krümmung, ein Histogramm von Intensitätswerten der lokalen Nachbarschaft und Intensitätswerte der Nachbarpunkte umfasst.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Verschiedenheit eines Paars von Merkmalsvektoren über eine Entfernung zwischen den entsprechenden Merkmalsvektoren des Paars von Vektoren gemessen werden kann.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 24, wobei die Entfernung zwischen den entsprechenden Merkmalsvektoren ausgewählt wird aus der Gruppe, die eine Euklidsche Entfernung, eine Mahalanobis-Entfernung, eine normalisierte Kreuzkorrelation und eine Synentropie umfasst.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Bestimmung einer Überein stimmungszuordnung für jedes Paar von Merkmalspunkten den Schritt aufweist, jeden Merkmalsvektor auf dem ersten Bild mit dem nähesten Merkmalsvektor auf dem zweiten Bild zu verknüpfen, bestimmt durch den geringsten Verschiedenheitswert zwischen dem Merkmalsvektor auf dem ersten Bild und jedem Merkmalsvektor auf dem zweiten Bild.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten die Schritte aufweist, eine Kante (Liniensegment) zuzuordnen, die jeden Merkmalsvektor auf dem ersten Bild mit jedem Merkmalsvektor auf dem zweiten Bild verknüpft, und jeder Kante eine Gewichtung zuzuordnen.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Gewichtung, die jeder Kante zugeordnet wird, auf der Verschiedenheit der beiden verknüpften Merkmalsvektoren basiert.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 28, wobei das Verfahren weiterhin die Schritte aufweist, die Kanten auf der Basis der Gewichtung anzuordnen und die Merkmalspunkte auszuwählen, die mit Merkmalsvektorpaaren mit der höchsten Gewichtung verknüpft sind, um die Transformation zwischen dem zweiten Bild und dem ersten Bild zu definieren.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei das Verfahren weiterhin den Schritt umfasst, Merkmalsbereiche von Interesse zu identifizieren, wobei ein Merkmalsbereich einen Merkmalspunkt und eine Nachbarschaft von Punkten um den Merkmalspunkt aufweist, und wobei die Verschiedenheit von zwei Merkmalsbereichen über alle entsprechenden Punkte eines Paars von Merkmalsbereichen gemessen wird.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei das Programm von Instruktionen eine Nutzerschnittstelle aufweist, die es einem Nutzer ermöglicht, einen Merkmalspunkt hinzuzufügen, einen Merkmalspunkt zu entfernen, eine Übereinstimmung hinzuzufügen und eine Übereinstimmung zu entfernen.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Intensität entsprechend jedem Bildpunkt auf jedem Bild ein Farbintensitätsvektor ist.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei der Farbintensitätsvektor rote, grüne und blaue Intensitätswerte aufweist.
Speichervorrichtung für ein computerlesbares Programm nach Anspruch 18, wobei die Bildtransformation durch ein Verfahren der kleinsten Quadrate definiert werden kann.
Verfahren zum Ausrichten eines Paars von Bildern mit einem ersten Bild und einem zweiten Bild, wobei die Bilder eine Mehrzahl von Intensitäten entsprechend einem Bereich von Punkten in einem D-dimensionalen Raum aufweisen, wobei das Verfahren folgende Schritte aufweist: Identifizieren von Merkmalspunkten auf beiden Bildern unter Verwendung der selben Kriterien, wobei die Kriterien das Auswählen von Punkten umfassen, derer lokale Intensitätsvarianz ein Maximum ist, und das Auswählen von Punkten mit einer hohen lokalen Krümmung; Berechnen eines Merkmalsvektors für jeden Merkmalspunkt, wobei die Merkmalsvektorkomponenten aus der Gruppe ausgewählt werden, die die Koordinaten des Merkmalspunkts, die mit dem Merkmalspunkt verknüpfte Intensität, die mit dem Merkmalspunkt verknüpfte lokale Krümmung, ein Histogramm von Intensitätswerten der lokalen Nachbarschaft und Intensitätswerte von Nachbarpunkten umfasst; Messen einer Merkmalsverschiedenheit zwischen einem Paar von Merkmalsvektoren, wobei ein erster Merkmalsvektor eines jeden Paars mit einem ersten Merkmalspunkt auf dem ersten Bild verknüpft ist, und ein zweiter Merkmalsvektor eines jeden Paars mit einem zweiten Merkmalspunkt auf dem zweiten Bild verknüpft ist, wobei die Verschiedenheit über eine Entfernung zwischen den entsprechenden Merkmalsvektoren des Paars von Vektoren gemessen werden kann; Verwenden der Merkmalsverschiedenheit, um näheste Merkmalspaare zu finden, um eine Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten zu bestimmen; und Definieren einer Bildtransformation mittels eines Verfahrens der kleinsten Quadrate, um das zweite Bild mit dem ersten Bild auszurichten, unter Verwendung eines Paars oder mehrerer Paare von Merkmalspunkten, die am wenigstens verschieden sind.
Verfahren nach Anspruch 35, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Messens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation über eine vorbestimmte Anzahl von Iterationen wiederholt werden.
Verfahren nach Anspruch 35, wobei die Schritte des Identifizierens von Merkmalspunkten, des Berechnens eines Merkmalsvektors, des Definierens einer Merkmalsverschiedenheit, des Bestimmens einer Übereinstimmungszuordnung und des Definierens einer Bildtransformation wiederholt werden, bis sich das zweite transformierte Bild von dem ersten Bild um einen vorbestimmten Fehler unterscheidet.
Verfahren nach Anspruch 35, wobei die Entfernung zwischen den entsprechenden Merkmalsvektoren aus der Gruppe ausgewählt wird, die eine Euklidsche Entfernung, eine Mahalanobis-Entfernung, eine normalisierte Kreuzkorrelation und eine Synentropie umfasst.
Verfahren nach Anspruch 35, wobei die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten den Schritt aufweist, jeden Merkmalsvektor auf dem ersten Bild mit dem nähesten Merkmalsvektor auf dem zweiten Bild zu verknüpfen, bestimmt durch den kleinsten Verschiedenheitswert zwischen dem Merkmalsvektor auf dem ersten Bild und jedem Merkmalsvektor auf dem zweiten Bild.
Verfahren nach Anspruch 35, wobei die Bestimmung einer Übereinstimmungszuordnung für jedes Paar von Merkmalspunkten die Schritte umfasst, eine Kante (Liniensegment) zuzuordnen, die jeden Merkmalsvektor auf dem ersten Bild mit jedem Merkmalsvektor auf dem zweiten Bild verknüpft, und jeder Kante eine Gewichtung zuzuordnen.
Verfahren nach Anspruch 40, wobei die Gewichtung, die jeder Kante zugeordnet wird, auf der Verschiedenheit der beiden verknüpften Merkmalsvektoren basiert.
Verfahren nach Anspruch 40, des weiteren mit den Schritten, die Kanten auf der Basis der Gewichtung anzuordnen und die Merkmalspunkte auszuwählen, die mit den Merkmalsvektorpaaren mit der höchsten Gewichtung verknüpft sind, um die Transformation zwischen dem zweiten Bild und dem ersten Bild zu definieren.
Verfahren nach Anspruch 35, des weiteren mit dem Schritt, Merkmalsbereiche von Interesse zu identifizieren, wobei ein Merkmalsbereich einen Merkmalspunkt und eine Nachbarschaft von Punkten um den Merkmalspunkt aufweist, und wobei die Verschiedenheit von zwei Merkmalsbereichen über alle entsprechenden Punkte eines Paars von Merkmalsbereichen gemessen wird.
Verfahren nach Anspruch 35, des weiteren mit den Schritten: Hinzufügen eines Merkmalspunkts; Entfernen eines Merkmalspunkts; Hinzufügen einer Übereinstimmung; Entfernen einer Übereinstimmung, wobei die Schritte des Hinzufügens eines Merkmalspunkts, des Entfernens eines Merkmalspunkts, des Hinzufügens einer Übereinstimmung und des Entfernens einer Übereinstimmung durch einen Nutzer durchgeführt werden, der mit dem Verfahren mittels einer Nutzerschnittstelle interagiert.
Verfahren nach Anspruch 35, wobei die Intensität entsprechend jedem Bildpunkt auf jedem Bild ein Farbintensitätsvektor mit roten, grünen und blauen Intensitätswerten ist.