-
Die Erfindung betrifft ein Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop, wobei mindestens eine CCD-Aufnahme A mit mindestens einer weiteren Bildinformation B überlagert wird.
-
Verfahren zur Überlagerung optischer Informationen im Bereich der Scan-Mikroskopie sind aus der Praxis bekannt. Dabei werden häufig CCD-Aufnahmen mit einer weiteren Bildinformation überlagert. Als weitere Bildinformation dient hierbei häufig eine Scan-Aufnahme. Durch eine derartige Überlagerung lassen sich zusätzliche Informationen hinsichtlich der zu untersuchenden Probe gewinnen, die über die Informationen hinausgehen, die eine einzelne CCD-Aufnahme und beispielsweise eine Scan-Aufnahme für sich gesehen liefern können. Man kann hier beispielsweise Potentiale in einzelnen Zellen darstellen. Dabei kann die üblicherweise farbige CCD-Aufnahme mit einer Aufnahme oder Bildinformation überlagert werden, die lediglich eine Hell-Dunkel-Information liefert. Die Überlagerung einer CCD-Aufnahme mit einer weiteren Bildinformation kann zu einer höheren Auflösung in der Bilddarstellung gegenüber einzelnen Aufnahmen führen. Letztendlich wird die durch eine CCD-Aufnahme erhaltene Information durch eine Überlagerung mit mindestens einer weiteren Bildinformation vermehrt.
-
Bei bisher bekannten Verfahren zur Überlagerung optischer Informationen ist es üblich, eine Überlagerung manuell oder durch aufwendige Justierung durchzuführen, um eine Deckungsgleichheit der überlagerten optischen Informationen zu erreichen. Dies ist äußerst zeitintensiv, so dass kein hoher Probendurchsatz pro Scan-Mikroskop erreichbar ist.
-
Insbesondere bei der Überlagerung einer CCD-Aufnahme mit einer Scan-Aufnahme treten systembedingte Unterschiede und Verschiebungen der Aufnahmen in Bezug auf Lage, Rotation und Größe der Bilder auf, die bei der Überlagerung durch manuelle Bearbeitung oder durch aufwendige Justierung kompensiert werden müssen, um eine Deckungsgleichheit der Aufnahmen zu erreichen.
-
Aus der
WO 96/20421 A1 ist bereits ein Verfahren zur Überlagerung optischer Informationen bei einem Mikroskop 82 bekannt, wobei mindestens eine CCD-Aufnahme 80 mit mindestens einer weiteren Bildinformation 94 überlagert wird, siehe die Überlagerungseinrichtung 95. Dabei wird eine Transformationsmatrix 99 bestimmt, welche die Überlagerung der optischen Informationen der mindestens einen CCD-Aufnahme und der mindestens einen Bildinformation ermöglicht. Siehe hierzu die
1,
2 und
4 mit der zugehörigen Beschreibung.
-
Des Weiteren ist aus der JP H11- 231 223 A ein Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop bekannt. Dieses Dokument zeigt jedoch keine Bestimmung einer Transformationsmatrix, welche die Überlagerung der optischen Informationen mindestens einer CCD-Aufnahme und mindestens einer Bildinformation ermöglicht. Des Weiteren zeigt dieses Dokument auch nicht die Bildung einer Transformationsmatrix T, die zur Berücksichtigung jeweils unabhängiger Einflussgrößen durch Multiplikation einzelner Matrizen gebildet ist.
-
Der vorliegenden Erfindung liegt nunmehr die Aufgabe zugrunde, ein Verfahren zur Überlagerung optischer Informationen der eingangs genannten Art anzugeben, wonach eine sichere Überlagerung der optischen Informationen unter Berücksichtigung unabhängiger Einflussgrößen auf besonders einfache und übersichtliche Weise erfolgt.
-
Erfindungsgemäß wird die voranstehende Aufgabe durch ein Verfahren zur Überlagerung optischer Informationen mit den Merkmalen des Patentanspruches 1 gelöst. Danach ist ein Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop angegeben, wobei mindestens eine CCD-Aufnahme A mit mindestens einer weiteren Bildinformation B überlagert wird, wobei eine Transformationsmatrix T bestimmt wird, welche die Überlagerung der optischen Informationen der mindestens einen CCD-Aufnahme A und der mindestens einen Bildinformation B ermöglicht, wobei die Transformationsmatrix T zur Berücksichtigung jeweils unabhängiger Einflussgrößen durch Multiplikation einzelner Matrizen gebildet ist, so dass T=T1*T2*..., und wobei mindestens eine Matrix T1, T2, ... nichtlineare Abweichungen aufgrund nicht perfekter Galvanometer-Bewegungen berücksichtigt.
-
Eine Überlagerung optischer Informationen bei einem Scan-Mikroskop erfolgt nicht zwangsläufig manuell oder mittels einer aufwendigen Justierung. Es ist eine Transformationsmatrix T bestimmbar, welche die Überlagerung der optischen Informationen der mindestens einen CCD-Aufnahme A und der mindestens einen Bildinformation B ermöglicht. Hierdurch kann eine Überlagerung von Bildinformationen erfolgen, die auf unterschiedliche Art und Weise gewonnen werden. Mit dem Verfahren ist zum einen ein Verfahren angegeben, das eine sichere Überlagerung der optischen Informationen ohne Fehler durch Bediener bei einer manuellen Überlagerung ermöglicht. Zum anderen ist durch die Überlagerung mittels der Transformationsmatrix T eine wesentlich schnellere Überlagerung der optischen Informationen quasi automatisiert möglich.
-
Zur Berücksichtigung der Einflussgrößen ist die Transformations-Matrix T durch Multiplikation einzelner Matrizen gebildet, so dass T=T1*T2*.... Hierbei können die jeweils unabhängigen Einflussgrößen durch einzelnen Matrizen T1, T2, ... ausgedrückt und kompensiert werden. Des Weiteren berücksichtigt mindestens eine Matrix T1, T2, ... nichtlineare Abweichungen aufgrund nicht perfekter Galvanometer-Bewegungen. Letztlich könnte jede beliebige Einflussgröße durch eine der Matrizen T1, T2, ... berücksichtigt werden.
-
Mit dem Verfahren ist eine sichere Überlagerung der optischen Informationen und ein hoher Probendurchsatz gewährleistet.
-
Im Konkreten könnte die mindestens eine Bildinformation B logische Daten oder Informationen aufweisen. Derartige Daten oder Informationen können auf einfache Weise mit einer CCD-Aufnahme überlagert werden.
-
Je nach Erfordernis könnte die mindestens eine Bildinformation B über mindestens einen logischen Kanal aufgenommen werden. Hinsichtlich der Anzahl an Kanälen ist auf den jeweiligen Anwendungsfall abzustellen.
-
Bei einer weiteren Anwendung könnte die mindestens eine Bildinformation B eine Scan-Aufnahme oder eine konfokale Scan-Aufnahme sein. Bei Überlagerung mit einer CCD-Aufnahme lässt sich dabei die durch die CCD-Aufnahme gewonnene Information mit der durch die Scan-Aufnahme gewonnenen Information quasi verknüpfen.
-
Im Konkreten könnte die Bildinformation B in die CCD-Aufnahme A durch eine oder mehrere Matrix-Multiplikationen A=T*B überführt werden. Alternativ hierzu könnte die CCD-Aufnahme A in die Bildinformation B durch eine oder mehrere Matrix-Multiplikationen B=T*A überführt werden. Bei der Wahl der Überführungsrichtung zwischen der Bildinformation B und der CCD-Aufnahme A ist auf den jeweiligen Anwendungsfall abzustellen.
-
Beispielsweise bei der Überlagerung einer CCD-Aufnahme mit einer Scan-Aufnahme sind unterschiedliche Einflussgrößen zu berücksichtigen, die eine korrekte Überlagerung zunächst verhindern. Dabei können die Aufnahmen hinsichtlich ihrer Rotation differieren. Des Weiteren könnten die jeweiligen Bildmittelpunkte nicht mit dem jeweils anderen Bildmittelpunkt übereinstimmen. Des Weiteren können unterschiedliche Aufnahmetechniken unterschiedliche Vergrößerungen der jeweiligen Aufnahmen relativ zueinander mit sich bringen. Schließlich können auch noch nichtlineare Abweichungen aufgrund nichtperfekter Galvanometer-Bewegungen beim Scan-Mikroskop auftreten.
-
Im Konkreten könnten die einzelnen Matrizen T1, T2, ... jeweils Unterschiede der mindestens einen CCD-Aufnahme A und der mindestens einen Bildinformation B hinsichtlich der Rotation und/oder der Bildvergrößerung und/oder der Zentrierung berücksichtigen.
-
Im Hinblick auf eine besonders einfache Berechnung der Transformationsmatrix T könnte die Transformationsmatrix T mittels mathematischer Modelle unter Zugrundelegung einer Referenzstruktur berechnet werden. Mit anderen Worten könnte die Matrix durch die Lösung unterschiedlicher mathematischer Modelle berechnet werden. Bei der Berechnung könnte ein Koordinatentransfer erfolgen.
-
Alternativ könnte die Transformationsmatrix T mittels einer Korrelationsbildung berechnet werden. Dabei könnte die mindestens eine Bildinformation B im Rahmen der Berechnung, die mittels der Korrelationsbildung erfolgt, gefaltet werden. Die Korrelationsbildung könnte als Modell für den Informations- oder Datentransfer dienen.
-
Bei einer besonders komfortablen Ausgestaltung des erfindungsgemäßen Verfahrens könnte mindestens ein Überlagerungsparameter angegeben werden. Ein derartiger Überlagerungsparameter könnte beispielsweise die Rotation der zu überlagernden optischen Informationen gegeneinander oder Vergrößerungsfaktoren oder Verschiebungen umfassen.
-
Zur Gewährleistung einer qualitativ möglichst hochwertigen Überlagerung der optischen Informationen könnte die Scan-Mikroskop-Anordnung unter Berücksichtigung der Überlagerungsparameter justiert werden. Je nach gewünschter Überlagerung von Bildinformationen wäre hierdurch eine individuelle Justierung der Scan-Mikroskop-Anordnung realisierbar.
-
Die Justierung der Scan-Mikroskop-Anordnung könnte im Konkreten eine Drehung und/oder eine Größenanpassung und/oder eine Verschiebung und/oder eine Zentrierung umfassen. In diesem Zusammenhang sind auch andere Arten der Justierung denkbar.
-
Je nach zu überlagernden Aufnahmen kann es vorkommen, dass eine vollständige Überlagerung oder Überlappung der Aufnahmen nicht realisierbar ist. Dabei liegen ein Schnittbereich der zu überlagernden Aufnahmen und meist mehrere Bereiche vor, die nicht überlappen oder nicht überlagerbar sind. Der entstandene Schnittbereich weist dabei meist nicht die üblicherweise gewünschte rechteckige oder quadratische Form eines Bildes auf. Zur Bereitstellung einer derartigen gewünschten rechteckigen oder quadratischen Form des überlagerten Bildes könnte in vorteilhafter Weise die optische Information in nicht überlappenden oder in nicht überlagerbaren Bereichen der mindestens einen CCD-Aufnahme A und der mindestens einen weiteren Bildinformation B um eine sogenannte „Null“-Information ergänzt werden. Im Ergebnis ist hierdurch eine quadratische oder rechteckige oder wie auch immer geartete Bildform erreichbar.
-
Bei einer alternativen Überlappungs-Anpassung könnte entweder die mindestens eine CCD-Aufnahme A oder die mindestens eine weitere Bildinformation B zur Realisierung einer maximalen Überlappung verkleinert werden. Mit anderen Worten wird die jeweilige CCD-Aufnahme A oder Bildinformation B soweit verkleinert bis sie von der Bildinformation B oder der CCD-Aufnahme A vollständig überdeckt wird. In diesem Fall könnte dann als Überlappungs-Bildfläche die vollständige Größe und Form der verkleinerten CCD-Aufnahme A bzw. der verkleinerten Bildinformation B verwendet werden.
-
Die oben genannte Justierung der Scan-Mikroskop-Anordnung und/oder die oben genannte Ergänzung um eine „Null“-Information und/oder die oben genannte Verkleinerung der mindestens einen CCD-Aufnahme A oder der mindestens einen weiteren Bildinformation B könnte in besonders komfortabler Weise online erfolgen. Hierdurch ist ein äußerst flexibles Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop bereitgestellt.
-
Im Rahmen des erfindungsgemäßen Verfahrens kann grundsätzlich mit mehreren Aufnahmekanälen gearbeitet werden. Dies betrifft sowohl die CCD-Aufnahme A als auch die Aufnahme der weiteren Bildinformation B. Im Konkreten könnte des Weiteren mit mehreren CCD-Aufnahmeeinrichtungen an einem Scan-Mikroskop gearbeitet werden. Bei der Wahl der Anzahl der Aufnahmekanäle und/oder der CCD-Aufnahmeeinrichtungen ist auf den jeweiligen Anwendungsfall oder auf die jeweils zu untersuchende Probe abzustellen.
-
Bei dem erfindungsgemäßen Verfahren könnte die CCD-Aufnahme A als Referenzbild verwendet werden. Die weitere Bildinformationen B, die von einem Kanal einer konfokalen Scan-Einrichtung erzeugt werden könnte, kann dann in die CCD-Aufnahme A überführt werden, indem Matrix-Multiplikationen T durchgeführt werden, welche Unterschiede und Einflussgrößen berücksichtigen, die aufgrund unterschiedlicher Aufnahmetechniken auftreten können. Dabei kann ein GleichungsSystem aufgestellt werden, das der Bedingung A=T*B genügt, wobei T das Produkt von einzelnen Matrizen ist, welche die jeweils unabhängigen Einflussgrößen und Unterschiede berücksichtigen.
-
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die nachgeordneten Ansprüche, andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels des erfindungsgemäßen Verfahrens anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels des erfindungsgemäßen Verfahrens anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigen
- 1 in einer schematischen Darstellung einen Messaufbau zur Durchführung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 2 in einer schematischen Darstellung eine CCD-Aufnahme A mit einer zu überlagernden Bildinformation B,
- 3 in einer schematischen Darstellung die CCD-Aufnahme A und die Bildinformation B aus 2, wobei die zur Überlagerung durchzuführende Multiplikationsanweisung mittels Einzelmatrizen T dargestellt ist,
- 4 in einer schematischen Darstellung die CCD-Aufnahme A aus 2 und die Bildinformationen B, die bereits mit einer Matrix zur Zentrierung des Bildes multipliziert ist,
- 5 in einer schematischen Darstellung die CCD-Aufnahme A aus 2 und die Bildinformationen B, wobei die Bildinformation B mit einer Matrix zur Zentrierung des Bilds und einer Matrix zur Drehung des Bilds multipliziert ist, und
- 6 in einer schematischen Darstellung die CCD-Aufnahme A aus 2 mit der Bildinformation B, die zusätzlich mit einer zur Größenanpassung dienenden Matrix multipliziert ist.
-
1 zeigt in einer schematischen Darstellung einen Messaufbau zur Durchführung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zur Überlagerung optischer Informationen bei einem Scan-Mikroskop. Dabei wird eine CCD-Aufnahme A mit einer Bildinformation B überlagert, die durch eine mittels eines Scanners erzeugte Scan-Aufnahme gebildet ist. Die Überlagerung der Abbildungen der Probe erfolgt in einer zentralen Verarbeitungseinheit CPU. Im Hinblick auf eine sichere Überlagerung der optischen Informationen und im Hinblick auf einen hohen Probendurchsatz wird bei dem Verfahren eine Transformationsmatrix T bestimmt, welche die Überlagerung der optischen Informationen der CCD-Aufnahme A und der Bildinformation B ermöglicht.
-
2 zeigt in einer schematischen Darstellung eine CCD-Aufnahme A sowie eine zu überlagernde Bildinformation B.
-
Die 3 bis 6 zeigen jeweils die CCD-Aufnahme A und die Bildinformation B, wobei in 3 die durchzuführende Gesamt-Matrixmultiplikation durch einzelne Matrizen T schematisch dargestellt ist. Die Einzelmatrizen T dienen zur Anpassung der Vergrößerung, der Drehposition und der Zentrierung der beiden Bilder oder Bildinformationen A und B. Entsprechend sind die Einzelmatrizen durch T-zoom, T_rot und T - cm dargestellt. Dabei steht „zoom“ für eine Vergrößerung oder Verkleinerung, „rot“ für Rotation oder Drehung und „cm“ für die Zentrierung im Sinne von „center of mass“. Die Transformationsmatrix T wird durch diese Einzelmatrizen gebildet.
-
Die 4 bis 6 zeigen nun sukzessive den Fortschritt der Überlagerung durch Multiplikation des Bilds B mit jeweils einer weiteren Einzelmatrix, die jeweils unterhalb des Bilds B vermerkt ist. Folglich ist das Bild B in 4 durch Multiplikation mit der Einzelmatrix T_cm bezüglich der CCD-Aufnahme A zentriert. In 5 ist das Bild B zusätzlich in Übereinstimmung mit der CCD-Aufnahme A hinsichtlich der Drehposition oder Rotation justiert, wobei hierzu zusätzlich die Multiplikation mit der Einzelmatrix T_rot unter dem Bild B vermerkt ist. In 6 ist nunmehr die vollständige Überlagerung erreicht, wobei hier zusätzlich noch eine Multiplikation mit der Einzelmatrix T_zoom durchgeführt ist. Entsprechend sind sämtliche Einzelmatrizen unter dem Bild B vermerkt.
-
Zusätzlich könnte beispielsweise noch eine Multiplikation mit einer Einzelmatrix T_nonlin erfolgen, wobei hier nichtlineare Abweichungen durch nichtperfekte Galvanometer-Bewegungen berücksichtigt werden könnten.
-
Hinsichtlich weiterer vorteilhafter Ausgestaltungen des erfindungsgemäßen Verfahrens wird zur Vermeidung von Wiederholungen auf den allgemeinen Teil der Beschreibung sowie auf die beigefügten Patentansprüche verwiesen.
