DE102020119412A1

DE102020119412A1 - Mikroskopsystem und verfahren zur klassifizierung einer wechselkomponente eines mikroskops

Info

Publication number: DE102020119412A1
Application number: DE102020119412.9A
Authority: DE
Inventors: Manuel Amthor; Daniel Haase
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2022-01-27
Also published as: CN113971431A

Abstract

Ein Verfahren zur Klassifizierung einer Wechselkomponente (9) eines Mikroskops umfasst: Erhalten eines Mikroskopbildes (20), in dem die Wechselkomponente (9) zumindest teilweise abgebildet ist; Berechnen eines Verarbeitungsbildes (30) aus dem Mikroskopbild (20); und Bildauswertung des Verarbeitungsbildes (30) zur Klassifizierung der Wechselkomponente (9). Das Berechnen des Verarbeitungsbildes (30) umfasst, dass zumindest in einem Bereich des Mikroskopbildes (20), welcher in das Verarbeitungsbild (30) überführt wird, Bildinhalte eines Objektes (11, 12, 13) oder einer Oberflächenbeschaffenheit entfernt werden. Zudem wird ein entsprechendes Mikroskopsystem beschrieben.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Mikroskopsystem und ein Verfahren zur Klassifizierung einer Wechselkomponente eines Mikroskops mittels Bildverarbeitung.
HINTERGRUND
Für eine intuitive und zumindest teilautomatisierte Bedienung eines Mikroskops ist die automatische Erkennung von Wechselkomponenten, die am Mikroskop angebracht oder aufgelegt sind, ein wichtiger Aspekt. Wechselkomponenten können beispielsweise Probenträger, Halterahmen für Probenträger oder DIC-Schieber (Schieber für Differentialinterferenzkontrast) sein. In zunehmendem Umfang erfolgt eine automatische Auswertung von Übersichtsbildern, um eine vorhandene Wechselkomponente zu identifizieren.
Ein gattungsgemäßes Mikroskopsystem weist ein Mikroskop auf, welches zumindest eine Wechselkomponente umfasst und zum Aufnehmen eines Mikroskopbildes eingerichtet ist, in dem die Wechselkomponente zumindest teilweise abgebildet ist. Eine Recheneinrichtung ist dazu eingerichtet, ein Verarbeitungsbild aus dem Mikroskopbild zu berechnen und das Verarbeitungsbild zur Klassifizierung der Wechselkomponente auszuwerten.
In entsprechender Weise umfasst ein gattungsgemäßes Verfahren zur Klassifizierung einer Wechselkomponente eines Mikroskops zumindest die folgenden Schritte: Ein Mikroskopbild wird erhalten, in welchem die Wechselkomponente zumindest teilweise abgebildet ist. Ein Verarbeitungsbild wird aus dem Mikroskopbild berechnet und es erfolgt eine Bildauswertung des Verarbeitungsbildes zur Klassifizierung der Wechselkomponente.
Das Mikroskopbild kann insbesondere von einer Übersichtskamera aufgenommen werden, so dass außer dem Bereich, in dem eine zu untersuchende Probe zu positionieren ist, auch umgebende Mikroskopkomponenten sichtbar sind, unter anderem die zu klassifizierende Wechselkomponente. Zur Verarbeitung des Mikroskopbildes werden herkömmlicherweise z.B. Kontrast- oder Helligkeitsanpassungen durchgeführt. Das hieraus resultierende Verarbeitungsbild wird nun näher ausgewertet, um die Wechselkomponente zu klassifizieren, das heißt einen Typ oder ein Modell der Wechselkomponente zu identifizieren. Dies wird beispielhaft mit Bezug auf 1 erläutert. Ein ähnliches Verfahren ist von der Anmelderin in DE 10 2017 109 698 A1 beschrieben worden.
1 zeigt schematisch den Ablauf eines herkömmlichen Verfahrens zur Klassifizierung einer Wechselkomponente 9, im dargestellten Beispiel eines Halterahmens 10. Ein Mikroskopbild 20 zeigt den Halterahmen 10 mit einer Probenaussparung 14, in welcher eine Probe bzw. ein Probenträger zu positionieren sind. Zudem sind Abschnitte der äußeren Form des Halterahmens 10 und eine Oberflächenbeschaffenheit des Halterahmens 10 erkennbar.
Die Klassifizierung des Halterahmens 10 erfolgt durch ein Klassifikations-CNN 40' (Convolutional Neural Network, faltendes neuronales Netz). Das Klassifikations-CNN 40' ist mit Hilfe von Trainingsdaten, welche verschiedene bekannte Typen an Halterahmen zeigen, trainiert worden. Dadurch ist es in der Lage, ein einzugebendes Mikroskopbild 20 dahingehend zu klassifizieren, was für ein Halterahmen 10 im Mikroskopbild 20 abgebildet ist. Das Klassifikations-CNN 40' gibt eine Ausgabe 45' aus, welche aus mehreren möglichen Typen an Halterahmen idealerweise den zutreffenden Halterahmen 10 angibt.
Im Training erlernt das Klassifikations-CNN 40' weitgehend selbstständig, welche Bildinhalte und in welcher Weise diese Bildinhalte auf einen bestimmten Typ an Halterahmen 10 hinweisen. Relevant sind hierbei insbesondere Details des Halterahmens 10, die vergrößert in den Bildausschnitten 21, 22 und 23 gezeigt sind. Hierzu gehören Beschriftungen 11, beispielsweise Herstellername, Modellnummer oder Seriennummer, Schrauben 12, Klammern und andere Objekte am Halterahmen und auch Kratzer 13 am Halterahmen 10. Beschriftungen 11 und Schrauben 12 können sich sowohl in der Anordnung als auch ihrem Erscheinungsbild zwischen verschiedenen Typen an Halterahmen unterscheiden und sind daher an sich ein geeignetes Unterscheidungsmerkmal. Allerdings können Beschriftungen 11 und Schrauben 12 vom Hersteller des Halterahmens jederzeit geändert werden, ohne dass die Funktion oder Modellbezeichnung des Halterahmens geändert würde. Das Klassifikations-CNN 40' müsste in diesen Fällen neu trainiert werden, mit Hilfe neuer Trainingsdaten, die den vom Hersteller aktualisierten Halterahmen zeigen. Ein weiteres Problem können Kratzer 13 in einem Halterahmen bewirken, insbesondere wenn die Trainingsdaten zahlreiche Bilder desselben Halterahmens umfassen. In diesem Fall lernt das Klassifikations-CNN 40' die Erkennung individueller Eigenschaften eines bestimmten Halterahmens, nämlich dessen Kratzer 13 oder Verschmutzungen. Dadurch leidet die Erkennung von Halterahmen desselben Typs, die keine oder andere Kratzer haben. Um die Probleme durch Kratzer und andere individuelle Oberflächeneigenschaften eines Halterahmens zu reduzieren, benötigt das Klassifikations-CNN 40' aus 1 eine verhältnismäßig große Menge an Trainingsdaten. Aber selbst mit umfangreichen Trainingsdaten verbleibt das Problem einer verhältnismäßig geringen Generalisierbarkeit. Unterscheidet sich ein Mikroskopbild 20 stärker von den Trainingsdaten (beispielsweise weil ein Hersteller die Anordnung der Schrauben 12 verändert hat), sinkt die Klassifikationszuverlässigkeit, mit der die Ausgabe 45' den korrekten Typ Halterahmen angibt.
Anstelle des beispielhaft in 1 gezeigten Klassifikations-CNN 40' werden auch andere Maschinenlernmodelle oder klassische Algorithmen zur Klassifikation verwendet, wobei ebenfalls Probleme in der Generalisierbarkeit oder Klassifikationszuverlässigkeit bestehen.
KURZFASSUNG
Als eine Aufgabe der Erfindung kann angesehen werden, ein Mikroskopsystem, ein Verfahren und ein Computerprogramm anzugeben, welche eine Klassifikation einer Wechselkomponente eines Mikroskops möglichst zuverlässig und einfach erlauben.
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des Anspruchs 1 und durch das Mikroskopsystem mit den Merkmalen des Anspruchs 15 gelöst.
Bei dem Verfahren der oben genannten Art umfasst das Berechnen des Verarbeitungsbildes erfindungsgemäß, dass zumindest in einem Bereich des Mikroskopbildes, welcher in das Verarbeitungsbild überführt wird, Bildinhalte eines Objektes oder einer Oberflächenbeschaffenheit entfernt werden.
In entsprechender Weise ist bei dem Mikroskopsystem die Recheneinrichtung zum Berechnen des Verarbeitungsbildes dazu eingerichtet, zumindest in einem Bereich des Mikroskopbildes, welcher in das Verarbeitungsbild überführt wird, Bildinhalte eines Objektes oder einer Oberflächenbeschaffenheit zu entfernen.
Das erfindungsgemäße Computerprogramm umfasst Befehle, die bei Ausführung durch einen Computer die Ausführung des erfindungsgemäßen Verfahrens veranlassen.
Die Bildauswertung zur Klassifizierung der Wechselkomponente erfolgt demnach nicht an Hand des Mikroskopbildes, sondern einer hieraus berechneten, wenigen komplexen Darstellung. Die Objekte, deren Bildinhalte entfernt werden, können im eingangs beschriebenen Beispiel insbesondere Schrauben und Beschriftungen an der Wechselkomponente sein oder allgemeiner prinzipiell jegliche Elemente an der Wechselkomponente, beispielsweise eines oder mehreres aus Folgendem: Beschriftungen, Markierungen, Aufkleber, Kratzer, Klammern, Schrauben und Verschmutzungen. Die Oberflächenbeschaffenheit oder Textur kann insbesondere die Farbe, Materialwahl, eine matte oder glänzende Oberfläche, Spiegelungen und Kratzer betreffen.
Indem erfindungsgemäß nicht das Mikroskopbild oder ein hierzu inhaltsgleiches Bild, sondern ein Verarbeitungsbild mit reduzierter Komplexität für die Klassifizierung genutzt wird, kann das Risiko verringert oder ausgeschlossen werden, dass an sich irrelevante Erscheinungsmerkmale einer Wechselkomponente im Mikroskopbild zu einer fehlerhaften Klassifizierung führen.
Optionale Gestaltungen
Vorteilhafte Varianten des erfindungsgemäßen Mikroskopsystems, Computerprogramms und Verfahrens sind Gegenstand der abhängigen Ansprüche und werden in der folgenden Beschreibung erläutert.
Berechnen des Verarbeitungsbildes
Das Berechnen des Verarbeitungsbildes aus dem Mikroskopbild kann durch ein trainiertes Maschinenlernmodell erfolgen, insbesondere durch ein CNN (Convolutional Neural Network, faltendes neuronales Netz) oder ein anderes neuronales Netz des Deep Learning. Das CNN kann ein Segmentierungs-CNN sein, welches eine Segmentierung des Mikroskopbildes durchführt.
Bei einem Berechnen einer Segmentierung des Mikroskopbildes wird eingetragen, welche Bildbereiche des Mikroskopbildes die Wechselkomponente darstellen und welche Bildbereiche nicht hierzu gehören. Eine so erzeugte Segmentierungsmaske kann das Verarbeitungsbild darstellen oder zum Verarbeitungsbild weiterverrechnet werden. Die Segmentierungsmaske kann eine Binärmaske sein, in welcher ein Pixelwert Bildpunkte kennzeichnet, die zur Wechselkomponente gehören, während der andere Pixelwert angibt, dass Bildpunkte mit diesem Pixelwert nicht zur Wechselkomponente gehören. Die Segmentierungsmaske zeigt somit eine Form der Wechselkomponente, ohne die Oberflächenbeschaffenheit oder Objekte/Elemente an der Wechselkomponente darzustellen. Anstelle einer Binärmaske kann die Segmentierungsmaske auch mehr als zwei Werte angeben, beispielsweise um mehrere Wechselkomponenten im selben Bild zu unterscheiden oder verschiedene Bauteile derselben Wechselkomponente zu unterscheiden. Die Segmentierungsmaske kann ein 2D-Bild mit derselben Auflösung wie das Mikroskopbild sein. Alternativ kann die Segmentierungsmaske auch nur einem Ausschnitt des Mikroskopbildes entsprechen und demgemäß eine niedrigere Auflösung haben. Zudem kann die Segmentierungsmaske durch eine Vektorgrafik oder durch Formangaben dargestellt sein.
Das Verarbeitungsbild kann alternativ auch berechnet werden, indem Bildbereiche von Objekten, beispielsweise Bildbereiche von Schrauben, aus- oder weggeschnitten werden. Bildpixel im ausgeschnittenen Bereich haben keinen Wert bzw. denselben Wert oder sind durch ein vorgegebenes Muster aufgefüllt, während umgebende Bildpixel außerhalb des ausgeschnittenen Bildbereichs weiterhin Bildinformationen tragen und in das Verarbeitungsbild überführt werden. Dies entspricht nicht einem einfachen Zuschneiden des Mikroskopbildes, wie es beim Nutzen einer ROI (region of interest) im Stand der Technik der Fall ist. Denn vorliegend befindet sich der weggeschnittene Bildbereich (der beispielweise Schrauben oder andere Störobjekte zeigt) innerhalb des Bildausschnitts, der in das Verarbeitungsbild überführt wird. Bei Verwendung einer ROI ist hingegen der weggeschnittene Bildbereich außerhalb des Bildausschnitts, der weiterverwendet wird. Daher kann durch eine ROI nicht die Wirkung erzielt werden, die Oberflächenbeschaffenheit und Störobjekte wie Schrauben aus der Darstellung der Wechselkomponente zu entfernen. Ein wie im Stand der Technik bekanntes Zuschneiden auf eine ROI kann aber bei Erfindungsvarianten zusätzlich zu den beschriebenen Schritten erfolgen. Im vorliegenden Fall bleibt eine Außenform der Wechselkomponente unberührt und somit weiterhin erkennbar. Es kann optional ein Eingabewerkzeug vorgesehen sein, mit dem ein Nutzer auswählen oder markieren kann, welche Bildbereiche auszuschneiden sind.
Zum Berechnen des Verarbeitungsbildes können alternativ im Mikroskopbild Bildbereiche von Objekten, beispielsweise Bildbereiche von Schrauben, basierend auf benachbarten Bildinhalten aufgefüllt werden (Inpainting). Hierdurch entsteht ein natürlicher Bildeindruck mit fließendem Übergang zu benachbarten Bildbereichen. Gegenüber dem vorgenannten Ausschneiden erzeugt das Inpainting vorteilhafterweise keine harten Kanten, welche den nachfolgenden Klassifizierungsvorgang beeinträchtigen könnten. Das Inpainting kann optional durch ein hierzu trainiertes Maschinenlernmodell erfolgen.
Die vorgenannten Ausführungen und andere Varianten können durch ein Maschinenlernmodell umgesetzt werden, welches eine Bild-zu-Bild-Abbildung ausführt. Das Maschinenlernmodell kann durch Trainingsbilder mit zugehörigen Zielbildern trainiert sein, wobei in den Zielbildern Objekte aus den Trainingsbildern entfernt sind oder Oberflächenbeschaffenheiten aus den Trainingsbildern entfernt sind. Hierdurch lernt das Maschinenmodell, was für Objekte und in welcher Weise die Objekte zu entfernen sind. In einer weiteren Variante wird ein Maschinenlernmodell verwendet, das einen Autoencoder umfasst, um aus dem Mikroskopbild das Verarbeitungsbild zu berechnen. Ein Autoencoder ist dazu trainiert, ein Ausgabebild zu erzeugen, das möglichst stark dem Eingabebild ähnelt. Hierzu kann beispielsweise eine Verlustfunktion minimiert werden, welche Differenzen zwischen Eingabe- und Ausgabebild erfasst. Dabei ist der Autoencoder durch ein neuronales Netz gebildet, in dem eine Schicht eine minimale Neuronenanzahl hat (bottleneck). Diese Flaschenhals- oder Bottleneck-Schicht bestimmt einen Detailgrad, der durch den Autoencoder abgebildet werden kann. Durch Verkleinern der Neuronenanzahl der Bottleneck-Schicht kann der Detailgrad des Verarbeitungsbildes reduziert werden. Kratzer, kleinere Objekte wie Schrauben oder störende Oberflächenbeschaffenheiten können hierdurch effektiv entfernt werden. Die Größe der Bottleneck-Schicht wird so gewählt, dass in vorhandenen Trainings- oder Testdaten Oberflächenbeschaffenheiten aus den Eingabebildern (Mikroskopbildern) entfernt werden, ohne dass sich die Form oder Größe der Wechselkomponente im Verarbeitungsbild geändert ist. Eine Einstellung des Detailgrads, den der Autoencoder abbilden kann, kann zusätzlich oder alternativ zu einer Einstellung des Bottleneck auch über eine zugehörige Verlustfunktion oder Gewinnfunktion erfolgen. Beispielsweise können in der Verlustfunktion höhere Raum-/Bildfrequenzen bestraft werden. Anstelle eines Autoencoders kann eine ähnliche Wirkung auch erreicht werden, wenn ein neuronales Netz eine Bild-zu-Bild-Abbildung erzeugt und dabei das Eingabebild in eine beliebige Zwischenrepräsentation überführt, die unerwünschte Merkmale unterdrückt. Dies kann insbesondere durch die Größe einer Flaschenhals-Schicht bestimmt werden, wie zum Autoencoder beschrieben.
Bei Varianten der Erfindung wird durch Entfernen der genannten Bildinhalte der Oberflächenbeschaffenheit und des Objektes oder der Objekte ein Verarbeitungsbild erzeugt, welches allein eine Form der Wechselkomponente zeigt. Dies ist beispielsweise bei einer Binärmaske durch ein Segmentierungs-Maschinenlernmodell der Fall. Hierbei ist von Vorteil, dass ein Segmentierungs-Maschinenlernmodell über die verschiedenen Klassen einer Wechselkomponente hinweg (bspw. für verschiedene Modelle an Halterahmen) eine Segmentierung durchführen kann, ohne die vorliegende Klasse kennen zu müssen. Das Segmentierungs-Maschinenlernmodell, oder ein anderes verwendetes Maschinenlernmodell, wird bevorzugt mit Trainingsbildern trainiert, die mehrere oder alle der Klassen abdecken, die anschließend vom Klassifikationsmodell unterschieden werden sollen. Indem sich Informationen für die Segmentierung über die Klassen hinweg nutzen lassen, wird der nötige Umfang an Trainingsbildern reduziert, der für ein klassenübergreifendes Trainieren eines robusten Segmentierungs-CNN erforderlich ist.
Klassifikation
Es kann vorgesehen sein, dass in der Bildauswertung des Verarbeitungsbildes zur Klassifizierung der Wechselkomponente (allein) eine Form der Wechselkomponente, nicht aber eine Textur der Wechselkomponente berücksichtigt wird. Hierzu kann, wie beschrieben, die Textur aus den Bildinformationen entfernt werden.
Ein trainiertes Klassifikations-Maschinenlernmodell kann die Bildauswertung des Verarbeitungsbildes zur Klassifizierung der Wechselkomponente durchführen. Bei dem Maschinenlernmodell kann es sich insbesondere um ein CNN handeln, welches zur Klassifizierung von einzugebenden Bildern gestaltet ist und hier als Klassifikations-CNN bezeichnet wird. Im Unterschied zu herkömmlich verwendeten Klassifikations-Maschinenlernmodellen kann das vorliegende Modell durch Trainingsdaten trainiert sein, welche in gleicher Weise wie die beschriebenen Verarbeitungsbilder aus entsprechenden Mikroskopbildern berechnet wurden. Insbesondere können Trainingsbilder daher Segmentierungsmasken oder Binärmasken sein. Ein Vorteil solcher Trainingsbilder mit reduzierter Komplexität liegt in einer verbesserten Generalisierbarkeit: Wird eine Wechselkomponente verwendet, die einer bekannten Klasse angehört, aber im Mikroskopbild anders erscheint, beispielsweise da der Hersteller der Wechselkomponente Details wie Schrauben, Beschriftungen oder Aufkleber verändert hat, so verändert dies nicht die aus dem Mikroskopbild berechnete Segmentierungsmaske/Binärmaske, womit das Klassifikations-CNN die Wechselkomponente korrekt identifizieren kann. Zudem haben unterschiedliche Beleuchtungsverhältnisse nur eine Auswirkung auf das Mikroskopbild, in der Regel aber nicht auf die hieraus berechnete Segmentierungsmaske. Dies erleichtert das Training des Klassifikations-Maschinenmodells, da unter anderem Beleuchtungsverhältnisse und andere Umgebungsbedingungen oder Verschmutzungen nicht durch die Trainingsbilder wiedergegeben werden müssen, im Gegensatz zu z.B. Absatz 0079 aus DE 10 2017 109 698 A1 .
Um die Robustheit des Klassifikationsmodells zu steigern, können Verarbeitungsbilder (insbesondere Segmentierungsmasken) auch mit einem Simulationsprogramm generiert werden. Dies ist insbesondere dann sinnvoll, wenn sich an den zu klassifizierenden Wechselkomponenten bewegliche oder veränderliche Teile befinden, welche die entstehende Form der Segmentierungsmaske verändern. So kann z.B. ein CAD-Modell im Simulationsprogramm verwendet werden, um verschiedene Konfigurationen einer Wechselkomponente zu simulieren. Da nur die dadurch entstehende Segmentierungsmaske benötigt wird, ist eine aufwändige Simulation des Erscheinungsbildes (Rendering) mit einer natürlich wirkenden Beleuchtung nicht nötig. Dieses Vorgehen ist insbesondere dann von Vorteil, falls der zur Verfügung stehende Trainingsdatensatz viele Klassen umfasst, aber für jede Klasse nur relativ wenige Bilder enthält, die nicht die gesamte Variation möglicher Segmentierungsmasken abdecken. Die simulierten Segmentierungsmasken können als Trainingsdaten des Klassifikations-Maschinenlernmodells verwendet werden, welches sodann die Klassifizierung einer Wechselkomponente aus einem Verarbeitungsbild durchführen kann.
Zur Klassifizierung der Wechselkomponente können zusätzlich Kontextinformationen genutzt werden. Kontextinformationen können Mikroskopeinstellungen betreffen, beispielsweise verwendete Filter, die Lichtquelle oder Detektionseigenschaften. Dies erlaubt einen Rückschluss auf möglicherweise verwendete Wechselkomponenten oder auch einen Ausschluss mancher Wechselkomponententypen. Weitere Kontextinformationen können Probeneigenschaften, über das Mikroskopbild oder anders identifizierte Probentypen oder Probenträgertypen betreffen. Die Kenntnis eines Probenträgertyps kann insbesondere hilfreich sein, wenn die Wechselkomponente ein Halterahmen ist. Optional kann aus dem Mikroskopbild eine möglicherweise vorhandene Beschriftung eines Probenträgers ausgewertet werden, um die genannten Informationen zu gewinnen. Die Kontextinformationen können zusammen mit dem Verarbeitungsbild die Eingabe in das Klassifizierungs-CNN bilden.
Maschinenlernmodelle können sowohl das Verarbeitungsbild aus dem Mikroskopbild berechnen als auch die Bildauswertung des Verarbeitungsbildes zur Klassifikation der Wechselkomponente durchführen. Alternativ kann für diese Schritte auch bloß ein einziges Maschinenlernmodell verwendet werden. Die beschriebenen Maschinenlernmodelle, insbesondere ein Segmentierungs-CNN und ein anschließendes Klassifikations-CNN, können hierzu aneinandergefügt / konkateniert werden und gemeinsamen trainiert werden. Wird ein einziges Maschinenlernmodell oder CNN verwendet, bilden die Informationen des Verarbeitungsbildes eine Zwischenschicht im neuronalen Netz. Dabei kann die Zwischenschicht die Informationen des Verarbeitungsbildes optional kodiert enthalten, das heißt insbesondere nicht als 2D-Matrix aus Bildpunkten, sondern durch einen Tensor, der erst durch einen Dekoder in ein 2D-Bild zu überführen wäre.
Prinzipiell kann die Klassifizierung auch durch einen klassischen Klassifikationsalgorithmus ohne Maschinenlernmodell erfolgen. Der Klassifikationsalgorithmus ermittelt geometrische Eigenschaften aus dem Verarbeitungsbild und vergleicht diese mit Referenzwerten, um eine Klasse der Wechselkomponente zu ermitteln. Geometrische Eigenschaften können beispielsweise die Form und Größe des Außenumfangs, von Außenumfangabschnitten oder von Öffnungen der Darstellung der Wechselkomponente im Verarbeitungsbild sein.
Allgemeine Eigenschaften
Die Wechselkomponente kann eine prinzipiell beliebige Mikroskopkomponente sein, welche nicht dauerhaft ortsfest am Mikroskop verbunden ist, sondern entweder gegen andere Mikroskopkomponenten getauscht werden kann oder in ihrer Position oder Konfiguration variabel ist. Die Wechselkomponente kann z. B. ein Probenträger sein, ein Halterahmen für einen Probenträger, eine Probe, ein Probentisch, ein Mikroskopobjektiv, ein Beleuchtungsmodul, optische Filter oder Prismen, ein Kondensor, ein Filtereinschub, insbesondere ein DIC-Schieber, Komponenten für Polarisationskontrastaufnahmen, Gitter oder andere Lichtmodulatoren. Auch Objektive, die an einem Objektivwechsler gehalten sind und sich momentan nicht im Mikroskopstrahlengang befinden, können als Wechselkomponenten erfasst werden. Zum besseren Verständnis wird in verschiedenen Ausführungsvarianten die Klassifizierung einer einzigen Wechselkomponente aus einem Verarbeitungsbild beschrieben. Prinzipiell können aber auch mehrere Wechselkomponenten im selben Verarbeitungsbild dargestellt und klassifiziert werden.
Unter einer Klassifizierung oder Klassifikation wird die Identifizierung einer Klasse / eines Typs der Wechselkomponente verstanden. Verschiedene Klassen eines Probenträgers können beispielsweise Mikrotiterplatten, Petrischalen und Kammerobjektträger sein, und/oder auch verschiedene Modelle an Mikrotiterplatten, verschiedene Modelle an Petrischalen und verschiedene Modelle an Kammerobjektträgern. Handelt es sich bei der Wechselkomponente um eine Probe, können verschiedene Probentypen identifiziert werden, insbesondere Materialproben, eingebettete Schliffe oder Leiterplatten/PCBs. Kann eine Wechselkomponente in verschiedenen Anordnungen oder Konfigurationen verwendet werden, so kann vorgesehen sein, dass diese Anordnungen auch als unterschiedliche Klassen in der Klassifizierung identifiziert werden.
Als Mikroskopsystem wird eine Vorrichtung verstanden, die zumindest ein Mikroskop und eine Recheneinrichtung umfasst. Die Recheneinrichtung kann physisch als Teil des Mikroskops gestaltet sein, oder separat in der Mikroskopumgebung angeordnet sein. Alternativ kann die Recheneinrichtung auch dezentral gestaltet sein und über eine Datenverbindung mit dem Mikroskop kommunizieren. Unter einem Mikroskop kann insbesondere ein Lichtmikroskop, Röntgenmikroskop, Elektronenmikroskop, Makroskop oder auch ein anders gestaltetes vergrößerndes Bildaufnahmegerät verstanden werden, welches dazu eingerichtet ist, Bilder (Mikroskopbilder) aufzunehmen. Je nach Ausführungsvariante der Erfindung kann der Bildaufnahmeprozess Teil des Verfahrens sein, oder das Verfahren beginnt mit dem Laden eines bereits vorhandenen Mikroskopbildes.
Das Mikroskopbild kann ein Übersichtsbild sein, welches von einer Übersichtskamera des Mikroskops aufgenommen wird. Die Übersichtskamera kann zusätzlich zu einer Kamera (Probenkamera) vorhanden sein, welche über ein Mikroskopobjektiv auf die Probe blickt. Prinzipiell kann das Mikroskopbild aber auch ein von der Probenkamera aufgenommenes Bild sein, insbesondere wenn ein Mikroskopobjektiv mit geringem Abbildungsmaßstab verwendet wird. Allgemein kann das Mikroskopbild auch von einer nicht mit dem Mikroskopstativ verbundenen Kamera aufgenommen werden, beispielsweise mit einem handgehaltenen Gerät wie einem Smartphone.
Die Recheneinrichtung kann insbesondere zum Durchführen der beschriebenen Verfahrensvarianten eingerichtet sein. Die Recheneinrichtung kann mit einem Mikroskop verbunden oder einem bestimmten Mikroskop zugeordnet sein und auch der Mikroskopsteuerung dienen. Eine Verbindung kann kabelgebunden, über das Internet oder über ein anderes Netzwerk erfolgen. Insbesondere kann die Recheneinrichtung einen Personalcomputer oder einen oder mehrere (Graphik-)Prozessoren, auch als Teil eines Mikroskops, umfassen. Alternativ kann die Recheneinrichtung durch Server oder cloudbasierte Systeme gebildet sein. Eine örtliche oder technische Verbindung zu einem Mikroskop ist nicht zwingend, vielmehr genügt es, wenn die Recheneinrichtung ein Mikroskopbild aus einem Datenspeicher laden kann.
Die als zusätzliche Mikroskopmerkmale beschriebenen Eigenschaften der Erfindung ergeben bei bestimmungsgemäßer Verwendung auch Varianten des erfindungsgemäßen Verfahrens. In umgekehrter Weise kann das Mikroskopsystem auch zum Ausführen der beschriebenen Verfahrensvarianten eingerichtet sein. Varianten des Computerprogramms der Erfindung sind durch die beschriebenen Verfahrensvarianten gegeben.
Figurenliste
Weitere Vorteile und Merkmale der Erfindung werden nachstehend mit Bezug auf die beigefügten schematischen Figuren beschrieben:

1 ist eine schematische Darstellung eines Verfahrens zur Klassifikation einer Wechselkomponente eines Mikroskops gemäß dem Stand der Technik;
2 ist eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens der Erfindung;
3 ist eine schematische Darstellung zum Training des Klassifikations-Maschinenlernmodells des Verfahrens aus 2;
4 ist eine schematische Darstellung zum Training eines Maschinenlernmodells zum Berechnen eines Verarbeitungsbildes gemäß Ausführungsbeispielen der Erfindung; und
5 ist eine schematische Darstellung eines Ausführungsbeispiels eines Mikroskopsystems der Erfindung.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Verschiedene Ausführungsbeispiele werden nachstehend mit Bezug auf die Figuren beschrieben. Gleiche und gleich wirkende Bestandteile sind in der Regel mit denselben Bezugszeichen gekennzeichnet.
Fig. 2
2 zeigt schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens, welches ein Segmentierungs-CNN 25 und ein Klassifikations-CNN 40 nutzt.
Zunächst wird ein Mikroskopbild 20 erhalten, welches zumindest einen Teil einer Wechselkomponente 9 eines Mikroskops zeigt. Das Mikroskopbild 20 kann aus einem Speicher geladen werden oder direkt von einem Mikroskop aufgenommen und weitergeleitet werden. Bei der Wechselkomponente 9 handelt es sich hier um einen Halterahmen 10, und die zu 1 gegebenen Beschreibungen des Mikroskopbildes 20 und der Wechselkomponente 9 / des Halterahmens 10 gelten auch hier.
Im Unterschied zu 1 wird das Mikroskopbild 20 jedoch nicht dem Klassifikations-CNN 40 zugeführt. Vielmehr wird das Mikroskopbild 20 dem Segmentierungs-CNN 25 zugeführt, welches hieraus eine Segmentierungsmaske 31 als Verarbeitungsbild 30 berechnet.
Das Segmentierungs-CNN 25 ist dazu trainiert, eine Binärmaske auszugeben, in welcher ein Pixelwert angibt, dass entsprechende Pixel die Wechselkomponente 9 darstellen, während der andere Pixelwert angibt, dass entsprechende Pixel nicht die Wechselkomponente 9 darstellen. Beschriftungen 11, Schrauben 12, Kratzer 13 oder andere Objekte oder Texturen der Wechselkomponente 9 sind dadurch nur im Mikroskopbild 20, nicht aber in der Segmentierungsmaske 31 enthalten.
Wird nun die Segmentierungsmaske 31 dem Klassifikations-CNN 40 zugeführt, ermittelt dieses eine Klasse der Wechselkomponente 9 nicht basierend auf Beschriftungen 11, Schrauben 12, Kratzer 13 oder anderen Objekte an der Wechselkomponente 9, sondern basierend auf der Form der Wechselkomponente 9 in der Segmentierungsmaske 31. Insbesondere nutzt die Klassifikation in diesem Beispiel die in den Bildausschnitten 32 und 33 dargestellten Merkmale. Dies umfasst die Probenaussparung 14; das heißt, es wird die Größe und Position einer runden Aussparung in der Segmentierungsmaske 31 zur Unterscheidung verschiedener eingelernter Wechselkomponentenklassen verwendet. Als weiteres Unterscheidungsmerkmal dient ein Kurvenverlauf 15 eines Außenumfangs der Wechselkomponente 9, wie im Bildausschnitt 33 gezeigt. Hierbei wird die Erkenntnis genutzt, dass eine Form einer Wechselkomponente 9 innerhalb einer Wechselkomponentenklasse kaum oder gar nicht variiert, während Oberflächenbeschaffenheiten oder kleinere Objekte wie Schrauben an der Wechselkomponente 9 wesentlich stärker innerhalb derselben Wechselkomponentenklasse variieren können. Beispielsweise schwankt die Geometrie der Probenaussparung 14 innerhalb derselben Klasse an Halterahmen 10 kaum, da eine andere Geometrie stärkere Auswirkungen auf die Funktion hätte.
Das Klassifikations-CNN 40 ermittelt schließlich eine Ausgabe 45, welche eine Klassifikation der Segmentierungsmaske 31 bzw. der darin dargestellten Wechselkomponente 9 angibt. Im dargestellten Beispiel bezeichnet die Ausgabe 45, welche Klasse an Halterahmen 10 ermittelt wurde.
Als ein Vorteil spielen Texturmerkmale des Halterahmens 10 keine Rolle für die Klassifizierung, im Unterschied zu klassischen Klassifikations-Bildverarbeitungsalgorithmen. Typische Veränderungen am Halterahmen 10 durch den Hersteller und leichte Störungen oder Veränderungen im Mikroskopbild 20 stellen für klassische Klassifikations-Bildverarbeitungsalgorithmen eine große Hürde dar, während im vorliegenden Fall die Segmentierungsmaske 31 im Wesentlichen unverändert bleibt und somit die Klassifikation nicht beeinträchtigt. Während klassische Klassifikations-Bildverarbeitungsalgorithmen zudem zeitaufwändige Programmieranstrengungen bei einer großen Klassenanzahl oder beim Hinzufügen neuer Klassen erfordern, kann dies im vorliegenden Ausführungsbeispiel leicht durch einen neuen Trainingsvorgang mit zusätzlichen Trainingsbildern erfolgen.
In Abwandlungen des dargestellten Ausführungsbeispiels wird das Segmentierungs-CNN 25 durch ein anderes neuronales Netz ersetzt, das eine Bild-zu-Bild-Abbildung berechnet. Beschreibungen in Bezug auf die Segmentierungsmaske 31 sollen daher auch analog für Verarbeitungsbilder 30 verstanden werden. Beispielsweise kann anstelle des Segmentierungs-CNN 25 ein Autoencoder eingesetzt werden, welcher dazu trainiert ist, ein Verarbeitungsbild 30 zu berechnen, das möglichst stark mit dem eingegebenen Mikroskopbild 20 übereinstimmt. Ein Detailgrad dieser Bild-zu-Bild-Abbildung wird wesentlich durch diejenige Schicht des neuronalen Netzes bestimmt, welche die geringste Neuronenanzahl hat. Dies entspricht in 2 einer Bottleneck-Schicht 26. Indem die Größe der Bottleneck-Schicht 26 genügend klein gewählt wird, werden Bilddetails wie kleinere Beschriftungen 11, Schrauben 12 und Kratzer 13 nicht in das Verarbeitungsbild 30 überführt. Im Unterschied zur Segmentierungsmaske 31 können die Pixelwerte des vom Autoencoder erzeugten Verarbeitungsbildes 30 eine größere Anzahl verschiedener Werte haben; gleichwohl weist in beiden Fällen das Verarbeitungsbild 30 nicht die vorgenannten störenden Bilddetails auf.
In weiteren Abwandlungen kann anstelle des Segmentierungs-CNN 25 auch ein klassischer Bildverarbeitungsalgorithmus ohne Maschinenlernmodell verwendet werden, um aus einem Mikroskopbild 20 ein Verarbeitungsbild 30 zu berechnen. Auch können das Segmentierungs-CNN 25 und das Klassifikations-CNN 40 zu einem einzigen neuronalen Netz konkateniert werden.
In Abwandlungen der beschriebenen Ausführungsbeispiele kann das Klassifikations-CNN 40 auch durch ein anders gestaltetes neuronales Netz zur Klassifikation ersetzt werden oder auch durch einen klassischen Klassifikationsalgorithmus, welcher kein Maschinenlernmodell nutzt. Der Klassifikationsalgorithmus kann beispielsweise dazu gestaltet sein, die Form und/oder Größe eines Außenumfangs und eventueller Öffnungen einer in der Segmentierungsmaske 31 dargestellten Wechselkomponente 9 auszuwerten. In Bezug auf das dargestellte Beispiel kann beispielsweise der Klassifikationsalgorithmus dazu gestaltet sein, die Größe der Probenaussparung 14 und/oder einen Abstand von der Probenaussparung 14 zu einem Außenumfang der Wechselkomponente in der Segmentierungsmaske 31 zur Unterscheidung verschiedener Wechselkomponentenklassen heranzuziehen.
Der beschriebene Halterahmen 10 soll lediglich als ein Beispiel einer Wechselkomponente 9 verstanden werden. Auch andere Mikroskopkomponenten, insbesondere wie im allgemeinen Beschreibungsteil aufgelistet, können die Wechselkomponente 9 darstellen.
Fig. 3
3 zeigt vereinfacht einen Trainingsvorgang des Klassifikations-CNN 40.
Es werden Trainingsbilder 31' genutzt, welche dem Verarbeitungsbild 30 aus 2 entsprechen. Die Trainingsbilder 31' zeigen jeweils eine Wechselkomponente, wobei eine Klasse der jeweils dargestellten Wechselkomponente bekannt ist und als Zielgröße T1 in das Training eingeht.
Parameterwerte des Klassifikations-CNN 40 sollen im Trainingsvorgang erlernt bzw. festgelegt werden. Hierzu berechnet das Klassifikations-CNN 40 mit Start-Parameterwerten zunächst zu jedem der Trainingsbilder 31' eine entsprechende Ausgabe 45. Eine Maschinenlernanwendung M1 führt diese Ausgaben 45 einer Verlustfunktion L1 zu, welche einen Unterschied zu den Zielgrößen T1 ermittelt. Basierend auf dem Ergebnis der Verlustfunktion L1 verändert die Maschinenlernanwendung M1 die Parameterwerte. Die vorgenannten Schritte werden wiederholt, bis die Verlustfunktion minimiert ist oder die Ausgaben 45 hinreichend mit den Zielgrößen T1 übereinstimmen. Optional können auch Kontextinformationen K zu den jeweiligen Trainingsbildern 31' vorgegeben sein. Die Kontextinformationen K können beispielsweise Mikroskopeinstellungen betreffen und werden berücksichtigt, um die Klassifizierung zu erlernen. Beispielsweise können Beleuchtungseinstellungen darauf hinweisen, was für ein Filtereinschub oder DIC-Schieber als Wechselkomponente möglich oder unwahrscheinlich ist. Im laufenden Betrieb können die Kontextinformationen zu einem Mikroskopbild mitabgespeichert sein oder über eine Datenschnittstelle vom Mikroskop empfangen werden.
Die Auswahl der Trainingsbilder 31' beeinflusst, welche Merkmale das Klassifikations-CNN 40 zur Unterscheidung erlernt. Im dargestellten Beispiel werden Segmentierungsmasken als Trainingsbilder 31' verwendet. Zusätzlich können auch simulierte Segmentierungsmasken als Trainingsbilder 31' verwendet werden. Diese können beispielsweise durch ein CAD-Computerprogramm erzeugt werden, welches die 3D-Daten eines Wechselkomponententyps kennt. Hierbei ist von Vorteil, dass Segmentierungsmasken aus simulierten Daten und Segmentierungsmasken aus tatsächlich aufgenommenen Mikroskopbildern im Wesentlichen miteinander übereinstimmen. Simulierte Segmentierungsmasken ermöglichen es daher, verhältnismäßig leicht die gesamte Breite vorkommender Variationen innerhalb einer Klasse abzudecken. Zudem werden durch Segmentierungsmasken weniger Trainingsbilder benötigt, da die zu klassifizierenden Segmentierungsmasken weniger komplex sind als Mikroskopbilder. Das Klassifikations-CNN 40 kann zwar in seiner Struktur bekannten neuronalen Netzen entsprechen, kann sich aber von diesen bekannten neuronalen Netzen in den verwendeten Trainingsbildern unterscheiden, und in Folge dessen auch in den erlernten Parameterwerten.
Fig. 4
4 zeigt vereinfacht einen Trainingsvorgang eines CNN 25', das anstelle des Segmentierungs-CNN 25 zum Berechnen eines Verarbeitungsbildes 30 aus einem Mikroskopbild 20 verwendet werden kann.
Im Training werden Trainingsbilder 20' genutzt, welche dem Mikroskopbild 20 aus 2 entsprechen und je mindestens eine Wechselkomponente zeigen. Zudem werden Zielbilder T2 verwendet, welche den Trainingsbildern 20' bis auf den Unterschied entsprechen, dass eine Oberflächenbeschaffenheit der Wechselkomponente in den Zielbildern T2 entfernt oder mit weniger Details dargestellt ist, und/oder dass Objekte an der Wechselkomponente (beispielsweise Schrauben) in den Zielbildern T2 entfernt sind. Durch diese Trainingsdaten lernt das CNN 25', wie ein Eingabebild / Mikroskopbild zu einem Ausgabebild / Verarbeitungsbild zu verarbeiten ist, in welchem die Oberflächenbeschaffenheit und / oder Objekte an der Wechselkomponente aus dem Eingabebild entfernt sind, unter Übernahme der Form der Wechselkomponente aus dem Eingabe- in das Ausgabebild. Die Trainingsschritte können entsprechend den Ausführungen zu 3 erfolgen, wozu insbesondere ein Computerprogramm oder eine Maschinenlernanwendung M2 mit einer oder mehreren Verlustfunktionen L2 ein momentanes Ausgabebild / Verarbeitungsbild 30' des CNN 25' mit den Zielbildern T2 vergleicht und davon abhängig Parameterwerte des CNN 25' verändert.
Fig. 5
5 zeigt ein Ausführungsbeispiel eines erfindungsgemäßen Mikroskopsystems 100. Dieses umfasst eine Recheneinrichtung 50 und ein Mikroskop 1, welches im dargestellten Beispiel ein Lichtmikroskop ist, prinzipiell aber auch eine andere Art von Mikroskop sein kann.
Das Mikroskop 1 umfasst ein Stativ 5, über welches weitere Mikroskopkomponenten gehalten sein können. Hierunter können insbesondere fallen: ein Objektivwechsler oder -revolver, an dem im dargestellten Beispiel ein Objektiv 2 montiert ist; ein Probentisch mit einem Halterahmen 10 zum Halten eines Probenträgers 3; eine Blende oder ein Filtereinschub 4, worüber optische Elemente in den Strahlengang gebracht werden können, eine Mikroskopkamera 6, die über das ausgewählte Objektiv 2 Detektionslicht empfängt, und eine Übersichtskamera 7 zum Aufnehmen eines Übersichtsbildes. Die Übersichtskamera 7 ist hier direkt auf den Probenträger 3 gerichtet, könnte aber auch über einen Umlenkspiegel auf die den Probenträger 3 blicken. Der Umlenkspiegel kann z.B. am Objektivwechsler gehalten und anstelle des Objektivs 2 ausgewählt werden.
Ein Sichtfeld 8 der Übersichtskamera 7 ist eingezeichnet und deckt einen Bereich um den Ort ab, an dem eine Probe zu positionieren ist. Je nach Anordnung und Gestaltung der Übersichtskamera 7 können verschiedene Mikroskopkomponenten im Sichtfeld 8 liegen. Mikroskopkomponenten, die austauschbar oder in ihrer Position variabel oder verstellbar sind, werden vorliegend als Wechselkomponenten bezeichnet. Im gezeigten Beispiel können in einem Übersichtsbild das Objektiv 2, der Probenträger 3, der Halterahmen 10 und/oder die Blende / der Filtereinschub 4 als Wechselkomponente sichtbar sein. Die Probe selbst kann im vorliegenden Sinn optional ebenfalls als Wechselkomponente angesehen werden.
Das Übersichtsbild der Übersichtskamera 7 oder ein hieraus berechnetes Bild kann das vorgenannte Mikroskopbild darstellen. Prinzipiell kann aber auch ein von der Mikroskopkamera 6 insbesondere über das Mikroskopobjektiv 2 aufgenommenes Bild das vorgenannte Mikroskopbild bilden.
Aufgenommene Mikroskopbilder werden an die Recheneinrichtung 50 übertragen. Eine Steuerung des Mikroskops 1 kann ebenfalls über die Recheneinrichtung 50 oder alternativ über eine andere, nicht dargestellte, Elektronik erfolgen. Die Recheneinrichtung 50 kann neben dem Mikroskop 1 angeordnet sein, räumlich weiter von diesem entfernt, oder prinzipiell auch im Stativ 5 oder einem anderen Teil des Mikroskops 1. Daher kann die Recheneinrichtung 50 optional auch als Teil des Mikroskops 1 angesehen werden. Die Recheneinrichtung 50 ist dazu eingerichtet, das erfindungsgemäße Verfahren durchzuführen, insbesondere aus dem Mikroskopbild das Verarbeitungsbild zu berechnen und anschließend die Klassifizierung durchzuführen, wie oben beschrieben.
Ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogramms enthält Befehle, deren Ausführung die in Bezug auf 2 beschriebenen Schritte umsetzen und optional auch die in Bezug auf 3 und/oder 4 beschriebenen Schritte. Die Recheneinrichtung 50 kann das Computerprogramm umfassen.
Die beschriebenen Ausführungsbeispiele sind rein illustrativ und Abwandlungen hiervon sind im Rahmen der beigefügten Ansprüche möglich.
Bezugszeichenliste

1: Mikroskop
2: (Mikroskop-)Objektiv
3: Probenträger
4: Blende oder Filtereinschub
5: Stativ
6: Mikroskopkamera
7: Übersichtskamera
8: Sichtfeld der Übersichtskamera 7
9: Wechselkomponente
10: Halterahmen
11: Beschriftung auf der Wechselkomponente 9
12: Schraube oder anderes Objekt an der Wechselkomponente 9
13: Kratzer auf der Wechselkomponente 9
14: Probenaussparung in der Wechselkomponente 9
15: Kurvenverlauf der Außenform der Wechselkomponente 9
20: Mikroskopbild
20': Trainingsbilder / Mikroskopbilder
21, 22, 23: Bildausschnitte des Mikroskopbildes 20
25: Maschinenlernmodell, Segmentierungs-CNN
25': Maschinenlernmodell oder CNN zur Berechnung eines Verarbeitungsbildes
26: Flaschenhals-Schicht
30: Verarbeitungsbild
30': Ausgabebild / Verarbeitungsbild
31: Segmentierungsmaske
31': Trainingsbilder / Trainingsdaten des Klassifikations-CNN 40
32, 33: Bildausschnitte des Verarbeitungsbildes 30
40: Klassifikations-CNN
40': Klassifikations-CNN des Stands der Technik
45: Ausgabe des Klassifikations-CNN 40
45': Ausgabe des Klassifikations-CNN 40'
50: Recheneinrichtung
100: Mikroskopsystem
K: Kontextinformationen
L1, L2: Verlustfunktion
M1, M2: Maschinenlernanwendung
T1: Zielgröße zu den Trainingsbildern 31'
T2: Zielbilder zu den Trainingsbildern 20'

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017109698 A1 [0005, 0025]

Claims

Verfahren zur Klassifizierung einer Wechselkomponente (9) eines Mikroskops, wobei das Verfahren umfasst: Erhalten eines Mikroskopbildes (20), in dem die Wechselkomponente (9) zumindest teilweise abgebildet ist; Berechnen eines Verarbeitungsbildes (30) aus dem Mikroskopbild (20); und Bildauswertung des Verarbeitungsbildes (30) zur Klassifizierung der Wechselkomponente (9); dadurch gekennzeichnet, dass das Berechnen des Verarbeitungsbildes (30) umfasst, dass zumindest in einem Bereich des Mikroskopbildes (20), welcher in das Verarbeitungsbild (30) überführt wird, Bildinhalte eines Objektes (11, 12, 13) oder einer Oberflächenbeschaffenheit entfernt werden.
Verfahren nach vorstehendem Anspruch, wobei das Berechnen des Verarbeitungsbildes (30) erfolgt, indem eine Segmentierungsmaske (31) aus dem Mikroskopbild (20) berechnet wird, wobei die Segmentierungsmaske (31) angibt, welche Bildbereiche die Wechselkomponente (9) darstellen.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Berechnen des Verarbeitungsbildes (30) umfasst, dass ein Bildbereich des Objektes (11, 12, 13) basierend auf benachbarten Bildinhalten aufgefüllt wird oder der Bildbereich weggeschnitten wird.
Verfahren nach Anspruch 1, wobei das Mikroskopbild (20) einem Autoencoder zugeführt wird, welcher aus dem Mikroskopbild (20) das Verarbeitungsbild (30) berechnet.
Verfahren nach Anspruch 1 oder 2, wobei durch Entfernen der genannten Bildinhalte das Verarbeitungsbild (30) allein eine Form der Wechselkomponente (9) zeigt.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Berechnen des Verarbeitungsbildes (30) durch ein trainiertes Maschinenlernmodell (25, 25') erfolgt.
Verfahren nach einem der vorstehenden Ansprüche, wobei Objekte (11, 12, 13), deren Bildinhalte zum Berechnen des Verarbeitungsbildes (30) entfernt werden, eines oder mehreres aus Folgendem umfassen: Beschriftungen (11), Markierungen, Aufkleber, Kratzer (13), Klammern, Schrauben (12) und Verschmutzungen.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Wechselkomponente (9) ein Halterahmen (10) für einen Probenträger (3), ein Probentisch, ein Objektiv (2), ein Beleuchtungsmodul, optische Filter oder Prismen, ein Kondensor, ein Filtereinschub (4), ein DIC-Schieber, Komponenten für Polarisationskontrastaufnahmen, ein Gitter, ein Lichtmodulator, ein Probenträger (3) oder eine Probe ist.
Verfahren nach einem der vorstehenden Ansprüche, wobei in der Bildauswertung des Verarbeitungsbildes (30) zur Klassifizierung der Wechselkomponente (9) eine Form der Wechselkomponente (9), nicht aber eine Textur der Wechselkomponente (9) berücksichtigt wird.
Verfahren nach einem der vorstehenden Ansprüche, wobei die Klassifizierung der Wechselkomponente (9) durch ein trainiertes Klassifikations-Maschinenlernmodell (40) erfolgt.
Verfahren nach dem unmittelbar vorstehenden Anspruch, wobei mit einem Simulationsprogramm Segmentierungsmasken simuliert werden und die Segmentierungsmasken als Trainingsdaten (31') des Klassifikations-Maschinenlernmodells (40) verwendet werden.
Verfahren nach einem der vorstehenden Ansprüche, wobei zur Klassifizierung der Wechselkomponente (9) auch Kontextinformationen (K) genutzt werden, welche insbesondere Mikroskopeinstellungen, Probeneigenschaften oder Probentypen betreffen.
Verfahren nach einem der vorstehenden Ansprüche, wobei durch ein einziges Maschinenlernmodell sowohl das Berechnen des Verarbeitungsbildes (30) aus dem Mikroskopbild (20) als auch die Bildauswertung des Verarbeitungsbildes (30) zur Klassifizierung der Wechselkomponente (9) erfolgt.
Computerprogramm mit Befehlen, die bei Ausführung durch einen Computer die Ausführung des Verfahrens nach einem der vorstehenden Ansprüche veranlassen.
Mikroskopsystem mit einem Mikroskop (1) und einer Recheneinrichtung (50); wobei das Mikroskop (1) zumindest eine Wechselkomponente (9) umfasst und zum Aufnehmen eines Mikroskopbildes (20) eingerichtet ist, in dem die Wechselkomponente (9) zumindest teilweise abgebildet ist; und wobei die Recheneinrichtung (50) dazu eingerichtet ist, ein Verarbeitungsbild (30) aus dem Mikroskopbild (20) zu berechnen und das Verarbeitungsbild (30) zur Klassifizierung der Wechselkomponente (9) auszuwerten; dadurch gekennzeichnet, dass die Recheneinrichtung (50) zum Berechnen des Verarbeitungsbildes (30) außerdem dazu eingerichtet ist, zumindest in einem Bereich des Mikroskopbildes (20), welcher in das Verarbeitungsbild (30) überführt wird, Bildinhalte eines Objektes (11, 12, 13) oder einer Oberflächenbeschaffenheit zu entfernen.