DE112019005143T5

DE112019005143T5 - System zur co-registrierung medizinischer bilder unter verwendung eines klassifikators

Info

Publication number: DE112019005143T5
Application number: DE112019005143.1T
Authority: DE
Inventors: Marinus Bastiaan Van Leeuwen; Koen De Laat
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-10-15
Filing date: 2019-10-14
Publication date: 2021-09-09
Also published as: EP3640837A1; US20210390278A1; WO2020078888A1

Abstract

Es wird ein System zur Analyse mikroskopischer Bilddaten offenbart, die eine Vielzahl von aus Zellen aufgenommenen Bildern darstellen. Das System umfasst ein Datenverarbeitungssystem, das konfiguriert ist, um Segmentierungsdaten für jedes der Bilder zu lesen und/oder zu erzeugen (120). Für jedes der Bilder zeigen die Segmentierungsdaten eine Segmentierung von mindestens einem Abschnitt des jeweiligen Bildes in einen oder mehrere Bildbereiche an, so dass jeder der Bildbereiche ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist. Das Datenverarbeitungssystem erzeugt ferner Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Abschnitten von unterschiedlichen der Bilder. Das Datenverarbeitungssystem erzeugt ferner Zuordnungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein System und ein Verfahren zur Co-Registrierung medizinischer Bilder. Insbesondere betrifft die vorliegende Erfindung ein System und ein Verfahren zur Durchführung der Co-Registrierung unter Verwendung eines Klassifikators, insbesondere eines künstlichen neuronalen Netzes.
HINTERGRUND DER ERFINDUNG
Gewebepathologie ist ein Meilenstein in der Krebsdiagnose und -prognose. Bei herkömmlichen Verfahren der Krebsdiagnose und -prognose überprüfen Pathologen gefärbte Objektträger von Krebsbiopsieproben visuell und weisen den erkannten Tumoren Punktwerte zu. Dieser Vorgang ist jedoch zeitaufwendig und die Ergebnisse verschiedener Pathologen sind oft uneinheitlich.
Die computergestützte quantitative Analyse gefärbter histologischer Bilder wurde durch Whole-Slide-Scanner besonders effizient gemacht, welche die Erfassung hochauflösender digitaler Scans ganzer Objektträger ermöglichen. Solche Scanner können in kürzester Zeit ultragroße 2D-Bilder einer ganzen Gewebeprobe zur Digitalisierung histologischer Objektträger erzeugen. Automatische Bildverarbeitungsverfahren können dann angewendet werden, um interessierende Strukturen zur Verwendung in Diagnose oder Prognose aus dem Originalbild zu extrahieren. Dieser Bereich ist mittlerweile als digitale Pathologie bekannt und unterstützt die manuelle, subjektive und zeitaufwändige Bewertung der Daten durch den traditionellen Pathologen. Die Bildverarbeitungsprozeduren können Zellen- und Gewebetypen automatisch erkennen und sind mit Hilfe der Technologie der tiefen konvolutionalen neuronalen Netze sehr leistungsfähig geworden. Ähnliche Probleme treten bei der Beurteilung zytologischer Bilder auf.
In der Regel werden von einer gleichen Biopsieprobe oder Resektionsprobe mehrere Gewebe-Objektträger entnommen. Die Gewebe-Objektträger können unter Verwendung unterschiedlicher Färbungen gefärbt werden, um ein unterschiedliches Analyseverfahren zur Inspektion der Gewebeprobe durchzuführen. In anderen Untersuchungsverfahren werden dieselben Gewebe-Objektträger zuerst mit einer ersten Färbung gefärbt und später mit einer zweiten Färbung erneut gefärbt. Bei diesen Verfahren ist es oft wünschenswert, eine Co-Registrierung medizinische Bilder effizient und zuverlässig vorzunehmen, da dies die Interpretation von Informationen, die in mehreren Gewebeschnitten derselben Biopsieprobe erfasst werden, vereinfachen kann.
Es besteht daher ein Bedarf nach einer effizienten Analyse von Bildern, die von Zellen aufgenommen wurden.
KURZDARSTELLUNG DER ERFINDUNG
Ausführungsformen der vorliegenden Offenbarung betreffen ein System zur Analyse mikroskopischer Bilddaten, die eine Vielzahl von Bildern darstellen, die von Zellen aufgenommen wurden. Das System umfasst ein Datenverarbeitungssystem, das konfiguriert ist, um Segmentierungsdaten für jedes der Bilder zu lesen und/oder zu erzeugen. Für jedes der Bilder zeigen die Segmentierungsdaten eine Segmentierung von mindestens einem Abschnitt des jeweiligen Bildes in einen oder mehrere Bildbereiche an, so dass jeder der Bildbereiche ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist. Das Datenverarbeitungssystem ist ferner konfiguriert zum: (a) Erzeugen von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten, die sich von den Bildern unterscheiden; und/oder (b) Erzeugen von Zuordnungsdaten unter Verwendung mindestens von Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Das Datenverarbeitungssystem kann ein Computersystem mit einem Prozessor und einem Speicher zum Speichern von durch den Prozessor verarbeitbaren Anweisungen einschließen. Der Prozessor kann ein Betriebssystem ausführen. Das Datenanalysesystem kann ferner eine Benutzerschnittstelle einschließen, die dazu konfiguriert ist, einem Benutzer zu ermöglichen, Daten von dem Datenverarbeitungssystem zu empfangen und/oder dem Datenverarbeitungssystem Daten bereitzustellen. Die Benutzerschnittstelle kann eine grafische Benutzerschnittstelle einschließen.
Das Datenverarbeitungssystem kann eine Anzeigevorrichtung einschließen und kann konfiguriert sein, dem Benutzer den Bereich von Interesse und/oder eine oder mehrere grafische Darstellungen anzuzeigen, die in Abhängigkeit von medizinischen Bildern, in Abhängigkeit von den Co-Registrierungsdaten und/oder in Abhängigkeit von den Zuordnungsdaten bestimmt werden. Insbesondere können die grafischen Darstellungen einen oder mehrere Parameter der Co-Registrierungsdaten und/oder der Zuordnungsdaten visuell anzeigen. Dadurch wird dem Benutzer ermöglicht, die Co-Registrierungsdaten und/oder die Zuordnungsdaten zu überprüfen und/oder zu verfeinern. Ferner ist es dem Benutzer möglich, die medizinischen Bilder zu vergleichen, um die Probe zu inspizieren, von der die Bilder erhalten werden. Beispielhaft kann die grafische Benutzeroberfläche grafische Darstellungen von zwei oder mehr der Bilder überlagert auf der Anzeige darstellen, um dem Benutzer die Co-Registrierungsdaten sichtbar wahrnehmbar darzustellen.
Zusätzlich oder alternativ kann das System eine Bilderfassungseinheit zum Erfassen der Bilddaten einschließen. Die Bilderfassungseinheit kann als ein Mikroskop konfiguriert sein. Bei dem Mikroskop kann es sich um einen Scanner, insbesondere um einen Objektträger-Scanner handeln. Das Mikroskop kann zur Transmissions- und/oder Reflexionsbildgebung konfiguriert sein. Das Bild wird von einer Gewebeprobe erhalten. Die Gewebeprobe kann aus einer menschlichen oder tierischen Körperregion erhalten werden. Die Bilddaten können Grauwertbilddaten und/oder Farbwertbilddaten einschließen. Die Bilddaten können Zellen und/oder Gewebeabschnitte zeigen. Die mikroskopischen Bilddaten können eine Auflösung aufweisen, die ausreicht, um die Position und/oder die Form eines Zellkerns mit einem Durchmesser von 5 Mikrometern zu bestimmen. Die mikroskopischen Bilddaten können eine Auflösung von besser als 5 Mikrometer oder besser als 3 Mikrometer oder besser als 2 Mikrometer aufweisen.
Die Bilder können aus einer Gewebeprobe erhalten werden, die aus Biopsie- oder Resektionsmaterial entnommen wird. Dadurch kann das System zur Inspektion histopathologischer Bilder verwendet werden. Es ist jedoch auch denkbar, dass die Bilder von einem Abstrich, beispielsweise einem Pap-Abstrich, erhalten werden. Der Pap-Abstrich kann auf einem Objektträger präpariert werden.
Gemäß einer Ausführungsform schließt das Erzeugen der Zuordnungsdaten das Bestimmen eines Identifikationsparameters für jeden der Bildbereiche zum Identifizieren der jeweiligen Bildbereiche aus weiteren Bildbereichen ein, die in demselben Bild enthalten sind. Der Identifikationsparameter kann in Abhängigkeit von den Segmentierungsdaten bestimmt werden.
Gemäß einer Ausführungsform ist eine Vergrößerung der Segmentierungsdaten geringer als eine Vergrößerung der Bilddaten. Die Vergrößerung der Bilddaten und/oder die Vergrößerung der Segmentierungsdaten kann in Längeneinheiten pro Pixel gemessen werden. Eine Vergrößerung von 40 × kann 0,25 Mikrometer pro Pixel entsprechen. Eine Vergrößerung der Bilddaten des Bildes kann innerhalb eines Bereichs von 2,5 × und 15 × oder innerhalb eines Bereichs zwischen 2,5 × und 12 × oder innerhalb eines Bereichs zwischen 2,5 × und 10 × liegen.
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem ferner konfiguriert, um eine Vergrößerung von mindestens einem Teil der Segmentierungsdaten zu verringern, d. h. zu verkleinern, um Segmentierungsdaten mit reduzierter Vergrößerung, d. h. verkleinerte Segmentierungsdaten, zu erhalten. Das Datenverarbeitungssystem kann ferner konfiguriert sein, um die Co-Registrierungsdaten und/oder die Zuordnungsdaten unter Verwendung der Segmentierungsdaten mit reduzierter Vergrößerung zu erzeugen. Zusätzlich oder alternativ kann das Datenverarbeitungssystem einen Klassifikator einschließen, der ein künstliches neuronales Netz einschließt und der konfiguriert ist, um die Segmentierungsdaten in Abhängigkeit von den Bilddaten zu erzeugen. Eine Ausgabe des künstlichen neuronalen Netzes, die von einer Ausgabeschicht des Klassifikators ausgegeben wird, können Segmentierungsdaten mit einer reduzierten Vergrößerung im Vergleich zu den Bilddaten sein, die in eine Eingabeschicht des künstlichen neuronalen Netzes eingegeben werden. Die Segmentierungsdaten, die von dem künstlichen neuronalen Netz ausgegeben werden und die verringerte Vergrößerung aufweisen, können von dem Datenverarbeitungssystem weiter verarbeitet werden, um die Vergrößerung der Segmentierungsdaten weiter zu verringern, bevor die Co-Registrierungsdaten und/oder die Zuordnungsdaten bestimmt werden.
Beispielhaft kann die Vergrößerung der Segmentierungsdaten, die zur Erzeugung der Co-Registrierungsdaten und/oder der Zuordnungsdaten verwendet wird, kleiner als 80 % oder kleiner als 60 % oder kleiner als 50 % oder kleiner als 30 % der Vergrößerung der Bilddaten sein, die zur Gewinnung der Segmentierungsdaten segmentiert werden. Die Vergrößerung der Segmentierungsdaten kann mehr als 0,01 % oder mehr als 0,1 % oder mehr als 1 % oder mehr als 2 % oder mehr als 5 % oder mehr als 7 % oder mehr als 10 % der Vergrößerung der Bilddaten betragen. Wenn beispielhaft die Vergrößerung der Bilder 40× und die Vergrößerung der Segmentierungsdaten ist 0,15 ×, so beträgt die Vergrößerung der Segmentierungsdaten 0,0375 % der Vergrößerung der Bilddaten.
Gemäß einer weiteren Ausführungsform schließen die Segmentierungsdaten für jeden einer Vielzahl von Pixeln der Bilder binäre oder probabilistische Pixelklassifizierungsdaten zum Bereitstellen einer pixelweisen Klassifizierung der Pixel in eine oder mehrere der vordefinierten Klassen ein. Probabilistische Klassifizierungsdaten können als Daten definiert werden, die einen oder mehrere Wahrscheinlichkeitswerte für eine oder mehrere der vordefinierten Klassen einschließen. Binäre Klassifizierungsdaten können als Daten definiert werden, die für eine oder mehrere der vordefinierten Klassen entweder einen Wert, der angibt, dass das Pixel ein Mitglied der Klasse ist, oder einen Wert, der angibt, dass das Pixel kein Mitglied der Klasse ist, einschließen.
Gemäß einer weiteren Ausführungsform schließt das Datenverarbeitungssystem einen Klassifikator ein, der auf überwachtem und/oder unüberwachtem Lernen basiert. Der Klassifikator kann zum Durchführen mindestens eines Abschnitts einer Segmentierung der Bilddaten konfiguriert sein. Die Segmentierung kann die Segmentierungsdaten unter Verwendung mindestens eines Teils der Bilddaten erzeugen.
Gemäß einer weiteren Ausführungsform schließt der Klassifikator ein künstliches neuronales Netz (KNN) ein. Das künstliche neuronale Netz kann eine Eingabeschicht, eine oder mehrere Zwischenschichten und eine Ausgabeschicht einschließen. Das künstliche neuronale Netz kann als konvolutionales neuronales Netz, insbesondere als tiefes konvolutionales neuronales Netz, ausgebildet sein. Insbesondere kann das KNN als ein vollständig konvolutionales KNN konfiguriert sein.
Die Bilddaten, die in den Klassifikator eingegeben werden, insbesondere die Bilddaten, die in das KNN eingegeben werden, können RGB-Bilddaten einschließen und/oder können ein mit Hämatoxylin und Eosin gefärbtes (H&E) Bild einschließen oder darstellen. Basierend auf dem mit H&E gefärbten Bild kann der Klassifikator konfiguriert sein, um eine Menge an Hämatoxylin-Färbung und eine Menge an Eosin-Färbung unter Verwendung von Farbdekonvolution zu bestimmen.
Die Farbdekonvolution kann konfiguriert sein, um eine Trennung der Färbungen der H&E-Färbung durchzuführen. Die Trennung kann mittels einer orthonormalen Transformation der Bilddaten, insbesondere einer orthonormalen Transformation von RGB-Bilddaten der Bilddaten, erfolgen. Die orthonormale Transformation kann konfiguriert sein, um für jede der Färbungen der H&E-Färbung einen oder mehrere separate Werte zu erzeugen, die einen Beitrag der jeweiligen Färbung zu den Bilddaten anzeigen. Die orthonormale Transformation kann normalisiert werden. Die Normalisierung kann konfiguriert sein, um einen Ausgleich des Absorptionsfaktors für jede der Färbungen zu erreichen.
Beispiele für Farbdekonvolutionsalgorithmen, die für die Ausführungsformen der vorliegenden Offenbarung verwendet werden können, sind in dem Artikel „Quantification of histochemical staining by color deconvolution" beschrieben, veröffentlicht in der Zeitschrift „Analytical and Quantitative Cytology and Histology", Bd. 23, Nr. 4, S. 291-299, 2001, verfasst von A. Ruifrok und D. Johnston, dessen Inhalt durch Bezugnahme in seiner Gesamtheit und für alle Zwecke hierin aufgenommen ist. Insbesondere können die in der vorliegenden Offenbarung beschriebenen Ausführungsformen konfiguriert sein, um die im Abschnitt „Theorie“ der obigen Veröffentlichung von Ruifrok beschriebene Farbdekonvolution zu implementieren.
Weitere Beispiele für Farbdekonvolutionsalgorithmen, die für die Ausführungsformen der vorliegenden Offenbarung verwendet werden können, sind in der Veröffentlichung „A method for normalizing histology slides for quantitative analysis" beschrieben, veröffentlicht in der Zeitschrift „Proceedings of the Sixth IEEE International Conference on Symposium on Biomedical Imaging: From Nano to Macro", S. 1107-1110, 2009, verfasst von A. M. Macenko et al. Der Inhalt dieser Veröffentlichung ist hierin in seiner Gesamtheit und für alle Zwecke durch Bezugnahme aufgenommen.
Andererseits ist es auch denkbar, dass der Farbkonvolutionsschritt entfällt und die Bilddaten (wie RGB-Bilddaten) direkt als Eingabe für das KNN verwendet werden. Das System kann konfiguriert sein, um die Bilddaten (wie RGB-Bilddaten) vorzuverarbeiten, bevor die Bilddaten in den Farbdekonvolutionsprozess oder das KNN eingegeben werden. Beispielsweise schließt die Vorverarbeitung eine Rauschentfernung ein.
Ferner ist es auch denkbar, dass das KNN konfiguriert ist, um die Farbdekonvolution durchzuführen. Insbesondere kann das KNN trainiert werden, um sowohl den Farbdekonvolutionsschritt als auch den Klassifizierungsschritt durchzuführen.
Der Klassifikator, insbesondere das KNN, kann konfiguriert sein, um eine Gleitfenster-Klassifizierung durchzuführen. Der Klassifikator, insbesondere das KNN, kann konfiguriert sein, um separat Segmentierungsdaten für jeden einer Vielzahl von Bildabschnitten in einer sequenziellen Weise zu erzeugen. Jeder der Bildausschnitte kann ein rechteckiger, insbesondere ein quadratischer Bildausschnitt sein, der dem Fenster des Gleitfenster-Klassifikators entspricht. Für jeden der Bildabschnitte können die Segmentierungsdaten vollständig konvolutional erzeugt werden. Jeder der Bildabschnitte kann mit mindestens einem weiteren der Bildabschnitte überlappen. Beispielhaft weist die Höhe und/oder die Breite jedes der Bildabschnitte einen Wert zwischen 1.000 Pixel und 4.000 Pixel auf. Ein Beispiel für eine Gleitfenster-Klassifizierung, die für die in dieser Offenbarung beschriebenen Ausführungsformen verwendet werden kann, ist in dem Artikel „Fully Convolutional Networks for Segmantic Segmentation" dargelegt, der eine Konferenzabhandlung ist, die in der „2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)", S. 3431-3440 veröffentlicht wurde und von Jonathan Long, Evan Shelhamer und Trevor Darrel verfasst wurde. Der Inhalt dieser Veröffentlichung ist hierin in seiner Gesamtheit und für alle Zwecke aufgenommen. Es hat sich gezeigt, dass der in dieser Druckschrift beschriebene Schritt des Verschiebens und Stechens entfallen kann.
Das KNN kann ein Sichtfeld in den Bilddaten aufweisen, das einer rechteckigen oder quadratischen Gruppe von Pixeln entspricht. Jede der Gruppen von Pixeln kann mit mindestens einer weiteren Gruppe von Pixeln überlappen. Beispielsweise kann die Breite und/oder die Höhe der Gruppe von Pixeln kleiner als 100 Pixel oder kleiner als 80 Pixel sein, wie beispielsweise 57 × 57 Pixel. Das Erzeugen der Segmentierungsdaten kann das Klassifizieren jeder der Gruppen von Pixeln einschließen. Für jede der Gruppen von Pixeln schließt die Klassifizierung der jeweiligen Gruppe das Erzeugen binärer oder probabilistischer Klassifizierungsdaten ein, welche die jeweilige Gruppe von Pixeln in eine oder mehrere der vordefinierten Klassen von Bildinhalt klassifizieren. Das KNN kann eine Eingabeschicht und eine Ausgabeschicht und mindestens einen Block von Schichten einschließen, der sich zwischen der Eingabeschicht und der Ausgabeschicht befindet. Der Block von Schichten schließt eine, zwei oder mehr Schichtgruppen ein, von denen jede eine Faltungsschicht, eine Stapelnormalisierungsschicht und eine nichtlineare Aktivierungsschicht einschließt. In den Schichtgruppen kann die Faltungsschicht vor der Stapelnormalisierungsschicht angeordnet sein, die wiederum vor der nichtlinearen Aktivierungsschicht angeordnet sein kann. Für jede der Gruppen sind jedoch auch andere Reihenfolgen denkbar. Die Gruppen können die gleiche Reihenfolge aufweisen, es ist jedoch auch denkbar, dass die Gruppen unterschiedliche Reihenfolgen aufweisen. Jeder der Blöcke von Schichten kann ferner eine räumliche Dropout-Schicht einschließen, die der einen oder den mehreren Schichtgruppen des jeweiligen Blocks nachgelagert angeordnet ist. Zwischen dem Block von Schichten und der Ausgabeschicht kann eine Softmax-Schicht angeordnet sein. Zwischen der Softmax-Schicht und dem Block von Schichten kann eine weitere Schichtgruppe bestehend aus einer Faltungsschicht, einer Stapelnormalisierungsschicht und einer nichtlinearen Aktivierungsschicht angeordnet sein.
Das KNN kann mehr als einen Block von Schichten einschließen, von denen jeder in einer der oben beschriebenen Konfigurationen ist, wobei die Konfigurationen der Blöcke gleich oder voneinander verschieden sein können. Zwischen jedem Paar des Blocks von Schichten kann eine Max-Pool-Schicht angeordnet sein.
Gemäß einer weiteren Ausführungsform ist mindestens eine der einen oder mehreren vordefinierten Klassen eine Klasse, die Bildbereiche darstellt, die durch eine oder mehrere Gewebearten gebildet werden.
Gemäß einer weiteren Ausführungsform umfassen die eine oder die mehreren vordefinierten Klassen eine oder eine Kombination von Klassen, die Bildbereiche darstellen, die durch Fettgewebe gebildet werden; eine Klasse, die Bildbereiche darstellt, die frei von Probenmaterial sind; und eine Klasse, die Bildbereiche darstellt, die durch Nichtfettgewebe gebildet werden.
Gemäß einer weiteren Ausführungsform stellen die Bildbereiche, für die Zuordnungsdaten erzeugt werden, isolierte Gewebeabschnitte dar.
Die isolierten Gewebeabschnitte können durch gewebefreie Bereiche voneinander getrennt sein. In jedem der Bildbereiche können die isolierten Gewebeabschnitte als nicht miteinander verbundene Gewebeabschnitte sichtbar sein. Mit anderen Worten kann jeder der Gewebeabschnitte von einem Bereich umgeben sein, der einen gewebefreien Bereich oder einen Bereich frei von Probenmaterial darstellt.
Gemäß einer weiteren Ausführungsform umfasst das Datenverarbeitungssystem eine grafische Benutzeroberfläche. Das Datenverarbeitungssystem kann konfiguriert sein, dem Benutzer eine grafische Darstellung darzustellen, die einen oder mehrere Parameter der Co-Registrierungsdaten und/oder einen oder mehrere Parameter der Zuordnungsdaten visuell anzeigt.
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem konfiguriert, um die Zuordnungsdaten zu verwenden, um die Co-Registrierungsdaten zu erzeugen.
Gemäß einer weiteren Ausführungsform umfasst das System ferner eine Bilderfassungseinheit, die konfiguriert ist, um eine oder mehrere Proben zu empfangen, von denen jede die Zellen umfasst. Die Bilderfassungseinheit kann ferner konfiguriert sein, um die Bilddaten von der einen oder den mehreren Proben zu erfassen.
Ausführungsformen der vorliegenden Offenbarung betreffen ein Verfahren zum Analysieren mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems. Das Verfahren umfasst das Lesen und/oder Erzeugen von Segmentierungsdaten für jedes der Bilder durch das Datenverarbeitungssystem. Für jedes der Bilder zeigen die Segmentierungsdaten eine Segmentierung von mindestens einem Abschnitt des jeweiligen Bildes in einen oder mehrere Bildbereiche an, so dass jeder der Bildbereiche ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist. Das Verfahren umfasst ferner mindestens eines von: (a) Erzeugen von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten, die sich von den Bildern unterscheiden; und/oder (b) Erzeugen von Zuordnungsdaten unter Verwendung mindestens von Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Gemäß einer Ausführungsform schließt das Verfahren ferner das Erzeugen eines ersten Bildes der Bilder und eines zweiten Bildes der Bilder ein, wobei das erste Bild eine Probe zeigt, die unter Verwendung einer ersten Färbung gefärbt wird, und das zweite Bild eine unterschiedliche und/oder dieselbe Probe zeigt, die unter Verwendung einer zweiten Färbung gefärbt wird. Das erste und das zweite Bild können unterschiedliche Probenfärbungen zeigen.
Gemäß einer weiteren Ausführungsform schließt die erste Färbung H&E ein und das zweite Bild wird unter Verwendung von Immunhistochemie gefärbt.
Die vorliegende Offenbarung betrifft ferner ein Programmelement zur Analyse mikroskopischer Bilddaten, die von Zellen erhalten werden. Die Analyse wird mittels eines Datenverarbeitungssystems durchgeführt. Das Programmelement ist, wenn es von einem Prozessor des Datenverarbeitungssystems ausgeführt wird, dazu angepasst, das Lesen und/oder Erzeugen von Segmentierungsdaten durch das Datenverarbeitungssystem für jedes der Bilder durchzuführen. Für jedes der Bilder zeigen die Segmentierungsdaten eine Segmentierung von mindestens einem Abschnitt des jeweiligen Bildes in einen oder mehrere Bildbereiche an, so dass jeder der Bildbereiche ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist. Das Programmelement, wenn es von einem Prozessor des Datenverarbeitungssystems ausgeführt wird, ist dazu angepasst, Folgendes auszuführen: (a) Erzeugen von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten, die sich von den Bildern unterscheiden; und/oder (b) Erzeugen von Zuordnungsdaten unter Verwendung mindestens von Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Die vorliegende Offenbarung betrifft ferner ein computerlesbares Medium, auf dem das hierin beschriebene Computerprogrammelement gespeichert ist.
Figurenliste

1 ist eine schematische Veranschaulichung eines Systems zur Analyse mikroskopischer Bilddaten gemäß einer beispielhaften Ausführungsform;
2 ist eine schematische Veranschaulichung eines Abschnitts von Fettgewebe, wobei Fettgewebe eine Klasse zum Segmentieren von Bilddaten ist, welche durch das System gemäß der in 1 gezeigten ersten beispielhaften Ausführungsform durchgeführt wird,
Die 3A und 3B sind schematische Veranschaulichungen von Segmentierungsdaten, die aus Bildern abgerufen werden, die Gewebeschnitte zeigen, die von einer gleichen Biopsieprobe entnommen wurden, wobei die Segmentierungsdaten von dem System gemäß der ersten beispielhaften Ausführungsform, die in 1 gezeigt ist, zum Erzeugen von Co-Registrierungsdaten Daten und/oder Zuordnungsdaten verwendet werden;
4 ist eine schematische Veranschaulichung eines künstlichen neuronalen Netzes, das durch das System zur Analyse mikroskopischer Bilddaten gemäß der ersten beispielhaften Ausführungsform, die in 1 gezeigt ist, implementiert wird;
Die 5A und 5B sind schematische Veranschaulichungen von Bildern, die unter Verwendung eines Systems zur Analyse mikroskopischer Bilddaten gemäß einer zweiten beispielhaften Ausführungsform analysiert werden; und
6 ist ein Flussdiagramm eines beispielhaften Verfahrens zum Analysieren mikroskopischer Daten gemäß einer beispielhaften Ausführungsform.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
1 veranschaulicht schematisch ein System 1 zur Analyse mikroskopischer Bilddaten, die von Zellen erhalten wurden, gemäß einer beispielhaften Ausführungsform. Das System 1 schließt ein Datenverarbeitungssystem 2 ein, das als eigenständiger Rechner konfiguriert ist. Es ist aber auch denkbar, dass das Datenverarbeitungssystem 2 als verteiltes Rechnersystem konfiguriert ist, das ein Rechnernetz 3 wie das Internet oder ein lokales Netzwerk (LAN), verwendet. Das Datenverarbeitungssystem 2 schließt eine Anzeigevorrichtung 4 und Eingabevorrichtungen ein, wie eine Tastatur 5 und eine Computermaus 6, die eine Benutzerinteraktion über eine grafische Benutzeroberfläche des Datenverarbeitungssystems 2 ermöglichen.
Das Datenverarbeitungssystem 2 ist konfiguriert, um mikroskopische Bilddaten zu lesen, die unter Verwendung einer Bilderfassungseinheit 7 erzeugt werden. In der beispielhaften Ausführungsform handelt es sich bei der Bilderfassungseinheit 7 um einen Slide-Scanner, wie einen Whole-Slide-Scanner, der dazu konfiguriert ist, ein Bild von Zellen zu erfassen, die auf einem Objektträger 8 abgelegt sind. Es versteht sich, dass die Erfindung nicht auf Objektträgerscanner beschränkt ist. Es ist auch denkbar, dass andere Arten von Mikroskopsystemen zur Erfassung der mikroskopischen Bilddaten verwendet werden. Die Bilddaten können Grauwertbilddaten und/oder Farbwertbilddaten einschließen.
Das Objekt 9 kann ein Gewebeschnitt aus Biopsie- oder Resektionsmaterial sein, so dass das System 1 zur Inspektion histopathologischer Bilder verwendet wird. Es ist jedoch auch denkbar, dass es sich bei dem Objekt 9 um einen Abstrich wie z. B. einen Pap-Abstrich handelt, der auf dem Objektträger 8 präpariert wurde.
Wie ferner in 1 veranschaulicht, wird das Objekt 9 vor der Aufnahme des Bildes unter Verwendung einer Färbung 10, wie einer H&E-Färbung, gefärbt, um zwischen Zellen mit unterschiedlichem morphologischem Erscheinungsbild unterscheiden zu können. Eine alternative Färbung ist die immunhistochemische (IHC) Färbung, die den Prozess des selektiven Zuordnens von Antigenen (Proteinen) in Zellen eines Gewebeschnitts unter Ausnutzung des Prinzips der spezifischen Bindung von Antikörpern an Antigene in biologischen Geweben beinhaltet, wodurch Zellen mit ähnlichem Aussehen unterschieden werden können. Die vorliegende Offenbarung ist jedoch nicht auf diese Färbungen beschränkt, und andere Färbungsverfahren sind denkbar.
Die Bilddaten, die mit der Bilderfassungseinheit 10 erfasst wurden, werden von einem Klassifikator des Datenverarbeitungssystems 2 analysiert, um eine pixelweise Klassifizierung der Bilddaten durchzuführen. Durch pixelweise Klassifizierung erhält man Segmentierungsdaten, die für jedes der Pixel der Bilddaten binäre oder probabilistische Klassifizierungsdaten einschließen. Probabilistische Klassifizierungsdaten geben für eine oder mehrere der vordefinierten Klassen eine Wahrscheinlichkeit an, dass das Pixel Teil eines Bereichs ist, der ein Mitglied der jeweiligen Klasse ist. Binäre Klassifizierungsdaten geben für eine oder mehrere der vordefinierten Klassen an, dass das Pixel Teil eines Bereichs ist oder nicht, der ein Mitglied der jeweiligen Klasse ist. Mindestens eine der vordefinierten Klassen kann eine Klasse sein, die Bildbereiche darstellt, die durch eine oder mehrere Gewebearten gebildet werden, wie beispielsweise eine Klasse, die Bildbereiche darstellt, die durch Fettgewebe gebildet werden.
In der beispielhaften Ausführungsform schließen die vordefinierten Klassen eine Klasse ein, die durch Fettgewebe gebildete Bildbereiche darstellt, eine Klasse, die Bildbereiche frei von Probenmaterial darstellt, und eine Klasse, die durch Nichtfettgewebe gebildete Bildbereiche darstellt, ein. Eine zusätzliche Klasse kann für Pixel bereitgestellt sein, die nur einen oder mehrere niedrige Werte (niedrig im Vergleich zu einem Wert von 1) von probabilistischen Klassifizierungsdaten für eine oder mehrere der verbleibenden Klassen (d. h. keine signifikanten Wahrscheinlichkeitswerte für eine der verbleibenden Klassen) aufweisen. Diese zusätzliche Klasse stellt also eine Klasse „unbekannt“ dar. Dadurch bleibt die Unsicherheit über den Klassentyp für eine zukünftige Inspektion sichtbar. Beispielhaft wird in einem ersten Bild ein Gewebestück mit 50 % Fett und 50 % anderem Gewebe identifiziert, und in einem zweiten Bild gibt es kein Gewebestück mit diesen Eigenschaften und ein Stück mit 30 % Fett, 50 % anderen Gewebes, und 20 % dieser zusätzlichen Klasse („unbekannt“) wird gefunden, dann besteht eine vergleichsweise hohe Wahrscheinlichkeit, dass diese Stücke übereinstimmen, und diese 20 %, die als „unbekannt“ klassifiziert wurden, war tatsächlich Fettgewebe.
Fettgewebe (auch als adipöses Gewebe bezeichnet) kann als Gewebe definiert werden, das vorwiegend aus Adipozyten (Fettzellen) besteht. Diese Zellen sind auf die Speicherung von Energie als Fett spezialisiert. 2 zeigt eine Gruppe von Fettzellen innerhalb von Fettgewebe. Fettzellen sind vergleichsweise große Zellen, die Fett enthalten, das - wie aus 2 ersichtlich - von einer glatten und dünnen Zellwand umschlossen ist. Nach im Wesentlichen allen Probenvorbereitungsverfahren, die in der digitalen Pathologie weit verbreitet sind (wie Anfärben mit H&E und IHC), wird der Fettgehalt in der Regel entfernt, wobei nur die dünne Zellwand zurückbleibt, so dass die verbleibende Struktur von Fettgewebe im Wesentlichen unabhängig von dem angewandten Probenvorbereitungsverfahren ist. Wie nachfolgend erläutert wird, kann dies vorteilhaft zur Co-Registrierung von Bildern auch in Situationen verwendet werden, in denen Bilder verglichen werden, auf die unterschiedliche Probenvorbereitungsverfahren (wie beispielsweise unterschiedliche Färbungen) angewendet wurden. Die Erfinder haben ferner herausgefunden, dass ein solches Verfahren zum Co-Registrieren der Bilder auch in Situationen zu robusten Ergebnissen führt, in denen Bilder von Gewebeschnitten verglichen werden, die weit getrennte Abschnitte der Biopsieprobe darstellen, oder wenn die Form der Gewebeschnitte während des Probenvorbereitungsverfahrens modifiziert wurde (z. B., indem die Gewebeschnitte beschädigt wurden, so dass Gewebe zerrissen wurde, oder indem Gewebefalten erzeugt wurden). Bei benachbarten Gewebeschnitten beginnt die Übereinstimmung in der Morphologie bereits auf der Ebene der Kerne zu differieren, da einige der Kerne in einem Schnitt vorhanden sein können und im benachbarten Schnitt nicht vorhanden sind. Vergrößert sich der Abstand zwischen den beiden Schnitten, so bewegt sich die Detailtiefe, bei der Übereinstimmungen beobachtet werden, zu den gröberen Strukturen. Mit anderen Worten wird die Vergrößerungsstufe, bei der morphologische Übereinstimmungen beobachtet werden, geringer.
Die 3A und 3B sind jeweils Veranschaulichungen von Segmentierungsdaten, die von einem jeweiligen Gewebeschnitt erhalten wurden, der unter Verwendung von H&E gefärbt wurde, wobei beide Gewebeschnitte einer gleichen Biopsieprobe entnommen wurden. In Bildern, die mit H&E gefärbt wurden, wird der Kontrast zwischen Gewebestrukturen mit einer Kombination von rosa (Eosin) und blauen (Hämatoxylin) Farbstoffen visualisiert. Da die Gewebeschnitte nicht identisch sind, können sich das Aussehen von Farbe und Kontrast von Gewebestrukturen sehr stark unterscheiden, wenn nur die gefärbten Proben betrachtet werden. Daher scheitern herkömmliche Techniken der Registrierung oft an der unzureichenden Anzahl entsprechender Merkmale.
Jede der 3A und 3B sind Bilder, die auf vier Grauwerten basieren, wobei jeder der Grauwerte eine von vier vordefinierten Klassen darstellt. Die vordefinierten Klassen, die verwendet wurden, um die Bilder der 3A und 3B zu segmentieren, schlossen ein: eine erste Klasse, die Bildbereiche von Hintergrund und Artefakten darstellt (bezeichnet mit der Bezugsziffer 13 und unter Verwendung der hellsten Graustufenschattierung angezeigt), eine zweite Klasse, die Bildbereiche darstellt, die durch Epithelgewebe gebildet werden (bezeichnet mit der Bezugsziffer 14 und unter Verwendung der dunkelsten Graustufenschattierung angezeigt), eine dritte Klasse, die Bildbereiche einschließt, die durch Bindegewebe mit Ausnahme von Fettgewebe gebildet werden (bezeichnet mit der Bezugsziffer 15 und unter Verwendung einer Zwischengraustufenschattierung angezeigt), und eine vierte Klasse, die Bildbereiche einschließt, die durch Fettgewebe gebildet werden (bezeichnet mit der Bezugsziffer 16 und unter Verwendung einer Zwischengraustufenschattierung angezeigt, die dunkler ist als die für das Bindegewebe verwendete Graustufenschattierung).
Es ist denkbar, dass der Klassifikator auf Proben trainiert wird, die unterschiedliche Probenfärbungen darstellen (wie Probenfärbungen mit H&E und Probenfärbungen mit IHC). Alternativ können ein oder mehrere Klassifikatoren bereitgestellt sein, die jeweils auf eine der Probenfärbungen trainiert sind.
Wie aus dem Vergleich der Segmentierungsdaten in den 3A und 3B ersichtlich, ist die Ausdehnung des durch Fettgewebe gebildeten Bildbereichs 16 in 3A dem entsprechenden durch Fettgewebe gebildeten Bildbereich 16 in 3B sehr ähnlich. Es wurde von den Erfindern gezeigt, dass dieser hohe Ähnlichkeitsgrad eine genaue Bestimmung der Co-Registrierungsdaten ermöglicht, indem Teile der Segmentierungsdaten verwendet werden, die auf das Fettgewebe hinweisen.
Die Co-Registrierungsdaten können einen oder mehrere Parameter einer Position und/oder Ausrichtung der Bilder relativ zueinander einschließen. Insbesondere können die Co-Registrierungsdaten einen oder mehrere Parameter eines Translationsvektors und/oder eines Drehwinkels zwischen den Bildern einschließen. Ferner wurde von den Erfindern gezeigt, dass eine ausreichend hohe Genauigkeit erzielt werden kann, wenn andere Gewebe als Fettgewebe zur Bestimmung der Co-Registrierungsdaten verwendet werden.
Wie auch durch Vergleichen der Segmentierungsdaten der 3A und 3B zu erkennen ist, weist auch die Klasse für Hintergrund und Artefakte (bezeichnet mit der Bezugsziffer 13) ein hohes Maß an Ähnlichkeit auf.
Die Erfinder haben ferner gezeigt, dass die Verwendung einer oder einer Kombination der folgenden Klassen besonders vorteilhaft ist, um hochgenaue Co-Registrierungsdaten zu erhalten, die robust gegenüber Variationen in Probenvorbereitungsprotokollen sind: eine erste Klasse, die Bildbereiche darstellt, die frei von Probenmaterial sind, eine zweite Klasse, die Bildbereiche darstellt, die durch Nichtfettgewebe gebildet sind, und eine dritte Klasse, die Bildbereiche repräsentiert, die durch Fettgewebe gebildet sind.
Die Erfinder haben herausgefunden, dass die erzielbare Genauigkeit und/oder Robustheit umso höher ist, je mehr Klassen in beiden Bildern konsistent unterschieden werden können.
Wie durch die Bilder der 3A und 3B veranschaulicht wurde, können die binären oder probabilistischen Pixelklassifizierungsdaten eines Bildes als ein Klassifizierungsbild betrachtet werden, wobei jedes Pixel des Klassifizierungsbildes einen oder mehrere Pixeldatenwerte aufweist, welche die eine oder die mehreren Klassen (oder die Wahrscheinlichkeitswerte für die eine oder die mehreren Klassen) angeben, denen das jeweilige Pixel zugeordnet ist. Die Erfinder haben herausgefunden, dass es vorteilhaft ist, ein verkleinertes Klassifizierungsbild zu erzeugen, auf dessen Grundlage die Co-Registrierungsdaten und/oder die Zuordnungsdaten (die Erzeugung von Zuordnungsdaten wird weiter unten im Zusammenhang mit den 5A und 5B erläutert) von den Klassifizierungsdaten abhängen. Dadurch kann der Rechenaufwand, der notwendig ist, um die Co-Registrierungsdaten und/oder Zuordnungsdaten basierend auf den Segmentierungsdaten zu bestimmen, deutlich reduziert werden. Ferner reduziert das verkleinerte Klassifikationsbild kleine Strukturen, die für die Bestimmung der Co-Registrierungsdaten und/oder der Zuordnungsdaten, die weiter unten im Zusammenhang mit den 5A und 5B erläutert werden, weniger nützlich sind.
Beispielhaft kann die Vergrößerung der Segmentierungsdaten, die zur Erzeugung der Co-Registrierungsdaten und/oder der Zuordnungsdaten verwendet wird, kleiner als 80 % oder kleiner als 60 % oder kleiner als 50 % oder kleiner als 30 % der Vergrößerung der Bilddaten sein. Die Vergrößerung der Segmentierungsdaten kann mehr als 0,01 % oder mehr als 0,1 % oder mehr als 1 % oder mehr als 2 % oder mehr als 5 % oder mehr als 7 % oder mehr als 10 % der Vergrößerung der Bilddaten betragen.
Wie weiter unten ausführlich beschrieben wird, werden die binären oder probabilistischen Pixelklassifizierungsdaten unter Verwendung eines Klassifikators für maschinelles Lernen erzeugt. Der Klassifikator kann so konfiguriert sein, dass das Ausgabebild des Klassifikators (wie das von der Ausgabeschicht eines künstlichen Netzes ausgegebene Bild) die verkleinerten Pixelklassifizierungsdaten darstellt. Mit anderen Worten werden die Schritte Klassifizieren und Verkleinern gleichzeitig durchgeführt (z. B. durch die Schichten des künstlichen neuronalen Netzes). Zusätzlich oder alternativ kann die Verkleinerung nach Abschluss des Schritts des Klassifizierens und vor dem Schritt des Bestimmens der Co-Registrierungsdaten und/oder der Zuordnungsdaten in Abhängigkeit von den Segmentierungsdaten durchgeführt werden. Beispielhaft kann die Verkleinerung durch Mittelung (probabilistischer oder binärer) Pixelklassifizierungsdaten derjenigen Pixel erfolgen, die einem gleichen Pixel des verkleinerten Klassifizierungsbildes zugeordnet sind. Zusätzlich oder alternativ können jedoch auch andere Verfahren zur Verkleinerung von Bilddaten zur Erzeugung des verkleinerten Pixelklassifizierungsbildes angewendet werden.
Es ist ferner denkbar, dass die Segmentierungsdaten keine pixelweise Klassifizierung (d. h. eine Klassifizierung auf Pixelebene) darstellen. Beispielhaft können die Segmentierungsdaten Grenzen eines oder mehrerer segmentierter Bildbereiche definieren. Die Bildbereichsgrenzen können unter Verwendung von Koordinaten (wie Koordinaten einer Polygondarstellung) oder Kurvenparametern (wie Krümmungsradien) definiert werden, die mindestens teilweise die Position der Grenzen innerhalb des Bildes definieren. Auch solche Klassifizierungsdaten, die keine pixelweise Klassifikation darstellen, können verkleinert werden, um die Verarbeitungsgeschwindigkeit zum Bestimmen der Co-Registrierungsdaten zu erhöhen. Insbesondere kann eine solche Verkleinerung zu einer Verringerung der Anzahl von Parametern führen, die zur Beschreibung der Grenzen der segmentierten Bildbereiche verwendet werden. Bei der Verkleinerung von Segmentierungsdaten, die Parameter zur Grenzdefinition einschließen, können die Parameter mit einem Skalierungsfaktor skaliert werden, der den Verkleinerungsfaktor darstellt oder abhängig von diesem bestimmt wird.
In dem Datenverarbeitungssystem 2 (gezeigt in 1) gemäß dem ersten Ausführungsbeispiel wird die Segmentierung unter Verwendung eines maschinellen Lernalgorithmus durchgeführt, der konfiguriert ist, um mindestens einen Teil der Operationen zum Segmentieren der Bilddaten durchzuführen. Das maschinelle Lernen kann durch überwachtes und/oder unüberwachtes Lernen durchgeführt werden. In der beispielhaften Ausführungsform ist der maschinelle Lernalgorithmus unter Verwendung eines künstlichen neuronalen Netzes (KNN) implementiert. Es ist jedoch denkbar, dass die Segmentierung der Bilddaten mit anderen Segmentierungstechniken als maschinellem Lernen durchgeführt wird. Beispielhaft kann die Segmentierung mindestens teilweise unter Verwendung von Bildverarbeitungstechniken, wie Kantendetektion, durchgeführt werden.
4 ist eine schematische Veranschaulichung eines KNN 19. Das KNN 19 schließt eine Vielzahl von neuronalen Verarbeitungseinheiten 20a, 20b, ... 24b ein. Die neuronalen Verarbeitungseinheiten 20a, 20b, ... 24b sind über mehrere Verbindungen 18, die jeweils ein Verbindungsgewicht aufweisen, zu einem Netzwerk verbunden. Jede der Verbindungen 18 verbindet eine neuronale Verarbeitungseinheit einer ersten Schicht des KNN 19 mit einer neuronalen Verarbeitungseinheit einer zweiten Schicht des KNN 19, die der ersten Schicht unmittelbar folgt oder vorausgeht. Dadurch weist das künstliche neuronale Netz einen Schichtaufbau auf, der eine Eingabeschicht 21, mindestens eine Zwischenschicht 23 (auch versteckte Schicht genannt) und eine Ausgabeschicht 25 einschließt. In 4a ist nur eine der Zwischenschichten 23 schematisch veranschaulicht. Es wird jedoch in Betracht gezogen, dass das KNN 19 mehr als 5 oder mehr als 10 oder mehr als 100 Zwischenschichten einschließen kann. Insbesondere kann das KNN als tiefes künstliches neuronales Netz konfiguriert sein. Die Anzahl der Schichten kann weniger als 5000, weniger als 2000 oder weniger als 1000 oder weniger als 500 oder weniger als 300 betragen.
Zusätzlich oder alternativ kann das KNN als ein konvolutionales neuronales Netz konfiguriert sein. Der Begriff „konvolutionales neuronales Netz“ kann hierin als ein künstliches neuronales Netz mit mindestens einer Faltungsschicht definiert sein. Eine Faltungsschicht kann als eine Schicht definiert sein, die eine Faltung auf die vorherige Schicht anwendet. Die Faltungsschicht kann eine Vielzahl von Neuronen einschließen, wobei jedes Neuron Eingaben von einem vordefinierten Abschnitt der vorherigen Schicht empfängt. Der vordefinierte Abschnitt kann auch als lokales Empfangsfeld bezeichnet werden. Die Gewichte für den vordefinierten Abschnitt können für jedes Neuron in der Faltungsschicht gleich sein. Dadurch kann die Faltungsschicht durch die zwei Konzepte von Gewichtsteilung und Feldübernahme definiert werden.
Um die Co-Registrierungsdaten in Abhängigkeit von dem Ausmaß des Fettgewebes innerhalb der Bilder zu bestimmen, kann das Datenverarbeitungssystem konfiguriert sein, um eine generalisierte Procrustes-Analyse und/oder einen numerischen Suchalgorithmus zu implementieren, die/der einen oder mehrere Parameter eines Translationsvektors und/oder eines Rotationswinkels zwischen den Bildern der 3A und 3B variiert, um eine maximale Überlappung zwischen den Fettgewebebereichen beider Bilder zu bestimmen. Es versteht sich jedoch, dass die vorliegende Offenbarung nicht auf Suchalgorithmen zum Bestimmen von Co-Registrierungsdaten beschränkt ist. Beispielsweise können zur Bestimmung der Co-Registrierungsdaten in Abhängigkeit von den (verkleinerten oder nicht verkleinerten) Segmentierungsdaten eine oder mehrere der folgenden Prozeduren angewendet werden: Algorithmen zur Oberflächenregistrierung wie der „Iterative Closest Point“ Algorithmus, der „Head and Hat“ Algorithmus, auf Abstandstransformation basierte Algorithmen. Oder Bilder, welche die gemeinsamen Informationen zwischen den Klassifizierungsergebnissen von Paaren von Gewebestücken in beiden Bildern optimieren.
Die Ermittlung der Co-Registrierungsdaten kann automatisch oder halbautomatisch (d. h. eine Benutzerinteraktion erfordernd) erfolgen. Insbesondere kann das Datenverarbeitungssystem 2 (in 1 gezeigt) eine grafische Benutzeroberfläche einschließen.
Es wurde von den Erfindern gezeigt, dass ein ausreichend hohes Maß an Genauigkeit und Robustheit der Co-Registrierungsdaten erhalten werden kann, wenn die Segmentierung basierend auf Bilddaten durchgeführt wird, die eine Vergrößerung gleich oder größer als 5×, gleich oder größer als 10 × oder gleich oder größer als 20 × aufweisen. Die erforderliche Auflösung hängt von dem Detail ab, das zur Unterscheidung der vorgegebenen Klassen erforderlich ist. Bei einer Auflösung von 5 × wird die dünne Zellwand von Fettzellen ordnungsgemäß im Bild erfasst.
Obwohl die Segmentierung bei solchen vergleichsweise hohen Vergrößerungen zeitraubend sein kann, können die Ergebnisse der Segmentierung später bei der Analyse der Bilddaten wiederverwendet werden.
Das Datenverarbeitungssystem 2 (in 1 gezeigt) schließt eine grafische Benutzeroberfläche ein, die konfiguriert ist, um auf der Anzeigevorrichtung des Datenverarbeitungssystems eine grafische Darstellung von co-registrierten Bildern in Abhängigkeit von den co-registrierten Daten anzuzeigen. Beispielhaft können zwei oder mehr Bilder einander überlagert dargestellt werden. Dies ermöglicht dem Benutzer, in beiden Bildern enthaltene Merkmale zu vergleichen. Zusätzlich oder alternativ kann die grafische Benutzeroberfläche konfiguriert sein, dem Benutzer zu ermöglichen, einen Bildbereich in dem ersten Bereich auszuwählen, und die grafische Benutzeroberfläche gibt - unter Verwendung einer Kennung - den entsprechenden Bildbereich in mindestens einem zweiten Bild in Abhängigkeit von den Co-Registrierungsdaten an. Dabei erzeugt die grafische Benutzeroberfläche grafische Darstellungen, die in Abhängigkeit von den Co-Registrierungsdaten erzeugt werden. Zusätzlich oder alternativ kann das Datenverarbeitungssystem konfiguriert sein, um die Co-Registrierungsdaten zu verwenden, um eine 3D-Rekonstruktion der Probe zu erhalten.
Die 5A und 5B sind schematische Veranschaulichungen von Bildern, die unter Verwendung eines Systems zur Analyse mikroskopischer Bilddaten gemäß einer zweiten beispielhaften Ausführungsform analysiert werden. In ähnlicher Weise wie bei dem in 1 gezeigten ersten Ausführungsbeispiel schließt das System gemäß der zweiten Ausführungsform ein (eigenständiges oder verteiltes) Datenverarbeitungssystem ein, das einen Klassifikator für maschinelles Lernen (wie beispielsweise ein künstliches neuronales Netz) implementiert und das in Signalkommunikation mit einer Bilderfassungseinheit stehen kann. Zusätzlich kann das System gemäß der zweiten beispielhaften Ausführungsform einen Abschnitt oder alle Merkmale des Systems gemäß der ersten beispielhaften Ausführungsform einschließen.
Die 5A und 5B zeigen Bilder, die von einer Gewebeprobe aufgenommen wurden, die eine Vielzahl von Gewebeabschnitten einschließt. 5A zeigt die mit einer ersten Färbung gefärbten Gewebeabschnitte und 5B zeigt die gleichen Gewebeabschnitte nach erneuter Färbung mit einer zweiten Färbung. Aufgrund der Probenvorbereitungsschritte zwischen dem Bild 17 von 5A und dem Bild 23 von 5B und/oder aufgrund von Positionsunterschieden, die durch das Abtasten der Proben verursacht werden, weisen die Gewebeabschnitte in dem Bild 23 im Vergleich zu dem Bild 17 unterschiedliche Positionen und Orientierung auf. Ferner unterscheiden sich in dem Bild 23 die Außengrenzen der Gewebeabschnitte im Vergleich zu dem Bild 17, was es erschwert, eine Zuordnung zwischen den Gewebeabschnitten beider Bilder aus der Form ihrer Außengrenzen zu bestimmen.
Die Erfinder haben herausgefunden, dass es möglich ist, effizient und genau Zuordnungsdaten zum Bestimmen einer Zuordnung (d. h. einer funktionellen Beziehung) zwischen den Gewebeabschnitten von 5A und den Gewebeabschnitten von 5B zu bestimmen. Die Ermittlung der Zuordnungsdaten erfolgt unter Verwendung von Segmentierungsdaten, die in gleicher Weise ermittelt werden, wie dies oben im Zusammenhang mit dem ersten Ausführungsbeispiel beschrieben wurde.
In gleicher Weise wie im Zusammenhang mit der ersten beispielhaften Ausführungsform erörtert, können die vordefinierten Klassen eine oder mehrere Klassen einschließen, die Bereiche darstellen, die durch einen oder mehrere Gewebetypen gebildet werden. Insbesondere können die vordefinierten Klassen eine oder eine Kombination aus einer ersten Klasse, die durch Fettgewebe gebildete Bildbereiche darstellt, einer zweiten Klasse, die durch Nichtfettgewebe gebildete Bildbereiche darstellt, und einer dritten Klasse, die probenmaterialfreie Bildbereiche darstellt, einschließen. Die vordefinierten Klassen können ferner eine Klasse für Artefakte einschließen. Weitere Klassen von Gewebetypen sind eine Klasse, die durch Epithelgewebe gebildete Bildbereiche und eine Klasse, die durch Bindegewebe gebildete Bildbereiche darstellt.
Dabei wird jeder der Gewebeabschnitte in einen oder eine Vielzahl von Bildbereichen segmentiert, von denen jeder einen Bereich darstellt, der zu einer oder mehreren der vordefinierten Klassen gehört. Es wurde von den Erfindern gezeigt, dass aus den Segmentierungsdaten für jeden der Gewebeabschnitte Identifikationsparameter extrahiert werden können, die eine Identifizierung desselben Gewebeabschnitts in beiden Bildern ermöglichen. Das Datenverarbeitungssystem kann konfiguriert sein, um für jeden der Gewebeabschnitte einen Parameter zu bestimmen, der von einer Fläche eines Bildbereichs abhängt, der durch einen oder mehrere vorbestimmte Gewebetypen gebildet wird. Beispielhaft ist das System gemäß der zweiten beispielhaften Ausführungsform konfiguriert, um für jeden der Gewebeabschnitte einen Bereich von Nichtfettgewebe und/oder einen Bereich von Fettgewebe oder eine Kombination davon zu bestimmen.
Zusätzlich oder alternativ kann das Datenverarbeitungssystem konfiguriert sein, um für jeden der Gewebeabschnitte eine Anzahl von Bildbereichen innerhalb des jeweiligen Gewebeabschnitts zu bestimmen, die voneinander getrennt sind und Bildbereiche darstellen, die durch einen oder mehrere vorbestimmte Gewebetypen gebildet werden. Beispielhaft kann das Datenverarbeitungssystem konfiguriert sein, um die Anzahl von Bereichen, die durch Fettgewebe gebildet werden, und/oder die Anzahl von Bereichen, die durch Nichtfettgewebe gebildet werden, zu bestimmen. Die Erfinder haben gezeigt, dass es vorteilhaft ist, nur die Bildbereiche zu zählen, wenn sie eine Größe (gemessen in Flächeneinheiten) aufweisen, die eine vorgegebene Schwelle überschreitet. Beispielhaft kann die Schwelle 0,25 mm² betragen.
Basierend auf den bestimmten Identifikationsparametern ist es möglich zu identifizieren, welcher Gewebeabschnitt in dem Bild 17 von 5A welchem Gewebeabschnitt in dem Bild 23 von 5B entspricht.
Das Datenverarbeitungssystem kann ferner konfiguriert sein, um ein identifiziertes Paar von Gewebeabschnitten in zwei Bildern zu verwenden, um einen oder mehrere Parameter eines Transformationsvektors zwischen beiden Gewebeabschnitten zu bestimmen. Dieser Transformationsvektor kann verwendet werden, um zugeordnete Paare von anderen Gewebeabschnitten zu identifizieren, zu verfeinern und/oder zu korrigieren.
Ferner kann das Datenverarbeitungssystem konfiguriert sein, um abhängig von den Zuordnungsdaten die Co-Registrierungsdaten zum Co-Registrieren der entsprechenden Bilder zu bestimmen und/oder zu verfeinern. Beispielhaft kann das Datenverarbeitungssystem konfiguriert sein, um die Zuordnungsdaten zu verwenden, um eine Schätzung für einen oder mehrere Parameter (wie beispielsweise einen Translationsvektor) für die Co-Registrierungsdaten zu bestimmen. Dies ist nützlich, wenn in beiden Bildern die Gewebeabschnitte im Wesentlichen die gleiche Position relativ zueinander aufweisen, wie dies bei vielen Pathologieproben der Fall ist. Beispielhaft kann das Datenverarbeitungssystem konfiguriert sein, um für jeden der Gewebeabschnitte eine Position eines Massenschwerpunkts innerhalb des Bildes zu bestimmen. Der Translationsvektor zwischen zwei Bildern kann abhängig von den Positionen des Massenschwerpunkts eines oder mehrerer Paare von Gewebeabschnitten, die unter Verwendung der Zuordnungsdaten zugeordnet wurden, bestimmt werden. Beispielhaft kann in Abhängigkeit von den Massenschwerpunkten eine anfängliche Schätzung für den Translationsvektor zwischen den Bildbereichen erhalten werden. Zusätzlich oder alternativ können ein oder mehrere Parameter von Co-Registrierungsdaten zum Co-Registrieren eines Paares von zugeordneten Bildbereichen und/oder zum Co-Registrieren der entsprechenden Bilder unter Verwendung einer generalisierten Procrustes-Analyse erhalten werden.
Die grafische Benutzeroberfläche kann konfiguriert sein, um auf der Anzeigevorrichtung eine oder mehrere grafische Darstellungen in Abhängigkeit von den Zuordnungsdaten anzuzeigen. Beispielhaft kann, wie in den 5A und 5B veranschaulicht, die grafische Benutzeroberfläche für jeden der Gewebeabschnitte eine Zahl anzeigen, so dass Gewebeabschnitte in unterschiedlichen Bildern, die durch die Zuordnungsdaten abgebildet werden, die gleiche Zahl aufweisen.
6 ist eine schematische Veranschaulichung eines Verfahrens 100 zum Analysieren mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems 2 (in 1 gezeigt). Das Verfahren 100 schließt das Lesen (110) von Bilddaten, die eine Vielzahl von Bildern darstellen, durch das Datenverarbeitungssystem ein. Die Bilddaten können aus einer Speichervorrichtung des Datenverarbeitungssystems oder aus einer Bilderfassungseinheit gelesen werden, die konfiguriert ist, um eine oder mehrere Proben zu empfangen und Bilddaten aus den Proben zu erfassen. Das Verfahren schließt ferner das Lesen und/oder Erzeugen 120 durch das Datenverarbeitungssystem 2 von Segmentierungsdaten für jedes der Bilder ein. Die Segmentierungsdaten können durch einen Klassifikator erzeugt werden, der durch das Datenverarbeitungssystem 2 implementiert sein kann oder der auf einem externen Datenverarbeitungssystem (in 1 nicht gezeigt) laufen kann, der die Segmentierungsdaten an das Datenverarbeitungssystem 2 überträgt. Für jedes der Bilder zeigen die Segmentierungsdaten eine Segmentierung von mindestens einem Abschnitt des jeweiligen Bildes in einen oder mehrere Bildbereiche an, so dass jeder der Bildbereiche ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist. Das Verfahren 100 schließt ferner mindestens eines von Folgendem ein: (a) Erzeugen (140) von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten, die sich von den Bildern unterscheiden; und (b) Erzeugen (150) von Zuordnungsdaten unter Verwendung mindestens von Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Angesichts des Vorstehenden wird ein System und ein Verfahren bereitgestellt, das eine effiziente Analyse von Bildern ermöglicht, die von Zellen erfasst werden.
Die vorstehend beschriebenen Ausführungsformen dienen nur der Veranschaulichung und sollen die Verfahrensansätze der vorliegenden Erfindung nicht einschränken. Obwohl die vorliegende Erfindung im Detail unter Bezugnahme auf die bevorzugten Ausführungsformen beschrieben wird, wird für den Fachmann verständlich sein, dass die Verfahrensansätze der vorliegenden Erfindung modifiziert oder gleichermaßen verschoben werden können, ohne vom Schutzbereich der Ansprüche der vorliegenden Erfindung abzuweichen. In den Patentansprüchen schließt das Wort „umfassen“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel „ein“, „eine“ oder „eines“ schließt eine Mehrzahl nicht aus. Jegliche Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen des Schutzumfangs auszulegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Quantification of histochemical staining by color deconvolution” beschrieben, veröffentlicht in der Zeitschrift „Analytical and Quantitative Cytology and Histology“, Bd. 23, Nr. 4, S. 291-299, 2001, verfasst von A. Ruifrok und D. Johnston [0020]
„A method for normalizing histology slides for quantitative analysis” beschrieben, veröffentlicht in der Zeitschrift „Proceedings of the Sixth IEEE International Conference on Symposium on Biomedical Imaging: From Nano to Macro“, S. 1107-1110, 2009, verfasst von A. M. Macenko [0021]
„Fully Convolutional Networks for Segmantic Segmentation” dargelegt, der eine Konferenzabhandlung ist, die in der „2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)“, S. 3431-3440 [0024]

Claims

System (1) zur Analyse mikroskopischer Bilddaten, die eine Vielzahl von Bildern darstellen, die von Zellen erfasst werden, wobei das System ein Datenverarbeitungssystem (2) umfasst, das konfiguriert ist zum: Lesen und/oder Erzeugen (120) von Segmentierungsdaten für jedes der Bilder; wobei für jedes der Bilder die Segmentierungsdaten eine Segmentierung mindestens eines Teils des jeweiligen Bildes in einen oder mehrere Bildbereiche (13, 14, 15, 16) anzeigen, so dass jeder der Bildbereiche (13, 14, 15, 16) ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist, und wobei das Datenverarbeitungssystem (2) ferner konfiguriert ist zum: (a) Erzeugen (140) von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Abschnitten, die sich von den Bildern unterscheiden; und/oder zum (b) Erzeugen (150) von Zuordnungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
System (1) nach Anspruch 1, wobei eine Vergrößerung der Segmentierungsdaten geringer ist als eine Vergrößerung der Bilddaten.
System (1) nach Anspruch 1 oder 2, wobei die Segmentierungsdaten für jedes einer Vielzahl von Pixeln der Bilder binäre oder probabilistische Pixelklassifizierungsdaten zum Bereitstellen einer pixelweisen Klassifizierung der Pixel in eine oder mehrere der vordefinierten Klassen umfassen.
System (1) nach einem der vorstehenden Ansprüche, wobei: das Datenverarbeitungssystem (2) einen Klassifikator einschließt, der auf überwachtem und/oder unüberwachtem Lernen basiert; und der Klassifikator zum Durchführen mindestens eines Teils einer Segmentierung der Bilddaten konfiguriert ist, wobei die Segmentierung die Segmentierungsdaten unter Verwendung mindestens eines Teils der Bilddaten erzeugt.
System (1) nach Anspruch 4, wobei der Klassifikator ein künstliches neuronales Netz (KNN) umfasst.
System (1) nach einem der vorstehenden Ansprüche, wobei mindestens eine der einen oder mehreren vordefinierten Klassen eine Klasse ist, die Bildbereiche darstellt, die durch einen oder mehrere Gewebetypen gebildet werden.
System (1) nach einem der vorstehenden Ansprüche, wobei die eine oder die mehreren vordefinierten Klassen eines oder eine Kombination von Folgendem umfassen: eine Klasse, die Bildbereiche darstellt, die durch Fettgewebe gebildet werden; eine Klasse, die Bildbereiche darstellt, die frei von Probenmaterial sind; und eine Klasse, die Bildbereiche darstellt, die durch Nichtfettgewebe gebildet werden.
System (1) nach einem der vorstehenden Ansprüche, wobei mindestens (b) zutrifft und das Erzeugen (150) der Zuordnungsdaten das Bestimmen, für jeden der Bildbereiche, eines Identifikationsparameters zum Identifizieren des jeweiligen Bildbereichs aus den verbleibenden Bildbereichen, die in demselben Bild enthalten sind, umfasst; wobei der Identifikationsparameter in Abhängigkeit von den Segmentierungsdaten bestimmt wird.
System (1) nach einem der vorstehenden Ansprüche, wobei mindestens (b) zutrifft und wobei die Bildbereiche isolierte Gewebeabschnitte (27, 28, 29, 30, 31) darstellen.
System (1) nach einem der vorstehenden Ansprüche, wobei das Datenverarbeitungssystem (2) eine grafische Benutzeroberfläche umfasst; wobei das Datenverarbeitungssystem (2) konfiguriert ist, um dem Benutzer eine oder mehrere graphische Darstellungen darzustellen, die in Abhängigkeit von den Co-Registrierungsdaten und/oder in Abhängigkeit von den Zuordnungsdaten erzeugt werden.
System (1) nach einem der vorstehenden Ansprüche, wobei das System (1) eine Bilderfassungseinheit (7) umfasst, die konfiguriert ist zum Empfangen einer oder mehrerer Proben, von denen jede die Zellen umfasst; und zum Erfassen der Bilddaten von der einen oder den mehreren Proben.
Verfahren (100) zum Analysieren mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems (2), wobei das Verfahren (100) umfasst: Lesen und/oder Erzeugen (120), durch das Datenverarbeitungssystem (2), von Segmentierungsdaten für jedes der Bilder; wobei für jedes der Bilder die Segmentierungsdaten eine Segmentierung mindestens eines Teils des jeweiligen Bildes in einen oder mehrere Bildbereiche (13, 14, 15, 16) anzeigen, so dass jeder der Bildbereiche (13, 14, 15, 16) ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist, und wobei das Verfahren ferner mindestens eines von Folgendem umfasst: (a) Erzeugen (140) von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten von unterschiedlichen der Bilder; und/oder (b) Erzeugen (150) von Zuordnungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Verfahren (100) nach Anspruch 10, ferner umfassend: Erzeugen eines ersten Bildes der Bilder und eines zweiten Bildes der Bilder, wobei das erste Bild eine Probe zeigt, die unter Verwendung einer ersten Färbung gefärbt wird, und das zweite Bild eine unterschiedliche und/oder dieselbe Probe zeigt, die unter Verwendung einer zweiten Färbung gefärbt wird, so dass das erste und das zweite Bild unterschiedliche Probenfärbungen zeigen.
Programmelement zur Analyse mikroskopischer Bilddaten, die von Zellen aufgenommen wurden, wobei die Analyse unter Verwendung eines Datenverarbeitungssystems (2) durchgeführt wird, wobei das Programmelement, wenn es von einem Prozessor des Datenverarbeitungssystems (2) ausgeführt wird, dazu ausgelegt ist, Folgendes auszuführen: Lesen und/oder Erzeugen (120), durch das Datenverarbeitungssystem (2), von Segmentierungsdaten für jedes der Bilder; wobei für jedes der Bilder die Segmentierungsdaten eine Segmentierung mindestens eines Teils des jeweiligen Bildes in einen oder mehrere Bildbereiche (13, 14, 15, 16) anzeigen, so dass jeder der Bildbereiche (13, 14, 15, 16) ein Mitglied einer oder mehrerer vordefinierter Klassen von Bildinhalt ist, und wobei das Programmelement, wenn es von einem Prozessor des Datenverarbeitungssystems (2) ausgeführt wird, dazu ausgelegt ist, Folgendes auszuführen: (a) Erzeugen (140) von Co-Registrierungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Co-Registrieren von mindestens Bildabschnitten von unterschiedlichen der Bilder; und/oder (b) Erzeugen (150) von Zuordnungsdaten unter Verwendung von mindestens Teilen der Segmentierungsdaten zum Zuordnen zwischen Bildbereichen unterschiedlicher Bilder.
Computerlesbares Medium, auf dem das Programmelement nach Anspruch 14 gespeichert ist.