DE112019004112T5

DE112019004112T5 - System und verfahren zur analyse mikroskopischer bilddaten und zur erzeugung eines annotierten datensatzes zum training der klassifikatoren

Info

Publication number: DE112019004112T5
Application number: DE112019004112.6T
Authority: DE
Inventors: Marinus Bastiaan Van Leeuwen; Ruud Vlutters
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-08-15
Filing date: 2019-08-15
Publication date: 2021-06-17
Also published as: US20210166076A1; EP3611654A1; US11887355B2; WO2020035550A1

Abstract

Offenbart ist ein System zur Analyse mikroskopischer Bilddaten, das ein Datenverarbeitungssystem einschließt. Für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten werden Pixelklassifizierungsdaten gelesen. Die Pixelklassifizierungsdaten schließen für jedes der Pixel der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels der mikroskopischen Bilddaten in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, ein. Mindestens ein Teil der Pixel der mikroskopischen Bilddaten wird gruppiert, um eine oder mehreren Pixelgruppen zu bilden. Für jede der Pixelgruppen werden probabilistische Gruppenklassifizierungsdaten in Abhängigkeit von den Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe berechnet. Die probabilistischen Gruppenklassifizierungsdaten geben eine Wahrscheinlichkeit an, dass die Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Verfahren und ein System zur Analyse mikroskopischer Daten. Insbesondere bezieht sich die vorliegende Erfindung auf ein Verfahren und ein System zum Trainieren eines maschinellen Lernsystems zum Erzielen einer verbesserten Erkennungsgenauigkeit bei der Analyse histologischer oder zytologischer Proben.
HINTERGRUND DER ERFINDUNG
Gewebepathologie ist ein Meilenstein in der Krebsdiagnose und -prognose. Bei herkömmlichen Verfahren der Krebsdiagnose und -prognose überprüfen Pathologen gefärbte Objektträger von Krebsbiopsieproben visuell und weisen den erkannten Tumoren Punktwerte zu. Dieser Vorgang ist jedoch zeitaufwendig und die Ergebnisse verschiedener Pathologen sind oft uneinheitlich.
Die computergestützte quantitative Analyse gefärbter histologischer Bilder wurde durch Whole-Slide-Scanner besonders effizient gemacht, welche die Erfassung hochauflösender digitaler Scans ganzer Objektträger ermöglichen. Solche Scanner können in kürzester Zeit ultragroße 2D-Bilder einer ganzen Gewebeprobe zur Digitalisierung histologischer Objektträger erzeugen. Automatische Bildverarbeitungsverfahren können dann angewendet werden, um interessierende Strukturen zur Verwendung in Diagnose oder Prognose aus dem Originalbild zu extrahieren. Dieser Bereich ist mittlerweile als digitale Pathologie bekannt und ersetzt die manuelle, subjektive und zeitaufwändige Bewertung der Daten durch den traditionellen Pathologen. Die Bildverarbeitungsprozeduren können Zellen- und Gewebetypen automatisch erkennen und sind mit Hilfe der Technologie der tiefen konvolutionalen neuronalen Netze sehr leistungsfähig geworden.
Es hat sich jedoch gezeigt, dass das Verfahren zur Erfassung von annotierten Datensätzen zum Training der konvolutionalen neuronalen Netze zeitaufwendig und umständlich ist, da die heutigen Algorithmen zur Kerndetektion üblicherweise eine große Anzahl von Kemannotationen erfordern, die im Bereich zwischen etwa 10.000 und 100.000 liegen.
Ferner hat sich gezeigt, dass das Ergebnis des Trainingsprozesses stark von dem Benutzer abhängt, der den für den Trainingsprozess verwendeten beschrifteten Datensatz erstellt.
Daher besteht ein Bedarf an Systemen und Verfahren, die eine effizientere Datenanalyse der von Zellen aufgenommenen Bilder bereitstellen.
KURZDARSTELLUNG DER ERFINDUNG
Ausführungsformen der vorliegenden Offenbarung stellen ein System zur Analyse mikroskopischer Bilddaten bereit. Das System schließt ein Datenverarbeitungssystem ein, das konfiguriert ist, um Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten zu lesen und/oder zu erzeugen. Die Pixelklassifizierungsdaten schließen, für jeden der Vielzahl von Pixeln der mikroskopischen Bilddaten, binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, ein. Das Datenverarbeitungssystem ist ferner konfiguriert, um mindestens einen Teil der Pixel der mikroskopischen Bilddaten zu gruppieren, um eine oder mehrere Pixelgruppen zu bilden. Das Datenverarbeitungssystem ist ferner konfiguriert, um für jede der Pixelgruppen probabilistische Gruppenklassifizierungsdaten in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe zu berechnen. Für eine oder mehrere der Objektklassen und für jede der Pixelgruppen geben die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit an, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
Das Datenverarbeitungssystem kann ein Computersystem mit einem Prozessor und einem Speicher zum Speichern von durch den Prozessor verarbeitbaren Anweisungen einschließen. Der Prozessor kann ein Betriebssystem ausführen. Das Datenverarbeitungssystem kann ferner eine Benutzerschnittstelle einschließen, die dazu konfiguriert ist, einem Benutzer zu ermöglichen, Daten von dem Datenverarbeitungssystem zu empfangen und/oder dem Datenverarbeitungssystem Daten bereitzustellen. Die Benutzerschnittstelle kann eine grafische Benutzerschnittstelle einschließen.
Zusätzlich oder alternativ kann das System eine Bilderfassungseinheit zum Erfassen der mikroskopischen Daten einschließen. Die Bilderfassungseinheit kann ein Mikroskop einschließen. Das Mikroskop kann mit einer Vergrößerung von mindestens 5 oder mindestens 10 betrieben werden. Die Vergrößerung kann kleiner als 500 oder kleiner als 200 sein. Bei dem Mikroskop kann es sich um einen Scanner, insbesondere um einen Objektträger-Scanner, wie einen Whole-Slide-Scanner handeln. Das Mikroskop kann zur Transmissions- und/oder Reflexionsbildgebung konfiguriert sein.
Die mikroskopischen Bilddaten können Grauwertbilddaten und/oder Farbwertbilddaten einschließen. Die Bilddaten können eine Vielzahl von Zellen zeigen. Die Bilddaten können eine Auflösung aufweisen, die ausreicht, um die Position und/oder die Form eines Zellkerns mit einem Durchmesser von 5 Mikrometern zu bestimmen.
Die Pixelklassifizierungsdaten können unter Verwendung eines Klassifikators erzeugt werden. Der Klassifikator kann von dem Datenverarbeitungssystem ausgeführt werden. Alternativ kann mindestens ein Teil der Operationen des Klassifikators unter Verwendung des zweiten Datenverarbeitungssystems ausgeführt werden. Der Klassifikator kann ein trainierbarer Klassifikator sein. Der Klassifikator kann ein künstliches neuronales Netz, insbesondere ein konvolutionales neuronales Netz, wie ein tiefes konvolutionales neuronales Netz, einschließen. Das künstliche neuronale Netz kann eine Vielzahl von Schichten einschließen. Die Vielzahl von Schichten kann eine Eingabeschicht, eine oder mehrere Zwischenschichten und eine Ausgabeschicht einschließen. Die Eingabeschicht kann konfiguriert sein, um Eingabedaten, wie die mikroskopischen Daten, zu empfangen. Der Begriff „konvolutionales neuronales Netz“ kann hierin als ein künstliches neuronales Netz mit mindestens einer Faltungsschicht definiert sein.
Die Pixelklassifizierungsdaten können abhängig von Daten erzeugt werden, die von einer Schicht des künstlichen neuronalen Netzes ausgegeben werden. Die Schicht kann eine Ausgabeschicht (d. h. eine letzte Schicht) des künstlichen neuronalen Netzes sein. Alternativ kann die Schicht eine der Ausgabeschicht vorangehende, insbesondere der Ausgabeschicht unmittelbar vorangehende Schicht sein. Die Ausgabeschicht kann eine Softmax-Operation implementieren. Die Pixelklassifizierungsdaten können unter Verwendung einer Logit-Funktion (auch als die Umkehrfunktion der Sigmoid-Funktion bezeichnet) erzeugt werden. Die Logit-Funktion kann auf die Ausgabedaten des künstlichen neuronalen Netzes und/oder auf in Abhängigkeit von den Ausgabedaten erzeugte Daten angewendet werden. Zusätzlich oder alternativ können die Pixelklassifizierungsdaten auf einen Bereich von 0 bis 1 abgeschnitten und/oder abgebildet werden, insbesondere linear abgebildet werden.
Der Begriff „probabilistische Klassifizierungsdaten“ kann als Daten definiert werden, die einen Wahrscheinlichkeitswert für eine Objektklasse oder eine Wahrscheinlichkeitsverteilung für eine Vielzahl von Objektklassen einschließen. Beispiele für Objekte sind, ohne jedoch darauf beschränkt zu sein: eine Zelle, ein Teil einer Zelle, wie etwa ein Zellkern, eine Gruppe von Zellen, wie ein Zellcluster, und ein Gewebeteil. Eine Klasse kann sich auf einen Zelltyp (wie Tumorzellen, Tumorzellkerne oder Tumorzellcluster) oder einen Gewebetyp (wie Tumorgewebe) beziehen.
Ein Teil der Pixelgruppen oder alle Pixelgruppen können zueinander disjunkt sein, d. h. ein Pixel, das Teil einer der Gruppen ist, ist nicht Teil einer der anderen Gruppen.
Die probabilistischen Gruppenklassifizierungsdaten können einen oder mehrere Wahrscheinlichkeitswerte einschließen. Jeder der Wahrscheinlichkeitswerte kann einer der Objektklassen zugeordnet sein. Die Wahrscheinlichkeitswerte können alle oder einen Teil der vordefinierten Objektklassen abdecken. Jeder der Wahrscheinlichkeitswerte kann eine Wahrscheinlichkeit angeben, dass die Pixelgruppe mindestens einen Teil eines Objekts oder das gesamte Objekt der zugeordneten Objektklasse zeigt.
Das Datenverarbeitungssystem kann konfiguriert sein, um die mikroskopischen Bilddaten zu lesen und/oder zu erzeugen. Das Datenverarbeitungssystem kann ferner konfiguriert sein, um mindestens den Teil der Pixel der mikroskopischen Bilddaten in Abhängigkeit von mindestens einem Teil der mikroskopischen Bilddaten zu gruppieren. Alternativ ist es denkbar, dass das Datenverarbeitungssystem mindestens den Teil der Pixel der mikroskopischen Bilddaten gruppiert, ohne die mikroskopischen Bilddaten zu verwenden. Die Pixelklassifizierungsdaten können den Pixeln der mikroskopischen Bilddaten zugeordnet sein. Dadurch ist es möglich, mindestens den Teil der Pixel der mikroskopischen Bilddaten basierend auf mindestens einem Teil der Pixelklassifizierungsdaten zu gruppieren, jedoch ohne die mikroskopischen Bilddaten zu verwenden.
Das Gruppieren mindestens des Abschnitts der Pixel der mikroskopischen Bilddaten, um die eine oder die mehreren Pixelgruppen zu bilden, kann für jedes einer Vielzahl von Pixelkoordinatenpaaren (z. B. eine horizontale Pixelkoordinate und ihr zugehöriges vertikales Pixel) das Bestimmen einschließen, ob das jeweilige Pixelkoordinatenpaar einen Teil von einer oder von mehreren Pixelgruppen bildet oder nicht.
Gemäß einer Ausführungsform umfasst das Datenverarbeitungssystem eine Benutzerschnittstelle, die zur interaktiven Erzeugung eines annotierten Datensatzes zum Training eines Klassifikators konfiguriert ist. Der annotierte Datensatz kann unter Verwendung der Pixel der Bilddaten und der probabilistischen Gruppenklassifizierungsdaten einer oder mehrerer der Pixelgruppen erzeugt werden.
Der Begriff „annotierter Datensatz“ kann als ein Datensatz definiert werden, der so konfiguriert ist, dass er von einem trainierbaren Klassifikator verwendet wird, um den trainierbaren Klassifikator zu trainieren. Der annotierte Datensatz kann eine Vielzahl von Bilddatensätzen und ein Klassifikationslabel, das jedem der Bilddatensätze zugeordnet ist, einschließen. Jeder der Bilddatensätze kann die mikroskopischen Bilddatenwerte einer der Pixelgruppen einschließen. Das Datenverarbeitungssystem kann konfiguriert sein, um den annotierten Datensatz auf einer Speichervorrichtung zu speichern und/oder den annotierten Datensatz an eine externe Vorrichtung auszugeben.
Das Klassifikationslabel kann mithilfe einer Benutzereingabe definiert werden, die über die Benutzerschnittstelle empfangen wird. Das Klassifikationslabel kann einer oder mehreren der Objektklassen eine Pixelgruppe zuweisen und/oder kann angeben, dass die Pixelgruppe kein Objekt einer der vordefinierten Objektklassen darstellt.
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu konfiguriert, unter Verwendung einer grafischen Benutzeroberfläche des Datenverarbeitungssystems eine oder mehrere der Pixelgruppen und für jede der angezeigten Pixelgruppen einen visuell wahrnehmbaren Indikator anzuzeigen, der in Abhängigkeit von den probabilistischen Gruppenklassifizierungsdaten der jeweiligen Pixelgruppe erzeugt wird.
Der Indikator kann über mindestens einen Abschnitt des Bildes gelegt werden, der dem Benutzer durch die grafische Benutzeroberfläche angezeigt wird. Der Indikator kann mindestens einen Teil der probabilistischen Gruppenklassifizierungsdaten anzeigen. Der Indikator kann einen Wert und/oder einen Wertebereich eines Wahrscheinlichkeitswerts der Gruppenwahrscheinlichkeitsdaten anzeigen.
Gemäß einer weiteren Ausführungsform zeigt der Indikator eine Größe der jeweiligen Pixelgruppe an. Beispielsweise kann der Indikator die Pixelgruppe mindestens teilweise umschließen. Der Indikator kann in Form einer Schleife vorliegen und/oder der Indikator kann die Pixelgruppe mindestens teilweise abdecken. Der Indikator kann so konfiguriert sein, dass die Pixel der Pixelgruppe für den Benutzer weiterhin sichtbar sind.
Gemäß einer weiteren Ausführungsform werden die eine oder die mehreren Pixelgruppen in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten gebildet. Zusätzlich oder alternativ kann das Datenverarbeitungssystem konfiguriert sein, um die Pixelgruppen in Abhängigkeit von mindestens einem Teil der mikroskopischen Bilddaten zu bilden.
Das Datenverarbeitungssystem kann konfiguriert sein, um eine Segmentierung der mikroskopischen Bilddaten in Abhängigkeit von den Pixelklassifizierungsdaten und/oder in Abhängigkeit von den mikroskopischen Bilddaten durchzuführen. Datenwerte der mikroskopischen Bilddaten, die für die Segmentierung des Bildes verwendet werden, können eines oder eine Kombination von Folgendem einschließen: einen Intensitätswert, einen Parameter des Farberscheinungsbildes, wie Farbton, Farbigkeit, Sättigung, Helligkeit und Leuchtdichte. Die Bildung der Gruppen kann unter Verwendung einer oder mehrerer Bildverarbeitungsoperationen an den Pixeldatenwerten und/oder an den Pixelklassifizierungsdaten durchgeführt werden.
Gemäß einer weiteren Ausführungsform werden die eine oder die mehreren Pixelgruppen unter Verwendung eines Schwellenwerts für die Pixelklassifizierungsdaten gebildet. Die Bildung mindestens einer der Pixelgruppen kann das Vergleichen der Pixelklassifizierungsdaten der Pixel der jeweiligen Pixelgruppe mit dem Schwellenwert einschließen. Für eine oder mehrere oder alle Pixelgruppen kann ein gleicher Schwellenwert verwendet werden. Das Datenverarbeitungssystem kann so konfiguriert sein, dass eine oder mehrere der Pixelgruppen durch den Benutzer über die Benutzerschnittstelle auswählbar sind. Das Datenverarbeitungssystem kann ferner so konfiguriert sein, dass für jede der ausgewählten Pixelgruppen der Schwellenwert der jeweiligen Pixelgruppe abhängig von einer über die Benutzerschnittstelle empfangenen Benutzereingabe anpassbar ist. Das Datenverarbeitungssystem kann dann den angepassten einen oder die angepassten mehreren Schwellenwerte verwenden, um eine oder mehrere Pixelgruppen zu bilden, welche die ausgewählte eine oder die ausgewählten mehreren Pixelgruppen ersetzen.
Gemäß einer weiteren Ausführungsform werden für jede der Pixelgruppen die entsprechenden probabilistischen Gruppenklassifizierungsdaten in Abhängigkeit von einem Mittelwert der Pixelklassifizierungsdaten mindestens eines Teils der Pixel der jeweiligen Pixelgruppe bestimmt.
Der Mittelwert kann unter Verwendung eines oder mehrerer Algorithmen aus der Gruppe bestehend aus einem arithmetisch-geometrischen Mittel, einem verallgemeinerten Mittel, einem arithmetisch-harmonischen Mittel, einem geometrischen Mittel, einem Potenzmittel, einem harmonisch-geometrischen Mittel, einem pythagoreischen Mittel, einem arithmetischen Mittel, einem harmonischen Mittel, einem quadratischen Mittel (RMS), einem heronischen Mittel, einem Hölder-Mittel, einem Stolarsky-Mittel, einem identrischen Mittel, einem Lehmer-Mittel, einem gewichteten Mittel oder einer Kombination davon ausgewählt werden.
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem konfiguriert, um die Pixelklassifizierungsdaten unter Verwendung eines Klassifikators zu erzeugen und ein überwachtes Training des Klassifikators unter Verwendung der Pixel der mikroskopischen Bilddaten und der probabilistischen Gruppenklassifizierungsdaten mindestens eines Teils der Pixelgruppen durchzuführen. Der Klassifikator kann in dem Datenverarbeitungssystem implementiert sein.
Gemäß einer weiteren Ausführungsform stellt jede der Pixelgruppen einen Pixelcluster dar oder stellt diesen im Wesentlichen dar. Der Begriff „Pixelcluster“ kann so definiert sein, dass darunter ein ungeteilter Bildbereich verstanden wird. Mit anderen Worten kann der Pixelcluster einen zusammenhängenden Bildbereich darstellen. Jedes Pixel des Pixelclusters weist mindestens ein benachbartes Pixel auf, welches Teil desselben Pixelclusters ist.
Gemäß einer weiteren Ausführungsform ist das Datenverarbeitungssystem dazu konfiguriert, für eine oder mehrere der Pixelgruppen Übergangspixel der mikroskopischen Bilddaten von der Ermittlung der probabilistischen Gruppenklassifizierungsdaten auszuschließen. Die Übergangspixel können einen Übergang von einem Inneren der jeweiligen Pixelgruppe zu einem der Pixelgruppe benachbarten Bildbereich darstellen, der nicht Teil einer Pixelgruppe ist.
Ausführungsformen der vorliegenden Offenbarung stellen ein Verfahren zur Analyse mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems bereit. Das Verfahren umfasst das Lesen und/oder Erzeugen von Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten, wobei die Pixelklassifizierungsdaten für jedes der Vielzahl von Pixeln der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, umfassen. Das Verfahren umfasst ferner das Gruppieren mindestens eines Teils der Pixel der mikroskopischen Bilddaten, um eine oder mehrere Pixelgruppen zu bilden. Das Verfahren umfasst ferner das Berechnen von probabilistischen Gruppenklassifizierungsdaten für jede der Pixelgruppen in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe. Für eine oder mehrere der Objektklassen und für jede der Pixelgruppen geben die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit an, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
Ausführungsformen der vorliegenden Offenbarung stellen ein Programmelement zur Analyse mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems bereit. Das Programmelement ist, wenn es von einem Prozessor des Datenverarbeitungssystems ausgeführt wird, dazu ausgelegt, das Lesen und/oder Erzeugen von Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten durchzuführen. Die Pixelklassifizierungsdaten umfassen für jeden der Vielzahl von Pixeln der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden. Der Prozessor ist ferner dazu ausgelegt, das Gruppieren mindestens eines Teils der Pixel der mikroskopischen Bilddaten durchzuführen, um eine oder mehrere Pixelgruppen zu bilden. Der Prozessor ist ferner dazu ausgelegt, das Berechnen von probabilistischen Gruppenklassifizierungsdaten für jede der Pixelgruppen in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe durchzuführen. Für eine oder mehrere der Objektklassen und für jede der Pixelgruppen geben die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit an, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
Ausführungsformen der vorliegenden Offenbarung stellen ein computerlesbares Medium bereit, auf dem das im vorhergehenden Absatz beschriebene Computerprogrammelement gespeichert ist.
Figurenliste

1 ist eine schematische Veranschaulichung eines Systems zur Analyse mikroskopischer Bilddaten gemäß einem Ausführungsbeispiel;
2 ist ein Flussdiagramm, das schematisch ein beispielhaftes Verfahren zum Analysieren der mikroskopischen Bilddaten veranschaulicht, wobei das Verfahren unter Verwendung des Systems gemäß der in 1 gezeigten beispielhaften Ausführungsform durchgeführt wird;
3 ist ein Abschnitt mikroskopischer Bilddaten, die unter Verwendung des Systems gemäß dem in 1 gezeigten Ausführungsbeispiel und dem in 2 gezeigten beispielhaften Verfahren analysiert werden;
4A ist eine schematische Veranschaulichung von Pixelklassifizierungsdaten, die unter Verwendung des Systems gemäß der in 1 gezeigten Ausführungsbeispiel und des in 2 gezeigten beispielhaften Verfahrens bestimmt werden;
4B ist ein dreidimensionales Oberflächendiagramm, das die Pixelklassifizierungsdaten veranschaulicht, die auch in 4A gezeigt sind; und
5 zeigt den Abschnitt der Bilddaten von 3 und visuell wahrnehmbare Indikatoren, die dem Benutzer unter Verwendung einer grafischen Schnittstelle des Systems gemäß dem in 1A gezeigten Ausführungsbeispiel angezeigt werden.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
1 veranschaulicht schematisch ein System 1 zur Analyse mikroskopischer Daten gemäß einem Ausführungsbeispiel. Das System 1 schließt ein Datenverarbeitungssystem 2 ein, das als eigenständiger Rechner konfiguriert ist. Es ist aber auch denkbar, dass das Datenverarbeitungssystem 2 als verteiltes Rechnersystem konfiguriert ist. Das Datenverarbeitungssystem 2 schließt eine Anzeigevorrichtung 4 und Eingabevorrichtungen ein, wie eine Tastatur 5 und eine Computermaus 6, die eine Benutzerinteraktion über eine Benutzerschnittstelle des Datenverarbeitungssystems 2, die als grafische Benutzeroberfläche konfiguriert sein kann, ermöglichen.
Das Datenverarbeitungssystem 2 ist konfiguriert, um mikroskopische Bilddaten zu lesen, die unter Verwendung einer Bilderfassungseinheit 10 erzeugt werden. Im Ausführungsbeispiel handelt es sich bei der Bilderfassungseinheit 10 um einen Objektträgerscanner, wie einen Whole-Slide-Scanner, der dazu konfiguriert ist, ein Bild eines Zellen einschließenden Objekts 9 zu erfassen, das auf einem Objektträger 7 abgelegt ist. Das Objekt 9 kann ein Gewebeschnitt sein, der aus Biopsie- oder Resektionsmaterial entnommen wird oder der durch ein anderes invasives oder nicht-invasives Verfahren gewonnen wird. Daher kann das System 1 zur Untersuchung histopathologischer Bilder, insbesondere zur Kerndetektion in histopathologischen Bildern, verwendet werden. Es ist auch denkbar, dass es sich bei dem Objekt 9 um einen Abstrich wie z. B. einen Pap-Abstrich handelt, der auf dem Objektträger 7 präpariert wurde.
Es versteht sich, dass die Erfindung nicht auf Objektträgerscanner beschränkt ist. Es ist auch denkbar, dass andere Arten von Mikroskopsystemen zur Erfassung der Bilddaten verwendet werden. Die Bilddaten können Grauwertbilddaten und/oder Farbwertbilddaten einschließen.
Wie ferner in 1 veranschaulicht, wird das Objekt 9 vor der Aufnahme des Bildes unter Verwendung einer Färbung, wie zum Beispiel einer H&E-Färbung, gefärbt, um zwischen Zellen mit unterschiedlichem morphologischen Erscheinungsbild unterscheiden zu können. Zusätzlich oder alternativ ist es auch denkbar, dass andere Färbungen verwendet werden, wie immunhistochemische Färbungen, um zwischen Zellen mit ähnlichem Erscheinungsbild zu unterscheiden. Der Farbstoff kann in Abhängigkeit von der einen oder den mehreren Objektklassen ausgewählt werden, die zum Klassifizieren der Bilddaten verwendet werden, wie nachfolgend beschrieben wird.
Die mit der Bilderfassungseinheit 10 erfassten Bilddaten werden von einem Klassifikator 18 des Datenverarbeitungssystems 2 analysiert, um eine pixelweise Klassifizierung des Bildes durchzuführen, die für jeden der Pixel einen Wahrscheinlichkeitswert ergibt, der die Wahrscheinlichkeit angibt, dass der Pixel Teil eines Objekts einer vorgegebenen Objektklasse ist. In dem Ausführungsbeispiel repräsentiert die vorgegebene Objektklasse Zellkerne aller Art. Daher berechnet der Klassifikator 18 für jedes Pixel der Bilddaten einen Wahrscheinlichkeitswert, der darauf hindeutet, dass das jeweilige Pixel einen Teil eines Zellkerns darstellt. Es ist auch denkbar, dass der Klassifikator 18 des Datenverarbeitungssystems 2 konfiguriert ist, eine pixelweise Klassifizierung in eine Vielzahl von vordefinierten Klassen (statt in eine einzelne Klasse), wie Zellkerne von Immunzellen und Zellkerne von Tumorzellen, durchzuführen.
Es sei darauf hingewiesen, dass die Klassen nicht auf Klassen von Zellkernen beschränkt sind. Es ist ferner denkbar, dass der Klassifikator 18 zusätzlich oder alternativ in eine oder mehrere Klassen von Gewebeteilen (wie Tumorgewebeteile und Nicht-Tumorgewebeteile), Klassen von Zellen (wie Zellen aller Art, Tumorzellen und Immunzellen) und/oder Klassen von Zellclustern (wie Zellcluster aller Art, Tumorzellcluster und Immunzellcluster) klassifiziert.
Der Klassifikator 18 des Datenverarbeitungssystems ist ein überwachter Lernklassifikator 18, der unter Verwendung eines künstlichen neuronalen Netzes implementiert sein kann. Es hat sich gezeigt, dass herkömmliche Trainingsverfahren für überwachte Lernsysteme ineffizient sind, da diese Verfahren umständlich und zeit- und damit kostenintensiv sind. Insbesondere erfordert das Durchführen einer manuellen Annotation einer detaillierten Kontur um die Grenze des Kerns herum ungefähr 10 Mausklicks pro Kern, und heutige Kerndetektionsalgorithmen erfordern üblicherweise eine große Anzahl von Kernannotationen, die etwa im Bereich von ungefähr 10.000 bis 100.000 Annotationen liegt. Im Allgemeinen erfordert Tiefes Lernen annotierte Daten von guter Qualität für das Training. Je größer der annotierte Datensatz ist, desto besser ist die erzielte Leistungsverbesserung.
Es hat sich ferner gezeigt, dass manuell erstellte annotierte Datensätze zu inkonsistenten Annotationen führen. Beispielsweise markieren einige Benutzer die Größe des Kerns, indem sie die Grenzpixel des Kerns kennzeichnen, während andere quadratische Bereiche um den Kern verwenden. Dies führt zu inkonsistenten annotierten Datensätzen, sodass das durch die Trainingsvorgänge erzielte Ergebnis stark von dem Benutzer abhängt, der das System trainiert.
Angesichts des Vorstehenden haben die Erfinder festgestellt, dass es möglich ist, ein System und ein Verfahren zum effizienten Training von Klassifikatoren bereitzustellen, die zeiteffizienter und weniger abhängig von der subjektiven Identifizierung und Interpretation der Bilddaten durch menschliche Benutzer sind. Insbesondere haben die Erfinder festgestellt, dass es möglich ist, das Datenverarbeitungssystem 2 zu verwenden, um interaktiv einen vergleichsweise großen, mit Annotationen versehenen Datensatz, zu erzeugen, um den Klassifikator auf effiziente Weise zu trainieren.
2 ist ein Flussdiagramm, das ein beispielhaftes Verfahren 100 veranschaulicht, das unter Verwendung des Systems 1 durchgeführt wird, das in 1 veranschaulicht ist. In einem ersten Schritt werden die mikroskopischen Bilddaten 110 unter Verwendung der Bilderfassungseinheit 10 erzeugt (in 1 gezeigt). Die Bilddaten werden in den Klassifikator eingegeben, der durch das Datenverarbeitungssystem implementiert wird und konfiguriert ist, um die pixelweise Klassifizierung wie vorstehend beschrieben durchzuführen.
Ein Beispiel für einen Teil der mikroskopischen Bilddaten, die in den Klassifikator 18 eingegeben werden, ist in 3 dargestellt und zeigt zwei Bildstrukturen 11 und 12, von denen jede einen Zellkern darstellt, der unter Verwendung von H&E-Färbung gefärbt wurde. Die Teile der Zellmembranen, die sich zwischen den Zellkernen befinden, werden durch die H&E-Färbung nicht abgegrenzt. Anhand der Bilddaten erkennt das geschulte Auge des Benutzers die Zellkerne anhand ihrer Morphologie, wie Größe, Form und/oder Textur. Beispielsweise können H&E-gefärbte Proben ein Muster innerhalb von Zellkernen aufweisen, das durch Chromatin verursacht wird.
Wie vorstehend beschrieben, ist der Klassifikator, der in dem Datenverarbeitungssystem implementiert ist, konfiguriert, um die mikroskopischen Bilddaten als Eingabedaten auszulesen und jedem Pixel der Eingabebilddaten einen Wahrscheinlichkeitswert zuzuordnen, der eine Wahrscheinlichkeit angibt, dass das Pixel einen Teil eines Zellkerns bildet. Mit anderen Worten führt der Klassifikator 18 eine semantische Segmentierung der mikroskopischen Bilddaten durch, indem er für jedes der Pixel eine probabilistische Klassifikation bestimmt. Dies geschieht im Ausführungsbeispiel unter Verwendung eines künstlichen neuronalen Netzes, in dem ein Bild (RGB-Farbwertbild oder Grauwertbild) in pixelweise Klassenwahrscheinlichkeiten umgerechnet wird.
Im Allgemeinen schließt ein künstliches neuronales Netz eine Eingabeschicht, eine oder mehrere Zwischenschichten und eine Ausgabeschicht ein. Die Ausgabeschicht kann eine Softmax-Operation einschließen, $P r o b (i) = S o f t M a x (Z) = \frac{exp (Z_{i})}{\sum_{i = 1}^{K} exp (Z_{i})}$
die die Ausgabewerte Z_i der Schicht, die der Ausgabeschicht unmittelbar vorangeht (die die letzte dichte Schicht ist, wobei die dichte Schicht auch als „vollständig verbundene Schicht“ bezeichnet wird), in eine Wahrscheinlichkeitsverteilung Prob(i) über eine Vielzahl von Klassen i= 0, ... K umrechnet. K ist die Anzahl der Klassen, die gleich der Anzahl der Ausgabewerte z_i (i= 0 ... K) der der Ausgabeschicht unmittelbar vorausgehenden Schicht ist. Wie aus der vorstehenden Gleichung 1 ersichtlich ist, wird die Wahrscheinlichkeitsverteilung Prob(i) erhalten, indem das Exponential der Ausgabewerte Z_i der letzten Zwischenschicht bestimmt wird und indem das ermittelte Exponential über die Klassen normalisiert wird, um sicherzustellen, dass die Summe der Werte der Wahrscheinlichkeitsverteilung Prob(i) 1 ist.
Um Eigenschaften der Werte der Wahrscheinlichkeitsverteilung Prob(i) nach Werten aufzulösen, die entweder nahe bei 1 oder nahe bei 0 liegen, und damit die Auswertung der Wahrscheinlichkeitsverteilung Prob(i) zu erleichtern (wie nachfolgend noch näher erläutert wird), wird auf die Wahrscheinlichkeitsverteilung Prob(i) eine Umkehrfunktion der Sigmoidfunktion (auch als Logit-Funktion bezeichnet) angewendet. Die Ausgabewerte der Logit-Funktion werden auf einen Bereich, wie den Bereich von -14 bis 14, begrenzt und dann linear auf den Bereich zwischen 0 und 1 abgebildet. Der Bereich, auf den die Ausgabewerte der Logit-Funktion begrenzt werden, wird abhängig von dem Detaillierungsgrad des Klassifizierungsergebnisses, mit dem unterschieden werden soll, gewählt.
Die abgebildeten Werte werden als probabilistische Pixelklassifizierungsdaten verwendet, die für jedes der Pixel des Bildes eine Wahrscheinlichkeit dafür angeben, dass das jeweilige Pixel Teil einer Bildstruktur ist, die einen Zellkern darstellt. Mit anderen Worten sind die probabilistischen Pixelklassifizierungsdaten eines Pixels ein Maß für die Unsicherheit, dass das Pixel einen Teil eines Kerns darstellt.
Es ist auch denkbar, dass zur Bestimmung der Pixelklassifizierungsdaten eine der Ausgabeschicht vorangehende Schicht (insbesondere die der Ausgabeschicht unmittelbar vorangehende Schicht) verwendet wird. Beispielsweise kann unter Verwendung der Ausgabedaten der Schicht, die der Ausgabeschicht unmittelbar vorangeht, auf den Normierungsschritt verzichtet werden, der Teil der in Gleichung 1 gezeigten Softmax-Operation ist.
Dementsprechend schließt das beispielhafte Verfahren 100 (in 2 gezeigt) den Schritt des Erzeugens 120, für jedes Pixel in dem Eingabebild, von Pixelklassifizierungsdaten ein, um eine Abbildung von Wahrscheinlichkeitswerten zu erhalten, die in 4A dargestellt ist. Eine entsprechende dreidimensionale Oberflächenabbildung ist in 4B dargestellt. Wie aus 4B ersichtlich ist, schließen die Pixelklassifizierungsdaten für jedes Pixel des Bildes, das in 3 gezeigt ist, einen Wahrscheinlichkeitswert ein, der im Bereich zwischen 0 und 1 liegt. Dies führt zu den in den 4A und 4B abgebildeten Strukturen 11a und 12b, die den Bildstrukturen 11 und 12 entsprechen, die in den in 3 gezeigten Bilddaten sichtbar sind.
Wie ferner aus den 4A und 4B ersichtlich ist, ist der Klassifikator ausreichend trainiert, um zu erkennen, dass die Bildstruktur 12 der in 3 gezeigten Bilddaten ein Zellkern ist, da die Wahrscheinlichkeitswerte, die die Struktur 12a der 4A und 4B bilden, über einen überwiegenden Teil der Struktur ein Plateau bilden. Andererseits ist, wie auch aus den 4A und 4B ersichtlich ist, der Klassifikator nicht ausreichend trainiert, um zu erkennen, dass die Bildstruktur 11 ebenfalls einen Zellkern darstellt, da in der Struktur 11a der 4A und 4B die Wahrscheinlichkeitswerte signifikant kleiner als 1 sind, meist im Bereich zwischen 0,3 und 0,8 liegend.
Die Erkennungsgenauigkeit des Klassifikators für die Erkennung der Bildstruktur 11 kann erhöht werden, indem ein annotierter Datensatz erzeugt wird. Der annotierte Datensatz schließt die Pixeldatenwerte der Bildstruktur 11 und ein Klassifikationslabel ein, welches angibt, ob die Bildstruktur 11 ein Zellkern ist oder nicht. Andererseits ist es nicht erforderlich, die Pixeldatenwerte der Bildstruktur 12 in den annotierten Datensatz einzubeziehen, da diese Bildstruktur von dem Klassifikator bereits mit ausreichend hoher Erkennungsgenauigkeit als Zellkern klassifiziert wird.
Die Erfinder haben festgestellt, dass die Pixelklassifizierungsdaten hilfreich sind, um die Grenzen der Kerne automatisch oder interaktiv (d. h. basierend auf Benutzereingriff) zu erfassen. Dies ist durch den Vergleich der in 3 gezeigten Bildstruktur 11 mit der entsprechenden in den 4A und 4B gezeigten Struktur 11a zu erkennen. Insbesondere erschweren in 3 die Intensitätsschwankungen in der Bildstruktur 11, die durch das Chromatinmuster im Zellkern verursacht werden, zusammen mit den Intensitätsschwankungen des Hintergrunds 17 des Bildausschnitts 13 die Bestimmung der Grenze des Zellkerns, der durch die Bildstruktur 11 dargestellt wird. Andererseits ist es unter Verwendung der Wahrscheinlichkeitswerte, die in den 4A und 4B dargestellt sind, viel einfacher, die Grenze des Kerns zu bestimmen, der durch die Struktur 11a dargestellt wird.
Zurückkehrend zu 2 führt das Datenverarbeitungssystem in Abhängigkeit von den Pixelklassifizierungsdaten, die in den 4A und 4B veranschaulicht sind, den Schritt des Gruppierens 130 eines Teils der Pixel durch, um eine Vielzahl von Pixelgruppen zu bilden, sodass jede der Pixelgruppen eine erhöhte Wahrscheinlichkeit aufweist, im Vergleich zum Hintergrund einen Kern darzustellen. Daher können die Pixelgruppen einen Kern darstellen, müssen es aber nicht notwendigerweise. Die Pixelgruppen können so gebildet werden, dass die Pixelgruppen Pixelcluster (d. h. einen ungeteilten Bildbereich) darstellen oder im Wesentlichen Pixelcluster darstellen. Ferner können die Pixelgruppen so gebildet werden, dass die Pixelcluster Bildbereiche ohne Löcher darstellen.
Die Pixelgruppen können unter Verwendung von Bildverarbeitungsoperationen, wie beispielsweise Bildsegmentierung mittels Schwellenwertbildung und/oder eines Kantenerkennungsfilters, gebildet werden. Die Pixelgruppen können unter Verwendung eines lernenden Systems oder eines nicht-lernenden Systems gebildet werden.
Es hat sich gezeigt, dass die Bildung der Pixelgruppen in Abhängigkeit von den Pixelklassifizierungsdaten im Vergleich zu Segmentierungsoperationen, die die mikroskopischen Bilddaten segmentieren und die zu Fehlern neigen, wenn die Objekte oder der Hintergrund komplexe Formen oder komplexe Variationen der Intensitätswerte oder der Farbe aufweisen, zuverlässigere Ergebnisse liefert.
Die Bildung der Pixelgruppen kann das Anwenden eines Rauschunterdrückungsfilters, wie einer Gaußschen Glättung, auf die Pixelklassifizierungsdaten einschließen. Ein lokales Maximum der Wahrscheinlichkeitswerte kann beispielsweise bestimmt werden, nachdem der Rauschunterdrückungsfilter angewendet wurde. Dann wird ein Pixelcluster gebildet, der das lokale Maximum und alle diejenigen Pixel einschließt, die eine Wahrscheinlichkeit aufweisen, die größer als ein vordefinierter Schwellenwert ist, und die mit dem lokalen Maximum einen Pixelcluster bilden. Beispielsweise kann der Schwellenwert in einem Bereich zwischen 0,3 und 0,8 oder in einem Bereich zwischen 0,4 und 0,6 liegen, wie etwa bei 0,5. Ferner kann die Bildung der Pixelgruppen eine morphologische Lochfüllungsoperation einschließen, die auf die identifizierten Pixelcluster angewendet werden kann. Dadurch können Pixelgruppen ohne Löcher erhalten werden.
Zusätzlich oder alternativ können weitere Algorithmen zum Bilden der Pixelgruppen angewendet werden, die einschließen können, aber nicht beschränkt sind auf: Aktive-Kontur-Operationen, Wasserscheidenoperationen, Niveaumengenoperationen und maximal stabile extremale Bereiche. Diese Algorithmen können die identifizierten lokalen Maxima in der Wahrscheinlichkeit verwenden.
Es ist auch denkbar, dass die Pixelcluster in Abhängigkeit von den Bilddaten näher bestimmt werden. Beispielsweise kann das Datenverarbeitungssystem eine Farbdekonvolution auf die Bilddaten anwenden, um eine Abbildung zu bestimmen, die die Hämatoxylinabsorption darstellt. Dann kann eine gewichtete Summe $s_{i, j} = α * b_{i, j} + (α - 1) * c_{i, j}$
berechnet werden, wobei α ein Gewichtungsfaktor im Bereich zwischen 0 und 1 ist, bij Pixeldatenwerte des Mikroskopbildes (z. B. nach Anwendung eines Rauschreduktionsfilters) sind, c_i,j die Abbildung ist, die die Hämatoxylinabsorption darstellt, und i und j die Zeile und Spalte der Pixeldatenwerte und die Hämatoxylinabsorptionskarte angeben.
Basierend auf den Pixelklassifikationsdaten, die in den 4A und 4B gezeigt sind, bildet das Datenverarbeitungssystem zwei Pixelgruppen, die jeweils ein Pixelcluster sind und einen der Zellkerne darstellen.
Als nächsten Schritt des in 2 gezeigten beispielhaften Verfahrens berechnet 140 das Datenverarbeitungssystem für jede der Pixelgruppen probabilistische Gruppenklassifizierungsdaten in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe. Mit anderen Worten berechnet das Datenverarbeitungssystem in dem Beispiel, das in den 3 bis 4 B veranschaulicht ist, für jede der Pixelgruppen, die den Bildstrukturen 11 und 12 in den Bilddaten von 3 entsprechen, einen Wahrscheinlichkeitswert, der eine Wahrscheinlichkeit angibt, dass die jeweilige Pixelgruppe ein Zellkern ist. Dadurch werden beispielsweise für die Bildbereiche 11 und 12 zwei Wahrscheinlichkeitswerte erhalten. Im Ausführungsbeispiel sind die probabilistischen Gruppenklassifizierungsdaten ein Mittelwert der Pixelklassifizierungsdaten (d. h. ein Mittelwert der Wahrscheinlichkeitswerte) der Pixel der jeweiligen Pixelgruppe. Das Datenverarbeitungssystem kann so konfiguriert sein, dass es Pixel von der Bestimmung der Gruppenklassifizierungsdaten ausschließt, die einen Übergang von einem Inneren der Pixelgruppe zu einem umgebenden Bildbereich darstellen, der keinen Kern darstellt. Es hat sich gezeigt, dass dies nach dem Trainingsverfahren zu höheren Erkennungsgenauigkeiten führt.
Da, wie aus 4B ersichtlich, ein überwiegender Teil der Wahrscheinlichkeitswerte der Pixelklassifizierungsdaten der Struktur 12a, die dem Bildbereich 12 in 3 entspricht, Werte nahe 1 aufweist, liegt auch der Wahrscheinlichkeitswert der Gruppenklassifizierungsdaten nahe 1. Andererseits weisen, wie auch aus 4B ersichtlich ist, die dem Bildbereich 11 entsprechenden Pixel Wahrscheinlichkeitswerte auf, die deutlich kleiner als 1 sind. Daher weist der entsprechende Wahrscheinlichkeitswert der Gruppenklassifizierungsdaten einen Wahrscheinlichkeitswert auf, der deutlich kleiner als 1 ist, was darauf hindeutet, dass der Klassifikator nicht ausreichend trainiert ist, um zu erkennen, dass der Bildbereich 11 einen Zellkern darstellt.
Wie im Folgenden erläutert wird, können die Gruppenklassifizierungsdaten auf effiziente Weise verwendet werden, um den Schritt des Erzeugens 150 (in 2 gezeigt) eines annotierten Datensatzes zum Trainieren des Klassifikators 18 (in 1 gezeigt) des Datenverarbeitungssystems 2 durchzuführen. Die Generierung des annotierten Datensatzes erfolgt im Ausführungsbeispiel interaktiv, d. h. durch Benutzereingriff über eine graphische Benutzeroberfläche des Datenverarbeitungssystems. Es ist aber auch denkbar, dass der annotierte Datensatz von dem Datenverarbeitungssystem automatisch (d. h. ohne Benutzereingriff) erzeugt wird.
Die interaktive Generierung des annotierten Datensatzes ist in 5 veranschaulicht. Das Datenverarbeitungssystem zeigt auf der Anzeigevorrichtung 4 (in 1 gezeigt) den Bildausschnitt 13 an, der die Bildbereiche 11 und 12 zeigt, die zwei Zellkerne darstellen. Zur Vereinfachung der Veranschaulichung ist in 5 nur der Bildabschnitt 13 gezeigt. Das Datenverarbeitungssystem kann auf der Anzeigevorrichtung ein Bild anzeigen, das zahlreiche Zellkerne zeigt, wodurch es dem Benutzer ermöglicht wird, innerhalb eines kurzen Zeitraums einen vergleichsweise großen annotierten Datensatz zu erzeugen.
Ferner zeigt das Datenverarbeitungssystem für jede der Pixelgruppen einen visuell wahrnehmbaren Indikator 14, 15 an, der auf die Größe der jeweiligen Pixelgruppe hindeutet. Im Ausführungsbeispiel umschließt der Indikator für jede der Pixelgruppen die Pixel der jeweiligen Gruppe. Es sind jedoch andere Konfigurationen des Indikators denkbar, beispielsweise ein transparentes Überlagerungsbild, das die Pixelgruppe abdeckt und die gleiche Größe wie die Pixelgruppe aufweist.
Die Indikatoren 14, 15 ermöglichen es dem Benutzer, schnell zu erkennen, dass das Datenverarbeitungssystem zwei Pixelgruppen identifiziert hat, von denen jede eine bestimmte Wahrscheinlichkeit hat, einen Zellkern darzustellen.
Das Datenverarbeitungssystem ist ferner so konfiguriert, dass für jede der Pixelgruppen der visuell wahrnehmbare Indikator die Gruppenklassifizierungsdaten anzeigt, die von dem Datenverarbeitungssystem für jede der Pixelgruppen erzeugt werden. Im Ausführungsbeispiel ist für jede der Pixelgruppen eine Farbe des jeweiligen Indikators 14, 15 indikativ für den Wahrscheinlichkeitswert der Gruppenklassifizierungsdaten. Beispielsweise zeigen Pixelgruppen, die von einem weißen Indikator umschlossen sind, Gruppenklassifizierungsdaten an, die einen hohen Wahrscheinlichkeitswert darstellen. Pixelgruppen mit rotem, orangefarbenem oder gelbem Indikator zeigen Pixelgruppen an, deren Klassifizierungsdaten einen niedrigeren Wahrscheinlichkeitswert darstellen und die daher Pixelgruppen entsprechen, die potenziell wertvoller für die Annotation sind.
Zusätzlich oder alternativ ist es denkbar, dass die Form des Indikators, wie z. B. der Linientyp (d. h. Linientypen wie durchgezogen, gestrichelt und gepunktet), auf den Wahrscheinlichkeitswert der Gruppenklassifizierungsdaten hindeutet.
Da die Indikatoren 14 und 15 auf die Gruppenklassifizierungsdaten hindeuten, ist es für den Benutzer möglich, auf einfache Weise Pixelgruppen zu identifizieren, die einen mittleren Wahrscheinlichkeitswert aufweisen und für die der Klassifikator damit nicht ausreichend trainiert ist, um sie entweder als einen Kern darstellend oder als keinen Kern darstellend zu klassifizieren. Werden diese Pixelgruppen zusammen mit einem benutzergenerierten Klassifikationslabel, das angibt, ob die Pixelgruppe einen Kern darstellt oder nicht, in den annotierten Datensatz aufgenommen, so kann die Erkennungsgenauigkeit des Klassifikators verbessert werden.
Da die Pixelgruppen zusammen mit den Indikatoren 14 und 15 angezeigt werden, kann der Benutzer anhand der Morphologie der Pixelgruppen beurteilen, ob die jeweilige Pixelgruppe einen Zellkern darstellt oder nicht.
Die Benutzerschnittstelle des Datenverarbeitungssystems ist ferner konfiguriert, dem Benutzer zu ermöglichen, eine oder mehrere Pixelgruppen auszuwählen, die in den annotierten Datensatz aufgenommen werden sollen, und für jede der ausgewählten Pixelgruppen ein Klassifikationslabel zu erzeugen, das angibt, ob die Pixelgruppe einen Zellkern darstellt oder nicht. In dem Ausführungsbeispiel ist die grafische Benutzeroberfläche konfiguriert, es dem Benutzer zu ermöglichen, eine oder mehrere der Pixelgruppen mit Hilfe des Mauszeigers 16 der Computermaus auszuwählen. Beispielsweise ist es dem Benutzer möglich, nach dem Positionieren des Mauszeigers 16 über einer Pixelgruppe mit der Pixelgruppe zu interagieren, um das Klassifikationslabel zu erzeugen. Die Interaktion kann durch Auswählen eines Eintrags einer Dropdown-Liste, die nach Auswahl der Pixelgruppe angezeigt wird, oder durch Umschalten zwischen verschiedenen Optionen mittels einer Taste der Tastatur erfolgen. In gleicher Weise kann das Datenverarbeitungssystem konfiguriert sein, es dem Benutzer zu ermöglichen, Pixelgruppen aus dem annotierten Datensatz zu entfernen.
Das Datenverarbeitungssystem ist so konfiguriert, dass die Indikatoren 14 und 15 anzeigen, ob die entsprechende Pixelgruppe dem annotierten Datensatz hinzugefügt wurde. Beispielsweise wechselt die Farbe des Indikators nach Auswahl der Pixelgruppe und Erzeugung des Klassifikationslabels auf grün. Das Datenverarbeitungssystem kann ferner so konfiguriert sein, dass die Indikatoren 14 und 15 anzeigen, ob die Pixelgruppe durch den Benutzer als Kern darstellend oder als keinen Kern darstellend markiert wurde.
Das Datenverarbeitungssystem kann ferner konfiguriert sein, es dem Benutzer zu ermöglichen, Pixel zu einer oder mehreren ausgewählten Pixelgruppen hinzuzufügen und/oder aus diesen zu entfernen. Beispielsweise kann der Benutzer, nachdem dieser mindestens eine der Pixelgruppen ausgewählt hat, den Schwellenwert, der zur Bestimmung der Pixelgruppe verwendet wird, anpassen, wie vorstehend beschrieben wurde. Der Schwellwert kann durch Scrollen des Mausrads angepasst werden.
Zusätzlich oder alternativ kann das Datenverarbeitungssystem ferner konfiguriert sein, es dem Benutzer zu ermöglichen, neue Pixelgruppen zu erstellen und/oder Pixelgruppen zu löschen. Beispielsweise kann das Datenverarbeitungssystem durch Positionieren des Mauszeigers 16 auf einem Pixel, das nicht Teil einer Pixelgruppe ist, und durch Bereitstellen einer Benutzereingabe, die einen Schwellenwert angibt, eine neue Pixelgruppe durch Schwellenwertbildung der Wahrscheinlichkeitsdaten um die Position der Computermaus 16 erzeugen. Die Schwellenwertbildung kann durchgeführt werden, nachdem ein Rauschunterdrückungsfilter auf die Wahrscheinlichkeitswerte angewendet wurde. Der Schwellenwert kann beispielsweise durch Scrollen des Mausrads einstellbar sein.
Anschließend erzeugt das Datenverarbeitungssystem den annotierten Datensatz zum Trainieren des Klassifikators basierend auf den mikroskopischen Bilddatenwerten der gelabelten Pixelgruppen und den zugehörigen Klassifikationslabeln. Der annotierte Datensatz wird dann zum Training des Klassifikators 18 (in 1 gezeigt) verwendet, der im Datenverarbeitungssystem implementiert ist, um eine höhere Erkennungsgenauigkeit bei der Erkennung von Zellkernen zu erreichen.
Bei dem vorstehend beschriebenen Ausführungsbeispiel werden die Pixelklassifizierungsdaten, die zur Bildung der Pixelgruppen verwendet werden, mit dem Klassifikator erzeugt, der später mit dem annotierten Datensatz trainiert wird. Das anfängliche Training des Klassifikators (d. h. bevor das Training unter Verwendung des interaktiv erzeugten annotierten Datensatzes durchgeführt wird) kann auf einer kleinen Anzahl von manuell erstellten annotierten Datensätzen basierend und/oder unter Verwendung öffentlich verfügbarer annotierter Datensätze durchgeführt werden. Als alternatives Ausführungsbeispiel ist jedoch auch denkbar, dass der Klassifikator, der zur Erzeugung der Pixelklassifizierungsdaten verwendet wird, ein zweiter Klassifikator ist, der getrennt von dem Klassifikator implementiert wird, der mit dem annotierten Datensatz trainiert wird. Der zweite Klassifikator kann ein überwachtes Lernsystem, ein nicht-überwachtes Lernsystem oder ein nicht-lernendes System sein.
Dadurch wird ein Verfahren und ein System bereitgestellt, die eine effiziente Generierung eines annotierten Ernährungsassets ermöglichen. Ferner hat sich gezeigt, dass, wenn dem Benutzer Gruppen zur Verfügung gestellt werden und Gruppenklassifizierungsernährung durch das Datenverarbeitungssystem bestimmt werden, die Abhängigkeit des annotierten Datensatzes in einem geringeren Ausmaß von dem individuellen Benutzer abhängig ist.
Die vorstehend beschriebenen Ausführungsformen dienen nur der Veranschaulichung und sollen die Verfahrensansätze der vorliegenden Erfindung nicht einschränken. Obwohl die vorliegende Erfindung im Detail unter Bezugnahme auf die bevorzugten Ausführungsformen beschrieben wird, wird für den Fachmann verständlich sein, dass die Verfahrensansätze der vorliegenden Erfindung modifiziert oder gleichermaßen verschoben werden können, ohne vom Schutzbereich der Ansprüche der vorliegenden Erfindung abzuweichen. Insbesondere kann, wenngleich die Erfindung anhand einer Projektionsradiographie beschrieben wurde, diese auf jedes bildgebende Verfahren angewendet werden, das zu einem Projektionsbild führt. In den Patentansprüchen schließt das Wort „umfassen“ andere Elemente oder Schritte nicht aus, und der unbestimmte Artikel „ein“, „eine“ oder „eines“ schließt eine Mehrzahl nicht aus. Jegliche Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen des Schutzumfangs auszulegen.

Claims

System (1) zur Analyse mikroskopischer Bilddaten, wobei das System (1) ein Datenverarbeitungssystem (2) umfasst; wobei das Datenverarbeitungssystem (2) konfiguriert ist zum: Lesen und/oder Erzeugen (120) von Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten, wobei die Pixelklassifizierungsdaten für jedes der Vielzahl von Pixeln der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, umfassen; Gruppieren (130) mindestens eines Teils der Pixel der mikroskopischen Bilddaten, um eine oder mehrere Pixelgruppen zu bilden; und zum Berechnen (140), für jede der Pixelgruppen, probabilistischer Gruppenklassifizierungsdaten in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe; wobei für eine oder mehrere der Objektklassen und für jede der Pixelgruppen die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit angeben, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
System (1) nach Anspruch 1, wobei das Datenverarbeitungssystem (2) eine Benutzerschnittstelle umfasst, die zur interaktiven Generierung eines annotierten Datensatzes zum Trainieren eines Klassifikators (18) unter Verwendung der probabilistischen Gruppenklassifizierungsdaten konfiguriert ist.
System (1) nach Anspruch 2, wobei die interaktive Generierung des annotierten Datensatzes das Empfangen einer Benutzereingabe umfasst, die ein Klassifikationslabel für eine der Pixelgruppen angibt, wobei das Klassifikationslabel die Pixelgruppe einer oder mehreren der Objektklassen zuweist oder angibt, dass die Pixelgruppe kein Objekt einer der vordefinierten Objektklassen darstellt.
System (1) nach Anspruch 2 oder 3, wobei das Datenverarbeitungssystem (2) konfiguriert ist, um unter Verwendung der Benutzerschnittstelle des Datenverarbeitungssystems (2) eine oder mehrere der Pixelgruppen und für jede der angezeigten Pixelgruppen einen visuell wahrnehmbaren Indikator (14, 15) anzuzeigen, der in Abhängigkeit von den probabilistischen Gruppenklassifizierungsdaten der jeweiligen Pixelgruppe erzeugt wird.
System (1) nach Anspruch 4, wobei der Indikator (14, 15) eine Größe der Pixelgruppe anzeigt.
System (1) nach einem der vorhergehenden Ansprüche, wobei die eine oder die mehreren Pixelgruppen in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten gebildet werden.
System (1) nach Anspruch 6, wobei die eine oder die mehreren Pixelgruppen unter Verwendung eines Schwellenwerts für die Pixelklassifizierungsdaten gebildet werden.
System (1) nach einem der vorhergehenden Ansprüche, wobei das Datenverarbeitungssystem (2) konfiguriert ist, um die Pixelklassifizierungsdaten unter Verwendung eines Klassifikators (18) zu erzeugen und um ein überwachtes Training des Klassifikators (18) unter Verwendung der Pixel von mindestens einem Teil der Pixelgruppen durchzuführen.
System (1) nach einem der vorhergehenden Ansprüche, wobei jede der Pixelgruppen im Wesentlichen einen Pixelcluster darstellt.
System (1) nach einem der vorhergehenden Ansprüche, wobei das Datenverarbeitungssystem (2) ferner konfiguriert ist, um die Pixelklassifizierungsdaten in Abhängigkeit von Daten zu erzeugen, die unter Verwendung eines Klassifikators (18) erzeugt werden, der von dem Datenverarbeitungssystem (2) ausgeführt wird, wobei die unter Verwendung des Klassifikators (18) erzeugten Daten Ausgabedaten umfassen, die von einer Schicht eines künstlichen neuronalen Netzes des Klassifikators (18) ausgegeben werden.
System (1) nach Anspruch 10, wobei die Generierung der Pixelklassifizierungsdaten das Anwenden einer Logit-Funktion auf die Ausgabedaten und/oder auf Daten, die unter Verwendung der Ausgabedaten erzeugt werden, umfasst.
System (1) nach einem der vorhergehenden Ansprüche, wobei für jede der Pixelgruppen die entsprechenden probabilistischen Gruppenklassifizierungsdaten in Abhängigkeit von einem Mittelwert der Pixelklassifizierungsdaten mindestens eines Teils der Pixel der jeweiligen Pixelgruppe bestimmt werden.
Verfahren (100) zur Analyse mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems (2), wobei das Verfahren umfasst: Lesen und/oder Erzeugen (120) von Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten, wobei die Pixelklassifizierungsdaten für jedes der Vielzahl von Pixeln der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, umfassen; Gruppieren (130) mindestens eines Teils der Pixel der mikroskopischen Bilddaten, um eine oder mehrere Pixelgruppen zu bilden; und zum Berechnen (140), für jede der Pixelgruppen, probabilistischer Gruppenklassifizierungsdaten in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe; wobei für eine oder mehrere der Objektklassen und für jede der Pixelgruppen die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit angeben, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
Programmelement zur Analyse mikroskopischer Bilddaten unter Verwendung eines Datenverarbeitungssystems (2), wobei das Programmelement, wenn es von einem Prozessor des Datenverarbeitungssystems (2) ausgeführt wird, dazu ausgelegt ist, Folgendes auszuführen: Lesen und/oder Erzeugen (120) von Pixelklassifizierungsdaten für jedes einer Vielzahl von Pixeln der mikroskopischen Bilddaten, wobei die Pixelklassifizierungsdaten für jedes der Vielzahl von Pixeln der mikroskopischen Bilddaten binäre oder probabilistische Klassifizierungsdaten zum Klassifizieren des Pixels in eine oder mehrere Objektklassen von vordefinierten Objekten, die durch das Bild gezeigt werden, umfassen; Gruppieren (130) mindestens eines Teils der Pixel der mikroskopischen Bilddaten, um eine oder mehrere Pixelgruppen zu bilden; und zum Berechnen (140), für jede der Pixelgruppen, probabilistischer Gruppenklassifizierungsdaten in Abhängigkeit von mindestens einem Teil der Pixelklassifizierungsdaten der Pixel der jeweiligen Gruppe; wobei für eine oder mehrere der Objektklassen und für jede der Pixelgruppen die probabilistischen Gruppenklassifizierungsdaten eine Wahrscheinlichkeit angeben, dass die jeweilige Gruppe mindestens einen Teil eines Objekts der jeweiligen Objektklasse zeigt.
Computerlesbares Medium, auf dem das Programmelement nach Anspruch 14 gespeichert ist.