-
Die Erfindung beschreibt ein Verfahren und eine Anordnung zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild und ein medizinisches Bildgebungssystem.
-
Eine gute Kenntnis der patientenspezifischen Anatomie ist zur Analyse von Krankheiten und zur Planung der Therapie wichtig. Mehrere Organe, z.B. Gehirn, Leber und Lunge, umfassen eine Anzahl von Segmenten, wobei jedes Segment im Wesentlichen funktional und anatomisch eigenständig ist. In diesen Organen ist die Segmentierung von Segmenten zur Lokalisierung von Krankheiten hilfreich. Dies ermöglicht eine einzelne segmentale Resektion ohne Beeinträchtigung benachbarter Segmente, die präoperative Beurteilung während der Operationsplanung und einen informativeren Krankheitsnachweis in Kombination mit funktionaler Bildgebung, z.B. durch Einschluss der Funktionsinformationen des Organs zur Diagnostik in einer angezeigten Segmentierung.
-
Die Lungenanatomie ist beispielsweise für klinische Experten bei der Analyse von Krankheiten im Zusammenhang mit der Lunge und bei der Planung der lokalisierten Therapie von kritischer Bedeutung. Lungensegmente werden als die Atmungsabschnittseinheiten der Lunge angesehen, wobei jedes von einem tertiären Segmentbronchus belüftet wird. Sie sind Teilregionen der Lungenlappen. Es gibt acht Lungensegmente in der linken Lunge und zehn in der rechten Lunge.
-
Ein Perfusionsdefekt in einer Lunge, der bei einer SPECT/CT-Untersuchung beobachtet wird, kann beispielsweise besser mit Lungensegmenten assoziiert werden als mit Lungenlappen. Dies kann die klinische Entscheidungsfindung verbessern. Der Prozess der manuellen Identifizierung der Lungensegmente in CT-Aufnahmen stellt eine Herausforderung dar und ist aufgrund der großen Anzahl an Lungensegmenten und der Tatsache, dass die Grenzen zwischen Segmenten innerhalb jedes Lappens für das menschliche Auge aus dem Bild nicht sichtbar sind, zeitraubend. Zum Trainieren eines KI-basierten Verfahrens, das den Aufwand und die Computerleistung bedeutend reduzieren würde, ist aber eine große Anzahl an annotierten Datensätzen erforderlich.
-
Angesichts der Herausforderungen steht nur im begrenzten Umfang veröffentlichte Literatur zu diesem Thema zur Verfügung. Ein häufig akzeptierter Weg zur Identifizierung der Lungensegmente ist die Untersuchung der entsprechenden Bronchialsegmente. Es wurde bereits versucht, die Lungensegmente aus Bronchialsegmenten abzuleiten, aber mit einem hohen Maß an menschlicher Interaktion und eingeschränkter Genauigkeit.
-
Deshalb ist es eine Aufgabe der Erfindung, den menschlichen Aufwand bei der Lokalisierung von Organsegmenten in einem dreidimensionalen Bild zu reduzieren.
-
Diese Aufgabe wird mit dem Verfahren von Anspruch 1; der Anordnung von Anspruch 12; und dem medizinischen Bildgebungssystem von Anspruch 13 erfüllt.
-
Erfindungsgemäß umfasst ein Verfahren zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild die folgenden Schritte:
- - Bereitstellen eines dreidimensionalen Bildes, das mindestens ein Organ und mindestens ein röhrenförmiges Netzwerk zeigt, das eine Vielzahl von röhrenförmigen Strukturen umfasst, wobei das Organ Organsegmente umfasst;
- - Durchführen einer automatischen Trennung des Organs von anderen Teilen des Bildes;
- - Durchführen einer automatischen Verfolgung des röhrenförmigen Netzwerks zum Erhalten einer Verzweigungskarte;
- - Durchführen einer automatischen Analyse der Verzweigungskarte zur Identifizierung bestimmter röhrenförmiger Strukturen;
- - Durchführen einer automatischen Zuordnung von Bereichen des Organs zu den bestimmten röhrenförmigen Strukturen zur Segmentierung des Organs in lokalisierte Organsegmente; und
- - Ausgeben der lokalisierten Organsegmente und fakultativ des nachgezeichneten röhrenförmigen Netzwerks als Bilddaten.
-
Die vorliegende Erfindung wird hierin beschrieben, um die Verfahren zur Lokalisierung in medizinischen Bildern zu visualisieren. Ein digitales Bild setzt sich häufig aus digitalen Darstellungen eines oder mehrere Objekte (oder Formen) zusammen. Die digitale Darstellung eines Objekts wird hierin oft in Bezug auf die Identifizierung und Manipulation der Objekte beschrieben. Solche Manipulationen sind virtuelle Manipulationen, die üblicherweise im Speicher oder einer anderen Schaltung/Hardware eines Computersystems ausgeführt werden. Folglich versteht es sich, dass Ausführungsformen der vorliegenden Erfindung in einem Computersystem unter Verwendung von im Computersystem gespeicherten Daten implementiert werden können.
-
Vorzugsweise ist das dreidimensionale (3D) Bild ein Computertomographie- (CT) Bild. Es versteht sich jedoch, dass das 3D-Bild ein medizinisches Bild jeder geeigneten Modalität sein kann, wie z.B. MRT, multiparametrisches MRT (mpMRI), DynaCT, Ultraschall (US), Einzelphotonen-Emissionscomputertomographie (SPECT), Positronen-Emissions-Tomographie (PET), usw.
-
Das Bild umfasst eine Darstellung eines Organs eines Patienten, insbesondere eines inneren Organs, wobei der Patient ein Mensch oder ein Tier sein kann. Das Organ umfasst Segmente, die - vorzugsweise die kleinsten - Elemente sind, die im Wesentlichen funktional und anatomisch eigenständig sind. Dies bedeutet, dass ein Segment ein im Wesentlichen unabhängiger Bereich des Organs ist, in dem eine interventionelle Entfernung oder Behandlung nur geringfügige direkte Auswirkungen auf andere Segmente hat.
-
Das dreidimensionale Bild ist ein Eingabedatensatz, der analysiert werden soll. Das Bild kann direkt von einer Bildgebungsmodalität erhalten werden, die zur Erfassung des medizinischen Bildes verwendet wurde, oder es kann aus einem Datenspeicher abgerufen werden, z.B. einem lokalen Datenspeicher oder Netzwerkdatenspeicher, wie etwa PACS (Bildarchivierungs- und Kommunikationssystem) oder einem Remote-Computer oder Server.
-
Das röhrenförmige Netzwerk umfasst eine Vielzahl von röhrenförmigen Strukturen, d.h. es ist ein System aus verbundenen und verzweigenden Röhren. Jede Röhre hat eine im Wesentlichen zylindrische Gestalt, d.h. sie kann als ein Zylinder erkannt werden, obwohl die zylindrische Gestalt gebogen oder anderweitig verformt sein kann. Wände jeder röhrenförmigen Struktur bilden die im Wesentlichen zylindrische Gestalt und umschließen ein Lumen. Das röhrenförmige Netzwerk kann Teil des Organs sein oder mit dem Organ eng verwandt sein, z.B. Blutgefäße, die das Organ durchdringen und/oder umgeben.
-
Durch Durchführung von ausschließlich automatisierten Schritten werden die Organsegmente automatisch lokalisiert, wie es unten ausführlich beschrieben wird. Dies reduziert auf vorteilhafte Weise den menschlichen Aufwand. In diesem Zusammenhang bedeutet „automatisch“, dass Parameter zwar von einem Benutzer eingestellt werden können, der tatsächliche Schritt oder das tatsächliche Verfahren aber von einer Maschine, insbesondere algorithmisch ohne Eingreifen des Benutzers durchgeführt wird.
-
Die Durchführung einer automatischen Trennung des Organs von anderen, d.h. nicht zum Organ gehörenden, Teilen des Bildes bedeutet, dass das Organ von Teilen segmentiert wird, die anatomisch nicht zum Organ gehören. Ein solcher vorbereitender Segmentierungsschritt ist im Allgemeinen wohlbekannt und kann mit Verfahren wie Kantenerkennung, Regionswachstum (Region Growing), Schwellenwertanalyse oder dergleichen durchgeführt werden.
-
Das Regionswachstumsverfahren ist im Allgemeinen ein weithin bekanntes Segmentierungsverfahren, das von einem Saatpunkt startet. Je nach Regionsmitgliedsschaftkriterium werden dem Saatpunkt oder dem zuvor bestimmten Bereich neue Bereiche hinzugefügt. Das Regionsmitgliedsschaftskriterium könnte beispielsweise Pixel-Intensität, Grauskalentextur, Kontrast, SNR oder dergleichen sein. Kantenerkennung identifiziert im Allgemeinen Punkte im Bild, an denen die Bildhelligkeit sich scharf verändert oder formaler gesagt Diskontinuitäten aufweist.
-
Das automatische Nachzeichnen erkennt insbesondere die Mittellinien des röhrenförmigen Netzwerks. Da die einzelnen röhrenförmigen Strukturen miteinander verbunden sind, wird eine Verzweigungskarte oder ein Mittellinienbaum erhalten. Die Verzweigungskarte ist eine im Wesentlichen baumförmige Struktur, d.h. sie umfasst mehrere Verzweigungspunkte oder Knotenpunkte, in denen sich ein Ast in zwei oder mehr Zweige teilt. Die Mittellinien folgen der Mitte der röhrenförmigen Struktur. Insbesondere ist der Mittellinienbaum oder die Verzweigungskarte eine dreidimensionale Darstellung des röhrenförmigen Netzwerks innerhalb des 3D-Bildes.
-
Für den automatischen Nachzeichnungsschritt wird das Original-3D-Bild vorzugsweise als Eingabe verwendet. Da die röhrenförmigen Strukturen eine im Wesentlichen zylindrische Gestalt aufweisen, können Techniken wie Kantenerkennung, Regionswachstum, Schwellenwertanalysemethoden oder dergleichen an die zylindrischen Grenzbedingungen angepasst werden, um das Nachzeichnen durchzuführen. Insbesondere kann zum Erhalten der Verzweigungskarte ein morphologischer Verfolgungsalgorithmus durchgeführt werden. Da die automatischen Verfolgungsmethoden des Standes der Technik bisher nicht in der Lage waren, die für das erfindungsgemäße Verfahren benötige Genauigkeit zu erzielen und anfällig für Fehler waren, werden die Einzelheiten der automatischen Verfolgung nachstehend beschrieben.
-
Normalerweise zeigen die Verzweigungskarten verschiedener Patienten ähnliche Eigenschaften, wie etwa mehrere Verzweigungen, die an einem bestimmten Knotenpunkt beginnen, die relative Richtung, d.h. Winkel der Verzweigungen, der Abstand zwischen den Knotenpunkte oder dergleichen. Die automatische Analyse der Verzweigungskarte kann insbesondere auf diesen Eigenschaften basieren. Üblicherweise entsprechen bestimmte röhrenförmige Strukturen lokal und/oder funktional den Organsegmenten, die in den Bilddaten segmentiert werden sollen. Die automatische Analyse der Verzweigungskarte identifiziert diese bestimmten röhrenförmigen Strukturen.
-
Die automatische Zuordnung von Bereichen des Organs zu den bestimmten röhrenförmigen Strukturen segmentiert das Organ in lokalisierte Organsegmente. Ausgehend von jeder bestimmten röhrenförmigen Struktur segmentiert Regionswachstum oder Zuordnen der nächstliegenden Voxel zum jeweiligen Organsegment das Organ, bis es vollständig in Organsegmente aufbereitet wurde. Dies stellt die Position und die Ausdehnung für jedes Organsegment bereit, d.h. die Organsegmente werden somit lokalisiert, insbesondere bezüglich des getrennten Organs oder in Bezug auf das 3D-Bild lokalisiert.
-
Die lokalisierten Organsegmente und fakultativ das nachgezeichnete röhrenförmige Netzwerk werden als Bilddaten ausgegeben, d.h. sie können gespeichert, übertragen oder angezeigt werden. Zur Erleichterung der Beurteilung des abgebildeten Organs im Zusammenhang mit dem Original-3D-Bild können die lokalisierten Organsegmente und fakultativ das nachgezeichnete röhrenförmige Netzwerk vorzugsweise als Überlagerung mit einstellbarer Transparenz und zusätzlich oder alternativ als getrennte Bilder ausgegeben werden.
-
Erfindungsgemäß umfasst eine Lokalisierungsanordnung zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild:
- - ein Mittel zum Bereitstellen eines dreidimensionalen Bildes eines Organs, das Organsegmente und mindestens ein röhrenförmiges Netzwerk umfasst, das eine Vielzahl von röhrenförmigen Strukturen umfasst;
- - ein Trennmittel zum automatischen Trennen des Organs von anderen Teilen des Bildes;
- - ein Verfolgungsmittel zum automatischen Nachzeichnen des röhrenförmigen Netzwerks zum Erhalten einer Verzweigungskarte;
- - ein Analysemittel zum automatischen Analysieren der Verzweigungskarte zur Identifizierung bestimmter röhrenförmiger Strukturen;
- - ein Zuordnungsmittel zum automatischen Zuordnen von Bereichen des Organs zu den bestimmten röhrenförmigen Strukturen zur Segmentierung des Organs in lokalisierte Organsegmente; und
- - ein Ausgabemittel zum Ausgeben der lokalisierten Organsegmente und fakultativ der nachgezeichneten röhrenförmigen Strukturen als Bilddaten.
-
Die Lokalisierungsanordnung umfasst folglich alle Mittel und ist zur Realisierung des erfindungsgemäßen Verfahrens zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild ausgelegt. Das Mittel zum Bereitstellung eines dreidimensionalen Bildes und die Ausgabe können beispielsweise als getrennte Schnittstellen ausgelegt sein, oder eines oder beide davon können als eine einzelne integrierte Schnittstelle, wie etwa eine Netzschnittstelle oder dergleichen ausgelegt sein.
-
Erfindungsgemäß umfasst das medizinische Bildgebungssystem eine erfindungsgemäße Lokalisierungsanordnung und eine Bildgebungsmodalität.
-
Einige Einheiten oder Module der oben erwähnten Lokalisierungsanordnung können vollständig oder teilweise als Softwaremodule realisiert werden, die auf einem Prozessor eines Computersystems oder eines medizinischen Bildgebungssystems laufen. Eine Realisierung größtenteils in Form von Softwaremodulen hat den Vorteil, dass Anwendungen, die bereits auf einem existierenden System installiert sind, mit verhältnismäßig geringem Aufwand aktualisiert werden können, um diese Einheiten der vorliegenden Anwendung zu installieren und auszuführen. Die Aufgabe der Erfindung wird auch von einem Computerprogrammprodukt mit einem Computerprogramm erzielt, das direkt in den Speicher eines Computersystems oder eines medizinischen Bildgebungssystems geladen werden kann, und das Programmeinheiten zur Durchführung der Schritte des erfindungsgemäßen Verfahrens bei der Ausführung des Programms durch das medizinische Bildgebungssystem oder das Computersystem umfasst. Zusätzlich zum Computerprogramm kann ein solches Computerprogrammprodukt auch weitere Teile umfassen, wie etwa Dokumentations- und/oder zusätzliche Komponenten, auch Hardwarekomponenten, wie etwa einen Hardware Key (Dongle usw.), um den Zugriff auf die Software zu erleichtern.
-
Ein computerlesbares Medium, wie etwa ein Speicherstift, eine Festplatte oder ein anderer transportabler oder permanent installierter Träger, kann zum Transportieren und/oder Speichern der ausführbaren Teile des Computerprogrammprodukts dienen, so dass diese von einer Prozessoreinheit eines medizinischen Bildgebungssystems oder eines Computersystems gelesen werden können. Eine Prozessoreinheit kann einen oder mehrere Mikroprozessoren oder deren Äquivalente umfassen.
-
Besonders vorteilhafte Ausführungsformen und Merkmale der Erfindung werden in den abhängigen Ansprüchen bereitgestellt, wie es aus der folgenden Beschreibung hervorgeht. Merkmale der verschiedenen Anspruchskategorien können zweckmäßig kombiniert werden, um weitere Ausführungsformen zu erhalten, die hierin nicht beschrieben werden.
-
Da die erfindungsgemäße Lokalisierung der Segmente am besten in Organen mit unverkennbaren Segmenten und unterscheidbaren röhrenförmigen Strukturen funktioniert, ist das zu analysierende Organ vorzugsweise ein Gehirn oder eine Leber. Insbesondere ist es eine Lunge oder ein Lungenpaar. Für alle diese Organe sind die Wege der Blutgefäße und insbesondere ihre Korrelation mit den einzelnen Segmenten des jeweiligen Organs wohlbekannt. Für die Lunge bilden insbesondere die Bronchien eine röhrenförmige Struktur mit einer starken Korrelation zu den Organsegmenten, wie oben beschrieben.
-
Folglich sind die röhrenförmigen Strukturen vorzugsweise Blutgefäße und/oder Bronchien. Wenn eine Lunge oder ein Lungenpaar analysiert werden soll, werden insbesondere Bronchien sowie Blutgefäße als getrennte röhrenförmigen Strukturen für eine komplexere, auf Heuristik basierende Evaluierung zur Lokalisierung der Lungensegmente verwendet.
-
Für den Fall, dass das Organ eine Lunge ist, wird vorzugsweise nach oder gleichzeitig mit der Trennung der Lunge von den anderen Teilen des Bildes eine Vorsegmentierung in einzelne Lungenlappen durchgeführt. Diese Segmentierung ist aufgrund der deutlich sichtbaren Vertiefungen des Pleurasacks zwischen den Lungenlappen relativ einfach. Die Lungenlappen können folglich mit allgemein bekannten Verfahren der Kantenerkennung oder des Regionswachstums segmentiert werden.
-
Nachzeichnen/Verfolgen oder Extraktion von Mittellinien kann aufgrund der dünnen und unklaren röhrenförmigen Struktur der kleineren Atemwegszweige eine große Herausforderung darstellen. Aufgrund dieser strukturellen Komplexität ist die Extraktion mit manuellen Verfahren langwierig und zeitraubend. Da die weiteren Schritte des erfindungsgemäßen Verfahrens aber von der Genauigkeit der Verzweigungskarte abhängen, wird das automatische Verfolgungsverfahren nachfolgend ausführlich beschrieben.
-
Für die automatische Mittellinienverfolgung evaluiert ein trainiertes KI-basiertes Kartenerzeugungsverfahren das 3D-Bild zur Erzeugung einer Wahrscheinlichkeitskarte der röhrenförmigen Strukturen. Ein Skeletonisierungsalgorithmus wird auf die Wahrscheinlichkeitskarte der röhrenförmigen Strukturen angewandt, um die Verzweigungskarte zu erhalten.
-
Das KI-basierte Kartenerzeugungsverfahren wird trainiert durch
- - Empfangen von medizinischen Bilddaten mindestens eines Teils einer röhrenförmigen Struktur,
- - Empfangen von annotierten Bilddaten basierend auf den medizinischen Bilddaten, wobei die annotierten Daten eine Wahrscheinlichkeitskarte der röhrenförmigen Strukturen sind,
- - Trainieren des KI-basierten Kartenerzeugungsverfahrens an den medizinischen Bilddaten und den annotierten Daten, um das trainierte KI-basierte Kartenerzeugungsverfahren zu erhalten.
-
Insbesondere können medizinische Bilddaten ein medizinisches 3D-Bild mindestens eines Teils der röhrenförmigen Struktur sein. Insbesondere können die annotierten Daten durch Annotieren der medizinischen Bilddaten bestimmt werden. Insbesondere kann eine Fachkraft die medizinischen Bilddaten manuell annotieren. Manuelles Annotieren von röhrenförmigen Strukturen in den medizinischen Bilddaten liefert hochwertige und wenige fehlerhafte annotierte Daten.
-
Vorzugsweise erfolgt vor dem Trainieren des KI-basierten Kartenerzeugungsverfahrens mit manuell annotierten Daten ein Vortraining.
-
Das KI-basierte Kartenerzeugungsverfahren wird vortrainiert durch:
- - Empfangen von medizinischen Vortrainings-Bilddaten mindestens eines Teils einer röhrenförmigen Struktur,
- - Durchführen eines deterministischen Algorithmus basierend auf einer Morphologie-basierten Segmentierung zum Erhalten einer Vortrainings-Wahrscheinlichkeitskarte der röhrenförmigen Strukturen,
- - Vortrainieren des KI-basierten Kartenerzeugungsverfahrens basierend auf den medizinischen Vortrainings-Bilddaten und der Vortrainings-Wahrscheinlichkeitskarte der röhrenförmigen Strukturen.
-
Insbesondere können die medizinischen Vortrainings-Bilddaten die medizinischen 3D-Bilddaten sein. Im Allgemeinen sind einem Fachmann geeignete Morphologie-basierte Segmentierungsalgorithmen bekannt. Beispielhafte Algorithmen, die als Morphologie-basierter Algorithmus verwendet werden können, werden beispielsweise von Irving et al. (3D segmentation of the airway tree using a morphology based method, Proceedings of 2nd International Workshop on Pulmonary Image Analysis, S. 297-307, 2009), Feuerstein et al. (Adaptive Branch Tracing and Image Sharpening for Airway Tree Extraction in 3-D Chest CT, Proceedings of 2nd International Workshop on Pulmonary Image Analysis, S. 273- 284, 2009), Lo et al. (Multiscale Vessel-guided Airway Tree Segmentation, Proceedings of 2nd International Workshop on Pulmonary Image Analysis, S. 323-332, 2009), und Bauer et al. (Airway Tree Reconstruction Based on Tube Detection, Proceedings of 2nd International Workshop on Pulmonary Image Analysis, S. 203-213 2009) beschrieben.
-
Auch wenn die Vortrainings-Wahrscheinlichkeitskarte für die röhrenförmigen Strukturen nicht so präzise (insbesondere die kleineren Teile der röhrenförmigen Strukturen) wie die manuell annotierten Daten ist, kann sie zum Vortrainieren des KI-basierten Kartenerzeugungsverfahrens verwendet werden. Die vortrainierte Funktion kann durch einen zweiten Trainingsschritt unter Verwendung der manuell annotierten Daten feineingestellt werden. Folglich kann eine große Anzahl von Vortrainings-Wahrscheinlichkeitskarten für röhrenförmige Strukturen zum Vortrainieren des KI-basierten Kartenerzeugungsverfahrens verwendet werden. Auf diese Weise ist es möglich, das KI-basierte Kartenerzeugungsverfahren mit einer kleinen Menge von manuell annotierten Daten zu trainieren und abzustimmen.
-
Der Skeletonisierungsalgorithmus dient zur Bestimmung der Verzweigungskarte des röhrenförmigen Netzwerks oder der röhrenförmigen Strukturen innerhalb des 3D-Bildes. Die Verzweigungskarte oder der Mittellinienbaum kann durch Anwenden des Skeletonisierungsalgorithmus auf die Wahrscheinlichkeitskarte der röhrenförmigen Strukturen berechnet werden. Insbesondere kann der Skeletonisierungsalgorithmus dazu ausgelegt sein, eine gebogene Glattheit und/oder Verbundenheit der Verzweigungskarte sicherzustellen, und er kann mit Hintergrundrauschen umgehen. Gebogene Glattheit bedeutet, dass die Verzweigungskarte der organischen Form der röhrenförmigen Strukturen folgt. Verbundenheit bedeutet, dass es in der Verzweigungskarte der röhrenförmigen Strukturen, die im medizinischen 3D-Bild abgebildet sind, keine Lücken gibt. Die Verbundenheit der röhrenförmigen Strukturen ist in einem Mensch stets vorhanden, um Fluss, z.B. Luft- oder Blutfluss zu ermöglichen. Umgang mit Hintergrundrauschen bedeutet, dass der Skeletonisierungsalgorithmus erkennt, dass Rauschen nicht den röhrenförmigen Strukturen entspricht. Ein Skeletonisierungsalgorithmus mit diesen Eigenschaften kann z.B. auf einer Adaption des Rivulet-Algorithmus basieren. Eine solche Adaption wird von Siqi et al. („Automated 3-D Neuron Tracing With Precise Branch Erasing and Confidence Controlled Back Tracking“, IEEE Transactions on Medical Imaging, Band 37, Nr. 11: 2441-2452, 2018) beschrieben.
-
Die automatische Mittellinienverfolgung wird für jede Art von röhrenförmigem Netzwerk getrennt durchgeführt, z.B. Blutgefäße und Bronchien. Aufgrund verschiedener Charakteristika verschiedener Arten von röhrenförmigen Netzwerken, wird das KI-basierte Kartenerzeugungsverfahren für jedes röhrenförmige Netzwerk separat trainiert.
-
Die Mittellinien können folglich automatisch nachgezeichnet werden und die Verzweigungskarte wird basierend auf den medizinischen 3D-Bilddaten mit hoher Genauigkeit erhalten.
-
Die Analyse der Verzweigungskarte erfolgt vorzugsweise auf Basis der Heuristik der Topologie des röhrenförmigen Netzwerks. Wie oben erwähnt können die Charakteristika der Topologie des röhrenförmigen Netzwerks z.B. mehrere Verzweigungen, die von einem bestimmten Knotenpunkt ausgehen, eine relative Richtung, d.h. Winkel der Verzweigungen, den Abstand zwischen den Knotenpunkten oder dergleichen umfassen. Diese Charakteristika sind für unterschiedliche Patienten ähnlich, und sogar ihre Standardabweichungen sind bekannt oder können empirisch bestimmt werden. Basierend auf diesen Daten kann eine heuristische Evaluierung der Verzweigungskarte durchgeführt werden.
-
Alternativ wird die Verzweigungskarte vorzugsweise basierend auf einer verformbaren Registrierung und Atlas-Propagation ausgewertet.
-
Die verformbare Bildregistrierung (DIR) ist auch als nicht-rigide Bildregistrierung bekannt. In der rigiden Bildregistrierung (RIR) bewegen und/oder drehen sich alle Pixel gleichmäßig, so dass jede Pixel-Pixel-Beziehung vor und nach der Transformation gleich bleibt. Bei der DIR verändert sich jedoch diese Pixel-Pixel-Beziehung, um eine bessere Anpassung nach der Transformation zu erhalten. Zusätzlich basiert diese Ausführungsform auf sogenannten Atlassen, die aus einem Bild des jeweiligen Organs und entsprechenden Markierungen bestehen, die vorab hergestellt wurden, z.B. unter Verwendung detaillierter manueller Segmentierung. Die Registrierung des 3D-Bildes und des Atlas liefert einen Hinweis in Form einer bestimmten Markierung für jede röhrenförmige Struktur im 3D-Bild. Folglich ist es möglich, die bestimmten röhrenförmigen Strukturen zu identifizieren.
-
Insbesondere wird eine Multi-Atlas-Propagation durchgeführt. Das bedeutet, dass mehrere Atlas-Propagationen wie oben beschrieben durchgeführt werden und dass verschiedene Ergebnisse der Markierungen für jede röhrenförmige Struktur gemittelt oder gewichtet und gemittelt werden. Folglich ist es möglich, die bestimmten röhrenförmigen Strukturen zuverlässiger zu identifizieren.
-
In einer bevorzugten und ressourcensparenden Ausführungsform der Erfindung werden die Bereiche des Organs voxelweise der am nächsten liegenden bestimmten röhrenförmigen Struktur zugeordnet. Das bedeutet, dass jedes Voxel des Organs der bestimmten röhrenförmigen Struktur mit dem Mindestabstand zugeordnet wird.
-
In einer alternativen Ausführungsform basiert die Zuordnung von Bereichen des Organs zu den bestimmten röhrenförmigen Strukturen auf Regionswachstum. In diesem Fall sind die Saatpunkte für das Regionswachstum die bestimmten röhrenförmigen Strukturen. Das Regionswachstumsverfahren wird schrittweise durchgeführt. Wenn es zu einem Konflikt kommt, d.h. wenn in einem Schritt eine Region zwei oder mehr verschiedenen Segmenten hinzugefügt werden muss, kann die Region dem ähnlichsten Segment hinzugefügt oder zwischen den Segmenten aufgeteilt werden.
-
Beide oben erwähnten alternativen Ausführungsformen werden durchgeführt, bis das vollständige Organ ausgehend von der jeweiligen bestimmten röhrenförmigen Struktur den Segmenten zugeordnet wurde. Die Voxel an der Grenze zwischen zwei oder mehr Segmenten können vorzugsweise in einem optionalen Oberflächenglättungsschritt für die Segmente neu bewertet werden.
-
In wenigen Fällen könnte es sein, dass beide oben erwähnten Alternativen für die Zuordnung der Bereiche nicht zu anatomisch genauen Ergebnissen führen, weil nicht schlüssige Merkmale im Bild vorhanden sind. Folglich beschränkt eine räumlich registrierte anatomische Schablone die Zuordnung von Bereichen des Organs vorzugsweise auf die bestimmten röhrenförmigen Strukturen. Die Registrierung kann als rigide oder nicht-rigide Registrierung wie oben beschrieben durchgeführt werden. Ähnlich wie der oben beschriebene Atlas ist die Schablone beispielsweise eine Karte mit designierten Bereichen für jedes Organsegment, die sich bei Bedarf überlappen. Ein Bildbereich kann einem Organsegment nur dann zugeordnet werden, wenn er dem jeweiligen designierten Bereich entspricht. Alternativ kann die Schablone beispielsweise als eine Wahrscheinlichkeitskarte konzipiert sein und „weiche“ Grenzen für designierte Bereiche für jedes Organsegment festlegen. Im Zweifelsfall wird ein Bildbereich dem Organsegment mit der höheren Wahrscheinlichkeit zugeordnet.
-
Vorzugsweise wird mindestens einer der Schritte der automatischen Trennung, automatischen Verfolgung, automatischen Analyse und automatischen Zuordnung von einem trainierten KI-basierten Verfahren durchgeführt. Insbesondere werden alle Schritte von einem trainierten KI-basierten Verfahren durchgeführt.
-
Der Begriff KI-basiertes Verfahren bedeutet ein maschinelles Verfahren, das kognitive Funktionen imitiert, die mit dem menschlichen Geist assoziiert werden. Der Begriff umschließt beispielsweise maschinelles Lernen und maschinelles tiefes Lernen. Insbesondere ist das trainierte KI-basierte Verfahren durch Training basierend auf Trainingsdaten in der Lage, sich an neue Umstände anzupassen und Muster zu erkennen und zu extrapolieren.
-
Das KI-basierte Verfahren ist vorzugsweise ein maschinelles Lernverfahren, insbesondere ein Verfahren des maschinellen tiefen Lernens. Im Allgemeinen ermöglicht maschinelles Lernen der Maschine, sich an neue Umstände anzupassen und Muster zu erkennen und zu extrapolieren. „Einfache“ oder „traditionelle“ maschinelle Lernverfahren umfassen z.B. logistische Regression, Stützvektormaschine (SVM), Zufallswald (Random Forest) oder dergleichen.
-
Im Allgemeinen können Parameter des KI-basierten Verfahrens mittels Training angepasst werden. Insbesondere können überwachtes Training, teilüberwachtes Training, unüberwachtes Training, verstärkendes Lernen und/oder aktives Lernen genutzt werden. Weiterhin kann Repräsentationslernen (ein alternativer Begriff ist „Feature-Learning“) verwendet werden. Insbesondere können die Parameter des trainierten KI-basierten Verfahrens iterativ durch mehrere Trainingsschritte angepasst werden.
-
Insbesondere ist das trainierte KI-basierte Verfahren durch Training basierend auf Trainingsdaten in der Lage, sich an neue Umstände anzupassen und Muster zu erkennen und zu extrapolieren. Vorzugsweise können die oben beschriebenen, meistens deterministischen Algorithmen die notwendigen Trainingsdaten automatisch erzeugen. Da die beschriebenen deterministischen Algorithmen mit ausreichender Genauigkeit arbeiten, werden keine oder fast keine manuell annotierten Trainingsdaten benötigt.
-
Mit anderen Worten wird unter Verwendung einer Vielzahl von Eingabedatensätzen jeder Eingabedatensatz von dem deterministischsten Algorithmus verarbeitet, um Trainingsdaten zu erhalten. Die Eingabedaten werden auch von dem untrainierten KI-basierten Verfahren verarbeitet. Unter Verwendung einer großen Anzahl an Eingabedatensätzen wird das KI-basierte Verfahren trainiert, indem das KI-basierte Verfahren zur Minimierung der Abweichungen zwischen den Trainingsdaten und dem Resultat des zu trainierenden KI-basierten Verfahrens angepasst wird.
-
Wenn beispielsweise der Schritt der automatischen Verfolgung als trainiertes KI-basiertes Verfahren implementiert werden soll, dient eine Vielzahl von 3D-Bildern als Eingabedatensätze. Die 3D-Bilder werden von dem untrainierten KI-basierten Verfahren verarbeitet, um ein Ergebnis zu erhalten. Die 3D-Bilder werden ebenfalls von dem deterministischsten Verfolgungsalgorithmus verarbeitet, um Trainingsdaten in Form einer Verzweigungskarte zu erhalten, die zum Trainieren des KI-basierten Verfahrens mit dem Ergebnis des KI-basierten Verfahrens verglichen wird.
-
Ferner können die meist deterministischen Algorithmen die für das Training des KI-basierten Verfahrens benötigten Eingabedaten erzeugen. Wenn beispielsweise der Schritt der automatischen Analyse als trainiertes KI-basiertes Verfahren implementiert werden soll, wird eine Vielzahl von Verzweigungskarten als Eingabedatensätze benötigt. Diese können durch Durchführung der automatischen Verfolgung an einer Vielzahl von 3D-Bildern mit dem meist deterministischen Algorithmus erzeugt werden. Ausgehend von den so erhaltenen Eingabedatensätzen wird das oben beschriebene Training durchgeführt.
-
Somit kann jeder der Schritte der automatischen Trennung, automatischen Verfolgung, automatischen Analyse und automatischen Zuordnung als ein trainiertes KI-basiertes Verfahren durchgeführt werden und daher kann jede geeignete Kombination der, oder alle Schritte in einem einzelnen trainierten KI-basierten Verfahren implementiert werden.
-
Insbesondere kann das trainierte KI-basierte Verfahren ein neuronales Netzwerk, eine Stützvektormaschine, einen Entscheidungsbaum und/oder ein Bayessches Netz umfassen und/oder das trainierte KI-basierte Verfahren kann auf k-Mittel-Clustering, Q-learning, genetischen Algorithmen und/oder Assoziationsregeln basieren. Insbesondere kann ein neuronales Netzwerk ein tiefes neuronales Netzwerk, ein faltendes neuronales Netzwerk oder ein faltendes tiefes neuronales Netzwerk sein. Weiterhin kann ein neuronales Netzwerk ein kontradiktorisches Netzwerk, ein tiefes kontradiktorisches Netzwerk und/oder ein generatives kontradiktorisches Netzwerk sein.
-
Vorzugsweise umfasst das trainierte KI-basierte Verfahren ein dichtes Einheitsnetzwerk. Insbesondere umfasst das dichte Einheitsnetzwerk eine faltende Schicht, eine Max-Pooling-Schicht und eine entfaltende Schicht. Insbesondere umfasst das dichte Einheitsnetzwerk einen ersten Teil und einen zweiten Teil. Im ersten Teil des dichten Einheitsnetzwerks werden die Eingabedaten heruntergetaktet. Heruntertakten bedeutet, dass die Dimension der Eingabedaten reduziert wird, d.h. die Anzahl der Pixel oder Voxel der Eingabedaten reduziert wird. Die Eingabedaten können das 3D-Bild sein. Im zweiten Teil des Netzwerks wird die Abtastrate der heruntergetakteten Daten wieder erhöht, so dass die Ausgabedaten das gleiche Format wie die Eingabedaten umfassen. Das bedeutet, dass es eine 1:1-Übereinstimmung zwischen Knoten der Eingangsschichten und Knoten der Ausgangsschichten gibt, insbesondere auch mit Bezug auf die numerischen Werte, die sie repräsentieren können. Wenn die Eingabedaten das 3D-Bild sind, bedeutet das, dass wenn die Ausgabedaten die gleiche Größe aufweisen, die Ausgabedaten ebenfalls ein 3D-Bild der gleichen Dimensionalität wie das Eingangs-3D-Bild sind, und die gleiche Anzahl an Pixel oder Voxel bezüglich jeder Dimension umfassen.
-
Ferner sind Schichten des dichten Einheitsnetzwerks verkettet. Beispielsweise kann die letzte Schicht mit der ersten Schicht des dichten Einheitsnetzwerks verkettet sein. Mit anderen Worten kann die letzte Schicht Informationen von der ersten Schicht empfangen. Eine ausführliche Beschreibung eines dichten Einheitsnetzwerks wird beispielsweise bereitgestellt von Cicek et al., „3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation“ (MICCAI, Springer, Band 9901: 424-432, 2016) .
-
Der Begriff „Netzwerk“ weist hier darauf hin, dass ein physikalisches Netzwerk vorliegen könnte, d.h. ein Netzwerk physikalischer Knoten, die über Signallinien verbunden sind (z.B. ein FPGA oder ein Netzwerk physikalischer Computervorrichtungen). Der Begriff bedeutet aber auch, dass ein virtuelles Netzwerk vorliegen könnte, das auf virtuellen Knoten (z.B. virtuellen Neuronen), die über virtuelle Signallinien verbunden sind (z.B. miteinander verknüpfte Knoten) basiert. Das tiefe Lernnetzwerk könnte folglich als physikalisches (Hardware) Netzwerk in Form eines Hardwaremoduls oder als virtuelles Netzwerk in Form eines Softwaremoduls vorliegen, wobei das Softwaremodul in einem individuellen (Hardware) Computermodul vorliegen kann.
-
Im Fall eines virtuellen Netzwerks sind im Netzwerk häufig künstliche Neuronen als elementare Einheiten vorhanden. Ein künstliches Neuron ist eine mathematische Funktion, die als ein Modell eines biologischen Neurons konzipiert ist, eine oder mehrere Eingaben empfangend, die z.B. exzitatorische postsynaptische Potentiale und inhibitorische postsynaptische Potentiale an neuronalen Dendriten empfangen, und diese zur Erzeugung einer Ausgabe summiert. Üblicherweise wird jede Eingabe separat gewichtet und die Summe wird durch eine nichtlineare Funktion geleitet, die als „Aktivierungsfunktion“ (oder „Transferfunktion“) bezeichnet wird. Eine bevorzugte Aktivierungsfunktion hat eine Sigmaform, aber sie kann auch die Form anderer nichtlinearer Funktionen, stückweiser linearer Funktionen oder Schrittfunktionen annehmen.
-
Das tiefe Lernnetz kann eine wohlbekannte Grundarchitektur aufweisen. Seine innere Struktur und seine Leistung werden jedoch nach dem Training individuell geformt. Folglich kann man sagen, dass das Training die innere „Struktur“ des tiefen Lernnetzes definiert und es von anderen trainierten tiefen Lernnetzen unterscheidet (auch von solchen mit derselben Grundarchitektur) .
-
Innerhalb seiner Trainingsphase werden die Gewichte oder Parameter innerhalb seiner Struktur automatisch angepasst, damit sie den Trainingsdaten ähneln. Zur Optimierung der Gewichte/Parameter aller Schichten können wohlbekannte Optimierungswege, z.B. ein Gradientenabstiegsalgorithmus oder ein Adam-Algorithmus in Kombination mit z.B. der Kreuzentropie-Verlustfunktion, verwendet werden.
-
Nach dem Training werden die Gewichte/Parameter des Netzwerks für die jeweilige Aufgabe angepasst und können z.B. die Mittellinien des röhrenförmigen Netzwerks zum Erhalten einer Verzweigungskarte verfolgen/nachzeichnen, die Verzweigungskarte zur Identifizierung bestimmter röhrenförmigen Strukturen analysieren, den bestimmten röhrenförmigen Strukturen Organbereiche zur Segmentierung des Organs in lokalisierte Organsegmente von bisher noch nicht gesehenen Messungen zuordnen.
-
Die Komponenten des medizinischen Bildgebungssystems sind vorzugsweise Teil eines Datennetzes, wobei das Datennetz und eine Bildgebungsmodalität, die Bilddaten bereitstellt, miteinander in Datenkommunikation stehen, wobei das Datennetz vorzugsweise Teile des Internets und/oder eines cloudbasierten Computersystems umfasst, wobei das Vorrichtungsnetz vorzugsweise in diesem cloudbasierten Computersystem realisiert wird. Beispielsweise sind die Komponenten der Vorrichtung Teil eines Datennetzes, wobei das Datennetz und eine medizinische Bildgebungsmodalität, die die Bilddaten bereitstellt, vorzugsweise miteinander in Verbindung stehen. Eine solche Netzwerklösung könnte über eine Internetplattform und/oder in einem cloudbasierten Computersystem implementiert werden.
-
Das Verfahren kann vorzugsweise auch „Cloud Computing“-Elemente beinhalten. Im technischen Gebiet des „Cloud Computing“ wird eine IT-Infrastruktur über ein Datennetz bereitgestellt, z.B. ein Speicherraum oder Prozessorleistung und/oder Anwendungssoftware. Die Kommunikation zwischen dem Benutzer und der „Cloud“ wird mittels Datenschnittstellen und/oder Datenübertragungsprotokollen erzielt.
-
Die Bereitstellung von Daten erfolgt vorzugsweise durch einen Datenkanal (beispielsweise ein Datennetz) an eine „Cloud“. Diese „Cloud“ umfasst ein (entferntes) Computersystem, z.B. einen Rechnerverbund, der üblicherweise nicht das lokale Gerät des Benutzers beinhaltet. Diese Cloud kann insbesondere von der medizinischen Einrichtung, die auch die medizinischen Bildgebungssysteme bereitstellt, zur Verfügung gestellt werden. Insbesondere werden die Bilderfassungsdaten an ein (entferntes) Computersystem (die „Cloud“) über ein RIS (Radiologie-Informationssystem) oder ein PACS (Bildarchivierungs- und Kommunikationssystem) gesendet.
-
Die oben erwähnten Einheiten, insbesondere das/die dichte/n Netzwerk/e, sind vorzugsweise auf der „Cloud“-Seite vorhanden. Eine bevorzugte Lokalisierungsanordnung umfasst ferner eine lokale Computereinheit, die über einen Datenkanal (z.B. ein Datennetz, insbesondere als RIS, PACS konfiguriert) mit der Vorrichtung verbunden ist. Die lokale Computereinheit umfasst mindestens eine Datenempfangsschnittstelle zum Empfangen von Daten. Darüber hinaus hat der lokale Computer vorzugsweise eine Übertragungsschnittstelle zum Senden von Daten an die Vorrichtung.
-
Vorzugsweise wird das 3D-Bild vorverarbeitet, um Variabilität oder Varianzen zwischen dem 3D-Bild und den Trainingsdaten zu behandeln oder zu entfernen, bevor sie von einer Lokalisierungsanordnung bewertet werden. Die Entfernung von Varianzen zwischen dem 3D-Bild und den Trainingsdaten gewährleistet einen hohen Leistungsgrad selbst dann, wenn nur begrenzt Daten zur Verfügung stehen. Solche Varianzen können geometrische Varianzen, Intensitätsvarianzen, Varianzen in der Vorbereitung der Referenzsegmentierung (ground truth) oder beliebige andere Varianzen umfassen.
-
Geometrische Variabilität wird vorzugsweise zur ordnungsgemäßen Ausrichtung des 3D-Bilds für genaues und effizientes Ablesen behandelt. Insbesondere wird zum Ausrichten des 3D-Bilds ein Registrierungsschritt durchgeführt. Zum Erhalten gleichmäßiger Dimensionalität und Voxel-Abstände der Bilder über Modalitäten und Patientenfälle hinweg wird darüber hinaus jedes Bild vorzugsweise in einen Raum mit identischen Dimensionen und Abständen transformiert. Durch Entfernung geometrischer Variabilität hat folglich jedes 3D-Bild die gleichen Größen-, Orientierungs-, Abstands- und Positionseigenschaften.
-
Zur Gewährleistung von Intensitätsvergleichbarkeit über Patientenfälle und unterschiedliche Modalitäten hinweg werden die Intensitäten der Bilder vorzugsweise normalisiert. Die Normalisierung kann auf einem Median, Durchschnitt oder einer beliebigen anderen statistisch robusten Kennzahl basieren, wie z.B. einem Durchschnitt der mittleren zwei Quartile eines Intensitätshistogramms.
-
Das dreidimensionale Bild ist vorzugsweise ein MR-Bild oder ein Ultraschallbild. Insbesondere ist es ein CT-Bild. Diese Modalitäten sind in der 3D-Bildgebung alle wohlbekannt und eignen sich daher gut für das erfindungsgemäße Verfahren.
-
Andere Aufgaben und Merkmale der vorliegenden Erfindung werden aus den folgenden detaillierten Beschreibungen in Zusammenhang mit den beiliegenden Zeichnungen offensichtlich. Es versteht sich jedoch, dass die Zeichnungen nur dem Zweck der Veranschaulichung dienen und nicht zur Definition der Grenzen der Offenbarung bestimmt sind.
- 1 zeigt ein beispielhaftes Blockdiagramm einer ersten Ausführungsform des erfindungsgemäßen Verfahrens;
- 2 Zeigt eine beispielhafte CT-Aufnahme einer Thoraxregion eines Patienten als eine Schnittansicht eines 3D-Bildes;
- 3 zeigt ein detailliertes Bild einer getrennten und vorsegmentierten Lunge;
- 4 zeigt ein detailliertes Bild nachgezeichneter Mittellinien von Atemwegen;
- 5 zeigt ein detailliertes Bild von analysierten bestimmten Bronchien;
- 6 zeigt ein detailliertes Bild einer Lunge und ihrer Lungensegmente;
- 7 zeigt ein beispielhaftes Blockdiagramm einer zweiten Ausführungsform des erfindungsgemäßen Verfahrens;
- 8 zeigt ein vereinfachtes Beispiel eines erfindungsgemäßen medizinischen Bildgebungssystems, das eine beispielhafte erfindungsgemäße Lokalisierungsanordnung umfasst.
-
1 zeigt ein schematisches Diagramm einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens zur automatischen Lokalisierung von Organsegmenten S in einem dreidimensionalen (3D) Bild IMG. Zur Beschreibung einiger Schritte wird auf die detaillierten Abbildungen in 2-6 verwiesen. Die Referenzen der einzelnen Bildkomponenten in 3, 5 und 5 dienen lediglich der Veranschaulichung und entsprechen nicht notwendigerweise der allgemeinen anatomischen Nomenklatur.
-
In einem Schritt ACQ wird ein medizinisches 3D-Bild in Form eines rekonstruierten CT-Bildes empfangen, z.B. aus einem internen oder lokalen Speicher, einem Netzspeicher oder einem Cloud-System, oder es wird direkt mit einer Bildgebungsmodalität wie etwa einem CT-Scanner erfasst. Es ist offensichtlich, dass alternativ jedes angemessene medizinische 3D-Bild verwendet werden kann, z.B. ein MR-Bild oder ein Ultraschallbild. Das 3D-Bild IMG wird durch eine Schnittansicht einer Thoraxregion eines Patienten O (siehe 2) repräsentiert. Es umfasst folglich eine Ansicht von zwei Lungen L des Patienten O.
-
In einem Schritt SEP werden die Lungen L automatisch von anderen Teilen, d.h. von nicht zur Lunge gehörendem Gewebe, des 3D-Bildes IMG getrennt. In einem Schritt preSEG wird eine fakultative automatische Vorsegmentierung der Lunge L in Lungenlappen LL durchgeführt. Das Ergebnis der Vorsegmentierung, d.h. die einzelnen Lungenlappen LL1, LL2, LL3, ..., ist in 3 zu sehen. Da sowohl die Lunge L insgesamt als auch die Lungenlappen LL vom Lungensack getrennt sind und daher klar unterscheidbar sind, können wohlbekannte Segmentierungsalgorithmen unter Verwendung von Kantenerkennung, Regionswachstum, Schwellenwertanalyse und/oder dergleichen die Schritte der automatischen Trennung SEP und automatischen Vorsegmentierung preSEG durchführen.
-
Die Lungen L umfassen Atemwege, wie etwa Bronchien TB1, TB2, TB3,..., die röhrenförmige Strukturen sind, d.h. sie sind im Wesentlichen zylinderförmig. Die Atemwege sind miteinander verbunden und bilden daher ein röhrenförmiges Netzwerk TB. In einem Schritt TRA wird dieses röhrenförmige Netzwerk TB automatisch nachgezeichnet und eine Verzweigungskarte CL, die die Mittellinien der Atemwege zeigt, wird erhalten. Zu diesem Zweck erzeugt ein trainiertes KI-basiertes Kartenerzeugungsverfahren, das das 3D-Bild IMG evaluiert, eine Wahrscheinlichkeitskarte für die Atemwege TB. Insbesondere wird das KI-basierte Kartenerzeugungsverfahren wie oben beschrieben trainiert. Ein Skeletonisierungsalgorithmus wird auf die Wahrscheinlichkeitskarte der röhrenförmigen Strukturen angewandt, um die Verzweigungskarte CL der Atemwegsmittellinien zu erhalten (siehe 4). Insbesondere wird der Skeletonisierungsalgorithmus wie oben im Zusammenhang mit dem Rivulet-Algorithmus beschrieben implementiert.
-
In einem Schritt ANA wird die Verzweigungskarte CL automatisch analysiert und bestimmte Bronchien, insbesondere bestimmte tertiäre Bronchien TB1, TB2, TB3, ..., werden ermittelt. Für die automatische Analyse ANA wird ein Atlas-Propagationsalgorithmus angewandt. Dazu wird ein Atlas, der eine markierte Karte bestimmter Bronchien TB1, TB2, TB3, ..., umfasst, bereitgestellt und mittels verformbarer Registrierung als eine Schablone auf der Verzweigungskarte registriert. Aus dem registrierten Atlas können die spezifischen Bronchien TB1, TB2, TB3, ..., direkt ermittelt werden (siehe 5).
-
Die bestimmten tertiären Bronchien TB1, TB2, TB3, ..., entsprechen den jeweiligen Lungensegmenten. In einem Schritt SEG werden Bereiche der getrennten und fakultativ vorsegmentierten Lunge L den bestimmten tertiären Bronchien TB1, TB2, TB3, ... zugeordnet, um die Lunge L in Lungensegmente S1, S2, S3, ... zu segmentieren. Im gleichen Verfahren werden die Lungensegmente S1, S2, S3,... bezüglich der getrennten Lunge L oder bezüglich des 3D-Bildes IMG lokalisiert (siehe 6).
-
Die Zuordnung der Lunge L wird z.B. durch einen allgemein bekannten Regionswachstum-Algorithmus ausgehend von den bestimmten tertiären Bronchien TB1, TB2, TB3,... als Saatpunkte durchgeführt. Wenn die fakultative automatische Vorsegmentierung preSEG durchgeführt wurde, wird Regionswachstum nur durchgeführt, bis die Grenze eines Lungenlappens LL erreicht ist. Wenn die fakultative automatische Vorsegmentierung preSEG nicht durchgeführt wurde, wird Regionswachstum durchgeführt, bis die Grenze der Lunge L erreicht ist. Die Regionswachstum-Algorithmen werden vorzugsweise leicht modifiziert, um eine zusätzliche Schablone aufzunehmen, die auf die getrennte Lunge L oder die vorsegmentierten Lungenlappen LL registriert ist. Die Schablone gibt die Grenzen für die Ausdehnung der Lungensegmente S1, S2, S3, ... vor.
-
In einem Schritt OUT werden die segmentierten und lokalisierten Lungensegmente S1, S2, S3, ... als Bilddaten ausgegeben, d.h. sie werden z.B. gespeichert, übertragen oder angezeigt. Zur Erleichterung der Beurteilung der abgebildeten Lunge können das Original-3D-Bild IMG, die lokalisierten Lungensegmente S1, S2, S3, ... und das Original-3D-Bild IMG vorzugsweise als eine Überlagerung mit einstellbarer Transparenz und zusätzlich oder alternativ als getrennte Bilder ausgegeben werden. Fakultativ können auch das nachgezeichnete röhrenförmige Netzwerk CL und/oder die bestimmten tertiären Bronchien TB1, TB2, TB3, ... vorzugsweise als eine Überlagerung mit einstellbarer Transparenz und zusätzlich oder alternativ als getrennte Bilder ausgegeben werden.
-
7 zeigt ein schematisches Diagramm einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens zur automatischen Lokalisierung von Organsegmenten S in einem dreidimensionalen (3D) Bild IMG. Im Vergleich zur der sich auf 1 beziehenden Ausführungsform werden hier die Schritte des automatischen Trennens SEP der Lunge L von anderen Teilen des 3D-Bildes IMG; des automatischen Vorsegmentierens preSEG der Lunge L; der automatischen Verfolgung TRA der Atemwege TB; der automatischen Analyse ANA der Verzweigungskarte CL; und des automatischen Zuordnens SEG eines Bereichs der Lunge L zu spezifischen tertiären Bronchien TB1, TB2, TB3,... alle als ein einzelnes trainiertes neuronales Netzwerk NN ausgeführt. Die Ausgabe des trainierten neuronalen Netzwerks NN kann wie oben mit Bezug auf 1 beschrieben konzipiert werden.
-
Das trainierte neuronale Netzwerk NN ist vorzugsweise als ein dichtes neuronales Netzwerk oder als ein vollständig verbundenes neuronales Netzwerk ausgelegt. Es wird vorzugsweise zumindest teilweise mit Trainingsdaten trainiert, die von dem erfindungsgemäßen Verfahren wie mit Bezug auf 1 beschrieben bereitgestellt werden. Im Vergleich zu der fehleranfälligen, wenn möglich manuellen Annotation von Trainingsdaten ermöglicht zu diesem Zweck die Verwendung des mit Bezug auf 1 beschriebenen Verfahrens eine schnelle und genaue Erzeugung von Trainingsdaten. Folglich ist es möglich, das neuronale Netzwerk NN mit einer ausreichenden Anzahl von Trainingsdatensätzen zu trainieren.
-
8 zeigt eine schematische Darstellung eines medizinischen Bildgebungssystems 1 als ein CT-System 1. Das CT-System 1 umfasst einen tatsächlichen CT-Scanner 2, d.h. eine Bildgebungsmodalität. Der CT-Scanner 2 umfasst einen Patiententisch 3 zur Positionierung eines Patienten O als Untersuchungsobjekt. Der Patiententisch 3 ist entlang einer Systemachse 4 in das Messfeld verstellbar und positioniert den Patienten O somit im Messfeld. Der CT-Scanner 2 umfasst ferner eine Gantry 6 mit einer Anordnung aus einer Strahlenquelle 5 und einem Detektor 7, der drehbar um eine Systemachse 4 angebracht ist. Die Strahlenquelle 5 und der Detektor 7 sind einander gegenüberliegend ausgerichtet, derart dass während des Betriebs Röntgenstrahlen, die vom Fokus der Röntgenstrahlenquelle 5 ausgehen, nach Durchdringen des Patienten O auf den Strahlendetektor 7 auftreffen. Zur Aufnahme eines Bildes eines interessierenden Bereichs werden durch Drehung der Strahlenquelle 5 und des Detektors 7 Projektionsdaten von einer Vielzahl verschiedener Projektionsrichtungen erfasst. Für jede Projektion erzeugt der Strahlendetektor 7 einen Satz von Projektionsdaten. Diese Projektionsdaten werden dann zur Bildung eines resultierenden 3D-Bildes IMG weiter verarbeitet.
-
Im Allgemeinen ist der Fachmann mit dem Design und der Funktion eines CT-Scanners und mit der Rekonstruktion von CT-Bildern vertraut. Aus diesem Grund wird auf eine ausführlichere Beschreibung verzichtet.
-
Ferner umfasst das CT-System 1 eine Lokalisierungsanordnung 20, eine Tastatur 10 für Benutzereingabe und einen Bildschirm 9 zur Anzeige von Informationen. Die Lokalisierungsanordnung 20 ist über eine zweite Eingabe-/Ausgabeschnittstelle 29 mit der Tastatur 10 und dem Bildschirm 9 und über eine erste Eingabe-/Ausgabeschnittstelle 21 mit dem CT-Scanner 2 verbunden. Der CT-Scanner 2 stellt CT-Bilder, die vorzugsweise eine Thoraxregion eines Patienten O umfassen, als dreidimensionale Bilddaten IMG bereit. Zusätzlich ist die Lokalisierungsanordnung 20 mit einem externen Speicher 30 verbunden, beispielsweise mit einem Speicher eines krankenhausinternen Bildarchivierungs- und Kommunikationssystems (PACS), das das 3D-Bild IMG bereitstellen kann. Eine weitere Verbindung wird über die Eingabeschnittstelle 21 mit einem Cloud-Speicher 31, der das 3D-Bild IMG bereitstellen kann, hergestellt.
-
Die Lokalisierungsanordnung 20 umfasst ferner ein Trennmittel 23 zur Durchführung des Schritts SEP; ein Verfolgungsmittel 25 zur Durchführung des Schritts TRA; ein Analysemittel 26 zur Durchführung des Schritts ANA; und ein Zuordnungsmittel 27 zur Durchführung des Schritts SEP. Die Komponenten der Lokalisierungsanordnung 20 sind über eine Datenverbindung 28 so miteinander verbunden, dass sie die Form einer Bus- oder Netzverbindung aufweisen können.
-
Die verarbeiteten Bilddaten können über die zweite Eingabe-/Ausgabeschnittstelle 29 an den Bildschirm 9 oder über die erste Eingabe-/Ausgabeschnittstelle 21 an einen externen Speicher 30 oder an den Cloud-Speicher 31 ausgegeben werden. Alternativ können die Ausgabedaten des erfindungsgemäßen Verfahrens in einem inneren Speicher 22 der Lokalisierungsanordnung gespeichert werden.
-
Es versteht sich, dass die Komponenten des CT-Systems 1 und/oder der Lokalisierungsanordnung 20 räumlich in einem cloudbasierten System verteilt sein können. Alternativ kann die Lokalisierungsanordnung 20 einstückig mit dem CT-Scanner 1 oder seiner Bildrekonstruktionseinheit konzipiert sein. Die Funktion der Lokalisierungsanordnung 20 wurde bezüglich des in 1 gezeigten Verfahrens ausführlicher erläutert.
-
Obwohl die vorliegende Erfindung in Form von bevorzugten Ausführungsformen und Abwandlungen davon offenbart wurde, versteht es sich, dass zahlreiche zusätzliche Modifikationen und Abwandlungen daran durchgeführt werden könnten, ohne vom Umfang der Erfindung abzuweichen. Blutgefäße können beispielsweise als röhrenförmiges Netzwerk oder röhrenförmige Struktur als Alternative oder zusätzlich zu den Atemwegen dienen. Ferner kann das Verfahren auf andere Organe, wie etwa Leber oder Gehirn, mit geringfügigen Modifikationen angewandt werden. Der Klarheit halber versteht es sich, dass die Verwendung von „ein/eine“ oder „einer/einem/eines“ in dieser gesamten Anmeldung nicht eine Mehrzahl ausschließt, und dass „umfassend“ nicht andere Schritte oder Elemente ausschließt. Die Erwähnung einer „Anordnung“ oder eines „Systems“ schließt die Verwendung von mehr als einer Einheit oder Vorrichtung nicht aus, und sie schließt auch nicht eine räumliche Verteilung der Komponenten z.B. in einem Netzwerk oder einem Cloud-System aus.
