DE102021202672A1

DE102021202672A1 - Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten

Info

Publication number: DE102021202672A1
Application number: DE102021202672.9A
Authority: DE
Inventors: Martin Kraus
Original assignee: Siemens Healthcare GmbH
Current assignee: Siemens Healthineers Ag De
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2022-09-22
Also published as: US20220301289A1

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten (IM_sy). Das Verfahren umfasst folgende Verfahrensschritte:Empfangen (REC-1) von ersten medizinischen Bilddaten (IM_1), wobei die ersten medizinischen Bilddaten (IM_1) auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes basieren, Empfangen (REC-2) von zweiten medizinischen Bilddaten (IM_2), wobei die zweiten medizinischen Bilddaten (IM_2) auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes basieren, wobei sich die erste und die zweite medizinische Bildgebung durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Bildgebungsprotokoll unterscheiden, wobei die ersten und die zweiten medizinischen Bilddaten (IM_1, IM_2) zueinander registriert sind, Bestimmen (DET-1) von synthetischen Bilddaten (IM_sy) durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten (IM_1), Bestimmen (DET-2) eines Ähnlichkeitsmaßes mit einer Ähnlichkeitsfunktion durch Vergleich der synthetischen Bilddaten (IM_sy) und der zweiten medizinischen Bilddaten (IM_2), Anpassen (AD-1) wenigstens eines Parameters der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß, Bereitstellen (PROV-1) der trainierbaren Funktion.

Description

Es ist bekannt, medizinische Bilddaten eines Untersuchungsobjektes, insbesondere eines Patienten beispielsweise für ein Erstellen einer Diagnose und/oder für eine Planung einer medizinischen Intervention und/oder für eine Überwachung einer Erkrankung des Untersuchungsobjektes etc. zu erfassen. Die medizinischen Bilddaten basieren dabei typischerweise auf einer medizinischen Bildgebung, die mit einer bildgebenden Modalität durchgeführt wird. Eine bildgebende Modalität kann beispielsweise ein Röntgen-Gerät, ein Computer-Tomographie-Gerät, ein Magnetresonanz-Tomographie-Gerät, ein Ultraschall-Gerät etc. sein. Alternativ oder zusätzlich basiert die medizinische Bildgebung auf einem Bildgebungsprotokoll. Mit dem Bildgebungsprotokoll kann insbesondere die bildgebende Modalität gesteuert werden. Mit anderen Worten wird die medizinische Bildgebung durch die verwendete medizinische Modalität und/oder durch das verwendete Bildgebungsprotokoll definiert. Beispielsweise können sich medizinische Bilddaten, die mit derselben medizinischen Modalität aber unterschiedlichen Bildgebungsprotokollen erfasst wurden, unterscheiden.
Häufig ist es für das Erstellen einer Diagnose und/oder für die Planung einer medizinischen Intervention und/oder für die Überwachung einer Erkrankung notwendig medizinische Bilddaten eines Untersuchungsobjektes zu vergleichen. Dabei kann es insbesondere notwendig sein, medizinische Bilddaten, die mit verschiedenen medizinischen Modalitäten und/oder mit verschiedenen Bildgebungsprotokollen erfasst wurden, zu vergleichen. Mit anderen Worten kann es notwendig bzw. hilfreich sein, erste medizinische Bilddaten des Untersuchungsobjektes, die auf einer ersten medizinischen Bildgebung basieren, mit zweiten medizinischen Bilddaten des Untersuchungsobjektes, die auf einer zweiten medizinischen Bildgebung basieren, zu vergleichen. Durch das Nutzen verschiedener medizinischer Modalitäten und/oder verschiedener Bildgebungsprotokolle können insbesondere unterschiedliche Vorteile der verschiedenen medizinischen Modalitäten und/oder Bildgebungsprotokollen ausgenutzt werden. Dabei ist eine Darstellung des Untersuchungsobjektes in den medizinischen Bilddaten von der medizinischen Bildgebung abhängig. Somit ist das Vergleichen erster und zweiter medizinischer Bilddaten, die auf verschiedenen medizinischen Bildgebungen basieren, auf Grund der verschiedenen Darstellungen des Untersuchungsobjektes typischerweise nur begrenzt möglich. Ein erneutes Erfassen der medizinischen Bilddaten mit einer alternativen medizinischen Modalität und/oder einem alternativen Bildgebungsprotokoll soll typischerweise vermieden werden, um das Untersuchungsobjekt keiner unnötigen Dosis bei dem erneuten Erfassen der medizinischen Bilddaten auszusetzen. Zudem sollte das erneute Erfassen der medizinischen Bilddaten aus Kosten- und Zeitgründen vermieden werden.
Es ist somit von Interesse, zu vergleichende medizinische Bilddaten in eine vergleichbare Darstellung des Untersuchungsobjektes zu transformieren. Dafür können insbesondere aus den ersten medizinischen Bilddaten synthetische Bilddaten bestimmt werden, bei welchen die Darstellung des Untersuchungsobjektes mit der Darstellung des Untersuchungsobjektes in den zweiten medizinischen Bilddaten vergleichbar ist. Für eine bessere Vergleichbarkeit ist es insbesondere von Interesse, die synthetischen Bilddaten und die zweiten medizinischen Bilddaten zu registrieren.
Es ist bekannt, die beiden Probleme der Registrierung und des Bestimmens von synthetischen Bilddaten getrennt zu lösen. Es ist beispielweise bekannt, synthetische Bilddaten von unregistrierten ersten medizinischen Bilddaten mittels eines Cycle Generative Adversarial Netzwerkes (Akronym: CycleGAN) zu bestimmen. Alternativ können synthetische Bilddaten registrierter erster medizinischer Bilddaten beispielsweise mit einem vorwärts gerichteten neuronalen Netzwerk (Englisch: Feed Forward Network) bestimmt werden. Dabei wird die Registrierung der ersten medizinischen Bilddaten mit den zweiten medizinischen Bilddaten typischerweise vor dem Bestimmen der synthetischen Bilddaten durchgeführt. Dabei umfassen die ersten und zweiten medizinischen Bilddaten typischerweise verschiedene Darstellungen des Untersuchungsobjektes. Insbesondere ist häufig aus diesem Grund das Registrieren der ersten und zweiten Bilddaten nur begrenzt möglich. Eine schlechte Registrierung kann in diesem Beispiel zu ungeeigneten bzw. nur begrenzt geeigneten synthetischen Bilddaten führen.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das für ein Bestimmen von synthetischen Bilddaten eine Registrierung der synthetischen Bilddaten mit zweiten medizinischen Bilddaten berücksichtigt.
Die Aufgabe wird gelöst durch ein Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten, durch eine Verwendung der trainierbaren Funktion, durch ein System zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten, durch ein Computerprogrammprodukt und durch ein computerlesbares Speichermedium gemäß den unabhängigen Ansprüchen. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen und in der folgenden Beschreibung aufgeführt.
Nachstehend wird die erfindungsgemäße Lösung der Aufgabe sowohl in Bezug auf die beanspruchten Vorrichtungen als auch in Bezug auf das beanspruchte Verfahren beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen sind ebenso auch auf die anderen beanspruchten Gegenstände zu übertragen und umgekehrt. Mit anderen Worten können die gegenständlichen Ansprüche (die beispielsweise auf eine Vorrichtung gerichtet sind) auch mit den Merkmalen, die in Zusammenhang mit einem Verfahren beschrieben oder beansprucht sind, weitergebildet sein. Die entsprechenden funktionalen Merkmale des Verfahrens werden dabei durch entsprechende gegenständliche Module ausgebildet.
Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten. Das Verfahren umfasst einen Verfahrensschritt eines Empfangens von ersten medizinischen Bilddaten. Dabei basieren die ersten medizinischen Bilddaten auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Empfangens von zweiten medizinischen Bilddaten. Dabei basieren die zweiten medizinischen Bilddaten auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes. Dabei unterscheidet sich die erste und die zweite medizinischen Bildgebung durch eine verwendete medizinische Modalität und/oder durch ein verwendetes Bildgebungsprotokoll. Dabei sind die ersten und die zweiten medizinischen Bilddaten zueinander registriert. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens von synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens eines Ähnlichkeitsmaßes mit einer Ähnlichkeitsfunktion durch Vergleichen der synthetischen Bilddaten und der zweiten medizinischen Bilddaten. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Anpassens wenigstens eines Parameters durch Optimieren der Ähnlichkeitsfunktion der trainierbaren Funktion basierend auf dem Ähnlichkeitsmaß. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bereitstellens der trainierbaren Funktion.
Im Allgemeinen ahmt eine trainierbare Funktion kognitive Funktionen nach, die Menschen mit menschlichem Denken verbinden. Insbesondere durch auf Trainingsdaten basierendem Training kann sich die trainierbare Funktion an neue Umstände anpassen sowie Muster erkennen und extrapolieren.
Im Allgemeinen können Parameter einer trainierbaren Funktion mittels Trainings angepasst werden. Insbesondere kann dafür ein beaufsichtigtes (supervised) Training, ein halbüberwachtes (semi-supervised) Training, ein unbeaufsichtigtes (unsupervised) Training, ein verstärkendes Lernen (reinforcement learning) und/oder ein aktives Lernen (active learning) verwendet werden. Darüber hinaus kann Repräsentationslernen (ein alternativer Begriff ist „Merkmalslernen“) (representation learning bzw. feature learning) verwendet werden. Insbesondere können die Parameter der trainierbaren Funktionen durch mehrere Trainingsschritte iterativ angepasst werden.
Insbesondere kann eine trainierbare Funktion ein neuronales Netzwerk, eine Unterstützungsvektormaschine (support vector machine), einen Zufallsbaum bzw. einen Entscheidungsbaum (decision tree) und/oder ein Bayes'sches Netzwerk umfassen, und/oder die trainierbare Funktion kann auf k-Mittel-Clustering (k-means clustering), Q-Learning, genetischen Algorithmen und/oder Assoziationsregeln basieren. Insbesondere kann eine trainierbare Funktion eine Kombination aus mehreren unkorrelierten Entscheidungsbäumen bzw. ein Ensemble aus Entscheidungsbäumen (random forest) umfassen. Insbesondere kann die trainierbare Funktion mittels XGBoosting (eXtreme Gradient Boosting) bestimmt werden. Insbesondere kann ein neuronales Netzwerk ein tiefes neuronales Netzwerk (deep neural network), ein Faltungs-neuronales Netzwerk (convolutional neural network) oder ein Faltungs-tiefes neuronales Netzwerk (convolutional deep neural network) sein. Darüber hinaus kann ein neuronales Netzwerk ein kontradiktorisches Netzwerk (adversarial network), ein tiefes kontradiktorisches Netzwerk (deep adversarial network) und/oder ein generatives kontradiktorisches Netzwerk (generative adversarial network) sein. Insbesondere kann ein neuronales Netzwerk ein rekurrentes neuronales Netzwerk (recurrent neural network) sein. Insbesondere kann ein rekurrentes neuronales Netzwerk ein Netzwerk mit langem Kurzzeitgedächtnis (long-short-term-memory, LSTM), insbesondere eine Gated Recurrent Unit (GRU), sein. Insbesondere kann eine trainierbare Funktion eine Kombination der beschriebenen Ansätze umfassen. Insbesondere werden die hier beschriebenen Ansätze für eine trainierbare Funktion Netzwerkarchitektur der trainierbaren Funktion genannt.
In dem Verfahrensschritt des Empfanges von ersten medizinischen Bilddaten, werden die ersten medizinischen Bilddaten empfangen. Analog werden in dem Verfahrensschritt des Empfangens von zweiten medizinischen Bilddaten die zweiten medizinischen Bilddaten empfangen.
Die ersten medizinischen Bilddaten basieren dabei auf einer ersten medizinischen Bildgebung des Untersuchungsobjektes. Analog basieren die zweiten medizinischen Bilddaten auf einer zweiten medizinischen Bildgebung. Mit anderen Worten wurden die ersten bzw. zweiten medizinischen Bilddaten mittels der ersten bzw. zweiten medizinischen Bildgebung erfasst. Die ersten medizinischen Bilddaten und die zweiten medizinischen Bilddaten umfassen dabei insbesondere eine Darstellung des Untersuchungsobjektes. Insbesondere stellen die ersten und die zweiten medizinischen Bilddaten dasselbe Untersuchungsobjekt dar. Das Untersuchungsobjekt kann dabei insbesondere ein Mensch beispielsweise ein Patient, ein Tier oder ein Gegenstand sein. Insbesondere kann das Untersuchungsobjekt ein Teil des Menschen bzw. des Tiers bzw. des Gegenstands sein. Beispielsweise kann das Untersuchungsobjekt ein Knie, ein Thorax, ein Kopf, ein Herz etc. des Untersuchungsobjektes sein.
Die ersten bzw. zweiten medizinischen Bilddaten können insbesondere eindimensionale (1D), zweidimensionale (2D), dreidimensionale (3D) und/oder vierdimensionale (4D) medizinische Bilddaten umfassen.
1D medizinische Bilddaten können beispielsweise mit einem Elektrokardiographie-Systems erfasste Daten, ein sogenanntes Elektrokardiogramm (Akronym: EKG), umfassen. In einem EKG ist innerhalb einer Zeitspanne einem oder mehreren diskreten Zeitpunkten wenigstens ein Bildwert zugeordnet. Insbesondere können 1D medizinische Bilddaten einen Zeitvektor umfassend wenigstens einen Zeitpunkt umfassen. Dabei ist jedem Zeitpunkt in dem Zeitvektor ein Bildwert zugeordnet. Bei einem EKG kann der Bildwert einem mittels des Elektrokardiographie-Systems erfassten Potential zu dem entsprechenden Zeitpunkt entsprechen. Insbesondere kann auf diese Weise eine Aktivität eines Herzens dargestellt werden. Insbesondere ist somit das Untersuchungsobjekt in diesem Beispiel das Herz. Insbesondere ist die Darstellung des Untersuchungsobjektes in diesem Beispiel eine Zeit-Potential-Kurve. Insbesondere können verschiedene 1D medizinische Bilddaten verschiedene Ableitungen bei der Elektrokardiographie sein. Insbesondere ist die medizinische Bildgebung zum Erfassen eines EKGs eine Elektrokardiographie. Insbesondere ist die medizinische Modalität zum Erfassen eines EKGs das Elektrokardiographie-System. Die verschiedenen Ableitungen entsprechen dann verschiedenen Bildgebungsprotokollen.
2D medizinische Bilddaten können insbesondere pixelierte Bilddaten sein. Insbesondere können 2D medizinische Bilddaten eine Pixelmatrix umfassen, wobei jedem Pixel der Pixelmatrix wenigstens ein Bildwert zugeordnet ist. 2D medizinische Bilddaten können beispielsweise ein Projektionsbild oder ein Schichtbild aus der Röntgen-Bildgebung umfassen. Bei der Röntgen-Bildgebung entspricht die medizinische Modalität dem Röntgen-System. In dem Bildgebungsprotokoll kann dabei beispielsweise eine Röntgenspannung, eine Stromstärke, eine Belichtungszeit etc. vorgegeben sein. Alternativ können 2D medizinische Bilddaten beispielsweise Bilddaten aus einer Ultraschall-Untersuchung bzw. einer Sonographie umfassen. Die medizinische Modalität entspricht dabei dem Ultraschall-System. Das Bildgebungsprotokoll kann dabei beispielsweise einen verwendeten Ultraschallkopf, eine Frequenz und/oder eine Art der Datenerfassung etc. vorgeben. Die Art der Datenerfassung gibt beispielsweise an, ob es sich um ein Doppler-Ultraschall handelt, und/oder ob die Daten in einem A-Mode oder einem B-Mode oder eine M-Mode erfasst werden. Alternativ können 2D medizinische Bilddaten beispielsweise Gewebeschnitte aus der Histopathologie umfassen. Insbesondere können die Gewebeschnitte gefärbt (stained) oder ungefärbt (unstained) sein. Die verwendete medizinische Modalität entspricht dabei einem Lichtmikroskop. 3D medizinische Bilddaten können insbesondere voxelierte Bilddaten sein. Insbesondere können 3D medizinische Bilddaten eine dreidimensionale Voxelmatrix umfassen, wobei jedem Voxel der Voxelmatrix wenigstens ein Bildwert zugeordnet ist. 3D medizinische Bilddaten können insbesondere Bilddaten aus einer Computer-Tomographie-Untersuchung und/oder einer Magnet-Resonanz-Tomographie-Untersuchung und/oder einer Positronen-Emissions-Tomographie-Untersuchung und/oder eine Einzel-Photonen-Emissions-Computer-Tomographie-Untersuchung und/oder einer 3D-Ultraschall-Untersuchung bzw. 3D-Sonigraphie umfassen. Mit anderen Worten, stellen 3D medizinische Bilddaten das Untersuchungsobjekt in drei Raum-Dimensionen dar. Die verschiedenen Bildgebungsprotokolle können insbesondere Parameter zur Aufnahme bzw. zum Erfassen der medizinischen Bilddaten mit der jeweiligen medizinischen Modalität vorgeben.
4D medizinische Bilddaten können insbesondere 3D medizinische Bilddaten mit einer zusätzlichen Zeitkomponente umfassen. Mit anderen Worten umfassen 4D medizinische Bilddaten typischerweise zeitaufgelöste 3D medizinische Bilddaten bzw. eine zeitliche Reihe von 3D medizinischen Bilddaten. Insbesondere umfassen 4D medizinische Daten einen Zeitvektor, der wenigstens einen Zeitpunkt umfasst. Insbesondere kann jedem vom dem Zeitvektor umfassten Zeitpunkt ein 3D medizinischer Bilddatensatz zugeordnet sein.
Die ersten und zweiten medizinischen Bilddaten unterscheiden sich durch die jeweils verwendete medizinische Modalität und/oder durch das jeweils verwendete Bildgebungsprotokoll. Mit anderen Worten unterscheiden sich die ersten und zweiten medizinischen Bilddaten hinsichtlich der Darstellung des Untersuchungsobjektes. Die Darstellung hängt dabei von der verwendeten medizinischen Modalität und/oder von dem verwendeten Bildgebungsprotokoll ab. Die Darstellung wird beispielweise durch eine Abbildung eines Materials des Untersuchungsobjektes in einen Wertebereich der Bildwerte definiert. Mit anderen Worten beschreibt die Darstellung eine visuelle Darstellung des Untersuchungsobjektes. Alternativ oder zusätzlich kann die Darstellung durch intrinsische Eigenschaften, beispielweise ein zeitlich variierendes Potential, des Untersuchungsobjektes in einen Wertebereich der Bildwerte definiert werden. Insbesondere wird die Darstellung durch die Bildwerte charakterisiert. Insbesondere können die ersten medizinischen Bilddaten eine Darstellung von ungefärbten Gewebeschnitten und die zweiten medizinischen Bilddaten eine Darstellung von den entsprechenden gefärbten Gewebeschnitten umfassen. Alternativ können die ersten medizinischen Bilddaten beispielsweise eine Aufnahme des Untersuchungsobjektes mittels eines Computer-Tomographie-Gerätes und die zweiten medizinischen Bilddaten eine Aufnahme des Untersuchungsobjektes mittels eine Magnet-Resonanz-Tomographie-Gerätes umfassen. Alternativ können die ersten medizinischen Bilddaten beispielsweise Daten aus einer 4D Computer-Tomographie eines Herzens und die zweiten medizinischen Bilddaten ein EKG des Herzens umfassen. Alternativ können die ersten medizinischen Bilddaten beispielsweise eine Aufnahme des Untersuchungsobjektes aus einer Magnet-Resonanz-Tomographie mit T1 Wichtung und die zweiten medizinischen Bilddaten eine Aufnahme des Untersuchungsobjektes aus einer Magnet-Resonanz-Tomographie mit T2-Wichtung umfassen. Insbesondere sind die ersten und zweiten medizinischen Bilddaten in den Beispielen austauschbar.
Die ersten und zweiten medizinischen Bilddaten sind dabei zueinander registriert. Insbesondere stehen die ersten und zweiten medizinischen Bilddaten dabei in einer definierten räumlichen Beziehung zueinander. Mit anderen Worten können einander entsprechende Bereiche des Untersuchungsobjektes in den ersten und zweiten Bilddaten einander zugeordnet werden. Beispielsweise entspricht ein Pixel oder Voxel in den ersten medizinischen Bilddaten einem Pixel oder Voxel in den zweiten medizinischen Bilddaten. Insbesondere bilden die einander entsprechenden Pixel oder Voxel den gleichen Bereich des Untersuchungsobjektes ab. Insbesondere können mehr als ein Pixel bzw. Voxel auf diese Weise registriert sein. Alternativ oder zusätzlich bedeutet registriert, dass die ersten und zweiten medizinischen Bilddaten zeitlich miteinander registriert sind. Beispielsweise kann jeweils ein Zeitpunkt in einem EKG einem Computer-Tomographie-Bild zu einem entsprechenden Zeitpunkt aus einer 4D Computer-Tomographie des Herzens zugeordnet sein.
In dem Verfahrensschritt des Bestimmens von synthetischen Bilddaten werden durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten die synthetischen Bilddaten bestimmt. Dabei umfassen die synthetischen Bilddaten eine Darstellung des Untersuchungsobjektes. Insbesondere kann sich die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten von der Darstellung in den ersten medizinischen Bilddaten unterscheiden. Insbesondere kann die Darstellung des Untersuchungsobjektes in den der synthetischen Bilddaten der Darstellung des Untersuchungsobjektes in den zweiten medizinischen Bilddaten wenigstens ähneln oder dieser entsprechen. Mit anderen Worten können gleiche Materialien durch gleiche bzw. ähnliche Wertebereiche der Bildwerte in den zweiten medizinischen Bilddaten und den synthetischen Bilddaten dargestellt werden bzw. abgebildet werden. Insbesondere hängt die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten von wenigstens einem Parameter der trainierbaren Funktion ab. Mit anderen Worten kann mit dem wenigstens einen Parameter der trainierbaren Funktion die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten vorgegeben werden. Insbesondere kann die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten von mehr als einem Parameter der trainierbaren Funktion abhängen. Die synthetischen Bilddaten können insbesondere eindimensionale (1D), zweidimensionale (2D), dreidimensionale (3D) und/oder vierdimensionale (4D) synthetische Bilddaten umfassen. Die 1D, 2D, 3D und/oder 4D synthetischen Bilddaten können insbesondere wir oben bezüglich der 1D, 2D, 3D und/oder 4D medizinischen Bilddaten beschrieben ausgebildet sein. Im Unterschied zu den 1D, 2D, 3D und/oder 4D medizinischen Bilddaten, werden die 1D, 2D, 3D und/oder 4D synthetischen Bilddaten aus den ersten medizinischen Bilddaten bestimmt und nicht basierend auf einer medizinischen Bildgebung erfasst.
In dem Verfahrensschritt des Bestimmens eines Ähnlichkeitsmaßes, wird mit der Ähnlichkeitsfunktion das Ähnlichkeitsmaß bestimmt. Die Ähnlichkeitsfunktion basiert dabei auf einem Vergleich der synthetischen Bilddaten und der zweiten medizinischen Bilddaten. Das Ähnlichkeitsmaß kann insbesondere von einer Summe von quadratischen Abständen der Bildwerte der synthetischen Bilddaten und der zweiten medizinischen Bilddaten abhängen. Mit anderen Worten kann die Ähnlichkeitsfunktion eine Abhängigkeit des Ähnlichkeitsmaßes von der Summe der quadratischen Abstände beschreiben. Insbesondere wird dabei jeweils der Abstand zwischen zwei einander entsprechenden Bildwerten in den synthetischen Bilddaten und den zweiten medizinischen Bilddaten bestimmt. Einander entsprechend bedeutet, dass in den entsprechenden, die Bildwerte umfassenden Pixeln oder Voxeln der gleiche Bereich des Untersuchungsobjektes abgebildet ist. Insbesondere wird der Abstand zwischen jeweils einem Bildwert eines Pixels bzw. Voxels der zweiten medizinischen Bilddaten und einem Bildwert eines Pixels bzw. Voxels der synthetischen Bilddaten bestimmt. Dabei wird der Abstand jeweils zwischen den beiden Pixeln bzw. Voxeln bestimmt, die gemäß der Registrierung einander entsprechen bzw. einander zugeordnet sind. Alternativ bedeutet entsprechend, dass in den die entsprechenden Bildwerte umfassenden Zeitpunkten, sich das Untersuchungsobjekt in den synthetischen Bilddaten und in den zweiten medizinischen Bilddaten in demselben Zustand befindet. Der Abstand kann einer Differenz der einander entsprechenden Bildwerte in dem synthetischen Bilddatensatz und dem zweiten medizinischen Bilddatensatz entsprechen.
Die Bildwerte x(ω)_i der Pixel bzw. Voxel bzw. Zeitpunkte der synthetischen Bilddaten können insbesondere von dem wenigstens einen Parameter ω der trainierbaren Funktion abhängen. Mit anderen Worten führt eine Änderung des wenigstens einen Parameters zu einer Änderung der Bildwerte der synthetischen Bilddaten. Das Ähnlichkeitsmaß Δ(ω) kann beispielsweise folgendermaßen berechnet werden: $Δ (ω) = - {\sum_{i} (x {(ω)}_{i} - y_{i})}^{2}$
Dabei sind x(ω)_i alle Pixel bzw. Voxel bzw. Zeitpunkte der synthetischen Bilddaten und y_i alle Pixel bzw. Voxel bzw. Zeitpunkte der zweiten medizinischen Bilddaten. Der Index i läuft dabei über alle Pixel bzw. Voxel bzw. Zeitpunkte, die von dem synthetischen Bilddaten bzw. den zweiten medizinischen Bilddaten umfasst sind. Jeweils zwei Pixel bzw. Voxel bzw. Zeitpunkte mit dem gleichen Index entsprechen einander bzw. sind gemäß der Registrierung einander zugeordnet. So entspricht beispielsweise der Pixel bzw. Voxel bzw. Zeitpunkt x₁ in den synthetischen Bilddaten dem Pixel bzw. Voxel bzw. Zeitpunkt y₁ in den zweiten medizinischen Bilddaten. Dabei gilt je kleiner die Summe der quadratischen Abstände, desto größer das Ähnlichkeitsmaß. Insbesondere kann das Ähnlichkeitsmaß antiproportional von der Summe der quadratischen Abstände abhängen. Alternativ oder zusätzlich kann das Ähnlichkeitsmaß von einer Kreuzkorrelation und/oder einer normalisierten Kreuzkorrelation und/oder einer Kovarianz und/oder einem Korrelationskoeffizienten zwischen den synthetischen Bilddaten und den zweiten medizinischen Bilddaten abhängen. Insbesondere gilt, je größer das Ähnlichkeitsmaß, desto besser stimmt die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten mit der Darstellung des Untersuchungsobjektes in den zweiten medizinischen Bilddaten überein. Mit anderen Worten gilt, je größer das Ähnlichkeitsmaß, desto ähnlicher sind die synthetischen Bilddaten und die zweiten medizinischen Bilddaten. Insbesondere hängt das Ähnlichkeitsmaß von dem wenigstens einen Parameter der trainierbaren Funktion ab.
In dem Verfahrensschritt des Anpassens wenigstens eines Parameters der trainierbaren Funktion, wird der wenigstens eine Parameter der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß angepasst. Insbesondere wird der wenigstens eine Parameter derart angepasst, dass das Ähnlichkeitsmaß vergrößert, insbesondere maximiert wird. Insbesondere können durch Anpassen des wenigstens einen Parameters die synthetischen Bilddaten, insbesondere die Bildwerte der synthetischen Bilddaten, derart variiert bzw. angepasst werden, dass das Ähnlichkeitsmaß zwischen den zweiten medizinischen Bilddaten und den durch Anwenden der angepassten trainierbaren Funktion bestimmten synthetischen Bilddaten vergrößert, insbesondere maximiert wird. Das Ähnlichkeitsmaß wird insbesondere durch das Optimieren der Ähnlichkeitsfunktion maximiert.
Insbesondere können die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens des Ähnlichkeitsmaßes und des Anpassens des wenigstens einen Parameters iterativ ausgeführt werden. Insbesondere wird in jedem Iterationsschritt die trainierbare Funktion durch das Anpassen des wenigstens einen Parameters optimiert. In der darauffolgenden Iteration werden die synthetischen Bilddaten durch Anwenden der optimierten trainierbaren Funktion bestimmt. Anschließend wird wiederrum das Ähnlichkeitsmaß zwischen den auf diese Weise bestimmten synthetischen Bilddaten und den zweiten medizinischen Bilddaten bestimmt. Basierend auf diesem Ähnlichkeitsmaß wird der wenigstens eine Parameter der trainierbaren Funktion erneut angepasst. Dabei wird die trainierbare Funktion weiter derart optimiert, dass die synthetischen Bilddaten den zweiten medizinischen Bilddaten stärker ähneln, indem das Ähnlichkeitsmaß vergrößert bzw. maximiert wird.
In dem Verfahrensschritt des Bereitstellens der trainierbaren Funktion, wird die auf die oben beschriebene Weise trainierbare Funktion bereitgestellt. Insbesondere wird die trainierbare Funktion zum Bestimmen von synthetischen Bilddaten bereitgestellt. Insbesondere kann die trainierbare Funktion für eine Verwendung bereitgestellt werden. Insbesondere kann die trainierbare Funktion für eine Verwendung mittels einer beliebigen Recheneinheit bereitgestellt werden.
Der Erfinder hat erkannt, dass es möglich ist, den wenigstens einen Parameter der trainierbaren Funktion basierend auf dem Ähnlichkeitsmaß anzupassen, wenn die ersten medizinischen Bilddaten und die zweiten medizinischen Bilddaten zueinander registriert sind. Insbesondere hat der Erfinder erkannt, dass dann auch die synthetischen Bilddaten und die zweiten medizinischen Bilddaten zueinander registriert sind.
Nach einem Aspekt der Erfindung ist die erste und/oder zweite medizinische Bildgebung eine Histopathologie, eine Röntgen-Bildgebung, eine Angiographie, eine Computer-Tomographie (Akronym: CT), eine Magnet-Resonanz-Tomographie (Akronym: MRT), eine Ultraschall-Bildgebung, eine Elektrokardiographie, eine Positronen-Emissions-Tomographie (Positron Emission Tomography, Akronym: PET), eine Einzel-Photonen-Emissions-Computer-Tomographie (Single Photon Emission Computed Tomography, Akronym: SPECT) und/oder eine optische Kohärenz-Tomographie (Optical Coherence Tomography, Akronym: OCT).
Insbesondere können die ersten und/oder zweiten medizinischen Bilddaten auf einer der oben genannten Bildgebungen basieren. Insbesondere können die ersten und/oder zweiten medizinischen Bilddaten mittels einer der oben genannten Bildgebungen erfasst werden. Insbesondere können die ersten medizinischen Bilddaten auf einer, insbesondere prä-operativen, Angiographie basieren. Insbesondere können dann die zweiten medizinischen Bilddaten auf einer, insbesondere inter-operativen, OCT basieren. Alternativ können die ersten medizinischen Bilddaten auf einer Ultraschall-Bildgebung basieren. Insbesondere können dann die zweiten medizinischen Bilddaten auf einem CT oder MRT basieren. Alternativ können die ersten medizinischen Bilddaten auf einem CT basieren. Insbesondere können dann die zweiten medizinischen Bilddaten auf einem MRT basieren. Alternativ können die ersten medizinischen Bilddaten auf einer Histopathologie von ungefärbten Gewebeschnitten basieren. Insbesondere können dann die zweiten medizinischen Bilddaten auf einer Histopathologie von gefärbten Gewebeschnitten basieren. Insbesondere sind in den oben genannten Beispielen die ersten und zweiten medizinischen Bilddaten austauschbar.
Der Erfinder hat erkannt, dass ein Bestimmen von synthetischen Bilddaten für eine Vielzahl an medizinischen Bildgebungen möglich ist.
Nach einem weiteren Aspekt der Erfindung basiert der Verfahrensschritt des Bestimmens des Ähnlichkeitsmaßes auf einem Optimierungsverfahren. Dabei umfasst das Optimierungsverfahren eine Maximierung des Ähnlichkeitsmaßes durch eine geometrische und/oder photometrische Transformation der synthetischen Bilddaten und/oder der zweiten medizinischen Bilddaten.
Insbesondere werden bei dem Optimierungsverfahren die synthetischen und/oder die zweiten medizinischen Bilddaten derart transformiert, dass das Ähnlichkeitsmaß maximiert wird. Die Transformation basiert dabei auf einer geometrischen und/oder photometrischen Transformation der synthetischen und/oder der zweiten medizinischen Bilddaten.
Bei der geometrischen Transformation werden die synthetischen und/oder zweiten medizinischen Bilddaten derart translatiert und/oder rotiert und oder skaliert und/oder reflektiert und/oder geschert, dass das Ähnlichkeitsmaß maximiert wird. Insbesondere können die synthetischen und/oder zweiten medizinischen Bilddaten mittels einer affinen Transformation transformiert werden. Insbesondere kann eine geometrische Transformation eines Zeitvektors durch ein Verschieben bzw. eine Translation des Zeitvektors in diskreten Zeitschritten beschrieben werden.
Bei der photometrischen Transformation kann insbesondere eine Helligkeit und/oder ein Kontrast in den synthetischen und/ oder zweiten medizinischen Bilddaten variiert werden. Mit anderen Worten können die Bildwerte des synthetischen und/oder zweiten medizinischen Bilddaten variiert werden. Insbesondere wird dabei eine Abhängigkeit zwischen einzelnen Bildwerten berücksichtigt. Eine Abhängigkeit kann beispielweise sein, dass bestimmte Pixel bzw. Voxel das gleiche Material darstellen. Insbesondere kann dann der Bildwert dieser Pixel bzw. Voxel entsprechend aneinander angepasst werden.
Insbesondere kann in dem Optimierungsverfahren ein Teilbereich der synthetischen Bilddaten und/oder zweiten medizinischen Bilddaten wie oben beschrieben transformiert werden. Insbesondere kann der Teilbereich eine Teilmenge der Pixel bzw. Voxel bzw. Zeitpunkte umfassen. Insbesondere können die Pixel bzw. Voxel bzw. Zeitpunkte des Teilbereiches räumlich und/oder zeitlich zusammenhängen.
Der Erfinder hat erkannt, dass mit Hilfe des Optimierungsverfahrens eine tatsächliche Ähnlichkeit zwischen den synthetischen Bilddaten und den zweiten medizinischen Bilddaten in Form des Ähnlichkeitsmaßes bestimmt werden kann. Der Erfinder hat erkannt, dass auf diese Weise ausgeschlossen werden kann, dass beispielweise auf Grund einer Verschiebung der synthetischen und der zweiten medizinischen Bilddaten zueinander und/oder auf Grund eines Belichtungsunterschiedes die Bilddaten fälschlicherweise als nicht ähnlich eingruppiert werden und der wenigstens eine Parameter fälschlicherweise angepasst wird. Der Erfinder hat erkannt, dass das Anpassen des wenigstens einen Parameters mittels des Optimierungsverfahrens, welches auch als Fein-Registrierung bezeichnet werden kann, gezielter möglich ist.
Nach einem weiteren Aspekt der Erfindung umfasst das Optimierungsverfahren einen Verfahrensschritt eines Bestimmens wenigstens eines ersten Teilbereiches der synthetischen Bilddaten. Das Optimierungsverfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens einer Mehrzahl von zweiten Teilbereichen der zweiten medizinischen Bilddaten. Das Optimierungsverfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens einer Mehrzahl von Teil-Ähnlichkeitsmaßen zwischen dem wenigstens einen ersten Teilbereich und der Mehrzahl von zweiten Teilbereichen. Das Optimierungsverfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens der Ähnlichkeitsfunktion basierend auf der Mehrzahl von Teil-Ähnlichkeitsmaßen. Dabei basiert die Ähnlichkeitsfunktion auf einem Vergleich des ersten Teilbereichs der synthetischen Bilddaten und einem ausgewählten zweiten Teilbereich der zweiten medizinischen Bilddaten. Dabei entspricht der ausgewählte zweite Teilbereich demjenigen der zweiten Teilbereiche mit dem maximalen Teil-Ähnlichkeitsmaß.
In dem Verfahrensschritt des Bestimmens wenigstens eines ersten Teilbereiches, wird wenigstens ein erster Teilbereich der synthetischen Bilddaten bestimmt. Der wenigstens eine erste Teilbereich kann dabei insbesondere einen Teil der Pixelmatrix bzw. Voxelmatrix bzw. des Zeitvektors der synthetischen Bilddaten umfassen. Insbesondere können die von dem wenigstens einen ersten Teilbereich umfassten Pixel bzw. Voxel bzw. Zeitpunkte zeitlich und/oder räumlich zusammenhängen. Räumlich zusammenhängen bedeutet, dass die entsprechenden Pixel bzw. Voxel räumlich in der Pixelmatrix bzw. in der Voxelmatrix nebeneinander liegen. Zeitlich zusammenhängen bedeutet, dass die Zeitpunkte in dem Zeitvektor aufeinander folgen. Der wenigstens eine erste Teilbereich umfasst wenigstens einen Pixel bzw. wenigstens einen Voxel bzw. wenigstens einen Zeitpunkt. Insbesondere kann der wenigstens eine erste Teilbereich 4x4 Pixel oder 8x8 Pixel oder 16x16Pixel umfassen. Insbesondere kann der wenigstens eine erste Teilbereich wenigstens 4x4x4Voxel oder 8x8x8 Voxel oder 16x16x16 Voxel umfassen. Insbesondere kann der wenigstens eine erste Teilbereich wenigstens 4 Zeitpunkte oder 8 Zeitpunkte oder 16 Zeitpunkte umfassen.
Insbesondere kann eine Mehrzahl von ersten Teilbereichen bestimmt werden. Die Mehrzahl von ersten Teilbereichen kann dabei derart ausgebildet sein, dass jeder Pixel bzw. Voxel bzw. Zeitpunkt der Pixelmatrix bzw. der Voxelmatrix bzw. des Zeitvektors von wenigstens einem ersten Teilbereich umfasst ist.
In dem Verfahrensschritt des Bestimmens einer Mehrzahl von zweiten Teilbereichen wird die Mehrzahl von zweiten Teilbereichen der zweiten medizinischen Daten bestimmt. Ein zweiter Teilbereich kann analog zu dem oben beschriebenen wenigstens einen ersten Teilbereich ausgebildet sein. Insbesondere sind die zweiten Teilbereiche der Mehrzahl an zweiten Teilbereichen paarweise verschieden. Insbesondere umfasst ein zweiter Teilbereich einen Teil der Pixelmatrix bzw. der Voxelmatrix bzw. des Zeitvektors der zweiten medizinischen Bilddaten. Die Mehrzahl der zweiten Teilbereiche kann derart ausgebildet sein, dass wenigstens ein zweiter Teilbereich in einem dem wenigstens einen ersten Teilbereich entsprechenden Bereich in den zweiten medizinischen Bilddaten angeordnet ist. Mit anderen Worten kann wenigstens ein zweiter Teilbereich wenigstens teilweise denselben Teil des Untersuchungsobjektes abbilden wie der wenigstens eine erste Teilbereich. Die entsprechenden Teilbereiche können dabei auf der Registrierung der ersten und zweiten medizinischen Bilddaten basieren.
In dem Verfahrensschritt des Bestimmens einer Mehrzahl von Teil-Ähnlichkeitsmaßen wird die Mehrzahl von Teil-Ähnlichkeitsmaßen zwischen dem wenigstens einen ersten Teilbereich und der Mehrzahl von zweiten Teilbereichen bestimmt. Ein Teil-Ähnlichkeitsmaß kann dabei wie das oben beschriebene Ähnlichkeitsmaß ausgebildet sein. Insbesondere kann zwischen jedem zweiten Teilbereich der Mehrzahl von zweiten Teilbereichen und dem wenigstens einen ersten Teilbereich ein Teil-Ähnlichkeitsmaß bestimmt werden. Dabei beschreibt ein Teil-Ähnlichkeitsmaß eine Ähnlichkeit zwischen einem zweiten Teilbereich und dem wenigstens einen ersten Teilbereich.
In dem Verfahrensschritt des Bestimmens der Ähnlichkeitsfunktion wird die Ähnlichkeitsfunktion basierend auf der Mehrzahl von Teil-Ähnlichkeitsmaßen bestimmt. Dabei ist die Ähnlichkeitsfunktion wie oben beschrieben ausgebildet. Dabei basiert die Ähnlichkeitsfunktion auf einem Vergleich des ersten Teilbereiches der synthetischen Bilddaten und einem ausgewählten zweiten Teilbereich der zweiten medizinischen Bilddaten. Mit anderen Worten ist die Ähnlichkeitsfunktion in diesem Fall auf einen Vergleich des ersten Teilbereichs und des ausgewählten zweiten Teilbereichs beschränkt. Insbesondere hängt der erste Teilbereich von dem wenigstens einen Parameter der trainierbaren Funktion ab. Mit anderen Worten hängt die Darstellung des Untersuchungsobjektes in dem ersten Teilbereich von dem wenigstens einen Parameter ab. Mit anderen Worten hängen die Bildwerte des ersten Teilbereiches von dem wenigstens einen Parameter ab. Damit hängt auch die Ähnlichkeitsfunktion von dem wenigstens einen Parameter der trainierbaren Funktion ab. Das Ergebnis der Ähnlichkeitsfunktion entspricht dabei dem Ähnlichkeitsmaß.
Das Ähnlichkeitsmaß kann beispielsweise wie oben beschrieben als negative Summe der quadratischen Abstände der Bildwerte der synthetischen Bilddaten und der zweiten medizinischen Bilddaten bestimmt werden. In diesem Beispiel läuft der Index j über alle Pixel bzw. Voxel bzw. Zeitpunkte des ersten Teilbereiches und des ausgewählten zweiten Teilbereiches. Die Bildwerte x(ω)_j der Pixel bzw. Voxel bzw. Zeitpunkte des ersten Teilbereiches der synthetischen Bilddaten hängen von dem wenigstens einen Parameter ω der trainierbaren Funktion ab. Mit anderen Worten führt eine Änderung des wenigstens einen Parameters zu einer Änderung der Bildwerte des ersten Teilbereiches. Auf diese Weise kann die Ähnlichkeitsfunktion Δ(ω) folgendermaßen lauten: $Δ (ω) = - {\sum_{i} (x {(ω)}_{i} - y_{j})}^{2}$
Der ausgewählte zweite Teilbereich entspricht demjenigen zweiten Teilbereich der Mehrzahl von zweiten Teilbereichen mit dem maximalen Teil-Ähnlichkeitsmaß. Mit anderen Worten entspricht der ausgewählte zweite Teilbereich demjenigen zweiten Teilbereich der Mehrzahl von zweiten Teilbereichen, der dem wenigstens einen ersten Teilbereich am ähnlichsten ist. Bei der Auswahl des ausgewählten zweiten Teilbereiches wird der wenigstens einen Parameter nicht verändert. Mit anderen Worten wird zunächst der zweite Teilbereich der Mehrzahl von zweiten Teilbereichen ausgewählt bzw. bestimmt, für den das Teil-Ähnlichkeitsmaß bei unverändertem wenigstens einen Parameter der trainierbaren Funktion maximal ist. Das Teil-Ähnlichkeitsmaß kann analog zu dem Ähnlichkeitsmaß bestimmt werden. Das maximale Teil-Ähnlichkeitsmaß entspricht dabei dem Ähnlichkeitsmaß. Das Anpassen des wenigstens einen Parameters basiert wie oben beschrieben auf der Ähnlichkeitsfunktion. Insbesondere wird der wenigstens eine Parameter derart variiert, dass das Ähnlichkeitsmaß als Ergebnis der Ähnlichkeitsfunktion maximiert wird. Mit anderen Worten kann die Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß optimiert werden. Mit anderen Worten kann durch das Anpassen des wenigstens einen Parameters die Ähnlichkeit des wenigstens einen ersten Teilbereiches und des ausgewählten zweiten Teilbereiches maximiert werden. Dabei wird insbesondere die Auswahl des wenigstens einen ersten Teilbereiches und des ausgewählten zweiten Teilbereiches nicht verändert. Mit anderen Worten kann nun basierend auf dem zweiten Teilbereich, für den das maximale Teil-Ähnlichkeitsmaß für einen festen Wert des wenigstens einen Parameters bestimmt wurde, das Ähnlichkeitsmaß durch Variieren bzw. Anpassen des Wertes des wenigstens einen Parameters optimiert bzw. maximiert werden. Insbesondere kann dann durch das Anpassen des wenigstens einen Parameters die Ähnlichkeit zwischen den synthetischen Bilddaten und den zweiten medizinischen Bilddaten maximiert werden.
Der Erfinder hat erkannt, dass mittels des Optimierungsverfahrens ein optimiertes Ähnlichkeitsmaß bestimmt werden kann. Insbesondere kann verhindert werden, dass die Ähnlichkeitsfunktion basierend auf einem Ähnlichkeitsmaß optimiert wird, das auf einer falschen räumlichen und/oder zeitlichen Zuordnung der synthetischen und zweiten medizinischen Bilddaten basiert. Der Erfinder hat erkannt, dass das Optimierungsverfahren mit einer Fein-Registrierung realisiert werden kann. Der Erfinder hat erkannt, dass das Training bzw. das Optimieren bzw. das Anpassen der trainierbaren Funktion durch die Fein-Registrierung optimiert bzw. verbessert werden kann. Der Erfinder hat erkannt, dass durch das Unterteilen der synthetischen Bilddaten und der zweiten medizinischen Bilddaten in Teilbereiche eine Verzerrung und/oder eine nicht affine Transformation zwischen den synthetischen Bilddaten und den zweiten medizinischen Bilddaten kompensiert werden kann.
Nach einem weiteren Aspekt der Erfindung weisen der wenigstens eine erste Teilbereich und die Mehrzahl an zweiten Teilbereichen die gleiche geometrische Form auf.
Insbesondere umfassen der wenigstens eine erste Teilbereich und jeder zweite Teilbereich der Mehrzahl von zweiten Teilbereichen die gleiche Anzahl an Pixeln bzw. Voxeln bzw. Zeitpunkten. Insbesondere können die Pixel bzw. Voxel bzw. Zeitpunkte in dem wenigstens einen ersten Teilbereich und jedem zweiten Teilbereich gleich angeordnet sein. Insbesondere beschreibt die Anordnung die geometrische Form. Insbesondere kann die geometrische Form in einer Pixelmatrix oder Voxelmatrix einer räumlichen Anordnung bzw. Form entsprechen. Insbesondere kann dann die geometrische Form beispielsweise einem Parallelogramm in der Pixelmatrix entsprechen. Das Parallelogramm kann insbesondere in Form eines Rechtecks, insbesondere in Form eines Quadrats ausgebildet sein. Insbesondere kann die geometrische Form in einer Voxelmatrix beispielsweise einem Parallelepiped, insbesondere einem Quader, insbesondere einem Würfel entsprechen. In einem Zeitvektor kann die geometrische Form insbesondere einer zeitlichen Anordnung von Zeitpunkten entsprechen. Insbesondere können die Zeitpunkte in einer aufeinander folgenden Reihenfolge angeordnet sein.
Der Erfinder hat erkannt, dass zum Bestimmen der Mehrzahl von Teil-Ähnlichkeitsmaßen der wenigstens eine erste Teilbereich und die Mehrzahl von zweiten Teilbereichen vorteilhafterweise die gleiche geometrische Form aufweisen. Der Erfinder hat erkannt, dass das entsprechende Teil-Ähnlichkeitsmaß dann die Ähnlichkeit der beiden Teilbereiche besonders gut darstellt. Insbesondere kann auf diese Weise jeder Bildwert jedes Pixels bzw. Voxels bzw. Zeitpunkts in dem ersten Teilbereich mit einem Bildwert eines Pixels bzw. Voxels bzw. Zeitpunktes in einem zweiten Teilbereich verglichen werden.
Nach einem weiteren Aspekt der Erfindung basiert das Bestimmen der Mehrzahl von zweiten Teilbereichen auf einem Start-Teilbereich. Dabei basiert der Start-Teilbereich auf der Registrierung der ersten medizinischen Bilddaten und der zweiten medizinischen Bilddaten.
Mit anderen Worten umfasst die Mehrzahl von zweiten Teilbereichen wenigstens den Teilbereich der zweiten medizinischen Bilddaten, der dem wenigstens einen ersten Teilbereich gemäß der Registrierung der ersten medizinischen Bilddaten und der zweiten medizinischen Bilddaten entspricht. Insbesondere wird bei der Registrierung jedem Pixel bzw. Voxel bzw. Zeitpunkt in den ersten medizinischen Bilddaten ein Pixel bzw. Voxel bzw. Zeitpunkt in den zweiten medizinischen Bilddaten zugeordnet. Insbesondere kann jedem Pixel bzw. Voxel bzw. Zeitpunkt in den synthetischen Bilddaten ein Pixel bzw. Voxel bzw. Zeitpunkt in den ersten medizinischen Bilddaten zugeordnet werden. Mit anderen Worten besteht zwischen den Pixeln bzw. Voxeln bzw. Zeitpunkten der synthetischen Bilddaten und der ersten medizinischen Bilddaten eine eins zu eins Korrespondenz. Somit kann auch jedem Pixel bzw. Voxel bzw. Zeitpunkt in den synthetischen Bilddaten ein entsprechender Pixel bzw. Voxel bzw. Zeitpunkt in den zweiten medizinischen Bilddaten zugeordnet werden. Mit anderen Worten sind dann auch die synthetischen Bilddaten und die zweiten medizinischen Bilddaten zueinander registriert. Dabei basiert die Zuordnung der Pixel bzw. Voxel bzw. Zeitpunkte in den synthetischen Bilddaten und den zweiten medizinischen Bilddaten auf der Registrierung der ersten und zweiten medizinischen Bilddaten. Insbesondere können somit der wenigstens eine erste Teilbereich und der Start-Teilbereich gemäß der Registrierung einander zugeordnete Pixel bzw. Voxel bzw. Zeitpunkte umfassen.
Insbesondere können die anderen zweiten Teilbereiche der Mehrzahl von zweiten Teilbereichen ausgehend von dem Start-Teilbereich bestimmt werden. Beispielsweise kann wenigstens ein anderer zweiter Teilbereich wenigstens teilweise an den Start-Teilbereich räumlich und/oder zeitlich angrenzen und/oder mit dem Start-Teilbereich räumlich und/oder zeitlich überlappen.
Der Erfinder hat erkannt, dass auf diese Weise vermieden werden kann, dass der wenigstens eine erste Teilbereich und die Mehrzahl von zweiten Teilbereichen in nicht voneinander abhängigen Bereichen bzw. Teilen der synthetischen und der zweiten medizinischen Bilddaten angeordnet sind. Der Erfinder hat erkannt, dass ein Teil-Ähnlichkeitsmaß zwischen zwei unabhängigen Bereichen in den synthetischen Bilddaten und in den zweiten medizinischen Bilddaten nicht aussagekräftig ist. Der Erfinder hat außerdem erkannt, dass auf diese Weise die Anzahl der zweiten Teilbereiche minimiert werden kann, da sichergestellt ist, dass die Mehrzahl von zweiten Teilbereichen in einem Bereich der zweiten medizinischen Daten um den Start-Teilbereich angeordnet ist, der dem wenigstens einen ersten Teilbereich wenigstens teilweise entspricht.
Nach einem weiteren Aspekt der Erfindung werden die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens eines Ähnlichkeitsmaßes und des Anpassens wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt. Dabei basiert ein Start-Teilbereich in einer Iteration auf dem ausgewählten Teilbereich der vorherigen Iteration.
Bei der iterativen Durchführung der genannten Verfahrensschritte wird in einer ersten Iteration der wenigstens eine Parameter der trainierbaren Funktion angepasst. In der folgenden Iteration werden die synthetischen Bilddaten durch Anwenden der trainierbaren Funktion mit dem wenigstens einen angepassten Parameter auf die ersten medizinischen Bilddaten bestimmt. Das Ähnlichkeitsmaß wird in dem folgenden Verfahrensschritt des Bestimmens des Ähnlichkeitsmaßes wie oben beschrieben basierend auf den neu bestimmten synthetischen Bilddaten bestimmt. Basierend auf diesem Ähnlichkeitsmaß wird der wenigstens eine Parameter der trainierbaren Funktion in dem Verfahrensschritt des Anpassens des wenigstens einen Parameters erneut angepasst. Insbesondere werden diese Verfahrensschritte wiederholt, bis ein Abbruchkriterium erreicht ist. Insbesondere kann die iterative Durchführung dieser Verfahrensschritte als Trainieren der trainierbaren Funktion bezeichnet werden. Eine Durchführung der wenigstens drei Verfahrensschritte wird als Iteration bezeichnet. Das Abbruchkriterium kann beispielsweise eine maximale Anzahl an Iterationen vorgeben. Alternativ oder zusätzlich kann das Abbruchkriterium einen Wert für das Ähnlichkeitsmaß vorgeben, bei welchem das Training der trainierbaren Funktion beendet werden soll.
Insbesondere kann der Start-Teilbereich analog zu dem oben beschriebenen Start-Teilbereich definiert sein. Insbesondere kann der Start-Teilbereich auf dem ausgewählten zweiten Teilbereich basieren, für welchen in der vorhergehenden bzw. vorherigen Iteration das maximale Ähnlichkeitsmaß bestimmt wurde. Mit anderen Worten kann der Start-Teilbereich dem ausgewählten zweiten Teilbereich der vorherigen Iteration entsprechen. Mit anderen Worten kann der Start-Teilbereich die Pixel bzw. Voxel bzw. Zeitpunkte umfassen, die auch von dem ausgewählten zweiten Teilbereich der vorherigen Iteration umfasst wurden.
Insbesondere können die anderen zweiten Teilbereiche der Mehrzahl von zweiten Teilbereichen in Abhängigkeit des Start-Teilbereiches bestimmt werden.
Der Erfinder hat erkannt, dass das Optimierungsverfahren beschleunigt werden kann, wenn der gemäß des Optimierungsverfahrens der vorherigen Iteration ausgewählte zweite Teilbereich als Start-Teilbereich ausgewählt wird. Insbesondere hat der Erfinder erkannt, dass auf diese Weise sichergestellt werden kann, dass der zweite Teilbereich mit dem maximalen Ähnlichkeitsmaß zu dem wenigstens einen ersten Teilbereich aus der vorherigen Iteration Teil der Mehrzahl von zweiten Teilbereichen ist.
Nach einem weiteren Aspekt der Erfindung überdecken sich der Start-Teilbereich und jeder andere zweite Teilbereich der Mehrzahl von zweiten Teilbereichen zumindest teilweise.
Mit anderen Worten umfasst jeder zweite Teilbereich der Mehrzahl von zweiten Teilbereichen wenigstens einen Pixel bzw. Voxel bzw. Zeitpunkt, der auch von dem Start-Teilbereich und/oder wenigstens einem anderen zweiten Teilbereich umfasst ist. Insbesondere können die zweiten Teilbereiche mittels einer geometrischen Transformation aus dem Start-Teilbereich bestimmt werden. Die geometrische Transformation kann insbesondere wie oben ausgebildet sein. Insbesondere kann die geometrische Transformation eine Translation und/oder einer Rotation umfassen. Mit anderen Worten kann ein zweiter Teilbereich der Mehrzahl von zweiten Teilbereichen diejenigen Pixel bzw. Voxel. Bzw. Zeitpunkte umfassen, die von einem Rahmen, der den Start-Teilbereich beschreibt, nach einer geometrischen Transformation des Rahmens umschlossen werden. Der Rahmen umschließt in seiner Ausgangsposition den Start-Teilbereich. Die geometrische Transformation kann insbesondere räumlich und/oder zeitlich durchgeführt werden.
Der Erfinder hat erkannt, dass die Wahrscheinlichkeit, dass der zweite Teilbereich, für den das maximale Teil- Ähnlichkeitsmaß bestimmt wird, in der Nähe des Start-Teilbereiches angeordnet ist, besonders groß ist. Der Erfinder hat erkannt, dass der zweite Teilbereich mit dem maximalen Teil-Ähnlichkeitsmaß mittels einer geometrischen Transformation aus dem Start-Teilbereich bestimmt werden kann. Insbesondere kann auf diese Weise eine leichte Verschiebung und/oder Rotation und oder Verzerrung etc. der synthetischen Bilddaten relativ zu den zweiten medizinischen Bilddaten korrigiert werden. Insbesondere kann auf diese Weise ein Einfluss, der lediglich auf einer geometrischen Transformation basiert, auf den wenigstens einen Parameter der trainierbaren Funktion minimiert werden.
Nach einem weiteren Aspekt der Erfindung umfasst das Verfahren weiterhin einen Verfahrensschritt eines Empfangens von initialen ersten medizinischen Bilddaten. Dabei basieren die initialen ersten medizinischen Bilddaten auf der ersten medizinischen Bildgebung des Untersuchungsobjektes. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens von initialen synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die initialen ersten medizinischen Bilddaten. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens einer ersten Abbildungsfunktion durch Registrieren der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten. Das Verfahren umfasst weiterhin einen Verfahrensschritt eines Bestimmens der ersten medizinischen Bilddaten durch Anwenden der ersten Abbildungsfunktion auf die initialen ersten medizinischen Bilddaten.
In dem Verfahrensschritt des Empfangens der initialen ersten medizinischen Bilddaten werden initiale erste medizinische Bilddaten empfangen, die auf der ersten medizinischen Bildgebung des Untersuchungsobjektes basieren. Die initialen ersten medizinischen Bilddaten sind insbesondere analog zu den ersten medizinischen Bilddaten ausgebildet. Die initialen ersten medizinischen Bilddaten sind insbesondere nicht mit den zweiten medizinischen Bilddaten registriert.
In dem Verfahrensschritt des Bestimmens von initialen synthetischen Bilddaten werden die initialen synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die initialen ersten medizinischen Bilddaten bestimmt. Die trainierbare Funktion kann insbesondere vortrainiert sein. Insbesondere entspricht die Darstellung des Untersuchungsobjektes in den initialen synthetischen Bilddaten der Darstellung des Untersuchungsobjektes in den zweiten medizinischen Bilddaten. Mit anderen Worten ist die Darstellung des Untersuchungsobjektes in den initialen synthetischen Bilddaten und in den zweiten medizinischen Bilddaten wenigstens ähnlich oder gleich. Insbesondere wird in den initialen synthetischen Bilddaten und in den zweiten medizinischen Bilddaten eine Eigenschaft des Untersuchungsobjektes durch Bildwerte in einen vergleichbaren bzw. gleichen Wertebereich dargestellt.
In dem Verfahrensschritt des Bestimmens einer ersten Abbildungsfunktion wird die erste Abbildungsfunktion durch Registrieren der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten bestimmt. Insbesondere können die initialen synthetischen Bilddaten mittels der ersten Abbildungsfunktion auf die zweiten medizinischen Bilddaten abgebildet werden. Mit anderen Worten können die initialen synthetischen Bilddaten durch Anwenden der ersten Abbildungsfunktion auf die initialen synthetischen Bilddaten auf die zweiten medizinischen Bilddaten abgebildet bzw. registriert werden. Insbesondere können einander entsprechende Bereiche des Untersuchungsobjektes in den initialen synthetischen Bilddaten und in den zweiten medizinischen Bilddaten aufeinander abgebildet werden. Insbesondere können einzelne Landmarken in den initialen synthetischen Bilddaten mittels der ersten Abbildungsfunktion auf die entsprechenden Landmarken in den zweiten medizinischen Bilddaten abgebildet werden. Insbesondere können einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den initialen synthetischen Bilddaten auf einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den zweiten medizinischen Bilddaten abgebildet werden. Landmarken können insbesondere anatomische Merkmale sein. Beispielsweise kann eine Position eines Knochens eine Landmarke sein. Alternativ kann eine Landmarke in einem EKG beispielsweise eine R-Zacke sein. Die erste Abbildungsfunktion beschreibt insbesondere eine geometrische Transformation der initialen synthetischen Bilddaten derart, dass die initialen synthetischen Bilddaten auf die zweiten medizinischen Bilddaten abgebildet werden.
In dem Verfahrensschritt des Bestimmens der ersten medizinischen Bilddaten werden die ersten medizinischen Bilddaten durch Anwenden der ersten Abbildungsfunktion auf die initialen ersten medizinischen Bilddaten bestimmt. Insbesondere sind die ersten medizinischen Bilddaten dann mit den zweiten medizinischen Bilddaten registriert. Mit anderen Worten werden die initialen ersten medizinischen Bilddaten durch Anwenden der ersten Abbildungsfunktion mit den zweiten medizinischen Bilddaten registriert.
Der Erfinder hat erkannt, dass eine Registrierung vorteilhafterweise bei Bilddaten mit einer zumindest ähnlichen bzw. einander entsprechenden Darstellung des Untersuchungsobjektes ausgeführt wird. Der Erfinder hat somit erkannt, dass vorteilhafterweise die initialen synthetischen Bilddaten und die zweiten medizinischen Bilddaten zum Registrieren bzw. zum Bestimmen einer ersten Abbildungsfunktion genutzt werden können. Der Erfinder hat erkannt, dass die erste Abbildungsfunktion auf die initialen ersten medizinischen Bilddaten angewendet werden kann. Insbesondere hat der Erfinder erkannt, dass auf diese Weise die initialen ersten medizinischen Bilddaten mit den zweiten medizinischen Bilddaten registriert werden können. Insbesondere hat der Erfinder erkannt, dass auf diese Weise die ersten medizinischen Bilddaten bestimmt werden können, die gemäß dem oben beschriebenen Verfahren zum Trainieren der trainierbaren Funktion genutzt werden können.
Nach einem weiteren Aspekt der Erfindung werden die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens eines Ähnlichkeitsmaßes und des Anpassens wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt. Das Verfahren umfasst weiterhin einen iterativen Verfahrensschritt eines Bestimmens einer zweiten Abbildungsfunktion durch Registrieren der synthetischen Bilddaten und der zweiten medizinischen Bilddaten. Das Verfahren umfasst weiterhin einen iterativen Verfahrensschritt eines Bestimmens der ersten medizinischen Bilddaten für die folgende Iteration durch Anwenden der zweiten Abbildungsfunktion auf die ersten medizinischen Bilddaten.
Insbesondere werden die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens eines Ähnlichkeitsmaßes und des Anpassens wenigstens eines Parameters der trainierbaren Funktion wie oben beschrieben iterativ durchgeführt.
In dem Verfahrensschritt des Bestimmens einer zweiten Abbildungsfunktion wird in jeder Iteration die zweite Abbildungsfunktion durch Registrieren der synthetischen Bilddaten und der zweiten medizinischen Bilddaten bestimmt. Das Registrieren kann wie oben für die initialen synthetischen Bilddaten und die zweiten medizinischen Bilddaten beschrieben ausgeführt werden. Durch Anwenden der zweiten Abbildungsfunktion können die synthetischen Bilddaten auf die zweiten medizinischen Bilddaten abgebildet bzw. registriert werden. Insbesondere können Landmarken in den synthetischen Bilddaten auf entsprechende Landmarken in den zweiten medizinischen Bilddaten abgebildet werden. Insbesondere können einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den synthetischen Bilddaten auf einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den zweiten medizinischen Bilddaten abgebildet werden.
In dem Verfahrensschritt des Bestimmens der ersten medizinischen Bilddaten für die folgende Iteration werden die ersten medizinischen Bilddaten für die folgende Iteration in jeder Iteration durch Anwenden der zweiten Abbildungsfunktion auf die ersten medizinischen Bilddaten bestimmt. Mit anderen Worten werden am Ende jeder Iteration die ersten medizinischen Bilddaten für die nächste bzw. folgende Iteration bestimmt. Dafür wird die zweite Abbildungsfunktion auf die aktuellen ersten medizinischen Bilddaten angewendet. Dabei werden die ersten medizinischen Bilddaten auf die zweiten medizinischen Bilddaten abgebildet bzw. mit diesen registriert. Insbesondere können Landmarken in den ersten medizinischen Bilddaten auf entsprechende Landmarken in den zweiten medizinischen Bilddaten abgebildet werden. Insbesondere können einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den ersten medizinischen Bilddaten auf einzelne Pixel bzw. Voxel bzw. Zeitpunkte in den zweiten medizinischen Bilddaten abgebildet werden. Insbesondere sind dann die ersten medizinischen Bilddaten, auf die die zweite Abbildungsfunktion angewendet wurde, und die zweiten medizinischen Bilddaten registriert. Insbesondere kann auf diese Weise in jeder Iteration die Registrierung der ersten und zweiten medizinischen Bilddaten verbessert werden.
Der Erfinder hat erkannt, dass durch ein kontinuierliches Verbessern der Registrierung der ersten und zweiten medizinischen Bilddaten auch das Bestimmen der synthetischen Bilddaten verbessert werden kann. Insbesondere kann das Trainieren der trainierbaren Funktion auf diese Weise beschleunigt werden. Mit anderen Worten hat der Erfinder erkannt, dass der wenigstens eine Parameter effektiver angepasst werden kann, wenn die ersten und zweiten medizinischen Bilddaten möglichst gut registriert sind. Andererseits ist eine möglichst gute Registrierung insbesondere dann möglich, wenn die synthetischen Bilddaten den zweiten medizinischen Bilddaten möglichst ähnlich sind. Der Erfinder hat erkannt, dass daraus ein sich selbst verstärkender Effekt entsteht, der zum Trainieren der trainierbaren Funktion genutzt werden kann.
Nach einem weiteren Aspekt der Erfindung umfasst die trainierbare Funktion ein Generative Adversarial Netzwerk. Dabei umfasst das Generative Adversarial Netzwerk einen Generator und einen Diskriminator. Dabei umfasst der Generator vorteilhafterweise ein U-Net.
Bei dem Generative Adversarial Netzwerk (Akronym: GAN) ist der Generator dazu ausgebildet, die synthetischen Bilddaten aus den ersten medizinischen Bilddaten zu erzeugen. Der Diskriminator ist dazu ausgebildet, die erzeugten synthetischen Daten zu bewerten.
Das U-Net auch Dense Unit Network genannt, umfasst insbesondere ein Convolutional Neural Network (Neuronales Faltungsnetzwerk). Ein U-Net umfasst typischerweise eine Mehrzahl an Schichten bzw. Layern. Diese Layer können in zwei Abschnitte aufgeteilt werden. Mit anderen Worten kann jeder Layer einem der beiden Abschnitte zugeordnet werden. Dabei wird die erste Hälfte der Layer dem ersten Abschnitt und die zweite Hälfte der Layer dem zweiten Abschnitt zugeordnet. In dem ersten Abschnitt werden die Eingangsdaten, hier die ersten medizinischen Bilddaten in ihrer Dimension reduziert (Down-Sampling). Die Dimension der ersten medizinischen Bilddaten ist beispielsweise durch eine Größe der Pixelmatrix bzw. der Voxelmatrix bzw. des Zeitvektors gegeben. Mit anderen Worten ist die Dimension der ersten medizinischen Bilddaten durch eine von den ersten medizinischen Bilddaten umfassten Anzahl an Pixeln bzw. Voxeln bzw. Zeitpunkten gegeben. In dem zweiten Abschnitt des U-Nets wird die Dimension wieder derart vergrößert, dass die Dimension der Ausgangsdaten der Dimension der Eingangsdaten entspricht. In diesem Fall entsprechen die Ausgangsdaten den synthetischen Bilddaten. Die Layer der beiden Abschnitte sind insbesondere untereinander verbunden. Beispielsweise ist der erste Layer mit dem letzten Layer verbunden, der zweite Layer ist mit dem vorletzten Layer verbunden usw. Mit anderen Worten empfängt der letzte Layer Informationen von dem ersten Layer, der vorletzte Layer empfängt Informationen von dem zweiten Layer usw.
Der Erfinder hat erkannt, dass ein in ein GAN integriertes U-Net geeignet ist, um aus den ersten medizinischen Bilddaten die synthetischen Bilddaten zu erzeugen bzw. zu bestimmen. Der Erfinder hat außerdem erkannt, dass in einem GAN das Bestimmen der synthetischen Bilddaten und das Bewerten der synthetischen Bilddaten kombiniert werden kann.
Nach einem weiteren Aspekt der Erfindung basiert der Verfahrensschritt des Anpassens wenigstens eines Parameters der trainierbaren Funktion auf einem Optimieren einer Zielfunktion. Dabei umfasst die Zielfunktion eine Ähnlichkeitsfunktion. Dabei hängt das Ähnlichkeitsmaß von der Ähnlichkeitsfunktion ab. Dabei ist eine Wichtung der Ähnlichkeitsfunktion in der Zielfunktion variabel.
Die Ähnlichkeitsfunktion kann insbesondere der oben beschriebenen Ähnlichkeitsfunktion entsprechen. Insbesondere hängt die Ähnlichkeitsfunktion von dem wenigstens einen Parameter ab. Insbesondere kann das Ergebnis der Ähnlichkeitsfunktion dem Ähnlichkeitsmaß entsprechen. Insbesondere ist die Ähnlichkeitsfunktion Teil der Zielfunktion. Insbesondere hängt somit die Zielfunktion von dem wenigstens einen Parameter ab. Insbesondere kann durch ein Optimieren der Ähnlichkeitsfunktion und damit auch der Zielfunktion das Ähnlichkeitsmaß maximiert werden. Insbesondere kann die Zielfunktion von weiteren Eigenschaften der synthetischen Bilddaten abhängen, beispielsweise von einer Glätte (Smoothness) und/oder von einer absoluten Varianz der Bildwerten und/oder von einem Rauschen der Bildwerte etc. der synthetischen Bilddaten. Insbesondere kann durch das Optimieren der Zielfunktion die Glätte maximiert und/oder das absolute Varianz minimiert und/oder das Rauschen minimiert werden. Alternativ oder zusätzlich kann die Zielfunktion von einem Cycle Loss abhängen, wenn das GAN als Cycle GAN ausgebildet ist. Alternativ oder zusätzlich kann die Zielfunktion von einer Batchnormalisierung abhängen. Insbesondere umfasst das Training der trainierbaren Funktion ein Optimieren der Zielfunktion.
Insbesondere kann ein Einfluss der Ähnlichkeitsfunktion auf die Zielfunktion durch die Wichtung der Ähnlichkeitsfunktion vorgegeben werden. Mit anderen Worten kann die Wichtung der Ähnlichkeitsfunktion den Einfluss der Ähnlichkeitsfunktion relativ zu den anderen Faktoren der Zielfunktion vorgeben. Insbesondere kann die Wichtung der Ähnlichkeitsfunktion variabel ausgebildet sein. Insbesondere kann die Wichtung an eine äußere Gegebenheit beispielsweise eine Qualität der synthetischen Bilddaten und/oder eine Dauer des Trainings angepasst sein.
Der Erfinder hat erkannt, dass durch die Variabilität der Wichtung der Ähnlichkeitsfunktion flexibel auf äußere Gegebenheiten reagiert werden kann. Insbesondere kann das Training der trainierbaren Funktion an die äußeren Gegebenheiten angepasst werden.
Nach einem weiteren Aspekt der Erfindung werden die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens eines Ähnlichkeitsmaßes und des Anpassens wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt. Dabei nimmt die Wichtung der Ähnlichkeitsfunktion mit den Iterationen zu.
Die Iterationen werden insbesondere wie oben beschrieben ausgeführt. Insbesondere kann jede Iteration außerdem die Verfahrensschritte des Bestimmens einer zweiten Abbildungsfunktion und des Bestimmens der ersten medizinischen Bilddaten für die folgende Iteration umfassen.
Insbesondere bezeichnet das Training das Durchführen der Gesamtheit an Iterationen.
Insbesondere kann die Wichtung der Ähnlichkeitsfunktion in der Zielfunktion mit der Anzahl der Iterationen zunehmen. Mit anderen Worten kann die Ähnlichkeitsfunktion in der Zielfunktion stärker gewichtet werden, je mehr Iterationen bereits durchgeführt wurden. Mit anderen Worten kann der Einfluss der Ähnlichkeitsfunktion auf die Zielfunktion während des Trainings zunehmen. Insbesondere kann im Vorfeld festgelegt werden, bei welcher Iteration die Wichtung welchen Wert umfassen soll.
Der Erfinder hat erkannt, dass die Ähnlichkeit der synthetischen Bilddaten mit den ersten medizinischen Bilddaten eine immer größere Rolle spielt, je besser bzw. länger die trainierbare Funktion bereits trainiert wurde. Der Erfinder hat erkannt, dass dies durch ein Anpassen bzw. Variieren der Wichtung berücksichtigt werden kann.
Nach einem weiteren Aspekt der Erfindung wird die Wichtung der Ähnlichkeitsfunktion in Abhängigkeit einer Güte der Registrierung der synthetischen Bilddaten und der zweiten medizinischen Bilddaten angepasst. Dabei nimmt bei einer Zunahme der Güte die Wichtung der Ähnlichkeitsfunktion zu.
Insbesondere gibt die Güte der Registrierung an, wie gut die synthetischen Bilddaten und die ersten medizinischen Bilddaten registriert werden können. Mit anderen Worten gibt die Güte eine Qualität der Registrierung an. Insbesondere gilt je größer die Güte, desto besser die Registrierung.
Die Güte kann dabei insbesondere auf einem Ähnlichkeitsmaß basieren bzw. von einem Ähnlichkeitsmaß abhängen. Mit anderen Worten kann die Güte durch das Ähnlichkeitsmaß definiert werden. Das Ähnlichkeitsmaß kann dabei wie oben beschrieben ausgebildet sein.
Insbesondere kann wenigstens ein Schwellwert für die Güte definiert sein. Insbesondere kann bei einem Überschreiten des Schwellwertes die Wichtung der Ähnlichkeitsfunktion angepasst werden. Insbesondere kann die Wichtung der Ähnlichkeitsfunktion mit der Güte der Registrierung zunehmen. Mit anderen Worten kann der Einfluss der Ähnlichkeitsfunktion in der Zielfunktion zunehmen, je besser die Qualität der Registrierung zwischen den synthetischen Bilddaten und den ersten medizinischen Bilddaten ist.
Der Erfinder hat erkannt, dass das Ähnlichkeitsmaß mit zunehmender Qualität der Registrierung an Aussagekraft gewinnt. Insbesondere hat der Erfinder erkannt, dass dies durch eine Zunahme der Wichtung der Ähnlichkeitsfunktion in der Zielfunktion berücksichtigt werden kann. Der Erfinder hat erkannt, dass dies beim Anpassen des wenigstens einen Parameters und somit beim Trainieren der trainierbaren Funktion durch ein Anpassen der Wichtung der Ähnlichkeitsfunktion berücksichtigt werden kann.
Die Erfindung betrifft außerdem eine computerimplementierte Verwendung einer oben beschriebenen trainierbaren Funktion.
Das Verwenden der trainierbaren Funktion umfasst einen Verfahrensschritt eines Empfangens von ersten medizinischen Bilddaten. Dabei basieren die ersten medizinischen Bilddaten auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes. Das Verwenden der trainierbaren Funktion umfasst weiterhin einen Verfahrensschritt eines Empfangens von zweiten medizinischen Bilddaten. Dabei basieren die zweiten medizinischen Bilddaten auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes. Dabei unterscheiden sich die erste medizinische Bildgebung und die zweite medizinische Bildgebung durch eine verwendete Modalität und/oder durch ein verwendetes Bildgebungsprotokoll. Dabei sind die ersten und zweiten medizinischen Bilddaten zueinander registriert. Das Verwenden der trainierbaren Funktion umfasst weiterhin einen Verfahrensschritt eines Bestimmens von synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Daten. Das Verwenden der trainierbaren Funktion umfasst weiterhin ein Bereitstellen der synthetischen Bilddaten.
Die Erfindung betrifft außerdem ein Trainingssystem zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten. Das Trainingssystem umfasst eine Schnittstelle und eine Recheneinheit. Dabei ist die Schnittstelle zum Empfangen von ersten medizinischen Bilddaten ausgebildet. Dabei basieren die ersten medizinischen Bilddaten auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes. Dabei ist die Schnittstelle weiterhin zum Empfangen von zweiten medizinischen Bilddaten ausgebildet. Dabei basieren die zweiten medizinischen Bilddaten auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes. Dabei unterscheiden sich die erste medizinische Bildgebung und die zweite medizinische Bildgebung durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Bildgebungsprotokoll. Dabei sind die ersten und zweiten medizinischen Bilddaten zueinander registriert. Dabei ist die Recheneinheit zum Bestimmen von synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten ausgebildet. Dabei ist die Recheneinheit weiterhin zum Bestimmen eines Ähnlichkeitsmaßes mit einer Ähnlichkeitsfunktion durch Vergleichen der synthetischen Bilddaten und der zweiten medizinischen Bilddaten ausgebildet. Dabei ist die Recheneinheit weiterhin zum Anpassen wenigstens eines Parameters der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß ausgebildet. Dabei ist die Schnittstelle weiterhin zum Bereitstellen der trainierbaren Funktion ausgebildet.
Eine solches Trainingssystem kann insbesondere dazu ausgebildet sein das zuvor beschriebene Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten und seine Aspekte auszuführen. Das Trainingssystem ist dazu ausgebildet dieses Verfahren und seine Aspekte auszuführen, indem die Schnittstelle und die Recheneinheit ausgebildet sind, die entsprechenden Verfahrensschritte auszuführen.
Die Erfindung betrifft auch ein Computerprogrammprodukt mit einem Computerprogramm sowie ein computerlesbares Medium. Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher verwendete Trainingssysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die beschriebene Weise zu arbeiten. Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile wie z. B. eine Dokumentation und/oder zusätzliche Komponenten, sowie Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen.
Insbesondere betrifft die Erfindung auch ein Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher eines Trainingssystems ladbar ist, mit Programmabschnitten, um alle Schritte des oben beschriebenen Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten und seine Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
Insbesondere betrifft die Erfindung ein computerlesbares Speichermedium, auf welchem von einem Bestimmungssystem und/oder einem Trainingssystem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des oben beschriebenen Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten und seine Aspekte auszuführen, wenn die Programmabschnitte von dem Trainingssystem ausgeführt werden.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung werden klarer und verständlicher im Zusammenhang mit folgenden Figuren und ihren Beschreibungen. Dabei sollen die Figuren und Beschreibungen die Erfindung und ihre Ausführungsformen in keiner Weise einschränken.
In verschiedenen Figuren sind gleiche Komponenten mit korrespondierenden Bezugszeichen versehen. Die Figuren sind in der Regel nicht maßstabsgetreu.
Es zeigen:

1 ein erstes Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten,
2 ein Ausführungsbeispiel eines Verfahrensschrittes eines Bestimmens eines Ähnlichkeitsmaßes,
3 ein zweites Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten,
4 ein drittes Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten,
5 ein Ausführungsbeispiel von registrierten ersten medizinischen Bilddaten und zweiten medizinischen Bilddaten,
6 ein Ausführungsbeispiel von synthetischen Bilddaten umfassend einen ersten Teilbereich und zweiten medizinischen Bilddaten umfassend eine Mehrzahl an zweiten Teilbereichen,
7 ein Ausführungsbeispiel einer Verwendung einer bereitgestellten trainierbaren Funktion,
8 ein Trainingssystem zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten.

1 zeigt ein erstes Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten IM_sy.
In einem Verfahrensschritt eines Empfangens REC-1 von ersten medizinischen Bilddaten IM_1 werden die ersten medizinischen Bilddaten IM_1 mittels einer Schnittstelle SYS.IF empfangen.
In einem Verfahrensschritt eines Empfangens REC-2 von zweiten medizinischen Bilddaten IM_2 werden zweite medizinische Bilddaten IM 2 insbesondere mittels der Schnittstelle SYS.IF empfangen.
Dabei können die Verfahrensschritte des Empfangens REC-1 der ersten medizinischen Bilddaten IM 1 und des Empfangens REC-2 der zweiten medizinischen Bilddaten IM_2 auch gleichzeitig oder in umgekehrter Reihenfolge ausgeführt werden.
Dabei basieren die ersten medizinischen Bilddaten IM 1 auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes. Analog basieren die zweiten medizinischen Bilddaten IM 2 auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes. Dabei sind die erste und die zweite medizinische Bildgebung verschieden. Die erste und die zweite medizinische Bildgebung unterscheiden sich dabei durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Untersuchungsprotokoll. Dabei sind die ersten und die zweiten medizinischen Bilddaten IM 1, IM 2 zueinander registriert.
Die ersten medizinischen Bilddaten IM 1 und die zweiten medizinischen Bilddaten IM 2 umfassen dabei eine Darstellung des Untersuchungsobjektes. Das Untersuchungsobjekt ist dabei ein Patient insbesondere ein Teil eines Patienten. Das Untersuchungsobjekt kann alternativ auch ein Tier oder ein Gegenstand bzw. ein Teil davon sein. Beispielsweise kann das Untersuchungsobjekt einen Thorax eines Patienten umfassen. Die ersten und zweiten medizinischen Bilddaten IM 1, IM 2 umfassen dabei eine Voxelmatrix. Dabei umfasst die Voxelmatrix wenigstens einen Voxel. Mit anderen Worten sind die ersten und zweiten medizinischen Bilddaten IM_1, IM_2 als 3D medizinische Bilddaten ausgebildet. Alternativ oder zusätzlich können die ersten und/oder zweiten medizinischen Bilddaten IM_1, IM 2 eine Pixelmatrix und/oder einen Zeitvektor umfassen. Dabei umfasst die Pixelmatrix wenigstens einen Pixel bzw. der Zeitvektor wenigstens einen Zeitpunkt. Mit anderen Worten können die ersten und/oder zweiten medizinischen Bilddaten IM_1, IM_2 als 1D oder 2D oder 3D oder 4D medizinische Bilddaten ausgebildet sein. Insbesondere beschreiben die Voxelmatrix und die Pixelmatrix eine räumliche Anordnung der Voxel bzw. Pixel. Insbesondere beschreibt der Zeitvektor einen zeitlichen Verlauf der Zeitpunkte. Jedem Voxel der Voxelmatrix ist dabei ein Bildwert zugeordnet. Alternativ ist jedem Pixel der Pixelmatrix und/oder jedem Zeitpunkt des Zeitvektors ein Bildwert zugeordnet. Die Abbildung des Untersuchungsobjektes auf diese Bildwerte beschreibt die Darstellung des Untersuchungsobjektes in den entsprechenden Bilddaten.
Die Darstellung des Untersuchungsobjektes in den ersten und zweiten medizinischen Bilddaten IM 1, IM 2 wird dabei durch die verwendete medizinische Modalität und/oder durch das verwendete Bildgebungsprotokoll vorgegeben. Mit anderen Worten gibt die verwendete medizinische Modalität und/oder das Bildgebungsprotokoll vor, in welchen Wertebereich das Untersuchungsobjekt mittels der Bildwerte dargestellt bzw. abgebildet wird. Insbesondere kann sich dabei die Darstellung bezüglich der Darstellung verschiedener Eigenschaften des Untersuchungsobjektes unterscheiden. Eigenschaften des Untersuchungsobjektes sind beispielsweise Materialen des Untersuchungsobjektes und/oder Potentialveränderungen des Untersuchungsobjektes.
In diesem Ausführungsbeispiel basieren die ersten medizinischen Bilddaten IM 1 auf einer Magnet-Resonanz-Tomographie (Akronym: MRT) mit einer T1 Wichtung. Mit anderen Worten ist die erste medizinische Bildgebung eine Magnet-Resonanz-Tomographie, die entsprechende medizinische Modalität ein Magnet-Resonanz-Tomographie-Gerät und das entsprechende Bildgebungsprotokoll ein Protokoll zur Aufnahme einer T1 Wichtung. Die zweiten medizinischen Bilddaten IM 2 basieren auf einer Computer-Tomographie (Akronym: CT). Mit anderen Worten ist die zweite medizinische Bildgebung eine Computer-Tomographie, die entsprechende medizinische Modalität ein Computer-Tomographie-Gerät und das entsprechende Bildgebungsprotokoll umfasst Parameter zur Aufnahme der zweiten medizinischen Bilddaten mit dem Computer-Tomographie-Gerät.
Die ersten und zweiten medizinischen Bilddaten IM 1, IM 2 sind dabei zueinander registriert. Insbesondere werden durch die Registrierung einander entsprechende Bereiche des Untersuchungsobjektes in den ersten und zweiten medizinischen Bilddaten IM_1, IM_2 aufeinander abgebildet. Insbesondere kann wenigstens einem Voxel der ersten medizinischen Bilddaten IM 1 durch die Registrierung ein Voxel in den zweiten medizinischen Bilddaten IM_2 zugordnet sein. Insbesondere kann jedem Voxel in den ersten medizinischen Bilddaten IM 1 ein Voxel in den zweiten medizinischen Bilddaten IM_2 zugeordnet sein. Insbesondere ist diese Zuordnung eindeutig. Alternativ kann wenigstens einem Pixel bzw. Zeitpunkt in den ersten medizinischen Bilddaten IM_1 ein Pixel oder Zeitpunkt in den zweiten medizinischen Bilddaten IM 2 zugeordnet sein.
In einem Verfahrensschritt eines Bestimmens DET-1 von synthetischen Bilddaten IM_sy werden die synthetischen Bilddaten IM_sy durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten IM 1 bestimmt. Dabei umfassen in diesem Ausführungsbeispiel die synthetischen Bilddaten IM_sy eine Voxelmatrix. Dabei kann jedem Voxel der Voxelmatrix der synthetischen Bilddaten IM sy ein Voxel der Voxelmatrix der ersten medizinischen Bilddaten IM 1 zugeordnet werden. Insbesondere sind somit indirekt auch die synthetischen Bilddaten IM_sy und die zweiten medizinischen Bilddaten IM 2 registriert. Analog können in alternativen Ausführungsbeispielen die synthetischen Bilddaten IM_sy eine Pixelmatrix bzw. einen Zeitvektor umfassen, wenn die ersten medizinischen Bilddaten IM 1 eine Pixelmatrix bzw. einen Zeitvektor umfassen. Insbesondere kann dann jedem Pixel bzw. Zeitpunkt der synthetischen Bilddaten IM_sy ein Pixel bzw. Zeitpunkt in den ersten medizinischen Bilddaten IM_1 zugeordnet werden.
In einem Verfahrensschritt eines Bestimmens DET-2 eines Ähnlichkeitsmaßes wird das Ähnlichkeitsmaß mit einer Ähnlichkeitsfunktion bestimmt. Die Ähnlichkeitsfunktion vergleicht die synthetischen Bilddaten IM_sy und die zweiten medizinischen Bilddaten IM_2. Dabei werden die Bildwerte der synthetischen Bilddaten IM_sy und der zweiten medizinischen Bilddaten IM_2 verglichen. Insbesondere werden jeweils die Bildwerte derjenigen Voxel verglichen, die gemäß der Registrierung der ersten und zweiten medizinischen Bilddaten IM_1, IM_2 einander entsprechen bzw. einander zugeordnet sind. Das Ähnlichkeitsmaß hängt dabei beispielsweise von der Summe der quadratischen Abstände ab. Insbesondere hängt das Ähnlichkeitsmaß von der negativen Summe der quadratischen Abstände ab. Alternativ kann das Ähnlichkeitsmaß proportional zu dem Kehrwert der Summe der quadratischen Abstände sein. Ein Abstand ist dabei die Differenz der Bildwerte von zwei einander entsprechenden Voxeln (bzw. Pixeln bzw. Zeitpunkten) in den synthetischen Bilddaten IM_sy und in den zweiten medizinischen Bilddaten IM 2. Dabei gilt: je kleiner die Summe der quadratischen Abstände, desto größer ist das Ähnlichkeitsmaß. Mit anderen Worten beschreibt das Ähnlichkeitsmaß, wie ähnlich die synthetischen Bilddaten IM_sy den zweiten medizinischen Bilddaten sind. Alternativ oder zusätzlich kann das Ähnlichkeitsmaß von einer Kreuzkorrelation und/oder einer normalisierten Kreuzkorrelation und/oder einer Kovarianz und/ oder einem Korrelationskoeffizienten zwischen den synthetischen Bilddaten IM sy und den zweiten medizinischen Bilddaten IM 2 abhängen.
In einem Verfahrensschritt eines Anpassens AD-1 wenigstens eines Parameters wird der wenigstens eine Parameter der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß angepasst. Dabei hängen die synthetischen Bilddaten IM_sy von dem wenigstens einen Parameter der trainierbaren Funktion ab. Mit anderen Worten hängen die Bildwerte und somit die Darstellung des Untersuchungsobjektes in den synthetischen Bilddaten IM_sy von dem wenigstens einen Parameter ab. Somit hängt auch das Ähnlichkeitsmaß zwischen den synthetischen Bilddaten IM_sy und den zweiten medizinischen Bilddaten IM 2 von dem wenigstens einen Parameter ab. Die Ähnlichkeitsfunktion beschreibt dabei die Abhängigkeit des Ähnlichkeitsmaßes von dem wenigstens einen Parameter. Die Ähnlichkeitsfunktion kann beispielsweise folgendermaßen ausgebildet sein: $Δ (ω) = - {\sum_{i} (x {(ω)}_{i} - y_{i})}^{2} .$
Dabei beschreibt ω den wenigstens einen Parameter. Δ(ω) beschreibt das Ähnlichkeitsmaß, x(ω)_i beschreibt einen Bildwert i der synthetischen Bilddaten und y_i beschreibt einen dem Bildwert i der synthetischen Bilddaten entsprechenden Bildwert i der zweiten medizinischen Bilddaten. i läuft dabei über alle einander entsprechenden Bildwerte der synthetischen Bilddaten und der zweiten medizinischen Bilddaten.
In dem Verfahrensschritt des Anpassens AD-1 des wenigstens einen Parameters wird der wenigstens eine Parameter derart angepasst, dass das Ähnlichkeitsmaß maximiert wird. Insbesondere wird die Ähnlichkeitsfunktion durch Anpassen des wenigstens einen Parameters derart optimiert, dass das Ähnlichkeitsmaß als Ergebnis der Ähnlichkeitsfunktion maximiert wird. Mit anderen Worten wird der wenigstens eine Parameter derart angepasst, dass die durch Anwenden der trainierbaren Funktion mit angepasstem Parameter bestimmten synthetischen Bilddaten IM sy den zweiten medizinischen Bilddaten IM 2 möglichst gut ähneln.
In einem Ausführungsbeispiel können die Verfahrensschritte des Bestimmens DET-1 von synthetischen Bilddaten IM_sy, des Bestimmens DET-2 des Ähnlichkeitsmaßes und des Anpassens AD-1 des wenigstens einen Parameters iterativ ausgeführt werden. Insbesondere werden in einer zweiten Iteration die synthetischen Bilddaten IM_sy durch Anwenden der trainierbaren Funktion mit dem angepassten Parameter aus der vorherigen Iteration bestimmt. Basierend auf diesen synthetischen Bilddaten IM_sy wird erneut das Ähnlichkeitsmaß bestimmt und der wenigstens eine Parameter angepasst. In einer dritten Iteration können die synthetischen Bilddaten IM_sy erneut durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten IM 1 mit dem erneut angepassten Parameter bestimmt werden. Auf diese Weise kann die trainierbare Funktion angepasst bzw. optimiert bzw. trainiert werden, bis ein Abbruchkriterium erreicht ist. Das Abbruchkriterium kann beispielsweise eine maximale Anzahl an Iterationen und/oder ein maximales Ähnlichkeitsmaß umfassen.
In einem Verfahrensschritt eines Bereitstellens PROV-1 der trainierbaren Funktion wird die trainierbare Funktion insbesondere mittels der Schnittstelle SYS.IF bereitgestellt. Insbesondere kann die trainierbare Funktion für eine Verwendung auf einer beliebigen Recheneinheit bereitgestellt werden.
2 zeigt ein Ausführungsbeispiel eines Verfahrensschrittes eines Bestimmens DET-2 eines Ähnlichkeitsmaßes.
Dabei kann der Verfahrensschritt des Bestimmens DET-2 des Ähnlichkeitsmaßes ein Ausführungsbeispiel des entsprechenden Verfahrensschrittes des in 1 beschriebenen Verfahrens sein.
In dem Ausführungsbeispiel basiert der Verfahrensschritt des Bestimmens DET-2 des Ähnlichkeitsmaßes auf einem Optimierungsverfahren. Das Optimierungsverfahren kann in Ausführungen eine Maximierung des Ähnlichkeitsmaßes durch eine geometrische und/oder photometrische Transformation der synthetischen Bilddaten IM_sy und/oder der zweiten medizinischen Bilddaten IM_2 umfassen. Insbesondere können die synthetischen Bilddaten IM_sy und/oder die zweiten medizinischen Bilddaten IM_2 mittels einer geometrischen und/oder photometrischen Transformation derart transformiert werden, dass das Ähnlichkeitsmaß maximiert wird. Anschließend kann in dem Verfahrensschritt des Anpassens AD-1 des wenigstens einen Parameters der wenigstens eine Parameter basierend auf dem derart maximierten Ähnlichkeitsmaß angepasst werden. Eine geometrische Funktion umfasst dabei ein Translatieren und/oder Rotieren der synthetischen Bilddaten IM_sy und/oder der zweiten medizinischen Bilddaten IM_2. Eine photometrische Transformation umfasst dabei insbesondere ein Anpassen der Bildwerte der synthetischen Bilddaten IM_sy und/oder der zweiten medizinischen Bilddaten IM_2 beispielsweise in Form einer Belichtungskorrektur.
In dem hier gezeigten Ausführungsbeispiel umfasst der Verfahrensschritt des Bestimmens DET-2 des Ähnlichkeitsmaßes einen Verfahrensschritt eines Bestimmens DET-2.1 wenigstens eines ersten Teilbereiches IM_sy.p der synthetischen Bilddaten IM_sy, eines Bestimmens DET-2.2 einer Mehrzahl von zweiten Teilbereichen IM 2.p.s, IM 2.p.1, IM 2.p.2 der zweiten medizinischen Bilddaten, eines Bestimmens DET-2.3 einer Mehrzahl von Teil-Ähnlichkeitsmaßen und eines Bestimmens DET-2.4 einer Ähnlichkeitsfunktion.
In dem Verfahrensschritt des Bestimmens des wenigstens einen ersten Teilbereiches IM sy.p in den synthetischen Bilddaten IM_sy wird der wenigstens eine erste Teilbereich IM_sy.p in den synthetischen Bilddaten IM sy bestimmt. Der wenigstens eine erste Teilbereich IM_sy.p umfasst in diesem Ausführungsbeispiel einen Würfel, wobei der Würfel wenigstens einen Voxel umfasst. Insbesondere umfasst der Würfel 10x10x10 Voxel. Alternativ abhängig von den synthetischen Bilddaten IM_sy kann der wenigstens eine erste Teilbereich IM_sy.p wenigstens einen Pixel oder wenigstens einen Zeitpunkt umfassen. Insbesondere umfasst der wenigstens eine erste Teilbereich IM_sy.p eine Mehrzahl an räumlich oder zeitlich zusammenhängenden Voxeln bzw. Pixeln bzw. Zeitpunkten.
In dem Verfahrensschritt des Bestimmens der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 der zweiten medizinischen Bilddaten IM 2 wird analog die Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 in den zweiten medizinischen Bilddaten IM 2 bestimmt. Insbesondere sind die zweiten Teilbereiche der Mehrzahl von zweiten Teilbereichen IM 2.p.s, IM 2.p.1, IM_2.p.2 paarweise verschieden. Insbesondere weißen alle zweiten Teilbereiche der Mehrzahl von zweiten Teilbereichen IM 2.p.s, IM 2.p.1, IM_2.p.2 die gleiche geometrische Form auf. Insbesondere weisen die zweiten Teilbereiche der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 die gleiche geometrische Form wie der wenigstens eine erste Teilbereich IM_sy.p auf. Die geometrische Form entspricht in diesem Ausführungsbeispiel einem Würfel umfassend 10x10x10 Voxel. Alternativ kann die geometrische Form ein beliebiges Parallelepiped oder ein Parallelogramm oder ein Vektor sein.
In dem Verfahrensschritt des Bestimmens DET-2.3 der Mehrzahl von Teil-Ähnlichkeitsmaßen, wird die Mehrzahl von Teil-Ähnlichkeitsmaßen zwischen dem wenigstens einen ersten Teilbereich IM_sy.p und der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 bestimmt. Die Teil-Ähnlichkeitsmaße sind dabei analog zu dem in 1 beschriebenen Ähnlichkeitsmaß ausgebildet. Insbesondere wird für jeden zweiten Teilbereich der Mehrzahl von zweiten Teilbereichen IM 2.p.s, IM 2.p.1, IM 2.p.2 ein Teil-Ähnlichkeitsmaß mit dem wenigstens einen ersten Teilbereich IM sy.p bestimmt.
In dem Verfahrensschritt des Bestimmens DET-2.4 der Ähnlichkeitsfunktion wird die Ähnlichkeitsfunktion basierend auf der Mehrzahl von Teil-Ähnlichkeitsmaßen bestimmt. Dabei basiert die Ähnlichkeitsfunktion auf einem Vergleich des wenigstens einen ersten Teilbereiches IM_sy.p mit einem ausgewählten zweiten Teilbereich der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2. Dabei entspricht der ausgewählte zweite Teilbereich dem zweiten Teilbereich der Mehrzahl von zweiten Teilbereich IM_2.p.s, IM 2.p.1, IM_2.p.2, für den das maximale Teil-Ähnlichkeitsmaß bestimmt wurde. Damit entspricht das Teil-Ähnlichkeitsmaß des ausgewählten zweiten Teilbereiches dem Ähnlichkeitsmaß. Die Ähnlichkeitsfunktion hängt dabei von dem wenigstens einen Parameter ab. Das Ergebnis der Ähnlichkeitsfunktion entspricht dem Ähnlichkeitsmaß. Alternativ kann das Ergebnis der Ähnlichkeitsfunktion wenigstens von dem Ähnlichkeitsmaß abhängen. Die Ähnlichkeitsfunktion kann dabei gemäß der Beschreibung zu 1 ausgebildet sein. Im Unterschied zu der Beschreibung zu 1 kann in diesem Ausführungsbeispiel i nur über die einander entsprechenden Bildwerte des ersten Teilbereiches und des ausgewählten zweiten Teilbereiches laufen.
In dem Verfahrensschritt des Anpassens AD-1 des wenigstens einen Parameters wird der wenigstens eine Parameter auf der Ähnlichkeitsfunktion angepasst. Insbesondere wird der wenigstens eine Parameter derart angepasst, dass das Ergebnis der Ähnlichkeitsfunktion und damit das Ähnlichkeitsmaß maximiert wird. Damit werden die synthetischen Bilddaten IM_sy den zweiten medizinischen Bilddaten IM_2 ähnlicher.
Dabei basiert die Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 auf einem Start-Teilbereich IM_2.p.s. In einer Ausführung basiert der Start-Teilbereich IM_2.p.s auf der Registrierung der ersten medizinischen Bilddaten IM 1 und der zweiten medizinischen Bilddaten IM 2. Mit anderen Worten basiert der Start-Teilbereich IM 2.p.s auf der daraus folgenden Registrierung der synthetischen Bilddaten IM_sy und den der zweiten medizinischen Bilddaten IM 2. Dabei umfasst in dem beschriebenen Ausführungsbeispiel der Start-Teilbereich IM 2.p.s die Voxel, die den von dem wenigstens einen ersten Teilbereich IM sy.p umfassten Voxeln gemäß der Registrierung entsprechen. Alternativ umfasst der Start-Teilbereich IM_2.p.s die Pixel bzw. Zeitpunkte, die den von dem wenigstens einen ersten Teilbereich IM_sy.p umfassten Pixeln bzw. Zeitpunkten gemäß der Registrierung entsprechen. Insbesondere gilt das für den Start-Teilbereich IM 2.p.s, der in der ersten Iteration des Verfahrens gemäß 1 bestimmt wird. Alternativ basiert der Start-Teilbereich IM 2.p.s auf dem ausgewählten Teilbereich der vorherigen bzw. vorhergehenden Iteration. Mit anderen Worten umfasst der Start-Teilbereich IM_2.p.s diejenigen Voxel (bzw. Pixel bzw. Zeitpunkte), die der zweite Teilbereich umfasst, für den in der vorherigen Iteration das maximale Teil-Abweichungsmaß bestimmt wurde.
Der Start-Teilbereich IM 2.p.s und jeder andere zweite Teilbereich der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 überdecken sich dabei zumindest teilweise. Mit anderen Worten umfassen jeweils zwei zweite Teilbereiche IM_2.p.s, IM 2.p.1, IM_2.p.2 jeweils wenigstens einen gleichen Voxel (bzw. Pixel bzw. Zeitpunkt). Insbesondere umfasst jeder zweite Teilbereich der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 wenigstens einen Voxel (bzw. Pixel bzw. Zeitpunkt), der auch von dem Start-Teilbereich IM_2.p.s umfasst wird.
Eine weiterführende Beschreibung des wenigstens einen ersten Teilbereiches IM_sy.p und der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM 2.p.1, IM_2.p.2 folgt in der Beschreibung zu 6.
3 zeigt ein zweites Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten IM_sy.
Die Verfahrensschritte des Empfangens REC-1 von ersten medizinischen Bilddaten IM 1, des Empfangens REC-2 von zweiten medizinischen Bilddaten IM 2, des Bestimmens DET-1 von synthetischen Bilddaten IM sy, des Bestimmens DET-2 eines Ähnlichkeitsmaßes, des Anpassens AD-1 wenigstens eines Parameters und des Bereitstellens PROV-1 der trainierbaren Funktion sind gemäß der Beschreibung zu 1 ausgebildet. Insbesondere kann der Verfahrensschritt des Bestimmens DET-2 des Ähnlichkeitsmaßes gemäß der Beschreibung zu 2 ausgebildet sein.
Das folgende Ausführungsbeispiel umfasst ein Bestimmen der ersten medizinischen Bilddaten IM 1 aus initialen medizinischen Bilddaten.
In einem Verfahrensschritt eines Empfangens REC-3 von initialen ersten medizinischen Bilddaten werden die initialen ersten medizinischen Bilddaten insbesondere mittels der Schnittstelle SYS.IF empfangen. Die initialen ersten medizinischen Bilddaten sind dabei analog zu den ersten medizinischen Bilddaten IM_1 ausgebildet. Insbesondere basieren die initialen ersten medizinischen Bilddaten ebenfalls auf der ersten medizinischen Bildgebung. Insbesondere ist die Darstellung des Untersuchungsobjektes in den initialen ersten medizinischen Bilddaten analog zu der Darstellung des Untersuchungsobjektes in den ersten medizinischen Bilddaten IM_1. Die initialen ersten medizinischen Bilddaten sind nicht mit den zweiten medizinischen Bilddaten IM_2 registriert.
In einem Verfahrensschritt eines Bestimmens DET-3 von initialen synthetischen Bilddaten werden die initialen synthetischen Bilddaten durch Anwenden der trainierbaren Funktion bestimmt. Die trainierbare Funktion ist dabei bereits vortrainiert.
In einem Verfahrensschritt eines Bestimmens DET-4 einer ersten Abbildungsfunktion wird die erste Abbildungsfunktion durch Registrieren der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten IM 2 bestimmt. Die erste Abbildungsfunktion beschreibt dabei, wie die initialen synthetischen Bilddaten auf die zweiten medizinischen Bilddaten IM 2 abgebildet werden können. Insbesondere beschreibt die erste Abbildungsfunktion, wie die initialen synthetischen Bilddaten transformiert werden müssen, damit einander entsprechende Bereiche des Untersuchungsobjektes in den initialen synthetischen Bilddaten und den zweiten medizinischen Bilddaten aufeinander abgebildet werden können. Durch Anwenden der ersten Abbildungsfunktion auf die initialen synthetischen Bilddaten werden die initialen synthetischen Bilddaten auf die zweiten medizinischen Bilddaten IM_2 abgebildet bzw. mit diesen registriert.
In einem Verfahrensschritt eines Bestimmens DET-5 der ersten medizinischen Bilddaten IM_1 werden die ersten medizinischen Bilddaten IM 1 durch Anwenden der ersten Abbildungsfunktion auf die initialen ersten medizinischen Bilddaten bestimmt. Insbesondere werden auf diese Weise die ersten medizinischen Bilddaten IM_1 und die zweiten medizinischen Bilddaten IM_2 registriert. Insbesondere können die derart bestimmten ersten medizinischen Bilddaten IM_1 als Eingangsdaten für das in 1 beschriebene Verfahren genutzt werden. Insbesondere basiert somit die Registrierung der ersten medizinischen Bilddaten IM 1 und der zweiten medizinischen Bilddaten IM 2 auf einer Registrierung der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten IM 2, wobei die Darstellung des Untersuchungsobjektes der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten IM 2 wenigstens ähnlich ist.
4 zeigt ein drittes Ausführungsbeispiel eines Verfahrens zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten IM_sy.
Die Verfahrensschritte des Empfangens REC-1 von ersten medizinischen Bilddaten IM 1, des Empfangens REC-2 von zweiten medizinischen Bilddaten IM 2, des Bestimmens DET-1 von synthetischen Bilddaten IM_sy, des Bestimmens DET-2 eines Ähnlichkeitsmaßes, des Anpassens AD-1 wenigstens eines Parameters und des Bereitstellens PROV-1 der trainierbaren Funktion sind gemäß der Beschreibung zu 1 ausgebildet. Insbesondere kann der Verfahrensschritt des Bestimmens DET-2 des Ähnlichkeitsmaßes gemäß der Beschreibung zu 2 ausgebildet sein. Die Verfahrensschritte des Empfangens REC-3 von initialen ersten medizinischen Bilddaten, des Bestimmens DET-3 von initialen synthetischen Bilddaten, des Bestimmens DET-4 einer ersten Abbildungsfunktion und des Bestimmens DET-5 der ersten medizinischen Bilddaten IM_1 können gemäß der Beschreibung zu 3 ausgebildet sein.
In dem Ausführungsbeispiel werden die Verfahrensschritte des Bestimmens DET-1 von synthetischen Bilddaten IM_sy, des Bestimmens DET-2 eines Ähnlichkeitsmaßes, des Anpassens AD-1 wenigstens eines Parameters, eines Bestimmens DET-6 einer zweiten Abbildungsfunktion und eines Bestimmens DET-7 der ersten medizinischen Bilddaten IM 1 iterativ ausgeführt. Dabei basiert der Verfahrensschritt des Bestimmens DET-1 der synthetischen Bilddaten IM_sy auf einem Anwenden der trainierbaren Funktion auf die in der vorherigen Iteration bestimmten ersten medizinischen Bilddaten IM_1. Die trainierbare Funktion hängt dabei von dem wenigstens einen, gemäß der vorherigen Iteration angepassten Parameter ab.
In dem Verfahrensschritt des Bestimmens DET-6 der zweiten Abbildungsfunktion wird die zweite Abbildungsfunktion basierend auf einer Registrierung der synthetischen Bilddaten IM_sy und der zweiten medizinischen Bilddaten IM_2 bestimmt. Die zweite Abbildungsfunktion kann dabei analog zu der oben beschriebenen ersten Abbildungsfunktion ausgebildet sein. Insbesondere können durch Anwenden der zweiten Abbildungsfunktion auf die synthetischen Bilddaten IM_sy die synthetischen Bilddaten IM_sy auf die zweiten medizinischen Bilddaten IM_2 abgebildet bzw. mit diesen registriert werden. Insbesondere werden dabei einander entsprechende Bereiche des Untersuchungsobjektes aufeinander abgebildet.
In dem Verfahrensschritt des Bestimmens DET-7 der ersten medizinischen Bilddaten IM 1 werden die ersten medizinischen Bilddaten IM 1 für die folgende Iteration durch Anwenden der zweiten Abbildungsfunktion auf die ersten medizinischen Bilddaten IM_1 bestimmt. Insbesondere werden auf diese Weise die ersten medizinischen Bilddaten IM 1 mit den zweiten medizinischen Bilddaten IM_2 registriert. Insbesondere wird dabei ausgenutzt, dass eine Registrierung zwischen medizinischen Bilddaten mit einer zumindest ähnlichen Darstellung des Untersuchungsobjektes, wie es bei den synthetischen Bilddaten IM_sy und den zweiten medizinischen Bilddaten IM_2 der Fall ist, einfacher und besser durchführbar ist. Insbesondere wird auf diese Weise ausgenutzt, dass durch ein Registrieren der synthetischen Bilddaten IM_sy mit den zweiten medizinischen Bilddaten IM_2 auch die ersten medizinischen Bilddaten IM_1 indirekt mit den zweiten medizinischen Bilddaten IM_2 registriert wurden. Somit können die ersten medizinischen Bilddaten IM 1 durch Anwenden der zweiten Abbildungsfunktion mit den zweiten medizinischen Bilddaten IM_2 registriert werden. Die derart registrierten ersten medizinischen Bilddaten IM_1 können anschließend als Eingangsdaten für die folgende Iteration genutzt werden.
5 zeigt ein Ausführungsbeispiel von registrierten ersten medizinischen Bilddaten IM_1 und zweiten medizinischen Bilddaten IM_2.
Die ersten medizinischen Bilddaten IM 1 und die zweiten medizinischen Bilddaten IM_2 können beispielsweise als Eingangsdaten für ein Verfahren gemäß den Beschreibungen zu den 1 bis 4 genutzt werden.
In dem Ausführungsbeispiel umfassen die ersten medizinischen Bilddaten IM 1 und die zweiten medizinischen Bilddaten IM 2 jeweils eine schematische Darstellung einer Lunge und eines Herzens. Mit anderen Worten umfasst das Untersuchungsobjekt die Lunge und das Herz. In diesem Ausführungsbeispiel umfassen die ersten und zweiten medizinischen Bilddaten IM 1, IM 2 eine Pixelmatrix umfassend einer Mehrzahl von Pixeln. Insbesondere können die ersten medizinischen Bilddaten IM 1 beispielsweise ein Schichtbild eines MRT mit T1 Wichtung umfassen. Insbesondere können die zweiten medizinischen Bilddaten IM_2 beispielsweise ein Schichtbild eines CT umfassen. Dabei unterscheidet sich die Darstellung der Lunge und des Herzens hinsichtlich der Bildwerte bzw. der Wertebereiche der Bildwerte. In den ersten medizinischen Bilddaten IM_1 ist im unteren linken Lungenflügel außerdem schematisch ein Tumor T eingezeichnet, der in den zweiten medizinischen Bilddaten IM_2 nicht sichtbar ist. Die Pfeile deuten an, welche Bildbereiche bei einer Registrierung bzw. durch Anwenden der zweiten Abbildungsfunktion aufeinander abgebildet werden. Insbesondere werden einander entsprechende Bereiche der Lunge bzw. des Herzens aufeinander abgebildet. Insbesondere können die Pfeile die zweite Abbildungsfunktion darstellen. Insbesondere können die Bereiche zwischen den Pfeilen mittels Interpolation registriert werden. Die zweite Abbildungsfunktion kann analog für eine Registrierung der initialen ersten Bilddaten und der zweiten medizinischen Bilddaten IM_2 dargestellt werden.
6 zeigt ein Ausführungsbeispiel von synthetischen Bilddaten IM_sy umfassend einen ersten Teilbereich IM_sy.p und zweiten medizinischen Bilddaten IM 2 umfassend eine Mehrzahl an zweiten Teilbereichen IM_2.p.s, IM_2.p.1, IM_2.p.2.
Die synthetischen Bilddaten IM_sy wurden in diesem Beispiel durch Anwenden der trainierbaren Funktion auf die ersten me- dizinischen Bilddaten IM 1 gemäß 5 bestimmt. Die zweiten medizinischen Bilddaten IM_2 entsprechen den zweiten medizinischen Bilddaten IM_2 aus 5. Die Darstellung der Lunge und des Herzens in den synthetischen Bilddaten IM_sy entspricht der Darstellung in den zweiten medizinische Bilddaten IM 2. Der wenigstens eine erste Teilbereich IM_sy.p umfasst die durch das Quadrat umschlossenen Pixel. Mit anderen Worten beschreibt das Quadrat, welche Pixel von dem wenigstens einen ersten Teilbereich IM sy.p umfasst werden. Der Start-Teilbereich IM 2.p.s ist durch das Quadrat mit durchgezogener Linie in den zweiten medizinischen Bilddaten IM 2 gekennzeichnet. Der Start-Teilbereich IM 2.p.s basiert hier auf einer Registrierung des wenigstens einen ersten Teilbereiches IM_sy.p mit den zweiten medizinischen Bilddaten IM 2. Die Registrierung kann dabei insbesondere auf der ersten oder zweiten Abbildungsfunktion basieren. Die Quadrate mit gestrichelten Linien kennzeichnen weitere zweite Teilbereiche IM_2.p.1, IM_2.p.2 der Mehrzahl von zweiten Teilbereichen IM_2.p.s, IM_2.p.1, IM_2.p.2. Die weiteren zweiten Teilbereiche IM_2.p.1, IM_2.p.2 sind dabei insbesondere relativ zu dem Start-Teilbereich IM_2.p.s rotiert und/oder translatiert. Mit anderen Worten sind die weiteren zweiten Teilbereiche IM_2.p.1, IM_2.p.2 durch eine geometrische Translation des den Start-Teilbereich IM 2.p.s umschließenden Quadrates definiert. Die weiteren zweiten Teilbereiche IM_2.p.1, IM_2.p.2 überlappen dabei wenigstens teilweise mit dem Start-Teilbereich IM_2.p.s. Die weiteren zweiten Teilbereiche IM_2.p.1, IM_2.p.2 weisen dabei dieselbe geometrische Form auf wie der wenigstens eine erste Teilbereich IM_sy.p und der Start-Teilbereich IM 2.p.s. Dabei umfassen alle Teilbereiche IM_sy.p, IM_2.p.s, IM_2.p.1, IM_2.p.2 die gleiche Anzahl an Pixeln.
7 zeigt ein Ausführungsbeispiel einer Verwendung einer bereitgestellten trainierbaren Funktion.
Die Verfahrensschritte des Empfangens REC-1 von ersten medizinischen Bilddaten IM_1, des Empfangens von zweiten medizinischen Bilddaten IM 2 und des Bestimmens von synthetischen Bilddaten IM_sy sind analog zu der Beschreibung zu 1 ausgebildet.
In einem Verfahrensschritt eines Bereitstellens PROV-2 der synthetischen Bilddaten IM_sy werden die synthetischen Bilddaten IM sy insbesondere mittels der Schnittstelle SYS.IF bereitgestellt. Die synthetischen Bilddaten IM_sy können dabei für eine weitere Verwendung bereitgestellt werden. Beispielsweise können die synthetischen Bilddaten IM_sy zum Anzeigen mittels eines Bildschirms bzw. Monitors bereitgestellt werden. Alternativ oder zusätzlich können die synthetischen Bilddaten IM_sy für einen Vergleich mit den zweiten medizinischen Bilddaten IM 2 bereitgestellt werden. Alternativ oder zusätzlich können die synthetischen Bilddaten IM_sy für ein Speichern in einer Datenbank und/oder in einer Cloud bereitgestellt werden.
8 zeigt ein Trainingssystem SYS zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten IM_sy.
Das dargestellte Trainingssystem SYS ist dazu ausgebildet ein erfindungsgemäßes Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten IM_sy auszuführen. Das Trainingssystem SYS umfasst eine Schnittstelle SYS.IF, eine Recheneinheit SYS.CU und eine Speichereinheit SYS.MU.
Das Trainingssystem SYS kann insbesondere ein Computer, ein Mikrocontroller oder ein integrierter Schaltkreis (integrated circuit, IC) sein. Alternativ kann das Trainingssystem SYS ein reales oder virtuelles Computer-Netzwerk sein (eine technische Bezeichnung für ein reales Computer-Netzwerk ist „Cluster“, eine technische Bezeichnung für ein virtuelles Computer-Netzwerk ist „Cloud“). Das Trainingssystem SYS kann als virtuelles System ausgebildet sein, welches auf einem Computer oder einem realen Computer-Netzwerk oder einem virtuellen Computer-Netzwerk ausgeführt wird (eine technische Bezeichnung ist „Virtualization“).
Die Schnittstelle SYS.IF kann eine Hardware- oder Software-Schnittstelle sein (beispielsweise ein PCI bus, USB oder Firewire). Die Recheneinheit SYS.CU kann Hardware und/oder Software Bestandteile umfassen, beispielsweise einen Mikroprozessor oder einen sogenannten FPGA (Field Programmable Gate Way). Die Speichereinheit SYS.MU kann als nicht permanent arbeitender Arbeitsspeicher (Random Access Memory, RAM) oder als permanenter Massenspeicher (Festplatte, USB-Stick, SD-Karte, Solid State Disk (SSD)) ausgebildet sein.
Die Schnittstelle SYS.IF kann insbesondere eine Mehrzahl an Sub-Schnittstellen umfassen, die unterschiedliche Verfahrensschritte des jeweiligen erfindungsgemäßen Verfahrens ausführen. Mit anderen Worten kann die Schnittstelle SYS.IF als eine Mehrzahl an Schnittstellen SYS.IF ausgebildet sein. Die Recheneinheit SYS.CU kann insbesondere eine Mehrzahl an Sub-Recheneinheiten umfassen, die unterschiedliche Verfahrensschritte des jeweiligen erfindungsgemäßen Verfahrens ausführen. Mit anderen Worten kann die Recheneinheit SYS.CU als eine Mehrzahl an Recheneinheiten SYS.CU ausgebildet sein.
Wo noch nicht explizit geschehen, jedoch sinnvoll und im Sinne der Erfindung, können einzelne Ausführungsbeispiele, einzelne ihrer Teilaspekte oder Merkmale miteinander kombiniert bzw. ausgetauscht werden, ohne den Rahmen der hiesigen Erfindung zu verlassen. Mit Bezug zu einem Ausführungsbeispiel beschriebene Vorteile der Erfindung treffen ohne explizite Nennung, wo übertragbar, auch auf andere Ausführungsbeispiele zu.

Claims

Computerimplementiertes Verfahren zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten (IM_sy), umfassend folgende Verfahrensschritte: - Empfangen (REC-1) von ersten medizinischen Bilddaten (IM_1), wobei die ersten medizinischen Bilddaten (IM_1) auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes basieren, - Empfangen (REC-2) von zweiten medizinischen Bilddaten (IM_2), wobei die zweiten medizinischen Bilddaten (IM_2) auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes basieren, wobei sich die erste und die zweite medizinische Bildgebung durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Bildgebungsprotokoll unterscheiden, wobei die ersten und die zweiten medizinischen Bilddaten (IM_1, IM_2) zueinander registriert sind, - Bestimmen (DET-1) von synthetischen Bilddaten (IM_sy) durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten (IM_1), - Bestimmen (DET-2) eines Ähnlichkeitsmaßes mit einer Ähnlichkeitsfunktion durch Vergleich der synthetischen Bilddaten (IM_sy) und der zweiten medizinischen Bilddaten (IM_2), - Anpassen (AD-1) wenigstens eines Parameters der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß, - Bereitstellen (PROV-1) der trainierbaren Funktion.
Verfahren nach Anspruch 1, wobei die erste und/oder zweite medizinische Bildgebung eine Histopathologie, eine Röntgen-Bildgebung, eine Angiographie, eine Computer-Tomographie, eine Magnet-Resonanz-Tomographie, eine Ultraschall-Bildgebung, eine Elektrokardiographie, eine Positronen-Emissions-Tomographie, eine Einzel-Photonen-Emissions-Computer-Tomographie und/oder eine optische Kohärenz-Tomographie ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Verfahrensschritt des Bestimmens des Ähnlichkeitsmaßes (DET-2) auf einem Optimierungsverfahren basiert, wobei das Optimierungsverfahren eine Maximierung des Ähnlichkeitsmaßes durch eine geometrische und/oder photometrische Transformation der synthetischen Bilddaten (IM_sy) und/oder der zweiten medizinischen Bilddaten umfasst (IM_2).
Verfahren nach Anspruch 3, wobei das Optimierungsverfahren folgende Verfahrensschritte umfasst: - Bestimmen (DET-2.1) wenigstens eines ersten Teilbereiches (IM_sy.p) der synthetischen Bilddaten (IM_sy), - Bestimmen (DET-2.2) einer Mehrzahl von zweiten Teilbereichen (IM_2.p.s, IM_2.p.1, IM_2.p.2) der zweiten medizinischen Bilddaten (IM_2), - Bestimmen (DET-2.3) einer Mehrzahl von Teil-Ähnlichkeitsmaßen zwischen dem wenigstens einen ersten Teilbereich (IM_sy.p) und der Mehrzahl von zweiten Teilbereichen (IM_2.p.s, IM_2.p.1, IM_2.p.2), - Bestimmen (DET-2.4) der Ähnlichkeitsfunktion basierend auf der Mehrzahl von Teil-Ähnlichkeitsmaßen, wobei die Ähnlichkeitsfunktion auf einem Vergleich des ersten Teilbereichs (IM_sy.p) der synthetischen Bilddaten (IM_sy) und einem ausgewählten zweiten Teilbereich (IM_2.p.s, IM_2.p.1, IM_2.p.2) der zweiten medizinischen Bilddaten (IM_2) basiert, wobei der ausgewählte zweite Teilbereich (IM_2.p.s, IM_2.p.1, IM_2.p.2) demjenigen der zweiten Teilbereiche (IM_2.p.s, IM_2.p.1, IM_2.p.2) mit dem maximalen Teil-Ähnlichkeitsmaß entspricht.
Verfahren nach Anspruch 4, wobei der wenigstens eine erste Teilbereich (IM_sy.p) und die Mehrzahl von zweiten Teilbereichen (IM_2.p.s, IM_2.p.1, IM_2.p.2) die gleiche geometrische Form aufweisen.
Verfahren nach einem der Ansprüche 4 oder 5, wobei das Bestimmen der Mehrzahl von zweiten Teilbereichen (IM_2.p.s, IM_2.p.1, IM_2.p.2) auf einem Start-Teilbereich (IM_2.p.s) basiert, wobei der Start-Teilbereich (IM_2.p.s) auf der Registrierung der ersten medizinischen Bilddaten (IM_1) und der zweiten medizinischen Bilddaten (IM_2) basiert.
Verfahren nach einem der Ansprüche 4 bis 6, wobei die Verfahrensschritte des Bestimmens (DET-1) von synthetischen Bilddaten (IM_sy), des Bestimmens (DET-2) eines Ähnlichkeitsmaßes und des Anpassens (AD-1) wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt werden, wobei in einer Iteration ein Start-Teilbereich (IM_2.p.s) auf dem ausgewählten zweiten Teilbereich (IM_2.p.s, IM_2.p.1, IM_2.p.2) der vorherigen Iteration basiert.
Verfahren nach einem der Ansprüche 4 bis 7, wobei sich der Start-Teilbereich (IM_2.p.s) und jeder andere zweite Teilbereich (IM_2.p.1, IM 2.p.2) der Mehrzahl von zweiten Teilbereichen (IM_2.p.s, IM_2.p.1, IM_2.p.2) zumindest teilweise überdecken.
Verfahren nach einem der vorhergehenden Ansprüche, weiterhin umfassend folgende Verfahrensschritte: - Empfangen (REC-3) von initialen ersten medizinischen Bilddaten wobei die initialen ersten medizinischen Bilddaten auf der ersten medizinischen Bildgebung des Untersuchungsobjektes basieren, - Bestimmen (DET-3) von initialen synthetischen Bilddaten durch Anwenden der trainierbaren Funktion auf die initialen ersten medizinischen Bilddaten, - Bestimmen (DET-4) einer ersten Abbildungsfunktion durch Registrieren der initialen synthetischen Bilddaten und der zweiten medizinischen Bilddaten, - Bestimmen (DET-5) der ersten medizinischen Bilddaten (IM_1) durch Anwenden der ersten Abbildungsfunktion auf die initialen ersten medizinischen Bilddaten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verfahrensschritte des Bestimmens (DET-1) von synthetischen Bilddaten (IM_sy), des Bestimmens (DET-2) eines Ähnlichkeitsmaßes und des Anpassens (AD-1) wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt werden weiterhin umfassend folgende iterative Verfahrensschritte: - Bestimmen (DET-6) einer zweiten Abbildungsfunktion durch Registrieren der synthetischen Bilddaten (IM_sy) und der zweiten medizinischen Bilddaten (IM_2), - Bestimmen (DET-7) der ersten medizinischen Bilddaten (IM_1) für die folgende Iteration durch Anwenden der zweiten Abbildungsfunktion auf die ersten medizinischen Bilddaten (IM_1).
Verfahren nach einem der vorhergehenden Ansprüche, wobei die trainierbare Funktion ein Generative Adversarial Netzwerk umfasst, wobei das Generative Adversarial Netzwerk einen Generator und einen Diskriminator umfasst, wobei der Generator vorteilhafterweise ein U-Net umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei der Verfahrensschritt des Anpassens wenigstens eines Parameters der trainierbaren Funktion auf einem Optimieren einer Zielfunktion basiert, wobei die Zielfunktion eine Ähnlichkeitsfunktion umfasst, wobei das Ähnlichkeitsmaß von der Ähnlichkeitsfunktion abhängt, wobei eine Wichtung der Ähnlichkeitsfunktion in der Zielfunktion variabel ist.
Verfahren nach Anspruch 12, wobei die Verfahrensschritte des Bestimmens von synthetischen Bilddaten, des Bestimmens eines Ähnlichkeitsmaßes und des Anpassens wenigstens eines Parameters der trainierbaren Funktion iterativ durchgeführt werden, wobei die Wichtung der Ähnlichkeitsfunktion mit den Iterationen zunimmt.
Verfahren nach Anspruch 12, wobei die Wichtung der Ähnlichkeitsfunktion in Abhängigkeit einer Güte der Registrierung der synthetischen Bilddaten (IM_sy) und der zweiten medizinischen Bilddaten (IM_2) angepasst wird, wobei bei einer Zunahme der Güte die Wichtung der Ähnlichkeitsfunktion zunimmt.
Computerimplementierte Verwendung einer gemäß einem der Ansprüche 1 bis 14 bereitgestellten trainierbaren Funktion, umfassend die folgenden Verfahrensschritte: - Empfangen (REC-1) von ersten medizinischen Bilddaten (IM_1), wobei die ersten medizinischen Bilddaten (IM_1) auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes basieren, - Empfangen (REC-2) von zweiten medizinischen Bilddaten (IM_2), wobei die zweiten medizinischen Bilddaten (IM_2) auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes basieren, wobei sich die erste und die zweite medizinische Bildgebung durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Bildgebungsprotokoll unterscheiden, wobei die ersten und die zweiten medizinischen Bilddaten (IM_1, IM_2) zueinander registriert sind, - Bestimmen (DET-1) von synthetischen Bilddaten (IM_sy) durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten (IM_1), - Bereitstellen (PROV-2) der synthetischen Bilddaten (IM_sy).
Trainingssystem (SYS) zum Bereitstellen einer trainierbaren Funktion zur Bestimmung von synthetischen Bilddaten (IM_sy) , umfassend eine Schnittstelle (SYS.IF) und eine Recheneinheit (SYS.CU), wobei die Schnittstelle (SYS.IF) zum Empfangen (REC-1) von ersten medizinischen Bilddaten (IM_1) ausgebildet ist, wobei die ersten medizinischen Bilddaten (IM_1) auf einer ersten medizinischen Bildgebung eines Untersuchungsobjektes basieren, wobei die Schnittstelle (SYS.IF) weiterhin zum Empfangen (REC-2) von zweiten medizinischen Bilddaten (IM_2) ausgebildet ist, wobei die zweiten medizinischen Bilddaten (IM_2) auf einer zweiten medizinischen Bildgebung des Untersuchungsobjektes basieren, wobei sich die erste und die zweite medizinische Bildgebung durch eine verwendete bildgebende Modalität und/oder durch ein verwendetes Bildgebungsprotokoll unterscheiden, wobei die ersten und die zweiten medizinischen Bilddaten (IM_1, IM_2) zueinander registriert sind, wobei die Recheneinheit (SYS.CU) zum Bestimmen (DET-1) von synthetischen Bilddaten (IM_sy) durch Anwenden der trainierbaren Funktion auf die ersten medizinischen Bilddaten (IM_1) ausgebildet ist, wobei die Recheneinheit (SYS.CU) weiterhin zum Bestimmen (DET-2) eines Ähnlichkeitsmaßes mit einer Ähnlichkeitsfunktion durch Vergleich der synthetischen Bilddaten (IM_sy) und der zweiten medizinischen Bilddaten (IM_2) ausgebildet ist, wobei die Recheneinheit (SYS.CU) weiterhin zum Anpassen (AD-1) wenigstens eines Parameters der trainierbaren Funktion durch Optimieren der Ähnlichkeitsfunktion basierend auf dem Ähnlichkeitsmaß ausgebildet ist, wobei die Schnittstelle (SYS.IF) weiterhin zum Bereitstellen (PROV-1) der trainierbaren Funktion ausgebildet ist.
Computerprogrammprodukt mit einem Computerprogramm, welches direkt in einen Speicher (SYS.MU) eines Trainingssystems (SYS) ladbar ist, mit Programmabschnitten, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 14 auszuführen, wenn die Programmabschnitte von dem Trainingssystem (SYS) ausgeführt werden
Computerlesbares Speichermedium, auf welchem von einem Trainingssystem (SYS) lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 14 auszuführen, wenn die Programmabschnitte von dem Trainingssystem (SYS) ausgeführt werden.