DE102013021729A1

DE102013021729A1 - Verbesserung der nadelvisualisierung in der diagnostischen ultraschallbildgebung

Info

Publication number: DE102013021729A1
Application number: DE102013021729.6A
Authority: DE
Inventors: Sara Good; Terrence Chen; Peng Wang; Ali Kamen
Original assignee: Siemens Corp; Siemens Medical Solutions USA Inc
Current assignee: Siemens Medical Solutions USA Inc
Priority date: 2013-01-03
Filing date: 2013-12-20
Publication date: 2014-07-03
Anticipated expiration: 2033-12-21
Also published as: KR101907550B1; JP6230917B2; CN103908300A; US9642592B2; DE102013021729B4; KR20140088840A; JP2014138847A; US20140187942A1; CN103908300B

Abstract

Die Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild wird verbessert. Die einer Nadel in einem Bild zugeordneten Bildintensitäten werden durch Compounding aus einer Vielzahl von Ultraschallbildern adaptiv erhöht und/oder verbessert. Es werden Filterverfahren und probabilistische Verfahren angewendet, um mögliche Orte einer Nadel zu lokalisieren. Bei einem Ansatz werden mögliche Nadeln in Teilframes gefunden, welche gleichzeitig, jedoch mit unterschiedlichen Strahlausrichtungen erfasst werden. Die möglichen Nadeln aus den verschiedenen Teilframes werden einander zugeordnet, und falsche Detektionen werden auf der Basis der Zuordnungen entfernt. Bei einer Ausführungsform der Nadeldetektion in einem Ultraschall-Teilframe werden zuerst Linien gefunden. Die Linien werden dann durchsucht, um mögliche Nadelsegmente zu finden. Bei einer anderen Ausführungsform können Daten von unterschiedlichen Zeitpunkten verwendet werden, um eine Nadelbewegung und Differenzen zu Referenzdaten zu finden, wobei die Merkmale zusätzlich zu Merkmalen von einem einzelnen Teilframe für eine Nadeldetektion bereitgestellt werden.

Description

HINTERGRUND
Die vorliegenden Ausführungsformen betreffen das Identifizieren eines Ortes einer Nadel in Ultraschallbildern.
Während einer Biopsie, einer Arzneimittelzuführung oder einer anderen medizinischen Prozedur werden Nadeln in einen Patienten eingeführt. Kliniker verwenden oft Ultraschallbilder zur Orientierung, um ein Durchstechen von Organen, die nicht behandelt werden, zu vermeiden, um die Genauigkeit zu erhöhen und/oder das Ergebnis zu verbessern. Infolge des Rauschens in dem Ultraschallbild kann es schwierig sein, die Nadel zuverlässig sichtbar zu machen. Die Sichtbarkeit der Nadel hängt von dem Winkel zwischen der Ausrichtung der Nadel und der Ausrichtung des Ultraschallstrahls ab. Wenn der Ultraschallstrahl senkrecht zur Ausrichtung der Nadel gerichtet ist, wird die Reflexion der Nadel maximiert. Die Orte von Nadel und Ultraschallsonde werden durch die Anatomie diktiert, daher kann eine senkrechte Scan-Anordnung insbesondere für tief eingeführte Nadeln nicht gewährleistet werden.
Aktiv gelenkte Ultraschallstrahlen können verwendet werden, um die Sichtbarkeit zu erhöhen. Die resultierenden Scandaten können verwendet werden, um die Nadel zu detektieren. Es wird eine Hough-Transformation angewendet, um eventuelle Nadeln zu detektieren, welche als Linien parametrisiert werden. Unter der Annahme, dass nur eine Nadel vorhanden ist, wird die wahrscheinlichste Nadel als die Nadel detektiert. Die detektierte Nadel wird aus einem gelenkten Bild ausgeschnitten und wird anschließend mit einem Ultraschallbild in einer ausgewählten Ansicht gemittelt, um die Sichtbarkeit der Nadel zu verbessern. Die Hough-Transformation kann jedoch anfällig gegen Rauschen in den Ultraschallbildern sein.
Es können Sensoren wie etwa elektromagnetische oder magnetische Sensoren an die Nadel angeschlossen sein. Die Sensoren werden verwendet, um die Position der Nadel zu verfolgen. Die Position kann für den Kliniker hervorgehoben werden. Die zusätzlichen Sensoren erhöhen jedoch die Kosten, erfordern eine regelmäßige Kalibrierung und können den vorhandenen klinischen Arbeitsablauf verändern.
KURZE ZUSAMMENFASSUNG
Einleitend wird bemerkt, dass die nachfolgend beschriebenen bevorzugten Ausführungsformen Verfahren, Systeme, Anweisungen und computerlesbare Medien zur Verbesserung der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild beinhalten. Die einer Nadel entsprechenden Bildintensitäten werden durch Compounding (Zusammensetzen) aus einer Vielzahl von Ultraschallbildern adaptiv erhöht und/oder verbessert. Es werden Filterverfahren und probabilistische Verfahren angewendet, um mögliche Orte einer Nadel zu lokalisieren. Bei einem Ansatz werden mögliche Nadeln in Teilframes (Component Frames) gefunden, welche gleichzeitig, jedoch mit unterschiedlichen Strahlausrichtungen erfasst werden. Die möglichen Nadeln aus den verschiedenen Teilframes werden einander zugeordnet, und falsche Detektionen werden auf der Basis der Zuordnungen entfernt. Bei einer Ausführungsform der Nadeldetektion in einem Ultraschall-Teilframe werden zuerst Linien gefunden. Die Linien werden dann durchsucht, um mögliche Nadelsegmente zu finden. Bei einer anderen Ausführungsform können Daten von unterschiedlichen Zeitpunkten verwendet werden, um eine Nadelbewegung und Differenzen zu Referenzdaten zu finden, wobei die Merkmale zusätzlich zu Merkmalen von einem einzelnen Teilframe für eine Nadeldetektion bereitgestellt werden.
Gemäß einem ersten Aspekt wird ein Verfahren zur Verbesserung der Visualisierung einer Nadel in medizinischen diagnostischen Ultraschallbildern bereitgestellt. Es wird eine Vielzahl von Ultraschall-Datenframes mit jeweils unterschiedlichen Strahlausrichtungen erfasst. Die Vielzahl von Ultraschall-Frames repräsentiert einen Patienten und eine Nadel innerhalb des Patienten. In der Vielzahl von Ultraschall-Datenframes werden Nadelkandidaten detektiert. Die Nadelkandidaten in einem Ultraschall-Datenframe werden anderen Nadelkandidaten in den anderen Ultraschall-Datenframes zugeordnet. Einige der Nadelkandidaten in der Vielzahl von Datenframes werden auf der Basis der Zuordnung entfernt. Es wird ein Bild des Patienten und der Nadel angezeigt. Die angezeigte Nadel ist eine Funktion eines gewichteten Compoundings (gewichtete Zusammensetzung) der Vielzahl von Ultraschall-Datenframes an den Orten der zugehörigen Nadel.
Gemäß einem zweiten Aspekt sind in einem nicht-transitorischen computerlesbaren Speichermedium Daten gespeichert, welche Anweisungen repräsentieren, die von einem programmierten Prozessor ausgeführt werden können, um die Visualisierung einer Nadel in medizinischen diagnostischen Ultraschallbildern zu verbessern. Das Speichermedium enthält Anweisungen zum Berechnen einer ersten Wahrscheinlichkeit für jede von einer Vielzahl von möglichen Nadeln, die durch Ultraschalldaten repräsentiert werden, für verschiedene Bilder, Bestimmen einer zweiten Wahrscheinlichkeit für jede Kombination der möglichen Nadeln aus den verschiedenen Bildern, wobei die zweite Wahrscheinlichkeit eine Funktion der ersten Wahrscheinlichkeiten und einer „Verschiebungs-Bestrafung” ist, Entfernen der Kombinationen, bei denen die zweite Wahrscheinlichkeit unterhalb eines Schwellenwertes liegt, und Erzeugen eines Bildes aus einem gewichteten Compounding der Ultraschalldaten an den Orten für die Nadel, wobei die Gewichtung eine Funktion der zweiten Wahrscheinlichkeit für eine verbleibende von den Kombinationen ist.
Gemäß einem dritten Aspekt wird ein System zur Verbesserung der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild bereitgestellt. Ein Speicher ist dafür ausgelegt, Daten zu speichern, die einen Bereich eines Patienten zu verschiedenen Zeitpunkten und eine Nadel in dem Bereich repräsentieren. Ein Prozessor ist dafür ausgelegt, in den Daten, die den Bereich zu einem ersten von den verschiedenen Zeitpunkten repräsentieren, Linienkandidaten zu identifizieren, die Linienkandidaten auf der Basis von Pixeln zu bewerten, die Linienkandidaten mit einer Bewertungszahl (Score) oberhalb eines Schwellenwertes auf Kandidatsegmente zu durchsuchen, die Kandidatsegmente auf der Basis einer Bewegung über die verschiedenen Zeitpunkte und einer Differenz zu Referenzdaten zu bewerten und Intensitäten der Daten entlang eines oder mehrerer der Kandidatsegmente zu erhöhen. Ein Display ist dafür ausgelegt, ein Bild als eine Funktion der erhöhten Intensitäten anzuzeigen.
Die vorliegende Erfindung ist durch die beigefügten Ansprüche definiert, und nichts in diesem Abschnitt darf als eine Einschränkung dieser Ansprüche angesehen werden. Weitere Aspekte und Vorteile der Erfindung werden weiter unten in Verbindung mit den bevorzugten Ausführungsformen erörtert und können später unabhängig oder in einer Kombination beansprucht werden.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Komponenten und die Figuren sind nicht zwangsläufig maßstabsgerecht; stattdessen wurde Wert darauf gelegt, die Prinzipien der Erfindung zu veranschaulichen. Außerdem bezeichnen in den Figuren gleiche Bezugszeichen in den verschiedenen Ansichten durchgehend einander entsprechende Teile.
1 ist ein Flussdiagramm einer Ausführungsform eines Verfahrens zum Detektieren und Verbessern der Visualisierung einer Nadel in medizinischen diagnostischen Ultraschallbildern;
2 ist ein Blockschaltbild einer Ausführungsform eines Systems zum Verbessern der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild;
3 ist eine graphische Darstellung einer Nadel in einem Patienten; und
4 ist ein Flussdiagramm einer Ausführungsform eines Verfahrens zum Detektieren einer Nadel in einem medizinischen diagnostischen Ultraschallbild.
DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGEN UND GEGENWÄRTIG BEVORZUGTEN AUSFÜHRUNGSFORMEN
Die Sichtbarkeit von Nadeln oder anderen linienförmigen Strukturen in Ultraschallbildern, die mittels einer handgeführten oder anderen Ultraschallsonde erfasst werden, wird verbessert. Die Nadel wird aus Ultraschalldaten lokalisiert und für die Ultraschallbildgebung aufbereitet. Anstatt zu versuchen, zunächst einen einzigen Ort in jedem gegebenen Bild zu identifizieren, werden Mengen möglicher Orte in einem oder mehreren Bildern identifiziert. Um den Ort der Nadel in jedem gegebenen Bild genauer zu identifizieren, werden die möglichen Orte aus verschiedenen Bildern verwendet. Durch Verwendung einer Vielzahl möglicher Orte kann eine genauere Detektion gewährleistet werden. Es wird der bestmögliche Ort aus mehreren Kandidaten ausgewählt.
Beispielsweise werden Biopsienadeln verwendet. Die Vorgehensweisen sind nicht auf Nadeln beschränkt, sondern können auf beliebige Typen von Geräten mit Linienstrukturen angewendet werden.
Bei einer Ausführungsform werden eine oder mehrere Nadeln in gelenkten Ultraschallbildern detektiert, die mit unterschiedlichen Strahlausrichtungen erfasst werden. Es werden Merkmale der steuerbaren Filterung (Steerable Filtering) und Merkmale der Hesseschen Filterung (Hessian Filtering) verwendet, um die Position und Ausrichtung in mehreren gelenkten Bildern zu schätzen. Bei jedem erfassten gelenkten Ultraschallbild werden Nadelkandidaten detektiert. Es werden Zuordnungen zwischen Nadelkandidaten aus jeweils verschiedenen gelenkten Bildern hergestellt. Für die zugeordneten Nadelkandidaten wird angenommen, dass sie derselben Nadel in verschiedenen Bildern entsprechen. Falsche Detektionen werden entfernt, und fehlende Detektionen werden auf der Basis von Zuordnungen von Nadelkandidaten wiederhergestellt. Die Ergebnisse der Nadeldetektion werden verwendet, um die Sichtbarkeit von Nadeln durch Compounding mehrerer gelenkter Bilder oder durch Verbessern der Sichtbarkeit in einem Ultraschallbild zu verbessern. Die Parameter der Ultraschallbildgebung können durch die Ergebnisse der Nadeldetektion automatisch angepasst werden.
Bei einer Ausführungsform der Nadeldetektion werden eine oder mehrere Nadeln in Ultraschallbilder in einer hierarchischen Detektions-Rahmenstruktur lokalisiert. Zuerst werden Linienkandidaten detektiert. Die Linienkandidaten enthalten die Ziel-Nadeln und können auch andere Strukturen enthalten, welche ähnlich wie Linien aussehen. Mehrere Filterergebnisse werden vereinigt, um Geräte mit Linienstrukturen in einem einzelnen Ultraschallbild zu detektieren. Danach wird eine Suche nach einem Liniensegment, das ein Ziel-Gerät repräsentiert, entlang der Linienkandidaten durchgeführt. Die hierarchische Rahmenstruktur für die Detektion von Liniensegmenten kann eine hohe Berechnungseffizienz gewährleisten.
Bei jeder Ausführungsform können Nadeldetektionen aus mehreren Ultraschallbildern die Genauigkeit der Nadeldetektion verbessern. Es können mehrere Nadeln in einem und demselben Bild detektiert und verbessert werden. Die Nadeldetektion kann mit handgeführten Ultraschallsonden durchgeführt werden.
1 zeigt eine Ausführungsform eines Verfahrens zum Detektieren und Verbessern der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild. Dieses Verfahren wird durch das System von 2 oder ein anderes System durchgeführt. Das Verfahren wird in der dargestellten Reihenfolge oder einer anderen Reihenfolge durchgeführt. Zum Beispiel wird Schritt 36 vor Schritt 34 durchgeführt. Es können zusätzliche, andere oder weniger Schritte vorgesehen sein. Zum Beispiel ist Schritt 40 nicht vorgesehen. Als weiteres Beispiel wird die Visualisierung der Nadel ohne das gewichtete Compounding von Schritt 38 verbessert. In einem weiteren Beispiel ist das Verfahren für eine Folge von Bildern vorgesehen, die zeitlich zu filtern sind, anstatt für ein Steered Spatial Compounding (gelenktes räumliches Zusammensetzen).
In Schritt 30 werden Ultraschalldaten erfasst. Die Ultraschalldaten werden durch Scannen in zwei oder drei Dimensionen erfasst (z. B. planares oder Volumenscannen). Die Ultraschalldaten repräsentieren einen Bereich eines Patienten. Der Bereich enthält eine Nadel oder eine andere lineare Struktur, die in den Patienten eingeführt wurde. Durch Scannen des Bereichs wird auch ein Teil der Nadel oder die gesamte Nadel gescannt.
Die Ultraschalldaten werden als ein Datenframe erfasst. Der Frame repräsentiert einen gesamten Scanbereich, planaren Bereich oder Volumenbereich des Patienten zu einem gegebenen Zeitpunkt. Durch Wiederholen des Scannens werden Datenframes erfasst, die denselben Bereich zu anderen Zeitpunkten repräsentieren. Es können auch andere Gruppierungen als Frames verwendet werden.
Für ein Steered Spatial Compounding werden Teil-Datenframes (Component Frames of Data) erfasst. Die Teil-Datenframes weisen eine unterschiedliche Raumantwort (Spatial Response) auf. Die Teil-Datenframes werden elektrisch, mechanisch oder durch räumliche Positionierung des Wandlers gelenkt. Jeder oder mehrere der gelenkten Teil-Datenframes wird (werden) bei unterschiedlichen Lenkwinkeln erfasst. Jeder der Teil-Datenframes überspannt im Wesentlichen eine gleich große räumliche Ausdehnung eines Bereichs eines Ziels, etwa durch Halten des Wandlers in ein und derselben Position mit oder ohne absichtliches Wobbling. Ein überwiegender Teil, über 90%, oder nahezu der gesamte gescannte Bereich für jeden der Teil-Datenframes überlappt sich mit den gescannten Bereichen der anderen Teilframes.
Einer der Teil-Datenframes reagiert auf mindestens einen anderen Scanlinien-Winkel in Bezug auf mindestens einen Ort in dem gescannten Bereich als ein anderer von den Teil-Datenframes. Für mindestens einige Orte in dem Patienten verlaufen die sich schneidenden Scanlinien von den verschiedenen Teilframes unter verschiedenen Winkeln, wenigstens für zwei der Teilframes. Ein Scannen des Ortes aus unterschiedlichen Richtungen liefert eine unterschiedliche Raumantwort.
Bei alternativen Ausführungsformen wird der Wandler während der Erfassung aufeinander folgender Datenframes, etwa in Verbindung mit Bildgebung mit erweitertem Sichtfeld (Extended Field of View Imaging), bewegt. In Fällen, in denen nichtlineare Scanmuster verwendet werden, in denen der Wandler sowohl gedreht als auch translatorisch bewegt wird, oder in denen mehrere Wandler räumlich positioniert werden, um die Ziel-Bilder zu erfassen, können verschiedene Teil-Datenframes einander überlappende Bereiche aus unterschiedlichen Winkeln repräsentieren, wobei sie eine unterschiedliche Raumantwort liefern. Durch Kombinieren der Daten für die einander überlappenden Bereiche wird ein Steered Compounding gewährleistet.
Es werden zwei oder mehr Datenframes erfasst, die denselben oder unterschiedliche Bereiche repräsentieren. Zum Beispiel haben die Scanlinien von drei Teil-Datenframes dasselbe Format, scannen jedoch unterschiedliche, sich überlappende Bereiche. Die Scanlinien können in einem beliebigen Format erfasst werden, wie linear, gekrümmt linear, Sektor, gekrümmt Sektor, Vector^®, gekrümmt Vector^®, und Kombinationen davon. Zum Beispiel werden Scanlinien, die mit einem linearen Wandler erfasst werden, unter drei verschiedenen Winkeln (z B. +/–10 Grad und normal) in einem linearen oder allgemein rechteckigen oder parallelogrammförmigen Scanformat gelenkt, für drei jeweilige Teil-Datenframes.
Für einen Teil-Datenframe gehen die Scanlinien von verschiedenen Positionen am Wandler aus, jedoch können zwei oder mehr Scanlinien von ein und derselben Position ausgehen. Bei Verwendung des linearen Formats verlaufen die Scanlinien parallel und in ein und derselben Richtung in Bezug auf die Schnittpunkte der Scanlinien mit den Ausgangspunkten am Wandler. Die Mehrzahl der Scanlinien jedes Teilframes erstreckt sich in ein und derselben Richtung. Als ein weiteres Beispiel werden unterschiedliche Winkel von der Stirnseite des Wandlers aus durch ein Scannen mit einer Scanlinien-Scheitelposition auf oder hinter dem Wandler 14 für Sektor- oder Vector^®-Formate bereitgestellt. Die Scanliniendichte entlang der Wandleroberfläche ist entweder gleichmäßig oder ändert sich in Abhängigkeit von der Scanlinienposition. Die Scanliniendichte kann sich von einem Datenframe zu einem anderen Datenframe unterscheiden, etwa indem diese unterschiedliche gleichmäßige Dichten aufweisen oder unterschiedliche Änderungen der Dichte aufweisen.
Jeder der Teil-Datenframes entspricht anderen Lenkwinkeln oder einer anderen Raumantwort. Zum Beispiel erstreckt sich für einen Teil-Datenframe eine Mehrzahl von Scanlinien in einer ersten Richtung, wie etwa 10 Grad links von dem Wandler. Für einen anderen Teil-Datenframe erstreckt sich die Mehrzahl der Scanlinien unter einem Winkel von 10 Grad rechts von dem Wandler. Für einen dritten Teil-Datenframe verläuft die Mehrzahl der Scanlinien senkrecht zu dem Wandler. Es können auch andere Lenkwinkel, die von plus oder minus 10 Grad und null verschieden sind, mit zwei, drei, vier oder mehr Teilframes verwendet werden.
Der Datenframe enthält Abtastwerte (Samples), die das Sichtfeld oder den gescannten Bereich repräsentieren. Die Ultraschalldaten sind strahlgeformte Daten vor der Detektion, detektierte Daten vor der Scan-Konvertierung (z B. B-Modus, Flussmodus, Geschwindigkeit, Energie oder Varianz), Daten nach der Scan-Konvertierung oder Daten, die als ein Bild angezeigt werden. Die Ultraschalldaten sind Bilddaten für eine Anzeige, jedoch Bilddaten können Daten sein, die erfasst wurden, um das Bild zu erzeugen. Die Begriffe „Pixel” und „Bild” können im Zusammenhang mit einem tatsächlich angezeigten Bild verwendet werden, oder um Orte und den Datenframe zum Erzeugen der Anzeige zu bezeichnen.
Die Frames von Ultraschalldaten werden in Schritt 32 verwendet, um eine oder mehrere Nadeln zu detektieren. Die Nadeln werden detektiert, indem zunächst ein steuerbares Filter auf die Datenframes angewendet wird und dann die Ergebnisse der Filterung unter Verwendung eines lernbasierten Detektors beschnitten werden.
Es werden Nadelkandidaten in mehreren Datenframes detektiert. Zum Beispiel werden ein oder mehrere Nadelkandidaten in jedem von einer Vielzahl von Teilframes für Steered Spatial Compounding detektiert. Alternativ dazu können Nadelkandidaten in jedem von einer Sequenz von Datenframes detektiert werden.
Die Detektionen für jeden Datenframe können unabhängig von Detektionen für andere Datenframes sein. Die erstmalige Detektion einer Kandidaten-Nadel in einem Frame stützt sich nicht auf die Detektion der Kandidaten-Nadel in einem anderen Frame. Bei alternativen Ausführungsformen erfolgt eine gemeinsame Detektion des Nadelkandidaten in mehreren Frames.
Es kann eine beliebige Detektion von Linienstrukturen verwendet werden. Eine Nadel wird als ein Ridge-Modell (Kantenmodell) in Grauskalen-(z B. B-Modus-)Ultraschallbildern oder Datenframes dargestellt. Die Nadel wird als R(W, L, K, θ, x_c, y_c) angegeben, wobei W und L die Nadelbreite und -länge sind, K die als die Bildintensität dargestellte Nadelreflexion ist, θ die Nadelausrichtung in einem Bild ist und (x_c, y_c) die Mittelpunktsposition der Nadel ist. Es kann auch eine andere Parametrisierung der Nadel verwendet werden. Die parametrisierte Nadel R kann als 2D Intensitätsfunktion angesehen werden. Die Detektion der Nadel besteht darin, den Nadelparametersatz X = {W, L, K, θ, x_c, y_c} aus den Ultraschall-Datenframes zu schätzen.
Bei einer Ausführungsform wird ein Verfahren der steuerbaren Filterung angewendet, um Nadeln zu detektieren. Die Datenframes werden jeweils mit Richtungsfilterung gefiltert, um Linienstrukturen zu identifizieren. Die Teil-Datenframes werden gefiltert. Die steuerbare Filterung liefert eine Schätzung der Ausrichtung und Stärke einer Linie, die durch einen Punkt in einem Bild verläuft. Es kann mehrskalige steuerbare Filterung angewendet werden, um die Nadelbreite zu schätzen. Es können auch andere Filterverfahren angewendet werden, welche die Ausrichtung und Stärke eines Teils von Nadeln schätzen können. Bei einer Ausführungsform wird Hessesche Filterung angewendet.
Die steuerbare Filterung berechnet die Antworten von Filtern bei drei Ausrichtungen und interpoliert die Filterantworten bei beliebigen anderen Ausrichtungen aus den drei Ausrichtungen. Bei einer Ausführungsform sind die Filter die Ableitungen zweiten Grades von Gaußschen Funktionen. Die Kerngröße der Gaußschen Funktionen wird so angepasst, dass sie zu der Nadelbreite passt. Bei der mehrskaligen steuerbaren Filterung werden mehrere Kerngrößen verwendet. Die Nadelbreite kann aus den mehreren Filterergebnissen geschätzt werden. Es können auch andere Filter für die steuerbare Filterung verwendet werden. Die drei Ausrichtungen in den steuerbaren Filtern können horizontal, vertikal und diagonal oder andere sein. Es können auch zusätzliche Ausrichtungen zur Filterung verwendet werden.
Die Ergebnisse der steuerbaren Filterung werden verwendet, um Wahrscheinlichkeiten der Punkte zu berechnen, die zu einer Nadel gehören. Infolge eines Rauschens kann das Bildfilterungsverfahren nach wie vor falsche Detektionen erzeugen. Ein lernbasierter Detektor wird trainiert, um Ridge-Kandidaten in Bildern niedriger Qualität besser zu identifizieren.
Es kann ein beliebiges Maschinentraining verwendet werden. Der maschinentrainierte (machine-trained) Klassifikator ist ein beliebiger oder mehrere Klassifikatoren. Es können ein Einzelklassen- oder binärer Klassifikator, eine Sammlung verschiedener Klassifikatoren, kaskadierte Klassifikatoren, ein hierarchischer Klassifikator, ein Mehrklassen-Klassifikator, ein modellbasierter Klassifikator, ein auf Maschinenlernen basierter Klassifikator oder Kombinationen davon verwendet werden. Zu Mehrklassen-Klassifikatoren gehören CART, K-Nächste-Nachbarn, neuronales Netz (z B. Mehrschicht-Perzeptron), Mischmodelle oder andere. Es kann ein probabilistischer Boosting-Baum verwendet werden.
Während der Detektion überprüft der trainierte Nadeldetektor, ob die Kandidaten von steuerbarer Filterung zu einer wahren Nadel gehören oder durch Rauschen erzeugt werden. Der Klassifikator gibt eine Wahrscheinlichkeit P(X) und die geschätzte Ausrichtung, die jedem Punkt X in einem Bild zugeordnet ist, aus.
Die Punktkandidaten, die zu einer wahren Nadel gehören, entweder aus Filterung oder von Detektoren, werden verwendet, um die Nadel zu detektieren. Bei einer Ausführungsform kann ein Detektor trainiert werden, um auf der Basis der Punktkandidaten die Nadel zu detektieren. Es kann ein beliebiges Maschinentraining verwendet werden. Es können ein Einzelklassen- oder binärer Klassifikator, eine Sammlung verschiedener Klassifikatoren, kaskadierte Klassifikatoren, ein hierarchischer Klassifikator, ein modellbasierter Klassifikator, ein auf Maschinenlernen basierter Klassifikator oder Kombinationen davon verwendet werden. Es kann ein probabilistischer Boosting-Baum verwendet werden. Die Eingabe in den Klassifikator kann die Daten, Filterergebnisse, Schätzergebnisse von Punktkandidaten, welche Linienkandidaten zugeordnet sind, enthalten.
4 zeigt ein anderes Verfahren zum Detektieren einer Nadel in einem medizinischen diagnostischen Ultraschallbild. In einer hierarchischen Detektions-Rahmenstruktur werden zuerst Linienkandidaten detektiert. Die Linienkandidaten enthalten die Nadel 24 und können auch andere Strukturen enthalten, welche ähnlich wie Linien aussehen. Danach werden die Linienkandidaten auf Liniensegmente durchsucht, welche eine Nadel 24 darstellen. Die hierarchische Detektions-Rahmenstruktur kann eine hohe Berechnungseffizienz gewährleisten.
Das Verfahren wird durch das System von 2 oder ein anderes System durchgeführt. Das Verfahren wird in der dargestellten Reihenfolge oder einer anderen Reihenfolge durchgeführt. Es können zusätzliche, andere oder weniger Schritte vorgesehen sein. Zum Beispiel ist Schritt 62 nicht vorgesehen. Als weiteres Beispiel wird die Visualisierung der Nadel ohne die Erhöhung der Intensitäten von Schritt 60 verbessert. Aspekte des Verfahrens von 2 können in dem Verfahren von 4 verwendet werden, wie Steered Spatial Compounding und Zuordnen aus verschiedenen Bildern. Aspekte des Verfahrens von 4 können in dem Verfahren von 2 verwendet werden, wie die Liniensegment-Hierarchie zum Detektieren einzelner Nadelkandidaten und/oder die Verwendung einer Bewegungshistorie oder Differenz zu Referenzdaten zur Detektion in mehreren Frames.
In Schritt 50 werden ein oder mehrere Frames von Ultraschalldaten erfasst. Die Frames sind nicht für Steered Spatial Compounding bestimmt. Stattdessen repräsentieren die Frames den Bereich und die Nadel 24 in einer Sequenz ohne unterschiedliches Lenken. Bei alternativen Ausführungsformen sind die Frames Teilframes für Steered Spatial Compounding. Es ist möglich, dass nur ein einziger Frame erfasst wird. Es können auch andere Gruppierungen der Daten als ein Frame verwendet werden. Es kann eine beliebige von den Erfassungen, die oben für Schritt 30 erörtert wurden, verwendet werden. Die Daten können durch Scannen oder durch Übertragung aus einem Speicher erfasst werden.
In Schritt 52 werden Linienkandidaten identifiziert. Die Linienkandidaten werden aus den Ultraschalldaten identifiziert, die einen Bereich des Patienten repräsentieren. Die Linienkandidaten werden in einem einzelnen Frame identifiziert. Zum Identifizieren in mehreren Frames wird eine getrennte oder unabhängige Identifizierung für jeden Frame vorgesehen. Alternativ dazu wird eine gemeinsame Identifizierung über Frames hinweg vorgesehen.
Der Linienkandidat ist eine Gerade ohne Endpunkte. Der Linienkandidat erstreckt sich von einem Rand des gescannten Bereichs zu einem anderen. Ein Linienkandidat ist als L = (ρ, θ) definiert, wobei θ die Ausrichtung der Linie ist und ρ der kürzeste Abstand von einem Ursprung zu der Linie ist. 3 zeigt eine Linie, die aus einem Segment und einem Schwanz besteht.
Bei einer Ausführungsform werden die Punkte entlang von Linienkandidaten unter Anwendung von steuerbarer Filterung identifiziert. Zum Beispiel wird die oben für 1 erörterte steuerbare Filterung angewendet. Bei einer alternativen Ausführungsform wird ein anderer Typ von Filterung angewendet, um die den Linien zugeordneten Daten zu detektieren. Zum Beispiel werden Hesse-Filter angewendet. Wie steuerbare Filterung ist das Hesse-Filter dazu bestimmt, Linienstrukturen zu detektieren. Verschiedene Typen von Filterung können kombiniert werden, etwa indem sowohl Hesse- als auch steuerbare Filterung zur Nadeldetektion durchgeführt werden.
Die Filterung ist dazu eingerichtet, Daten zu entfernen, die nicht einer Linie zugeordnet sind, und Daten zu belassen, die einer Linie zugeordnet sind. Das Ergebnis ist eine Detektion der Punkte entlang von Linienkandidaten für die Nadel. Die Nadel 24 hat eine Breite. Die Filterung, wie etwa die Größe eines Kerns, kann auf der Basis der erwarteten Breite der Nadel 24 und des Maßstabs des Scannens eingerichtet werden. Alternativ dazu kann die Breite aus mehrskaliger Filterung abgeleitet werden. Durch die Verwendung von Breiteninformationen kann eine Identifizierung von Linien verhindert werden, welche übermäßig breit sind, wie etwa solche, die Knochen zugeordnet sind.
In Schritt 54 werden die Linienkandidaten bewertet. Die Bewertung gibt die „Stärke” des Linienkandidaten an. Die Bewertungszahl kann eine Wahrscheinlichkeit, ein normiertes Gewicht oder ein berechneter Wert sein. Es wird eine Bewertungszahl für jeden Linienkandidaten bestimmt.
Die Bewertungszahl basiert auf den Daten entlang der Linie. In Bild-Termini ausgedrückt, basiert die Bewertungszahl auf den Pixeln der Linie. Die Beiträge von den einzelnen Orten werden summiert, um die Bewertungszahl zu liefern. Der Ausgang von der Filterung von Schritt 52 oder die Daten vor der Filterung von Schritt 52 werden für die Bewertung verwendet.
Es kann eine beliebige Bewertung verwendet werden. Bei einer Ausführungsform wird eine Hough-Transformation auf die Ergebnisse der steuerbaren Filterung angewendet. Es können mehrere Filter für einen gegebenen Linienkandidaten verwendet werden. Unter der Annahme, dass ein Pixel mit p bezeichnet wird, wird die Antwort von einem Filter mit Mag(p) und Ori(p) für Betrag bzw. Ausrichtung bezeichnet. Das Votum von dem fiten Filter für eine Kandidatlinie L ist C(p): C_i(p) = Mag_i(p)cos(θ – Ori_i(p)) (1)
Die Bewertungszahl eines Linienkandidaten, C(L), ist die Summe der Bewertungszahlen aller Pixel entlang der Linie L: C_i(L) = ΣC_i(p), wobei p der Menge L angehört (2)
Die Voting-Bewertungszahlen (Voting Scores) können für jedes Filter auf [0, 1] normiert werden. Wenn mehrere Filter verwendet werden, werden die Bewertungszahlen kombiniert. Es kann eine beliebige Kombination verwendet werden, wie etwa Mittelung. Es kann ein gewichtetes Mittel verwendet werden. Zum Beispiel kann ein Typ von Filter als maßgeblicher angesehen werden, daher wird die Bewertungszahl von dieser Filterung vergleichsweise höher gewichtet. Die endgültige, die Zuverlässigkeit des Votings berücksichtigende Bewertungszahl („Konfidenz-Bewertungszahl”) für den Linienkandidaten kann angegeben werden als: C(L) = Σ_iw_iC_i(L) (3) wobei w_i das Gewicht des i-ten Filters ist.
Es werden die Linienkandidaten mit den höchsten Konfidenz-Bewertungszahlen gefunden. Linienkandidaten, die den höchsten Konfidenz-Bewertungszahlen entsprechen, werden identifiziert. Es wird ein Schwellenwert verwendet, so dass eine beliebige Anzahl von Linienkandidaten mit einer ausreichenden Bewertungszahl lokalisiert werden kann. Bei anderen Ausführungsformen ist die Anzahl begrenzt, wie etwa fünf oder weniger Linienkandidaten. Wenn mehr als fünf Linienkandidaten den Schwellenwert überschreiten, werden die größten fünf ausgewählt. Es kann auch eine andere Schwellenwertfestlegung oder Auswahl verwendet werden.
In Schritt 56 werden aus den ausgewählten Linienkandidaten Segmentkandidaten gefunden. Es werden ein oder mehrere Segmente für jeden Linienkandidaten gefunden. Bei einer Ausführungsform wird nur ein Segmentkandidat für jeden Linienkandidaten gefunden. Das Segment ist Teil der Linie. Das Segment hat einen oder mehrere Endpunkte. Ein Segment ist als S = (ρ, θ, Seg) definiert, wobei Seg das Segment auf einer Linie definiert. 3 zeigt das Segment Seg auf der Linie, die durch ρ, θ definiert ist. Der andere Abschnitt der Linie, der nicht Teil des Segments Seg ist, ist der Schwanz. Das Segment entspricht dem Ort der Nadel 24 entlang der Linie.
Nachdem Linienkandidaten identifiziert sind, wird die Linie durchsucht, um das Segment für die Nadelparameter S = (ρ, θ, Seg) zu finden. Es kann ein beliebiges Suchkriterium verwendet werden. Zum Beispiel wird aus den gefilterten Ergebnissen entlang der Linie eine Intensitätsdifferenz berechnet. Eine mögliche Position der Nadelspitze wird an verschiedenen Orten entlang der Linie angeordnet, und die Intensitäten auf jeder Seite der Linie werden addiert. Der Ort mit der größten Differenz zwischen den Summen gibt den Ort der Spitze an, der das Segment von dem Schwanz trennt. Bei einem anderen Ansatz werden die Gradienten entlang der Linie berechnet. Es wird der größte Gradient über einem Fenster mit mehreren Orten ausgewählt.
In Schritt 58 werden die Segmentkandidaten bewertet. Die Identifizierung des Segmentkandidaten aus dem Linienkandidaten kann teilweise oder vollständig auf der Basis der Bewertung erfolgen. Zum Beispiel wird die Bewertungszahl für verschiedene mögliche Segmente entlang der Linie berechnet. Das Segment mit der höchsten Bewertungszahl wird als der Segmentkandidat für den gegebenen Linienkandidaten ausgewählt.
Bei einer Ausführungsform ist für jeden Segmentkandidaten S entlang einer Linie L die Bewertungszahl definiert als: C(S) = (((Σ_{p in der Menge S}C(p))/|S|) – ((Σ_{p' in der Menge S}C(p'))/|S|)sqrt von |S| (4) wobei T der Schwanzteil außerhalb des Segments S entlang der Linie L ist. Für jede Kandidatlinie wird das Kandidatsegment mit der höchsten Bewertungszahl ausgewählt.
Zum Lokalisieren einer einzigen Nadel wird unter sämtlichen Linienkandidaten der Segmentkandidat mit der höchsten Bewertungszahl als das Endergebnis der Nadeldetektion ausgewählt. Für mehrere Nadeln werden beliebige Segmente oberhalb eines Schwellenwertes für die Bewertungszahl oder die am höchsten bewerteten X Segmente, wobei X vom Benutzer als die Anzahl der Nadeln eingegeben wird, ausgewählt.
Die Detektion von Linienstrukturen in einem einzelnen Frame kann von schlechter Qualität sein. Bei einer Ausführungsform kann, um diejenigen Fälle zu handhaben, in denen die Qualität nicht optimal ist, eine Detektion unter Verwendung mehrerer Frames angewendet werden. Die mehreren Frames werden nacheinander in einer zeitlichen Abfolge erfasst. Die mehreren Frames beinhalten die Teilframes, die zu und/oder vor dem aktuellen Zeitpunkt erfasst wurden. Bei einer Ausführungsform werden die mehreren Frames bei derselben Strahlausrichtung erfasst. Bei einer anderen Ausführungsform werden die mehreren Frames bei den unterschiedlichen Strahlausrichtungen erfasst und räumlich ausgerichtet. Das Verfahren verwendet mehr Merkmale, die aus mehreren Frames extrahiert sind, als die Detektion in einzelnen Frames. Es wird die Bewertung verwendet, die auf einer Detektion der Linien und Segmente in einzelnen Frames basiert, es wird jedoch eine zusätzliche Bewertung auf der Basis anderer Merkmale bereitgestellt. Die anderen Merkmale basieren auf einem Vergleich zwischen Frames.
Bei einer Ausführungsform werden die Kandidatsegmente auf der Basis einer Bewegung über die Frames von verschiedenen Zeitpunkten bewertet. Die Nadel 24 bewegt sich wahrscheinlich konsistent im Laufe der Zeit. Für jedes Kandidatsegment wird eine konsistente Bewegung eines Punktes, der das Kandidatsegment von dem Schwanz trennt, entlang des Linienkandidaten identifiziert. Bei einem Frame zum Zeitpunkt t wird ein Bewegungspixel (p, t) durch Schwellenwertfestlegung für eine Frame-Differenz I_t – I_t-1 gewonnen, wobei I ein Ultraschallbild ist. Für eine gegebene Kandidatenlinie L = (ρ, θ) ist ein Ort p = (x, y) in der Linie definiert in einer 1D Linienkoordinate als d, wobei d = xsin(θ) + ycos(θ). Eine konsistente Folge von Bewegungspixeln ist definiert als: (d_i, t_i)^{(ρ, θ)} _{1 ≤ i ≤ m}, wobei t_i < t_{i + 1} und d_i < d + 1 (5)
Eine Folge der Bewegungspixel wird verwendet, um eine Trajektorie einer konsistenten Bewegung darzustellen, welche durch die Nadelbewegung verursacht wird. Die Länge der längsten Folge von Bewegungspixeln wird verwendet, um die konsistente Bewegung quantitativ zu bestimmen. Das Auffinden der längsten Bewegungsfolge auf jeder Linie ist ein Problem des längsten Weges in einem gerichteten Graph.
Bei einer Ausführungsform wird die längste Folge von konsistenter Bewegung gefunden, indem ein Bewegungspixel (x, y, t) zum Zeitpunkt t betrachtet wird. Das Pixel wird für jede Linie, welche durch (x, y, t) verläuft, in die Linienkoordinate (d, t) konvertiert. Zu dieser Linie wird ein neues Bewegungspixel (d, t, s) hinzugefügt, wobei s die Länge der längsten Folge von Bewegungspixeln ist, die mit diesem Pixel endet. Es ist s = 1, falls kein Bewegungspixel vor ihm vorhanden ist. Andernfalls ist s = 1 + max S_i für t_i < t und d_i < d. Nach dem Aktualisieren der Bewegungsaufzeichnungen wird das längste Bewegungssegment, d. h. das größte s, für jedes d auf jeder Linie gefunden.
Es können auch andere Ansätze verwendet werden, um eine Bewegung des Segments durch eine Folge und entlang der Linie zu identifizieren. Zum Beispiel wird eine Geschwindigkeit der Spitze berechnet, und für die Geschwindigkeit wird eine Schwellenwertoperation durchgeführt, um eine Anzahl von Frames von konsistenter Geschwindigkeit zu finden.
Die Bewegung oder Bewegungshistorie wird für jeden Segmentkandidaten bewertet. Es kann eine beliebige Bewertung verwendet werden, wie etwa die Zeitdauer konsistenter Bewegung. Bei einer Ausführungsform ist die Voting-Bewertungszahl aus der Bewegungshistorie als die Differenz zwischen dem längsten Bewegungsweg, der aus dem Segment berechnet wurde, und dem längsten Bewegungsweg bei Einbeziehung des entsprechenden Schwanzes definiert. Eine kleinere Differenz weist auf bessere Segmentkandidaten hin. Die kleinere Differenz kann durch eine Funktion, wie etwa eine Invertierung oder eine Gaußsche Funktion, in eine größere Voting-Bewertungszahl umgewandelt werden, was eine Verwendung mit einer Bewertung anderer Merkmale ermöglicht, bei denen eine höhere Bewertungszahl mit größerer Wahrscheinlichkeit eine Nadel 24 widerspiegelt.
Bei einer weiteren oder alternativen Ausführungsform wird eine Differenz zu Referenzdaten bewertet. Die Kandidatsegmente einer aktuellen Kandidatenlinie und/oder eines Frames werden mit Referenzdaten verglichen. Zum Beispiel wird ein Template, ein erster, Anfangs-, mittlerer oder anderer Datenframe in einer Folge als der Referenzframe gewählt. Der aktuelle Datenframe wird mit dem Referenzframe verglichen. Für den Vergleich kann eine Subtraktion verwendet werden, es können jedoch auch Korrelations- oder andere Maße für Ähnlichkeit oder Unterschied verwendet werden. Der Vergleich kann auf die Kandidatenlinien und/oder Kandidatsegmente begrenzt sein, wie das Berechnen einer Differenz entlang der Kandidatenlinien in dem aktuellen und dem Referenzframe nach Filterung.
Bei einer Ausführungsform wird die Differenz zwischen dem aktuellen Frame und dem Frame zu Beginn der Bilderfassung extrahiert. Der Referenz- oder Anfangsframe wird mit I₀ bezeichnet. Unter der Annahme, dass sich die Sonde nicht sehr bewegt, bedeuten große Differenzen mehr durch die Nadelbewegung verursachte Bewegungen zwischen dem aktuellen Frame und dem Anfangs-Frame. Ein Beispiel der Bewertungszahl ist definiert als: C_i(S) = (Σ|I_t(p) – I₀(p)|)/|S| (6)
Es können auch andere Bewertungszahlen verwendet werden.
Die Merkmale für eine Bewertung werden aus mehreren Bildern extrahiert. Zu diesen Merkmalen gehören die Bewegungshistorie, 2D/3D Filterung (Bewertungszahl aus Schritt 56) und Frame-Differenzen. Es können zusätzliche, andere oder weniger Bewertungszahlen enthalten sein. Die für die Detektion in mehreren Frames verwendeten Merkmale sind nicht auf die oben aufgeführten beschränkt. Es können beliebige Typen von Merkmalen, welche Träger zeitlicher und/oder räumlicher Informationen über Geräte sind, für das Voting verwendet werden.
Es wird die Voting-Bewertungszahl für jedes Merkmal berechnet. Zum Bewerten der Segmentkandidaten werden die verschiedenen Bewertungszahlen für verschiedene Merkmale kombiniert. Zum Beispiel werden die Bewertungszahlen für die Segmentkandidaten, die Bewertungszahl für die Bewegungshistorie und die Bewertungszahl für die Referenz-Differenz kombiniert. Es kann eine beliebige Kombination verwendet werden, wie etwa eine Summe oder ein Mittelwert. Es kann ein gewichtetes Mittel verwendet werden, um eine oder mehrere Bewertungszahlen im Vergleich zu anderen stärker zu gewichten, etwa um die Segment-Bewertungszahl von Schritt 56 stärker zu gewichten als die anderen Merkmals-Bewertungszahlen.
Für jedes Kandidatsegment oder für eine ausgewählte Anzahl von Kandidatsegmenten werden kombinierte Bewertungszahlen bereitgestellt. Falls die höchste Bewertungszahl über einem Schwellenwert liegt, wird das entsprechende Segment als die Nadel 24 ausgegeben. In Fällen, in denen mehrere Nadeln vorhanden sein können, werden alle Segmente mit Bewertungszahlen über einem Schwellenwert ausgegeben. In Fällen, in denen die Anzahl der Nadeln bekannt ist oder mehrere Nadelkandidaten benötigt werden, wird eine entsprechende Anzahl von Segmenten mit den höheren Bewertungszahlen als Detektionsergebnis ausgewählt.
Es wird auf 1 Bezug genommen; es werden Wahrscheinlichkeiten für die Nadelkandidaten jeden der Teil-Datenframes bestimmt. Die Wahrscheinlichkeiten werden für jeden Kandidaten bereitgestellt. Es können sämtliche Kandidaten zur weiteren Identifizierung der tatsächlichen Nadel, wie in den Datenframes dargestellt, verwendet werden. Alternativ dazu können ein oder mehrere der Kandidaten entfernt werden. Zum Beispiel wird ein Schwellenwert auf die Wahrscheinlichkeiten angewendet. Der Schwellenwert kann vorbestimmt sein oder kann auf der Wahl eines Prozentsatzes oder einer gewissen Anzahl von Kandidaten mit den höchsten Wahrscheinlichkeiten basieren.
In Schritt 34 werden die Nadelkandidaten für die verschiedenen Datenframes zugeordnet. Die Zuordnung identifiziert denselben Nadelkandidaten in mehreren Datenframes. Ein Nadelkandidat in einem Datenframe wird mit einem Nadelkandidaten in einem anderen Datenframe gepaart oder diesem zugeordnet. Die Detektion von Kandidat-Nadeln in einzelnen gelenkten Frames kann anfällig für Rauschen sein. Einfache Voting- und Schwellenwertverfahren, wie etwa Hough-Transformation, kann fehlende und falsche Detektionen verursachen. Sogar bei steuerbarer Filterung und lernbasierter Detektion können die Fehler bei einzelnen Frames noch vorhanden sein. Es werden mehrere Ergebnisse der Nadeldetektion bei verschiedenen Frames miteinander verknüpft, um wahre Nadeln zu bestätigen und weitere falsche Detektionen zu entfernen.
Es wird eine Transformation zwischen den Nadelkandidaten in den verschiedenen Frames berechnet. Aus der Transformation wird die wahrscheinlichste oder beste Übereinstimmung bestimmt. Beim i-ten Frame wird der j-te Nadelkandidat als X_i,j dargestellt. Die Transformation zwischen einem Paar von Nadelkandidaten Xi_b,j_b und Xi_a,j_a, welche aus verschiedenen Bildern stammen, wird mit T^{(a, b)} bezeichnet. Die Nadelzuordnung besteht darin, die Entsprechungen von Nadeln zu identifizieren und die Transformation zwischen ihnen mit der maximalen Wahrscheinlichkeit zu schätzen:
Alternativ dazu wird jeder der Nadelkandidaten in einem Frame mit sämtlichen Nadelkandidaten in anderen Frames verknüpft. Für jede mögliche Übereinstimmung wird eine Transformation bestimmt.
Um die Transformation zu berechnen, werden die von dem Klassifikator oder einer anderen Quelle ausgegebenen Wahrscheinlichkeiten verwendet, um eine Wahrscheinlichkeit für die Kombinationen der Nadelkandidaten aus jeweils verschiedenen Frames zu berechnen. Es kann eine Wahrscheinlichkeit für jede mögliche Kombination bestimmt werden, um die Kombinationen mit der größten oder mit einer ausreichenden Wahrscheinlichkeit zu identifizieren.
Um ein Paaren von Kandidatnadeln mit erheblich unterschiedlichen Ausrichtungen und/oder räumlichen Positionen zu vermeiden, kann die Wahrscheinlichkeit für die Kombination durch einen Betrag von Ausrichtungs- und/oder Verschiebungsdifferenz gewichtet werden. Diese Gewichtung bestraft größere Verschiebungen und/oder Drehungen.
Unter der Annahme, dass die Detektion von Nadelkandidaten unabhängig von der Bewegung zwischen verschiedenen Bildern ist, kann Gleichung (7) dargestellt werden als:
Die Wahrscheinlichkeit jedes Nadelkandidaten, P(X), ist die Wahrscheinlichkeit aus der individuellen Nadeldetektion. Die Wahrscheinlichkeit wird von dem auf Maschinenlernen basierten Klassifikator ausgegeben, kann jedoch auch aus einer anderen Quelle stammen, wie etwa Ridge Modeling (Kanten-Modellierung). P(T) ist so definiert, dass eine große Verschiebung zwischen zwei Kandidaten bestraft wird. Bei einer Ausführungsform ist P(T) eine Gaußsche Funktion, die auf einem Nadelkandidaten zentriert ist; es können jedoch auch andere Gewichtsfunktionen verwendet werden. Die Größe oder Verteilung der Gaußschen Funktion ist so gewählt, dass sie eine „Bestrafung” auf der Basis von Verschiebung und/oder Ausrichtung gewährleistet. Es können mehrere Bestrafungs-Terme verwendet werden, etwa einer für Verschiebung und einer für Ausrichtung.
Da die Teilframes zu verschiedenen Zeitpunkten erfasst werden können, sind die Frames möglicherweise infolge einer Bewegung des Patienten und/oder des Wandlers nicht ausgerichtet. Unter Anwendung von Korrelation oder einer sensorbasierter Messung kann der räumliche Versatz zwischen den Frames bestimmt werden. Dieser räumliche Versatz kann in den Bestrafungs-Term integriert werden, etwa durch Änderung des Maßes der Verschiebung und/oder Ausrichtung zwischen Kandidatnadeln in verschiedenen Bildern.
Die Kandidatnadel-Zuordnung kann auf mehrere Nadelkandidaten in mehr als zwei Bildern erweitert werden, wie etwa für Kombinationen von drei Kandidatnadeln mit drei Teilrahmen. In einem solchen Fall können probabilistische Datenassoziation (PDA) oder graphenbasierte Optimierungsverfahren angewendet werden, um das komplexere Zuordnungsproblem zu lösen.
In Schritt 36 wird einer oder werden mehrere der Nadelkandidaten entfernt. In Fällen, in denen ein Greedy-Verfahren, ein graphenbasiertes Optimierungsverfahren oder PDA angewendet wird, sind möglicherweise einer oder mehrere der Nadelkandidaten nicht zugeordnet. Diese Nadelkandidaten werden als Rauschen entfernt. Andere Nadelkandidaten können entfernt werden, indem ein Schwellenwert auf die Wahrscheinlichkeit für den einzelnen Nadelkandidaten angewendet wird. Bei alternativen Ausführungsformen werden keine von den Nadelkandidaten als einzelne Kandidaten entfernt, wie etwa in Situationen mit niedrigem Rauschen, in denen die einzelne Detektion genauer sein kann.
Die für die Zuordnung berechnete Transformation oder Wahrscheinlichkeit wird verwendet, um einen oder mehrere Nadelkandidaten zu entfernen. Nadelkandidaten können durch eine Schwellenwertoperation für die Wahrscheinlichkeit aus der Zuordnung entfernt werden. Es wird ein Schwellenwert auf jede der verschiedenen Kombinationen von Nadelkandidaten angewendet. Nadelkandidaten, die nur mit Kombinationen unterhalb des Schwellenwertes verknüpft sind, werden entfernt.
Das Zuordnen und das Entfernen von Kandidaten kann iteriert werden. Zu Beginn werden mehrere Nadelkandidaten bei N verschiedenen Ultraschall-Datenframes einander zugeordnet. Die Menge der einander zugeordneten Nadelkandidaten wird als Pool =
geschrieben. Auf der Basis der Kandidatenzuordnung werden Ausreißer identifiziert und aus dem Nadel-Pool entfernt. Die Ausreißer werden aufgrund einer fehlenden Zuordnung oder einer Verwendung nur in Kombinationen unterhalb eines Schwellenwertes entfernt. Zum Beispiel ist eine Nadel
ein Ausreißer, wenn ihre Zuordnungswahrscheinlichkeiten kleiner als ein Schwellenwert
sind:
wobei b = a ist und θ ein vordefinierter Schwellenwert ist. Für alle Zuordnungen oder eine Teilmenge derselben wird eine Schwellenwertoperation angewendet.
Nach dem Durchführen der Schwellenwertoperation und Entfernen einer oder mehrerer Nadelkandidaten werden neue Kandidatenzuordnungen bestimmt. Die Menge zugeordneter Nadeln und ihre Transformationen werden dann unter Verwendung der aktualisierten Kandidatenmenge verfeinert. Die verbleibenden Nadelkandidaten werden zwischen den verschiedenen Frames gepaart, und es werden entsprechende Wahrscheinlichkeiten berechnet. Die Wahrscheinlichkeiten können aufgrund einer geringeren Zahl von Nadelkandidaten andere sein. Die Zuordnung kann in einem kleineren Bereich durchsucht werden. Der kleinere Bereich kann implementiert werden, indem die Bandbreite oder Verteilung des Bestrafungs-Terms verkleinert wird oder indem Kandidatnadeln auf einen Bereich begrenzt werden, bei dem eine Mehrheit oder ein Median dieser Kandidaten in dem Pool verbleibt.
Die Iteration setzt sich fort, bis sich die Menge der zugeordneten Nadeln stabilisiert hat. In jeder Iteration werden das Zuordnen von Schritt 34 und das Entfernen von Schritt 36 durchgeführt. Der Bereich oder der Bestrafungs-Term ist für jede Iteration derselbe oder verschieden. Zum Beispiel wird der Bereich auf ein bestimmtes Niveau verkleinert und bleibt dann derselbe. Nachdem bei einer Iteration kein Entfernen mehr erfolgt, hat sich der Prozess stabilisiert.
Die obigen Verfahren werden auf eine Gruppe von Ultraschall-Teilframes angewendet, um jede existierende Nadel zu detektieren. Die verbleibenden zugeordneten Kandidaten werden als tatsächliche Nadeln betrachtet. Falls ein Kandidat in mehr als einer Gruppe von Zuordnungen enthalten ist, wird die Gruppe mit der größeren Wahrscheinlichkeit gewählt, und die andere Zuordnung wird nicht verwendet. Alternativ dazu wird angenommen, dass der Kandidat einander überlappende oder benachbarte Nadeln darstellt, und es werden beide Gruppen beibehalten. Eine gegebene Gruppe stellt dieselbe Nadel in jedem der Teilframes dar.
In Schritt 38 wird die Visualisierung der detektierten Nadeln verbessert. Bei einer Ausführungsform verbessert ein Compounding (Zusammensetzen) mehrerer Teilframes die Visualisierung der Nadeln. Da in jedem Teilframe dieselbe Nadel dargestellt ist, werden die Auswirkungen eines Rauschens durch Steered Spatial Compounding vergleichsweise reduziert. Das Compounding erhöht die Sichtbarkeit der Nadel oder Nadeln, da die Nadelantwort sich konstruktiv aufsummiert, während sich das eher zufällige Rauschen möglicherweise nicht bis zu derselben Intensität und/oder demselben räumlichen Umfang aufsummiert. Der compoundierte Frame kann mehr Information aufweisen, welche in einer einzelnen Ansicht oder einem Teilframe verborgen wären.
Bei Steered Spatial Compounding erfolgt eine Kombination der eingegebenen oder ursprünglich erfassten Teilframes. Die Teilframes können vor der Kombination tiefpassgefiltert oder auf andere Weise verarbeitet werden. Bei anderen Ausführungsformen erfolgt eine Kombination der Frames, die durch die steuerbare Filterung ausgegeben werden.
Die Teilframes enthalten Daten, die spezielle Orte repräsentieren. Die Ausrichtung der Frames zueinander kann als genau angenommen werden, oder es kann vor der Kombination eine weitere Ausrichtung vorgenommen werden. Es kann Datenkorrelation oder es können Wandlerpositionssensoren verwendet werden, um die Translations- und/oder Orientierungsänderung zwischen den Teilframes zu bestimmen.
Wenn die Datenframes dieselben Orte oder dasselbe Gitter repräsentieren, werden die Werte aus jedem Frame, die einen gegebenen Ort repräsentieren, kombiniert. Bei einer Ausführungsform werden detektierte und scan-konvertierte Datenframes zusammen compoundiert. Da scan-konvertierte Informationen verwendet werden, liegen die Daten jedes der Teilframes in ein und demselben Format und Gittermuster vor oder entsprechen derselben Abtastung räumlicher Orte. Wenn die Datenframes eine Abtastung entlang verschiedener Gitter repräsentieren, wird ein nächster Nachbar oder eine Interpolation verwendet, um die zum Kombinieren verwendeten Werte zu wählen oder zu berechnen. Falls die Daten vor der Scan-Konvertierung compoundiert werden, werden Interpolation, Extrapolation oder andere Prozesse angewendet, um etwaige Daten zu compoundieren, welche benachbarte oder ähnliche, aber nicht identische räumliche Orte repräsentieren.
Die Kombination wird für jeden Ort entlang von Nadeln durchgeführt. Die Datenframes repräsentieren dieselben Orte in wenigstens dem Überlappungsbereich. Die einzelnen Teilframes werden für räumliche Orte, die den Anzeige- oder Überlappungsbereich repräsentieren, zusammen compoundiert. Unterschiedliche Orte können unterschiedlichen Anzahlen von Frames und entsprechenden Werten zugeordnet sein. Zum Beispiel wird ein Bild erzeugt, das mehr als den Überlappungsbereich darstellt. Infolge der Lenkung repräsentieren weniger Teilframes aus der Gesamtheit der Teilframes Orte außerhalb des Überlappungsbereichs. Es kann eine beliebige Anzahl von Teilframes verwendet werden, um den Wert für einen gegebenen Ort zu bestimmen, wie etwa sämtliche Frames für den Überlappungsbereich und weniger als alle für andere Orte.
Die Kombination wird gewichtet. Bei einer Ausführungsform werden gleiche Gewichte verwendet. Die Kombination ist ein Mittelwert der Daten für die einzelnen Orte. Bei anderen Ausführungsformen wird die Gewichtung verwendet, um eine weitere Verbesserung der Visualisierung der Nadel oder der Nadeln zu gewährleisten. Ein Teilframe kann stärker betont werden als ein anderer. Die Gewichtung kann je nach Ort variieren, so dass für einen Ort ein Teilframe stärker als ein anderer gewichtet wird, für einen anderen Ort dagegen der andere Teilframe stärker als der eine. Alternativ dazu wird für den Überlappungsbereich der Teilframes dasselbe Gewicht angewendet.
Die Gewichte werden auf der Basis von Nadelkandidaten gewählt, die nach dem Entfernen in Schritt 36 verbleiben. Zum Beispiel wird die Wahrscheinlichkeit für die Zuordnung oder Gruppe von Kandidaten, die als ein und dieselbe Nadel in verschiedenen Teilframes identifiziert wurden, verwendet, um das Gewicht zu wählen. Als ein weiteres Beispiel wird das Gewicht auf der Basis des relativen Gewichts der Wahrscheinlichkeit für den betreffenden Nadelkandidaten in dem Teilframe zugewiesen. Wenn die Nadel in einem Teilframe eine höhere Wahrscheinlichkeit hat, wird dieser Teilframe stärker gewichtet als andere Teilframes. Für die Wahl der Gewichte kann eine lineare oder nichtlineare Abbildung der Wahrscheinlichkeit oder ein anderes Kriterium verwendet werden.
Bei einer Ausführungsform werden die verbleibenden Nadeln in einen ausgewählten Ultraschall-Frame I_c transformiert, bei dem es sich um einen compoundierten Frame oder einen Teilframe handeln kann. Die Nadeln werden auf der Basis ihrer Gewichte transformiert: Ic(x) = Σ_iP_bI_b(x'_b) (9) wobei x_b die transformierte Nadel ist (d. h.
wobei das a-te Bild verwendet wird, um hinsichtlich der Visualisierung verbesserte Nadeln anzuzeigen. P_b ist die Wahrscheinlichkeit der detektierten Nadel Xi_b,j_b, welche ausgehend von dem Compounding normiert wird:
Die Wahrscheinlichkeit bezieht sich auf eine zugeordnete Nadel in zwei Frames, kann sich jedoch auf eine beliebige Anzahl von Frames beziehen. Die Normierung beinhaltet Nadeldetektion und geometrische Zuordnungen bei verschiedenen Ausrichtungen des Ultraschallstrahls, wodurch Robustheit erreicht wird. Alternativ dazu oder zusätzlich kann eine andere Form der Verbesserung verwendet werden. Bei einer Ausführungsform werden die Intensitäten oder skalaren Werte der Daten entlang des ausgewählten Segments oder der ausgewählten Segmente erhöht. Es kann eine beliebige Erhöhung verwendet werden, etwa durch Erhöhen um eine Konstante. Zum Beispiel gilt für das Bild I(p) = I(p) + α, wobei α eine Konstante ist. Die resultierenden Werte entlang der Linie können tiefpassgefiltert werden, um Schwankungen mit höherer Frequenz zu entfernen.
Bei einer Ausführungsform erfolgt die Erhöhung um einen Wert, welcher eine adaptive Funktion eines Betrags und/oder einer Ausrichtung einer Antwort auf die steuerbare Filterung ist. Zum Beispiel werden die Intensitäten entlang des Segments sowohl um die Konstante als auch um die Filterergebnisse erhöht: I(p) = I(p) + α + β_iMag_i(p)cos(θ – Ori_i(p)) (11) wobei β₁ eine Konstante oder ein Gewicht ist. Die Filterergebnisse beziehen sich auf alle oder eine Teilmenge der Filter, die bei der Nadeldetektion verwendet werden, wie etwa die Filterergebnisse für eine Bandbreite und/oder für eine Richtung, die mit dem ausgewählten Segment am engsten verknüpft ist.
Es können andere oder alternative Arten der Verbesserung verwendet werden. Zum Beispiel wird dem Ort des Segments eine Grafik überlagert. Als weiteres Beispiel werden die der Nadel zugeordneten Orte anders gefärbt.
In Schritt 40 wird ein Bild angezeigt. Bei lokalisierten Nadeln aus Ultraschallbildern wird die Darstellung der Nadel verbessert und für eine Bildführung visualisiert. Die verbesserte Darstellung der Nadel wird in einem Ultraschallbild nach Wahl angezeigt. Das Bild zeigt den gescannten Bereich. In dem Bild werden sowohl das Patientengewebe als auch die Nadel oder die Nadeln dargestellt. Zum Beispiel wird der gewichtete compoundierte Frame verwendet, um ein Bild auf der Basis von Steered Spatial Compounding zu erzeugen. Als ein weiteres Beispiel wird ein Teilframe verwendet, um ein Bild ohne Compounding zu erzeugen. Das Bild kann ein Ultraschallbild sein, das für einen gegebenen Typ des Scannens oder der Anwendung optimiert ist. In dem Bild werden die Nadel und Patientengewebe dargestellt. Das Bild zeigt die Nadel oder die Nadeln infolge der Verbesserung mit besserer Sichtbarkeit, als es ohne Detektion der Nadel der Fall gewesen wäre.
Für Steered Spatial Compounding wird der compoundierte Frame von Werten, welche die Orte in dem Patienten darstellen, verwendet, um Pixel- oder Bildwerte zu bestimmen. Das Bild zeigt den Überlappungsbereich, kann jedoch auch andere Orte enthalten. Das Bild ist ein räumliches zusammengesetztes Bild, das durch Kombinieren von Ansichten erzeugt wird. Der Compound-Frame wird auf der Basis das Compoundings von Schritt 38 ausgegeben. Es kann eine weitere Verarbeitung erfolgen, wie etwa eine räumliche und/oder zeitliche Filterung des compoundierten Datenframes.
Um die Sichtbarkeit der Nadel oder der Nadeln weiter zu verbessern, kann der Ultraschallwandler oder die Ultraschallsonde zu einem anderen Ort bewegt werden, und das Verfahren von 1 wird wiederholt. Bei anderen Ausführungsformen wird die Sonde bewegt, um die Teilframes zu erfassen, oder es werden verschiedene Gruppen von Teilframes an verschiedenen Sondenpositionen erfasst. An der Ultraschallsonde sind Lokalisierungssensoren (z B. magnetische Positionssensoren) befestigt, und/oder es wird eine datenbasierte Registrierung verwendet, um die relative räumliche Position der Teilframes aus unterschiedlichen Sondenpositionen zu bestimmen. Die Nadelkandidaten an verschiedenen Sondenpositionen werden dann zur Zuordnung und zum Compounding zueinander räumlich ausgerichtet.
Als eine Alternative oder zusätzlich zu einer Bildverbesserung kann das Ultraschallsystem in Schritt 42 auf der Basis der detektierten Nadel gesteuert werden. Die Richtung der Strahllenkung und/oder andere Parameter für das Scannen werden als eine Funktion eines oder mehrerer der Kandidatsegmente eingestellt. Zum Beispiel wird ein Segmentkandidat als die Nadel ausgewählt. Die Strahllenkung, die für eine gegebene aktuelle Sondenposition und einen gegebenen interessierenden Bereich einer zu den Nadeln senkrechten Richtung am nächsten kommt, wird für das Scannen verwendet.
Eigenschaften des Ultraschallbilds können die Ergebnisse der Gerätedetektion beeinflussen. Die Eigenschaften des Ultraschallbilds sind durch die Parameter der Ultraschallmaschine definiert. Die Parameter können automatisch eingestellt werden, um beim Detektieren der Nadel zu helfen. Die Parameter der Ultraschallmaschine können automatisch an den Beginn der Nadeldetektion angepasst werden, wie etwa nach dem Auswählen von Linienkandidaten in Schritt 54 oder nach einer ersten Iteration des Verfahrens von 4. Die Anpassung wird periodisch, in Reaktion auf ein auslösendes Ereignis, in Reaktion auf eine Aktivierung durch den Benutzer oder kontinuierlich während des Scannens durchgeführt.
Ein Parameter ist der Strahllenkungswinkel. Wenn die Nadeldetektion gestartet wird, wird der Strahllenkungswinkel zuerst bei allen möglichen Winkeln gesucht. Der mögliche Winkelbereich hängt von den physikalischen Parametern einer Ultraschallmaschine ab und kann für verschiedene Maschinen und/oder Wandler variieren. Die Nadeldetektion wird bei den Frames ausgeführt, die unter mehreren Winkeln erfasst wurden. Die Konfidenz-Bewertungszahlen aus Frame-basierter Nadeldetektion werden verglichen, und der Lenkwinkel, welcher die beste Konfidenz-Bewertungszahl aus der Detektion erzeugt, wird als der optimierte Lenkwinkel ausgewählt. Der Parameter wird bei der nachfolgenden Datenerfassung verwendet, etwa um eine Sequenz von Frames zu erfassen.
Die Parameteroptimierung kann sich laufend fortsetzen, oder sie kann nur bei abgetasteten Frames ausgeführt werden, um die zum Lenken der Strahlen benötigte Zeit zu verkürzen. In jedem Falle werden die Bewertungszahlen aus Detektion oder Verfolgung verwendet, um die Parameter zu optimieren.
Zu den weiteren verstellbaren Parametern des Ultraschallsystems 16 gehören unter anderem der Ultraschallfokus und die Ultraschallfrequenz. Es können unterschiedliche Einstellungen getestet werden, um die Auswirkungen auf die Bewertungszahlen und die resultierende Sichtbarkeit der Nadel zu bestimmen. Die Optimierung sämtlicher Parameter wird gemeinsam oder nach einem Greedy-Verfahren durchgeführt. Bei der gemeinsamen Optimierung werden Parameter auf einer Menge von Frames erfasst, die auf der gemeinsamen Menge aller verstellbaren Parameter erfasst wurden. Bei der Greedy-Optimierung wird zuerst ein Parameter optimiert und fixiert. Die anderen Parameter werden anschließend nacheinander optimiert. Die Parameteroptimierung kann kontinuierlich durchgeführt werden, oder bei abgetasteten Frames während der Bilderfassung.
Es können mehrere Parametereinstellungen während der Bilderfassung vorhanden sein. Ein Satz von Parametern wird automatisch für die Nadeldetektion optimiert, wie oben beschrieben. Ein anderer Satz von Parametern wird aus klinischem Interesse oder speziell für die Anwendung optimiert. Die Optimierung von Parametern, die von klinischem Interesse sind, kann manuell durch Benutzer, vorbestimmt oder adaptiv erfolgen. Während der Bilderfassung werden Frames, welche die verschiedenen Parameter verwenden, zu jedem Zeitpunkt gleichzeitig erfasst oder miteinander verschachtelt. Die gleichzeitige Bilderfassung kann durch automatisches Umschalten zwischen mehreren Sätzen von Ultraschallparametern eines Wandlers oder durch physisches Bereitstellen mehrerer Wandler auf einer Sonde implementiert sein.
2 zeigt ein System zum Verbessern der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild. Das System 10 weist einen Speicher 12, ein Ultraschallsystem 16, einen Wandler 18, einen Prozessor 26 und ein Display 28 auf. Der Wandler 18 wird verwendet, um eine Nadel 24 zu scannen, und der Prozessor 26 detektiert die Nadel 24 aus den Scandaten. Es können zusätzliche, andere oder weniger Komponenten vorgesehen sein. Zum Beispiel ist ein Netzwerk oder eine Netzwerkverbindung vorgesehen, etwa zur Vernetzung mit einem medizinischen Bildgebungsnetzwerk oder Datenarchivierungssystem. Als ein weiteres Beispiel ist eine Benutzerschnittstelle vorgesehen.
Der Prozessor 26, der Speicher 12 und das Display 28 sind Teil eines medizinischen Bildgebungssystems, wie etwa des diagnostischen oder Therapie-Ultraschallsystems 16 oder eines anderen Systems. Alternativ dazu sind der Prozessor 26, der Speicher 12 und/oder das Display 28 Teil eines Archivierungs- und/oder Bildverarbeitungssystems, etwa in Verbindung mit einer Datenbank, einer Workstation oder einem Server für medizinische Aufzeichnungen. Bei anderen Ausführungsformen sind der Prozessor 26, der Speicher 12 und/oder das Display 28 ein Personalcomputer, wie etwa ein Desktop-Computer oder Notebook, eine Workstation, ein Server, ein Netzwerk oder Kombinationen davon. Der Prozessor 26, das Display 28 und der Speicher 12 können ohne andere Komponenten zur Implementierung des Verfahrens vorgesehen sein.
Das Ultraschallsystem 16 ist ein beliebiges derzeit bekanntes oder in Zukunft entwickeltes Ultraschallbildgebungssystem. Zum Beispiel enthält das Ultraschallsystem 16 den Wandler 18 zum Umwandeln zwischen akustischer und elektrischer Energie. Sende- und Empfangs-Strahlformer bewirken eine relative Verzögerung und Apodisierung von Signalen für verschiedene Elemente des Wandlers 18. An den strahlgeformten Signalen wird eine B-Modus-, Doppler- oder andere Detektion durchgeführt. Es können ein Scan-Converter, ein Speicher, ein Prozessor für dreidimensionale Bildgebung und/oder andere Komponenten vorgesehen sein.
Der Wandler 18 ist eine ein-, zwei- oder mehrdimensionale Anordnung von piezoelektrischen oder kapazitiven Membranelementen. Zum Beispiel ist der Wandler 18 eine eindimensionale Anordnung von Elementen innerhalb einer handgehaltenen Sonde. Bei einer anderen Ausführungsform ist der Wandler 18 Teil einer Sonde zur Verwendung innerhalb des Patienten, wie etwa einer transösophagealen Sonde oder Herzkathetersonde.
Der Speicher 12 ist ein Grafikverarbeitungsspeicher, ein Video-Direktzugriffsspeicher, ein Direktzugriffsspeicher, ein Systemspeicher, ein Cache-Speicher, eine Festplatte, ein optisches Medium, ein magnetisches Medium, ein Flash-Laufwerk, ein Puffer, eine Datenbank, Kombinationen davon oder eine andere derzeit bekannte oder in Zukunft entwickelte Speichervorrichtung zum Speichern von Daten oder Videoinformationen. Der Speicher 12 ist Teil eines Bildgebungssystems, Teil eines Computers, der dem Prozessor 26 zugeordnet ist, Teil einer Datenbank, Teil eines anderen Systems, ein Bildarchivierungsspeicher oder ein selbstständiges Gerät.
Der Speicher 12 speichert Daten, die einen Bereich eines Patienten zu verschiedenen Zeitpunkten und/oder aus verschiedenen Lenkrichtungen repräsentieren. Es kann ein einzelner Datenframe oder es können mehrere Datenframes gespeichert werden. Die Daten enthalten Informationen, welche die Nadel 24 repräsentieren, während sie sich in dem Bereich befindet. Die Nadel 24 lässt sich unter anderen Strukturen in dem Bereich möglicherweise schwer erkennen. Der Bereich ist ein zwei- oder dreidimensionaler Bereich. Der Bereich ist ein Bereich eines beliebigen Teils des Patienten, wie etwa ein Bereich innerhalb des Brustkorbs, Unterleibs, Beins, Kopfes, Arms oder Kombinationen davon.
Die Daten stammen vom Scannen des Bereichs mit Ultraschall. Die Daten repräsentieren den Patienten vor, während oder nach einer Behandlung. Zum Beispiel werden Frames von Ultraschalldaten während einer Biopsie erfasst. Vor und während die Nadel in den Patienten eingeführt und in ihm bewegt wird, wird eine Sequenz von Frames von Ultraschalldaten erfasst. Die Frames können für Steered Spatial Compounding gelenkt sein, oder für eine Sequenz, welche denselben Bereich mit derselben Strahllenkung scannt.
Der Speicher 12 kann verarbeitete Daten speichern. Zum Beispiel werden die Ergebnisse von steuerbarer Filterung gespeichert. Als ein weiteres Beispiel werden die detektierten Kandidatenorte und/oder entsprechenden Wahrscheinlichkeiten gespeichert. Es können Zuordnungen gespeichert werden. Es können Schwellenwerte, Gewichte oder andere Informationen, die verwendet werden, um die Sichtbarkeit der Nadel in einem angezeigten Bild zu verbessern, gespeichert werden.
Der Speicher 12 oder ein anderer Speicher ist alternativ oder zusätzlich ein computerlesbares Speichermedium, das Daten speichert, welche Anweisungen repräsentieren, die durch den programmierten Prozessor 26 zur Verbesserung der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild ausführbar sind. Die Anweisungen zur Implementierung der hier erläuterten Prozesse, Verfahren und/oder Techniken werden auf nicht-transitorischen computerlesbaren Speichermedien oder Speichern bereitgestellt, wie etwa einem Cache-Speicher, Puffer, RAM, auf Wechseldatenträgern, einer Festplatte oder anderen computerlesbaren Speichermedien. Zu den nicht-transitorischen computerlesbaren Speichermedien gehören verschiedene Typen von flüchtigen und nichtflüchtigen Speichermedien. Die Funktionen, Schritte oder Aufgaben, die in den Figuren dargestellt oder hierin beschrieben sind, werden in Reaktion auf einen oder mehrere Sätze von Anweisungen ausgeführt, die in oder auf computerlesbaren Speichermedien gespeichert sind. Die Funktionen, Schritte oder Aufgaben sind unabhängig von dem speziellen Typ von Anweisungssatz, Speichermedium, Prozessor oder Verarbeitungsstrategie und können durch Software, Hardware, integrierte Schaltungen, Firmware, Mikrocode und Ähnliches ausgeführt werden, die allein oder in einer Kombination arbeiten. In ähnlicher Weise können Verarbeitungsstrategien Multiprocessing, Multitasking, Parallelverarbeitung und Ähnliches beinhalten.
Bei einer Ausführungsform sind die Anweisungen auf einem Wechselmedienlaufwerk gespeichert, zum Lesen durch lokale oder entfernte Systeme. Bei anderen Ausführungsformen sind die Anweisungen zur Übertragung über ein Computernetzwerk oder über Telefonleitungen an einem entfernten Ort gespeichert. Bei noch anderen Ausführungsformen sind die Anweisungen innerhalb eines gegebenen Computers, einer CPU, einer GPU oder eines Systems gespeichert.
Das Display 28 ist ein Monitor, ein Flüssigkristalldisplay (LCD), ein Projektor, ein Plasmabildschirm, eine Kathodenstrahlröhre (CRT), ein Drucker oder eine andere derzeit bekannte oder in Zukunft entwickelte Vorrichtung zum Ausgeben visueller Informationen. Das Display 28 empfängt Bilder, Grafiken oder andere Informationen von dem Prozessor 26, dem Speicher 12 oder dem Ultraschallsystem 16.
Es werden ein oder mehrere Bilder angezeigt, welche eine Nadelposition relativ zu einem Patientenbereich darstellen. Das Bild kann das eines Ortes sein, etwa indem Koordinaten für die Nadel angezeigt werden. Das Bild kann das eines medizinischen Scans sein, der den Bereich des Patienten darstellt. Der Ort des medizinischen Geräts wird hervorgehoben, durch eine Grafik markiert oder auf andere Weise auf dem Bild angegeben. Wenn eine Folge von Bildern angezeigt wird, wird der Ort jedes medizinischen Geräts in jedem der Bilder angegeben.
Die Bilder können zweidimensionale Bilder sein. In dem Bild wird ein ebener Bereich oder Flächenbereich dargestellt. Bei anderen Ausführungsformen wird ein Volumen dargestellt. Mehrere planare Scans, die verschiedene Ebenen darstellen, werden gestapelt oder verwendet, um ein Volumen zu bilden. Die Nadeldetektion kann in drei Dimensionen durchgeführt werden, etwa unter Verwendung von 3D Filterung oder Merkmalsextraktion. Das Bild ist ein Rendering aus dem Volumen.
Der Prozessor 26 ist ein allgemeiner Prozessor, ein Hauptprozessor, ein Steuerungsprozessor, ein Grafikprozessor, ein digitaler Signalprozessor, ein Prozessor für dreidimensionales Rendern, einen Bildprozessor, eine anwendungsspezifische integrierte Schaltung, eine feldprogrammierbare Gatteranordnung, eine digitale Schaltung, eine analoge Schaltung, Kombinationen davon oder eine andere derzeit bekannte oder in Zukunft entwickelt Vorrichtung zum Erzeugen eines verbesserten Ultraschallbildes einer Nadel. Bei dem Prozessor 26 handelt es sich um eine einzige Vorrichtung oder mehrere Vorrichtungen, die in Reihe, parallel oder getrennt arbeiten. Der Prozessor 26 kann ein Hauptprozessor eines Computers sein, wie etwa eines Laptops oder Desktop-Computers, oder er kann ein Prozessor zur Abwicklung von Aufgaben in einem größeren System sein, wie etwa in einem Bildgebungssystem. Der Prozessor 26 ist durch Anweisungen, Auslegung, Hardware und/oder Software dafür ausgelegt, in der Lage zu sein, die hier erläuterten Schritte auszuführen, wie etwa die iterative Lösung einer Wahrscheinlichkeitsfunktion, um einen Ort aus einer Gruppe von Nadelkandidaten auszuwählen.
Der Prozessor 26 ist dafür ausgelegt, die Nadel 24 oder die Nadeln 24 aus einem oder mehreren Ultraschall-Frames oder einer anderen Gruppierung von Daten zu detektieren. Zum Beispiel ist der Prozessor 26 dafür ausgelegt, das Verfahren von 1 zu implementieren. Das Ultraschallsystem 16 erfasst die Daten in Schritt 30, der Prozessor 26 führt danach die Schritte 32–38 aus, und das Display 28 zeigt dann in Schritt 40 das Bild an. Bei einer anderen Ausführungsform implementiert der Prozessor 26 das Verfahren von 4 zur Nadeldetektion. Das Ultraschallsystem 16 erfasst die Daten in Schritt 50, der Prozessor 26 führt danach die Schritte 52–60 aus, und das Display 28 zeigt dann in Schritt 62 das Bild an.
Um beim Identifizieren von Kandidaten in anderen Frames einer Sequenz zu helfen, können die Segmente aus einem Frame in anderen Frames verfolgt werden. Nachdem ein Nadelsegment initialisiert worden ist, wird ein Verfolgungsmodul benutzt, um die Nadel in nachfolgenden Frames kontinuierlich zu lokalisieren. Die Verfolgungsprozedur wird als ein iteratives Suchproblem formuliert: Bei gegebenem Nadelsegment im vorhergehenden Frame ist die beste Übereinstimmung unter den erzeugten Hypothesen im aktuellen Frame zu finden. Bei einer Ausführungsform beschleunigt eine zweistufige Rahmenstruktur der Hypothesenerzeugung die Laufzeit, unter Beibehaltung der Leistungsfähigkeit. In der ersten Stufe wird die beste Linie unter sämtlichen Linienkandidaten gefunden: L*_t = arg max über i s(L_i)·Φ(L_t-1, L_i) (12) wobei s(L_i) die Likelihood (Wahrscheinlichkeit) (z B. Bewertungszahl) dafür ist, dass eine Nadel entlang L_i angeordnet ist, und Φ(L_t-1, L_i) der Regularisierungsterm oder die räumliche Gewichtung ist, um eine große Winkeländerung zu vermeiden. Der Linienkandidat mit einer ähnlichen Position und Bewertung wird in dem anderen Frame als derselbe Kandidat identifiziert.
In der zweiten Stufe wird das beste Segment (z B. Nadelspitze) unter den Segmentkandidaten gefunden: S*_t = arg max über i s(S_i)·Φ(S_t-1, S_i) (13) wobei s(S_i) die Wahrscheinlichkeit (Likelihood) (z B. Segment-Bewertungszahl) dafür ist, dass eine Nadelspitze sich auf S_i befindet, und Φ(S_t-1, S_i) ein Regularisierungsterm ist, um eine große Verschiebung der Nadelspitze entlang der Linie zu vermeiden.
Die Likelihood-Funktion wird mittels einer Menge von Beobachtungen aus der Frame-Sequenz berechnet. Zum Beispiel enthält die Likelihood: das Differenzbild zwischen dem ersten Frame und dem aktuellen Frame; das Differenzbild zwischen dem vorhergehenden Frame und dem aktuellen Frame; die Antworten der steuerbaren Filterung; Template Matching; und/oder optische Flüsse. Template Matching (Mustervergleich) vergleicht die aktuellen Segment- oder Linieninformationen mit einem Template (Muster) von erwarteten Segment- oder Linieninformationen. Optischer Fluss ist ein Maß der Bewegung zwischen dem Beobachter und der Szene (Frame). Es können zusätzliche, andere oder weniger Bewertungszahlen für Likelihood (Wahrscheinlichkeit) verwendet werden.
Anstelle des Detektierens oder zusätzlich zum Detektieren in Teilframes (z B. bei einer einzigen Richtung des Lenkstrahls) kann die Detektion auf den compoundierten Frame angewendet werden. Die Verfahren können auf 3D und 3D + t Ultraschall-Frames angewendet werden. In 3D wird der Detektionsalgorithmus bei einem Einzelframe angewendet, mit der Verwendung von 3D Filterung (z B. 3D steuerbare Filterung und 3D Hessesche Filterung). In 3D + t Bildern kann der Detektionsalgorithmus bei mehreren Volumina, welche nacheinander im zeitlichen Bereich erfasst werden, mit Verwendung der Differenz zu einer Referenz und der Bewegungshistorie zwischen Volumina angewendet werden. Wenn eine Linienstruktur in 3D detektiert wird, sind Ort und Ausrichtung der Pixel ebenfalls 3D.
Obwohl die Erfindung oben unter Bezugnahme auf verschiedene Ausführungsformen beschrieben wurde, versteht es sich, dass viele Änderungen und Modifikationen vorgenommen werden können, ohne den Rahmen der Erfindung zu verlassen. Es ist daher beabsichtigt, dass die vorangegangene detaillierte Beschreibung als der Veranschaulichung dienend und nicht als einschränkend angesehen wird, und es wird klargestellt, dass der Grundgedanke und der Schutzbereich dieser Erfindung durch die folgenden Ansprüche, einschließlich aller Äquivalente, definiert sind.

Claims

Verfahren zur Verbesserung der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild, wobei das Verfahren umfasst: Erfassen eines ersten und eines zweiten Ultraschall-Datenframes mit einer ersten bzw. zweiten Strahlausrichtung, die verschieden sind, wobei der erste und zweite Ultraschall-Datenframe einen Patienten und eine Nadel innerhalb des Patienten repräsentieren; Detektieren von Nadelkandidaten in dem ersten Ultraschall-Datenframe; Detektieren von Nadelkandidaten in dem zweiten Ultraschall-Datenframe; Zuordnen der Nadelkandidaten in dem ersten Ultraschall-Datenframe zu den Nadelkandidaten in dem zweiten Ultraschall-Datenframe; Anzeigen eines Bildes des Patienten, wobei das Bild eine verbesserte Visualisierung der Nadel auf der Basis des Zuordnens aufweist; und Anpassen eines Parameters der Ultraschallbildgebung auf der Basis der Nadel.
Verfahren nach Anspruch 1, wobei das Erfassen ein Erfassen für Steered Spatial Compounding umfasst und wobei das Anzeigen ein Anzeigen eines durch Steered Spatial Compounding erzeugten Bildes umfasst.
Verfahren nach Anspruch 1, wobei das Detektieren der Nadelkandidaten in dem ersten und dem zweiten Ultraschall-Datenframe ein steuerbares Filtern des ersten und zweiten Ultraschall-Datenframes, ein Berechnen von Merkmalen aus Ergebnissen der steuerbaren Filterung und ein Berechnen von Wahrscheinlichkeiten aus den Merkmalen mit einem auf Maschinenlernen basierten Klassifikator umfasst, wobei die Nadelkandidaten aus den Wahrscheinlichkeiten detektiert werden.
Verfahren nach Anspruch 1, wobei das Detektieren der Nadelkandidaten in dem ersten und dem zweiten Ultraschall-Datenframe eine hierarchische Rahmenstruktur des Detektierens von Nadeln umfasst.
Verfahren nach Anspruch 4, wobei das Detektieren der Nadelkandidaten in dem ersten und dem zweiten Ultraschall-Datenframe eine Richtungsfilterung, ein Hough-Voting auf der Basis einer Vielzahl von Filterergebnissen, ein Berechnen von Merkmalen aus einer Vielzahl von Frames und hierarchische Detektionen umfasst.
Verfahren nach Anspruch 1, wobei das Zuordnen ein Berechnen einer Transformation zwischen den Nadelkandidaten in dem ersten Ultraschall-Datenframe und jedem der Nadelkandidaten in dem zweiten Ultraschall-Datenframe umfasst.
Verfahren nach Anspruch 1, wobei das Zuordnen ein Berechnen einer Wahrscheinlichkeit für jede von verschiedenen Kombinationen je eines Nadelkandidaten aus dem ersten und dem zweiten Ultraschall-Datenframe, wobei die Wahrscheinlichkeit mit einem Verschiebungsbetrag gewichtet wird, umfasst, und ferner das Entfernen einer Teilmenge der Nadelkandidaten auf der Basis eines Schwellenwertes, der auf die Wahrscheinlichkeiten der verschiedenen Kombinationen angewendet wird, umfasst.
Verfahren nach Anspruch 7, welches ferner ein Wiederholen des Zuordnens und Entfernens umfasst, wobei die Wiederholung unter Berücksichtigung der entfernten Nadelkandidaten erfolgt.
Verfahren nach Anspruch 1, welches ferner ein Berechnen eines Gewichts umfasst, wobei das Gewicht für den ersten und den zweiten Ultraschall-Datenframe jeweils eine normierte Wahrscheinlichkeit umfasst.
Verfahren nach Anspruch 1, wobei das Anpassen des Parameters der Ultraschallbildgebung auf der Basis der Nadel ein periodisches Anpassen umfasst.
Nicht-transitorisches computerlesbares Speichermedium, in dem Daten gespeichert sind, welche Anweisungen repräsentieren, die von einem programmierten Prozessor ausgeführt werden können, um die Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild zu verbessern, wobei das Speichermedium Anweisungen für Folgendes umfasst: Berechnen einer ersten Wahrscheinlichkeit für jede von einer Vielzahl von möglichen Nadeln, die durch Ultraschalldaten repräsentiert werden, für verschiedene Bilder; Bestimmen einer zweiten Wahrscheinlichkeit für jede Kombination der möglichen Nadeln aus den verschiedenen Bildern, wobei die zweite Wahrscheinlichkeit eine Funktion der ersten Wahrscheinlichkeiten und einer „Verschiebungs-Bestrafung” ist; Entfernen der Kombinationen, bei denen die zweite Wahrscheinlichkeit unterhalb eines Schwellenwertes liegt; gewichtetes Compounding der Ultraschalldaten für die verschiedenen Bilder, wobei die Gewichtung eine Funktion der zweiten Wahrscheinlichkeit für eine verbleibende von den Kombinationen ist; und Erzeugen eines Bildes aus dem gewichteten Compounding.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 11, wobei das Berechnen ein Eingeben von Merkmalen von einer steuerbaren Filterung der Ultraschalldaten in einen auf Maschinenlernen basierten Klassifikator umfasst.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 11, welches ferner ein Wiederholen des Bestimmens und Entfernens umfasst, wobei die Kombinationen auf der Basis des vorhergehenden Entfernens begrenzt sind.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 11, wobei das gewichtete Compounding ein Normieren der zweiten Wahrscheinlichkeit umfasst.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 11, wobei das Erzeugen des Bildes ein Erzeugen eines Bildes durch Steered Spatial Compounding umfasst.
Nicht-transitorisches computerlesbares Speichermedium nach Anspruch 11, wobei das Berechnen der ersten Wahrscheinlichkeit ein Detektieren der möglichen Nadeln in einer hierarchischen Rahmenstruktur der Linien- und Segmentdetektion umfasst.
System zur Verbesserung der Visualisierung einer Nadel in einem medizinischen diagnostischen Ultraschallbild, wobei das System umfasst: einen Speicher, der dafür ausgelegt ist, Daten zu speichern, die einen Bereich eines Patienten zu verschiedenen Zeitpunkten und eine Nadel in dem Bereich repräsentieren; einen Prozessor, der dafür ausgelegt ist, in den Daten, die den Bereich zu einem ersten von den verschiedenen Zeitpunkten repräsentieren, Linienkandidaten zu identifizieren, die Linienkandidaten auf der Basis von Pixeln zu bewerten, die Linienkandidaten mit einer Bewertungszahl oberhalb eines Schwellenwertes auf Kandidatsegmente zu durchsuchen, die Kandidatsegmente auf der Basis einer Bewegung über die verschiedenen Zeitpunkte und einer Differenz zu Referenzdaten zu bewerten und Intensitäten der Daten entlang eines oder mehrerer der Kandidatsegmente zu erhöhen; ein Display, das dafür ausgelegt ist, ein Bild als eine Funktion der erhöhten Intensitäten anzuzeigen.
System nach Anspruch 17, wobei die Daten eine Sequenz von Datenframes umfassen.
System nach Anspruch 17, wobei die Auslegung des Prozessors dafür, die Linienkandidaten zu identifizieren, ein steuerbares Filtern der Daten für den ersten Zeitpunkt umfasst, und wobei die Auslegung des Prozessors dafür, die Linienkandidaten zu bewerten, das Anwenden einer Hough-Transformation auf Ergebnisse aus der steuerbaren Filterung umfasst.
System nach Anspruch 17, wobei die Auslegung des Prozessors dafür, die Linienkandidaten auf der Basis der Pixel zu bewerten, für jeden Linienkandidaten ein Summieren je einer Bewertungszahl jedes Pixels entlang des Linienkandidaten umfasst.
System nach Anspruch 17, wobei die Auslegung des Prozessors dafür, auf der Basis einer Bewegung über die verschiedenen Zeitpunkte zu bewerten, für jedes Kandidatsegment ein Identifizieren von konsistenter Bewegung eines Punktes, der das Kandidatsegment von einem Schwanz trennt, entlang des Linienkandidaten umfasst.
System nach Anspruch 17, wobei die Auslegung des Prozessors dafür, auf der Basis der Differenz zu Referenzdaten zu bewerten, ein Subtrahieren eines Anfangs-Datenframes von einem aktuellen Datenframe entlang der Kandidatsegmente umfasst.
System nach Anspruch 17, wobei der Prozessor ferner dafür ausgelegt ist, die Strahllenkung für Ultraschall-Scannen als eine Funktion wenigstens eines der Kandidatsegmente zu steuern.
System nach Anspruch 17, wobei die Auslegung des Prozessors dafür, Intensitäten zu erhöhen, ein Addieren eines Wertes umfasst, welcher eine adaptive Funktion eines Betrags und einer Ausrichtung einer Antwort auf steuerbare Filterung ist.