DE69737720T2

DE69737720T2 - Verbessertes bildverarbeitungsverfahren für ein dreidimensionales bilderzeugungssystem

Info

Publication number: DE69737720T2
Application number: DE69737720T
Authority: DE
Inventors: Aaron London Fenster; Shane London DUNNE
Original assignee: London Health Services Centre; London Health Sciences Centre Research Inc
Current assignee: London Health Services Centre; London Health Sciences Centre Research Inc
Priority date: 1996-11-29
Filing date: 1997-11-28
Publication date: 2008-01-10
Anticipated expiration: 2017-11-29
Also published as: CA2267981C; US6334847B1; ATE362149T1; KR20000069171A; AU5112998A; EP0941521B1; IL129494A0; EP0941521A1; WO1998024058A1; CA2267981A1; DE69737720D1

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft medizindiagnostische Bilderzeugung und insbesondere ein Verfahren und System zum Verbessern von dreidimensionalen Bildern.
HINTERGRUND DER ERFINDUNG
Auf medizinischem Gebiet werden üblicherweise Ultraschalldiagnosegeräte verwendet, um die inneren Organe eines Subjekts zu betrachten. Beim Diagnostizieren von Prostatakrebs verwendet ein Diagnostiker beispielsweise transrektalen Ultraschall (TRUS), um festzustellen, ob Läsionen vorliegen und deren Größe und Erstreckung festzustellen, falls solche vorhanden sind. Konventionelle Ultraschalldiagnosegräte umfassen typischerweise eine Ultraschallsonde zum Senden von Ultraschallsignalen in das Subjekt und zum Empfangen von reflektierten Ultraschallsignalen daraus. Die durch die Ultraschallsonde empfangenen reflektierten Ultraschallsignale werden verarbeitet und ein zweidimensionales Bild des der Untersuchung unterzogenen Zieles wird gebildet.
Nachteiligerweise erzeugt dieses konventionelle Gerät zweidimensionale Bilder, obwohl das der Untersuchung unterzogene Ziel dreidimensional ist. Außerdem stellen die zweidimensionalen Bilder eine einzelne dünne Ebene dar, die in einem willkürlichen Winkel zu dem Ziel liegend aufgenommen ist, und machen es dadurch sehr schwierig die Bildebene in dem Ziel zu lokalisieren und sehr schwierig zu einem späteren Zeitpunkt ein Bild auf einer bestimmten Position wiederzugeben. Darüber hinaus ist die abgebildete Ebene üblicherweise kein klares De tailbild, sondern stattdessen eine Reihe von dunklen Formen, die zu interpretieren einen erheblichen Grad an Fachkönnen erfordert.
In den US Patenten Nr. 5,562,095 und Nr. 5,545,371 , die an den Zessionar der vorliegenden Anmeldung vergeben sind, werden dreidimensionale Bilderzeugungssysteme beschrieben. Obwohl diese Systeme mit dem Stand der Technik verbundene Nachteile überwinden, werden nach wie vor Verbesserungen zur Weiterentwicklung der Bilderzeugung und zum Erhöhen der Geschwindigkeit, mit der die dreidimensionalen Bilder aus zweidimensionalen Bildern erzeugt werden können, angestrebt.
Es ist deshalb eine Aufgabe der vorliegenden Erfindung, ein neues System und Verfahren zum Erzeugen von dreidimensionalen Bildern aus einer Abfolge von zweidimensionalen Bildern, ein neues Bildverarbeitungsmittel zum Verbessern des durch einen Benutzer betrachteten dreidimensionalen Bildes und ein neues Ultraschall-Bilderzeugungssystem bereitzustellen.
ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß der Erfindung wird ein dreidimensionales Bilderzeugungssystem bereitgestellt, wie in Anspruch 1 dargelegt.
Bevorzugt enthält das Bildverarbeitungsmittel Bildverarbeitungsparameter, die durch einen Benutzer geändert werden können.
Bevorzugt enthält das Bildverarbeitungsmittel Bildverarbeitungsparameter, die durch den Benutzer ausgewählt werden können.
Bevorzugt enthalten die veränderbaren Bildverarbeitungsparameter das Modifizieren einer Strahltiefe.
Bevorzugt enthalten die auswählbaren Bildverarbeitungsparameter das Auswählen aus einer Vielzahl von Bildverarbeitungstechniken.
Bevorzugt enthalten die Bildverarbeitungstechniken, jedoch nicht darauf beschränkt, Texturmapping, Maximum-Intensitäts-Projektion (MIP), Bedingungs-MIP (CHIP) und/oder Strahl-Summation (Raysum).
Bevorzugt werden die Bildverarbeitungsparameter, die durch den Benutzer ausgewählt und geändert werden können, über eine Benutzerschnittstelle ausgewählt und geändert.
Bevorzugt ist die Benutzerschnittstelle eine grafische Benutzerschnittstelle.
In einer Ausführung wird ein tiefenbegrenztes Bildverarbeitungsmittel verwendet, mit dem ein Benutzer aus einem Modell, das wenigstens einen Teil der dreidimensionalen volumetrischen Anordnung darstellt, eine Strahltiefe von wenigstens einer Fläche des Modells auswählt und dadurch eine „Dickenebenenbereich" von Interesse bildet. Alle Voxel innerhalb der "Dickenebene" werden nacheinander entsprechend einer durch den Benutzer ausgewählten Bildverarbeitungstechnik entlang der Tiefe des Strahls verarbeitet und die Ergebnisse davon werden auf entsprechende Bildschirmpixel projiziert, um ein verbessertes dreidimensionales Bild zu erzeugen.
In einer anderen Ausführung wird ein adaptives tiefenbegrenztes Bildverarbeitungsmittel verwendet, mit dem ein Benutzer aus einem Modell, das wenigstens einen Teil der dreidimensio nalen volumetrischen Anordnung darstellt, eine Strahltiefe von wenigstens einer Fläche des Modells auswählt. In Kombination mit der Strahltiefe wird eine durch den Benutzer spezifizierte Bedingung ausgewählt, unter der die Voxel geprüft werden. Voxel innerhalb des Modellinneren werden zuerst entsprechend der durch den Benutzer spezifizierten Bedingung verarbeitet. Voxel, die die durch den Benutzer spezifizierte Bedingung erfüllen, werden anschließend durch eine durch den Benutzer ausgewählte Bilderzeugungstechnik verarbeitet und die Ergebnisse davon werden auf entsprechende Bildschirmpixel projiziert, um ein verbessertes dreidimensionales Bild zu erzeugen. Alle anderen Voxel werden ignoriert, wodurch die Verarbeitungsgeschwindigkeit erhöht wird.
Die Strahltiefe begrenzt dadurch die Verarbeitungstiefe innerhalb der volumetrischen Anordnung und begrenzt infolgedessen die Anzahl von Voxel, die verarbeitet werden, um das verbesserte dreidimensionale Bild zu erzeugen. Die Verarbeitung der reduzierten Anzahl von Voxel führt zu schnellen Verarbeitungsgeschwindigkeiten, die verbesserte dreidimensionale Bildaktualisierung in Echtzeit oder nahezu in Echtzeit ermöglichen. Dies ermöglicht dem Benutzer darüber hinaus, dreidimensionale Bilder zu betrachten, während das Modell über ein Benutzereingabemittel und die grafische Benutzerschnittstelle manipuliert (gedreht, verschoben usw.) wird.
Die durch den Benutzer ausgewählte Bilderzeugungstechnik kann, jedoch nicht darauf beschränkt, Texturmapping, Maximum-Intensitäts-Projektion (MIP), Bedingungs-MIP (CMIP) und/oder Strahl-Summation (Raysum) umfassen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Im Folgenden werden Ausführungen der vorliegenden Erfindung umfassender beschrieben, wobei Bezug auf die begleitenden Zeichnungen genommen wird, in denen
1 eine Perspektivansicht eines dreidimensionalen Ultraschallbilderzeugungssystems ist;
2 eine Perspektivansicht einer Ultraschallsondenantriebsanordnung ist, die ein Teil des in der 1 dargestellten Systems ist;
3 eine Seitenansicht der in der 2 dargestellten Sondenantriebsanordnung ist, die eine Ultraschallsonde trägt;
3a eine Perspektivansicht der Geometrie der Ultraschallsondenbewegung ist, wenn durch die Ultraschallsondenantriebsanordnung angetrieben;
3b eine Darstellung einer Anzahl von geneigten zweidimensionalen Bildern ist;
3c eine Darstellung einer Schertransformation ist;
4 ein Blockdiagramm ist, das verschiedene Hardware- und Softwaremodule des Computers zeigt, der Teil des in der 1 dargestellten Systems ist;
5a ein Ablaufdiagramm ist, das einige der Betriebsschritte des in der 1 dargestellten Systems zeigt;
5b ein Ablaufdiagramm ist, das einige zusätzliche Betriebsschritte des in der 1 dargestellten Systems zeigt;
6 ein Ablaufdiagramm von Schritten ist, die durch das Anzeigemodul während der Initialisierung durchgeführt werden;
7a bis 7d Ablaufdiagramme von Schritten zeigen, die durch die Benutzerschnittflächen- und Anzeigemodule ausgeführt werden, während ein angezeigtes dreidimensionales Bild manipuliert wird;
8a bis 8c ein dreidimensionales Bild und Modell zeigen, die einem Drehen um eine Vertikalachse unterzogen werden;
9a bis 9c ein dreidimensionales Bild und Modell zeigen, die einem Drehen in einer Richtung von oben links in Richtung unten rechts um eine Achse unterzogen werden, die von der Horizontalen 30° abgewinkelt ist und nach oben und nach rechts ansteigt;
10a bis 10c ein dreidimensionales Bild und Modell zeigen, in denen eine Ebene des Modells in Richtung auf die geometrische Mitte des Modells verschoben wird;
11a bis 11c ein dreidimensionales Bild und Modell zeigen, in denen eine Ebene des Modells um eine Achse gedreht wird, die von der Horizontalen ungefähr 30° abgewinkelt ist und nach oben und nach rechts ansteigt;
12a bis 12d ein dreidimensionales Bild und Modell zeigen, in denen eine Ebene des Modells weg von der geometrischen Mitte des Modells verschoben wird, bis sie verschwindet,
13 eine typische Vollbildschirmanzeige zeigt, die ein Hauptanzeigefenster und ein Steueranzeigefenster enthält;
14 eine weitere Vollbildschirmanzeige zeigt, die des Weiteren ein Messungssteuerfenster und ein Animationssteuerfenster enthält;
15a bis 15c Vollbildschirmanzeigen zeigen, die des Weiteren ein Ausrichtungsansichtsfenster enthalten;
16 ein dreidimensionales Bild zeigt, das mit Hilfe einer volumetrischen Anordnung erzeugt wurde, das eine konventionelle Maximum-Intensitäts-Projektion (MIP) verwendet und die Modellkonturen von der Anzeige verdrängt hat;
17 ein dreidimensionales Bild und Modell zeigt, erzeugt durch Texturmapping einer volumetrischen Bildanordnung (Farb-Doppler-Ultraschall der Halsschlagader eines gesunden Probanden), das eine Mischung aus farbigen Voxel, die strömendes Blut darstellen, und Graustufen-Voxel, die festes Gewebe darstellen, enthält;
18 ein dreidimensionales Bild zeigt, das mit Hilfe der volumetrischen Bildanordnung in 17 erzeugt wurde, jedoch Bedingungs-MIP verwendet, um nur die Farbinformationen zu projizieren. Die Vorderfläche des Modells wurde nach außen verschoben, um die gesamte Blutgefäßstruktur zu zeigen;
19 ein dreidimensionales Bild, das das Modell und die volumetrische Bildanordnung der 16 verwendet, einen konventionellen Raysum-Algorithmus anwendend, zeigt;
20a ein durch Texturmapping erzeugtes dreidimensionales Bild von einer volumetrischen Bildanordnung eines Blutgefäßes in der Milz eines gesunden Probanden unter Verwendung von Power-Doppler-Ultraschall zeigt;
20b das Bild der 20a nach dem Verschieben der vorderen Modellebene um einige Millimeter einwärts zeigt;
20c das Bild der 20b nach dem Verschieben der vorderen Modellebene um einige Millimeter weiter einwärts zeigt;
21a ein unter Verwendung des Modells und der volumetrischen Bildanordnung der 16 erzeugtes dreidimensionales Bild zeigt, das tiefenbegrenzte Maximum-Intensität-Projektion (DL-MIP) mit einer Tiefe von ungefähr zwei Millimeter nutzt;
21b das Bild der 21a zeigt, mit der Tiefe des DL-MIP-Vorgangs verdoppelt auf ungefähr vier Millimeter;
21c das Bild der 21a zeigt, mit der Tiefe des DL-MIP-Vorgangs verdreifacht auf ungefähr sechs Millimeter;
22a das Bild der 21c mit der Frontfläche des Modell um einige Millimeter nach innen verschoben, dabei Strukturen in größerer Tiefe zeigend, zeigt;
22b das Bild der 22a mit der Vorderfläche des Modells weiter nach innen verschoben zeigt;
23 ein aus der volumetrischen Bildanordnung der 20a bis einschließlich 22b erzeugtes dreidimensionales Bild zeigt, mit dem Modell angepasst, um Außenflächen zu haben, durch die das DL-MIP-Bild gesehen werden kann;
24 das Bild der 23 mit dem mit Hilfe eines tiefenbegrenzten Raysum-Algorithmus (DL-Raysum-Algorithmus) erzeugten Bild zeigt;
25 das Bild der 16, erzeugt mit Hilfe eines adaptiven tiefenbegrenzten MIP-Algorithmus (ADL-MIP-Algorithmus), zeigt;
26 das Bild der 24, erzeugt mit Hilfe eines adaptiven tiefenbegrenzten Raysum-Algorithmus (ADL-Raysum-Algorithmus), zeigt;
27 das Bild der 26 zeigt, jedoch mit einem zusätzlichen Shading-Schritt, der durchgeführt worden ist, um die Wahrnehmung von Tiefe in dem dreidimensionalen Bild zu verbessern;
28 das Bild der 25 zeigt, jedoch mit einem zusätzlichen Shading-Schritt, der durchgeführt worden ist, um die Wahrnehmung von Tiefe in dem dreidimensionalen Bild zu verbessern, und
29 eine schematische Darstellung einer Raycasting-Technik gemäß einer Ausführung der vorliegenden Erfindung zeigt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
In den gleichzeitig anhängigen U.S.-Patentanmeldungen mit den Seriennummern 08/419,049 und 08/562,590 und dem unter der Nummer 5.454,371 erteilten U.S.-Patent des Anmelders werden dreidimensionale Ultraschallbilderzeugungssysteme offenbart. In diesen Systemen werden die zweidimensionalen Bilder, wenn eine Abfolge von zweidimensionalen Bildern erfasst und digitalisiert worden ist, als ein Stapel gespeichert, um eine Bilddatenanordnung zu bilden. Bevor ein dreidimensionales Bild des abgetasteten Zielvolumens erzeugt werden kann, muss die Bilddatenanordnung rekonstruiert werden, um eine volumetrische Bildanordnung zu bilden. Der Prozess des Rekonstruierens der Bilddatenanordnung als die volumetrische Bilddatenanordnung ist ein zeitaufwendiger Prozess, der zu signifikanten Verzögerungen führt, bevor erfasste zweidimensionale Bilder genutzt werden können, um ein dreidimensionales Bild zu erzeugen. Die vorliegende Erfindung betrifft ein dreidimensionales Ultraschall-Bilderzeugungssystem, das dieses Problem dadurch überwindet, dass das Erzeugen eines dreidimensionalen Bildes unter Nutzung der zweidimensionalen Bilddatenanordnung ermöglicht wird, ohne zu erfordern, dass die Bilddatenanordnung rekonstruiert wird.
Unter Bezugnahme auf 1 wird in 1 ein dreidimensionales Ultraschall-Bilderzeugungssystem gemäß der vorliegenden Erfindung gezeigt und generell durch das Bezugszeichen 20 gekennzeichnet. Das System 20 ist in der Lage, aus einer Abfolge von zweidimensionalen Ultraschallbildern des Zielvolumens ein dreidimensionales Ultraschallbild eines Zielvolumens von einem Subjekt, das einer Untersuchung unterzogen wird, zu erzeugen und zu ermöglichen, dass das erzeugte dreidimensionale Bild manipuliert wird. Das untersuchte Subjekt kann leblos oder lebendig sein. Im letzteren Fall kann das System 20 sowohl im medizinischen als auch tierärztlichen Umfeld als Diagnosewerkzeug genutzt werden oder während der Operation verwendet werden, um aktualisierte Bilder des Zielvolumens des Subjekts, das der Operation unterzogen wird, bereitzustellen.
Das System 20 enthält eine Ultraschallsondenantriebsanordnung 22 zum derartigen Halten einer Ultraschallsonde 24, dass diese ablösbar ist. In dieser Ausführung ist die Sondenantriebsanordnung 22 ausgelegt, um die Ultraschallsonde entlang einem linearen Abtastweg Z so zu bewegen, dass eine Abfolge von zweidimensionalen Bildern des Zielvolumens aufgenommen werden kann.
Die Ultraschallsonde 24 ist über die Kommunikationsleitung 30 mit einem klinischen Ultraschallgerät 28 verbunden. Das Ultraschallgerät 28 ist wiederum über die Kommunikationsleitung 34 mit einem Computer 32 verbunden. Der Computer 32 umfasst eine Tastatur (nicht gezeigt), einen Monitor 36 mit einem Anzeigebildschirm 36a und ein grafisches Eingabemittel 38, wie beispielsweise eine Maus mit einer Taste. Es sollte jedoch anerkannt werden, dass viele andere grafische Eingabemittel verwendet werden können, um einem Benutzer zu ermöglichen, Befehle in den Computer einzugeben. Der Computer 32 stellt über die Kommunikationsleitung 42 Ausgangssignale an einen Kontroller 40 bereit, der wiederum über die Kommunikationsleitung 44 Steuersignale an die Sondenantriebsanordnung 32 bereitstellt, um die Abtastbewegung der Ultraschallsonde 24 zu steuern.
Im Folgenden auf die 2 und 3 Bezug nehmend, werden die Ultraschallsonde 24 und die Sondenantriebsanordnung 22 besser dargestellt. Wie ersichtlich, umfasst die Sondenantriebsanordnung 22 ein Gehäuse 22a, das einen Motor 22b aufnimmt, der mittels eines Paares von Reduktionsrädern 22d und 22e und eines Riemens 22f mit einer Antriebsspindel 22c gekoppelt ist. Ein I-Block 22g ist über eine innere Gewindebohrung an der Spindel 22c angebracht, so dass sich der I-Block 22g in jeder Richtung entlang dem linearen Abtastweg Z bewegt, wie durch den Pfeil B dargestellt, wenn die Spindel 22c über den Motor 22b gedreht wird. Mittels Schrauben 22i und 22j ist ein Sondenhalter an dem I-Block 22g gesichert und trägt die Ultraschallsonde 24. Der Sondenhalter 22h ist relativ zu der Spindel 22c so positioniert, dass die Längsachse der Ultraschallsonde 24 mit einer Achse, die normal zu der Längsachse der Spindel 22c liegt, einen Winkel a bildet. Der Neigungswinkel des Sondenhalters 22h kann durch Lösen der Schrauben 22i und 22j, Drehen des Sondenhalters 22h in die gewünschte Position und Festziehen der Schrauben eingestellt werden.
Die Sondenantriebsanordnung 22 ist insbesondere für Anwendungen geeignet, bei denen Ultraschallbilder von inneren Organen des Subjekts oder von Läsionen, wie beispielsweise Brusttumoren innerhalb des Torsos des Subjekts P, aufzunehmen sind. In diesen Fällen wird üblicherweise zwischen dem Subjekt und der Ultraschallsonde eine Schicht Kopplungsgel auf das Subjekt P aufgebracht.
Im Normalbetrieb wird der Motor 22b so betrieben, dass er mit einer konstanten Geschwindigkeit dreht. Infolgedessen wird die Spindel 22c mit einer konstanten Geschwindigkeit gedreht und veranlasst den Sondenhalter 22h die Ultraschallsonde 24 mit einer konstanten Geschwindigkeit entlang dem linearen Abtastpfad Z zu bewegen. Während sich die Ultraschallsonde 24 entlang dem linearen Abtastweg Z bewegt, sendet sie in spezifischen vorgegebenen Intervallen Ultraschallsignale, die auf das Zielvolumen auftreffen. Ebenso werden von dem Zielvolumen reflektierte Ultraschallsignale durch die Sonde 24 empfangen und durch einen Kristall (nicht gezeigt) in der Ultraschallsonde 24 in analoge Signale umgewandelt. Diese analogen Signale werden zu dem klinischen Ultraschallgerät 28 übertragen, wo eine Abfolge von zweidimensionalen analogen Bildern des Zielvolumens erzeugt wird. Jedes zweidimensionale Bild stellt einen Querschnitt des Zielvolumens mit einer x- und y-Dimension dar (siehe 3a). Dem durchschnittlichen Fachmann in dieser Technik sind der Betrieb der Ultraschallsonde 24 und des klinischen Ultraschallgerätes 28 wohlbekannt und deshalb werden diese hierin nicht weiter beschrieben.
Da die Geschwindigkeit der Ultraschallsonde 24, die sich entlang dem linearen Abtastweg Z bewegt, und die Ultraschall-Sendeintervalle der Ultraschallsonde 24 bekannt sind, kann die relative Position der zweidimensionalen analogen Bilder des Zielvolumens entlang der Z-Achse problemlos bestimmt werden.
Die durch das Ultraschallgerät 28 erzeugten zweidimensionalen analogen Bilder werden über die Kommunikationsleitung 34 zu dem Computer 32 übertragen. Der Computer 32 wiederum digitalisiert die zweidimensionalen Bilder und speichert die digitalisierten Bilddaten zusammen mit anderen zugehörigen Bilddaten in einer Art und Weise, die ermöglicht, nahezu ohne Verzögerung ein dreidimensionales Bild des Zielvolumens anzuzeigen, wie im Folgenden beschrieben werden wird. Sobald angezeigt, ermöglicht der Computer 32 das Manipulieren des Bildes, wie ebenso beschrieben werden wird.
Unter Bezugnahme auf die 4 wird ein Blockdiagramm des Computers gezeigt, das einige der Hardware- und Softwaremodule darin darstellt. Wie ersichtlich, enthält der Computer 32 ein Framegrabbermodul, wie beispielsweise ein IMAXX Video Capture Board, hergestellt von Precision Digital Images Corporation Redmond, Washington, zum Verarbeiten der von dem klinischen Ultraschallgerät 28 über die Kommunikationsleitung 34 empfangenen zweidimensionalen analogen Bilder. Spezieller erfasst und digitalisiert das Framegrabbermodul die Abfolge von zweidimensionalen analogen Bildern. Sobald digitalisiert, wird die Abfolge von zweidimensionalen Bildern in dem lokalen physikalischen Speicher 82 gespeichert.
Der Computer 32 enthält außerdem ein Benutzerschnittstellenmodul 84 zum Interpretieren von Eingabebefehlen, die über das grafische Eingabemittel 38 empfangen wurden. Es sollte anerkannt werden, dass das Benutzerschnittstellenmodul 84 den Betrieb der anderen Module des Systems 20 in Reaktion auf Eingaben des grafischen Eingabemittels 38 steuert und koordiniert, wodurch dem Benutzer ermöglicht wird, das System nach Bedarf zu steuern.
Sobald eine Abfolge von zweidimensionalen Bildern des Zielvolumens durch das Framegrabbermodul 80 erfasst und digitalisiert wurde und in dem physikalischen Speicher 82 gespeichert worden ist, können die digitalisierte Informationen in Abhängigkeit von den Eingabebefehlen, die durch das Benutzerschnittstellenmodul 84 von dem grafischen Eingabemittel 38 empfangen wurden, auf eine Anzahl von Weisen verarbeitet werden. Spezieller können die digitalisierten Informationen zu einem externen Dateispeicher 88 übertragen werden. Die digitalisierten Informationen können, ob in dem lokalen physikalischen Speicher 82 oder in dem externen Dateispeicher 88 gespeichert, in Reaktion auf die von dem grafischen Eingabemittel 38 empfangene Eingabe durch ein Anzeigemodul 92 verarbeitet werden, so dass ein dreidimensionales Bild des Zielvolumens auf dem Bildschirm 36a des Monitors 36 angezeigt und manipuliert werden kann, wie hierin im Folgenden beschrieben werden wird.
Der Computer 32 enthält außerdem ein Sondenabtastungs-Steuermodul 98, das Ausgangssignale an den Kontroller 40 bereitstellt, um die Sondenantriebsanordnung 22 zu betätigen und die Ultraschallsonde 24 bedarfsgemäß entlang dem Abtastweg Z zu führen. Das Sondenabtastungs-Steuermodul 98 empfängt außerdem die Eingabe von dem Benutzerschnittstellenmodul 84.
Dreidimensionale Bilderzeugung
Da die Ultraschallsonde 24 entlang dem linearen Weg Z geführt wird und da sich die Ultraschallsonde 24 relativ zu einer Achse, die normal zu der Langsachse des linearen Abtastweges Z ist, in einem Winkel ∞ befindet, sind die von dem Ultraschallgerät aufgenommenen Ultraschallbilder Querschnitte (oder Bildscheiben) des Zielvolumens auf parallelen Ebenen, geneigt im Winkel ∞ (siehe 3b). Infolgedessen besteht durch die Art der Erfassung der Ultraschallbilder eine Abhängigkeitsbeziehung zwischen den y- und z- Koordinaten, die mathematisch durch eine Schertransformation (siehe 3c) ausgedrückt werden kann. Schertransformationen, die dem Fachmann auf dem Gebiet der Computergrafik wohlbekannt sind, sind linear. Die Linearität von sowohl dem Abtastweg Z als auch der Schertransformation ermöglichen dem Anzeigemodul 92 die Schertransformation als eine Komponente der Betrachtungstransformation zu nutzen, um Pixel-Koordinaten in entsprechende Voxel-Koordinaten zu konvertieren. Daher kann das Anzeigemodul 92 unmittelbar auf die erfassten zweidimensionalen Ultraschallbilddaten einwirken und ein dreidimensionales Bild erzeugen, ohne das erforderlich wird, dass die erfassten Ultraschallbilddaten dem Rekonstruktionsprozess unterzogen werden, der in dem U. S. Patent Nr. 5,454,371 und der Patentanmeldung mit der laufenden Nr. 08/419,049 des Anmelders beschrieben wird. Dies erhöht die Geschwindigkeit mit der ein dreidimensionales Bild angezeigt werden kann wesentlich.
Damit das Anzeigemodul 92 in der Lage ist, unmittelbar auf die erfassten digitalisierten Ultraschallbilddaten einzuwirken, erfordert das Anzeigemodul 92 andere zugehörige Bilddaten, die umfassen:

1. Einen Adress-Pointer, der die Adresse der Position in dem physikalischen Speicher 82 definiert, an dem die erfassten Ultraschallbilddaten beginnen;
2. den Umfang der erfassten zweidimensionalen Bilddaten, einschließlich der Anzahl von Pixeln entlang der x- und y-Achse jedes zweidimensionalen Bildes, sowie die Anzahl von zweidimensionalen Bildern, die in der z-Richtung aufgenommen wurden;
3. den physikalischen Abstand zwischen den Mitten von angrenzenden Pixeln, sowohl in der x- als auch in der z-Richtung in jedem zweidimensionalen Bild, sowie den physikalischen Abstand zwischen entsprechenden Pixeln in angrenzenden zweidimensionalen Bildern (der z-Abstand) und
4. den Neigungswinkel ∞.

Die anderen zugehörigen Bilddaten, auf die in Punkt 1 und 2 oben Bezug genommen wurde, definieren die Position der erfassten digitalisierten Ultraschallbilddaten in dem Speicher. Diese Information ermöglicht dem Anzeigemodul 92 die erfassten Ultraschallbilddaten zu lokalisieren und Abschnitte der Bilddaten mit den richtigen Bildscheiben des Zielvolumens zu assoziieren. Die anderen zugehörigen Bilddaten, auf die in dem Punkt 3 und 4 oben Bezug genommen wurde, definieren Bilddateninterpretationsinformationen, die dem Anzeigemodul 92 ermöglichen, die erfassten Ultraschallbilddaten richtig zu interpretieren.
Vor dem Erfassen zweidimensionaler Bilder eines Zielvolumens mit Hilfe des Systems 20 müssen die anderen zugehörigen Bilddaten definiert werden. Spezieller ist das Framegrabbermodul 80 programmiert, um die erfassten digitalisierten Ultraschallbilddaten in die angemessenen Orte des physikalischen Speichers 82 zu schreiben und um den Adress-Pointer zu generieren, der wiederum in einer Kalibrierungsdatei in dem physikalischen Speicher 82 gespeichert wird. Um die anderen zugehörigen Bilddaten in Schritt 2 zu erzeugen, wird das System 20 kalibriert. Spezieller werden während der Kalibrierung die Geschwindigkeit der Ultraschallsonde 24 entlang dem linearen Abtastweg Z und die Ultraschallsignal-Sendeintervalle bestimmt, so dass die Anzahl von zweidimensionalen Bildscheiben des aufzunehmenden Zielvolumens bekannt ist. Außerdem wird die Anzahl von Pixeln entlang der x- und der y-Achse der zweidimensionalen Bilder gemessen. Die Anzahl von Pixeln in der x- und y-Richtung definiert die Ränder jedes zweidimensionalen Ultraschallbildes. Daher werden diese Zahlen verwendet, um die Ultraschallbilddaten innerhalb des abgetasteten Zielvolumens zu lokalisieren. Sobald die Anzahlen bestimmt sind, werden diese ebenso in der Kalibrierungsdatei gespeichert.
Währen der Kalibrierung des Systems werden, um die anderen zugehörigen Bilddaten in Schritt 3 zu erzeugen, der Mitte-Mitte-Abstand zwischen zwei Pixeln in derselben Zeile eines Ultraschallbildes (d. h. in der x-Richtung) bestimmt, der Mitte-Mitte-Abstand zwischen angrenzenden Pixeln in zwei verschiedenen Zeilen des Ultraschallbildes bestimmt (d. h. in der y-Richtung) und der Mitte-Mitte-Abstand zwischen entsprechenden Pixeln in zwei angrenzenden Ultraschallbildern bestimmt. Während der oben beschriebenen Bestimmung der Abstände zwischen den Pixeln werden lediglich einige Auswahlmessungen zwischen zwei Pixeln in der x-Richtung eines Ultraschallbildes und zwei Pixeln in der Richtung desselben Ultraschallbildes vorgenommen und Durchschnittsabstände festgelegt. Da die Geschwindigkeit der Ultraschallsonde 24 entlang dem linearen Abtastweg konstant ist und da das Ultraschallsignal-Sendeintervall bekannt ist, kann der Abstand zwischen entsprechenden Pixeln in angrenzenden zweidimensionalen Ultraschallbildern problemlos berechnet werden. Sobald dieser Abstand bestimmt ist, werden die Abstandswerte in der Kalibrierungsdatei gespeichert. Ebenso wird der Neigungswinkel der Ultraschallsonde 24 gemessen und in der Kalibrierungsdatei gespeichert. Sobald die oben erwähnten anderen Daten in der Kalibrierungsdatei in dem physikalischen Speicher 82 gespeichert sind, wird die Kalibrierungsdatei in dem Dateispeicher 88 gespeichert. In diesem Stadium ist das System 20 bereit, die zweidimensionalen Bildscheiben des Zielvolumens zu erfassen, wie im Folgenden beschrieben wird.
Bilderfassung
Im Folgenden wird auf die 5a und 5b Bezug genommen. Wenn erwünscht ist, das dreidimensionale Ultraschallbilderzeugungssystem 20 zu betreiben, um zweidimensionale Bilder des Zielvolumens zu erfassen, müssen, vorausgesetzt das System 20 ist kalibriert worden und hat die anderen zugehörigen Bilddaten, die oben beschrieben wurden, in dem externen Dateispeicher 88 gespeichert, die Ultraschallsonde 24 und die Sondenantriebsanordnung 22 in Bezug auf das Subjekt angemessen angeordnet sein, so dass die durch die Ultraschallsonde 24 gesendeten Ultraschallwellen auf das Zielvolumen gerichtet sind (siehe Block 102).
Anfänglich sendet die Ultraschallsonde Ultraschallsignale, um einen Querschnitt des Zielvolumens abzutasten. Die aus dem Zielvolumen empfangenen reflektierten Ultraschallsignale werden zu dem klinischen Ultraschallgerät 28 übertragen, in dem eine zweidimensionale analoge Bildscheibe des Zielvolumens, auf das die Ultraschallsignale auftreffen, erzeugt wird. Das zweidimensionale analoge Bild wird anschließend über die Kommunikationsleitung 34 zu dem Computer 23 übertragen, in dem es über das Framegrabbermodul 80 erfasst und digitalisiert wird. Das digitalisierte zweidimensionale Bild wird dann in dem Speicher 82 gespeichert.
Anschließend wird eine Kopie des digitalisierten zweidimensionalen Bildes zu dem Benutzerschnittstellenmodul 84 übertragen und der Frame wird auf den Bildschirm 36a des Monitors gezogen (Block 104). Der Benutzer bewegt die Sonde 24 manuell entlang dem linearen Abtastweg Z, während diese Ultraschallsignale sendet, so dass zweidimensionale analoge Bilder, die durch das klinische Ultraschallgerät 28 erzeugt werden, durch das Framegrabbermodul 80 erfasst und digitalisiert werden. Diese zweidimensionalen Bilder werden über das Benutzerschnittstellenmodul 84 ebenso anschließend auf den Bildschirm 36a des Monitors 36 gezogen (Block 106). Als Nächstes wird der Benutzer, nachdem er die auf den Bildschirm 36a des Monitors gezogenen Frames betrachtet hat, aufgefordert, zu bestätigen, dass die Ultraschallsignale angemessen auf das Zielvolumen gerichtet sind (Block 108). Wenn das Zielvolumen außerhalb der gezogenen Rahmen ist, geht der Betrieb zurück zu dem Block 104. Andernfalls stellt der Benutzer mit Hilfe des grafischen Eingabemittels 38 die Eingabe an das Benutzerschnittstellenmodul 84 bereit, um anzugeben, dass das Zielvolumen innerhalb der gezogenen Rahmen ist.
Sobald dies getan wurde und die Sondenantriebsanordnung 22 angeordnet ist (Block 110), ist das System 20 für den einwand freien Betrieb bereit. Wenn ein Benutzer einen Startbefehl, beispielsweise mit Hilfe eines externen Hand- oder Fußschalters (nicht gezeigt), durch Auswählen eines auf dem Bildschirm 36a angezeigten angemessenen Symbols mit Hilfe des grafischen Eingabemittels 38 oder alternativ mit Hilfe eines Sprachbefehls eingibt, signalisiert das Benutzerschnittstellenmodul 84 dies an das Sondenabtastungsmodul 98. Im Kontext der vorliegenden Erfindung bezieht sich Symbol (Icon) auf jedes grafische Element, das auf dem Bildschirm 36a angezeigt ist, das mit Hilfe des grafischen Eingabemittels 38 ausgewählt werden kann.
Zu diesem Zeitpunkt überträgt das Sondenabtastungsmodul 98 über den Kontroller 40 Steuersignale an die Sondenantriebsanordnung 22, so dass die Ultraschallsonde 24 mit einer konstanten Geschwindigkeit entlang dem linearen Abtastweg Z bewegt wird. Während dies erfolgt, wird die Ultraschallsonde 24 konditioniert, um in vorgegebenen Intervallen Ultraschallsignale zu senden, so dass das gesamte Zielvolumen abgetastet wird. Während die Ultraschallsonde reflektierte Ultraschallsignale empfängt, überträgt sie analoge Informationen zu dem klinischen Ultraschallgerät 28, das wiederum zweidimensionale analoge Bilder erzeugt. In dieser Art und Weise wird in Reaktion auf die Ausgabe der Ultraschallsonde 24 eine Abfolge von zweidimensionalen analogen Bildern des Zielvolumens, die ein Volumenbild darstellt, durch das klinische Ultraschallgerät 29 erzeugt (Block 112). Die Abfolge von zweidimensionalen analogen Bildern, die durch das klinische Ultraschallgerät 28 erzeugt wird, wird durch das Framegrabbermodul 80 erfasst und digitalisiert. Die digitalisierten zweidimensionalen Bilder werden anschließend zu dem physikalischen Speicher 82 übertragen und als ein Stapel gespeichert, um eine Anordnung von zweidimensionalen Bildern I(x, y, z) zu bilden, wobei die Pixel in der Anordnung I(x, y, z) Pixel der digitalisierten zweidimensionalen Bilder darstellen. Da der Computer 32 die Bewegung der Sondenantriebsanordnung 22 und den Betrieb der Ultraschallsonde 24 steuert, ist die räumliche Anordnung der einzelnen zweidimensionalen Bilder relativ zu dem Zielvolumen bekannt.
In der vorliegenden Erfindung werden die zweidimensionalen Bilder als Graustufenbilder berücksichtigt. Jedoch ist die vorliegende Erfindung nicht von der „Farbe" der zweidimensionalen Bilder abhängig, um ihre Funktion richtig zu erfüllen. Ein Graustufenpixel ist mit einer Graustufe verbunden, die einen Wert zwischen 0 bis einschließlich (2ⁿ – 1) hat, wobei n die Anzahl der zum Speichern der Graustufen erforderlichen Bits ist. Die Graustufe 0 wird üblicherweise als "Hintergrundfarbe" verwendet und soll schwarz sein.
Sobald die zweidimensionalen Bilder erfasst worden sind und in dem physikalischen Speicher 82 gespeichert sind, um die Anordnung I(x, y, z) zu bilden, erzeugt das Benutzerschnittstellenmodul 84 einen Bedienerhinweis, der besagt, dass dieses Stadium der Bilderfassung abgeschlossen worden ist. Zu diesem Zeitpunkt kann der Benutzer die erfassten Frames einzeln in der zuvor beschriebenen Art und Weise prüfen (Block 114). Wenn die zweidimensionalen Bilder fehlerhaft erfasst worden sind (Block 116), kann der Benutzer das System 20 konditionieren, zu dem Block 102 zurückzukehren. Wenn die zweidimensionalen Bilder richtig erfasst worden sind, erzeugt das Benutzerschnittstellenmodul 84 eine Aufforderung, zu bestimmen, ob die erfassten zweidimensionalen Bilder zusammen mit den anderen zugehörigen Bilddaten in der Kalibrierungsdatei in dem externen Dateispeicher 88 (Block 120) zusammen als eine gescherte volumetrische Bildanordnung V(x, y, z) zu speichern sind. Wenn der Benutzer die Aufforderung auswählt, werden die erfassten zweidimensio nalen Bilder zusammen mit den anderen zugehörigen Bilddaten als die gescherte volumetrische Bildanordnung in dem externen Dateispeicher 88 gespeichert (Block 124).
Darauf folgend, oder wenn der Benutzer nicht wählt, die zweidimensionalen Bilddaten in dem externen Speicher 88 zu speichern, wird der Benutzer aufgefordert, zu entscheiden, ob das dreidimensionale Bild auf dem Bildschirm 36a des Monitors 36 anzuzeigen ist (Block 126). Wenn der Benutzer wünscht, das dreidimensionale Bild zu betrachten und die Bilddaten in dem externen Dateispeicher 88 in Form einer gescherten volumetrischen Anordnung gespeichert sind, dann empfängt das Anzeigemodul 92 die gescherte volumetrische Bildanordnung aus dem externen Dateispeicher 88. In beiden Fällen nutzt es, sobald das Anzeigemodul 92 die Bilddaten und die anderen zugehörigen Bilddaten empfängt, die Daten in Verbindung mit der Schertransformation, um nahezu ohne Verzögerung ein dreidimensionales Bild des Zielvolumens auf dem Bildschirm 36a anzuzeigen (Block 128). Das angezeigte Bild kann durch den Benutzer manipuliert werden, wie im Folgenden beschrieben werden wird. Während der Bildmanipulation kann der Benutzer angezeigte Ansichten in dem Speicher 82 oder in dem externen Dateispeicher 88 speichern, so dass diese Ansichten zu einem späteren Zeitpunkt abgerufen und erneut geprüft werden können. Sobald die Bildmanipulation abgeschlossen worden ist, wird der Benutzer aufgefordert, zu bestätigen, ob ein weiteres dreidimensionales Bild zu erzeugen ist (Block 130). Wenn der Benutzer wünscht, ein weiteres dreidimensionales Bild zu erzeugen, kehrt das System 20 zu Block 102 zurück. Andernfalls wird der dreidimensionale Bilderzeugungsvorgang als abgeschlossen betrachtet. Wenn der Benutzer in Block 126 nicht wählt, das dreidimensionale Bild zu betrachten, geht das System direkt zu dem Block 130 weiter.
Dreidimensionale Bildanzeige
Sobald die zweidimensionalen Bilder des Zielvolumens erfasst worden sind und entweder in dem externen Dateispeicher 88 mit der Kalibrierungsdatei als eine gescherte volumetrische Bildanordnung oder in dem physikalischen Speicher 88 gespeichert worden sind, kann der Benutzer entscheiden, ob das dreidimensionale Bild auf dem Bildschirm des Monitors 36 mit Hilfe des grafischen Eingabemittels 38 anzuzeigen ist (Block 126). Falls das dreidimensionale Bild, wie durch den Benutzer über das grafische Eingabemittel 38 angegeben, anzuzeigen ist, tritt das Anzeigemodul in eine Initialisierungsroutine ein (siehe 6). Bei Eintritt in die Initialisierungsroutine stellt das Anzeigemodul 92 eine Anzahl von Parameter auf ihre Standardwerte ein, wie erklärt werden wird, und nutzt diese Informationen, wenn ein Bild auf dem Bildschirm 36a anzuzeigen ist (Blöcke 302 bis 306). Die Parameter, die auf ihre Standardwerte eingestellt werden, sind die Empfindlichkeit des Mausziehens, aufeinanderfolgende Verfeinerungssequenzen und Pseudofarbmapping.
Nachdem das obige erledigt worden ist, bestimmt das Anzeigemodul 92, ob die Bilddaten mit der Kalibrierungsdatei als eine gescherte volumetrische Bildanordnung gespeichert worden sind oder sich in dem physikalischen Speicher 82 befinden. Falls die Bilddaten als eine gescherte volumetrische Bildanordnung gespeichert worden sind, ruft das Anzeigemodul 92 eine Kopie der gescherten volumetrischen Bildanordnung aus dem externen Dateispeicher 88 ab (Block 308). Falls sich die Bilddaten in dem physikalischen Speicher 82 befinden, ruft das Anzeigemodul die Bilddaten aus dem Speicher 82 ab und ruft die anderen zugehörigen Bilddaten in der Kalibrierungsdatei aus dem Speicher 88 ab.
Sobald das Anzeigemodul 92 die Bilddaten und die anderen zugehörigen Bilddaten abgerufen hat, prüft das Anzeigemodul 92, ob die Bilddaten einem Modell zugeordnet worden sind (Block 310). Das Modell liegt in Form eines konvexen Polyeders mit einer Vielzahl von ebenen Flächen vor, die in demselben Raum definiert sind, wie das anzuzeigende dreidimensionale Bild. Das Polyeder kann eine Vielzahl von Formen annehmen, wie hierin beschrieben werden wird.
Falls die Bilddaten nicht einem Modell zugeordnet worden sind, werden die Dimensionen der Bilddaten geprüft und ein Modell in Form eines Parallelepiped, das im Wesentlichen alle Pixel in der Bilddatenanordnung umfasst, wird erzeugt und den Bilddaten automatisch zugeordnet (Block 312). Das Parallelepiped hat zwei Innenwinkel in rechten Winkeln und einen dritten Innenwinkel, der Winkel ∞ entspricht. Das zugeordnete Modell wird anschließend im Speicher mit der Bilddatenanordnung gespeichert. Danach wird die Bilddatenanordnung geprüft, um zu bestimmen, ob jede der oder alle bevorzugten Ansichten A bis C der Bilddatenanordnung zugeordnet worden sind (Block 314). Falls einige oder alle der bevorzugten Ansichten nicht zugeordnet worden sind, werden die bevorzugten Ansichten automatisch erzeugt und in dem Speicher 82 mit der Bildanordnung gespeichert (Block 315).
Anschließend wird das Modell über eine orthografische Projektion innerhalb eines rechteckigen Teilbereichs der Vollbildschirmanzeige, im Folgenden das „Hauptanzeigefenster" genannt, auf den Bildschirm des Monitors 36 projiziert (Block 316). Die 13 stellt den Bildschirm 36a des Monitors 36 dar, auf dem das Modell und das dreidimensionale Bild in dem Hauptanzeigefenster MDW angezeigt werden. Es sollte anerkannt werden, dass andere Projektionstransformationen, wie zum Beispiel eine Perspektivprojektion, verwendet werden können, um das Modell auf den Bildschirm zu projizieren. Auf dem Bildschirm 36a werden nur die sichtbaren Flächen des Modells angezeigt, d. h., dass Eliminierung von verdeckten Oberflächen ausgeführt wird, so dass das angezeigte Modell eine opake Erscheinung hat. Die Umfangslinien der Modellflächen werden auf dem Bildschirm durch weiße Linie dargestellt. Jede sichtbare Modellfläche wird innerhalb eines polygonalen Bereichs auf den Bildschirm projiziert. Jeder polygonale Bereich sichtbarer Fläche ist in einen Innenbereich und einen Außenbereich unterteilt, wobei der Letztere Teil des Gesamtbereichs ist, der unmittelbar an die angezeigte Grenze der Fläche angrenzt und einen kleinen Teil des Gesamtbereichs darstellt.
Die Anzeige jeder sichtbaren Modellfläche wird wie folgt erreicht. Jedes Bildschirmpixel innerhalb des polygonalen Bereichs der angezeigten Fläche hat ein zugehöriges zweidimensionales Kartesisches Koordinatenpaar (x', y'). Mit genauen Spezifikationen der Modelloberfläche kann dies zu einem dreidimensionalen Koordinatentripel (x', y', z') erweitert werden.
Mittels der Schertransformation können die Pixelkoordinaten (x', y', z') in entsprechende Voxelkoordinaten (x, y, z) umgewandelt werden, um einen Voxelwert innerhalb der volumetrischen Bildanordnung V(x, y, z) auszuwählen. Der extrahierte Voxelwert wird in der Pseudofarbmappingtabelle indiziert, um eine Graustufe oder Farbe zu gewinnen. Die Graustufe oder die Farbe wird wiederum genutzt, um das Bildschirmpixel zu illuminieren. Dieser Prozess wird für alle Bildschirmpixel, die innerhalb der angezeigten Modellflächen enthalten sind, wieder holt (Block 318), um das Bild wiederzugeben. Diese Anzeigetechnik wird als „Texturmapping" bezeichnet und ist dem durchschnittlichen Fachmann in dieser Technik bekannt.
Zusätzlich zu dem Texturmapping unterstützt die bevorzugte Ausführung der vorliegenden Erfindung eine Vielzahl von konventionellen, dreidimensionalen volumetrischen Bildverarbeitungsmitteln, einschließlich Maximum-Intensitäts-Projektion (MIP) und Ray Summation, im Folgenden als Raysum bezeichnet, (dem Fachmann in dieser Technik üblicherweise ebenso als transparente Reprojektion oder als synthetisches Röntgenbild bekannt). Die hier vertretenden Erfinder haben jedoch, wie im Folgenden ausführlicher beschrieben werden wird, mehrere neue Bildverarbeitungsmittel entwickelt, die Verbesserungen gegenüber den MIP- und Raysum-Wiedergabetechniken darstellen. Spezieller sind derartige neue Bildverarbeitungsmittel tiefenbegrenzte Wiedergabe (DL-Wiedergabe) und adaptive tiefenbegrenzte Wiedergabe (ADL-Wiedergabe), die beide sowohl auf das MIP- als auch auf das Raysum-Verfahren angewendet werden können, um die Bilderzeugung zu verbessern. Für verbessertes Wahrnehmen einer dreidimensionalen Struktur in den sich ergebenden Bildern durch den Benutzer können darüber hinaus Shading-Techniken, einschließlich Tiefen-Shading und Oberflächen-Shading, auf die Ergebnisse der DL- und ADL-Techniken angewendet werden. Im Folgenden werden diese Verfahren beschrieben.
Die verschiedenen zuvor erwähnten Wiedergabetechniken können am einfachsten in Bezug auf das Paradigma von „Raycasting" beschrieben werden, das dem Fachmann in der Technik der dreidimensionalen Bildverarbeitung bekannt ist. In der bevorzugten Ausführung der vorliegenden Erfindung folgt die tatsächliche Implementierung der DL- und ADL-Technik dem Raycasting-Paradigma, jedoch sollte anerkannt werden, dass stattdessen andere Implementierungstechniken, die im Wesentlichen dasselbe Ergebnis bereitstellen, verwendet werden können. Wenn beispielsweise schnelle Texturmapping-Hardware verfügbar ist, kann die Implementierung basierend auf front-to-back Scheibenzusammensetzung, wie durch U. Cullip und U. Neumann in „Accelerating Volume Reconstruction with 3D Texture Hardware" UNCT Tech Report 1993 und in P. A. Sabella „Rendering Algorithm for Visualizing 3D Scalar Fields" Compuer Graphics, 22(4), S. 51 bis 58 beschrieben, effizienter sein, jedoch ergeben die Ergebnisse, nachdem DL und/oder ADL angewendet wurden, im Wesentlichen identische Resultate wieder.
Unter Bezugnahme auf 29 basiert das Raycasting-Paradigma auf dem Verständnis der geometrischen Beziehungen zwischen einem Modell, der Bildschirmebene, dem Augpunkt des Benutzers und einer Betrachtungsrichtung (ausgedrückt in Form eines Betrachtungsvektor V), üblicherweise senkrecht zur Bildschirmebene. Für jedes Bildschirmpixel in der Projektion des Modells berücksichtigen wir die Voxel entlang dem „Strahl" (der Linie) parallel zu V, der durch das Pixel geht. In der bevorzugten Ausführung der vorliegenden Erfindung, in der das Modell die Form eines konvexen Polyeders annimmt, ist mit jedem derartigen Pixel auf den Bildschirmkoordinaten (x', y') ein „Eintrittspunkt" auf den Koordinaten (x', y', z'), wo der Strahl in das Modell eintritt, und ein Austrittspunkt (x', y', z'), wo der der Strahl aus dem Modell austritt, assoziiert.
Raycasting-Verfahren sind üblicherweise als sequenzielle Algorithmen definiert, basierend auf Verarbeitung von Voxel entlang jedem Strahl in Sequenz von vorne (d. h. dem Eintrittspunkt) nach hinten (d. h. dem Austrittspunkt). Die genauen Mittel, die verwendet werden, um festzustellen, welche Voxel beteiligt sind, sind unkompliziert und dem durchschnittlichen Fachmann in der Technik der dreidimensionalen Bildverarbeitung bekannt.
Die zuvor beschriebene Texturmapping-Technik kann innerhalb des Raycasting-Paradigmas als ein Verfahren beschrieben werden, bei dem der Voxelwert an dem Eintrittspunkt für jeden Strahl auf das Bildschirmpixel projiziert wird und alle anderen Voxel entlang dem Strahl ignoriert werden.
Bei der Maximum-Intensitäts-Projektion (MIP) wird der Maximum-Pixelwert entlang dem Strahl auf das Bildschirmpixel projiziert. Ein Beispiel von MIP ist in der 16 für den Fall eines dreidimensionalen Dopplersonographiebildes von Blutgefäßen dargestellt. MIP ist eine einfache Technik, die eine gewisse Bewertung der dreidimensionalen Struktur ermöglicht, jedoch den Nachteil aufweist, dass es üblicherweise sehr schwierig ist Okklusion zu bestimmen (Aussage zu treffen, welche von zwei überlappenden Strukturen vorne ist und welche dahinter liegt).
Eine brauchbare Variante von MIP ist Bedingungs-MIP (CMIP), bei der der Maximalwert jener Voxel entlang dem Strahl, die eine vorgegebene Bedingung erfüllen, auf das Bildschirmpixel projiziert werden. In der gegenwärtig bevorzugten Ausführung der vorliegenden Erfindung werden Dopplersonographiebilder, die eine Mischung aus Graustufen- und Farbinformationen aufweisen, so kodiert, dass Farbvoxel (die strömendes Blut darstellen) innerhalb von vorab spezifizierten Wertegrenzen liegen. Eine darstellende Illustration ist in der 17 gezeigt, in der ein dreidimensionales Bild und Modell durch Texturmapping erzeugt werden. Dieses Bild ist aus einer volumetrischen Bildanordnung (Farb-Dopplerultraschall der Halsschlagader eines gesunden Probanden), die eine Mischung aus farbigen Voxel, die strömendes Blut darstellen, und Graustufenvoxel, die festes Gewebe darstellen, ist. Jedoch wird, wenn eine CMIP mit der Bedingung, dass nur Voxelwerte im Farbbereich projiziert werden, an dem Bild der 17 ausgeführt wird, verbesserte Visualisierung der dreidimensionalen Struktur der Blutgefäße erreicht, wie in der 18 dargestellt. Wie in der vorliegenden Figur gezeigt, wurde das dreidimensionale Bild unter Verwendung der volumetrischen Bildanordnung der 17, jedoch mit Hilfe von Bedingungs-MIP, um nur die Farbinformationen zu projizieren, erzeugt. Wie in der Figur gezeigt, wurde die Vorderfläche des Modells nach außen verschoben, um die gesamte Blutgefäßstruktur offen zu legen.
Bei Raysum werden die Voxelwerte entlang dem Strahl summiert und der sich ergebenden Wert, der normalerweise durch eine voreingestellte Normalisierungskonstante in einen akzeptablen Pixelwertbereich skaliert wird, wird auf das Bildschirmpixel projiziert. Ein Beispiel der Raysum-Technik ist in der 19 gezeigt, in der das dreidimensionale Bild unter Verwendung des Modells und der volumetrischen Bildanordnung der 16 erzeugt wird. Typischerweise erzielt Raysum ein natürlicher als MIP aussehendes Ergebnis, jedoch wird Okklusion noch immer nicht gezeigt.
In der gegenwärtig bevorzugten Ausführung der vorliegenden Erfindung, in der das DL-Bilderzeugungsverarbeitungsmittel auf MIP-, CMIP- und/oder die Raysum-Techniken angewendet wird, – wird ein feststehender Abstand, der als „Strahltiefe bezeichnet wird", gewählt und das ausgewählte Verfahren (MIP, CMIP, Raysum oder andere Techniken) ignoriert Voxel über die Strahltiefe hinaus. Die Strahltiefe definiert dabei eine „Dickenebene" als einen Bereich von Interesse. In Übereinstimmung mit dem Raycasting-Paradigma hat jedes Bildschirmpixel in der Pro jektion des Modells Voxel entlang der „Strahllinie" parallel zu V verarbeitet, jedoch nur so tief in das Modell hinein, wie durch die Strahltiefe festgelegt. Dies stellt einen Mittelweg zwischen Verfahren, wie MIP und Raysum, die versuchen, dass gesamte Modellinnere anzuzeigen, und Texturmapping, das nur Oberflächendetails anzeigt, bereit. Deshalb ist die DL-Technik beim Untersuchen von Gefäßstrukturen besonders dienlich.
Beim Betreiben wählt der Benutzer die Strahltiefe und den Prozess (MIP, CMIP oder Raysum) über die grafische Benutzerschnittstelle und das Eingabemittel, wie zum Beispiel eine Maus mit einer Taste. Wenn eine Perspektivansicht erwünscht ist, kann die Strahltiefe von mehr als einer Fläche ausgewählt werden. Die 23 und 24 stellen illustrierte Beispiele der DL-MIP- und DL-Raysum-Bildverarbeitung von zwei Flächen dar. Typischerweise wählt der Benutzer eine Fläche auf dem Modell, von der eine verbesserte Ansicht erwünscht ist. Diese Fläche wird als der Eintrittspunkt oder Ausgangspunkt, von dem aus die Strahltiefe gemessen wird, betrachtet. Der Benutzer stellt dann die Standard-Strahltiefe, die üblicherweise entlang V senkrecht zu der gewählten Modellfläche gemessen werden wird, bereit oder akzeptiert diese. Die Tiefe bestimmt den Austrittspunkt innerhalb der volumetrischen Anordnung, über die hinaus tiefere Voxel von der Verarbeitung ausgeschlossen werden. Die Beschränkung der Voxel zur Verarbeitung in dieser Art und Weise beschleunigt die Verarbeitungszeit wesentlich. Darüber hinaus erbringen die verarbeiteten Voxel innerhalb des Bereichs der „Dickenebene" von Interesse verbesserte Bilderzeugungsergebnisse, die Okklusion zeigen.
Die 20a bis einschließlich 20c zeigen die Ergebnisse des Anwendens von Texturmapping auf dieselben Dopplersonographiedaten, die in den 16 und 19 dargestellt sind, je doch besteht der Unterschied zwischen diesen drei Figuren darin, dass die vorderste Modellebene in verschiedenen Positionen ist. Wie aus den Figuren ersichtlich, erscheint die komplexe dreidimensionale Struktur der Blutgefäße nicht, wenn nur Flächenquerschnitte gesehen werden.
Die 21a, 21b und 21c zeigen die Ergebnisse der Anwendung des DL-Bilderzeugungsmittels auf das MIP-Bild der 16 (DL-MIP) an denselben Daten und demselben Modell wie 20a, jedoch mit Änderung der Strahltiefe auf jeweils zwei Millimeter, vier Millimeter und sechs Millimeter. Die 21c, 22a und 22b stellen den Effekt dar, wenn die Strahltiefe bei sechs Millimeter vorgehalten wird und die vorderste Modellebene durch die dreidimensionale volumetrische Bildanordnung nach Innen verschoben wird, um die Blutgefäßstrukturen in verschiedenen Tiefen offen zu legen.
23 zeigt die Anwendung von DL-MIP mit zwei Modellflächen, die nahe innerhalb der Strahltiefe von hellen Strukturen in den volumterischen Bilddaten des Gefäßes angeordnet sind. 24 zeigt das Ergebnis, wenn die DL-Bildverarbeitungstechnik mit der Raysum-Technik (DL-Raysum) mit den identischen volumetrischen Bilddaten und dem identischen Modell, wie in 23 dargestellt, angewendet wird.
Es ist wichtig festzustellen, dass in der bevorzugten Ausführung der vorliegenden Erfindung die DL-MIP- und DL-Raysum-Prozesse nahezu mit Echtzeitgeschwindigkeiten ausgeführt werden können, wodurch Aktualisierung des Bildes möglich wird, während die Bedienperson Modellebenen auf dem Bildschirm 36a bewegt. Das Bewegen der Modelebenen wird im Folgenden ausführlicher beschrieben. Diese Interaktivität trägt durch das Einführen einer durch den Benutzer kontrollierten Beziehung zwi schen Tiefe in dem Bild und Zeit zu einer verbesserten Beurteilung der dreidimensionalen Struktur bei.
Eine weiteres zuvor erwähntes neues Bilderzeugungsverarbeitungsmittel ist die adaptive tiefenbegrenzte Technik, die sowohl auf durch MIP als auch durch Raysum verarbeitete Bilder (jeweils ADL-MIP und ADL-Raysum) angewendet werden kann. ADL wendet eine durch den Benutzer ausgewählte Bedingung auf Voxelwerte an, die zwischen Strukturen von Interesse und "Hintergrundstrukturen" in der volumetrischen Bildanordnung unterscheidet. Der ADL-Prozess geht in zwei Phasen vor sich. In der ersten Phase, beginnend an dem Eintrittspunkt, werden Voxel entlang dem Strahl, die die Bedingung nicht erfüllen, ignoriert. In der zweiten Phase, werden Voxel entlang der Strahltiefe geprüft, beginnend mit dem ersten Voxel, der die Bedingung erfüllt, und der weitere Verlauf ist im Wesentlichen identisch mit dem des DL-MIP- oder DL-Raysum-Prozesses. Wenn kein Voxel entlang dem Strahl die Bedingung erfüllt, wird das Bildschirmpixel auf eine vorgegebene Farbe, üblicherweise schwarz, eingestellt.
Die adaptiven Prozesse sind gegenüber den konventionellen MIP- und Raysum-Techniken dahingehend zu bevorzugen, dass sie schneller durchgeführt werden können, da es nicht erforderlich ist, jeden Voxel in die Berechnung einzubeziehen. Darüber hinaus stellen ADL-Bildverarbeitungsmittel eine deutliche Anzeige von Okklusion bereit. Wenn beispielsweise die 25 und 26, die jeweils ADL-MIP und ADLRaysum darstellen, mit den 16 und 19 verglichen werden, die jeweils konventionelle MIP und Raysum an denselben volumetrischen Bilddaten darstellen, zeigen die durch ADL verarbeiteten Bilder Okklusion deutlich an.
Es ist wichtig festzustellen, dass in der bevorzugten Ausführung der vorliegenden Erfindung die ADL-MIP- und ADL-Raysum-Prozesse mit interaktiven Geschwindigkeiten durchgeführt werden können. Diese stellt eine verbesserte Beurteilung der dreidimensionalen Struktur bereit, weil der Benutzer das Bild frei auf jeden erwünschten Betrachtungswinkel auf dem Bildschirm, mit einer Geschwindigkeit, die die Bewertung von Parallaxe-Tiefenreferenzpunkten unterstützt, drehen kann.
Die tiefenbegrenzte MIP-Technik hat einige Merkmale mit der so genannten gleitenden Thick-Slab-MIP- oder STS-MIP-Technik gemeinsam, die in A new Reconstruction Technique for CT of the Chest, Sandy Napel, Geoffry D. Rubin und R. Brooke Jeffrey, Journal of Computer Assisted Tomography 17(5), S. 832 bis 838 beschrieben wird. Jedoch sollten die folgenden Hauptunterschiede festgehalten werden. Die STS-MIP-Technik führt MIP nur in einer einzelnen Richtung durch, während DL-MIP in jede Betrachtungsrichtung arbeitet, die interaktiv durch einen Benutzer ausgewählt wird. Das STS-MIP-Verfahren ist nicht interaktiv und wird normalerweise in Form einer retrospektiven Filmsequenz von zweidimensionalen Bildern dargestellt, während DL-MIP in der bevorzugten Ausführung der vorliegenden Erfindung vollständig interaktiv ist und bildverarbeitete dreidimensionale Bilder in Echtzeitgeschwindigkeiten oder in nahezu Echtzeitgeschwindigkeiten darstellt. Schließlich wird STS-MIP primär für Röntgen-CT-Angiographie des Thorax verwendet, während DL-MIP in der vorliegenden Erfindung für dreidimensionale Sonographiebilderzeugung und andere Formen von dreidimensionalen volumetrischen Bilddaten angewendet wird.
Die adaptiven Varianten von DL-MIP und DL-Raysum identifizieren für jedes Pixel einen Tiefenwert, der die Tiefe des ersten Voxel ist, der die gewählte adaptive Bedingung erfüllt. Diese Tiefenwerte können genutzt werden, um die sich ergebenden Bilder durch Vertiefen des Kontrastes entsprechend einem von mehreren, dem Fachmann in dieser Technik bekannten, Shading-Verfahren zu verbessern. Zwei brauchbare gegenwärtig bevorzugte Shading-Verfahren sind Tiefen-Shading und Oberflächen-Shading.
Wenn Tiefen-Shading angewendet wird, werden die Pixelhelligkeiten um einen Multiplikationsfaktor, der umgekehrt proportional zu der Tiefe ist, verringert. Beim Oberflächen-Shading werden die gesammelten Tiefenwerte für alle Pixel bei der Projektion des Modells als eine Oberfläche in drei Dimensionen behandelt und die Wirkungen von Licht von einer Lichtquelle oder von mehreren Lichtquellen, das von dieser Oberfläche in Richtung der Augposition des Betrachters reflektiert wird, werden Verfahren (zum Beispiel Lambert'sche Reflexionsmodellierung) entsprechend, die dem durchschnittlichen Fachmann auf dem Gebiet der dreidimensionalen Computergrafiken bekannt sind, modelliert.
Dementsprechend zeigt 28 das Ergebnis der Anwendung von Oberflächen-Shading auf das Ergebnis einer ADL-MIP-Projektion und kann mit 25 verglichen werden, die eine ADL-MIP ohne Shading zeigt. Gleichermaßen zeigt 27 das Ergebnis der Anwendung von Oberflächen-Shading auf das Ergebnis der ADLRaysum-Bildverarbeitung und kann mit 26 verglichen werden, die eine ADL-Raysum ohne Shading zeigt.
Erneut Bezug auf die 7 nehmend, wird, nachdem das dreidimensionale Bild und das Modell auf dem Bildschirm 36a des Monitors 36 angezeigt werden, die ursprüngliche Ansicht in dem Speicher 82 mit der Bilddatenanordnung gespeichert und als „Reset-Ansicht" indiziert. Deshalb existieren nach der Initia lisierung vier gespeicherte Ansichten der Bilddatenanordnung und können aus dem Speicher abgerufen und angezeigt werden, wenn ein zugehöriges Symbol ausgewählt wird, wie beschrieben werden wird. Es liegt auf der Hand, dass die Anzahl von gespeicherten Ansichten willkürlich ist und das weniger oder mehr Ansichten erzeugt und gespeichert werden können. Wenn die Initialisierung abgeschlossen ist, beginnt das Anzeigemodul 92 das grafische Eingabemittel 38 kontinuierlich zu überwachen, um Eingabebefehle zu detektieren, die erwünschte Manipulationen darstellen, die an dem angezeigten Bild durchzuführen sind (siehe 7a bis 7d). Falls durch das Anzeigemodul 92 Eingabebefehle detektiert werden, manipuliert das Anzeigemodul das angezeigte Bild in Übereinstimmung mit den empfangenen Eingabebefehlen.
Obwohl das Anzeigemodul 92 so beschrieben worden ist, dass es die zweidimensionalen Ultraschallbilddaten aus dem physikalischen Speicher 82 abruft und die anderen zugehörigen Daten aus dem Speicher 88 abruft, nachdem das gesamte Zielvolumen abgetastet worden ist, liegt es für einen Fachmann in der Technik auf der Hand, dass die Kalibrierungsdatei durch das Anzeigenmodul 92 vor der Erfassung der zweidimensionalen Ultraschallbilddaten abgerufen werden kann. In diesem Fall beschreiben die anderen zugehörigen Bilddaten in der Kalibrierungsdatei nicht die erfassten zweidimensionalen Ultraschallbilddaten an sich, sondern beschreiben stattdessen den Speicherort und die Kennzeichen der Struktur in dem physikalischen Speicher 82, in dem das zweidimensionale Ultraschallbild erfasst werden wird. Wenn das System in dieser Art und Weise betrieben wird, ist das Anzeigemodul 92 in der Lage, ein dreidimensionales Bild des Zielvolumens nahezu gleichzeitig, während das Zielvolumen abgetastet wird, bereitzustellen.
Obwohl das System 20 so beschrieben worden ist, dass es die Ultraschallsonde 24 entlang einem linearen Abtastweg Z bewegt, liegt es für einen Fachmann in dieser Technik auf der Hand, dass andere Ultraschallsonden-Abtastgeometrien verwendet werden können. Unter diesen Umständen müssen die anderen zugehörigen Bilddaten in der Kalibrierungsdatei geändert werden, um die Abtastgeometrie zu berücksichtigen, so dass eine relativ unkomplizierte Transformation verwendet werden kann, um die zweidimensionalen Ultraschallbilddaten in eine volumetrische Bildanordnung umzuwandeln.
Dreidimensionale Bildmanipulation
Sämtliche Manipulationen des angezeigten Bildes können mit Hilfe des grafischen Eingabemittels 38 durch drei Handlungen ausgeführt werden Diese Handlungen werden als „Zeigen", „Klicken" und „Ziehen" bezeichnet. Zu „zeigen" bedeutet, das grafische Eingabemittel 38 so zu bewegen, dass der Cursor auf dem Bildschirm 36a auf einem erwünschten Bereich angeordnet ist, ohne seine Taste niederzudrücken. Zu „klicken" bedeutet, die Taste des grafischen Anzeigemittels niederzudrücken, während „ziehen" bedeutet, dass grafische Eingabemittel zu bewegen, während die Taste niedergedrückt ist. Der Ausdruck „point-click-drag sequence" (Abfolge des Zeigens, Klickens und Ziehens) wird verwendet, um die vollständige Handlung des Bewegens des Cursors in einen erwünschten Bereich auf dem Bildschirm über das grafische Eingabemittel, des Niederdrückens der Taste des grafischen Eingabemittels, des Bewegens des grafischen Eingabemittels zu einem anderen erwünschten Bereich, mit der Taste niedergedrückt, und des Freigebens der Taste zu bezeichnen. Spezieller werden Manipulationen des Bildes ent sprechend dem Bereich ausgeführt, in dem der Klickaspekt der Abfolge des Zeigens, Klickens und Ziehens erfolgt.
Sobald die Initialisierungsroutine abgeschlossen worden ist und das Modell und das dreidimensionale Bild auf dem Bildschirm angezeigt werden, wird das grafische Eingabemittel überwacht, um zu bestimmen, ob der Benutzer wünscht, das angezeigte Bild zu manipulieren. Die Manipulationen, die durch das Anzeigemodul 92 unterstützt werden, sind Drehen des gesamten Modells und des dreidimensionalen Bildes um eine beliebige Achse, Verschieben der ausgewählten Ebene des Modells und Drehen der ausgewählten Ebene des Modells um eine beliebige Achse. Im Folgenden wird die Art und Weise beschrieben, in der das Anzeigemodul 92 Bewegung des grafischen Eingabemittels 38 interpretiert und das angezeigte Modell und das Bild in Reaktion auf das grafische Eingabemittel 38 manipuliert.
Das Anzeigemodul 92 überwacht das grafische Eingabemittel 38 kontinuierlich, um die Position des Cursors auf dem Bildschirm zu bestimmen und um festzustellen, ob ein Klicken erfolgt ist. Spezieller bestimmt das Anzeigemodul 92, ob der Cursor innerhalb des Außenbereichs einer sichtbaren Modellfläche angeordnet ist (Block 324). Falls der Cursor innerhalb eines solchen Außenbereichs positioniert ist, färbt das Anzeigemodul 92 die Umfangslinien dieser Modellfläche blau (Block 326). Adernfalls ändert das Anzeigemodul 92 die Farbe aller Umfangslinien, die blau gewesen sein können, in ihre vorherige Farbe (Block 328). Das Anzeigemodul 92 stellt ebenso fest, ob ein Klicken erfolgt ist (Block 330). Falls ein Klicken erfolgt ist, wird die Bewegung des grafischen Eingabemittels 38 verfolgt. Das Anzeigemodul 92 bewegt den Cursor auf dem Bildschirm 36a, um der Bewegung des grafischen Eingabemittels zu folgen (Blöcke 332 und 334). Während der Cursor bewegt wird, kehrt das Anzeigemodul 92 zu dem Block 324 zurück, so dass die Umfangslinien der sichtbaren Flächen die Farben in Abhängigkeit von der Position des Cursors ändern, wie gerade beschrieben.
Wenn ein Mausklick detektiert ist, wird die Position des Cursors auf dem Bildschirm 36a geprüft, um festzustellen, ob der Cursor innerhalb des Hauptanzeigefensters angeordnet ist (Block 336). Falls der Cursor außerhalb des Hauptanzeigefensters ist, stellt das Anzeigemodul 92 fest, ob der Cursor über einem Optionssymbol positioniert ist (Block 338). Falls der Cursor nicht über einem Optionssymbol ist, wird das Klicken ignoriert und das grafische Eingabemittel 38 wird überwacht, bis die Taste freigegeben wird (Block 339). Zu dieser Zeit kehrt das Anzeigemodul 92 zu dem Block 324 zurück. Falls der Cursor jedoch über einem Optionssymbol positioniert ist, führt das Anzeigemodul 92 eine Routine aus, die mit dem ausgewählten Optionssymbol verknüpft ist, wie beschrieben werden wird.
Falls ein Klicken des grafischen Eingabemittels erfolgt und der Cursor innerhalb des Hauptanzeigefensters positioniert ist, wie in dem Block 336 detektiert, stellt das Anzeigemodul 92 fest, ob der Cursor innerhalb des Innenbereichs oder des Außenbereichs einer angezeigten Modellfläche oder im Hintergrund angeordnet ist (Block 340). Falls der Cursor im Hintergrund angeordnet ist, bestimmt das Anzeigemodul 92, dass der Benutzer wünscht, das gesamte Modell und das dreidimensionale Bild zu drehen. In diesem Fall werden, wenn die Taste niedergedrückt worden ist, die Ziehrichtung und die Ziehstrecke des grafischen Eingabemittels 38 überwacht (Block 342). Während das grafische Eingabemittel 38 gezogen wird, werden die Ziehrichtung und die Ziehstrecke kontinuierlich zu dem Anzeigemodul 92 übertragen (Block 344). Die Ziehstrecken- und die Ziehrichtungswerte werden durch das Anzeigemodul 92 verwendet, um das dreidimensionale Modell und Bild zu drehen und um die An zeige zu aktualisieren, um die Drehung auf dem Bildschirm zu zeigen (Block 345). Sobald die Taste des grafischen Eingabemittels 38 freigegeben worden ist, wird die Manipulation als abgeschlossen betrachtet und das Anzeigemodul 92 kehrt zu dem Block 324 zurück (Block 346).
Einem durchschnittlichen Fachmann in dieser Technik ist eine Vielzahl von Techniken zum Konvertieren von Maus-Ziehstrecke und -richtung in dreidimensionale Rotationsachsen und Winkelparameter bekannt. Die bevorzugte Ausführung der vorliegenden Erfindung nutzt Shoemakes „Arcball-Technik", die in den Veröffentlichungen von Graphics Interface 92, herausgegeben durch die Association For Computing Machinery (ACM) beschrieben wurde. Der Fixpunkt der Rotation des dreidimensionalen Bildes ist darauf beschränkt, die geometrische Mitte des Ausgangsmodells zu sein. Infolgedessen verursacht bei dieser Manipulation Bewegung des grafischen Eingabemittels vertikal auf dem Bildschirm 36 durch die Mitte des angezeigten Bildes, dass sich das angezeigte Bild um eine horizontale Achse dreht, während Bewegung des grafischen Eingabemittels horizontal durch die Mitte 34 des Bildes verursacht, dass sich das angezeigte Bild um eine vertikale Achse dreht.
Die 8a bis einschließlich 8c zeigen das Modell und das dreidimensionale Bild innerhalb des Hauptanzeigefensters, die einer Drehung um eine vertikale Achse unterzogen werden, während das grafische Eingabemittel 38 bewegt wird, um den Cursor von Mitte rechts nach Mitte links über das Hauptanzeigefenster zu ziehen. Die 9a bis einschließlich 9c zeigen das Modell und das dreidimensionale Bild, die einer Drehung um eine Achse unterzogen werden, die ungefähr 30° von der Horizontalen abgewinkelt ist und nach oben und nach rechts ansteigt, während das grafische Eingabemittel 38 bewegt wird, um den Cursor von oben links nach unten rechts über das Hauptanzeigefenster zu ziehen. Es liegt auf der Hand, dass dieser Betrieb dem Benutzer das Gefühl gibt, auf das angezeigte Bild zuzugreifen und es herumzuziehen. Weitere Einzelheiten dieser Manipulation können der oben erwähnten Veröffentlichung entnommen werden.
Zum besseren Verständnis von Manipulationen des Modells über das einfache Drehen des ganzen Modells hinaus, ist es erforderlich, das Polyedermodell ausführlicher zu beschreiben. Mathematisch kann ein konvexes Polyeder als der Schnitt einer Menge von Halbräumen, definiert durch wenigstens vier Ebenen, hierin als Grenzebenen bezeichnet, beschrieben werden. Jede der Flächen des Polyeders ist ein konvexes Polyeder, eingebettet in die entsprechende Grenzebene. Durch Ändern der Parameter der Grenzebenen (d. h. der Koeffizienten des Anzeigemoduls 92, um eine Kopie der gescherten volumetrischen Bildanordnung aus dem Speicher 88, A, B, C, D, in der Ebenengleichung Ax + By + Cz = D, abzurufen) kann die Form des Modellpolyeders modifiziert werden. Die Anzahl von Grenzebenen kann ebenso geändert werden. Spezieller können neue Grenzebenen hinzugefügt werden und vorhandene Ebenen aus der mathematischen Spezifikation des Modells entfernt werden. Im Ergebnis gewinnt oder verliert das Modellpolyeder Flächen.
Das Anzeigemodul 92 unterstützt zwei Hauptmanipulationen der Grenzebenenkoeffizienten, nämlich Verschiebung (Änderung des Koeffizienten D, der hauptsächlich den senkrechten Abstand von der Ebene zu dem Koordinatenursprung bestimmt) und Drehung (Änderung der Koeffizienten A, B, C, die zusammen die Ausrichtung der Ebene relativ zu den Koordinatenachsen bestimmen). Wie unten beschrieben werden wird, wird die Wahl, auf welche Grenzebene (und folglich auf welche entsprechende Modellfläche) einzuwirken ist und ob Verschiebung oder Drehung durchzuführen ist, durch die kontextabhängige Interpretation der Abfolge des Zeigens, Klickens und Ziehens relativ zu dem angezeigten Modell bestimmt. Das Anzeigemodul 92 stellt außerdem Mittel zum Hinzufügen und Löschen von Grenzebenen zu und aus der Modellspezifikation bereit, wie ebenso unten beschrieben werden wird.
Es wird eine Unterscheidung zwischen ursprünglichen Grenzebenen, die Aspekte des Modells sind, das der volumetrischen Bildanordnung V(x, y, z) zugeordnet ist, wenn es zuerst in den Speicher geladen wird (Blöcke 310 und 312 in 6), und Ebenen, die in Reaktion auf eine Benuterzereingabe hinzugefügt werden, gemacht. Modellflächen, die ursprünglichen Grenzebenen entsprechen, weisen ihre Umfangslinien als weiße Linien angezeigt auf, während Flächen, die hinzugefügten Ebenen entsprechen, mit Hilfe einer anderen Farbe, üblicherweise Gelb oder Grün, angezeigt werden. Nur hinzugefügte Ebenen können verschoben, gedreht oder gelöscht werden. Die Ursprungsebenen stellen die Grenzen des volumetrischen Bildes dar und stellen die Mittel zum Unterstützen des Hinzufügens von neuen Ebenen dar.
Wenn in dem Block 340 das Klicken detektiert ist und der Cursor als innerhalb des Umfangs der angezeigten Modellfläche festgestellt ist, wird die Fläche des Modells, in der der Cursor positioniert ist, ermittelt und die Position des Cursors innerhalb der Fläche wird durch das Anzeigemodul 92 geprüft (Block 350 in 7c). Falls der Cursor innerhalb des Innenbereichs der Fläche positioniert ist, bestimmt das Anzeigemodul 92, dass es erwünscht ist, die entsprechende Grenzebene zu drehen. Danach prüft das Anzeigemodul 92 die entsprechende Ebene, um festzustellen, ob die Ebene eine Ursprungsebene ist, d. h. eine, die durch weiße Linien gekennzeichnet ist (Block 354). Falls die Ebene eine Ursprungsebene ist, wird eine neue Ebene erzeugt und zu dem Modell hinzugefügt (Block 356). Anfänglich ist die hinzugefügte Ebene kongruent mit der ursprünglichen Grenzebene. Sobald die hinzugefügte Ebene erzeugt wurde oder falls die Ebene in Block 354 nicht eine Ursprungsebene ist, werden die Umfangslinien, die die Ebene kennzeichnen (d. h. der Umfang der entsprechenden angezeigten Modellfläche) gelb gefärbt und alle Umfangslinien von weiteren hinzugefügten Ebenen werden grün gefärbt (Block 357).
Die Ziehstrecke und -richtung des grafischen Eingabemittels werden anschließend überwacht (Block 358). Das Anzeigemodul 92 bestimmt als Nächstes die Richtung der Verschiebung der hinzugefügten Fläche. Dafür berechnet das Anzeigemodul 92 das Punktprodukt des Ziehvektors und die Projektion eines Normalenvektors zu der Ebene auf dem Bildschirm 36a wird errechnet. Wenn das Punktprodukt positiv ist, wird die Ebene in die Richtung des Normalenvektors verschoben, falls negativ, wird sie in die entgegengesetzte Richtung verschoben. In der bevorzugten Ausführung sind die Modellspezifikationen derartig, dass alle Grenzebenen-Normalenvektoren von dem Inneren des Modellpolyeders weg weisen. Infolgedessen zieht Bewegung des grafischen Eingabemittels 38, die zu einem positiven Punktprodukt führt, die Ebene von der Mitte des Modells auswärts, während Bewegung des grafischen Eingabemittels 38, die zu einem negativen Punktprodukt führt, sie nach innen drückt (Block 360).
Falls die Richtung der Verschiebung der Ebene als einwärts festgestellt ist, prüft das Anzeigemodul 92 dahingehend, sicherzustellen, dass die Verschiebung nicht zum Kollaps des Modells führt (Block 362). Falls doch, kehrt das Anzeigemodul 92 zu Block 358 zurück, ohne das angezeigte Modell und das dreidimensionale Bild zu aktualisieren. Andernfalls erfolgt das Verschieben der hinzugefügten Ebene, die Verschiebung der hin zugefügten Ebene tritt ein und das Bild wird aktualisiert, um das geänderte Polyedermodell wiederzugeben, d. h. mit der Texturmapping-Technik. Die Punkte in der volumetrischen Bildanordnung V(x, y, z), die jenen auf der verschobenen Ebene entsprechen, werden durch Texturmapping auf die Ebene aufgebracht (Block 364).
Falls in Block 360 die Richtung der Verschiebung als auswärts festgestellt ist, prüft das Anzeigemodul 92 dahingehend, ob die Verschiebung zum Verschwinden des Modells führen könnte (Block 366). Wenn dies nicht der Fall ist, geht das Anzeigemodul 92 zu dem Block 364 weiter und aktualisiert das angezeigte Modell und das dreidimensionale Bild. Andernfalls vermerkt das Anzeigemodul 92, dass die Verschiebung zum Verschwinden der Ebene führen kann, bevor es zu dem Block 364 weitergeht (Block 368). Es liegt auf der Hand, dass während eine Ebene verschoben wird, verschiedene Querschnitte des Bildes betrachtet werden können, während die verschobene Ebene durch die volumetrische Bildanordnung V(x, y, z) schneidet. Sobald die Ebene verschoben worden ist, prüft das Modul dahingehend, festzustellen, ob die Ebene gelöscht wurde (Block 370). Falls nicht, werden die Umfangslinien der verschobenen Ebene gelb gefärbt und alle anderen Umfangslinien werden grün gefärbt (Block 372). Andernfalls werden die Umfangslinien der zuletzt modifizierten Ebene gelb gefärbt und alle anderen Umfangslinien werden grün gefärbt (Block 374). Wenn die Taste freigegeben wird, betrachtet das Anzeigemodul 92 die Verschiebungsmanipulation als abgeschlossen und kehrt zu Block 324 zurück (Block 376).
Wenn die hinzugefügte Ebene, die zu verschieben ist, nahezu parallel zu der Ebene des Bildschirms 36a ist, ist das oben beschriebene Punktprodukt im Wesentlichen null. In solchen Fällen berücksichtigt das Anzeigemodul 92 die vertikale Kompo nente der Bewegung des grafischen Eingabemittels, um die Richtung der Verschiebung und die Verschiebungsstrecke zu bestimmen. In diesem Fall veranlasst Aufwärtsbewegung des grafischen Eingabemittels 38 das Anzeigemodul 92 die hinzugefügte Ebene in das Modell 36a zu drücken, während Abwärtsbewegung des grafischen Eingabemittels das Anzeigemodul 92 veranlasst, die Ebene aus dem Modell zu ziehen. Die 10a bis einschließlich 10c zeigen das Modell und das Bild innerhalb des Hauptanzeigefensters, wobei eine Ebene des Modells in Richtung der geometrischen Mitte des Modells verschoben wurde.
Wenn ein Klicken detektiert ist und der Cursor innerhalb des Außenbereichs einer Modellfläche ist, wie in Block 350 festgestellt, bestimmt das Anzeigemodul 92, dass die entsprechende Grenzebene zu drehen ist. Das Anzeigemodul 92 prüft die Ebene, um festzustellen, ob die Ebene eine Ursprungsebene ist (Block 380). Falls die Ebene eine Ursprungsebene ist, wird eine neue Ebene, kongruent mit der Ursprungsebene, erzeugt und zu dem Modell hinzugefügt (Block 382). Die Umfangslinien der hinzugefügten Ebene werden gelb gefärbt. Sobald dies erledigt ist oder falls in dem Block 380 die Ebene keine Ursprungsebene ist, werden die Umfangslinien aller weiteren hinzugefügten Ebene grün gefärbt (Block 384).
Danach werden die Ziehstrecke und -richtung des grafischen Eingabemittels 38 überwacht und die Drehachse und -richtung des grafischen Eingabemittels werden durch das Anzeigemodul 92 mit Hilfe Shoemakes Technik, auf die zuvor Bezug genommen wurde, errechnet (Block 386). Danach stellt das Anzeigemodul 92 fest, ob die Drehung das Verschwinden der Ebene verursachen würde (Block 388). Falls so, kehrt das Anzeigemodul 92 zu dem Block 386 zurück, ohne das angezeigte Modell und das dreidimensionale Bild zu aktualisieren. Andernfalls dreht das Anzei gemodul 92 die hinzugefügte Ebene eine errechnete Menge um die geometrische Mitte des Ursprungsmodells. Während diese Drehung erfolgt, aktualisiert das Anzeigemodul 92 das Bild auf dem Bildschirm (Block 390). Dies ermöglicht, dass verschiedene Querschnitte des Bildes zu betrachten sind, während die gedrehte Ebene durch die volumetrische Bildanordnung V(x, y, z) schneidet. Die 11a bis einschließlich 11c zeigen das Modell und das dreidimensionale Bild innerhalb des Hauptanzeigefensters, wobei eine Ebene des Modells um eine Achse gedreht ist, die mit ungefähr 30° von der Horizontalen abgewinkelt ist und nach oben und nach rechts ansteigt. Auf Grund dieser Manipulation können neue schiefe Ebene zu dem Modell hinzugefügt werden. Sobald die Taste des grafischen Eingabemittels 38 freigegeben worden ist, wodurch angegeben wird, dass die Ebenendrehung abgeschlossen worden ist, kehrt das Anzeigemodul 92 zu Block 324 zurück (Block 392).
Aus der obigen Beschreibung sollte deutlich werden, dass wann immer Ursprungsebenen des Modells durch den Benutzer ausgewählt werden, um verschoben oder gedreht zu werden, zusätzliche Ebenen erzeugt werden und dass es die hinzugefügten Ebenen sind, die bewegt werden. Die Ursprungsebenen verbleiben, obwohl nicht auf dem Anzeigebildschirm gezeigt, in dem Speicher 82 gespeichert und können jederzeit erneut abgerufen werden, um die Anzeige wieder in ihren Ursprungszustand zurückzusetzen. Darüber hinaus sollte deutlich werden, dass weiße Linie eine Ursprungsebene kennzeichnen, grüne Linien eine hinzugefügte Ebene kennzeichnen, mit Ausnahme der zuletzt bewegten Ebene, die durch gelbe Linien gekennzeichnet ist, und blaue Linien kennzeichnen, dass die Ebene sich drehen wird, wenn eine Abfolge des Maus-Ziehens stattfindet.
Wenn eine hinzugefügte Ebene gedreht wird, kann die hinzugefügte Ebene schief werden, ist jedoch nicht zugelassen, um sich über die Grenze hinaus zu erstrecken, die durch die Ursprungsebenen definiert ist (siehe 11a bis 11c). Jede hinzugefügte Ebene kann ausreichend weit aus dem Modell verschoben werden, dass ihre entsprechende Modellfläche verschwindet. Wenn der Benutzer die Taste des grafischen Eingabemittels freigibt, nachdem die Fläche verschwunden ist, wird die Fläche aus dem Modell entfernt. Dies ermöglicht einem Benutzer unerwünschte hinzugefügte Ebenen zu löschen. Wenn die Taste des grafischen Eingabemittels nicht freigegeben wird, kann der Benutzer die hinzugefügte Ebene zurück in das Modell drücken, so dass die Ebene wieder sichtbar wird und kein Löschen stattfindet. Die 12a bis einschließlich 12d zeigen das Modell und das dreidimensionale Bild innerhalb des Hauptanzeigefensters, wobei eine schiefe Ebene des Modells weg vom der geometrischen Mitte des Modells verschoben wird, bis sie verschwindet. Obwohl anscheinend, wenn eine hinzugefügte Ebene ausreichend in das Modell hinein verschoben wird, das gesamte Modell kollabieren kann, lässt das Anzeigemodul 92 nicht zu, dass eine hinzugefügte Ebene so weit verschoben wird, um das Modell kollabieren zu lassen (siehe Block 362).
Während das grafische Eingabemittel 38 bewegt wird, um die Änderungen in der angezeigten Ansicht zu bewirken und die Anzeige, Zwischenpositionen und Zwischenausrichtungen der betroffenen Ebene oder Ebenen zeigend, aktualisiert wird, muss das Anzeigemodul 92 die volumetrische Bildanordnung V(x, y, z) erneut abtasten und den Wiedergabeprozess, einen Prozess diskreter Näherung, abschließen. In dieser Ausführung steht eine Anzahl von Resampling-Verfahren zur Verfügung, von denen jedes einen anderen Kompromiss zwischen Rechengeschwindigkeit und Bildqualität darstellt.
Um mit begrenzter Rechnerleistung einen reibungslosen Betrieb zu erreichen, kann die Anzeige mit weniger als der höchsten Auflösung des Monitorbildschirms berechnet (wiedergegeben) werden und/oder in dem Resampling-Prozess kann eine einfachere Interpolationstechnik verwendet werden. In dieser Ausführung wird die Anzeige in nicht weniger als drei Wiedergabeverarbeitungsschritten berechnet, von denen der erste und der dritte unterdrückt werden können, falls durch den Benutzer gewünscht, indem er über das grafische Eingabemittel 38 das entsprechende Optionssymbol auswählt. Der freigegebene/unterdrückte Status jedes Verarbeitungsschrittes ist derjenige, der in Block 324 während der Initialisierung tatsächlich als ein Standardstatus eingestellt wird. Der erste freigegebene Verarbeitungsschritt in der Sequenz kann nicht unterbrochen werden, d. h., während das grafische Eingabemittel bewegt wird, wird der erste freigegebene Verarbeitungsschritt in seiner Gesamtheit durchgeführt und ergibt eine Aufeinanderfolge von vollständigen Ansichten auf dem Bildschirm. Sich daran anschließende freigegebene Verarbeitungsschritte werden durch Bewegung des grafischen Eingabemittels automatisch unterbrochen, wobei das sichtbare Ergebnis ist, dass die angezeigte Ansicht lediglich durch eine Ansicht höherer Qualität (berechnet durch einen Wiedergabeverarbeitungsschritt, der unterbrochen werden kann) ersetzt wird, wenn in der Bewegung des grafischen Eingabemittels eine ausreichende Pause ist. Die drei Wiedergabeverarbeitungsschritte, die durch die vorliegende Ausführung unterstützt werden, sind:

1. Verringerte Bildreduktion, Nearest-Neighbour-Resampling,
2. volle Bildauflösung, Nearest-Neighbour-Resampling,
3. volle Bildauflösung, Nearest-Neighbour-Resampling.

Wie zuvor erwähnt, bestimmt das Anzeigemodul 92 in dem Block 338, wenn ein Klicken detektiert ist und der Cursor nicht in dem Hauptanzeigefenster positioniert ist, ob ein Optionssymbol ausgewählt worden ist. Die verfügbaren Optionssymbole ermöglichen dem Benutzer, Parameter auszuwählen, die von den Standardwerten verschieden sind, um die Bildanzeige zu verbessern, und spezielle Funktionsroutinen auszuführen. Diese Optionssymbole umfassen Reset, Ansichten A bis C, Merken, Schnappschuss, Animation, Indikatoren, Ausrichtung, Schnell, Smooth, Win, UV, Vergrößern und Messen. Die 13 stellt die meisten dieser Optionssymbole in einem Steuerungsanzeigefenster neben dem Hauptanzeigefenster dar. In diesem Beispiel wurden die bevorzugten Ansichten A bis C durch einen Benutzer als sagittal, koronal und axial gekennzeichnet. Im Folgenden werden die verfügbaren Optionen, die über ein Optionssymbol ausgewählt werden können, beschrieben.
Wenn das Symbol Reset ausgewählt wird, wird die Originalansicht des Bildes und Modells, die mit der volumetrischen Bildanordnung V(x, y, z) gespeichert sind, erneut berechnet und auf dem Bildschirm angezeigt. Gleichermaßen wird, wenn eines der Symbole der Ansichten A bis C ausgewählt wird, die entsprechende bevorzugte Ansicht erneut berechnet und angezeigt. Falls der Benutzer wünscht, eine Ansicht oder mehrere der Ansichten A bis C für eine laufende Sitzung auszutauschen, kann der Benutzer die angezeigte Ansicht durch die gespeicherte Ansicht ersetzen. Die vorliegenden Ausführung erlaubt dem Benutzer, ein bestimmtes Fenster zu öffnen, in dem die Symbol-Kennzeichnungen der Ansicht (in 13 zum Beispiel sagittal, koronal, axial usw.) angezeigt sind, und die Kennzeichnungen nach Bedarf zu bearbeiten. Änderungen, die an den Kennzeich nungen vorgenommen werden, halten nur für die aktuelle Sitzung vor, es sei denn, der Benutzer wählt aus, die Änderungen in dem Speicher 88 zu speichern, indem er ein für diesen Zweck bereitgestelltes Optionssymbol wählt, wobei in diesem Fall alle bevorzugten Ansichten, die der Datendatei zugehörig sind, überschrieben werden. Wenn das Symbol Merken ausgewählt wird, wird die aktuelle Ansicht auf dem Bildschirm in dem Speicher 82 gespeichert und überschreibt die Reset-Ansicht nur für die gegenwärtige Sitzung. Die mit der aktuellen Datendatei in dem Speicher 88 verknüpfte Reset-Ansicht wird nicht geändert, sondern nur die Kopie in dem Speicher 82. Diese Ansicht kann jederzeit erneut auf dem Bildschirm aufgerufen werden, es sei denn, sie ist durch einen anschließenden Gebrauch des Symbols Merken überschrieben oder bis das Überschreiben durch den Gebrauch des Symbols Merken erfolgt.
Es sollte anerkannt werden, dass eine gleichartige Zweisymboltechnik für die bevorzugten Ansichten A bis C genutzt werden kann. Jedoch ermöglicht die vorliegende Ausführung dem Benutzer, diese Ansichten in dem Speicher 82 zu überschreiben, indem während des Auswählens des entsprechenden Symbols der Ansicht eine spezielle Taste auf der Tastatur niedergehalten wird.
Wenn während Manipulation des Modells und des Bildes das Symbol Schnappschus ausgewählt wird, wird das gegenwärtig auf dem Hauptanzeigefenster angezeigte Bild als eine Datei in einem Industriestandard-Bilddateiformat in dem Speicher 88 gespeichert, damit es in der Folge mit anderer Software verwendet werden kann. Die vorliegende Ausführung nutzt „TIFF" (tagged image file format). Es versteht sich, dass das Hinzufügen von Unterstützung für andere Dateiformate in einer problemlosen Art und Weise durch nachfolgend veröffentlichte Formatspezifikationen umgesetzt werden kann.
Wenn das Animationssymbol ausgewählt wird, können animierte Sequenzen von angezeigten Ansichten erzeugt werden und in dem Speicher 82 in einem Industriestandard-Bilddateiformat gespeichert werden, wie zuvor beschrieben. Wenn das Animationssymbol ausgewählt wird, bestimmt das Anzeigemodul 92, ob mit Hilfe des Symbols Merken eine Ansicht des Bildes gespeichert worden ist, und ruft es ab. Wenn kein Bild mit Hilfe des Symbols Merken gespeichert worden ist, wird die Originalansicht abgerufen. Während dies erfolgt, erscheint das Animationsanzeigefenster auf dem Bildschirm 36a. Das Anzeigefenster ermöglicht dem Benutzer, die Anzahl von Zwischenansichten des angezeigten Bildes, die zu berechnen und anzuzeigen sind, zu wählen (siehe 14). Das Animationsanzeigefenster ermöglicht dem Benutzer außerdem, die Bildgröße anzupassen, der Animationssequenz einen Identifikator zuzuordnen und die Animation in Vorschau zu sehen, um sicherzustellen, dass die ausgewählten Parameter zufriedenstellend sind. Danach berechnet das Anzeigemodul 92 die Ausrichtung der Ansicht und die Position und die Ausrichtung jeder Fläche der Zwischenansichten durch gleichzeitige Interpolation zwischen den gespeicherten und den gegenwärtigen Ansichten.
Durch Nutzung von gleichzeitiger Interpolation muss der Benutzer nur zwei Ansichten eingeben, was die Anwendung der Funktion sehr vereinfacht. Zweitens wird dadurch ermöglicht, dass komplizierte Bildsequenzen erstellt werden können, die manuell nicht erzeugt werden können. Beim manuellen Ändern eines Bildes, kann eine Ebene entweder gedreht oder verschoben werden, jedoch nicht gleichzeitig gedreht und verschoben werden. Gleichzeitige Interpolation der Ebenenposition und – ausrichtung machen es möglich, eine animierte Ansichtssequenz herzustellen, in der eine Ebene gleichzeitig gedreht und verschoben wird. Es versteht sich, dass diese Funktion nur dann wie beschrieben implementiert werden kann, wenn die aktuellen und die gespeicherten Ansichten dieselbe Anzahl von Ebenen aufweisen.
Falls das Symbol Indikator gewählt wird, wird das Modell mit Achsenindikatoren angezeigt, um Standardrichtungen des Bildes anzuzeigen, wie zum Beispiel vorn F, hinten B, links L usw. Diese Symbole können durch den Benutzer geändert werden, um an die Anwendung angepasst zu sein. Beispielsweise können die Symbole bei opthalmischer Bilderzeugung die üblichen Augachsen darstellen, d. h. superior S, inferior 1, nasal N und temporal T. Dieser Indikatoren gleiten, während sich die Ansicht des angezeigten Bildes ändert. Um Verwirrung zu vermeiden, wird bevorzugt, dass die Achsenindikatoren verschwinden, wenn die aktuelle Ansichtsausrichtung sie hinter das angezeigte Modell setzen würde.
Bei einigen Anwendungen, wie zum Beispiel medizinischer Bilderzeugung, ist es erwünscht, die gegenwärtige räumliche Beziehung des Modells zu einer Darstellung der Struktur, die Bilderzeugung unterzogen worden ist, zu zeigen. Dies kann erreicht werden, wenn das Symbol Ausrichtung gewählt wird. Wenn dieses Symbol ausgewählt ist, wird die Darstellung der Struktur, die Bilderzeugung unterzogen wird, aus einer Liste gespeicherter Strukturen ausgewählt. Die Struktur wird mit Hilfe von herkömmlichen dreidimensionalen Computergrafiktechniken modelliert. Die Struktur wird dann als ein semitransparentes Körperobjekt angezeigt, das das Modellpolyeder entweder in dem Hauptanzeigefenster oder in einem zweiten Anzeigefenster, an anderer Stelle auf dem Monitorbildschirm, schneidet. Dies erfordert die Verwendung einer Wiedergabetechnik, die offen legt, wie sich die Struktur und das Modellpolyeder schneiden. Die Position, die Größe und die räumliche Ausrichtung der Struktur relativ zu dem Modellpolyeder, die durch eine 4 × 4 Transformationsmatrix ausgedrückt werden können, müssen bestimmt werden. Wenn dieses Symbol gewählt wird, wird das Strukturanzeigefenster aktualisiert, während der Benutzer die angezeigte Ansicht manipuliert, so dass die zwei Anzeigen immer in derselben Art und Weise ausgerichtet sind. Wenn die Rechnerleistung begrenzt ist, ist es zulässig, die Strukturanzeige weniger häufig zu aktualisieren als das Hauptanzeigefenster, beispielsweise die Aktualisierung des Ersteren zu unterdrücken, bis es eine Pause in der Benutzereingabe gibt. Dieser Ansatz, der am besten funktioniert, wenn die Struktur in einem von dem Hauptanzeigefenster verschiedenen Fenster angezeigt wird, wird in der vorliegenden Ausführung verwendet. Die 15a bis einschließlich 15c zeigen sowohl das Modell und das dreidimensionale Bild innerhalb der Hauptfensteranzeige als auch die Struktur eines Auges in einem zweiten Anzeigefenster, neben der Hauptfensteranzeige. Wie aus den 15 und 15b ersichtlich, ist das zweite Anzeigefenster klein und unter dem Steueranzeigefenster angeordnet, während das zweite Anzeigefenster in der 15c vergrößert worden ist.
Die Symbole Schnell und Smooth können einzeln gewählt oder wieder abgewählt werden, um den ersten und den dritten Wiedergabeverarbeitungsschritt, die zuvor beschrieben wurden, freizugeben oder zu unterdrücken (der zweite Verarbeitungsschritt ist immer freigegeben). Der Ausgangsstatus dieser Symbole wird während der Initialisierung in Block 324 eingerichtet. Es sollte anerkannt werden, dass dieses allgemeine Schema geringfügig verändert werden kann, beispielsweise durch Hinzufügen eines vierten Verarbeitungsschrittes mit einem entsprechenden Optionssymbol zum selektiven Freigeben oder Unterdrücken, falls erwünscht.
Jeder angezeigte Punkt der Bildanordnung V(x, y, z) wird durch Pseudofarbmapping in eine Pixelhelligkeit oder Farbe umgewandelt. Die Zuständigkeit des Pseudofarbmappings ist der Bereich von Werten in der volumetrischen Bildanordnung V(x, y, z). Das Pseudofarbmapping kann durch einen Benutzer über die Fenster- und Stufen-Gleitsteuerungen (in den 13 bis einschließlich 15 als Win und Lev gekennzeichnet) eingestellt werden, um zu ermöglichen, dass Kontrast, Helligkeit usw. der Anzeige verbessert werden. Die Ausdrücke Fenster und Stufe und ihre Interpretation sind auf dem Gebiet der medizinischen Bilderzeugung inzwischen standardisiert. Die vorliegende Erfindung ist in dieser Hinsicht mit der etablierten medizinischen Bilderzeugungspraxis übereinstimmend.
Wenn das Symbol Vergrößern gewählt wird, erscheint ein Vergrößerungsfenster überlagernd auf dem Hauptanzeigefenster und kann über die angezeigte Ansicht bewegt werden. In der Mitte des Fensters sind Fadenkreuze angeordnet und können über einem bestimmten Bereich der angezeigten Ansicht angeordnet werden. Wenn die Fadenkreuze an der angemessenen Stelle sind, kann der Benutzer das grafische Eingabemittel nutzen, um die Vergrößerung des Bereichs, auf dem die Fadenkreuze angeordnet sind, einzustellen.
Wenn das Symbol Messen ausgewählt wird, erscheint ein Messanzeigefenster auf dem Bildschirm (siehe 14). Der Benutzer kann das grafische Eingabemittel verwenden, um Strecken und Flächeninhalte des dreidimensionalen Bildes innerhalb der zuletzt bewegten Ebene (d. h. derjenigen, die durch gelbe Linien gekennzeichnet ist) zu messen. Falls der Benutzer wünscht, eine Strecke zu messen, muss der Benutzer lediglich das grafische Eingabemittel 38 verwenden, um die beiden Endpunkte an zugeben, zwischen denen die Strecke zu messen ist. Falls ein Flächeninhalt zu messen ist, muss der Benutzer wenigstens drei Punkte identifizieren. Wenn der Cursor über die zuletzt bewegte Ebene bewegt wird, verändert er sich in Fadenkreuze, um das Anordnen der Punke auf dem Bild zu erleichtern. Das Anzeigemodul 92 verbindet in diesem Modus angrenzende Punkt durch gerade Liniensegmente und berechnet unter Verwendung eines angemessenen Maßstabs sowohl die Gesamtlinienlängen als auch den Flächeninhalt, der durch die Linien begrenzt wird, die die Punkte verbinden.
Falls erwünscht ist, die Ziehempfindlichkeit zu ändern, kann der Benutzer eine bestimmte Taste auf der Tastatur niederdrücken und dies wird den Skalierungsfaktor für so lange, wie die Taste niedergedrückt ist, anpassen. Dies ermöglicht größere oder kleinere Mausbewegungen. Dies kann selbstverständlich ebenso durch Vergrößerung oder Verkleinerung des Hauptanzeigefensters erreicht werden.
Obwohl die Animationsfunktion so beschrieben worden ist, dass sie eine Sequenz von verschobenen und/oder gedrehten Bildern animiert, kann ebenso die Cine-Loop-Technik angewendet werden, um vierdimensionale Bildanordnungen zu visualisieren. In diesem Fall sind die vierdimensionalen Bilder Serien von dreidimensionalen Bildern desselben Zielvolumens, erfasst zu verschiedenen Zeiten. Beispielsweise ist es bei Transoesophagus-Ultraschallbilderzeugung des Herzens möglich, eine Vielzahl von Bildern des schlagenden Herzens zu erfassen und zu rekonstruieren, wobei jedes einem verschiedenen Punkt m in dem kardialen Zyklus entspricht. Die dreidimensionalen Bilder werden alle dieselbe räumliche Interpretation aufweisen und infolgedessen ist es möglich, allen davon gleichzeitig ein einzelnes begrenzendes Modell aufzuerlegen. Der Schnitt des Modellpolye ders mit jedem Volumenbild ergibt ein zweidimensionales Bild. Die Bilder können berechnet und in Zeitreihenfolge als eine Cine-Loop angezeigt werden.
Obwohl das System so beschrieben wurde, dass es eine Maus mit einer Taste enthält, um einem Benutzer das Eingeben von Befehlen zu ermöglichen, liegt es für einen durchschnittlichen Fachmann in der Technik auf der Hand, das eine Maus mit mehreren Tasten, ein Digitalisierer, ein Lichtstift, eine Steuerkugel, eine Tastatur oder dergleichen oder jede Kombination der zuvor genannten verwendet werden können. Wenn andere Eingabe-/Ausgabemittel genutzt werden, können verschiedene Eingaben verwendet werden, um verschiedene Befehle darzustellen oder um die verschiedenen Optionssymbole auszuwählen.
Wenn anstelle der Maus mit einer Taste ein anderes grafisches Eingabemittel verwendet wird, kann die Manipulation eines Bildes durch Drehen einer Ebene des Modells verbessert werden. Wenn beispielsweise eine Maus in Verbindung mit einer Tastatur verwendet wird und eine Tastatureingabe genutzt wird, um anzugeben, dass es erwünscht ist, eine Ebene zu drehen, kann der Festpunkt der Drehung der Ebene durch die Position der Maus bestimmt werden, wenn diese geklickt wird, und die Tastatureingabe angibt, dass Drehung der Ebene ausgewählt ist. Dies ermöglicht, dass Drehen der Ebene um einen Punkt, der von der geometrischen Mitte des Ursprungsmodells verschieden ist.
Wenn eine Maus mit zwei Tasten als die Eingabe-/Ausgabeeinrichtung genutzt wird, kann einer der Tasten zugeordnet werden, Verschiebung einer Ebene anzugeben und der anderen Taste kann zugeordnet werden, Drehung einer Ebene anzugeben. Dies beseitigt den Bedarf, die Position des Cursors zu prüfen, um festzustellen, ob er innerhalb von Innenbereichen oder Außenbereichen der ausgewählten Modellfläche ist.
Obwohl die dreidimensionale Bildanzeigetechnik in einem dreidimensionalen Ultraschallbilderzeugungssystem beschrieben wurde, liegt es auf der Hand, dass die Bildanzeigetechnik in verschiedenen Umgebungen genutzt werden kann, in denen ein dreidimensionales Bild manipuliert werden muss, um verschiedene Ansichten des Bildes zu visualisieren. Spezieller kann die vorliegende Anzeigetechnik verwendet werden, um jede volumetrische Bildanordnung V(x, y, z) anzuzeigen, die eine direkt abgetastete Funktion, definiert über einen dreidimensionalen Raum, darstellt. Dies ermöglicht, dass die Anzeigetechnik in anderen Umgebungen nutzbar ist, wie zum Beispiel bildgebende Kernspinntomographie (MRI) und Röntgen-Computertomographie (CT).
Obwohl das System 20 so beschrieben worden ist, dass es ein klinisches Ultraschallgerät 28 und einen Computer 32 enthält, ist vorgesehen, dass ein Einzelgerät verwendet wird, um die Funktionen beider dieser Komponenten zu erfüllen.
Für einen Fachmann in dieser Technik liegen Änderungen und Modifikationen der vorliegenden Erfindung auf der Hand, die nicht von dem Umfang der vorliegenden Erfindung, wie in den beigefügten Ansprüche definiert, abweichen.

Claims

Dreidimensionales Bilderzeugungssystem zum Erfassen einer Abfolge zweidimensionaler Bilder eines durch eine Anordnung von Pixeln I (x, y, z) dargestellten Zielvolumens in einem dreidimensionalen durch eine volumetrische Bildanordnung V (x, y, z) dargestellten Bild, welches System Folgendes aufweist: Abtastmittel zum Abtasten des Zielvolumens entlang einer vorbestimmten geometrischen linearen Abtaststrecke und Erzeugen einer Abfolge digitalisierter zweidimensionaler Bilder davon, welche Querschnitte des Zielvolumens auf mehreren Ebenen, die sich entlang der linearen Abtaststrecke erstrecken, darstellen; Datenspeicherung der Abfolge digitalisierter zweidimensionaler Bilder zusammen mit anderen zugehörigen Bilddaten, welche die Lage der zweidimensionalen Bilder im Datenspeicher sowie Interpretationsinformationen bezüglich der relativen Position von Pixeln innerhalb der zweidimensionalen Bilder und der relativen Position von Pixeln in angrenzenden zweidimensionalen Bildern innerhalb des Zielvolumens definieren; Transformationsmittel, welche die digitalen zweidimensionalen Bilder und die anderen zugehörigen Bilddaten empfangen und Transformieren der zweidimensionalen Bilder und der anderen zugehörigen Bilddaten in eine volume trische Bildanordnung mit Hilfe einer Schertransformation; Anzeigemittel zum Erzeugen eines dreidimensionalen Bildes des Zielvolumens aus der volumetrischen Bildanordnung; und ein Bildverarbeitungsmittel zum Verarbeiten des dreidimensionalen Bildes des Zielvolumens zum Wiedergeben eines verbesserten dreidimensionalen Bildes.
Bilderzeugungssystem nach Anspruch 1, wobei die Quer schnitte in Bezug auf eine Achse, die normal zur linearen Abtaststrecke liegt, geneigt sind, und wobei das lineare Transformationsmittel die zweidimensionalen Bilder und die anderen zugehörigen Bilddaten mit Hilfe der Schertransformation in die volumetrische Bildanordnung transformiert.
Bilderzeugungssystem nach Anspruch 2, wobei die anderen zugehörigen Bilddaten einen Address-Pointer beinhalten, der die Position des Datenspeichers, an der die zweidimensionalen Bilddaten beginnen, zusammen mit Daten, welche die Anzahl der Pixel entlang der x- und y-Achse jedes zweidimensionalen Bildes darstellen, angibt.