DE60130264T2

DE60130264T2 - Führungssystem

Info

Publication number: DE60130264T2
Application number: DE60130264T
Authority: DE
Inventors: Syed Nadeem Ahmed; Ralf Alfons Kockro
Original assignee: Volume Interactions Pte Ltd
Current assignee: Volume Interactions Pte Ltd
Priority date: 2001-06-13
Filing date: 2001-06-13
Publication date: 2008-05-21
Anticipated expiration: 2021-06-14
Also published as: WO2002100284A1; ES2292593T3; US20050203367A1; US7493153B2; JP2005500096A; CA2486520A1; ATE371414T1; DE60130264D1; TW572749B; EP1395194A1; EP1395194B1

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein Führungssystem, insbesondere, jedoch nicht ausschließlich, ein chirurgisches Navigationssystem zum Unterstützen eines Chirurgen bei der Durchführung einer Operation. Ferner betrifft die Erfindung ein Verfahren und eine Vorrichtung zum Steuern eines derartigen Systems.
HINTERGRUND DER ERFINDUNG
Bildführungssysteme haben in der Neurochirurgie weitgehend Einzug gehalten und nachweislich die Genauigkeit einer breiten Bereichs von chirurgischen Prozeduren erhöht und deren Invasivität verringert. Gegenwärtig beruhen bildgeführte chirurgische Systeme ("Navigationssysteme") auf einer Abfolge von Bildern, die aus vor der Operation (zum Beispiel mittels MR oder CT) erfassten Daten konstruiert werden und die in Bezug auf den Patienten in der körperlichen Welt mittels eines optischen Trackingsystems registriert werden. Dazu werden Detektier-Marker an der Haut des Patienten angeordnet, und diese werden mit deren auf den Bilddaten sichtbaren Entsprechungen korreliert. Während des chirurgischen Eingriffs werden die Bilder auf einem Schirm in 3 orthogonalen Ebenen durch das Bildvolumen dargestellt, während der Chirurg eine Sonde hält, die durch das Trackingsystem verfolgt wird. Wird die Sonde in das Operationsfeld eingeführt, so wird die Position der Sondenspitze als Icon, das auf den Bildern eingezeichnet wird, dargestellt. Durch Verknüpfen der präoperativen Bilddaten mit dem tatsächlichen Operationsraum liefern Navigationssysteme dem Chirurgen wertvolle Informationen über die exakte Position eines Werkzeugs in Bezug auf die umliegenden Strukturen und tragen dazu bei, den intraoperativen Status mit der präoperativen Planung in Zusammenhang zu bringen.
Trotz dieser Stärken sind die derzeitigen Navigationssysteme mit verschiedenen Unzulänglichkeiten behaftet.
Erstens muss der Chirurg während des Navigationsvorgangs auf den Computermonitor und von dem Operationsgeschehen weg blicken. Dies pflegt den Arbeitsfluss der Operation zu unterbrechen und resultiert in der Praxis oft darin, dass die Operation eine Arbeit für zwei Personen ist, wobei der Chirurg durch das Mikroskop auf das Operationsgeschehen blickt und sein Assistent auf den Monitor blickt und ihn instruiert.
Zweitens setzt die Interaktion mit den Bildern während des chirurgischen Eingriffs (z.B. Umschalten zwischen CT und MR, Ändern der Schirmbildfenster, Aktivieren von Markern oder segmentierten Strukturen aus der Planungsphase, Farb- und Kontrasteinstellungen) die Bedienung eines Tastatur, einer Maus oder einer Touchscreen voraus, was den Chirurgen ablenkt und mühsam ist, da die Geräte mit sterilen Tüchern umhüllt werden müssen. Wenngleich Steuervorrichtungen vom Sondentyp vorgeschlagen wurden (siehe Hinckley K., Pausch R., Goble C.J., Kassel N.F.: A Survey of Design Issues in Spatial Input, Proceedings of ACM UIST'94 Symposium an User Interface Software & Technology, S. 213–222; und Mackinlay J., Card S., Robertson G.: Rapid Controlled Movement Through a Virtual 3D Workspace, Comp. Grap., 24(4), 1990, 171–176), weisen alle Unzulänglichkeiten beim Gebrauch auf.
Drittens ist die Tatsache, dass der Chirurg die räumliche Orientierung der Bildfolge, einschließlich deren verstandesmäßig rekonstruierte 3D-Informationen, mit der Orientierung des Kopfes des Patienten, der während der Operation abgedeckt ist, in Zusammenhang bringen muss, ein allgemeines Problem aller derzeitigen Navigationssysteme, die Bilddaten als orthogonale 2D-Schnitte darstellen.
Ein System, das sich durch Kombinieren der Sicht auf den Patienten mit bloßem Auge mit den computergenerierten Bildern einer See-Through-Augmentation bedient, wird zur Zeit erforscht (siehe Blackwell M., O'Toole R.V., Morgan F., Gregor L.: Performance and Accuracy experiments with 3D and 2D Image overlay systems, Proceedings of MRCAS 95, Baltimore, USA, 1995, S. 312–317; und DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon und Takeo Kanade: Medical Robotics And Computer Assisted Surgery in Orthopaedics, in Interactive Technology and the New Paradigm for Healthcare, herausgegeben von K. Morgan, R.M. Satava, H.B. Sieberg, R. Mattheus und J.P. Christensen, 88–90, IOS Press, 1995). Bei diesem System wird ein invertiertes Bild auf einem auf dem Kopf stehenden Monitor mittels eines halbdurchlässigen Spiegels über das Operationsgeschehen gelegt, um die Bilder zu kombinieren. Der Benutzer trägt ein Head-Tracking-System, während er den Spiegel und den sich darunter befindenden Patienten betrachtet. Allerdings berichten die Verfasser erhebliche Ungenauigkeiten zwischen dem virtuellen und dem realen Objekt.
Andere Systeme, die derzeit erforscht oder entwickelt werden, kombinieren computergenerierte Bilder mit dem Video des Operationsgeschehens, welches durch Kameras, die an festen Positionen in dem Operationssaal angeordnet sind, oder ein Head-Mounted-Display des Benutzers aufgenommen wird. Das kombinierte Signal wird dann in das HMD ("Head-Mounted-Display") eines Benutzers eingeschleust. Die drei Beispiele für derartige Projekte sind in Fuchs H., Mark A. Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Raul Rademacher, Samuel H. Drake und Anthony A. Meyer, MD, Augmented Reality Visualization for Laparoscopic Surgery, Proceedings of First International Conference an Medical Image Computing and Computer-Assisted Intervention (MICCAI'98), 11.–13. Oktober 1998, Massachusetts Institute of Technology, Cambridge, MA, USA; Fuchs H., State A., Pisano E.D., Garrett W.F., Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer S.M., (Towards) Performing Ultrasound-Guided Needle Biopsies from within a Head-Mounted Display, Proceedings of Visualization in Biomedical Computing 1996 (Hamburg, Deutschland, 22.–25. September 1996), S. 591–600; und in State, Andrei, Mark A. Livingston, Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs und Etta D. Pisano (MD), Technologies for Augmented-Reality Systems: realizing Ultrasound-Guided Needle Biopsies, Proceedings of SIGGRAPH 96 (New Orleans, LA, 4.–9. August 1996), in Computer Graphics Processing, Annual Conference Series 1996, ACM SIGGRAPH, S. 439–446, offenbart.
Eine andere Methode (offenbart in Edwards P.J., Hawkes D.J., Hill D.L.G., Jewell D., Spink R., Strong A., Gleeson M.: Augmented reality in the stereo microscope for Otolaryngology and neurosurgical Guidance, Proceedings of MRCAS 95, Baltimore, USA, 1995, S. 8–15) bedient sich eines Operationsmikroskops als Vorrichtung für das Einblenden von 3D-Grafiken. Durch "Bildinjektion" stereoskopischer Strukturen in die optischen Kanäle des Mikroskops sieht der Chirurg das eingeblendete Bild über dem Operationsgeschehen. Bei dieser Methode werden einfache Gitternetze mit relativ geringer Auflösung über dem Operationsgeschehen eingeblendet, ohne irgendwelche interaktiven Fähigkeiten vorzusehen. Die Verfasser berichten über Schwierigkeiten hinsichtlich der stereoskopischen Wahrnehmung der eingeblendeten Daten in Zusammenhang mit der realen Ansicht.
Die internationale Patentanmeldung WO 99/60529 beschreibt ein "Virtual-Reality"-System, wobei der sensorische Raum des Benutzers mit einem numerisch definiertem Raum des Rechners in Übereinstimmung gebracht wird.
Das Displaysystem umfasst eine hochkant stehende Displayeinheit und eine reflektierende Oberfläche, die zwischen einem Benutzer und der Displayeinheit angeordnet ist, derart, dass beim Gebrauch ein virtuelles Bild der Displayeinheit und ein durch die Displayeinheit angezeigtes Bild in einem natürlichen Arbeitsbereich des Benutzers erzeugt wird.
Ferner umfasst das System Positionserfassungsmittel (Sende- und Empfangsmittel) zum Erfassen wahrgenommener Bewegung des virtuellen Bildes durch den Benutzer, wobei die Bewegung in Bewegung des durch die Displayeinheit angezeigten Bildes umgesetzt wird.
Das US-Patent 5,662,111 beschreibt ein System zur quantitativen Computergrafikbestimmung der Position einer Anatomie eines Patienten und von Positionen an zugeordneten Geräten, die nahe der Anatomie des Patienten angeordnet sind, in Zusammenhang mit den anatomischen Daten, beispielsweise aus CT- oder MR-Aufnahmen. Zwei Kameras werden in Bezug auf die Anatomie des Patienten und die zugeordneten Geräte derart angeordnet, dass die Sichtfelder der Kameras aus verschiedenen Richtungen gewählt werden. Körper-Marker werden vor dem Abbilden der Anatomie des Patienten in Bezug auf die Anatomie des Patienten positioniert, um Indexdaten in den Bildscannerdaten vorzusehen. Die Daten werden umgewandelt und kombiniert, um Anzeigedaten zu bilden, die in den Scannerdatenkoordinaten referenziert werden, um Displaysignale vorzusehen. Ein Computergrafikdisplay wird mit den kombinierten Displaydaten angesteuert, um zugleich ein Bild anzuzeigen, das aktuell für das chirurgische Instrument in Zusammenhang mit der Anatomie des Patienten repräsentativ ist.
Das Europäische Patent EP 607 000 beschreibt ein kopfgeführtes Stereodisplaysystem zum Generieren virtueller Bilder über einen breiten Bewegungsbereich des Kopfes des Betrachters und zum Mischen von Licht vom virtuellen Objekt und vom realen Objekt in einer natürlichen Anordnung. Das System umfasst eine Displayvorrichtung zum Erzeugen von Stereobildern, die durch ein Computermittel gerendert werden, das mit einem Spiegel derart gekoppelt ist, dass der Spiegel die Stereobilder zu einem Betrachter überträgt. Ein Trackingsystem steuert die Positionen des Spiegels, um die Stereobilder zu dem Betrachter zu übertragen, während sich der Betrachter bewegt.
Das US-Patent 5,729,475 beschreibt ein optisches System zum Überwachen der Position und Orientierung eines Objekts in einem Referenzrahmen. Das System umfasst mindestens vier Lichtsensoren, von denen jeder ein Signal erzeugt, einen optischen Scanner, der ein Volumen, welches das Objekt enthält, abtastet, einen Signalgenerator, einen Timer und eine Rechenvorrichtung, welche die Position und die Orientierung des Objekts auf der Grundlage der durch den Timer aufgezeichneten Zeiten und der Koordinaten der Lichtsensoren berechnet.
Wenngleich sie zur Führung des Benutzers gedacht sind, sind diese Methoden allesamt in ihrer Anwendung und Brauchbarkeit eingeschränkt.
KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Erfindung zielt darauf ab, sich mit mindestens einem der oben genannten Probleme auseinander zu setzen und neue und zweckmäßige Navigationssysteme sowie Verfahren und Vorrichtungen zum Steuern derselben vorzuschlagen.
Die vorliegende Erfindung betrifft insbesondere ein System, das während eines chirurgischen Eingriffs verwendet werden kann. Allerdings ist die Anwendbarkeit der Erfindung nicht auf chirurgische Eingriffe beschränkt, und die unten besprochenen Systeme und Verfahren können im Kontext jedweder heiklen Operation und in der Praxis sowohl während einer Planungsphase wie auch einer intraoperativen Phase von Nutzen sein.
Der vorliegenden Erfindung liegt die Erkenntnis zu Grunde, dass es während des Navigationsvorgangs in einem Operationssaal entscheidend ist, in der Lage zu sein, problemlos und rasch mit einem chirurgischen Navigationssystem zu interagieren, beispielsweise um das Format der computergenerierten Bilder zu ändern. Darüber hinaus wäre es vorteilhaft, in der Lage zu sein, bestimmte chirurgische Prozeduren direkt am Operationssitus durch Zuhilfenahme der computergenerierten Bilder zu simulieren.
Allgemein schlägt die vorliegende Erfindung eine Sonde vor, die durch einen Benutzer gehalten werden soll, der eine Operation (z.B. einen chirurgischen Eingriff) innerhalb eines definierten Bereiches durchführt und dabei ein bildbasiertes Führungssystem mit einem Display zum Anzeigen computergenerierter Bilder (3D- und/oder 2D-Schnitte) des zu operierenden Subjekts verwendet. Die Sonde weist eine Position auf, die durch das System verfolgt wird und für den Benutzer sichtbar ist (beispielsweise da es das System dem Benutzer ermöglicht, die Sonde direkt zu sehen, oder aber da die computergenerierten Bilder ein Icon umfassen, welches ihre Position darstellt). Durch Bewegen der Sonde ist der Benutzer in der Lage, Informationen in das System einzugeben, um es zu steuern, beispielsweise um Änderungen der körperlichen Gestalt des Subjekts in dem durch den Computer angezeigten Bild herbeizuführen.
Die Erfindung schlägt ein Führungssystem zur Verwendung durch einen Benutzer vor, der eine Operation in einem definierten dreidimensionalen Bereich durchführt, wobei das System eine Datenverarbeitungsvorrichtung zum Generieren von Bildern des zu operierenden Subjekts in Koregistrierung mit dem Subjekt, ein Display zum Anzeigen der Bilder für den Benutzer, eine Sonde mit einer Position, die für den Benutzer sichtbar ist, und eine Trackingeinheit zum Verfolgen der Position der Sonde durch das System und Übertragen dieser Position an die Datenverarbeitungsvorrichtung umfasst,
wobei die Datenverarbeitungsvorrichtung angeordnet ist, um, nachdem der Benutzer die Sonde zu einem Auswahlbereich bewegt, der außerhalb des definierten Bereiches und diesen umgebend angeordnet ist, eine oder mehrere virtuelle Tasten zu generieren, wobei jede der Tasten einer entsprechenden Anweisung an das System zugeordnet ist,
wobei die Datenverarbeitungsvorrichtung angeordnet ist, um eine Auswahl einer beliebigen der virtuellen Tasten durch den Benutzer zu registrieren, wobei die Auswahl das Positionieren der Sonde in Bezug auf die scheinbare Position jener virtuellen Taste umfasst, und um das computergenerierte Bild basierend auf der Auswahl zu modifizieren.
Der definierte Bereich wird als "Bounding Box" bezeichnet, so dass der Benutzer in der Lage ist, die virtuellen Bereiche durch Bewegen der Sonde aus der Bounding Box heraus anzuzeigen. Dies bedeutet, dass das Maß an Bewegung, welches ein Benutzer ausführen muss, um zu bewirken, dass die virtuellen Tasten angezeigt werden, gering ist.
Um eine der virtuellen Tasten anzuzeigen, kann der Benutzer die Sonde zu einer Position innerhalb jener virtuellen Taste hinbewegen, jedoch kann er vorzugsweise eine Längsrichtung der Sonde in Richtung der gewünschten virtuellen Taste (z.B. zu der Mitte jener Taste mit einer bestimmten Toleranz) ausrichten. Diese letztere Möglichkeit bedeutet, dass die Sonde nur wenig bewegt werden muss, um zu einer der Tasten hin zu zeigen. Wenn diese Ausrichtung durchgeführt wurde, um zu einer der Tasten hin zu zeigen, kann der Benutzer einen gesonderten Bestätigungsbefehl eingeben (vorzugsweise mittels einer eigenen Dateneingabevorrichtung, die nicht durch die Hand des Benutzers, sondern zum Beispiel durch einen Fußschalter betätigt wird), um die Auswahl zu bestätigen. Um den Benutzer dabei zu unterstützen, die Sonde exakt auszurichten, kann eine Linie für den Benutzer angezeigt werden, die sich von der Sonde die Längsrichtung entlang erstreckt. Die Linie kann eine vordefinierte Länge oder eine durch den Benutzer geregelte Länge aufweisen (z.B. derart, dass der Benutzer eine virtuelle Taste nicht nur bloß über ihre Richtung, sondern auch über ihre Entfernung von der Sonde ansteuert).
Vorzugsweise werden die computergenerierten Bilder über das reale Bild des Subjekts gelegt und vorzugsweise in einem halbdurchsichtigen am Kopf befestigten Stereodisplay (HMD), das von einem Chirurgen zu tragen ist, angezeigt, derart, dass er oder sie die computergenerierten Bilder über der realen Sicht auf das zu operierende Subjekt liegend sieht, was durch das halbdurchsichtige Display (z.B. halbdurchsichtige Okulare) erreicht wurde. Das HMD wird mittels Tracking verfolgt, und der Computer generiert Bilder auf der Grundlage dieses Tracking, so dass, während sich der Chirurg bewegt, das reale und das computergenerierte Bild in Übereinstimmung bleiben.
Das System kann in zwei Betriebsarten verwendet werden. Erstens blickt während makroskopischer chirurgischer Eingriffe der Benutzer durch das Display in einem halbdurchsichtigen Modus und sieht stereoskopische Computergrafiken, die über das Operationsfeld gelegt wurden. Dies ermöglicht, dass der Chirurg "über die normale Sichtlinie hinaus" sehen kann, ehe ein Einschnitt gemacht wird, z.B. um die Position eines Tumors, der Schädelbasis oder anderer Zielstrukturen zu visualisieren.
Zweitens kann für mikroskopische chirurgische Eingriffe dasselbe Stereodisplay an (z.B. dem oberen Ende des Binokulars von) einem stereoskopischen Mikroskop befestigt werden, dessen Position verfolgt wird (als Alternative zum Tracking von Bewegungen des Benutzers). Die Computergrafiken in dem Display können mit den Vergrößerungs- und Fokusparametern des verfolgten Mikroskops verknüpft werden und daher eine "virtuelle" Sicht in das Operationsfeld einblenden.
Die 3D-Daten, die in dem Display dargestellt werden, können durch ein computerbasiertes neurochirurgisches Planungspaket namens VizDexter, welches bereits unter dem Namen VIVIAN veröffentlicht wurde und durch Volume Interactions aus Singapur entwickelt wurde, computergeneriert werden. VizDexter ermöglicht die Verwendung von multimodalen Bildern (CT und MR werden verschmolzen) in der Virtual-Reality-Umgebung des "Dextroscope" (wie beispielsweise in Kockro R.A., Serra L., Yeo T.T., Chumpon C., Sitoh Y.Y., Chua G.G., Ng Hern, Lee E., Lee Y.H., Nowinski W.L.: Planning Simulation of Neurosurgery in a Virtual Reality Environment, Neurosurgery Journal 46[1], 118–137, 2000.9, und in Serra L., Kockro R.A., Chua G.G., Ng H., Lee E., Lee Y.H., Chan C., Nowinski W.: Multimodal Volume-based Tumor Neurosurgery Planning in the Virtual Workbench, Proceedings of the First International Conference an Medical Image Computing and Computer-Assisted Inter vention (MICCAI), Massachusetts, Institute of Technology, Cambridge MA, USA, 11.–13. Oktober 1998, S. 1007–1016, offenbart wird.)
KURZE BESCHREIBUNG DER FIGUREN
Eine nicht einschränkende Ausführungsform der Erfindung wird nunmehr lediglich beispielhaft mit Bezugnahme auf die folgenden Figuren beschrieben. Es zeigen:
1 ein System, das eine Ausführungsform der vorliegenden Erfindung ist, im Gebrauch während eines chirurgischen Eingriffs;
2 die virtuelle Bounding Box und deren Beziehung in der Ausführungsform zu der Sonde und dem virtuellen Bedienfeld;
3 das Bedienfeld, das durch die Ausführungsform generiert wird;
4 ein Konzept kleiner Handgelenksbewegungen zum Bedienen von Tasten auf einem entfernten Bedienfeld bei der Ausführungsform;
5 die Verwendung der virtuellen ausfahrbaren Sonde als Navigationswerkzeug bei der Ausführungsform; und
6a–6c die Verwendung des virtuellen ausfahrbaren Bohrers bei einer virtuellen Operation unter Verwendung der Ausführungsform.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORM
Vor der Durchführung eines chirurgischen Eingriffes mittels der Ausführungsform der Erfindung werden tomographische Aufnahmen des Patienten aufgenommen, beispielsweise mittels standardmäßiger CT- und/oder MR-Scanner. Die auf diese Weise generierte Bildserie wird zu der VR-Umgebung des Dextroscope übertragen, und die Daten werden koregistriert und als multimodales stereoskopisches Objekt angezeigt, auf die Weise, die in den das Dextroscope beschreibenden Publikationen, auf die oben verwiesen wurde, offenbart wird. Während der Planungssitzung in dem Dextroscope identifiziert der Benutzer relevante chirurgische Strukturen und zeigt diese als 3D-Objekte an (ein als Segmentierung bezeichneter Prozess). Darüber hinaus können Landmarken und Operationswege markiert werden. Vor der eigentlichen Operation werden die 3D-Daten an das Navigationssystem in dem OP (Operationssaal) übertragen.
Das System, das eine Ausführungsform der vorliegenden Erfindung ist, ist in 1 schematisch dargestellt, wobei die verschiedenen Elemente nicht maßstabgetreu dargestellt sind. Das System umfasst ein kopfgetragenes Stereo-LCD-Display (HMD) 1 (gegenwärtig wird ein SONY LDI 100 verwendet). Das Display kann von einem Benutzer getragen werden oder alternativ dazu an einem Operationsmikroskop 3, das auf einer Konstruktion 5 getragen wird, angebracht und damit verbunden werden. Das System umfasst ferner eine optische Trackingeinheit 7, welche die Position einer Sonde 9 sowie die Positionen des HMD 1 und des Mikroskops 3 verfolgt. Eine derartige Trackingeinheit 7 ist im Handel erhältlich (Northern Digital, Polaris). Ferner umfasst das System einen Computer 11, der in der Lage ist, stereoskopisches Grafik-Rendering in Echtzeit durchzuführen und die computergenerierten Bilder über das Kabel 13 an das HMD 1 zu übertragen. Ferner umfasst das System einen Fußschalter 15, der Signale über das Kabel 17 an den Computer 11 überträgt. Ferner werden die Einstellungen des Mikroskops 3 (wie unten besprochen) über das Kabel 19 an den Computer 11 übertragen. Das zu operierende Subjekt ist mit 21 bezeichnet.
Wir bedienen uns einer passiven Trackingeinheit 7, die durch Detektieren von drei reflektierenden kugelförmigen Marker, die an einem Objekt befestigt sind, funktioniert. Durch Kenntnis und Kalibrierung der Gestalt eines Objektes, das die Marker trägt (beispielsweise eine schreibstiftförmige Sonde 9), kann dessen exakte Position in dem 3D-Raum, der durch die beiden Kameras des Trackingsystems erfasst wird, bestimmt werden. Um das LCD-Display 1 zu verfolgen, wurden drei Marker entlang ihrem oberen frontseitigen Rand (nahe der Stirn der Person, welche das Display trägt) befestigt. Das Mikroskop 3 wird anhand von reflektierenden Marker verfolgt, die an einer individuell angefertigten Trägerkonstruktion angebracht sind, welche an dem Mikroskop 3 derart befestigt ist, dass eine freie Sichtlinie auf die Kameras des Navigationssystems während der meisten der Mikroskopbewegungen ermöglicht wird. Am oberen Ende des Binokulars ermöglicht eine zweite Trägerkonstruktion, das LCD-Display 1 während mikroskopischer chirurgischer Eingriffe anzubringen. Die Polaris-Trackingeinheit 7 und das Mikroskop 3 kommunizieren mit dem Computer 11 über dessen seriellen Port. An den anderen Computerport ist der Fußschalter 15 zur Interaktion mit der virtuellen Schnittstelle während der chirurgischen Prozedur angeschlossen.
Der Kopf des Patienten 21 wird mit Hilfe von Hautmarkern (Fiducials), die vor der Imaging-Prozedur an die Haut angeklebt werden und an der Haut bleiben, bis der chirurgische Eingriff beginnt, mit den präoperativen volumetrischen Daten abgeglichen (für gewöhnlich sind mindestens sechs Fiducials erforderlich). Während des präoperativen Planungsvorgangs im Dextroscope werden die Marker gekennzeichnet und markiert. Im Operationssaal wird eine Sonde, die durch das Trackingsystem verfolgt wird, verwendet, um auf die Fiducials in der realen Welt (an der Haut) hin zu zeigen, die den auf den Bildern markierten entsprechen. Dann werden die 3D-Daten anhand eines einfachen halbautomatisierten Registrierungsvorgangs mit dem Patienten abgeglichen. Der Registrierungsvorgang liefert eine Umwandlungsmatrix, welche die virtuelle Welt derart umwandelt, dass sie der realen Welt entspricht. Dieser Registrierungsvorgang ist bei den meisten modernen neurochirurgischen Navigationssystemen Standard.
Nach Abschluss des Vorgangs der Registrierung von Bild zu Patienten trägt der Chirurg das HMD 1 und betrachtet den Patienten 21 durch den halbdurchsichtigen Schirm des Displays 1, wo die stereoskopische Rekonstruktion der segmentierten Bilddaten angezeigt wird. Der Chirurg nimmt die 3D-Daten als direkt über den tatsächlichen Patienten gelegt wahr, und es können, beinahe vergleichbar mit einer Röntgenblickfähigkeit, die 3D-Strukturen, die "innerhalb" des Kopfes erscheinen, aus unterschiedlichen Winkeln betrachtet werden, während der Betrachter seine Position wechselt.
Zunächst werden wir die Verwendung des Systems ohne das Mikroskop 3 erläutern. Wir bezeichnen dies als "STAR" (See Through Augmented Reality). Wir zeigen die Projektion des rechten und des linken Auges des in dem Computer 11 generierten Stereobildes auf dem rechten bzw. dem linken LCD des HMD 1 an. Nach dem Kalibrieren der Größe des Kopfes des Patienten und seiner Entfernung zu dem HMD 1 generiert der Computer 11 ein Bild, das genau der Sicht des Chirurgen auf den realen Patienten 21 entspricht, wodurch der Chirurg die genaue Übereinstimmung zwischen seinen während der Planung entwickelten Operationskonzepten und dem tatsächlichen Patienten 21 nachvollziehen kann. Dank der Sicht auf die virtuelle Zielstruktur ist der Chirurg in der Lage, den idealen Hauteinschnitt, die ideale Craniotomie und den idealen Weg zu einer Läsion zu wählen, ohne auch nur ein einziges Mal von dem Operationsgeschehen wegblicken zu müssen. Die Anwendungsmöglichkeiten von STAR reichen über die Neurochirurgie hinaus, beispielsweise bis in die Gebiete der Schädel- und Gesichtschirurgie oder der orthopädischen Chirurgie hinein, wo rekonstruktives Arbeiten an Knochen unter der virtuellen Führung von augmentierten 3D-Daten, die während der Planungssitzung generiert wurden, exakter durchgeführt werden kann.
Der Benutzer sieht auch eine virtuelle Sonde, die der tatsächlichen schreibstiftförmigen und verfolgten Sonde 9 in der Hand des Chirurgen entspricht. Mit dieser Sonde aktiviert und steuert der Benutzer eine virtuelle 3D-Schnittstelle, welche die Interaktion mit den 3D-Daten ermöglicht. Die Sonde selbst kann auch, wie unten beschrieben wird, als einzigartiges Simulations- und Navigationswerkzeug dienen.
Nun wenden wir uns der Navigation mittels des Mikroskops 3 zu, einer Phase, die hier als "MAAR" (Microscope Assisted Augmented Reality) bezeichnet wird. In dieser Phase der Verwendung des Systems aus 1 ist das HMD 1 an der Trägerkonstruktion 5 oberhalb des Binokulars des Mikroskops befestigt und der See-Through-Modus des HMD 1 ausgeschaltet, so dass nur Bilder, die durch den Computer 11 bereitgestellt werden, zurückbleiben. Diese Bilder sind eine Kombination aus dem stereoskopischen Videoausgang des Mikroskops 3 (sowohl rechter als auch linker Kanal, die über das Kabel 19 zu dem Computer 11 übertragen werden) sowie den stereoskopischen, segmentierten 3D-Bilddaten, die durch den Computer 11 selbst generiert werden. Die Bilder werden in dem HMD 1 angezeigt, und deren jeweilige Signalstärke ist mittels eines Videomischers einstellbar. Um mittels der 3D-Daten in dem Display zu navigieren, müssen die Daten exakt mit der tatsächlichen Sicht durch das Mikroskop (oder dessen Videosignal) abgeglichen werden. Dazu bedient sich der Computer 11 einer Kenntnis der Einstellungen der Optik des Mikroskops 3, um das Generieren der 3D-Grafik zu unterstützen. Die Motorwerte des Mikroskops für Zoom und Fokus werden von dem Mikroskop über den seriellen Port (RS232-Schnittstelle) gelesen und zum Computer 11 übertragen. Dann werden die tatsächliche Vergrößerung und die Fokusebene mittels vorgegebener Formeln berechnet. Die Position und die Orientierung (Pose) des Mikroskops werden von dem optischen Trackingsystem bezogen. Dann generiert der Computer 11 ein computergeneriertes Bild, welches mit der Vergrößerung, der Fokusebene und der Betrachtungsposition des Mikroskops als stereoskopisches Bild der 3D-Bilddaten übereinstimmt. Dieses Bild wird in dem HMD 1 angezeigt. Da das exakte Bild online unter Verwendung der Funktionen der Mikroskopoptik generiert wird, kann der Chirurg komfortabel Zoom- und Fokuswerte intraoperativ ändern, ohne dass dadurch die Kamerakalibrierung oder die Systemleistung beeinträchtigt werden. Da das Mikroskop 3 in Echtzeit verfolgt wird, kann der Chirurg das Mikroskop 3 frei herum bewegen, um verschiedene Betrachtungspositionen zu erhalten. Durch Koppeln der Beschnittebene mit der Fokusebene des Mikroskops 3 kann der Benutzer durch Ändern der Fokuswerte des Mikroskops durch die virtuellen 3D-Bilddatenebenen schneiden.
Bei STAR wie auch bei MAAR ist durch Verwendung der verfolgten Sonde 9, die in den computergenerierten Bildern, die dem Benutzer in dem HMD 1 angezeigt werden, als virtuelle Sonde angezeigt wird, die Interaktion mit den virtuellen Objekten in Echtzeit möglich.
Festzuhalten ist, dass, wenngleich die Erfindung oben in Bezug auf die Bilder erläutert wird, die einem HMD 1 zugeführt werden, das von dem Mikroskop 3 lösbar ist, im Rahmen der Erfindung eine Alternative darin besteht, durch Verwendung eines LCD-basierten Systems zur "Injektion" von Bildern in die optischen Kanäle des Mikroskops die computergenerierten 3D-Daten direkt über die Sicht durch das Mikroskop 3 zu legen. In diesem Fall besteht kein Bedarf an einem getrennten HMD, um MAAR durchzuführen.
Während des Navigationsvorgangs mit entweder MAAR oder STAR sieht der Benutzer die 3D-Bilddaten des Patienten über dem realen Operationsgeschehen augmentiert. Insbesondere da die virtuellen Daten für gewöhnlich aus unterschiedlichen Bildstudien und deren 3D-Segmentierungen (beispielsweise Tumore, Blutgefäße, Teile der Schädelbasis, Marker und Landmarken) bestehen, muss der Benutzer in der Lage sein, während der Operation mit den Daten zu interagieren, um diese auf die Navigationsbedürfnisse anzupassen. Beispielsweise sind Tools erforderlich, um die Durchsichtigkeit von 3D-Daten zu deaktivieren/zu aktivieren oder zu regeln, Beschnittebenen einzustellen, Abstände zu messen oder Daten zu importieren. Gemäß der vorliegenden Erfindung kann der Chirurg auf diese Weise mit dem Computer 11 interagieren, um 3D-Daten, die in dem HMD 1 angezeigt werden, zu modifizieren, indem nur die passiv verfolgte schreibstiftförmige Sonde 9 und der Fußschalter 15 verwendet werden und somit die Verwendung von Tastatur und Maus im OP vermieden wird.
Wenn der Chirurg die verfolgte Sonde in die Nähe des Kopfes des Patienten bewegt, dann befindet sich die Sonde 9 innerhalb einer virtuellen Bounding Box, die wir um den Kopf des Patienten definiert haben. Dies ist in 2(a) veranschaulicht. Die Positionen der Marker sind mit 25 gekennzeichnet. Die Bounding Box (die sich im realen Raum und nicht im virtuellen Raum befindet) ist gestrichelt dargestellt und umgibt die Region-of-Interest, in welcher der chirurgische Eingriff stattfindet. In diesem Fall zeigen die computergenerierten Bilder dem Benutzer Bilddaten des Subjekts. Ferner wird eine virtuelle Sonde, die der Sonde 9 entspricht, in dem HMD 1 in einer den virtuellen 3D-Bilddaten realistisch entsprechenden Position angezeigt.
Wenn die Sonde für das Trackingsystem nicht sichtbar ist, d.h. seine reflektierenden Marker verborgen sind oder sie sich außerhalb des Tracking-Volumens befindet, verschwindet die virtuelle Sonde, und der Chirurg sieht nur die augmentierten Patientendaten auf dem HMD angezeigt. Dies ist in 2(c) veranschaulicht.
Wenn der Chirurg die Sonde 9 von dem Kopf des Patienten weg und aus der virtuellen Bounding Box hinaus bewegt, sie jedoch in Sichtweite des Trackingsystems hält (wie in 2(b) dargestellt ist), schaltet das Visualisierungssystem die Ansicht um, so dass der Benutzer nur ein computergeneriertes Bild sieht, bei dem es sich um ein Bedienfeld handelt. Dieses Bedienfeld ist in 3 dargestellt. Die virtuelle, von Hand gehaltene Sonde 27 wird dann mit einem Strahl 29, der von ihrer Spitze abgestrahlt wird, dargestellt, wodurch sie in der virtuellen Welt wie eine virtuelle Lasersonde aussieht. Die Tasten 31 auf dem Bedienfeld können durch Hinrichten des virtuellen Strahls auf diese ausgewählt werden. Nach der Auswahl können die Tasten mittels des Fußschalters betätigt (EIN/AUS geschaltet) werden.
Das Bedienfeld ist derart angeordnet, dass es, wenn es in Stereo betrachtet wird, in einem komfortablen Abstand von etwa 1,5 m von dem Benutzer zu sein scheint. Die virtuelle Sonde 27 selbst spiegelt die Bewegungen der realen Sonde 9 in der Hand des Chirurgen realistisch wider, was dazu führt, dass mit nur geringen Handgelenksbewegungen auf die virtuellen Tasten auf dem Bedienfeld hingezeigt werden kann.
In dem beschränkten Raum des Operationssaales, insbesondere beim Operieren mittels des Operationsmikroskops, ermöglicht das beschriebene Verfahren zur Interaktion dem Chirurgen, bequem und rasch auf eine breite Palette von navigationsbezogenen Tools zuzugreifen. Zwei Faktoren sind von Bedeutung: Erstens bedeutet die Tatsache, dass der virtuelle Raum, der das unverankerte Bedienfeld aktiviert, den Kopf des Patienten in einem nahen Abstand umgibt, dass es durch den Chirurgen mit einer einfachen Armbewegung in einer beliebigen Richtung von dem Kopf des Patienten weg erreicht werden kann (solange er noch in Sichtweite des Trackingsystems ist). Der zweite wichtige Faktor ist, dass, sobald das virtuelle Tool-Rack sichtbar ist, alle seine Tools durch kleine Handgelenksbewegungen statt größeren Bewegungen in der Luft, die durch die umliegenden OP-Einrichtungen gestört werden könnten, aktiviert werden können. Dies ist von Bedeutung, da dadurch dem Chirurgen ermöglicht wird, bequem, sogar mit den Armen aufliegend, zu navigieren und dabei die Daten in dem Display zu betrachten, ohne dass es notwendig wäre, seine Handbewegungen zur Hinblicken zu kontrollieren, und demnach ohne erhebliche Ablenkung von der Operationsarbeitsabfolge. Diese Wirkungsweise wird in 4 dargestellt, die einen Strahl zeigt, der von der Spitze der Sonde abgestrahlt wird.
Innerhalb des Feldes der virtuellen Schnittstelle hat der Chirurg Zugriff auf eine Reihe von Funktionalitäten, um die Darstellung der Daten zu modifizieren, beispielsweise:

– Ausblenden/Einblenden der verschiedenen Bilddarstellungsmodalitäten und/oder 3D-Objekte. Operieren in Weichgewebe erfordert zum Beispiel, einige mittels MR erstellte Segmentierungen (oder die Original-MR-Ebenen selbst) einzuschalten, während die mittels CT erstellten Strukturen während Arbeiten an Knochen eingeschaltet werden müssen.
– Ändern des Erscheinungsbildes der Daten auf monoplan/triplan/3D-Vollvolumen.
– Verknüpfen der Bilddaten mit der Sonde oder dem Mikroskop. Dies bedeutet, dass die online Beschnittebene (wenn die Daten als 3D-Volumen erscheinen), die Monoplane oder der Mittelpunkt eines triplanen Bildes entweder mit der Fokalebene des Mikroskops oder mit der virtuell ausfahrbaren Sonde (unten beschrieben), die in das Operationsfeld gebracht werden kann, verknüpft werden können.
– Aktivieren der virtuellen Sonde und ihres virtuellen Ausfahr- und Einfahrmerkmals, um intraoperative Simulations-Tools wie ein virtuelles Bohrer-Tool und ein virtuelles Wiederherstell-Tool, Mess-Tools oder Tools zum Simulieren von Gewebsretraktion oder dem Setzen von Klammern (siehe 2.6) zu steuern.
– Aktivieren einer Farb- und Durchsichtigkeitseinstellungstabelle.
– Umschalten zwischen dem MAAR- und dem STAR-System.
– Aktivieren von Tools zum Importieren und Registrieren intraoperativer Bilddaten, d.h. 3D-Ultraschall.

Wir haben ein Verfahren entwickelt, um die virtuelle Sonde zu einem Tool zu machen, welches das Navigieren und Simulieren einiger chirurgischer Schritte ermöglicht, während eine Interaktion mit den augmentierten Daten direkt in der Operationshöhle stattfindet.
Als Erstes beschreiben wir die neuartige Navigationsfunktion der Ausführungsform. Wenn volumetrische 3D-Daten mit der Sonde verknüpft werden (durch Auswahl derselben in dem virtuellen Tool-Rack, siehe oben), wird eine Beschnittebene orthogonal zu der Richtung der Spitze der Sonde generiert. Wenn der Chirurg die Sonde zu dem Operationsgeschehen bringt und den Fußschalter betätigt, wird die Linie, die sich von der Sonde weg erstreckt, virtuell verlängert, und die Ebene bewegt sich von der Spitze der Sonde weg (durch die Patientendaten schneidend), um der Länge der Linie zu entsprechen, solange der Fußschalter niedergedrückt wird. Sobald der Fußschalter losgelassen wird, bleibt die Ebene an der letzten Position. Wird der Fußschalter das nächste Mal betätigt, verkürzt sich die Linie und die Ebene bewegt sich dementsprechend zu der Spitze der Sonde hin, bis der Fußschalter losgelassen wird. Auf diese Weise kann die Schnittebene durch abwechselndes Betätigen des Fußschalters hinein und hinaus bewegt und verschiedene Teile der Daten können untersucht werden. In jeder Phase generiert der Computer 11 Daten basierend auf der Schnittebene, z.B. in Form eines monoplanen Schnitts des zu operierenden Subjekts. Die Länge der virtuellen Sondenverlängerung wird online angezeigt, um die Messung von Abständen in der Tiefe der Operationshöhle zu ermöglichen. Wenn die Daten gewählt werden, um als Monoplane zu erscheinen, ist diese getrennte Ebene auch orthogonal zu der Sonde und sie kann auf dieselbe Weise hinein und hinaus bewegt werden. Wenn die Daten in einem triplanen Modus erscheinen (d.h. als drei orthogonale Ebenen, die einander an einem Ursprung treffen), ist der triplane Ursprung mit der ausfahrbaren Sonde verknüpft.
Alternativ dazu und wahlweise können die durch den Computer 11 generierten Daten auch mit den Mikroskopeinstellungen verknüpft werden, und in diesem Fall wird die Schnittebene an der Fokusebene des Mikroskops angeordnet. Diese Ebene kann dann durch Verlängern der Linie von der Sonde und/oder durch Verwenden der Fokussiertaste an dem Mikroskop bewegt werden.
5 zeigt ein computergeneriertes Bild, welches drei Arten von Gewebe kombiniert. Ein Knochen, der volumetrisch aus Computertomographie(CT)-Daten rekonstruiert wurde, ist weiß dargestellt und mit CT gekennzeichnet. Die Angiographie(MRA)-Daten, welche die Blutgefäße zeigen, sind in dem Bild in einer zweiten Farbe, beispielsweise Rot (Schwarz in dem Bild), dargestellt. Die Magnetresonanz-Bilddaten (MRI) zeigen das Weichgewebe (in Grau) und erscheinen im monoplanen Modus in einer Ebene orthogonal zu der virtuellen Sonde. Das computergenerierte Bild der MRI wird beschnitten, indem es mit der Fokalebene des Mikroskops verknüpft wird. Durch virtuelles Verlängern der Sonde wird die MRI-Ebene in die Tiefe des Operationsfeldes hineinbewegt, und der Benutzer kann das räumliche Ausmaß einer Läsion (in diesem Fall eines Jugularschwannoms) untersuchen.
Dieses Tool kann auch verwendet werden, um dem Chirurgen online die Entfernung zu chirurgisch wichtigen Landmarken zu liefern, die während der Planungsphase angeordnet wurden (für gewöhnlich bis zu drei oder vier). Beim Navigieren wird von der Spitze der Sonde weg eine eindeutig gefärbte Linie zur jeweiligen Landmarke hin angezeigt, und die Entfernung von jeder Landmarke wird neben der jeweiligen Linie angezeigt. Die Anzeige von Landmarken kann mittels des unverankerten Bedienfeldes EIN/AUS geschaltet werden.
Als Zweites beschreiben wir die neuartige Simulationsfunktion, die anhand der vorliegenden Ausführungsform durchgeführt werden kann. Das virtuelle Bohrer-Tool besteht aus einer virtuellen Kugel, die an der virtuellen Sonde befestigt ist und, wenn sie in die augmentierten virtuellen Daten eingeführt wird, als Bohrer dient, indem sie Voxel (3D-Pixel) in Echtzeit entfernt. Der kugelförmige Bohrer ist virtuell ausfahrbar und einfahrbar, durch abwechselndes Betätigen des Fußschalters, wie oben beschrieben wurde, wodurch die Länge einer Linie, die als sich zwischen der Sonde und dem kugelförmigen Bohrer erstreckend gezogen wurde, verändert wird. Demnach kann der Chirurg an jedwedem Punkt durch Bewegen der von Hand gehaltenen Sonde bohren. Die Kombination aus realen und computergenerierten Bildern, die von einem Benutzer zu sehen ist, ist in 6 dargestellt, wobei darin in 6a ein virtuelles Bild eines Schädels eines Patienten gemeinsam mit dem virtuellen Tool dargestellt ist, in 6b der tatsächliche Schädel des Patienten mit dem tatsächlichen Stift in der Hand des Chirurgen dargestellt ist, der in diesem Fall mit seiner Spitze auf dem realen Knochen oder leicht darüber angeordnet wäre, und in 6c die Ansicht des Benutzers durch das am Kopf getragene Display des Benutzers dargestellt ist, in welchem das virtuelle Bild aus 6a über das reale Bild aus 6b gelegt und damit in Koregistrierung ist und in welchem die sichtbare Aushöhlung in dem virtuellen Knochen mit der ausfahrbaren voxelentfernenden Kugel gebohrt wurde.
Ferner umfasst das System ein "Wiederherstell-Tool", das auf ähnliche Weise wie das Bohrer-Tool funktioniert, abgesehen davon, dass es die Voxel, die durch das Bohrer-Tool entfernt wurden, wiederherstellt.
Das intraoperative Simulations-Tool, das durch diese Ausführungsform bereitgestellt wird, ist besonders zweckmäßig während des minuziösen Arbeitens an Knochen der Schädelbasis. Es ermöglicht dem Chirurgen, die Entfernung von Knochen entlang mehrerer Richtungen durch Verwendung der exakt überlagerten 3D-CT-Daten zu simulieren. Der optimale Bohrweg in Bezug auf die umliegenden Strukturen kann, ehe die tatsächliche Arbeit am Knochen durchgeführt wird, virtuell erforscht und geübt werden. Während des tatsächlichen Bohrens kann man den überlagerten virtuell gebohrten Daten genau folgen. Neben dem Bohren kann die beschriebene ausfahrbare virtuelle Sonde auch verwendet werden, um andere chirurgische Eingriffe zu simulieren, beispielsweise um virtuell an den darübergelegten Daten Weichgewebe zu retrahieren oder Klammern oder Knochenschrauben zu setzen, ehe dies tatsächlich während des Eingriffs durchgeführt wird. Sie kann im Allgemeinen als Tool angesehen werden, welches ermöglicht, die augmentierten 3D-Daten direkt am Operationssitus zu untersuchen und zu manipulieren, um den tatsächlichen, nachfolgenden chirurgischen Schritt exakter und sicherer durchzuführen.
Wenngleich die Erfindung oben mit Bezugnahme auf nur eine einzige Ausführungsform erläutert wurde, sind im Rahmen der Erfindung verschiedene Modifikationen möglich, wie für Fachkundige naheliegend sein wird. Beispielsweise ist es möglich, wenngleich nicht vorzuziehen, die Darstellung der Linie aus der Anzeige von 6 wegzulassen und nur das Tool und die Sonde zu zeigen; die Linie würde konzeptuell immer noch existieren, jedoch als der regelbare Abstand zwischen der Sonde und dem Tool in der Längsrichtung des Tools.

Claims

Führungssystem zur Verwendung durch einen Benutzer, der eine Operation in einem definierten dreidimensionalen Bereich durchführt, wobei das System eine Datenverarbeitungsvorrichtung zum Generieren von Bildern des zu operierenden Subjekts (21) in Koregistrierung mit dem Subjekt (21), ein Display (1) zum Anzeigen der Bilder für den Benutzer, eine Sonde (9) mit einer Position, die für den Benutzer sichtbar ist, und eine Trackingeinheit (7) zum Verfolgen der Position der Sonde (9) durch das System und Übertragen dieser Position an die Datenverarbeitungsvorrichtung umfasst, dadurch gekennzeichnet, dass die Datenverarbeitungsvorrichtung angeordnet ist, um, nachdem der Benutzer die Sonde (9) zu einem Auswahlbereich bewegt, der außerhalb des definierten Bereiches und diesen umgebend angeordnet ist, eine oder mehrere virtuelle Tasten zu generieren, wobei jede der Tasten einer entsprechenden Anweisung an das System zugeordnet ist, wobei die Datenverarbeitungsvorrichtung angeordnet ist, um eine Auswahl einer beliebigen der virtuellen Tasten durch den Benutzer zu registrieren, wobei die Auswahl das Positionieren der Sonde (9) in Bezug auf die scheinbare Position jener virtuellen Taste umfasst, und um das computergenerierte Bild basierend auf der Auswahl zu modifizieren.
System nach Anspruch 1, wobei die Datenverarbeitungsvorrichtung angeordnet ist, um Bilder des zu operierenden Subjekts (21) zu generieren, die über das Subjekt gelegt werden.
System nach Anspruch 1 oder Anspruch 2, wobei die Positionierung der Sonde (9) das Ausrichten einer Längsachse der Sonde (9) mit der Taste umfasst.
System nach Anspruch 3, wobei die Computervorrichtung (11) angeordnet ist, während die virtuellen Tasten angezeigt werden, um in dem Bild eine Linie zu umfassen, die sich von der Sonde (9) deren Längsachse entlang erstreckt.
System nach einem beliebigen der vorhergehenden Ansprüche, wobei das Display (1) ausgebildet ist, um an dem Kopf eines Benutzers angebracht zu werden, wobei der Benutzer in der Lage ist, das zu operierende Subjekt (21) durch das Display (1) zu betrachten, um das computergenerierte Bild zu sehen, welches über ein reales Bild des Subjekts des Bildes gelegt wurde, wobei die Trackingeinheit (7) die Position des Displays (1) überwacht und die überwachte Position des Displays (1) zu der Verarbeitungsvorrichtung überträgt, die angeordnet ist, um das computergenerierte Bild gemäß der Position des Displays (1) zu modifizieren, um das computergenerierte Bild und das reale Bild stereoskopisch in Übereinstimmung zu halten.
System nach einem beliebigen der vorhergehenden Ansprüche, wobei das Display (1) ausgebildet ist, um an einem Mikroskop (3) angebracht zu werden, wobei der Benutzer in der Lage ist, das Mikroskopbild durch das Display (1) zu betrachten, um dadurch das computergenerierte Bild über das Mikroskopbild gelegt zu sehen, wobei die Trackingeinheit (7) die Position des Mikroskops (3) überwacht und die überwachte Position des Mikroskops zu der Verarbeitungsvorrichtung überträgt, die angeordnet ist, um das computergenerierte Bild gemäß der Position des Mikroskops (3) zu modifizieren, um das computergenerierte Bild und das reale Bild stereoskopisch in Übereinstimmung zu halten.
Verfahren zur Verwendung durch einen Benutzer, der mit einem oder mehreren realen Objekten in einem definierten dreidimensionalen Bereich mit Führung durch ein bildgeführtes System interagiert, zum Modifizieren des für den Benutzer durch das bildgeführte System angezeigten Bildes, wobei das System eine Datenverarbeitungsvorrichtung zum Generieren von Bildern der realen Objekte in Koregistrierung mit den realen Objekten, ein Display (1) zum Anzeigen der Bilder für den Benutzer, eine Sonde (9) mit einer Position, die für den Benutzer sichtbar ist, und eine Trackingeinheit (7) zum Verfolgen der Position der Sonde (9) durch das System und Übertragen dieser Position an die Datenverarbeitungsvorrichtung umfasst, wobei das Verfahren umfasst: Bewegen der Sonde (9) zu einem Auswahlbereich, der außerhalb des definierten Bereichs liegt und diesen umgibt, durch den Benutzer, Registrieren der Position der Sonde (9) innerhalb des Auswahlbereichs und daraufhin Generieren einer oder mehrere virtueller Tasten innerhalb des Bildes, wobei jede der Tasten einer entsprechenden Anweisung an das System zugeordnet ist, durch die Datenverarbeitungsvorrichtung, Auswählen einer der Tasten durch den Benutzer, wobei die Auswahl das Positionieren der Sonde (9) in Bezug auf die scheinbare Position jener virtuellen Taste umfasst, und Registrieren der Auswahl und Modifizieren des computergenerierten Bildes basierend auf der entsprechenden Anweisung durch die Datenverarbeitungsvorrichtung.
Verfahren nach Anspruch 7, wobei die Datenverarbeitung Bilder des zu operierenden Subjekts (21) erzeugt, die über das Subjekt gelegt werden.
Verfahren nach Anspruch 7, wobei, während die Datenverarbeitungsvorrichtung die virtuellen Tasten anzeigt, diese ferner eine Linie anzeigt, die sich von der Sonde (9) eine Längsachse dieser entlang erstreckt, wobei das Positionieren der Sonde das Ausrichten der Längsachse der Sonde (9) mit der Taste umfasst.
Verfahren nach einem beliebigen der Ansprüche 7 bis 9, wobei das Display (1) an dem Kopf eines Benutzers angebracht ist, wobei der Benutzer in der Lage ist, das zu operierende Subjekt durch das Display (1) zu betrachten, um dadurch das computergenerierte Bild über das Mikroskopbild gelegt zu sehen, wobei die Trackingeinheit (7) die Position des Displays (1) überwacht und die überwachte Position des Displays (1) zu der Verarbeitungsvorrichtung überträgt, die das computergenerierte Bild gemäß der Position des Displays (1) modifiziert, um das computergenerierte Bild und das reale Bild stereoskopisch in Übereinstimmung zu halten.
Verfahren nach einem beliebigen der Ansprüche 7 bis 9, wobei das Display (1) an einem Mikroskop (3) angebracht ist, wobei der Benutzer in der Lage ist, das Mikroskopbild durch das Display (1) zu betrachten, um dadurch das computergenerierte Bild über das Mikroskopbild gelegt zu sehen, wobei die Trackingeinheit (7) die Position des Mikroskops (3) überwacht und die überwachte Position des Mikroskops zu der Verarbeitungsvorrichtung überträgt, die das computergenerierte Bild gemäß der Position des Mikroskops (3) modifiziert, um das computergenerierte Bild und das reale Bild stereoskopisch in Übereinstimmung zu halten.