DE10335369A1

DE10335369A1 - Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung und Vorrichtung zum Durchführen des Verfahrens

Info

Publication number: DE10335369A1
Application number: DE10335369A
Authority: DE
Inventors: Ulrich Nägele
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2003-07-30
Filing date: 2003-07-30
Publication date: 2005-03-03
Anticipated expiration: 2023-07-31
Also published as: DE10335369B4

Abstract

Ein erfindungsgemäßes Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für ein medizinisches Gerät, welches medizinische Bildinformation in einem Mixed-Reality-Display darstellt, umfasst die Schritte: DOLLAR A - Bereitstellen mindestens eines virtuellen Betätigungselementes (15a-15f) mit Gerätesteuerfunktion in einer virtuellen Position eines (dreidimensionalen) virtuellen Raumes; DOLLAR A - Darstellen des virtuellen Betätigungselementes (15a-15f) und eines Zeigerobjektes (17) zusammen mit der medizinischen Bildinformation im Mixed-Reality-Display; DOLLAR A - Lokalisieren eines Zeigerelementes (19) im realen Raum; DOLLAR A - Umsetzen der räumlichen Position des Zeigerelementes (19) im realen Raum in einer virtuelle Position des Zeigerobjektes (17) im virtuellen Raum und DOLLAR A - Ausführen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a-15f) im virtuellen Raum gegeben ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für medizinische Geräte, sowie eine Gerätefunktionssteuervorrichtung zum Durchführen des Verfahrens.

Heutzutage finden bei einer Operation eine Vielzahl medizinischer Geräte Anwendung, die während der Operation mittels Steuerfunktionen eingestellt werden müssen. Einige dieser medizinischen Geräte, bspw. Operationsmikroskope, werden dabei vom Operateur bei seiner Tätigkeit im sterilen OP-Umfeld benutzt. Damit der Operateur Einstellungen eines medizinischen Gerätes selbst vornehmen kann, muss das Bedienfeld des Gerätes steril sein. Das Sterilisieren des Bedienfeldes kann jedoch Schwierigkeiten bereiten. Beispielsweise weist eine Tastatur schwierig zu sterilisierende Kanten und Spalten auf.

Um ein steriles Bedienen zu ermöglichen, kann eine Tastatur einen sterilisierbaren Überzug besitzen, was jedoch die Bedienbarkeit der Tasten beeinträchtigen kann. Alternativ kann das Bedienfeld auch außerhalb des sterilen OP-Umfeldes angeordnet sein. In diesem Fall kann der Operateur die Einstellung jedoch nicht mehr selbst vornehmen, sondern muss einem Assistenten außerhalb des sterilen OP-Umfeldes Anweisungen zum Vornehmen der gewünschten Einstellung geben, was ggf. einen umständlichen Abstimmungsprozess zwischen dem Operateur und einem Assistenten erforderlich macht.

In der US 6,394,602 B1 ist ein Mikroskop beschrieben, bei dem die Darstellung eines Menüs im Display mittels eines Eye-Tracking-Systems zu steuern ist. Diese Art des Steuerns eignet sich grundsätzlich auch für die Anwendung im sterilen OP-Umfeld.

Ein Virtual-Retinal-Display mit Eye-Tracking-System ist in US 6,369,953 B2 offenbart. Das Virtual-Retinal-Display wird u.a. dazu verwendet, dem Benutzer ein Menü und einen Zeiger auf die Netzhaut zu projizieren. Die Steuerung des Zeigers erfolgt anhand einer Analyse der Blickrichtung des Nutzers mittels des Eye-Tracking-Systems. Eine „Klick-Funktion" wird durch die Detektion eines Blinzelns oder Doppelblinzelns realisiert.

Mit einem Eye-Tracking-System lassen sich jedoch bspw. Funktionen wie das Einstellen eines Schiebereglers nur unzureichend realisieren. Außerdem erfordert das Steuern eines medizinischen Gerätes mittels eines Eye-Tracking-Systems einen unter Umständen langen Gewöhnungsprozess, bevor ein schnelles und sicheres Bedienen des Geräts, wie es bspw. während einer Operation erforderlich ist, möglich ist.

Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für medizinische Geräte sowie eine verbesserte Gerätefunktionssteuervorrichtung zur Verfügung zu stellen.

Diese Aufgabe wird durch ein Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung nach Anspruch 1 und eine Gerätefunktionssteuervorrichtung nach Anspruch 8 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.

Ein erfindungsgemäßes Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für ein medizinisches Gerät, welches medizinische Bildinformation in einem Mixed-Reality-Display darstellt, umfasst die Schritte:

– Bereitstellen mindestens eines virtuellen Betätigungselementes mit Gerätesteuerfunktion in einer virtuellen Position eines (dreidimensionalen) virtuellen Raumes. Unter einem virtuellen Raum ist dabei eine (dreidimensionale) computergenerierte Umgebung und unter einem virtuellen Betätigungselement ein computergeneriertes Betätigungselement in der virtuellen Umgebung zu verstehen.
– Darstellen des virtuellen Betätigungselementes und eines Zeigerobjektes zusammen mit der medizinischen Bildinformation im Mixed-Reality-Display, d.h. einem Display in dem einem Betrachter sowohl Bildinformationen aus dem (dreidimensionalen) realen Raum, wie bspw. die medizinische Bildinformation, als auch aus dem (dreidimensionalen) virtuellen Raum dargeboten werden. Medizinische Bildinformationen können dabei alle auf einer bildgebenden oder -erzeugenden Vorrichtung bzw. einem bildgebenden oder -erzeugenden Verfahren beruhenden medizinischen Bilder, Abbildungen, Darstellungen etc. sein, die auf Daten aus dem realen Raum beruhen. Dabei ist es unerheblich, ob die Bilder, Abbildungen, Darstellungen etc. selbst von einem Computer generiert sind, wie bspw. in der Computertomographie, oder ein direktes Abbild aus dem realen Raum darstellen. Vom Computer generierte Bilder, Abbildungen, Darstellungen etc., die auf insbesondere online erfassten Daten aus dem realen Raum beruhen, sollen im Rahmen der Erfindung nicht als virtuelle Objekte anzusehen sein.
– Lokalisieren eines Zeigerelementes im realen Raum.
– Umsetzen der räumlichen Position des Zeigerelementes im realen Raum in eine virtuelle Position des Zeigerobjektes im virtuellen Raum.
– Ausführen der Gerätesteuertunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes im virtuellen Raum gegeben ist.

Als Mixed-Reality-Display kann hierbei insbesondere eine vor den Augen zu tragende brillenartige Vorrichtung (Head Mounted Display, HMD, oder Head Up Display, HUD), etwa in Form einer Netzhautprojektionsvorrichtung (Virtual Retinal Display) oder einer Stereobeobachtungsbrille, oder eine an einem Ausleger (BOOM) befestigte Stereobetrachtungsvorrichtung anzusehen sein. Als Zeigerelement kommt außer einem Stift oder einem chirurgischen Instrument auch ein Körperteil, etwa ein Finger, ein Fuß, ein Arm etc., in Frage. Das Lokalisieren des Zeigerelementes im realen Raum kann insbesondere auf optischem Wege erfolgen. Zum Umsetzen der räumlichen Position des Zeigerelementes im realen Raum in die virtuelle Position des Zeigerobjektes im virtuellen Raum kann eine Koordinatentransformation zum Einsatz kommen.

Da sich im erfindungsgemäßen Verfahren das Positionieren eines realen Gegenstandes, bspw. des Zeigefingers des Operateurs, im realen Raum im Positionieren des Zeigerobjektes im virtuellen Raum widerspiegelt und die Gerätesteuerfunktion durch eine vorgegebene räumliche Beziehung zwischen dem Betätigungselement und dem Zeigerobjekt ausgelöst bzw. ausgeführt wird, lässt sich die natürliche Bewegung beim Betätigen eines realen Betätigungselementes auf das Betätigen eines virtuellen Betätigungselementes leicht übertragen. Das erfindungsgemäße Verfahren ermöglicht so das intuitive Betätigen eines virtuellen Betätigungselementes. Außerdem lassen sich Einstellfunktionen wie das Einstellen eines virtuellen Schiebe- oder Drehreglers mit dem erfindungsgemäßen Verfahren ebenso einfach realisieren wie das Betätigen von Tasten. Da das Betätigen des Betätigungselementes vollständig virtuell, also berührungslos, erfolgt, eignet sich das erfindungsgemäße Verfahren insbesondere zur Anwendung bei Geräten, die im sterilen oder im kontaminierten Umfeld betrieben werden sollen.

Der virtuelle Raum und der reale Raum können im erfindungsgemäßen Verfahren eine beliebige Orientierung relativ zueinander aufweisen, d.h. die Darstellung, die ein Betrachter im Display wahrnimmt, braucht keinen Bezug zur Blickrichtung des Betrachters im realen Raum zu haben. Insbesondere kann die Orientierung des virtuellen Raumes fest mit der Blickrichtung des Betrachters verbunden sein, so dass ein Drehen des Kopfes des Betrachters, und damit eine Änderung seiner Blickrichtung, die Orientierung des virtuellen Raumes relativ zum realen Raum ändert. Mit anderen Worten, der Betrachter sieht unabhängig von der Stellung seines Kopfes immer dieselbe Darstellung im Display (ggf. mit veränderlichen Inhalten). Das mindestens eine virtuelle Betätigungselement kann dabei neben, über oder unter der medizinischen Bildinformation eingeblendet werden, so dass es das Wahrnehmen der medizinischen Bildinformation nicht stört. Alternativ ist es auch möglich, das mindestens eine virtuelle Betätigungselement im dreidimensionalen virtuellen Raum der medizinischen Bildinformation zu überlagern, so dass das Bild immer, d.h. auch während des Bedienens des mindestens einen virtuellen Betätigungselementes, im Zentrum des Blickfeldes des Betrachters liegt.

Alternativ kann die Orientierung des virtuellen Raumes fest mit dem realen Raum verbunden sein, so dass der im Display dargestellte Ausschnitt des virtuellen Raumes von der Blickrichtung des Betrachters abhängt. Der Betrachter sieht dann bspw. bei Verwendung einer Stereobeobachtungsbrille oder eines Virtual-Retinal-Displays einen anderen Ausschnitt des virtuellen Raumes, sobald er den Kopf dreht. Dabei ist es ist es möglich, die medizinische Bildinformation fest mit der Blickrichtung des Betrachters zu verknüpfen, so dass sie auch bei einem Drehen des Kopfes immer im Blickfeld des Betrachters bleibt, die virtuellen Betätigungselemente jedoch nur ins Blickfeld gelangen, wenn der Betrachter seinen Kopf dreht. So kann die medizinische Bildinformation, bspw. bei einer Operation die (dreidimensionale) Darstellung des Operationssitus, immer in Blickrichtung verbleiben, während die virtuellen Betätigungselemente nur durch ein Drehen des Kopfes ins Blickfeld gelangen. Auf diese Weise stören die virtuellen Betätigungselemente die Aufmerksamkeit des Betrachters nicht, wenn sie nicht gebraucht werden.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist sowohl das virtuelle Betätigungselement als auch die räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes, welche die Gerätesteuerfunktion auslöst, einem realen Betätigungselement, bspw. einer Taste, einem Schiebe- oder einem Drehschalter, bzw. der beim Betätigen eines entsprechenden realen Betätigungselementes auftretenden räumlichen Beziehung nachempfunden. Es können so eine Vielzahl gängiger Einstellhandlungen, wie etwa das Betätigen einer Taste, das Drehen eines Drehschalters etc., deren Bedienung normalerweise keiner Eingewöhnungsphase bedarf, im virtuellen Raum realisiert werden. Das Gerät kann daher ohne lange Eingewöhnungsphase rasch und sicher bedient werden.

Eine zum Durchführen des erfindungsgemäßen Verfahrens geeignete erfindungsgemäße Gerätefunktionssteuervorrichtung für medizinische Geräte, in welchen medizinische Bildinformation in einem Mixed-Reality-Display dargestellt wird, umfasst:

– eine Funktionssteuereinheit, die mindestens eine Gerätesteuertunktion sowie mindestens ein der Gerätesteuertunktion zugeordnetes virtuelles Bedienelement in einer bestimmten Position in einem (dreidimensionalen) virtuellen Raum bereitstellt und die zum Darstellen des mindestens einen virtuellen Bedienelementes und eines Zeigerobjektes zusammen mit medizinischer Bildinformation in einem Mixed-Reality-Display mit einer Darstellungseinheit verbunden oder verbindbar ist;
– eine Lokalisationseinheit zum Ermitteln der Position eines Zeigerelementes im realen Raum;
– eine mit der Lokalisationseinheit verbundene und der Darstellungseinheit verbundene oder verbindbare Umsetzungseinheit zum Umsetzen der Position des Zeigerelementes im realen Raum in eine Position des Zeigerobjektes im virtuellen Raum; und
– eine mit der Funktionssteuereinheit und der Umsetzungseinheit verbundene Auslöseeinheit zum Auslösen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes gegeben ist.

Die Verbindung der einzelnen Einheiten, die außer der Lokalisationseinheit und dem Mixed-Reality-Display als Hard- oder als Software realisiert sein können, kann sowohl über Kabel als auch drahtlos ausgeführt sein.

In einer Ausgestaltung der erfindungsgemäßen Gerätefunktionssteuervorrichtung umfasst die Lokalisationseinheit eine 3D-Beobachtungskamera und eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes aus den Bilddaten der 3D-Beobachtungskamera.

In einer alternativen Ausgestaltung umfasst die Lokalisationseinheit einen am Zeigerelement zu befestigenden oder das Zeigerelement bildenden Sender oder Reflektor zum Senden bzw. Reflektieren eines Lokalisationssignals. Außerdem umfasst sie mindestens drei Empfänger zum Empfang des gesendeten bzw. reflektierten Lokalisationssignals und eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes aus den empfangenen Signalen.

Die Lokalisationseinheit kann insbesondere am Mixed-Reality-Display befestigt sein, so dass die Position des Zeigerelementes im realen Raum mit Bezug auf das Mixed-Reality-Display und damit den Betrachter bestimmt wird. Dies kann die Umsetzung in die Position im virtuellen Raum erleichtern, wenn die Positionen im virtuellen Raum ebenfalls auf den Betrachter bezogen sind.

Es ist jedoch auch möglich, die Position des Zeigerelementes mit Bezug auf einen anderen, vorzugsweise fixen Punkt im realen Raum zu ermitteln. In diesem Fall ist die Lokalisationseinheit auch zum Ermitteln der Position und der Orientierung des Mixed-Reality-Displays ausgebildet, so dass die Position des Zeigerelementes im Bezug auf das Mixed-Reality-Display berechnet werden kann. Wenn in dem Raum, in dem die Lokalisation stattfinden soll, bereits eine geeignete Lokalisationseinheit vorhanden ist, ermöglicht diese Ausgestaltung das Verwenden der vorhandenen Lokalisationseinheit als Lokalisationseinheit der erfindungsgemäßen Gerätefunktionssteuervorrichtung. Der Bezug der ermittelten Position zum Mixed-Reality-Display kann bspw. mittels einer Software zum Durchführen einer Koordinatentransformation hergestellt werden.

Das virtuelle Betätigungselement sowie die Beziehung zwischen der virtuellen Position des Zeigerobjektes und der virtuellen Position des virtuellen Betätigungselementes, welche die Gerätesteuerfunktion auslöst, können in einer besonderen Ausgestaltung der erfindungsgemäßen Gerätefunktionssteuervorrichtung einem realen Betätigungselement, bspw. einer Taste, einem Schiebeschalter, einem Drehschalter, etc. nachempfunden sein, was ein besonderes intuitives Bedienen ermöglicht.

Ein erfindungsgemäßes medizinisches Gerät, das bspw. als optisches Beobachtungsgerät und insbesondere als Operationsmikroskop ausgestaltet sein kann, umfasst eine erfindungsgemäße Gerätefunktionssteuervorrichtung.

Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung eines Ausführungsbeispieles, wobei auf die beiliegenden Zeichnungen Bezug genommen wird.
1 zeigt ein Blockschaltbild für die erfindungsgemäße Gerätefunktionssteuervorrichtung.
2 zeigt in einer schematischen Darstellung ein Mixed-Reality-Display in dem mehrere virtuelle Tasten dargestellt sind.
3 zeigt einen Ausschnitt aus 2 in einer vergrößerten Darstellung.
Als ein Ausführungsbeispiel für die erfindungsgemäße Gerätefunktionssteuervorrichtung ist in 1 eine Gerätefunktionssteuervorrichtung für ein Operationsmikroskop, bei dem ein Bild mittels eines CCD-Chips 5 aufgenommen und mittels einer Stereobeobachtungsbrille 1 mit Mikrodisplays dargestellt wird, als Blockschaltbild gezeigt. Die Stereobetrachtungsbrille 1 ist mit einer Darstellungseinheit 3 der Gerätefunktionssteuervorrichtung 2 verbunden, welche dazu ausgestaltet ist, eine Reihe von Gerätesteuerfunktionen repräsentierende virtuelle Tasten 15a–15f in den Mikrodisplays der Stereobrille 1 anzuzeigen. Optional kann der CCD-Chip 5 ebenfalls mit der Darstellungseinheit 3 verbunden sein, wobei diese dann auch das Darstellen der mit dem CCD-Chip 5 aufgenommenen Bilder in den Mikrodisplays der Stereobrille übernimmt. Wenn das medizinische Gerät, für das die Gerätefunktionssteuervorrichtung 2 Verwendung findet, eine eigene Darstellungseinheit besitzt, wie etwa ein Operationsmikroskop mit digitaler Bilddarstellung, kann auch diese Darstellungseinheit als Darstellungseinheit der Funktionssteuervorrichtung 2 dienen.
Die Gerätefunktionssteuervorrichtung 2 umfasst eine Funktionssteuereinheit 7, die eine Reihe von Gerätesteuerfunktionen repräsentierende virtuelle Tasten 15a–15f zur Verfügung stellt und mit der Darstellungseinheit 3 zum Darstellen der virtuellen Tasten 15a–15f in den Mikrodisplays der Stereobetrachtungsbrille 1 verbunden ist. Das Darstellen der virtuellen Tasten 15a–15f in den beiden Mikrodisplays 1a und 1b erfolgt dabei derart, dass sich beim Betrachter ein räumlicher Eindruck einstellt (2 und 3). Die Darstellungseinheit 3 stellt außerdem ein virtuelles Zeigerobjekt 17, dessen Position im virtuellen Raum von der Position der Spitze des Zeigefingers 19 im realen Raum bestimmt wird, in den beiden Mikrodisplays 1a, 1b ebenfalls so dar, dass ein räumlicher Eindruck entsteht. Wenn der Finger im virtuellen Raum mit abgebildet wird, kann insbesondere auch das Bild der Fingerspitze 19 selbst als Zeigerobjekt 17 Verwendung finden.
Außerdem umfasst die Gerätefunktionssteuervorrichtung 2 eine Umsetzungseinheit 9, die mit der Darstellungseinheit 3 sowie mit einer Auslöseeinheit 11 verbunden ist. Außer mit der Darstellungseinheit 3 und der Auslöseeinheit 11 ist die Umsetzungseinheit 9 noch mit einer Lokalisationseinheit 13 verbunden, die im Ausführungsbeispiel zum Lokalisieren der Zeigefingerspitze 19 des Benutzers des Operationsmikroskops ausgebildet ist und die Koordinaten der Zeigefingerspitze 19 im realen Raum als Koordinatendaten an die Umsetzungseinheit 9 weitergibt. Diese rechnet die Koordinaten der Fingerspitze 19 im realen Raum mit Hilfe einer Abbildungsvorschrift oder Koordinatentransformationsregel in eine Position im virtuellen Raum um und ordnet die so ermittelte Position im virtuellen Raum dem Zeigerobjekt 17 zu. Die Position des Zeigerobjektes 17 gibt die Umsetzungseinheit 9 dann an die Darstellungseinheit 3 weiter, welche das Zeigerobjekt 17 in der empfangenen Position darstellt.
Die Lokalisationseinheit 13 ist im dargestellten Ausführungsbeispiel durch zwei an der Stereobeobachtungsbrille 1 befestigte Beobachtungskameras 13a, 13b zusammen mit einer Bilderkennungseinheit zum Erkennen eines an der Spitze des Zeigefingerabschnitts eines sterilen Handschuhs angebrachten Markers und einer Auswerteeinheit zum Ermitteln der Koordinaten des Markers aus den dreidimensionalen Bildinformationen realisiert.
Außer an die Darstellungseinheit 3 gibt die Umsetzungseinheit 9 die Position des Zeigerobjektes 17 im virtuellen Raum auch an die Auslöseeinheit 11 weiter, die von der Funktionssteuereinheit 7 zudem die Koordinaten der Tasten 15a–15f im virtuellen Raum empfängt. Wenn die Auslöseeinheit feststellt, dass die von der Umsetzungseinheit 9 empfangene Position eine bestimmte räumliche Beziehung zu einer der virtuellen Tasten 15a–15f aufweist, gibt die Auslöseeinheit 11 ein bestimmtes Auslösesignal für eine Gerätesteuerfunktion an die Funktionssteuereinheit 7 aus, auf das hin diese die entsprechende Gerätesteuerfunktion ausführt.
Eine mögliche räumliche Beziehung zwischen den Tasten 15a–15f als Betätigungselementen und dem Zeigerobjekt 17, die eine Gerätesteuerfunktion auslöst, wird nachfolgend beschrieben:
Die virtuellen Tasten 15a–15f weisen jeweils eine Tastfläche 21a–21f und eine Betätigungsrichtung, die im Wesentlichen senkrecht auf der Tastfläche steht, auf. Sobald die Position des Zeigerobjektes 17 mit der Position eines Punktes auf der Tastfläche 21a–21f einer der Tasten 15a–15f übereinstimmt, interpretiert die Auslöseeinheit 11 eine Bewegung des Zeigerobjektes 17 in Tastrichtung, als ein Betätigen der Taste und gibt ein Auslösesignal an die Funktionssteuereinheit 7 aus, auf das hin die Funktionssteuereinheit 7 die mit der Taste verbundene Gerätesteuerfunktionen ausführt. Außerdem gibt die Auslöseeinheit 11 das Ausmaß der Bewegung des Zeigerobjektes 17 in Tastrichtung an die Funktionssteuervorrichtung 7 weiter, welche die Darstellungseinrichtung 3 daraufhin veranlasst, die Darstellung der entsprechenden Taste in der Stereobeobachtungsbrille 1 an das Ausmaß der Bewegung anzupassen. Wenn sich das Zeigerobjekt 17 wieder von der Tastfläche 21a–21f entfernt, so veranlasst die Funktionssteuereinheit 7 die Rückkehr der Darstellung der Taste in ihre Ausgangsposition.
Um einem unbeabsichtigten Betätigen einer virtuellen Taste 15a–15f vorzubeugen, kann in der Auslöseeinheit 11 ein Schwellenwert für die Bewegung des Zeigerobjektes 17 in Tastrichtung abgelegt sein, der überschritten werden muss, damit das Auslösesignal an die Funktionssteuereinheit 7 ausgegeben wird.
Die Darstellung der Tasten 15a–15f erfolgt im vorliegenden Ausführungsbeispiel derart im oberen Bereich der Mikrodisplays 1a, 1b, dass sie bei einem Bewegen des Kopfes immer in Blickrichtung des Betrachters bleiben. In einer alternativen Ausgestaltung kann das Darstellen der virtuellen Tasten 15a–15f jedoch auch so erfolgen, dass sie vom Betrachter nur zu sehen sind, wenn er in eine bestimmte Richtung schaut, so dass die virtuellen Tasten 15a–15f als im realen Raum fixiert erscheinen.
Im vorliegenden Ausführungsbeispiel wurde als Lokalisationseinheit eine 3D-Kamera zusammen mit einer Bilderkennungseinheit verwendet. Alternativ kann jedoch auch eine Lokalisationseinheit zur Anwendung kommen, die auf einem vom Zeigerelement ausgehenden oder von diesem reflektierten Lokalisationssignal beruht. Am Zeigerelement ist in diesem Fall ein Sender oder Reflektor zum Senden bzw. Reflektieren des Lokalisationssignals angebracht. Zum Empfang des gesendeten oder reflektierten Lokalisationssignals stehen drei oder mehr Empfänger zur Verfügung. Eine Auswerteeinheit ermittelt dann die Position des Zeigerelementes bspw. aus den Laufzeiten oder den Laufzeitdifferenzen der Signale zu den jeweiligen Empfängern.
Die Auslöseeinheit 11 ist im Ausführungsbeispiel als selbständige Einheit innerhalb der Gerätefunktionssteuervorrichtung ausgebildet. Sie kann alternativ jedoch auch in die Funktionssteuereinheit 7 integriert sein.
Mit dem erfindungsgemäße Verfahren lassen sich nicht nur mit der Hand zu betätigende virtuelle Betätigungselemente realisieren, sondern auch virtuelle Fußschalter. Im letzteren Fall dient bspw. die Fußspitze als Zeigerelement.

Claims

Verfahren zum Bereitstellen einer berührungslosen Gerätefunktionssteuerung für ein medizinisches Gerät, welches medizinische Bildinformation in einem Mixed-Reality-Display darstellt, mit den Schritten: – Bereitstellen mindestens eines virtuellen Betätigungselementes (15a –15f) mit Gerätesteuertunktion in einer virtuellen Position eines virtuellen Raumes; – Darstellen des virtuellen Betätigungselementes (15a–15f) und eines Zeigerobjektes (17) zusammen mit der medizinischen Bildinformation im Mixed-Reality-Display (1); – Lokalisieren eines Zeigerelementes (19) im realen Raum; – Umsetzen der räumlichen Position des Zeigerelementes (19) im realen Raum in eine virtuelle Position des Zeigerobjektes (17) im virtuellen Raum; und – Ausführen der Gerätesteuertunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a–15f) im virtuellen Raum gegeben ist.
Verfahren nach Anspruch 1, bei dem as mindestens eine virtuelle Betätigungselement (15a–15f) neben, über oder unter der medizinischen Bildinformation eingeblendet wird.
Verfahren nach Anspruch 1, bei dem das mindestens eine virtuelle Betätigungselement (15a–15f) der medizinischen Bildinformation überlagert wird.
Verfahren nach Anspruch 1, bei dem die Orientierung des virtuellen Raumes derart fest mit dem realen Raum verbunden ist, dass das mindestens eine im virtuellen Raum bereitgestellte Betätigungselement (15a–15f) nur in einer bestimmten, auf den realen Raum bezogenen Orientierung des Mixed-Reality-Displays zu sehen ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Lokalisieren des Zeigerelementes (19) im realen Raum auf optischem Wege geschieht.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Umsetzen der räumlichen Position des Zeigerelementes (19) im realen Raum in die virtuelle Position des Zeigerobjektes (17) im virtuellen Raum anhand einer Koordinatentransformation erfolgt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, das sowohl das virtuelle Betätigungselement (15a–15f) als auch die Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a–15f), welche die Gerätesteuerfunktion auslöst, einem realen Betätigungselement nachempfunden ist.
Gerätefunktionssteuervorrichtung für medizinische Geräte, in welchen medizinische Bildinformation in einem Mixed-Reality-Display dargestellt wird, umfassend: – eine Funktionssteuereinheit (7), die mindestens eine Gerätesteuerfunktion sowie mindestens ein der Gerätesteuerfunktion zugeordnetes virtuelles Bedienelement (15a–15f) in einer bestimmten virtuellen Position in einem virtuellen Raum bereitstellt und die zum Darstellen des mindestens einen virtuellen Bedienelementes (15a–15f) sowie eines Zeigerobjektes (17) im Mixed-Reality-Display (1) zusammen mit medizinischer Bildinformation mit einer Darstellungseinheit (3) verbunden oder verbindbar ist; – eine Lokalisationseinheit (13) zum Ermitteln der Position eines Zeigerelementes (19) im realen Raum; – eine mit der Lokalisationseinheit (13) verbundene und mit der Darstellungseinheit (3) verbundene oder verbindbare Umsetzungseinheit (9) zum Umsetzen der Position des Zeigerelementes (19) im realen Raum in eine virtuelle Position des Zeigerobjektes (17) im virtuellen Raum; und – eine mit der Funktionssteuereinheit (7) und der Umsetzungseinheit (9) verbundene Auslöseeinheit (11) zum Auslösen der Gerätesteuerfunktion, wenn eine vorgegebene räumliche Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a–15f) gegeben ist.
Gerätefunktionssteuervorrichtung nach Anspruch 8, bei der die Lokalisationseinheit (13) eine 3D-Beobachtungskamera (13a, 13b) und eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes (19) aus den Bilddaten der 3D-Beobachtungskamera (13a, 13b) umfasst.
Gerätefunktionssteuervorrichtung nach Anspruch 8, bei der die Lokalisationseinheit (13) umfasst: – einen am Zeigerelement zu befestigenden oder das Zeigerelement bildenden Sender oder Reflektor zum Senden bzw. Reflektieren eines Lokalisationssignals; – mindestens drei Empfänger zum Empfang des gesendeten bzw. reflektierten Lokalisationssignals; und – eine Auswerteeinheit zum Ermitteln der Position des Zeigerelementes aus den empfangenen Signalen.
Gerätefunktionssteuervorrichtung nach einem der Ansprüche 8 bis 10, bei der die Lokalisationseinheit (13) auch zum Ermitteln der Position und der Orientierung des Mixed-Reality-Displays (1) ausgebildet ist.
Gerätefunktionssteuervorrichtung nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass sowohl das virtuelle Betätigungselement (15a–15f) als auch die Beziehung zwischen der virtuellen Position des Zeigerobjektes (17) und der virtuellen Position des virtuellen Betätigungselementes (15a–15f), welche die Gerätesteuerfunktion auslöst, einem realen Betätigungselement nachempfunden ist.
Medizinisches Gerät mit einer Gerätesteuervorrichtung nach einem der Ansprüche 8 bis 12.
Medizinisches Gerät nach Anspruch 13, gekennzeichnet durch seine Ausgestaltung als optisches Beobachtungsgerät, insbesondere als Operationsmikroskop.