DE10246147A1

DE10246147A1 - Mehrkamera-Trackingsystem

Info

Publication number: DE10246147A1
Application number: DE10246147A
Authority: DE
Inventors: Markus Schill
Original assignee: VR MAGIC GmbH
Current assignee: Vrmagic De GmbH
Priority date: 2002-10-01
Filing date: 2002-10-01
Publication date: 2004-04-15
Anticipated expiration: 2022-10-02
Also published as: WO2004030560A2; WO2004030560A3; DE10246147B4; AU2003283180A1

Abstract

Die Erfindung betrifft eine Positionsbestimmungsanordnung mit Markierungserfassungskameras zur Ausgabe markierungserfassungsindikativer Signale und Signalauswertemitteln zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale. Hierbei ist vorgesehen, daß eine Vielzahl von IR- und Farbkameras zur Erfassung farbkodierter IR-Marker vorgesehen ist und die Signalauswertemittel zur Markierungsidentifikation im Ansprechen auf die Farbkemerasignale ausgebildet sind.

Description

Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte. Damit befaßt sich die vorliegende Erfindung mit einer kamerabasierten Positionsbestimmungsanordnung.
Kamerabasierte Positionsbestimmungsanordnungen sind bekannt. Sie werden etwa verwendet, um bei medizinischen Operationen die Position der für den Eingriff verwendeten Instrumente feststellen zu können und ausgehend von dieser Feststellung beispielsweise computergestützt zu steuern. Dabei wird typisch auf dem jeweiligen Instrument eine Markierung angebracht, anhand derer die Lage der Instrumente bestimmt werden kann. Die Markierung kann etwa im Infraroten eine starke Rückstreuung bzw. starke Rückreflexe aufweisen; beides wird für Zwecke der vorliegenden Erfindung nicht unterschieden, soweit nicht anders erwähnt. Die Verwendung von IR-Markierungen ist deshalb bevorzugt, weil sich hiermit besonders starke Signale ergeben, die somit eine präzise und durch Rauschen im Bild allenfalls wenig beeinträchtigte Ortung ermöglichen.
Sind nun, was üblich ist, mehrere Instrumente gleichzeitig im Einsatz, so müssen diese dauerhaft voneinander unterschieden werden. Hierzu gibt es unterschiedliche Verfahren im Stand der Technik. So können die Bahnen der Markierungen, nachdem diese einmal zugeordnet wurden, verfolgt werden. Dies ist rechnerisch aufwendig und ergibt überdies Probleme, wenn die Instrumente verdeckt werden und damit die Bahnen einige Zeit nicht erkannt werden. Hierzu wurde bereits vorgeschlagen, daß mehrere Kameras vorgesehen werden können, die eine redundante Beobachtung der zu verfolgenden Instrumente ermöglichen. Damit ist es weniger wahrscheinlich, daß die Bahnverfolgung aufgegeben werden muß. Auch ist es möglich, mit ersten Kameras andere Kameras zu beobachten und damit wiederum deren Position festzulegen, was es erlaubt, die Kameras immer wieder dicht an die Instrumente heran zu bewegen. Dies lindert das Problem bereits wesentlich.
Eine weitere Möglichkeit im Stand der Technik besteht darin, die Markierungen in ihrer Form unterschiedlich zu gestalten und/oder selbst mit Markierungen in Form etwa einer Zahl zu versehen und somit unterscheidbar zu machen. Problematisch ist hier, daß ein vergleichsweise hoher Aufwand zur Mustererkennung erforderlich ist, insbesondere weil das Objekt schräg im Raum liegen kann.
Die Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereitzustellen.
Die Lösung dieser Aufgabe wird in unabhängiger Form beansprucht. Bevorzugte Ausführungsformen finden sich in den Unteransprüchen.
Gemäß einem ersten wesentlichen Aspekt der Erfindung wird somit vorgeschlagen, daß eine Positionsbestimmungsanordnung mit Markierungserfaßungskameras zur Ausgabe markierungserfaßungsindikativer Signale und Signalauswertemitteln zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale so ausgestaltet ist, daß eine Vielzahl von IR- und Farbkameras zur Erfassung farbkodierter IR-Marker vorgesehen ist und die Signalauswertemittel zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.
Es wird mit anderen Worten eine einfache Erkennung, welche IR-Markierung sich zu einem bestimmten Zeitpunkt an einem bestimmten Ort befindet, dadurch ermöglicht, daß die Markierung zugleich farbig ausgelegt wird und dann mit einer farbempfindlichen Kamera bestimmt wird, welche Farbe eine jeweilige Markierung aufweist. Auf diese Weise ist es möglich, die Rauscharmut der IR-Kameras, die sich aufgrund der sehr hellen Signale ergibt, bei der eigentlichen Positionsbestimmung auszunutzen und dann unter Ausnutzung der gegebenenfalls weniger präzisen Ortung durch die Farbkamera eine sehr einfache Identifikation vorzunehmen.
Es sind dabei wenigstens 3 Kameras vorgesehen, wobei typisch 2 Infrarotkameras vorgesehen sein werden. Mit diesen zwei Infrarotkameras ist es möglich, die Position eines Markers sehr genau festzulegen, weil schon mit zwei Kameras auf bekannte Weise, etwa durch Triangulation, eine Positionsbestimmung erfolgen kann. In einer Grundvariante ist dagegen nur eine Farbkamera erforderlich, um die Marker, die auf den mit den IR-Kameras ermittelten Stellen befindlich sind, zu identifizieren.
Besonders bevorzugt ist es, wenn die Positionsbestimmungsanordnung mit IR-Marker verwendet wird, die einen engen Rückstrahlkegel aufweisen. Dann können nahe den IR-Kameras IR-Lichtquellen vorgesehen sind, wie IR-LEDs, so daß das Licht bei Erregung dieser Lichtquelle praktisch nur in die jeweilige IR-Kamera zurückfällt. Insbesondere wird also zumindest eine IR-Lichtquelle so nahe an einer IR-Kamera angeordnet, daß zumindest wesentliche Anteile des Rückstrahlkegels in diese IR-Kamera fallen. Es ist im übrigen zwar nicht zwingend erforderlich, die Marker zugleich als IR-Marker und farbig auszulegen. Vielmehr wäre es prinzipiell möglich, Farbfelder o.ä. getrennt von den IR-Markern anzubringen. Bevorzugt ist es jedoch in jedem Fall, wenn die IR-Marker zugleich farbig sind, weil dies die Auswertung vereinfacht.
Es ist möglich, daß einer Mehrzahl von Kameras Lichtquellen zugeordnet sind, deren von den Markierungen rückgestreutes Licht zumindest überwiegend in die entsprechenden Kameras fällt. Mit anderen Worten wird bei besonders engen Rückstreukegeln von der für die Positionsbestimmung eingestrahlte Lichtenergie viel in die jeweilige Kamera zurückgestrahlt. Dies ist bevorzugt, weil so die Gesamtenergie, die auf das Sichtfeld eingestrahlt werden muß, geringer gehalten werden kann. Dies ist gerade bei Operationen, wo der Situs sehr hell auszuleuchten ist, relevant, da durch die hellen OP-Leuchten ohnehin eine starke Wärmebelastung gegeben ist. Es ist weiter möglich, in einem solchen Fall eine Steuerung vorzusehen, um die unterschiedlichen Lichtquellen separat zu erregen. Dies kann bei dicht beieinander liegenden Lichtquellen vorteilhaft sein, um eine noch bessere Trennung zu erzielen.
Obwohl mit einer Farbkamera erfindungsgemäß gearbeitet werden kann, sind typisch wenigstens zwei vorgesehen. Dies ermöglicht einerseits eine bestimmte Redundanz, etwa gegen Ausfall einer Kamera oder zur Bestimmung einer Verschiebung, wenn eine Auswertung der Farben unter Heranziehung nur einer Kamera erfolgt. Andererseits und/oder alternativ ist es möglich, auch mit den Farbkameras eine Triangulation vorzunehmen. Dies ist besonders bevorzugt. Dann ist es möglich, die Groblage eines Objektes anhand der verrauschten und/oder ungenauen Farbbilder zu bestimmen und anhand der IR-Kamerabildauswertung festzulegen, wo genau die Markierungen im Raum sitzen, die mit den Farbkameras grob in ihrer Position erkannt und identifiziert wurden.
Die Positionsbestimmungsanordnung wird bevorzugt so ausgebildet, daß wenigstens zwei IR- und zwei Farbkameras und eine Steuerung vorgesehen sind, um mit diesen Positionen zu bestimmen, insbesondere, um Positionen durch gegebenenfalls gewichtete Positionsbestimmung genauer festzulegen, um mit höherer Wiederholrate Messungen zu bestimmen, etwa indem phasenverschoben erst mit einem ersten Satz und dann mit einem zweiten Satz von je zwei IR-Kameras und einer Farbkamera Markierungspositionen erfaßt werden und/oder um, insbesondere bei zueinander beweglichen Kameras mit einem ersten Satz Kameras die Positionen weiterer Kameras zu kontrollieren und/oder zu bestimmen. Ein Wechsel zwischen Kameras kann etwa auch so erfolgen, daß zwei IR-Kameras und zwei Farbkameras vorgesehen sind und dann jede Farbkamera alternierend, aber synchron mit den beiden IR-Kameras ausgelesen wird. Das synchrone Auslesen gewährleistet, daß sich nicht durch rasche Bewegungen Fehler ergeben können. Das phasenverschobene alternierende Auslesen ist etwa dann vorteilhaft, wenn die maximal mögliche Auslesefrequenz der IR-Kameras höher als jene der Farbkameras ist.
Die Positionsbestimmungsanordnung ist besonders bevorzugt für die Anwendung in Operationssälen und kann insbesondere sterilisierbar und/oder mit Schnittstellen für die Positionierung von Instrumenten und/oder die Aufzeichnung von Instrumentenpositionen ausgebildet sein.
Es ist dann insbesondere möglich, eine Mehrzahl Kameras in eine Operationsleuchte einzubauen.
Schutz wird weiter beansprucht für Marker für eine Positionsbestimmungsanordnung der Erfindung, wobei dieser zumindest an Teilen einen Rückstreukegel von nicht mehr als 10° (in der Seitenansicht des Kegels) insbesondere für IR-Licht aufweist, farbkodiert und steril verpackt ist.
Die Erfindung wird im folgenden nur beispielsweise anhand der Zeichnung erläutert. In dieser ist gezeigt durch:
1 eine Anordnung gemäß der Erfindung.
Nach 1. zeigt eine allgemein mit 1 bezeichnete Positionsbestimmungsanordnung 1 mit Markierungserfaßungskameras 2 zur Ausgabe von für die Erfassung von Markierungen 3 indikativen Signalen und Signalauswertemitteln 4 zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale, wobei die Markierungserfaßungskameras 2 eine Vielzahl von IR- und Farbkameras zur Erfassung der farbkodierten IR-Marker 3 vorgesehen ist und die Signalauswertemittel 4 zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.
Die Positionsbestimmungsanordnung 1 ist im vorliegenden Beispiel zur Verwendung in einem Operationsaal ausgebildet und insbesondere sind die Kameras 2 in einer Operationsleuchte 5 mit Lampen 5a eingebaut und mit dieser schwenkbar, so daß sie immer eine weitgehend freie Sicht auf den Situs aus kurzer Entfernung besitzen. Wohin die Operationsleuchte 5 geschwenkt wird und somit von welcher Position aus beobachtet wird, wird mit einem Satz raumfester Kameras (nicht eingezeichnet) beobachtet, die in der Decke oder den Wänden des Operationssaales angeordnet sind, wobei auf der Operationsleuchte diesen Kameras zugewandte Marker angeordnet sitzen (gleichfalls nicht eingezeichnet).
Die Kameras 2 umfassen im vorliegenden, einfachen Ausführungsbeispiel zwei identische IR-Kameras 2a,2c und eine Farbkamera 2b. Diese drei Kameras sind gemeinsam auf den Situs gerichtet. Die beiden IR-Kameras sind so zueinander angeordnet, daß die Position und Ausrichtung eines Instrumentes bzw. einer darauf angeordneten Markierung mit ihnen durch Triangulation erfaßbar ist. Nahe jeder Kamera 2a, 2b ist eine IR-LED 6a, 6b angeordnet, deren Licht auf den Situs und dessen Umgebung gerichtet ist, so daß insbesondere in der Nähe des Situs befindliche Marker 3 auf chirurgischen Instrumenten 7, die Licht in einem engen Kegel mit einem Öffnungswinkel alpha von etwa 3° in Richtung auf die LED und damit in die dicht daneben befindliche IR-Kamera rückstreuen. Marker-Klebefolien, die einen engen Rückstreukegel erzeugen, sind kommerziell erhältlich. Für die Zwecke der vorliegenden Erfindung sind solche Folien steril verpackt und farbkodiert, d.h. sie weisen eine einer Vielzahl unterschiedlicher Farben auf. Es sei darauf hingewiesen, daß die Marker nicht zwingend folienartig sein müssen, sondern auch zum Beispiel Kugelform besitzen können. Auch dann ist eine sterile Verpackung möglich.
Weiter ist eine farbempfindliche Kamera 2b vorgesehen, die ein farbiges Bild des Situs aufnimmt und mit der demgemäß erkannt werden kann, welche Farbkodierung der Marker 3 besitzt. Es sind mit der festen Anordnung der Kameras in der Operationsleuchte auch die Abbildungeigenschaften des Systems und insbesondere der Farbkamera bekannt, so daß errechnet werden kann, wohin ein bestimmter Raumpunkt innerhalb des Sichtfeldes auf dem Bild abgebildet wird.
Die Signale aus den Kameras 2 werden über Signalleitungen an die Signalauswertemittel 4 gespeist. Diese ist dazu ausgebildet, durch Triangulation aus den Signalen der IR-Kameras die XYZ-Position der Markierung zu bestimmen. Weiter ist sie dazu ausgebildet, zu einer gegebenen XYZ-Position im Raum zu ermitteln, wohin diese im Bild der Farbkamera projiziert wird und dann die Farbe bei diesem Bildpunkt zu ermitteln, um die Markierung und damit das Instrument 7 anhand der Farbe zu erkennen.
Die Anordnung kann wie folgt verwendet werden: Das System wird einmal kalibriert. Dann werden die sterilen IR-Markierungen definiert auf einer Reihe chirurgischer Instrumente 7 angebracht, wobei jedem Instrument eine Markierung in einer anderen, von der Farbkamera unterscheidbaren Farbe zugeordnet wird.
Nun wird die Operationsleuchte 5 an eine vorgegebene und bekannte Stelle über dem Situs bewegt. Hernach wird ein erstes der Instrumente 7 im Sichtfeld der Kameras verwendet und die IR-Leds bei jeder Kamera erregt. Die dabei mit der zugeordneten Kamera 2a, 2b erhaltenen Bilder weisen dort, wo die Markierung sitzt, einen scharfen, hellen Fleck auf, während die anderen Bereiche dunkel sind.
Die Bilder der beiden IR-Kameras 2a, 2c werden nun ausgewertet, um durch Triangulation die genaue Position der Markierung im Raum zu ermitteln. Da die relativen Positionen der Kameras zueinander bekannt und das System kalibriert ist, kann dies ohne weiteres geschehen.
Nun wird bestimmt, wohin der XYZ-Punkt, an dem sich die Markierung befindet, auf der Farbkamera abgebildet wird. Dann wird ein Bild mit der Farbkamera aufgenommen und der Farbwert an jenem Bildbereich, auf dem sich die Markierung befinden soll, ermittelt. Anhand des Farbwertes wird bestimmt, welches Instrument die Markierung trägt und es ist somit die Position dieses eindeutig identifizierten Instrumentes bekannt.
Es sei zunächst erwähnt, daß einleuchtenderweise nicht nur eine Positionsbestimmung möglich ist, sondern auch räumliche Ausrichtungen ermittelt werden können. Dazu können etwa zwei oder mehr Markierungen auf einem Instrument vorgesehen werden.
Wenn mehr als eine Markierung simultan im Blickfeld der Kameras ist, etwa weil mehr als ein Instrument verwendet wird und/oder weil auch dessen räumliche Ausrichtung ermittelt werden soll, kann es bevorzugt sein, wenn mehr als eine Farbkamera vorhanden ist. Es kann dann insbesondere auch mit diesen ein Triangulation vorgenommen werden und es ist möglich, eine geeignete Zuordnung festzulegen, mit welcher IR-Markierung eine Korrespondenz an einer gegebenen Stelle am wahrscheinlichsten ist. So können durch Projektion eines mit den Farbkameras ermittelten xyz-Punktes gegebener Farbe auf die IR-Kameras entsprechende Bereiche identifiziert werden, auf denen ein IR-Signal zu erwarten ist. Die genaue Position dieser IR-Punkte wird dann ermittelt, um so eine genauere xyz-Koordinate zu erhalten.
Weiter ist es möglich, eine größere Vielzahl an Kameras vorzusehen, um durch mehrfache Triangulation die Genauigkeit zu verbessern, eine Redundanz gegen Kameraausfall oder Sichtfeldverdeckung zu schaffen und/oder um durch phasenverschobenes Auslesen des Bildes die Zeitauflösung zu erhöhen.
Es sei erwähnt, daß durch andere Zuordnungen als oben angegeben gleichfalls eine Bestimmung von XYZ-Koordinaten mit mehr als zwei IR- und Farbkameras möglich ist.

Claims

Positionsbestimmungsanordnung mit Markierungserfaßungskameras zur Ausgabe markierungserfaßungsindikativer Signale und Signalauswertemitteln zur Markierungspositionsbestimmung im Ansprechen auf die Kamerasignale dadurch gekennzeichnet, daß eine Vielzahl von IR- und Farbkameras zur Erfassung farbkodierter IR-Marker vorgesehen ist und die Signalauswertemittel zur Markierungsidentifikation im Ansprechen auf die Farbkamerasignale ausgebildet sind.
Positionsbestimmungsanordnung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß wenigstens 3 Kameras vorgesehen sind.
Positionsbestimmungsanordnung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß wenigstens 2 Infrarotkameras vorgesehen sind.
Positionsbestimmungsanordnung nach einem der vorhergehenden Ansprüche zur Erfassung farbkodierter IR-Marker mit engem Rückstrahlkegel insbesondere im Infraroten, wobei nahe den IR-Kameras IR-Lichtquellen vorgesehen sind, insbesondere so nahe, daß zumindest wesentliche Anteile des Rückstrahlkegels in die IR-Kamera fallen.
Positionsbestimmungsanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß wenigstens zwei Farbkameras vorgesehen sind.
Positionsbestimmungsanordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß mehr als zwei IR- und/oder mehr als zwei Farbkameras vorgesehen sind und eine Steuerung vorgesehen ist, um mit diesen simultan und/oder im Wechsel Positionen zu bestimmen, insbesondere, um Positionen genauer zu bestimmen, mit höherer Wiederholrate Messungen zu bestimmen und/oder um, insbesondere bei zueinander beweglichen Kameras mit einem ersten Satz Kameras die Positionen weiterer Kameras zu kontrollieren und/oder zu bestimmen.
Positionsbestimmungsanordnung nach einem der vorhergehenden Ansprüche für Operationssäle.
Positionsbestimmungsanordnung nach einem der vorhergehenden Ansprüche, worin eine Mehrzahl Kameras in eine Operationsleuchte eingebaut ist.
Verfahren zur Positionsbestimmung insbesondere nach einem der vorhergehenden Ansprüche, worin mit Markierungserfaßungskameras zur Ausgabe markierungserfaßungsindikativer Signale erfaßt und die Kamerasignale zur Markierungspositionsbestimmung ausgewertet werden, dadurch gekennzeichnet, daß farbkodierter IR-Marker vorgesehen werden und Signale mit einer Vielzahl von IR- und Farbkameras erzeugt werden, wobei die Markierungsidentifikation im Ansprechen auf die Farbkamerasignale erfolgt.
Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, daß mit wenigstens zwei IR- Kameras und wenigstens zwei Farbkameras jeweils ein Satz von Markierungskoordinaten bestimmt wird und diese Sätze zur Bestimmung der Position einer anhand der Farbe identifizierten Markierung bestimmt werden, wobei insbesondere der farbkameraerzeugte Satz der Grobpositionsbestimmung dient.
Marker für eine Positionsbestimmungsanordnung nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, daß er einen Rückstreukegel von nicht mehr als 10° (in der Seitenansicht des Kegels) aufweist, farbkodiert und steril verpackt ist.