DE202020004674U1

DE202020004674U1 - Vorrichtung eines Spiegels mit Erweiterter Realität

Info

Publication number: DE202020004674U1
Application number: DE202020004674.4U
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-11-06
Filing date: 2020-11-06
Publication date: 2021-04-13
Anticipated expiration: 2030-11-07

Abstract

Eine technische Vorrichtung gekennzeichnet dadurch, dass sie das Bereitstellen mindestens eines nicht-egozentrischen Blickwinkels (5,6) ermöglicht, der in der Lage ist, gleichzeitig die echten (1,2) und virtuellen (3) Objekte, die in einer AR-Szene beobachtet werden, zu reflektieren, wobei die technische Vorrichtung durch folgendes gekennzeichnet ist:
a. Darstellen des mindestens einen nicht-egozentrischen Standpunkts (5, 6) der echten (1, 2) und virtuellen (3) Objekte auf der Oberfläche von mindestens einem reflektierenden Objekt (4); und
b. ein Tracking-System (8), das mit einer Vielzahl von Technologien arbeitet, um die Positionen und Orientierungen eines oder mehrerer Beobachter (9) gleichzeitig oder hintereinander und mindestens eines reflektierenden Objekts (4) zu erhalten; und
c. eine Anzeigevorrichtung, dadurch gekennzeichnet, dass die Anzeigevorrichtung einen egozentrischen Blickwinkel der echten (1, 2) und virtuellen (3) Objekte einer AR-Szene und mindestens ein reflektierendes Objekt (4) anzeigt, das mindestens einen zusätzlichen nicht egozentrischen Blickwinkel (5, 6) der echten (1, 2) und virtuellen (3) Objekte der Szene in Abhängigkeit von der Position des Beobachters (9) oder mehrerer Beobachter gleichzeitig oder hintereinander und des mindestens einen reflektierenden Objekts (4) liefert.

Description

HINTERGRUND
Gebiet der Erfindung
Die vorliegende Erfindung ist im Bereich computergestützter medizinischer Eingriffe angesiedelt, die von der Visualisierung von verschiedenen Blickwinkeln mittels Erweiterter Realität (Augmented Reality - AR) profitieren. Präziser ausgedrückt bezieht sich diese Erfindung auf die Verwendung echter Spiegel für die Visualisierung echter und virtueller Inhalte im Rahmen medizinischer Anwendungen. Beispiele für diese Anwendungen, aber nicht darauf beschränkt sind solche, die Ausrichtung, Inspektion und Visualisierung beinhalten.
Diskussion verwandter Arbeiten
Einer der Vorteile der Verwendung von AR besteht darin, dass die Wahrnehmung der echten Welt eines Beobachters durch die Einbettung computergenerierter Informationen erweitert werden kann. Diese visuellen Informationen können mit kompatiblen Geräten wie Datensichtbrillen (Head-Mounted Displays HMDs), Mobiltelefonen, Kamera-Display-Kombinationen oder Projektoren dargestellt werden, die die generierten Inhalte oft aus einem egozentrischen Blickwinkel präsentieren.
Ein inhärenter Nachteil egozentrischer Ansätze ist der Mangel an räumlicher Information, die sich aus der Darstellung eines dreidimensionalen Raumes mit Hilfe von zweidimensionalen Bildern ergibt. Dieser Mangel an Information kann zu einer Fehleinschätzung der Position des virtuellen Inhalts führen. Darüber hinaus kann sich dies negativ auf die Durchführung verschiedener Aufgaben auswirken, wie z.B. die Platzierung und Ausrichtung von Objekten, die Betrachtung und das Verständnis komplexer dreidimensionaler Umgebungen und die Visualisierung verdeckter Inhalte aus egozentrischer Sicht. Diese Aufgaben werden häufig bei einer Vielzahl medizinischer Eingriffe beobachtet, wie z.B. dem Einbringen von Nadeln, Trokaren oder Schrauben bei Eingriffen an der Wirbelsäule; dem Bohren von Knochen oder der Platzierung von Kirschnerdrähten in der Orthopädie; dem Bohren und Fixieren von Zahnimplantaten in der Zahnheilkunde; der Aufstellung von Roboterarmen bei robotergestützten Eingriffen während minimalinvasiver Verfahren; der Visualisierung und dem Verständnis anatomischer Informationen in komplexen Fällen, die u.a. Trümmerfrakturen beinhalten.
Die Darstellung mehrerer Perspektiven hat sich als hilfreich erwiesen, um den bei egozentrischer AR beobachteten Mangel an räumlicher Information zu kompensieren. In dieser Hinsicht wurde in existierenden Arbeiten die Verwendung und Anpassung des Spiegelparadigmas vorgeschlagen, um zusätzliche Blickwinkel in der AR bereitzustellen. Diese Arbeiten ermöglichen die Verwendung von Videostreams, um spiegelähnliches visuelles Feedback zu präsentieren, die Integration von halbversilberten Spiegeln und Displays, die Generierung virtueller Inhalte, die die physikalischen Eigenschaften von Spiegeln replizieren, oder die Verwendung bereits existierender Bilder, die aus verschiedenen Blickwinkeln bei der Betrachtung der betreffenden Szene aufgenommen wurden.
Einer der ersten Ansätze, bei dem gespiegelte Standpunkte für die Verwendung in AR verwendet wurden, wurde von Maes et al. vorgestellt („The ALIVE system: Full-body interaction with autonomous agents.“ Proceedings Computer Animation'95. IEEE, 1995). Diese Veröffentlichung führte das Paradigma des sogenannten „magischen Spiegels“ („magic mirror“) ein, bei dem eine Videokamera den Benutzer aus einer Vorderansicht aus filmt. Das mit der Kamera aufgenommene Bild wurde in einer Achse gespiegelt und mit virtuellen Inhalten angereichert, bevor es den Benutzern auf einem vor ihnen platzierten Display gezeigt wurde. Dieses Prinzip motivierte die Implementierung mehrerer Systeme, die für Unterhaltungs-, Marketing-, Bildungs- und Visualisierungszwecke eingesetzt wurden. Obwohl dieser Ansatz in der Lage ist, den Benutzern des Systems eine gespiegelte Ansicht der Szene zu präsentieren, ergeben sich einige Einschränkungen dieses Konzepts daraus, dass dieses System eine feststehende Kamera verwendet, um die gespiegelte Ansicht zu erzeugen. Dadurch wird die Möglichkeit der Darstellung zusätzlicher Blickwinkel eingeschränkt. Darüber hinaus soll erwähnt sein, dass eine Änderung des Blickwinkels des Benutzers nicht die gleichen visuellen Informationen liefern würde, wie sie bei der Verwendung von echten Spiegeln auftreten würden.
Die Darstellung von Spiegelbildern in AR-Anwendungen kann auch durch eine Kombination von Displays auf halbversilberten Spiegeln erfolgen. Dieser Ansatz wurde umfassend erforscht, beispielsweise von Pardhy et al. („A Virtual mirrorforassisting drivers‟. „Proceedings of the IEEE Intelligent Vehicles Symposium‟ 2000. Cat. No. 00TH8511. IEEE, 2000) zum Einsatz bei Seiten-/Rückspiegel von Fahrzeugen oder von Sato et al. („MR-mirror: a complex of real and virtual mirrors.“ International Conference on Virtual and Mixed Reality. Springer, Berlin, Heidelberg, 2009), um einem Benutzer die Interaktion mit virtuellen Inhalten zu ermöglichen, die auf der Spiegeloberfläche angezeigt werden. Trotz dieses Ansatzes, der es dem Benutzer ermöglicht, die visuellen Vorteile auszunutzen, die sich aus der Verwendung physischer Spiegel ergeben, ist die Visualisierung, die diese Ansätze bieten, nur aus der Perspektive eines einzelnen Benutzers korrekt. Zudem kann das virtuelle Objekt nur in der Spiegelansicht und nicht in der direkten Sicht des Benutzers erscheinen.
Im Rahmen medizinischer Einsatzszenarien wurde der von Navab et al. eingeführte virtuelle Spiegel („Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment.‟ U.S. Patent No. 8,314,815 . 20 Nov. 2012.) verwendet, um einen Spiegel vorzustellen, der in der Lage ist, virtuelle Inhalte in AR-unterstützten laparoskopischen Verfahren zu reflektieren und zu visualisieren. Während dieses Gerät in der Lage war, einen alternativen Blickwinkel auf den in der Szene befindlichen virtuellen Inhalt zu bieten und die physischen Merkmale echter Spiegel zu reproduzieren, besteht eine Limitierung dieses Ansatzes darin, dass er kein visuelles Feedback der in der Szene zu beobachtenden echten Objekte liefern kann.
Ein alternativer Ansatz zur Bereitstellung von Mehrfachansichten bei der medizinischen AR ist die Verwendung der von Fotouhi et al. eingeführten reflektiven AR-Displays („Reflective Aft display: An interaction methodology for Virtual-to-Real alignment in medical robotics.“ IEEE Robotics and Automation Letters 5 (2020): 2722-2729). Dieses Konzept ermöglicht es dem Benutzer, während des Aufstellens von Roboterarmen für den Einsatz in laparoskopischen Verfahren mehrere Standpunkte zu visualisieren. Zur Bereitstellung dieser Standpunkte erfordert die reflektierende AR-Anzeige eine Reihe an zuvor aufgenommenen Bildern aus verschiedenen Positionen der Szene. Diese Bilder werden verwendet, um mehrere spiegelbildliche Darstellungen des virtuellen und echten Inhalts der Szene zu visualisieren, die von ihren jeweiligen Standpunkten aus betrachtet werden. Im Gegensatz zu virtuellen Spiegeln ermöglicht dieses Konzept den Benutzern, den echten und virtuellen Inhalt der AR-Szene zu visualisieren. Eine Einschränkung der reflektierenden AR-Displays liegt jedoch darin, dass nach der Aufnahme der Bilder nur der virtuelle Inhalt der Szene verändert werden kann. Da dieses Konzept darüber hinaus statische Bilder verwendet, um die verschiedenen Blickwinkel bereitzustellen, kann der Benutzer nicht von den visuellen Vorteilen profitieren, die die Verwendung von Spiegeln bieten.
In einem von Winkler et al. vorgestellten Konzept („Spatially-Aware Displays for Computer Assisted Interventions.“ International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 451-460). Springer, Cham, 2020) hat der Chirurg weiterhin seine eigene direkte Ansicht auf den Patienten, ohne dass eine zusätzliche Anzeige oder eine Erweiterung der direkten Ansicht erforderlich ist, sondern der im Operationssaal verwendete Bildschirm wird nun auf die Sicht des Patienten und des Chirurgen registriert. Der Bildschirm kann als Spiegel relativ zur Sicht des Chirurgen fungieren. Dies ermöglicht es den Ärzten, ihre Sicht auf die Werkzeuge und den Patienten mühelos mit der virtuellen Darstellung der Patientendaten in Beziehung zu setzen. Bei dieser Technik kann der Bildschirm eine Visualisierung von räumlichen Informationen anzeigen, als ob es sich um einen Spiegel handeln würde. Er kann jedoch nur Informationen anzeigen, die das System erfassen kann und für die eine 3D-Darstellung vorliegt.
PROBLEMLÖSUNG
In Anbetracht des Standes der Technik besteht das Ziel der Erfindung darin, eine verbesserte Vorrichtung zur Verfügung zu stellen, um alternative Blickwinkel bereitzustellen, die es erlauben, gleichzeitig den in AR-Szenarien beobachteten echten und virtuellen Inhalt widerzuspiegeln. Darüber hinaus ermöglicht es diese Erfindung den Benutzern einer AR-Anwendung, von den physikalischen Vorzügen von reflektierenden Oberflächen zur Visualisierung nicht-egozentrischer Blickwinkel in medizinischen Szenarien zu profitieren.
Dies wird erbracht durch die Darstellung des virtuellen und echten Inhalts eines AR-Szenarios von einem nicht-egozentrischen Blickwinkel aus mit Hilfe von reflektierenden Oberflächen, einer Vorrichtung, die in der Lage ist, diesen Inhalt über die Oberfläche eines echten Objekts präzise zu überlagern, und einem entsprechenden Computerprogramm entsprechend den voneinander unabhängigen Ansprüchen. Die Ansprüche beziehen sich auf bevorzugte Ausführungen.
Als einen ersten Aspekt bezieht sich die Erfindung auf eine technische Vorrichtung zur Darstellung mindestens eines nicht egozentrischen Standpunkts zur Visualisierung des echten und virtuellen Inhalts im echten Raum unter Verwendung mindestens eines echten Objekts mit einer reflektierenden Oberfläche. Die Vorrichtung umfasst die Visualisierung der Reflexion von echtem und virtuellem Inhalt auf der Oberfläche von mindestens einem reflektierenden Objekt, wie z.B., aber nicht beschränkt auf die Verwendung eines Spiegels. Die mindestens eine reflektierende Oberfläche stellt den Inhalt einer AR-Szene dar, wobei der Inhalt in der Szene und die Positionen und Orientierungen von mindestens einem Objekts mit der reflektierenden Oberfläche und einem Beobachter berücksichtigt werden. Die mindestens eine nicht egozentrische Ansicht, die durch die Verwendung der mindestens einen reflektierenden Oberfläche bereitgestellt wird, wird im Sichtfeld des Beobachters dargestellt. Die technische Vorrichtung kann das Abbilden einer Darstellung des mindestens einen nicht-egozentrischen Blickwinkels unabhängig von einer bestimmten Renderingtechnik ermöglichen, wodurch die Anwendung mehrerer Visualisierungsmethoden wie Ray-Casting oder nicht-photorealistischem Rendering oder physikalisch basiertem Rendering (physically based rendering) ermöglicht wird.
Die Ansicht kann eine Perspektive einer Datensichtbrille, oder eine digitalisierte Ansicht einer echten räumlichen Perspektive sein, die durch die Verwendung einer Kamera bereitgestellt wird, die dem Betrachter mit Hilfe eines Visualisierungsgeräts, z.B. eines digitalen Bildschirms, eines Computers, eines Mobiltelefons, einer Datensichtbrille oder anderer Geräte, die geeignet sind, die Wahrnehmung der Ansicht durch den Menschen zu ermöglichen, präsentiert wird. Im ersten Fall kann die Sicht eine erweiterte Darstellung der echten Welt sein, bei der virtuelle Informationen dem Sichtfeld des menschlichen Operators durch eine Datensichtbrille überlagert werden. Im anderen Fall kann der virtuelle Inhalt aus dem digitalisierten Kamerabild erweitert und dem Betrachter auf einem elektronischen Display präsentiert werden. Dem Sichtfeld und dem mindestens einen reflektierenden Objekt sollen Positions- und Rotationsinformationen über die Position und Orientierung im echten Raum zugeordnet werden, um dem Beobachter den mindestens einen nicht-egozentrischen Blickwinkel in einem festen Koordinatensystem der echten Welt zuverlässig darzustellen. Beispielsweise kann die Datensichtbrille den aktuellen Standpunkt und die aktuelle Position in Bezug auf das mindestens eine reflektierende Objekt mit einer Kombination von Beschleunigungssensoren, Gyroskopen, Triangulation der Positionsreferenz oder optischen und elektromagnetischen Sensoren bestimmen, um die Erweiterung des Sichtfeldes des Beobachters mit einer Visualisierung des mindestens einen nicht-egozentrischen Standpunkts zu ermöglichen. Die Position und Orientierung können mit jedem geeigneten Mittel, wie z.B. Photogrammetrie von Markierungen oder Objekten, die im Sichtfeld neben dem echten Objekt aufgenommen wurden, ermittelt werden.
Dem mindestens einen reflektierenden Objekt sind echte Raumkoordinaten zugeordnet, und es ist in der Lage, einen zusätzlichen Blickwinkel auf die echte Welt zu bieten, wie ihn beispielsweise Spiegel oder Objekte mit reflektierenden Oberflächen bieten.
In den bevorzugten Ausführungsformen kann das mindestens eine reflektierende Objekt von Hand platziert werden, um die mindestens eine nicht-egozentrische Ansicht zu liefern, die den Anforderungen des Beobachters am besten entspricht. Bei einer manuellen Platzierung kann das mindestens eine reflektierende Objekt z.B. mit jeder Art von Haltearmen für Instrumente, die üblicherweise in den Operationssälen vorhanden sind, gehalten werden.
In bestimmten Ausführungsformen kann das mindestens eine reflektierende Objekt mit automatisierten Methoden platziert werden, z.B. durch Anbringen des mindestens einen reflektierenden Objekts am End-Effektor eines Roboterarms.
In bevorzugten Ausführungsformen kann das mindestens eine reflektierende Objekt mechanisch an einem getrackten Werkzeug angebracht werden. Auf diese Weise können das Werkzeug und das mindestens eine reflektierende Objekt gleichzeitig manipuliert werden, sobald die Position und Orientierung des Werkzeugs in Weltkoordinaten bestimmt sind. Dies kann beispielsweise zur Integration eines Spiegels an der Spitze von laparoskopischen Werkzeugen verwendet werden, um in unübersichtlichen Umgebungen mindestens einen nicht egozentrischen Blickwinkel zu erhalten.
Das mindestens eine reflektierende Objekt kann von beliebiger Größe und Form sein, wenn die Position und Orientierung des mindestens einen nicht reflektierenden Objekts in echten Koordinaten bestimmt werden kann und wenn die Abmessungen und die Krümmung der Oberfläche des reflektierenden Objekts bekannt sind. Wenn diese Bedingungen bestimmt werden können, kann das mindestens eine reflektierende Objekt z.B. eine konkave Oberfläche haben, um einen vergrößerten nicht egozentrischen Blickwinkel auf die Szene zu erhalten, oder eine konvexe Oberfläche, um ein nicht egozentrisches größeres Sichtfeld zu erhalten.
In bevorzugten Ausführungsformen kann der mindestens eine nicht egozentrische Blickwinkel, der durch das mindestens eine reflektierende Objekt bereitgestellt wird, geeignet sein, einen Beobachter, z.B. bei der Ausrichtung von Spezialwerkzeugen für das Einführen von Nadeln oder Trokaren bei Wirbelsäulenoperationen, beim Knochenbohren in der Zahnheilkunde oder bei der Platzierung von Kirschnerdrähten bei orthopädischen Eingriffen oder bei der Aufstellung oder dem Einsatz von Roboterarmen bei robotergestützten chirurgischen Eingriffen unterstützen
In einigen Ausführungsformen kann der mindestens eine nicht egozentrische Blickwinkel, der durch das mindestens eine reflektierende Objekt bereitgestellt wird, zum besseren Verständnis der Geometrie einer Szene verwendet werden, z.B. bei der Auffindung und Identifizierung von Splittern und Knochenbrüchen bei orthopädischen Repositionsoperationen.
In bevorzugten Ausführungsformen kann der mindestens eine nicht-egozentrische Standpunkt, der durch das mindestens eine reflektierende Objekt dargestellt wird, verwendet werden, um multimodale Darstellungen des in der Szene beobachteten virtuellen Inhalts bereitstellen zu können. In dieser Hinsicht kann die mindestens eine nicht egozentrische Ansicht beispielsweise zur Visualisierung eines Computertomographie-Scans verwendet werden, während die egozentrische Ansicht eine digital rekonstruierte Röntgenaufnahme anzeigen kann.
Der mindestens eine nicht egozentrische Blickwinkel, der von dem mindestens einen reflektierenden Objekt bereit gestellt wird, wird unter Verwendung der echten Koordinaten des Beobachters und des reflektierenden Objekts erzeugt. Diese Positionen und Orientierungen können mit allen verfügbaren Tracking-System-Technologien erfasst werden, wie z.B. Inside-Out-SLAM oder Infrarot-, elektromagnetischen oder optischen Markern, ohne darauf beschränkt zu sein. Der Beobachter kann dann den nicht-egozentrischen Standpunkt mit jedem AR-fähigen Gerät visualisieren, wie z.B., aber nicht beschränkt auf, Datensichtbrillen, Smartphones oder Kamera-Display-Kombinationen.
Die vorgeschlagene technische Vorrichtung verwendet die Position und Orientierung des Beobachters und des reflektierenden Objekts, um die Position und Orientierung eines virtuellen Beobachters hinter der reflektierenden Oberfläche zu berechnen. Dieser virtuelle Beobachter kann z.B. durch eine virtuelle Kamera ersetzt werden, die verwendet werden kann, um die Reflexion des virtuellen Inhalts in der Szene über die Oberfläche des reflektierenden Objekts wiederzugeben. In diesem Zusammenhang kann die Reflexion des virtuellen Inhalts der AR-Szene z.B. dadurch erzeugt werden, dass man eine virtuelle Kamera an der Position des virtuellen Beobachters platziert und die in der Szene beobachteten virtuellen Objekte aus der Sicht der virtuellen Kamera rendert. Dieser Standpunkt, kombiniert mit den Echtweltkoordinaten des reflektierenden Objekts, kann verwendet werden, um den Standpunkt der virtuellen Kamera über die Oberfläche der reflektierenden Oberfläche zu legen und damit dem Beobachter der AR-Szene den mindestens einen nicht-egozentrischen Standpunkt bereitstellen.
Zweitens bezieht sich die Erfindung auf ein Computerprogramm mit maschinenlesbaren Befehlen, die, wenn sie von einer Verarbeitungseinheit ausgeführt werden, die Verarbeitungseinheit veranlassen, eine der vorhergehenden Ausführungsformen zu implementieren.
Das Computerprogramm kann Anweisungen zur Initialisierung der Position und Orientierung des Beobachters und des mindestens einen reflektierenden Objekts mit einem Satz von Koordinaten enthalten, die den echten Raumkoordinaten entsprechen. Das Computerprogramm kann ferner Anweisungen zur Erfassung einer aktuellen Position und eines Blickwinkels enthalten, die einen Bezug auf die Ansicht im echten Raum haben, wie z.B. Position und Orientierung einer Datensichtbrille, und kann den mindestens einen nicht-egozentrischen Blickwinkel entsprechend der aktuellen Position und dem Blickwinkel des Beobachters darstellen. Zusätzlich kann das Computerprogramm Anweisungen enthalten, Eingaben von einem Benutzer zu empfangen und zu verarbeiten, um die Position und/oder Orientierung des mindestens einen reflektierenden Objekts zu aktualisieren.
Die maschinenlesbaren Anweisungen des Computerprogramms können auf einem nicht flüchtigen maschinenlesbaren Speichermedium gespeichert werden, auf das die Verarbeitungseinheit zugreifen kann.
Drittens bezieht sich die Erfindung auf ein Positionierungssystem zur Ausrichtung der Positionen und Orientierungen eines Beobachters und mindestens eines reflektierenden Objekts im echten Raum. Das System umfasst ein Positionierungsmodul, das so konfiguriert ist, dass es die Position und Orientierung eines Sichtfeldes, das die mindestens eine reflektierende Oberfläche enthält, im echten Raum bestimmt, und ein Anzeigemodul zur Visualisierung mindestens eines nicht-egozentrischen Blickwinkels im Sichtfeld in Übereinstimmung mit dessen Position und Orientierung. Der mindestens eine nicht-egozentrische Blickwinkel überlagert den virtuellen Inhalt der AR-Szene, der auf der Oberfläche des mindestens einen reflektierenden Objekts im Sichtfeld reflektiert wird.
Das Anzeigemodul und das Positionierungsmodul können in Software, Hardware oder einer Kombination davon implementiert werden und die Module können in demselben Gerät oder in verschiedenen Geräten umgesetzt werden. Darüber hinaus kann jedes der Module durch eine Vielzahl von Vorrichtungen implementiert werden, wie z.B. das Positionierungsmodul, das in einer Vielzahl von Sensorvorrichtungen implementiert ist, die zusammenarbeiten, um die aktuelle Position und Orientierung des Blickfelds zu bestimmen. Beispielsweise kann das Positionierungsmodul in einer Datensichtbrille und das Anzeigemodul in einer Verarbeitungsvorrichtung realisiert sein, die drahtlos mit einer Datensichtbrille gekoppelt ist, und das Anzeigemodul empfängt die aktuelle Position und Orientierung von der Datensichtbrille und visualisiert den mindestens einen nicht-egozentrischen Blickwinkel entsprechend dem Sichtfeld. Informationen zur Darstellung des visualisierten mindestens einen nicht-egozentrischen Blickwinkels können dann vom Anzeigemodul an die Datensichtbrille übertragen werden, um sie dem Beobachter der Szene anzuzeigen. Der mindestens eine nicht-egozentrische Standpunkt kann auf einem dem Gerät zugeordneten physischen Speicher gespeichert oder bei Bedarf über einen Kommunikationsweg, wie z.B. eine drahtlose oder kabelgebundene Verbindung zu einem Server, an das System übermittelt werden.
In bevorzugten Ausführungsformen umfasst das System ferner eine Anzeige zur Darstellung des mindestens einen nicht-egozentrischen Standpunktes im Sichtfeld.
Bei der Anzeige kann es sich um eine Datensichtbrille handeln, die das wahrgenommene Sichtfeld eines Beobachters erweitert, die das mindestens eine reflektierende Objekt enthält, oder um eine Anzeige zur Darstellung einer Kameraansicht, die das mindestens eine reflektierende Objekt enthält, oder einer von der Kameraansicht abgeleiteten dreidimensionalen Ansicht. In einigen Ausführungsformen umfasst das System eine oder mehrere Kameras zur Bereitstellung zusätzlicher Ansichten, die das mindestens eine reflektierende Objekt enthalten, und das Anzeigemodul kann den nicht-egozentrischen Blickwinkel und die damit verbundenen visuellen Merkmale anzeigen.
In bevorzugten Ausführungsformen umfasst das System ferner ein Darstellungs-Modul, das so konfiguriert ist, dass es Positionen und Orientierungen von einem Beobachter und dem mindestens einen reflektierenden Objekts empfängt, um den mindestens einen nicht-egozentrischen Blickwinkel auf Grundlage der Form und/oder Oberfläche des mindestens einen reflektierenden Objekts zu erzeugen.
In bevorzugten Ausführungsformen umfasst das System ferner ein Manipulationsmodul zum Empfangen von Benutzereingaben, um eine Position und/oder Orientierung des mindestens einen reflektierenden Objekts im Sichtfeld entsprechend der Benutzereingabe zu aktualisieren.
In bevorzugten Ausführungsformen umfasst das System ferner das mindestens eine reflektierende Objekt mit einer nichtplanaren Oberfläche, so dass die Oberfläche des mindestens einen reflektierenden Objekts konkave oder konvexe, nicht egozentrische Ansichten liefern kann.
In anderen bevorzugten Ausführungsformen implementiert das System jede beliebige Kombination der vorgenannten Ausführungsformen.
In anderen bevorzugten Ausführungsformen implementiert das System jede beliebige Kombination der vorgenannten Ausführungsformen mit dem Unterschied, dass es nicht nur einen Beobachter, sondern mehrere gleichzeitig oder nacheinander unterstützt, die jeweils Ansichten auf dem gleichen mindestens einen reflektierenden Objekt angezeigt bekommen.
Figurenliste
Die Merkmale und Vorteile der Darstellung, der Vorrichtung und des entsprechenden Computerprogramms gemäß der vorliegenden Erfindung lassen sich am besten anhand einer detaillierten Beschreibung der bevorzugten Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen verstehen:

zeigt ein Beispiel für ein reflektierendes Objekt und seinen jeweiligen nicht egozentrischen Blickwinkel, das den virtuellen und echten Inhalt einer AR-Szene darstellt;
zeigt ein Beispiel für eine Vorrichtung zur Bestimmung der Position und Orientierung eines reflektierenden Objekts im Weltkoordinatensystem;
zeigt ein Beispiel für eine Vorrichtung zur Bestimmung der Position und Orientierung eines reflektierenden Objekts und eines Beobachters im Weltkoordinatensystem;
veranschaulicht ein Beispiel für mehr als ein reflektierendes Objekt, das mehr als eine Visualisierungstechnik verwendet, um dem Beobachter die nicht-egozentrischen Blickwinkel zu präsentieren;
veranschaulicht ein Beispiel für mehrere Alternativen zur Platzierung des reflektierenden Objekts, das verwendet wird, um dem Beobachter mindestens einen nicht-egozentrischen Blickwinkel zu präsentieren;
veranschaulicht ein Beispiel für mehrere reflektierende Objekte mit unterschiedlichen Krümmungen, um dem Beobachter charakteristische nicht-egozentrische Standpunkte zu präsentieren;
veranschaulicht ein Beispiel für mindestens ein reflektierendes Objekt, das starr an einem getrackten Werkzeug für seine Verwendung in medizinischen Szenarien befestigt ist.

DETAILLIERTE BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
veranschaulicht ein Beispiel für eine Ausrichtungsaufgabe für das Bohren von Bahnverläufen in medizinischen Anwendungen. In diesem Beispiel erfordert ein chirurgischer Eingriff das Bohren in einen menschlichen Wirbelkörper (1) mit einem medizinischen Bohrer (2), der dem geplanten Pfad folgt, der durch die geplante virtuelle Bahn (3) beschrieben wird. Die Verwendung eines egozentrischen Blickwinkels liefert nicht immer genügend Informationen, um die richtige Bahn zur Durchführung der Aufgabe darzustellen, was möglicherweise zu einer fehlerhaften Wahrnehmung der Übereinstimmung führt. Im Gegensatz dazu verwendet die in dieser Erfindung vorgeschlagene technische Vorrichtung mindestens ein reflektierendes Objekt (4), um mindestens einen zusätzlichen nicht egozentrischen Blickwinkel zu liefern, in dem die Reflexion des echten (5) und virtuellen Inhalts (6) der Szene dem Beobachter präsentiert wird. So kann der medizinische Bohrer (2) so ausgerichtet werden, dass er der geplanten Bahn folgt, und zwar unter Verwendung der zwei Ansichten, die sowohl durch den egozentrischen Standpunkt als auch durch die durch das reflektierende Objekt (4) gelieferte Sicht bereitgestellt werden.
Der Einfachheit halber wird das virtuelle Objekt (3) im Folgenden als in einem AR-Gerät visualisiert betrachtet, das in der Lage ist, die Wahrnehmung eines Beobachters des echten Raums durch wahrnehmbare (visuelle) Informationen zu ergänzen, z.B. eine Datensichtbrille, die gerenderte grafische Informationen im Sichtfeld eines menschlichen Bedieners anzeigt. Es wird ferner berücksichtigt, dass das AR-Gerät in der Lage ist, die aktuelle Position und Orientierung des wahrgenommenen Sichtfeldes des Beobachters zu bestimmen. Daher kann die virtuelle Reflexion (6), die mit echten Raumkoordinaten verknüpft ist, so gerendert werden, dass sie mit der aktuellen Position und Orientierung des Sichtfeldes übereinstimmt, so dass der menschliche Operateur den medizinischen Bohrer (2) zur Durchführung der chirurgischen Aufgabe verwenden kann. Der Beobachter wird es jedoch begrüßen, dass jedes geeignete Blickfeld verwendet werden kann und dass die echten Objekte (1,2) auch in einer digitalisierten Ansicht erfasst werden können, z.B. im Blickfeld einer oder mehrerer Kameras als Aufnahmevorrichtungen, und dass das virtuelle Objekt (3) in dem genannten digitalisierten Blickfeld dargestellt werden kann, z.B. als Teil einer virtuellen Darstellung der Pose des echten Objekts (1,2) im echten Raum.
zeigt einen beispielhaften Aufbau zur Bestimmung der Position und Orientierung der reflektierenden Oberfläche im echten Raum. In diesem Beispiel wird ein Satz von Trackingzielmarken (Tracking-Targets) (7) verwendet, die auf der Rückseite des reflektierenden Objekts integriert sind, um dessen Position und Orientierung zu bestimmen. Diese Position und Orientierung wird verwendet, um die entsprechende Reflexion des virtuellen Inhalts zu erzeugen, die über die Oberfläche des reflektierenden Objekts gerendert und daher in dem zusätzlichen nicht egozentrischen Blickwinkel visualisiert wird, der dem Beobachter angezeigt wird. Dies ist nicht die einzige Form, um die Position und Orientierung des reflektierenden Objekts abzuschätzen, und jede beliebige Methode und/oder Technik kann zu diesem Zweck verwendet werden.
zeigt eine beispielhafte Anordnung, bei der die Tracking-Einrichtung (8) verwendet werden kann, um die Positionen und Orientierung des reflektierenden Objekts (4) und des Beobachters (9) in der Welt zu erfassen. Diese Positionen und Orientierungen dieser Objekte sind die einzigen, die erforderlich sind, um die Reflexion des virtuellen Inhalts über die Oberfläche des reflektierenden Objekts wiederzugeben.
veranschaulicht eine alternative Anwendung der technische Vorrichtung. In diesem Beispiel kann ein menschlicher Körper (1) mit der virtuellen Information, die seinem Skelett (10) entspricht, angereichert werden. Diese Information kann aus dem egozentrischen Blickwinkel des Betrachters betrachtet werden. Darüber hinaus werden zwei reflektierende Objekte (4) verwendet, um zwei verschiedene nicht egozentrische Standpunkte (11, 12) bereitzustellen. Diese Perspektiven können die vom egozentrischen Standpunkt aus beobachteten virtuellen Objekte mit unterschiedlichen Visualisierungsverfahren darstellen. In diesem Beispiel werden die reflektierenden Objekte verwendet, um den virtuellen Inhalt in Form eines digital rekonstruierten Röntgenbildes (11) und eines Computertomographie-Scans (12) darzustellen. Die Anzahl der reflektierenden Flächen und damit der nicht-egozentrischen Standpunkte, die dem Betrachter mit dieser Erfindung präsentiert werden können, ist nur durch die maximale Anzahl der Objekte begrenzt, die mit den eingesetzten Trackinggeräten verfolgt werden können.
zeigt eine exemplarische Vorrichtung, die zur Positionierung der reflektierenden Objekte verwendet wird, um den vom Beobachter gewünschten nicht-egozentrischen Blickwinkel zu erhalten. Die Verwendung von an der Decke montierten chirurgischen Haltearmen kann innerhalb des Operationssaals für die nicht-automatische Platzierung der reflektierenden Objekte während chirurgischer Eingriffe verwendet werden (13). Darüber hinaus kann die Verwendung von automatischen Einrichtungen wie z.B. Roboterarmen, zur automatischen Positionierung des reflektierenden Objekts verwendet werden, um die vom Beobachter gewünschte nicht-egozentrische Sicht zu erhalten (14).
veranschaulicht die Vorteile der Verwendung nichtplanarer reflektierender Oberflächen unter Verwendung der vorgeschlagenen Erfindung für die Darstellung von echten und virtuellen Inhalten einer AR-Szene. Wenn das reflektierende Objekt, das zur Darstellung des nicht egozentrischen Standpunkts verwendet wird, konvex ist (17), kann einem Beobachter (9) eine verkleinernde Darstellung (16) des egozentrischen Standpunkts (15) sichtbar gemacht werden. Dieses Beispiel ermöglicht es dem Beobachter, einen größeren Bereich unter Verwendung des nicht egozentrischen Standpunkts, der durch die in dieser Erfindung beschriebene technische Vorrichtung bereitgestellt wird, zu visualisieren. Diese nicht egozentrischen Blickwinkel können z.B. bei Erkundungsaufgaben verwendet werden, bei denen der Beobachter einen größeren Bereich abbilden muss, um die Szene zu interpretieren. Alternativ bietet die Verwendung konkaver reflektierender Objekte (19) einen nicht egozentrischen Standpunkt (18), der es ermöglicht, die wahrgenommene Größe der Objekte, die vom egozentrischen Standpunkt aus betrachtet werden, zu vergrößern (15). Diese Art von reflektierenden Oberflächen könnte zum Beispiel für Ausrichtungs- und Explorationsaufgaben verwendet werden, bei denen während der Durchführung der Aufgaben kleinste Details sichtbar gemacht werden müssen, wie dies bei der Lokalisierung von Knochenfragmenten bei chirurgischen Eingriffen mit Trümmerfrakturen der Fall ist.
veranschaulicht ein Beispiel für mindestens ein reflektierendes Objekt (20), das starr an einem Werkzeug (2) für medizinische Einsatzzwecke, das durch ein Tracking-Ziel (21) getrackt wird, befestigt ist. Wenn die Konfiguration zwischen getracktem Werkzeug und reflektierendem Objekt bekannt und unveränderlich ist, dann ist keine weitere Verfolgung des reflektierendes Objekts nötig, da dessen Position und Orientierung aus der Position und Orientierung des Werkzeugs abgeleitet werden kann. Diese Kombination erlaub es ein bewegliches reflektierendes Objekt gleichzeitig mit dem getracktem Werkzeug zu bewegen was gleichzeitig die Verwendung des Werkzeugs, als auch die Betrachtung der zusätzlichen Ansicht erlaubt, die die echten und virtuellen Inhalte der AR-Szene in einem nicht egozentrischen Blickwinkel darstellt. Hierdurch kann das Werkzeug mit einer virtuellen Bahn (3) in Relation zu einem echten Objekt (1) genau ausgerichtet werden.
Bezugszeichenliste

1: Beispielhaftes echtes Objekt, das in einem medizinischen AR-Szenario beobachtet wird
2: Echter Bohrer zur Durchführung eines medizinischen Eingriffs im Rahmen von medizinischen AR, beobachtet in einem medizinischen AR-Szenario.
3: Die virtuelle Bahn, die zur Angabe eines gewünschten Bohrpfades in einem medizinischen AR-Szenario verwendet wird
4: Das reflektierende Objekt, das verwendet wird, um eine nicht-egozentrische Ansicht des echten und virtuellen Inhalts der AR-Szene zu ermöglichen
4a: Reflektierendes Objekt mit echten und virtuellen Reflexionen (Vorderseite)
4b: Reflektierendes Objekt (Rückseite)
5: Spiegelung des in der AR-Szene beobachteten echten Inhalts
6: Spiegelung der in der AR-Szene beobachteten virtuellen Inhalte
7: Beispiel eines Tracking-Ziels, das zur Erfassung der Pose der reflektierenden Oberfläche verwendet wird
8: Beispiel für ein Tracking-Ziel, das zur Erfassung der Position und Orientierung des Beobachters und des reflektierenden Objekts verwendet wird
9: Beobachter
10: Beispielhafte egozentrische Ansicht auf den virtuellen Inhalt, beobachtet in einem medizinischen AR-Szenario
11: eines Eine beispielhafte nicht-egozentrische Ansicht, die dem Beobachter den erweiterten Inhalt in Form virtuellen Röntgenbildes präsentiert
12: Nicht-egozentrische Ansicht präsentiert dem Betrachter den erweiterten Inhalt in Form eines virtuellen CT-Scans
13: Beispielhafte Vorrichtung zur nichtautomatischen Manipulation und Platzierung der reflektierenden Objekte
14: Beispielhafte Vorrichtung zur automatischen Manipulation und Platzierung der reflektierenden Objekte
15: Beispiel einer egozentrischen Ansicht auf die virtuellen und echten Objekte bei Verwendung eines nicht planaren reflektierenden Objekts
16: Beispiel für eine nicht-egozentrische Ansicht der virtuellen und echten Objekte bei Verwendung eines konvexen reflektierenden Objekts
17: Beispiel für ein reflektierendes Objekt mit einer konvexen Oberfläche
18: Beispiel für eine nicht egozentrische Ansicht der virtuellen und echten Objekte bei Verwendung eines konkaven reflektierenden Objekts
19: Beispiel für ein reflektierendes Objekt mit einer konkaven Oberfläche
20: Beispiel für ein reflektierendes Objekt, das starr mit einem getrackten echten Objekt verbunden ist
21: Beispiel eines Tracking-Ziels, das an einem echten Objekt befestigt ist

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 8314815 [0007]

Claims

Eine technische Vorrichtung gekennzeichnet dadurch, dass sie das Bereitstellen mindestens eines nicht-egozentrischen Blickwinkels (5,6) ermöglicht, der in der Lage ist, gleichzeitig die echten (1,2) und virtuellen (3) Objekte, die in einer AR-Szene beobachtet werden, zu reflektieren, wobei die technische Vorrichtung durch folgendes gekennzeichnet ist: a. Darstellen des mindestens einen nicht-egozentrischen Standpunkts (5, 6) der echten (1, 2) und virtuellen (3) Objekte auf der Oberfläche von mindestens einem reflektierenden Objekt (4); und b. ein Tracking-System (8), das mit einer Vielzahl von Technologien arbeitet, um die Positionen und Orientierungen eines oder mehrerer Beobachter (9) gleichzeitig oder hintereinander und mindestens eines reflektierenden Objekts (4) zu erhalten; und c. eine Anzeigevorrichtung, dadurch gekennzeichnet, dass die Anzeigevorrichtung einen egozentrischen Blickwinkel der echten (1, 2) und virtuellen (3) Objekte einer AR-Szene und mindestens ein reflektierendes Objekt (4) anzeigt, das mindestens einen zusätzlichen nicht egozentrischen Blickwinkel (5, 6) der echten (1, 2) und virtuellen (3) Objekte der Szene in Abhängigkeit von der Position des Beobachters (9) oder mehrerer Beobachter gleichzeitig oder hintereinander und des mindestens einen reflektierenden Objekts (4) liefert.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) mindestens einen nicht-egozentrischen Standpunkt (5, 6) aufweist, der in der Lage ist, gleichzeitig die in einer AR-Szene beobachteten echten (1, 2) und virtuellen (3) Objekte zu reflektieren.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) mindestens einen nicht-egozentrischen Blickwinkel (5, 6) der echten (1, 2) und virtuellen (3) Objekte anzeigt, die in einer AR-Szene beobachtet werden, unter Verwendung eines AR-fähigen Visualisierungsgeräts, wie z.B., aber nicht beschränkt auf, die Verwendung von Datensichtbrillen, Computerbildschirmen, Smartphones, Tablets oder Projektoren.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) in der Lage ist, mindestens einen nicht-egozentrischen Blickwinkel (5, 6) bereitzustellen, um die räumliche Wahrnehmung während der Ausrichtung von Werkzeugen, wie z.B., aber nicht beschränkt auf Bohrer oder Nadeln, zu verbessern.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) in der Lage ist, die echten (1, 2) und virtuellen (3) Objekte zu reflektieren, die in dem egozentrischen Blickwinkel verdeckt sind.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass der mindestens eine nicht egozentrische Blickwinkel (5, 6) entsprechend der Position des Beobachters der AR-Szene (9) auf der Oberfläche des mindestens einen reflektierenden Objekts (4) ausgerichtet und überlagert ist.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) in der Lage ist, die Reflexion des virtuellen Inhalts (6) in dem mindestens einen nicht-egozentrischen Blickwinkel (5, 6) unter Verwendung einer Vielzahl von Visualisierungstechniken wie, aber nicht beschränkt auf, digital rekonstruierte Röntgenaufnahmen (11) oder Computertomographie-Scans (12) darzustellen.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass der mindestens eine nicht-egozentrische Blickwinkel (5, 6) eine aktuelle Reflexion der echten (1, 2) und virtuellen (3) Objekte einer AR-Szene immer dann liefert, wenn sich die Position des Beobachters (9) oder des mindestens einen reflektierenden Objekts (4) in echten Weltkoordinaten entsprechend der Tracking-Vorrichtung (8) und der mehreren zur Bestimmung ihrer Position und Orientierung verwendeten Marker (7) ändert.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) unter Verwendung nicht-automatischer Vorrichtungen, wie z.B., aber nicht beschränkt auf die Verwendung von an der Decke befestigten chirurgischen Haltearmen innerhalb von Operationssälen (13), gehalten und neu positioniert werden kann.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt (4) mit Hilfe von automatischen Vorrichtungen gehalten und neu positioniert werden kann, wie z.B., aber nicht beschränkt auf die Verwendung von Roboterarmen.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche des mindestens einen reflektierenden Objekts (4) eine ebene Oberfläche ist.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche des mindestens einen reflektierenden Objekts (4) einer konvexen Oberfläche (18) entspricht.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche des mindestens einen reflektierenden Objekts (4) einer konkaven Oberfläche (20) entspricht.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche des mindestens einen reflektierenden Objekts (4) flexibel, faltbar oder anderweitig verformbar ist.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass die Oberfläche des mindestens einen reflektierenden Objekts (4) von beliebiger Größe und Form sein kann, solange die Position und Orientierung des mindestens einen reflektierenden Objekts (4) und des Beobachters (9) mit Hilfe der verfügbaren Tracking-Vorrichtung (8) erfasst werden kann.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine reflektierende Objekt starr an einem getrackten Werkzeug (21) befestigt (20) werden kann, um es dem Beobachter (9) der AR-Szene zu ermöglichen, gleichzeitig den mindestens einen nicht-egozentrischen Blickwinkel (5, 6) zu visualisieren, während er alle für eine bestimmte Aufgabe erforderlichen Aktionen ausführt.
Das mindestens eine reflektierende Objekt (4) nach Anspruch 1, dadurch gekennzeichnet, dass eine Wechselwirkung mit dem mindestens einen nicht egozentrischen Standpunkt (5, 6) visuelle Informationen liefert, die zur Lösung widersprüchlicher visueller Informationen verwendet werden können, die vom egozentrischen Standpunkt aus beobachtet werden.
Eine technische Vorrichtung gekennzeichnet durch das Bereitstellen von mehr als einem nicht egozentrischen Blickwinkel (11, 12), der in der Lage ist, die in einer AR-Szene beobachteten echten und virtuellen Objekte gleichzeitig zu reflektieren, wobei die technische Vorrichtung folgendes umfasst: a. Sichtbarmachen von mehr als einem nicht egozentrischen Blickwinkel (11, 12) der echten und virtuellen Objekte auf der Oberfläche von mehr als einem reflektierenden Objekt (4); und b. ein Tracking-System (8), das unter Einsatz mehrerer Technologien die Positionen und Orientierungen eines Beobachters (9) und mehr als eines reflektierenden Objekts (4) ermittelt; und c. eine Anzeigevorrichtung, dadurch gekennzeichnet, dass sie einen egozentrischen Blickwinkel der echten und virtuellen Objekte einer AR-Szene und mehr als ein reflektierendes Objekt (4) anzeigt, das mehr als einen zusätzlichen nicht egozentrischen Blickwinkel (11, 12) der echten und virtuellen Objekte der Szene entsprechend der Position und Orientierung des Beobachters (9) und der mehr als einen reflektierenden Objekte (4) liefert.