DE202020004674U1 - Device of a mirror with augmented reality - Google Patents
Device of a mirror with augmented reality Download PDFInfo
- Publication number
- DE202020004674U1 DE202020004674U1 DE202020004674.4U DE202020004674U DE202020004674U1 DE 202020004674 U1 DE202020004674 U1 DE 202020004674U1 DE 202020004674 U DE202020004674 U DE 202020004674U DE 202020004674 U1 DE202020004674 U1 DE 202020004674U1
- Authority
- DE
- Germany
- Prior art keywords
- reflective object
- egocentric
- real
- virtual
- viewing angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title description 3
- 238000005516 engineering process Methods 0.000 claims abstract description 4
- 239000011521 glass Substances 0.000 claims description 14
- 238000012800 visualization Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 5
- 238000007794 visualization technique Methods 0.000 claims description 4
- 238000002591 computed tomography Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000005553 drilling Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000000399 orthopedic effect Effects 0.000 description 3
- 208000024779 Comminuted Fractures Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Eine technische Vorrichtung gekennzeichnet dadurch, dass sie das Bereitstellen mindestens eines nicht-egozentrischen Blickwinkels (5,6) ermöglicht, der in der Lage ist, gleichzeitig die echten (1,2) und virtuellen (3) Objekte, die in einer AR-Szene beobachtet werden, zu reflektieren, wobei die technische Vorrichtung durch folgendes gekennzeichnet ist:
a. Darstellen des mindestens einen nicht-egozentrischen Standpunkts (5, 6) der echten (1, 2) und virtuellen (3) Objekte auf der Oberfläche von mindestens einem reflektierenden Objekt (4); und
b. ein Tracking-System (8), das mit einer Vielzahl von Technologien arbeitet, um die Positionen und Orientierungen eines oder mehrerer Beobachter (9) gleichzeitig oder hintereinander und mindestens eines reflektierenden Objekts (4) zu erhalten; und
c. eine Anzeigevorrichtung, dadurch gekennzeichnet, dass die Anzeigevorrichtung einen egozentrischen Blickwinkel der echten (1, 2) und virtuellen (3) Objekte einer AR-Szene und mindestens ein reflektierendes Objekt (4) anzeigt, das mindestens einen zusätzlichen nicht egozentrischen Blickwinkel (5, 6) der echten (1, 2) und virtuellen (3) Objekte der Szene in Abhängigkeit von der Position des Beobachters (9) oder mehrerer Beobachter gleichzeitig oder hintereinander und des mindestens einen reflektierenden Objekts (4) liefert.
a. Displaying the at least one non-egocentric viewpoint (5, 6) of the real (1, 2) and virtual (3) objects on the surface of at least one reflective object (4); and
b. a tracking system (8) which works with a large number of technologies in order to obtain the positions and orientations of one or more observers (9) simultaneously or one behind the other and at least one reflective object (4); and
c. a display device, characterized in that the display device displays an egocentric viewing angle of the real (1, 2) and virtual (3) objects of an AR scene and at least one reflective object (4) which has at least one additional non-egocentric viewing angle (5, 6 ) the real (1, 2) and virtual (3) objects of the scene depending on the position of the observer (9) or several observers simultaneously or one after the other and the at least one reflective object (4).
Description
HINTERGRUNDBACKGROUND
Gebiet der ErfindungField of the invention
Die vorliegende Erfindung ist im Bereich computergestützter medizinischer Eingriffe angesiedelt, die von der Visualisierung von verschiedenen Blickwinkeln mittels Erweiterter Realität (Augmented Reality - AR) profitieren. Präziser ausgedrückt bezieht sich diese Erfindung auf die Verwendung echter Spiegel für die Visualisierung echter und virtueller Inhalte im Rahmen medizinischer Anwendungen. Beispiele für diese Anwendungen, aber nicht darauf beschränkt sind solche, die Ausrichtung, Inspektion und Visualisierung beinhalten.The present invention is located in the field of computer-aided medical interventions that benefit from the visualization of different perspectives by means of augmented reality (AR). More precisely, this invention relates to the use of real mirrors for the visualization of real and virtual content in the context of medical applications. Examples of these applications include, but are not limited to, those involving alignment, inspection, and visualization.
Diskussion verwandter ArbeitenDiscussion of related work
Einer der Vorteile der Verwendung von AR besteht darin, dass die Wahrnehmung der echten Welt eines Beobachters durch die Einbettung computergenerierter Informationen erweitert werden kann. Diese visuellen Informationen können mit kompatiblen Geräten wie Datensichtbrillen (Head-Mounted Displays HMDs), Mobiltelefonen, Kamera-Display-Kombinationen oder Projektoren dargestellt werden, die die generierten Inhalte oft aus einem egozentrischen Blickwinkel präsentieren.One of the advantages of using AR is that an observer's perception of the real world can be expanded by embedding computer-generated information. This visual information can be displayed with compatible devices such as data viewing glasses (head-mounted displays HMDs), mobile phones, camera-display combinations or projectors, which often present the generated content from an egocentric point of view.
Ein inhärenter Nachteil egozentrischer Ansätze ist der Mangel an räumlicher Information, die sich aus der Darstellung eines dreidimensionalen Raumes mit Hilfe von zweidimensionalen Bildern ergibt. Dieser Mangel an Information kann zu einer Fehleinschätzung der Position des virtuellen Inhalts führen. Darüber hinaus kann sich dies negativ auf die Durchführung verschiedener Aufgaben auswirken, wie z.B. die Platzierung und Ausrichtung von Objekten, die Betrachtung und das Verständnis komplexer dreidimensionaler Umgebungen und die Visualisierung verdeckter Inhalte aus egozentrischer Sicht. Diese Aufgaben werden häufig bei einer Vielzahl medizinischer Eingriffe beobachtet, wie z.B. dem Einbringen von Nadeln, Trokaren oder Schrauben bei Eingriffen an der Wirbelsäule; dem Bohren von Knochen oder der Platzierung von Kirschnerdrähten in der Orthopädie; dem Bohren und Fixieren von Zahnimplantaten in der Zahnheilkunde; der Aufstellung von Roboterarmen bei robotergestützten Eingriffen während minimalinvasiver Verfahren; der Visualisierung und dem Verständnis anatomischer Informationen in komplexen Fällen, die u.a. Trümmerfrakturen beinhalten.An inherent disadvantage of egocentric approaches is the lack of spatial information that results from the representation of a three-dimensional space with the help of two-dimensional images. This lack of information can lead to a misjudgment of the location of the virtual content. In addition, it can negatively impact the performance of various tasks, such as placing and aligning objects, viewing and understanding complex three-dimensional environments, and visualizing hidden content from an egocentric point of view. These tasks are often observed in a variety of medical interventions, such as the insertion of needles, trocars or screws in interventions on the spine; drilling bones or placing Kirschner wires in orthopedics; the drilling and fixing of dental implants in dentistry; the setting up of robotic arms for robotic interventions during minimally invasive procedures; the visualization and understanding of anatomical information in complex cases that include comminuted fractures.
Die Darstellung mehrerer Perspektiven hat sich als hilfreich erwiesen, um den bei egozentrischer AR beobachteten Mangel an räumlicher Information zu kompensieren. In dieser Hinsicht wurde in existierenden Arbeiten die Verwendung und Anpassung des Spiegelparadigmas vorgeschlagen, um zusätzliche Blickwinkel in der AR bereitzustellen. Diese Arbeiten ermöglichen die Verwendung von Videostreams, um spiegelähnliches visuelles Feedback zu präsentieren, die Integration von halbversilberten Spiegeln und Displays, die Generierung virtueller Inhalte, die die physikalischen Eigenschaften von Spiegeln replizieren, oder die Verwendung bereits existierender Bilder, die aus verschiedenen Blickwinkeln bei der Betrachtung der betreffenden Szene aufgenommen wurden.Displaying multiple perspectives has proven helpful to compensate for the lack of spatial information observed in egocentric AR. In this regard, existing work has suggested using and adapting the mirror paradigm to provide additional viewing angles in the AR. This work enables the use of video streams to present mirror-like visual feedback, the integration of semi-silvered mirrors and displays, the generation of virtual content that replicates the physical properties of mirrors, or the use of pre-existing images that are viewed from different angles of the scene in question.
Einer der ersten Ansätze, bei dem gespiegelte Standpunkte für die Verwendung in AR verwendet wurden, wurde von Maes et al. vorgestellt („The ALIVE system: Full-body interaction with autonomous agents.“ Proceedings Computer Animation'95. IEEE, 1995). Diese Veröffentlichung führte das Paradigma des sogenannten „magischen Spiegels“ („magic mirror“) ein, bei dem eine Videokamera den Benutzer aus einer Vorderansicht aus filmt. Das mit der Kamera aufgenommene Bild wurde in einer Achse gespiegelt und mit virtuellen Inhalten angereichert, bevor es den Benutzern auf einem vor ihnen platzierten Display gezeigt wurde. Dieses Prinzip motivierte die Implementierung mehrerer Systeme, die für Unterhaltungs-, Marketing-, Bildungs- und Visualisierungszwecke eingesetzt wurden. Obwohl dieser Ansatz in der Lage ist, den Benutzern des Systems eine gespiegelte Ansicht der Szene zu präsentieren, ergeben sich einige Einschränkungen dieses Konzepts daraus, dass dieses System eine feststehende Kamera verwendet, um die gespiegelte Ansicht zu erzeugen. Dadurch wird die Möglichkeit der Darstellung zusätzlicher Blickwinkel eingeschränkt. Darüber hinaus soll erwähnt sein, dass eine Änderung des Blickwinkels des Benutzers nicht die gleichen visuellen Informationen liefern würde, wie sie bei der Verwendung von echten Spiegeln auftreten würden.One of the first approaches to use mirrored viewpoints for use in AR was by Maes et al. presented (“The ALIVE system: Full-body interaction with autonomous agents.” Proceedings Computer Animation'95. IEEE, 1995). This publication introduced the so-called "magic mirror" paradigm, in which a video camera films the user from a front view. The image recorded with the camera was mirrored in one axis and enriched with virtual content before it was shown to the users on a display placed in front of them. This principle motivated the implementation of multiple systems used for entertainment, marketing, educational, and visualization purposes. While this approach is able to present a mirrored view of the scene to the users of the system, some limitations of this concept result from the fact that this system uses a fixed camera to create the mirrored view. This restricts the possibility of displaying additional viewing angles. It should also be mentioned that a change in the user's point of view would not provide the same visual information as would occur when using real mirrors.
Die Darstellung von Spiegelbildern in AR-Anwendungen kann auch durch eine Kombination von Displays auf halbversilberten Spiegeln erfolgen. Dieser Ansatz wurde umfassend erforscht, beispielsweise von Pardhy et al. („A Virtual mirrorforassisting drivers‟. „Proceedings of the IEEE Intelligent Vehicles Symposium‟ 2000. Cat. No. 00TH8511. IEEE, 2000) zum Einsatz bei Seiten-/Rückspiegel von Fahrzeugen oder von Sato et al. („MR-mirror: a complex of real and virtual mirrors.“ International Conference on Virtual and Mixed Reality. Springer, Berlin, Heidelberg, 2009), um einem Benutzer die Interaktion mit virtuellen Inhalten zu ermöglichen, die auf der Spiegeloberfläche angezeigt werden. Trotz dieses Ansatzes, der es dem Benutzer ermöglicht, die visuellen Vorteile auszunutzen, die sich aus der Verwendung physischer Spiegel ergeben, ist die Visualisierung, die diese Ansätze bieten, nur aus der Perspektive eines einzelnen Benutzers korrekt. Zudem kann das virtuelle Objekt nur in der Spiegelansicht und nicht in der direkten Sicht des Benutzers erscheinen.The representation of mirror images in AR applications can also be done by a combination of displays on semi-silver-plated mirrors. This approach has been extensively researched, for example by Pardhy et al. ("A virtual mirror for assisting drivers". "Proceedings of the IEEE Intelligent Vehicles Symposium" 2000. Cat. No. 00TH8511. IEEE, 2000) for use in side / rear-view mirrors of vehicles or by Sato et al. ("MR-mirror: a complex of real and virtual mirrors." International Conference on Virtual and Mixed Reality. Springer, Berlin, Heidelberg, 2009) to enable a user to interact with virtual content that is displayed on the mirror surface. Despite this approach, which allows the user to take advantage of the visual benefits that result from using physical mirrors, the visualization these approaches provide is only correct from an individual user's perspective. In addition, it can virtual object only appear in the mirror view and not in the direct view of the user.
Im Rahmen medizinischer Einsatzszenarien wurde der von Navab et al. eingeführte virtuelle Spiegel („Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment.‟ U.S. Patent No.
Ein alternativer Ansatz zur Bereitstellung von Mehrfachansichten bei der medizinischen AR ist die Verwendung der von Fotouhi et al. eingeführten reflektiven AR-Displays („Reflective Aft display: An interaction methodology for Virtual-to-Real alignment in medical robotics.“ IEEE Robotics and Automation Letters 5 (2020): 2722-2729). Dieses Konzept ermöglicht es dem Benutzer, während des Aufstellens von Roboterarmen für den Einsatz in laparoskopischen Verfahren mehrere Standpunkte zu visualisieren. Zur Bereitstellung dieser Standpunkte erfordert die reflektierende AR-Anzeige eine Reihe an zuvor aufgenommenen Bildern aus verschiedenen Positionen der Szene. Diese Bilder werden verwendet, um mehrere spiegelbildliche Darstellungen des virtuellen und echten Inhalts der Szene zu visualisieren, die von ihren jeweiligen Standpunkten aus betrachtet werden. Im Gegensatz zu virtuellen Spiegeln ermöglicht dieses Konzept den Benutzern, den echten und virtuellen Inhalt der AR-Szene zu visualisieren. Eine Einschränkung der reflektierenden AR-Displays liegt jedoch darin, dass nach der Aufnahme der Bilder nur der virtuelle Inhalt der Szene verändert werden kann. Da dieses Konzept darüber hinaus statische Bilder verwendet, um die verschiedenen Blickwinkel bereitzustellen, kann der Benutzer nicht von den visuellen Vorteilen profitieren, die die Verwendung von Spiegeln bieten.An alternative approach to providing multiple views in medical AR is to use the method described by Fotouhi et al. introduced reflective AR displays ("Reflective Aft display: An interaction methodology for Virtual-to-Real alignment in medical robotics." IEEE Robotics and Automation Letters 5 (2020): 2722-2729). This concept enables the user to visualize multiple viewpoints while setting up robotic arms for use in laparoscopic procedures. To provide these viewpoints, the reflective AR display requires a series of previously captured images from various positions in the scene. These images are used to visualize multiple mirror images of the virtual and real content of the scene viewed from their respective viewpoints. In contrast to virtual mirrors, this concept enables users to visualize the real and virtual content of the AR scene. One limitation of the reflective AR displays, however, is that after the images have been taken, only the virtual content of the scene can be changed. In addition, because this concept uses static images to provide the various angles of view, the user cannot benefit from the visual benefits that the use of mirrors provides.
In einem von Winkler et al. vorgestellten Konzept („Spatially-Aware Displays for Computer Assisted Interventions.“ International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 451-460). Springer, Cham, 2020) hat der Chirurg weiterhin seine eigene direkte Ansicht auf den Patienten, ohne dass eine zusätzliche Anzeige oder eine Erweiterung der direkten Ansicht erforderlich ist, sondern der im Operationssaal verwendete Bildschirm wird nun auf die Sicht des Patienten und des Chirurgen registriert. Der Bildschirm kann als Spiegel relativ zur Sicht des Chirurgen fungieren. Dies ermöglicht es den Ärzten, ihre Sicht auf die Werkzeuge und den Patienten mühelos mit der virtuellen Darstellung der Patientendaten in Beziehung zu setzen. Bei dieser Technik kann der Bildschirm eine Visualisierung von räumlichen Informationen anzeigen, als ob es sich um einen Spiegel handeln würde. Er kann jedoch nur Informationen anzeigen, die das System erfassen kann und für die eine 3D-Darstellung vorliegt.In a by Winkler et al. presented concept ("Spatially-Aware Displays for Computer Assisted Interventions." International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 451-460). Springer, Cham, 2020) the surgeon continues to have his own direct view of the patient without the need for an additional display or an extension of the direct view, but the screen used in the operating room is now registered on the view of the patient and the surgeon. The screen can act as a mirror relative to the surgeon's view. This enables doctors to easily relate their view of the tools and the patient to the virtual representation of patient data. With this technique, the screen can display a visualization of spatial information as if it were a mirror. However, it can only display information that the system can capture and for which a 3D representation is available.
PROBLEMLÖSUNGTROUBLESHOOTING
In Anbetracht des Standes der Technik besteht das Ziel der Erfindung darin, eine verbesserte Vorrichtung zur Verfügung zu stellen, um alternative Blickwinkel bereitzustellen, die es erlauben, gleichzeitig den in AR-Szenarien beobachteten echten und virtuellen Inhalt widerzuspiegeln. Darüber hinaus ermöglicht es diese Erfindung den Benutzern einer AR-Anwendung, von den physikalischen Vorzügen von reflektierenden Oberflächen zur Visualisierung nicht-egozentrischer Blickwinkel in medizinischen Szenarien zu profitieren.In view of the state of the art, the aim of the invention is to provide an improved apparatus for providing alternative viewing angles that allow the real and virtual content observed in AR scenarios to be simultaneously reflected. In addition, this invention enables users of an AR application to take advantage of the physical benefits of reflective surfaces for visualizing non-egocentric viewpoints in medical scenarios.
Dies wird erbracht durch die Darstellung des virtuellen und echten Inhalts eines AR-Szenarios von einem nicht-egozentrischen Blickwinkel aus mit Hilfe von reflektierenden Oberflächen, einer Vorrichtung, die in der Lage ist, diesen Inhalt über die Oberfläche eines echten Objekts präzise zu überlagern, und einem entsprechenden Computerprogramm entsprechend den voneinander unabhängigen Ansprüchen. Die Ansprüche beziehen sich auf bevorzugte Ausführungen.It does this by presenting the virtual and real content of an AR scenario from a non-egocentric point of view using reflective surfaces, a device that is able to precisely overlay this content over the surface of a real object, and a corresponding computer program according to the independent claims. The claims relate to preferred designs.
Als einen ersten Aspekt bezieht sich die Erfindung auf eine technische Vorrichtung zur Darstellung mindestens eines nicht egozentrischen Standpunkts zur Visualisierung des echten und virtuellen Inhalts im echten Raum unter Verwendung mindestens eines echten Objekts mit einer reflektierenden Oberfläche. Die Vorrichtung umfasst die Visualisierung der Reflexion von echtem und virtuellem Inhalt auf der Oberfläche von mindestens einem reflektierenden Objekt, wie z.B., aber nicht beschränkt auf die Verwendung eines Spiegels. Die mindestens eine reflektierende Oberfläche stellt den Inhalt einer AR-Szene dar, wobei der Inhalt in der Szene und die Positionen und Orientierungen von mindestens einem Objekts mit der reflektierenden Oberfläche und einem Beobachter berücksichtigt werden. Die mindestens eine nicht egozentrische Ansicht, die durch die Verwendung der mindestens einen reflektierenden Oberfläche bereitgestellt wird, wird im Sichtfeld des Beobachters dargestellt. Die technische Vorrichtung kann das Abbilden einer Darstellung des mindestens einen nicht-egozentrischen Blickwinkels unabhängig von einer bestimmten Renderingtechnik ermöglichen, wodurch die Anwendung mehrerer Visualisierungsmethoden wie Ray-Casting oder nicht-photorealistischem Rendering oder physikalisch basiertem Rendering (physically based rendering) ermöglicht wird.As a first aspect, the invention relates to a technical device for displaying at least one non-egocentric point of view for visualizing the real and virtual content in real space using at least one real object with a reflective surface. The apparatus includes the visualization of the reflection of real and virtual content on the surface of at least one reflective object, such as, but not limited to the use of a mirror. The at least one reflective surface represents the content of an AR scene, the content in the scene and the positions and orientations of at least one object with the reflective surface and an observer being taken into account. The at least one non-egocentric view provided by the use of the at least one reflective surface is presented in the observer's field of view. The technical device can enable the mapping of a representation of the at least one non-egocentric point of view independently of a certain rendering technique, whereby the use of several visualization methods such as ray-casting or non- photorealistic rendering or physically based rendering is enabled.
Die Ansicht kann eine Perspektive einer Datensichtbrille, oder eine digitalisierte Ansicht einer echten räumlichen Perspektive sein, die durch die Verwendung einer Kamera bereitgestellt wird, die dem Betrachter mit Hilfe eines Visualisierungsgeräts, z.B. eines digitalen Bildschirms, eines Computers, eines Mobiltelefons, einer Datensichtbrille oder anderer Geräte, die geeignet sind, die Wahrnehmung der Ansicht durch den Menschen zu ermöglichen, präsentiert wird. Im ersten Fall kann die Sicht eine erweiterte Darstellung der echten Welt sein, bei der virtuelle Informationen dem Sichtfeld des menschlichen Operators durch eine Datensichtbrille überlagert werden. Im anderen Fall kann der virtuelle Inhalt aus dem digitalisierten Kamerabild erweitert und dem Betrachter auf einem elektronischen Display präsentiert werden. Dem Sichtfeld und dem mindestens einen reflektierenden Objekt sollen Positions- und Rotationsinformationen über die Position und Orientierung im echten Raum zugeordnet werden, um dem Beobachter den mindestens einen nicht-egozentrischen Blickwinkel in einem festen Koordinatensystem der echten Welt zuverlässig darzustellen. Beispielsweise kann die Datensichtbrille den aktuellen Standpunkt und die aktuelle Position in Bezug auf das mindestens eine reflektierende Objekt mit einer Kombination von Beschleunigungssensoren, Gyroskopen, Triangulation der Positionsreferenz oder optischen und elektromagnetischen Sensoren bestimmen, um die Erweiterung des Sichtfeldes des Beobachters mit einer Visualisierung des mindestens einen nicht-egozentrischen Standpunkts zu ermöglichen. Die Position und Orientierung können mit jedem geeigneten Mittel, wie z.B. Photogrammetrie von Markierungen oder Objekten, die im Sichtfeld neben dem echten Objekt aufgenommen wurden, ermittelt werden.The view can be a perspective of data viewing glasses, or a digitized view of a real spatial perspective, which is provided by the use of a camera, which the viewer with the help of a visualization device, e.g. a digital screen, a computer, a mobile phone, data viewing glasses or others Equipment that is suitable for enabling human perception of the view is presented. In the first case, the view can be an expanded representation of the real world, in which virtual information is superimposed on the field of vision of the human operator by means of data viewing glasses. In the other case, the virtual content can be expanded from the digitized camera image and presented to the viewer on an electronic display. Position and rotation information about the position and orientation in real space should be assigned to the field of view and the at least one reflective object in order to reliably display the at least one non-egocentric viewing angle in a fixed coordinate system of the real world to the observer. For example, the data viewing glasses can determine the current position and the current position in relation to the at least one reflective object with a combination of acceleration sensors, gyroscopes, triangulation of the position reference or optical and electromagnetic sensors in order to expand the field of view of the observer with a visualization of the at least one to enable non-egocentric point of view. The position and orientation can be determined by any suitable means, such as photogrammetry of markings or objects that were recorded in the field of view next to the real object.
Dem mindestens einen reflektierenden Objekt sind echte Raumkoordinaten zugeordnet, und es ist in der Lage, einen zusätzlichen Blickwinkel auf die echte Welt zu bieten, wie ihn beispielsweise Spiegel oder Objekte mit reflektierenden Oberflächen bieten.Real spatial coordinates are assigned to the at least one reflective object, and it is able to offer an additional perspective of the real world, such as that offered by mirrors or objects with reflective surfaces.
In den bevorzugten Ausführungsformen kann das mindestens eine reflektierende Objekt von Hand platziert werden, um die mindestens eine nicht-egozentrische Ansicht zu liefern, die den Anforderungen des Beobachters am besten entspricht. Bei einer manuellen Platzierung kann das mindestens eine reflektierende Objekt z.B. mit jeder Art von Haltearmen für Instrumente, die üblicherweise in den Operationssälen vorhanden sind, gehalten werden.In the preferred embodiments, the at least one reflective object can be placed by hand to provide the at least one non-egocentric view that best suits the observer's needs. In the case of manual placement, the at least one reflective object can, for example, be held with any type of holding arms for instruments that are usually present in operating theaters.
In bestimmten Ausführungsformen kann das mindestens eine reflektierende Objekt mit automatisierten Methoden platziert werden, z.B. durch Anbringen des mindestens einen reflektierenden Objekts am End-Effektor eines Roboterarms.In certain embodiments, the at least one reflective object can be placed using automated methods, for example by attaching the at least one reflective object to the end effector of a robotic arm.
In bevorzugten Ausführungsformen kann das mindestens eine reflektierende Objekt mechanisch an einem getrackten Werkzeug angebracht werden. Auf diese Weise können das Werkzeug und das mindestens eine reflektierende Objekt gleichzeitig manipuliert werden, sobald die Position und Orientierung des Werkzeugs in Weltkoordinaten bestimmt sind. Dies kann beispielsweise zur Integration eines Spiegels an der Spitze von laparoskopischen Werkzeugen verwendet werden, um in unübersichtlichen Umgebungen mindestens einen nicht egozentrischen Blickwinkel zu erhalten.In preferred embodiments, the at least one reflective object can be attached mechanically to a tracked tool. In this way, the tool and the at least one reflective object can be manipulated simultaneously as soon as the position and orientation of the tool are determined in world coordinates. This can be used, for example, to integrate a mirror at the tip of laparoscopic tools in order to obtain at least one non-egocentric viewing angle in confusing surroundings.
Das mindestens eine reflektierende Objekt kann von beliebiger Größe und Form sein, wenn die Position und Orientierung des mindestens einen nicht reflektierenden Objekts in echten Koordinaten bestimmt werden kann und wenn die Abmessungen und die Krümmung der Oberfläche des reflektierenden Objekts bekannt sind. Wenn diese Bedingungen bestimmt werden können, kann das mindestens eine reflektierende Objekt z.B. eine konkave Oberfläche haben, um einen vergrößerten nicht egozentrischen Blickwinkel auf die Szene zu erhalten, oder eine konvexe Oberfläche, um ein nicht egozentrisches größeres Sichtfeld zu erhalten.The at least one reflective object can be of any size and shape if the position and orientation of the at least one non-reflective object can be determined in real coordinates and if the dimensions and the curvature of the surface of the reflective object are known. If these conditions can be determined, the at least one reflective object can, for example, have a concave surface in order to obtain an enlarged non-egocentric angle of view of the scene, or a convex surface in order to obtain a non-egocentric larger field of view.
In bevorzugten Ausführungsformen kann der mindestens eine nicht egozentrische Blickwinkel, der durch das mindestens eine reflektierende Objekt bereitgestellt wird, geeignet sein, einen Beobachter, z.B. bei der Ausrichtung von Spezialwerkzeugen für das Einführen von Nadeln oder Trokaren bei Wirbelsäulenoperationen, beim Knochenbohren in der Zahnheilkunde oder bei der Platzierung von Kirschnerdrähten bei orthopädischen Eingriffen oder bei der Aufstellung oder dem Einsatz von Roboterarmen bei robotergestützten chirurgischen Eingriffen unterstützenIn preferred embodiments, the at least one non-egocentric viewing angle provided by the at least one reflective object can be suitable for an observer, e.g. when aligning special tools for inserting needles or trocars in spinal surgery, in bone drilling in dentistry or in support the placement of Kirschner wires in orthopedic interventions or in setting up or using robotic arms in robot-assisted surgical interventions
In einigen Ausführungsformen kann der mindestens eine nicht egozentrische Blickwinkel, der durch das mindestens eine reflektierende Objekt bereitgestellt wird, zum besseren Verständnis der Geometrie einer Szene verwendet werden, z.B. bei der Auffindung und Identifizierung von Splittern und Knochenbrüchen bei orthopädischen Repositionsoperationen.In some embodiments, the at least one non-egocentric viewpoint provided by the at least one reflective object can be used to better understand the geometry of a scene, e.g., in locating and identifying splinters and fractures in orthopedic reduction surgery.
In bevorzugten Ausführungsformen kann der mindestens eine nicht-egozentrische Standpunkt, der durch das mindestens eine reflektierende Objekt dargestellt wird, verwendet werden, um multimodale Darstellungen des in der Szene beobachteten virtuellen Inhalts bereitstellen zu können. In dieser Hinsicht kann die mindestens eine nicht egozentrische Ansicht beispielsweise zur Visualisierung eines Computertomographie-Scans verwendet werden, während die egozentrische Ansicht eine digital rekonstruierte Röntgenaufnahme anzeigen kann.In preferred embodiments, the at least one non-egocentric viewpoint represented by the at least one reflective object can be used in order to be able to provide multimodal representations of the virtual content observed in the scene. In this regard, the at least one non-egocentric view can be used, for example, to visualize a Computed tomography scans are used, while the egocentric view can display a digitally reconstructed x-ray.
Der mindestens eine nicht egozentrische Blickwinkel, der von dem mindestens einen reflektierenden Objekt bereit gestellt wird, wird unter Verwendung der echten Koordinaten des Beobachters und des reflektierenden Objekts erzeugt. Diese Positionen und Orientierungen können mit allen verfügbaren Tracking-System-Technologien erfasst werden, wie z.B. Inside-Out-SLAM oder Infrarot-, elektromagnetischen oder optischen Markern, ohne darauf beschränkt zu sein. Der Beobachter kann dann den nicht-egozentrischen Standpunkt mit jedem AR-fähigen Gerät visualisieren, wie z.B., aber nicht beschränkt auf, Datensichtbrillen, Smartphones oder Kamera-Display-Kombinationen.The at least one non-egocentric viewing angle provided by the at least one reflective object is generated using the real coordinates of the observer and the reflective object. These positions and orientations can be recorded with all available tracking system technologies, such as inside-out SLAM or infrared, electromagnetic or optical markers, without being limited to them. The observer can then visualize the non-egocentric viewpoint with any AR-enabled device, such as, but not limited to, data viewing glasses, smartphones or camera-display combinations.
Die vorgeschlagene technische Vorrichtung verwendet die Position und Orientierung des Beobachters und des reflektierenden Objekts, um die Position und Orientierung eines virtuellen Beobachters hinter der reflektierenden Oberfläche zu berechnen. Dieser virtuelle Beobachter kann z.B. durch eine virtuelle Kamera ersetzt werden, die verwendet werden kann, um die Reflexion des virtuellen Inhalts in der Szene über die Oberfläche des reflektierenden Objekts wiederzugeben. In diesem Zusammenhang kann die Reflexion des virtuellen Inhalts der AR-Szene z.B. dadurch erzeugt werden, dass man eine virtuelle Kamera an der Position des virtuellen Beobachters platziert und die in der Szene beobachteten virtuellen Objekte aus der Sicht der virtuellen Kamera rendert. Dieser Standpunkt, kombiniert mit den Echtweltkoordinaten des reflektierenden Objekts, kann verwendet werden, um den Standpunkt der virtuellen Kamera über die Oberfläche der reflektierenden Oberfläche zu legen und damit dem Beobachter der AR-Szene den mindestens einen nicht-egozentrischen Standpunkt bereitstellen.The proposed technical device uses the position and orientation of the observer and the reflective object in order to calculate the position and orientation of a virtual observer behind the reflective surface. For example, this virtual observer can be replaced by a virtual camera that can be used to reproduce the reflection of the virtual content in the scene over the surface of the reflective object. In this context, the reflection of the virtual content of the AR scene can be generated, for example, by placing a virtual camera at the position of the virtual observer and rendering the virtual objects observed in the scene from the point of view of the virtual camera. This viewpoint, combined with the real world coordinates of the reflective object, can be used to place the viewpoint of the virtual camera over the surface of the reflective surface and thus provide the observer of the AR scene with the at least one non-egocentric viewpoint.
Zweitens bezieht sich die Erfindung auf ein Computerprogramm mit maschinenlesbaren Befehlen, die, wenn sie von einer Verarbeitungseinheit ausgeführt werden, die Verarbeitungseinheit veranlassen, eine der vorhergehenden Ausführungsformen zu implementieren.Second, the invention relates to a computer program having machine-readable instructions which, when executed by a processing unit, cause the processing unit to implement one of the preceding embodiments.
Das Computerprogramm kann Anweisungen zur Initialisierung der Position und Orientierung des Beobachters und des mindestens einen reflektierenden Objekts mit einem Satz von Koordinaten enthalten, die den echten Raumkoordinaten entsprechen. Das Computerprogramm kann ferner Anweisungen zur Erfassung einer aktuellen Position und eines Blickwinkels enthalten, die einen Bezug auf die Ansicht im echten Raum haben, wie z.B. Position und Orientierung einer Datensichtbrille, und kann den mindestens einen nicht-egozentrischen Blickwinkel entsprechend der aktuellen Position und dem Blickwinkel des Beobachters darstellen. Zusätzlich kann das Computerprogramm Anweisungen enthalten, Eingaben von einem Benutzer zu empfangen und zu verarbeiten, um die Position und/oder Orientierung des mindestens einen reflektierenden Objekts zu aktualisieren.The computer program can contain instructions for initializing the position and orientation of the observer and the at least one reflective object with a set of coordinates which correspond to the real spatial coordinates. The computer program can also contain instructions for detecting a current position and a viewing angle that are related to the view in real space, such as the position and orientation of data viewing glasses, and can use the at least one non-egocentric viewing angle corresponding to the current position and the viewing angle of the observer. Additionally, the computer program may contain instructions to receive and process input from a user in order to update the position and / or orientation of the at least one reflective object.
Die maschinenlesbaren Anweisungen des Computerprogramms können auf einem nicht flüchtigen maschinenlesbaren Speichermedium gespeichert werden, auf das die Verarbeitungseinheit zugreifen kann.The machine-readable instructions of the computer program can be stored on a non-volatile machine-readable storage medium which the processing unit can access.
Drittens bezieht sich die Erfindung auf ein Positionierungssystem zur Ausrichtung der Positionen und Orientierungen eines Beobachters und mindestens eines reflektierenden Objekts im echten Raum. Das System umfasst ein Positionierungsmodul, das so konfiguriert ist, dass es die Position und Orientierung eines Sichtfeldes, das die mindestens eine reflektierende Oberfläche enthält, im echten Raum bestimmt, und ein Anzeigemodul zur Visualisierung mindestens eines nicht-egozentrischen Blickwinkels im Sichtfeld in Übereinstimmung mit dessen Position und Orientierung. Der mindestens eine nicht-egozentrische Blickwinkel überlagert den virtuellen Inhalt der AR-Szene, der auf der Oberfläche des mindestens einen reflektierenden Objekts im Sichtfeld reflektiert wird.Third, the invention relates to a positioning system for aligning the positions and orientations of an observer and at least one reflective object in real space. The system comprises a positioning module configured to determine the position and orientation of a field of view containing the at least one reflective surface in real space, and a display module for visualizing at least one non-egocentric angle of view in the field of view in accordance therewith Position and orientation. The at least one non-egocentric viewing angle is superimposed on the virtual content of the AR scene, which is reflected on the surface of the at least one reflective object in the field of view.
Das Anzeigemodul und das Positionierungsmodul können in Software, Hardware oder einer Kombination davon implementiert werden und die Module können in demselben Gerät oder in verschiedenen Geräten umgesetzt werden. Darüber hinaus kann jedes der Module durch eine Vielzahl von Vorrichtungen implementiert werden, wie z.B. das Positionierungsmodul, das in einer Vielzahl von Sensorvorrichtungen implementiert ist, die zusammenarbeiten, um die aktuelle Position und Orientierung des Blickfelds zu bestimmen. Beispielsweise kann das Positionierungsmodul in einer Datensichtbrille und das Anzeigemodul in einer Verarbeitungsvorrichtung realisiert sein, die drahtlos mit einer Datensichtbrille gekoppelt ist, und das Anzeigemodul empfängt die aktuelle Position und Orientierung von der Datensichtbrille und visualisiert den mindestens einen nicht-egozentrischen Blickwinkel entsprechend dem Sichtfeld. Informationen zur Darstellung des visualisierten mindestens einen nicht-egozentrischen Blickwinkels können dann vom Anzeigemodul an die Datensichtbrille übertragen werden, um sie dem Beobachter der Szene anzuzeigen. Der mindestens eine nicht-egozentrische Standpunkt kann auf einem dem Gerät zugeordneten physischen Speicher gespeichert oder bei Bedarf über einen Kommunikationsweg, wie z.B. eine drahtlose oder kabelgebundene Verbindung zu einem Server, an das System übermittelt werden.The display module and the positioning module can be implemented in software, hardware, or a combination thereof, and the modules can be implemented in the same device or in different devices. In addition, each of the modules can be implemented by a variety of devices, such as the positioning module implemented in a variety of sensor devices that work together to determine the current position and orientation of the field of view. For example, the positioning module can be implemented in data viewing glasses and the display module in a processing device that is wirelessly coupled to data viewing glasses, and the display module receives the current position and orientation from the data viewing glasses and visualizes the at least one non-egocentric viewing angle corresponding to the field of view. Information for displaying the visualized at least one non-egocentric viewing angle can then be transmitted from the display module to the data viewing glasses in order to display it to the observer of the scene. The at least one non-egocentric viewpoint can be stored on a physical memory associated with the device or, if necessary, transmitted to the system via a communication path such as a wireless or wired connection to a server.
In bevorzugten Ausführungsformen umfasst das System ferner eine Anzeige zur Darstellung des mindestens einen nicht-egozentrischen Standpunktes im Sichtfeld.In preferred embodiments, the system further comprises a display for displaying the at least one non-egocentric viewpoint in the field of view.
Bei der Anzeige kann es sich um eine Datensichtbrille handeln, die das wahrgenommene Sichtfeld eines Beobachters erweitert, die das mindestens eine reflektierende Objekt enthält, oder um eine Anzeige zur Darstellung einer Kameraansicht, die das mindestens eine reflektierende Objekt enthält, oder einer von der Kameraansicht abgeleiteten dreidimensionalen Ansicht. In einigen Ausführungsformen umfasst das System eine oder mehrere Kameras zur Bereitstellung zusätzlicher Ansichten, die das mindestens eine reflektierende Objekt enthalten, und das Anzeigemodul kann den nicht-egozentrischen Blickwinkel und die damit verbundenen visuellen Merkmale anzeigen.The display can be data viewing glasses that expand the perceived field of view of an observer that contains the at least one reflective object, or a display for displaying a camera view that contains the at least one reflective object, or one derived from the camera view three-dimensional view. In some embodiments, the system includes one or more cameras for providing additional views including the at least one reflective object, and the display module can display the non-egocentric viewpoint and associated visual features.
In bevorzugten Ausführungsformen umfasst das System ferner ein Darstellungs-Modul, das so konfiguriert ist, dass es Positionen und Orientierungen von einem Beobachter und dem mindestens einen reflektierenden Objekts empfängt, um den mindestens einen nicht-egozentrischen Blickwinkel auf Grundlage der Form und/oder Oberfläche des mindestens einen reflektierenden Objekts zu erzeugen.In preferred embodiments, the system further includes a display module configured to receive positions and orientations from an observer and the at least one reflective object to view the at least one non-egocentric viewing angle based on the shape and / or surface of the create at least one reflective object.
In bevorzugten Ausführungsformen umfasst das System ferner ein Manipulationsmodul zum Empfangen von Benutzereingaben, um eine Position und/oder Orientierung des mindestens einen reflektierenden Objekts im Sichtfeld entsprechend der Benutzereingabe zu aktualisieren.In preferred embodiments, the system further comprises a manipulation module for receiving user inputs in order to update a position and / or orientation of the at least one reflective object in the field of view in accordance with the user input.
In bevorzugten Ausführungsformen umfasst das System ferner das mindestens eine reflektierende Objekt mit einer nichtplanaren Oberfläche, so dass die Oberfläche des mindestens einen reflektierenden Objekts konkave oder konvexe, nicht egozentrische Ansichten liefern kann.In preferred embodiments, the system further comprises the at least one reflective object having a non-planar surface such that the surface of the at least one reflective object can provide concave or convex, non-egocentric views.
In anderen bevorzugten Ausführungsformen implementiert das System jede beliebige Kombination der vorgenannten Ausführungsformen.In other preferred embodiments, the system implements any combination of the foregoing embodiments.
In anderen bevorzugten Ausführungsformen implementiert das System jede beliebige Kombination der vorgenannten Ausführungsformen mit dem Unterschied, dass es nicht nur einen Beobachter, sondern mehrere gleichzeitig oder nacheinander unterstützt, die jeweils Ansichten auf dem gleichen mindestens einen reflektierenden Objekt angezeigt bekommen.In other preferred embodiments, the system implements any combination of the aforementioned embodiments, with the difference that it supports not just one observer, but several simultaneously or in succession, who are each shown views of the same at least one reflective object.
FigurenlisteFigure list
Die Merkmale und Vorteile der Darstellung, der Vorrichtung und des entsprechenden Computerprogramms gemäß der vorliegenden Erfindung lassen sich am besten anhand einer detaillierten Beschreibung der bevorzugten Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen verstehen:
-
-
-
-
-
-
-
-
-
-
-
-
-
-
DETAILLIERTE BESCHREIBUNG VON BEISPIELHAFTEN AUSFÜHRUNGSFORMENDETAILED DESCRIPTION OF EXEMPLARY EMBODIMENTS
Der Einfachheit halber wird das virtuelle Objekt (
BezugszeichenlisteList of reference symbols
- 11
- Beispielhaftes echtes Objekt, das in einem medizinischen AR-Szenario beobachtet wirdExemplary real object observed in a medical AR scenario
- 22
- Echter Bohrer zur Durchführung eines medizinischen Eingriffs im Rahmen von medizinischen AR, beobachtet in einem medizinischen AR-Szenario.Real drill for performing a medical procedure in the context of medical AR, observed in a medical AR scenario.
- 33
- Die virtuelle Bahn, die zur Angabe eines gewünschten Bohrpfades in einem medizinischen AR-Szenario verwendet wirdThe virtual path used to indicate a desired drilling path in a medical AR scenario
- 44th
- Das reflektierende Objekt, das verwendet wird, um eine nicht-egozentrische Ansicht des echten und virtuellen Inhalts der AR-Szene zu ermöglichenThe reflective object used to provide a non-egocentric view of the real and virtual content of the AR scene
- 4a4a
- Reflektierendes Objekt mit echten und virtuellen Reflexionen (Vorderseite)Reflective object with real and virtual reflections (front)
- 4b4b
- Reflektierendes Objekt (Rückseite)Reflective Object (Back)
- 55
- Spiegelung des in der AR-Szene beobachteten echten InhaltsReflection of the real content observed in the AR scene
- 66th
- Spiegelung der in der AR-Szene beobachteten virtuellen InhalteMirroring of the virtual content observed in the AR scene
- 77th
- Beispiel eines Tracking-Ziels, das zur Erfassung der Pose der reflektierenden Oberfläche verwendet wirdExample of a tracking target used to detect the pose of the reflective surface
- 88th
- Beispiel für ein Tracking-Ziel, das zur Erfassung der Position und Orientierung des Beobachters und des reflektierenden Objekts verwendet wirdExample of a tracking target used to capture the position and orientation of the observer and the reflective object
- 99
- Beobachterobserver
- 1010
- Beispielhafte egozentrische Ansicht auf den virtuellen Inhalt, beobachtet in einem medizinischen AR-SzenarioExemplary self-centered view of the virtual content observed in a medical AR scenario
- 1111
- eines Eine beispielhafte nicht-egozentrische Ansicht, die dem Beobachter den erweiterten Inhalt in Form virtuellen Röntgenbildes präsentiertAn exemplary non-egocentric view that presents the expanded content to the observer in the form of a virtual x-ray image
- 1212th
- Nicht-egozentrische Ansicht präsentiert dem Betrachter den erweiterten Inhalt in Form eines virtuellen CT-ScansNon-egocentric view presents the viewer with the expanded content in the form of a virtual CT scan
- 1313th
- Beispielhafte Vorrichtung zur nichtautomatischen Manipulation und Platzierung der reflektierenden ObjekteExemplary device for the non-automatic manipulation and placement of reflective objects
- 1414th
- Beispielhafte Vorrichtung zur automatischen Manipulation und Platzierung der reflektierenden ObjekteExemplary device for the automatic manipulation and placement of reflective objects
- 1515th
- Beispiel einer egozentrischen Ansicht auf die virtuellen und echten Objekte bei Verwendung eines nicht planaren reflektierenden ObjektsExample of an egocentric view of the virtual and real objects using a non-planar reflective object
- 1616
- Beispiel für eine nicht-egozentrische Ansicht der virtuellen und echten Objekte bei Verwendung eines konvexen reflektierenden ObjektsExample of a non-egocentric view of the virtual and real objects using a convex reflective object
- 1717th
- Beispiel für ein reflektierendes Objekt mit einer konvexen OberflächeExample of a reflective object with a convex surface
- 1818th
- Beispiel für eine nicht egozentrische Ansicht der virtuellen und echten Objekte bei Verwendung eines konkaven reflektierenden ObjektsExample of a non-egocentric view of the virtual and real objects when using a concave reflective object
- 1919th
- Beispiel für ein reflektierendes Objekt mit einer konkaven OberflächeExample of a reflective object with a concave surface
- 2020th
- Beispiel für ein reflektierendes Objekt, das starr mit einem getrackten echten Objekt verbunden istExample of a reflective object that is rigidly connected to a tracked real object
- 2121
- Beispiel eines Tracking-Ziels, das an einem echten Objekt befestigt istExample of a tracking target attached to a real object
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- US 8314815 [0007]US 8314815 [0007]
Claims (18)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE202020004674.4U DE202020004674U1 (en) | 2020-11-06 | 2020-11-06 | Device of a mirror with augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE202020004674.4U DE202020004674U1 (en) | 2020-11-06 | 2020-11-06 | Device of a mirror with augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE202020004674U1 true DE202020004674U1 (en) | 2021-04-13 |
Family
ID=75683852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE202020004674.4U Active DE202020004674U1 (en) | 2020-11-06 | 2020-11-06 | Device of a mirror with augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE202020004674U1 (en) |
-
2020
- 2020-11-06 DE DE202020004674.4U patent/DE202020004674U1/en active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10258427B2 (en) | Mixed reality imaging apparatus and surgical suite | |
| US11750788B1 (en) | Augmented reality guidance for spinal surgery with stereoscopic display of images and tracked instruments | |
| DE60130264T2 (en) | MANAGEMENT SYSTEM | |
| Navab et al. | Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality | |
| DE102007054450A1 (en) | Image providing device for surgeon, has common camera i.e. digital camera, provided for image acquisition of operation field and for determining camera position and orientation by navigation system | |
| WO2020145826A1 (en) | Method and assembly for spatial mapping of a model, such as a holographic model, of a surgical tool and/or anatomical structure onto a spatial position of the surgical tool respectively anatomical structure, as well as a surgical tool | |
| EP4213755B1 (en) | Surgical assistance system | |
| JPH07136175A (en) | Real-time medical device and method | |
| Suthau et al. | A concept work for Augmented Reality visualisation based on a medical application in liver surgery | |
| DE202020004674U1 (en) | Device of a mirror with augmented reality | |
| US20220392607A1 (en) | Image acquisition visuals for augmented reality | |
| DE102020003366A1 (en) | Method and device for image monitoring by means of an X-ray device during a surgical procedure | |
| Navab et al. | Laparoscopic Virtual Mirror |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R207 | Utility model specification | ||
| R150 | Utility model maintained after payment of first maintenance fee after three years |