WO2005064440A2 - Vorrichtung und verfahren zur positionsgenauen überlagerung des realen blickfeldes - Google Patents

Vorrichtung und verfahren zur positionsgenauen überlagerung des realen blickfeldes Download PDF

Info

Publication number
WO2005064440A2
WO2005064440A2 PCT/EP2004/053386 EP2004053386W WO2005064440A2 WO 2005064440 A2 WO2005064440 A2 WO 2005064440A2 EP 2004053386 W EP2004053386 W EP 2004053386W WO 2005064440 A2 WO2005064440 A2 WO 2005064440A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
unit
mobile device
data
Prior art date
Application number
PCT/EP2004/053386
Other languages
English (en)
French (fr)
Other versions
WO2005064440A3 (de
Inventor
Mehdi Hamadou
Dirk Jahn
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2005064440A2 publication Critical patent/WO2005064440A2/de
Publication of WO2005064440A3 publication Critical patent/WO2005064440A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt

Definitions

  • Augmented Reality is a form of human-technology interaction that B. fade in information into his field of vision via data glasses, thereby expanding the reality he perceives. This happens depending on the context.
  • H. suitable for and derived from the object under consideration e.g. B. a component, a tool, a machine or its location.
  • An example of this can be a safety instruction during an assembly / disassembly process.
  • Tracking procedures are used to achieve this virtual expansion of the field of view with precise positioning. These can consist of both hardware and software. Optical, inertial, acoustic, magnetic or other processes are used. Additional devices worn on the body are required to display the information. These devices are used to provide information and the coupling to company data sources is implemented via a receiving and transmitting device. A display worn on the head is used to present the information.
  • Today head-mounted displays are used to overlay the information with the real field of vision.
  • a camera is required to detect the position in the case of an optical tracking method, and sensors are required in the case of an interactive or acoustic method.
  • a voice control system including voice output is required. This is implemented using a microphone and headphones.
  • the processing for tracking is carried out centrally on a processing unit.
  • this unit is equipped with operations such as e.g. the binarization of the video image, compression of the image data, calculation of position and viewing direction data, etc., so that less computing power is available for the actual tracking and the subsequent presentation of the virtual information.
  • the data of further coupled sensors must be merged with the result of the other methods on this central processing unit.
  • This centralized processing on one processing unit can lead to bottlenecks during processing.
  • the object of the present invention is therefore to specify a system and a method which enable the user to process and display the data recorded by various recording means on site. This object is achieved by the features of claim 1. The object is further achieved by the features of the independent claim 9.
  • the invention is based on the knowledge that various devices for position and viewing direction detection, for displaying the information and for voice input and output are integrated in one unit on the head. There, the recorded data are analyzed, combined and transformed by preparatory units to match the user context. Only very little data is generated, which is forwarded to a mobile computing unit by radio without latency, where it is then used to calculate an overlay.
  • the wireless connection improves ergonomics.
  • the processing units are relieved by preprocessing sensor data.
  • An early amalgamation of the position and viewing direction data facilitates processing, adds advantages, minimizes disadvantages and delivers overall improved results. These improved results result in an increase in the accuracy in the position-accurate superimposition of the real field of vision, but also in a significant increase in the efficiency and response time of the overall system compared to a system with only one method for position and direction of view detection.
  • the flexibility of the system also allows the reduced sensor data to be sent to other central processing units that offer value-added services. These can, for example, deliver context data and configurations for those worn on the head
  • the wireless connection to the central processing unit provides essential parts achieved in ergonomics and thus in the acceptance of the user.
  • the aim is to determine the user position and the direction of his gaze as precisely as possible.
  • the accuracy of these processing steps later determines the quality of the position-accurate overlay of the real field of view.
  • This structure has the advantage that the decentralized preprocessing of the data relieves the load on the central processing unit.
  • the processing unit is further relieved by special processor units.
  • the key advantage of this system is the holistic, integrative approach.
  • An early coupling of the data for position and viewing direction determination improves the accuracy of the position determination.
  • This allows the process-specific advantages of the individual processes to be bundled and the disadvantages to be minimized.
  • Specialized chip solutions controller, DSP
  • DSP digital signal processor
  • the integrative approach of the devices worn on the head can save weight and thus improve the wearing comfort and support the cooperative processing of the resulting data.
  • the invention is described and explained in more detail below on the basis of the exemplary embodiment shown in the figure:
  • the figure gives an overview of the structure of the devices and methods for the precise overlaying of a real field of view.
  • the focus here is on the wireless connections between the individual components and the preprocessing of the recorded data on the video camera or on the sensors.
  • Mobile devices 1 worn on the body or on the head are made available to the user, which are characterized in that the individual components 2, 3, 5 and 7 are matched to one another. This means that data can be preprocessed and exchanged between the processing units 4, 6, 8 and 10 to fulfill the task (position and viewing direction determination, voice control, output, etc.). This also means that the required individual components are brought to an integrated complete solution.
  • the unit worn on the head contains the visualization unit 2, which is connected to the processing unit 12 via a wireless connection 9.
  • This visualization unit enables the perception of the real environment of the user and also the precise overlay of information such as e.g. simple texts, arrows, circles, but also complex geometries.
  • the optical position and viewing direction detection is carried out by means of a camera 3.
  • the video data are preprocessed on a local processing unit 4. This can be, for example, the compression of the image data, a binarization of the image, but also data for determining the position and viewing direction.
  • Additional sensors such as, for example, inertial, magnetic, acoustic, etc. 5, including data preprocessing via a corresponding processing unit 6, are integrated into the device 1.
  • Such sensors can be parts of data or complete Deliver complete data for position and viewing direction detection.
  • a microphone and headphones 7 are attached to control the work task and to additionally record information via a voice output.
  • the preprocessing of the recorded signals takes place via the processing unit 8.
  • a comprehensive processing unit 10 is required for the premature fusion of this data. This merges the resulting data and enables the data to be merged at an early stage for position and viewing direction recognition, or for further processing for voice control and output.
  • the computing unit 12 worn on the body is connected via a wireless connection 11 to the unit 2-10 worn on the head.
  • the preprocessed data are processed further via the processing unit 13. This can be supported with special processor units 14. Further processing processes can also be carried out via the wireless connection 11 by external computing units 15, 16.
  • the processing units 4, 6, 8 and 10 influence each other, so that the configurations / parameters are improved in a control loop.
  • the processing unit 10 collects the data from 6 and thus influences the parameters of 4.
  • the method runs analogously to the human brain: 3 here is the eye, 4 is the Seb center, 5 is the equilibrium organ in the ear, 6 is the equilibrium center and 10 is the overarching "decision center”.
  • the position out of balance 5 is used by the visual center 3 to correctly recognize the objects in the field of vision.
  • An external computing unit 15 can support the processing on the mobile computing unit 12 via a wireless connection 17.
  • the incoming data are transferred to the processing unit 16 and, after processing, are transferred back to the unit 12 worn on the body. This is particularly useful for particularly complex processing, since stationary systems have a much higher processing speed.
  • the data can be transferred to a remote person 18. This can manipulate the positionally accurate overlays of the mobile unit via interactions and thus provide assistance in the activities to be carried out.
  • a scenario for a possible use of the AR devices is as follows:
  • the user moves in an environment e.g. a hall.
  • the AR devices 1 are carried as shown in the figure.
  • the preprocessing 4 determines that no configuration is loaded. This allows a viewing direction / position in the area to be calculated.
  • the preprocessing 4 fetches an image from the camera 3, compresses it and sends it to the mobile computing unit 12 via 10, 11 and 13. 4.
  • a central processing unit 15 receives the image and searches for the context on the basis of the stored environmental knowledge. Once the (tracking) data on the machine or environment has been found, it sends the configurations and initializations for the preprocessing units 13, 10, 4, 6 and 8 in the opposite way. In the case of the camera, it is the spatial coordinates of the features of the machine that are used Computer vision algorithms are extractable (e.g. about 50 points in space).
  • the preprocessing unit 4 tries to find these features in the video images in order to ultimately calculate the position of the viewer / user.
  • the preprocessing 8 receives special parameters that optimally allow coding and recognition of audio data in the appropriate environment (noise, background noise level).
  • the preprocessing units 4, 6 and 8 then supply their greatly reduced data to the processing unit 10, which in turn carries out the combination and calculates new parameters (in the sense of control loops) and sends them back to these processing units 4, 6, and 8.
  • a camera image in 4 with the size of almost 1 Mbyte is fed.
  • the processing units 4 and 10 ultimately only calculate a very few bytes as the head position (for example a vector of 6 numbers with 4 bytes each).
  • the mobile computing unit 12 receives the head position of the user via the wireless connection 11 and 9 and combines it with the context data that come from the external computing unit 15 in order to generate the correct overlay in the field of view. The resulting image is then sent wirelessly to the display 2, where it is made available to the user in the form of augmented information via data glasses. If another person 18 is brought in, the external computing unit 15 requests an image from the camera from the processing units 4 and 10 at regular intervals. This information does not have to be supplied at a high frequency (1 frame / s is sufficient) and therefore only slightly affect the other real-time signals (audio, tracking position). The reason for the low rate at this point is the fact that the transmission takes place via, for example, a telephone line / GSM network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Darstellung von Umgebungsinformationen für einen Anwender, wobei die Informationen positionsgenau das reale Blickfeld des Anwenders überlagern. Mittels verschiedener Erfassungseinheiten (3, 5, 7) werden Umgebungsinformationen erfasst. Die erfassten Informationen werden direkt auf der mobilen Vorrichtung vorverarbeitet und im Rahmen eines Regelkreises werden die Informationen verschmolzen, mit Kontext Information angereichert und die genaue Position des Anwenders kann bestimmt werden.

Description

Beschreibung
Vorrichtung und Verfahren zur positionsgenauen Überlagerung des realen Blickfeldes
Augmented Reality, erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z. B. über eine Datenbrille Informationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene Realität erweitert. Dieses geschieht kontextabhängig, d. h. passend zum und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. Beispiel hierfür kann ein Sicherheitshinweis während eines Montage-/Demontagepro- zesses sein.
Um diese virtuelle Erweiterung des Blickfeldes positionsgenau zu erreichen, werden Trackingverfahren eingesetzt. Diese können sowohl aus Hard- als auch Software bestehen. Dabei kommen optische, inertiale, akustische, magnetische oder weitere Verfahren zum Einsatz. Für die Darstellung der Informationen werden zusätzliche, am Körper getragene Geräte benötigt. Diese Geräte dienen der Informationsbereitstellung und über eine Empfangs— und Sendeeinrichtung wird die Kopplung zu Unternehmensdatenquellen realisiert. Für die Darstellung der Informationen wird ein am Kopf getragenes Display verwendet.
Diese Geräte können in den Anwendungsdomänen produzierende Industrie, Medizin oder im Konsumerbereich eingesetzt werden. In der produzierenden Industrie können Anwendungen von einfa- chen Bedien- und Beobachtungsprozessen bis hin zu komplexen Servicetätigkeiten unterstützt werden. Bei Operationen, Untersuchungen und Behandlungen im medizinischen Umfeld dienen 'solche Verfahren und Geräte dem Benutzer zur Verbesserung der Arbeitsqualität. Im Konsumerbereich können Anwendungen wie z.B. Navigation von Personen, Informationsbreitstellung etc. realisiert werden. Für die Bestimmung der Benutzerposition und dessen Blickrichtung, welche für eine positionsgenaue Überlagerung notwendig sind, kommen heute Trackingverfahren zum Einsatz. Diese Verfahren haben für sich genommen Vorteile aber auch Nachteile. So kommt ein optisches Verfahren ohne zusätzliche Instrumentierung aus, benötigt dafür aber sehr viel Rechenleistung, welche derzeit nicht durch ein industrietaugliches mobiles System bereitgestellt werden kann. Inertiale Systeme verfügen über sehr gute Echtzeitfähigkeit, wohingegen solche Verfahren nur relative Bewegungen des Benutzers erfassen können. Magnetische Verfahren sind anfällig gegenüber magnetischen Feldern, so dass in industriellen Umgebungen aufgrund der vorhandenen Maschinen und der elektrischen Antriebe solche Verfahren gestört werden. Ebenso können aufgrund der Geräusch— kulisse in einer Produktionshalle akustische Verfahren nur bedingt zum Einsatz kommen.
Diese unterschiedlichen Verfahren werden bisher fast ausschließlich alleine für sich betrachtet. Erste Ansätze gibt es bei der Kombination dieser Verfahren (z.B. inertial mit akustisch) . Diese Ansätze sind aber aufgrund der aufwendigen Instrumentierung der Umgebung für industrielle, medizinisc e oder Konsumer-Anwendungen nicht geeignet .
Für die Überlagerung der Informationen mit dem realen Sichtfeld kommen heute am Kopf getragene Displays, so genannte Head-Mounted-Displays, zum Einsatz. Zur Erfassung der Position wird bei einem optischen Tracking-Verfahren eine Kamera benötigt, bei einem intertialen oder akustischen Verfahren werden hierzu Sensoren benötigt. Um beide Hände beim Einsatz eines solchen Systems frei zur Erfüllung der Aufgabe zu haben, wird eine Sprachsteuerung inkl. Sprachausgabe benötigt. Dieses wird über ein Mikrophon und ein Kopfhörer realisiert .
In heute zur Verfügung stehenden Systemen werden diese einzelnen Komponenten separat an ein Trägersystem angebaut. Hierdurch entstehen erhebliche Nachteile hinsichtlich Ergono- mie und damit hinsichtlich der Akzeptanz des Benutzers. Dieses bedeutet, dass alle Komponenten mittels Kabel mit dem VerarbeitungsSystem gekoppelt werden müssen, um Daten zu empfangen, Daten bereitzustellen oder um die Energieversorgung sicher zu stellen. Durch diese umständliche Verkabelung kann nicht von einem ganzheitlichen Ansatz gesprochen werden.
Weiter wird die Verarbeitung zum Tracking zentral auf einer Verarbeitungseinheit abgewickelt . Durch diesen Ansatz wird diese Einheit mit Operationen, wie z.B. der Binarisierung des Videobildes, Komprimierung der Bilddaten, Berechnung von Po- sitions- und Blickrichtungsdaten etc., belastet, so dass für das eigentliche Tracken und dem nachgelagerten Darstellen der virtuellen Informationen weniger Rechenleistung zur Verfügung steht. Die Daten weiterer angekoppelter Sensoren müssen auf dieser zentralen Verarbeitungseinheit mit dem Ergebnis der anderen Verfahren verschmolzen werden. Durch diese zentralisierte Verarbeitung auf einer Verarbeitungseinheit kann es zu Engpässen während der Verarbeitung kommen.
Wird versucht, die zentrale Verarbeitungseinheit mit den am Kopf getragene Geräte per Funk zu verbinden, entsteht bei analoger Übertragung eine zu große Belegung der Frequenzbandbreite, was nur sehr wenige Geräte in einer Umgebung/Halle/ Raum zulassen würde. Bei der Digitalisierung und Komprimierung der Signale verringert sich die ursprüngliche Signalqualität (Bild, Ton...) und entsteht eine Latenzzeit auf dem Weg (zur zentralen Verarbeitungseinheit und zurück) , die für den Benutzer unerträglich wird.
Die Aufgabe der vorliegenden Erfindung ist daher, ein System sowie ein Verfahren anzugeben, welches eine Verarbeitung und Darstellung der durch verschiedene Erfassungsmittel erfassten Daten vor Ort für einen Anwender ermöglicht . Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Patentanspruchs 1 gelöst. Die Aufgabe wird weiterhin durch die Merkmale des nebengeordneten Patentanspruchs 9 gelöst.
Der Erfindung liegt die Erkenntnis zugrunde, dass verschiedene Geräte zur Positions- und Blickrichtungserfassung, zur Darstellung der Informationen und zur Sprachein- und -ausgäbe integriert in einer Einheit am Kopf getragen werden. Dort werden die aufgenommenen Daten durch vorarbeitende Einheiten passend zu dem Benutzerkontext analysiert, kombiniert und transformiert. Es entstehen nur ganz geringe Daten, die ohne Latenzzeit an eine mobile Recheneinheit per Funk weitergeschickt werden, wo sie dann genutzt werden um eine Überlagerung zu berechnen. Die kabellose Verbindung verbessert die Ergonomie.
Dadurch dass Sensordaten vorverarbeitet werden, werden die Recheneinheiten entlastet . Eine frühzeitige Verschmelzung der Positions- und Blickrichtungsdaten erleichtert die Verarbei- tung, summiert Vorteile, minimiert Nachteile und liefert insgesamt verbesserte Ergebnisse. Diese verbesserten Ergebnisse bewirken eine Steigerung der Genauigkeit bei der positionsge— nauen Überlagerung des realen Blickfeldes, aber auch eine erhebliche Steigerung der Effizienz und Reaktionszeit des Ge- samtsystems gegenüber einem System mit nur einem Verfahren zur Positions- und Blickrichtungserkennung. Die Flexibilität des Systems erlaubt weiterhin die reduzierten Sensordaten an weitere zentrale Recheneinheiten zu senden, die Mehrwertdienste anbieten. Diese können beispielsweise Liefern von Kontextdaten und Konfigurationen für die am Kopfgetragenen
Geräte, die die Genauigkeit verbessern oder gar diese initialisieren.
Hierdurch können die Vorteile der einzelnen Verfahren zur Po- sitionsbestimmung ausgenutzt werden und das Gesamtergebnis erheblich verbessert werden. Weiter werden durch die kabellose Verbindung zur zentralen Recheneinheit wesentliche Vor- teile bei der Ergonomie und damit bei der Akzeptanz des Benutzers erreicht.
Ziel ist eine möglichst genaue Bestimmung der Benutzerposi- tion sowie dessen Blickrichtung. Die Genauigkeit dieser Verarbeitungsschritte entscheidet später über die Qualität der positionsgenauen Überlagerung des realen Blickfeldes. Dieser Aufbau hat den Vorteil, dass durch die dezentrale Vorverarbeitung der Daten die zentrale Recheneinheit entlastet wird. Durch spezielle Prozessoreinheiten wird die Recheneinheit weiter entlastet.
Der entscheidende Vorteil dieses Systems ist der ganzheitliche, integrative Ansatz. Eine frühzeitige Kopplung der Daten zur Positions- und Blickrichtungsbestimmung bewirkt eine Verbesserung der Genauigkeit der Positionsbestimmung. Hierdurch können die verfahrensspezifischen Vorteile der einzelnen Verfahren gebündelt und die Nachteile minimiert werden. Durch die damit verbundene Reduzierung der zu übertragenden Daten, bleibt die Echtzeitfähigkeit trotz verteilter Verarbeitung erhalten. Durch spezialisierte Chiplösungen (Controller, DSP) kann sogar das System wirtschaftlicher gebaut werden, als mit Hilfe von Standard Rechnerstrukturen. Weiter besteht die Möglichkeit rechenintensive Verarbeitungsschritte auf eine zent- rale Recheneinheit auszulagern. Durch den integrativen Ansatz der am Kopf getragenen Geräte kann Gewicht eingespart und damit der Tragekomfort verbessert und die kooperative Verarbeitung der entstehenden Daten unterstützt werden.
Weitere vorteilhafte Ausführungen der Erfindung sind in den Unteransprüchen angegeben.
Im Folgenden ist die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläu- tert : Die Figur gibt einen Überblick über den Aufbau der Geräte und Verfahren zur positionsgenauen Überlagerung eines realen Blickfeldes. Dabei stehen die kabellosen Verbindungen zwischen den einzelnen Komponenten und die Vorverarbeitung der aufgenommenen Daten an der Videokamera bzw. an den Sensoren im Vordergrund.
Dem Benutzer werden mobile am Körper bzw. am Kopf getragene Geräte 1 zur Verfügung gestellt, die sich dadurch auszeich- • nen, dass die einzelnen Komponenten 2, 3, 5 und 7 aufeinander abgestimmt sind. Das bedeutet, dass zur Erfüllung der Aufgabe (Positions- und Blickrichtungsbestimmung, Sprachsteuerung, -ausgäbe etc.) Daten durch die Verarbeitungseinheiten 4, 6, 8 und 10 vorverarbeitet und untereinander ausgetauscht werden können. Weiter bedeutet dies, dass die benötigten Einzelkomponenten zu einer integrierten Komplettlösung gebracht werden.
Die am Kopf getragene Einheit beinhaltet dabei die Visuali- sierungseinheit 2, welche über eine drahtlose Verbindung 9 mit der Verarbeitungseinheit 12 verbunden ist. Diese Visualisierungseinheit ermöglicht die Wahrnehmung der realen Umgebung des Benutzers und zusätzlich die positionsgenaue Überlagerung von Informationen wie z.B. einfache Texte, Pfeile, Kreise, aber auch komplexe Geometrien.
Die optische Positions- und Blickrichtungserkennung wird mittels einer Kamera 3 durchgeführt. Die Videodaten werden auf einer lokalen Verarbeitungseinheit 4 vorverarbeitet. Dieses kann zum Beispiel die Komprimierung der Bilddaten, eine Bina- risierung des Bildes, aber auch Daten zur Bestimmung der Position und Blickrichtung sein.
Zusätzliche Sensoren, wie z.B. inertial, magnetisch, akus- tisch etc. 5 inkl. einer Datenvorverarbeitung über eine entsprechende Verarbeitungseinheit 6 werden in das Gerät 1 integriert. Solche Sensoren können Teile von Daten oder kom- plette Daten zur Positions- und Blickrichtungserkennung liefern.
Zur Steuerung der Arbeitsaufgabe und zum zusätzlichen aufneh- men von Informationen über eine Sprachausgabe wird ein Mikrophon und ein Kopfhörer 7 angebracht . Die Vorverarbeitung der aufgenommenen Signale geschieht über die Verarbeitungseinheit 8. Zur frühzeitigen Verschmelzung dieser Daten wird eine übergreifende Verarbeitungseinheit 10 benötigt. Diese führt die entstehenden Daten zusammen und ermöglicht das frühzeitige Verschmelzen der Daten zur Positions- und Blickrichtungserkennung, oder eine Weiterverarbeitung für die Sprachsteuerung und -ausgäbe.
Die am Körper getragene Recheneinheit 12 ist über eine drahtlose Verbindung 11 mit der am Kopf getragenen Einheit 2-10 verbunden. Über die Verarbeitungseinheit 13 werden die vorverarbeiteten Daten weiterverarbeitet. Dieses kann mit speziellen Prozessoreinheiten 14 unterstützt werden. Weitere Verarbeitungsprozesse können über die drahtlose Verbindung 11 auch durch externe Recheneinheiten 15, 16 durcrigeführt werden.
Es können weitere Verarbeitungsschritte ausgegliedert werden. Durch die Reduzierung der Anforderungen für die zentrale, mobile Recheneinheit 12 kann diese kleiner und leichter ausgeprägt werden, oder das Freiwerden von Rechenleistung anderweitig, z.B. für weitere Optimierungsschritte bei der Positions- und Blickrichtungsbestimmung oder für die Sprachsteue- rung, genutzt werden.
Die Verarbeitungseinheiten 4, 6, 8 und 10 beeinflussen sich gegenseitig, so dass die Konfigurationen/Parameter in einem Regelkreis verbessert werden. Beispielsweise sammelt die Ver- arbeitungseinheit 10 die Daten aus 6 und beeinflusst damit die Parameter von 4. Das Verfahren läuft analog zum menschlichem Gehirn: 3 ist hier das Auge, 4 ist das Seb-zentrum, 5 ist das Gleichgewichtsorgan im Ohr, 6 ist das Gleichgewichtszentrum und 10 ist das übergreifende "Entscheidungszentrum".
Die Lage aus dem Gleichgewicht 5 wird vom Sehzentrum 3 be- nutzt, um die Objekte im Blickfeld richtig zu erkennen.
Eine externe Recheneinheit 15 kann über eine drahtlose Verbindung 17 die Verarbeitung auf der mobilen Recheneinheit 12 unterstützen. Hierzu werden die ankommenden Daten an die Verarbeitungseinheit 16 übergeben und nach der Verarbeitung wie- der an die am Körper getragene Einheit 12 übertragen. Dieses ist insbesondere bei besonders aufwendigen Verarbeitungen sinnvoll, da stationäre Systeme eine wesentlich höhere Verarbeitungsgeschwindigkeit aufweisen .
Zur Unterstützung der durchzuführenden Tätigkeiten können die Daten an eine entfernte Person 18 transferiert werden. Diese kann über Interaktionen die positionsgenauen Überlagerungen der mobilen Einheit manipulieren und damit bei den durchzuführenden Tätigkeiten Hilfestellungen geben.
Ein Szenario für eine mögliche Nutzung der AR-Geräte ist wie folgt :
1. Der Benutzer bewegt sich in einer Umgebung z.B. einer Halle.
2. Er steht vor einer gestörte/defekte Maschine. Dabei trägt der die AR-Geräte 1 wie es in der Figur dargestellt ist.
3. Die Vorverarbeitung 4 stellt fest, dass keine Konfiguration geladen ist. Diese gestattet eine Blickrichtung/ Position in der Umgebung zu berechnen. Die Vorverarbeitung 4 holt ein Bild aus der Kamera 3, komprimiert es und schickt es zu der mobilen Recheneinheit 12 via 10, 11 und 13. 4. Eine Zentrale Recheneinheit 15 empfängt das Bild und sucht den Kontext anhand des gespeicherten Umgebungswissens. Sind die (Tracking-) Daten zur Maschine bzw. Umgebung gefunden, Schickt sie auf dem umgekehrten Weg die Konfigurationen und Initialisierungen für die Vorverarbeitungseinheiten 13, 10, 4, 6 und 8. Bei der Kamera sind es Raumkoordinaten der Merkmale der Maschine, die mit Computer Vision-Algorithmen extrahierbar sind (Bsp. etwa 50 Punkte im Raum) . Diese Merkmale versucht die vorverar- beitungseinheit 4 in den Videobilder zu finden, um letztendlich die Position des Betrachters/Benutzers zu berechnen. Die Vorverarbeitung 8 bekommt spezielle Parameter, die eine Codierung und Erkennung von Audiodaten in der passenden Umgebung (Geräusche, Grundlärmpegel) optimal gestatten.
5. Die Vorverarbeitungseinheiten 4, 6, und 8 liefern ab dann ihre stark reduzierten Daten an die Verarbeitungseinheit 10, die wiederum die Kombination durchführt und neue Pa- rameter berechnet (im Sinne von Regelkreisen) an diese Verarbeitungseinheiten 4, 6, und 8 zurückschickt. Als Beispiel für eine Reduktion ist zu erwähnen, dass ein Kamerabild in 4 in der Größe von beinah 1 MByte eingespeist wird. Die Verarbeitungseinheiten 4 und 10 berech- nen letztendlich nur ganz wenige Bytes als Kopfposition (beispielsweise einen Vector aus 6 Zahlen ä 4 Bytes) .
6. Die mobile Recheneinheit 12 empfängt über die Drahtlose Verbindung 11 und 9 die Kopfposition des Benutzers und kombiniert sie mit den Kontextdaten, die aus der externen Rechnereinheit 15 stammen, um die richtige Überlagerung im Sichtfeld zu generieren. Das entstanden Bild wird dann drahtlos an das Display 2 geschickt, wo es dem Benutzer in Form von augmentierter Information über eine Daten- brille zur Verfügung gestellt wird. Wird eine weitere Person 18 hinzugezogen, dann fordert die externe Recheneinheit 15 von der Verarbeitungseinheiten 4 und 10 in regelmäßigen Abstand ein Bild aus der Kamera. Diese Informationen müssen nicht in einer hohen Frequenz geliefert werden (1 Bild/s ist ausreichend) und belasten damit die anderen Echtzeitsignale (Audio, Tra- ckingposition) nur geringfügig. Der Grund für die niedrige Rate ist an dieser Stelle die Tatsache, dass die Übertragung über z.B. Tele onleitung/GSM-Netz stattfin- det.

Claims

Patentansprüche
1. Mobile Vorrichtung (1) zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für einen An- wender mit
- mindestens einer Erfassungseinheit (3, 5, 7) zur Erfassung von Umgebungsinformationen,
- mindestens einer Verarbeitungseinheit (4, 6, 8) zur Vorverarbeitung der von der mindestens einen Erfassungsein- heit (3, 5, 7) erfassten Umgebungsinformationen,
- mindestens einer weitere Verarbeitungseinheit (10) zur übergreifenden Vorverarbeitung der von den Verarbeitungseinheiten (4, 6, 8) gelieferten Daten,
- einer Wiedergabeeinheit (2) zur Darstellung erfasster und/oder empfangener Informationen, wobei die weitere Verarbeitungseinheit (10) auf Basis der von den Erfassungseinheiten (3, 5, 7) erfassten Informationen zur Bestimmung einer Position des Anwenders vorgesehen ist und wobei eine positionsgenaue Darstellung der Informationen für den Anwender über die Wiedergabeeinheit (2) vorgesehen ist.
2. Mobile Vorrichtung nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass die Wiedergabeeinheit (2) zur positionsgenauen Überlage- rung des realen Blickfeldes eines Anwenders mit der darzustellenden Information vorgesehen ist.
3. Mobile Vorrichtung nach Anspruch 1 oder 2, d a d u r c h g e k e n n z e i c h n e t , dass eine Abstimmung der Erfassungseinheiten (3, 5, 7) aufeinander vorgesehen ist.
4. Mobile Vorrichtung nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, dass die Verarbeitungseinheiten (4, 6, 8) zum Austausch von Daten untereinander vorgesehen sind.
5. Mobile Vorrichtung nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t, dass die Verarbeitungseinheit (10) zur Koordination der Erfassungseinheiten (3, 5, 7) auf Basis der von den Verarbei- tungseinheiten (4, 6, 8) gelieferten Daten vorgesehen ist.
6. Mobile Vorrichtung nach einem der Ansprüche 1 bis 5, d a d u r c h g e k e n n z e i c h n e t, dass die mobile Vorrichtung zur Kommunikation mit mindestens einer Rechner einheit (12, 15) über einer Sende- und/oder Empfangseinheit (9) vorgesehen ist.
7. Mobile Vorrichtung nach einem der Ansprüche 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, dass die erfassten Informationen über die mindestens eine
Rechnereinheit (12, 15) für einen weiteren Anwender darstellbar sind.
8. Mobile Vorrichtung nach einem der Ansprüche 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, dass die Vorrichtung zur Nutzung von Kontext-Information zur Bestimmung einer Umbebungsposition vorgesehen ist.
9. Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für einen Anwender, bei dem
- Umgebungsinformationen erfasst werden,
- erfasste Umgebungsinformationen verarbeitet werden,
- die von den Verarbeitungseinheiten (4, 6, 8) gelieferten Daten übergreifend weiter verarbeitet werden, - erfasste und/oder empfangene Informationen dargestellt werden, wobei auf Basis der von den erfassten Informationen eine Position des Anwenders bestimmt wird und wobei eine positionsgenaue Darstellung der Informationen für den Anwender über die Wiedergabeeinheit (2) erfolgt.
10. Verfahren nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t, dass die darzustellenden Informationen positionsgenau das reale Blickfeld eines Anwenders überlagern.
11. Verfahren nach Anspruch 9 oder 10, d a d u r c h g e k e n n z e i c h n e t , dass eine Abstimmung der Erfassungseinheiten (3, 5, 7) aufeinander erfolgt .
12. Verfahren nach einem der Ansprüche 9 bis 11, d a d u r c h g e k e n n z e i c h n e t, dass die Verarbeitungseinheiten (4, 6, 8) Daten untereinander austauschen.
13. Verfahren nach einem der Ansprüche 9 bis 12, d a d u r c h g e k e n n z e i c h n e t, dass die Erfassungseinheiten (3, 5, 7) auf Basis der von den Verarbeitungseinheiten (4, 6, 8) gelieferten Daten koordi- niert werden.
14. Verfahren nach einem der Ansprüche 9 bis 13, d a d u r c h g e k e n n z e i c h n e t, dass die mobile Vorrichtung mit mindestens einer Rechnerein- heit (12, 15) über eine Sende- und/oder Empfangseinheit (9) kommuniziert .
15. Verfahren nach einem der Ansprüche 9 bis 14, d a d u r c h g e k e n n z e i c h n e t, dass die erfassten Informationen über die mindestens eine Rechnereinheit (12, 15) für einen weiteren Anwender dargestellt werden.
16. Verfahren nach einem der Ansprüche 9 bis 15, d a d u r c h g e k e n n z e i c h n e t, dass Kontext-Information zur Bestimmung einer Umbebungsposition genutzt wird.
PCT/EP2004/053386 2003-12-23 2004-12-09 Vorrichtung und verfahren zur positionsgenauen überlagerung des realen blickfeldes WO2005064440A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE2003161512 DE10361512A1 (de) 2003-12-23 2003-12-23 Vorrichtung und Verfahren zur positionsgenauen Überlagerung des realen Blickfeldes
DE10361512.1 2003-12-23

Publications (2)

Publication Number Publication Date
WO2005064440A2 true WO2005064440A2 (de) 2005-07-14
WO2005064440A3 WO2005064440A3 (de) 2006-01-26

Family

ID=34706649

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/053386 WO2005064440A2 (de) 2003-12-23 2004-12-09 Vorrichtung und verfahren zur positionsgenauen überlagerung des realen blickfeldes

Country Status (2)

Country Link
DE (1) DE10361512A1 (de)
WO (1) WO2005064440A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302531A1 (de) * 2005-07-27 2011-03-30 Rafael - Armament Development Authority Ltd. Verfahren zur Bereitstellung einer vergrößerten Realitätsanzeige auf einer mobilen Vorrichtung
US8116526B2 (en) 2006-05-22 2012-02-14 Rafael Advanced Defense Systems Ltd. Methods and system for communication and displaying points-of-interest

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004051600B4 (de) * 2004-10-23 2007-04-12 Bayerische Motoren Werke Ag Verfahren zur periodischen Bestimmung der Position eines Objekts

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673059A (en) * 1994-03-23 1997-09-30 Kopin Corporation Head-mounted display apparatus with color sequential illumination
DE19755264A1 (de) * 1997-04-14 1998-10-15 Xybernaut Corp Mobiles Rechnersystem
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
WO2000063763A1 (en) * 1999-03-29 2000-10-26 Siemens Electrocom, L.P. System, apparatus and method for providing a portable customizable maintenance support instruction system
EP1060772A2 (de) * 1999-06-11 2000-12-20 Mixed Reality Systems Laboratory Inc. Vorrichtung und Verfahren zur Darstellung eines von mehreren Benutzern geteilten Raumes, wo Wirklichkeit zum Teil einbezogen wird, entsprechende Spielvorrichtung und entsprechendes Schnittstellenverfahren
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
EP1182541A2 (de) * 2000-08-22 2002-02-27 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673059A (en) * 1994-03-23 1997-09-30 Kopin Corporation Head-mounted display apparatus with color sequential illumination
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
DE19755264A1 (de) * 1997-04-14 1998-10-15 Xybernaut Corp Mobiles Rechnersystem
WO2000063763A1 (en) * 1999-03-29 2000-10-26 Siemens Electrocom, L.P. System, apparatus and method for providing a portable customizable maintenance support instruction system
EP1060772A2 (de) * 1999-06-11 2000-12-20 Mixed Reality Systems Laboratory Inc. Vorrichtung und Verfahren zur Darstellung eines von mehreren Benutzern geteilten Raumes, wo Wirklichkeit zum Teil einbezogen wird, entsprechende Spielvorrichtung und entsprechendes Schnittstellenverfahren
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
EP1182541A2 (de) * 2000-08-22 2002-02-27 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302531A1 (de) * 2005-07-27 2011-03-30 Rafael - Armament Development Authority Ltd. Verfahren zur Bereitstellung einer vergrößerten Realitätsanzeige auf einer mobilen Vorrichtung
US8036678B2 (en) 2005-07-27 2011-10-11 Rafael Advanced Defense Systems Ltd. Real-time geographic information system and method
US8116526B2 (en) 2006-05-22 2012-02-14 Rafael Advanced Defense Systems Ltd. Methods and system for communication and displaying points-of-interest
US8115768B2 (en) 2006-05-22 2012-02-14 Rafael Advanced Defense Systems Ltd. Methods and system for communication and displaying points-of-interest

Also Published As

Publication number Publication date
WO2005064440A3 (de) 2006-01-26
DE10361512A1 (de) 2005-07-28

Similar Documents

Publication Publication Date Title
EP1451652B1 (de) System und verfahren zur erstellung einer dokumentation von arbeitsvorgängen zur darstellung in einem augmented-reality-system
DE10063089C1 (de) Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US7936372B2 (en) Image processing method and system for generating and analyzing metadata and server for such system
EP3286532B1 (de) Verfahren zum erfassen von vibrationen einer vorrichtung und vibrationserfassungssystem
DE4435484A1 (de) System zur Steuerung von Servicevorrichtungen für Kraftfahrzeuge
CN109875505A (zh) 一种基于虚拟现实技术的一体化手术室远程会诊方法
DE102005045973A1 (de) Vorrichtung, System und Verfahren für ein kamerabasiertes Tracking
EP1364260B1 (de) Verknüpfte information über die okulare weiterverfolgung innerhalb eines systems von verstärkter realität
EP0917364B1 (de) Headset und Fernwartungs-und Videokonferenzsystem
WO2005064440A2 (de) Vorrichtung und verfahren zur positionsgenauen überlagerung des realen blickfeldes
DE102006033064A1 (de) Vorrichtung zur Ferndiagnose bzw. Fernwartung technischer Einrichtungen
EP1605338A2 (de) System und Verfahren zur Bestimmung einer Position, insbesondere für Augmented-Reality Anwendungen
KR102239815B1 (ko) 멀티채널 비디오 레코딩 방법 및 장치
DE112004000010B4 (de) Überwachungsvorrichtung
EP1227647B1 (de) Maschinendiagnose/-service mittels "Augmented Reality" und Echtzeitübertragung von Multimedianachrichten
DE10337235A1 (de) Verfahren zur Kommunikation von Einheiten in einem Patienten-Überwachungssystem
DE112021003465T5 (de) Informationsprozessor, informationsverarbeitungsverfahren und speichermedium
DE10061782A1 (de) Verfahren zum Kommunizieren und/oder Dokumentieren von Informationen für die Medizin
EP3649538A1 (de) Anordnung und verfahren zur kommunikation mittels zweier visueller ausgabegeräte
DE102015214350A1 (de) Verfahren zu einer Kommunikation zwischen einem medizinischen Netzwerk und einem medizinischen Bedienpersonal mittels einer mobilen Datenbrille, sowie eine mobile Datenbrille
EP1107585A2 (de) Verfahren zur Darstellung von Information an einer TV-Fernbedienung sowie eine TV-Fernbedienung zur Durchführung des Verfahrens
DE102004051600B4 (de) Verfahren zur periodischen Bestimmung der Position eines Objekts
CN215770538U (zh) 用于远程会诊的增强现实***
EP1446956A2 (de) Erzeugung akustischer signale aus einem videodatenstrom
CN115904084A (zh) 信息互动方法、***、存储介质、处理器及设备

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase