DE20109937U1 - System for "augmented reality" with a mobile device - Google Patents
System for "augmented reality" with a mobile deviceInfo
- Publication number
- DE20109937U1 DE20109937U1 DE20109937U DE20109937U DE20109937U1 DE 20109937 U1 DE20109937 U1 DE 20109937U1 DE 20109937 U DE20109937 U DE 20109937U DE 20109937 U DE20109937 U DE 20109937U DE 20109937 U1 DE20109937 U1 DE 20109937U1
- Authority
- DE
- Germany
- Prior art keywords
- data processing
- portable terminal
- image
- signals
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 28
- 238000012545 processing Methods 0.000 claims description 55
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000005291 magnetic effect Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Television Signal Processing For Recording (AREA)
Description
Die Erfindung liegt auf dem Gebiet der "Erweiterten Realität" (augmented reality). Insbesondere betrifft die Erfindung ein System zur Realisierung eines tragbaren Endgeräts (wearable device) für mobile Anwendungen der erweiterten Realität.The invention is in the field of augmented reality. In particular, the invention relates to a system for realizing a wearable device for mobile augmented reality applications.
"Erweiterte Realität" ist ein neues Gebiet der Technik, bei der beispielsweise einer aktuellen optischen Wahrnehmung der realen Umgebung gleichzeitig zusätzliche visuelle Informationen überlagert werden. Dabei unterscheidet man zwischen "see-through"-Technik, bei der ein Anwender z.B. durch einen (variabel) durchlässigen Spiegel in die reale"Augmented Reality" is a new field of technology in which, for example, additional visual information is superimposed on a current optical perception of the real environment. A distinction is made between "see-through" technology, in which a user can, for example, look into the real environment through a (variably) transparent mirror, and "see-through" technology, in which a user can see into the real environment through a (variably) transparent mirror.
_ 2 - P111906_ 2 - P111906
Umgebung blickt, und "feed-through"-Technik, bei der die reale Umgebung durch eine Videokamera aufgenommen und vor der Wiedergabe auf einem Display mit einem computergenerierten Bild gemischt wird.
5environment, and "feed-through" technology, in which the real environment is recorded by a video camera and mixed with a computer-generated image before being played back on a display.
5
Ein Anwender nimmt im Ergebnis simultan die reale Umgebung und die z.B. durch Computergrafik erzeugten, virtuellen Bildbestandteile als kombinierte Darstellung (Summenbild) wahr. Diese Vermischung von Realität und virtuellen Bildbestandteilen zur "erweiterten Realität" ermöglicht dem Anwender seine Aktionen unter unmittelbarem Einbezug der überlagerten und damit gleichzeitig wahrnehmbaren Zusatzinformationen auszuführen.As a result, a user simultaneously perceives the real environment and the virtual image components generated, for example, by computer graphics as a combined representation (sum image). This mixture of reality and virtual image components to create "augmented reality" enables the user to carry out his actions with direct inclusion of the superimposed and thus simultaneously perceptible additional information.
Damit eine erweiterte Realität auch während mobiler Situationen möglich wird, werden Positionsveränderungen des Anwenders (z.B. durch Drehung, Standortwechsel, Änderung der Körperhaltung und Blickrichtung) meßtechnisch erfaßt (sog. "Tracking")und in die aktuell erzeugte Bildwiedergabe einbezogen. To make augmented reality possible even in mobile situations, changes in the user's position (e.g. through rotation, change of location, change of posture and direction of view) are recorded using measurement technology (so-called "tracking") and included in the currently generated image display.
Das Tracking des Anwenders wird üblicherweise unterschieden in Grob- und Feintracking. Grobtrackingmethoden dienen der ungefähren Bestimmung des Position und teilweise der Orientierung des Anwenders im Raum, beispielsweise über GPS-Techniken (Global Positioning System). Im Bereich des Feintracking, also des Tracking in kleinen Bereichen (einige Kubikmeter Meßvolumen) mit hoher Güte (Auflösung im Millimeter-Bereich, geringe Latenzen) werden verschiedene Techniken eingesetzt, z.B. mechanische, magnetische, optische, akustische Sensoren, deren Signale zur exakten Positionsund/ oder Orientierungsbestimmung ausgewertet werden. Von besonderem Interesse für Systeme der erweiterten RealitätUser tracking is usually divided into coarse and fine tracking. Coarse tracking methods are used to roughly determine the position and, in some cases, the orientation of the user in space, for example using GPS (Global Positioning System) technology. In the area of fine tracking, i.e. tracking in small areas (a few cubic meters of measurement volume) with high quality (resolution in the millimeter range, low latency), various techniques are used, e.g. mechanical, magnetic, optical, acoustic sensors, whose signals are evaluated to determine the exact position and/or orientation. Of particular interest for augmented reality systems
_ 3 - P111906_ 3 - P111906
mit tragbarem Endgerät sind Computer-Vision-(Video-) basierte Techniken. Diese Fein-Tracking-Verfahren benutzen optisch wahrnehmbare Elemente der realen Umwelt, um die Position und Orientierung des Anwenders zu bestimmen. SoI-ehe Elemente sind i.d.R. sog. "Marker11 (symbolische Zeichen, die speziell für das Tracking angefertigt, angebracht und kodiert werden) oder natürliche Merkmale von Gegenständen, z.B. Kanten, Ecken, geometrische Details usw.with a portable device are computer vision (video) based techniques. These fine tracking methods use optically perceptible elements of the real environment to determine the position and orientation of the user. Such elements are usually so-called "markers " (symbolic signs that are specially made, attached and coded for tracking) or natural features of objects, e.g. edges, corners, geometric details, etc.
Anwendungen von Systemen der erweiterten Realität mit tragbarem Endgerät bieten sich in verschiedenen Bereichen an, speziell dort, wo es darauf ankommt, einerseits möglichst schnell Zusatzinformationen verfügbar zu haben, andererseits die Mobilität des Anwenders nicht eingeschränkt werden soll. Hinzu tritt häufig die Forderung, dass die Handlungsfreiheit des Anwenders erhalten bleiben soll, um beispielsweise während der Wahrnehmung der erweiterten Realität gezielte Eingriffe (Reparatur, Steuerung, Justierung usw.) vornehmen zu können.Augmented reality systems with portable devices can be used in a variety of areas, particularly where it is important to have additional information available as quickly as possible, while at the same time not restricting the user's mobility. In addition, there is often a requirement that the user's freedom of action should be maintained, for example to be able to carry out targeted interventions (repairs, control, adjustment, etc.) while perceiving augmented reality.
Um dies zu gewährleisten sind tragbare Endgeräte entwickelt worden, bei denen der Anwender ein sog. "head-set" am Kopf mit sich führt. Bei solchen Systemen für erweiterte Realität befinden sich üblicherweise an den Endgeräten Bildaufnahmeelemente, die die sichtbare Umgebung in Blickrichtung des Anwenders erfassen. Die von den Bildaufnahmeelementen erzeugten elektrischen Signale werden aufbereitet und als digitale Signale einem Computer zugeleitet. Nach Auswertung dieser Signale und erfolgter Bereitstellung entsprechender ZusatzInformationen wird ein vom Computer generiertes digitales Ausgangssignal einem Wiedergabeelement zur optischen Darstellung zugeführt.To ensure this, portable devices have been developed in which the user wears a so-called "headset" on their head. In such augmented reality systems, the devices usually have image recording elements that capture the visible environment in the direction the user is looking. The electrical signals generated by the image recording elements are processed and sent to a computer as digital signals. After these signals have been evaluated and the appropriate additional information has been provided, a digital output signal generated by the computer is fed to a playback element for optical display.
_ 4 - P111906_ 4 - P111906
Das Wiedergabeelement ist dabei am Endgerät so angeordnet, dass es - entweder über Spiegel oder direkt - im Sichtbereich des Anwenders liegt. Bekannt sind beispielsweise Systeme bei denen das tragbare Endgerät in Brillenform mit integriertem Display zur Bildwiedergabe ausgeführt ist.The display element is arranged on the end device in such a way that it is in the user's field of vision - either via a mirror or directly. For example, systems are known in which the portable end device is designed in the form of glasses with an integrated display for image display.
Bei allen mobilen Systemen für erweiterte Realität ist zur Erfassung der vom Anwender anvisierten Umwelt zusammen mit den Tracking-Daten eine sehr hohe Rechnerleistung notwendig - nur dann kann die Computerauswertung aktuell genug erfolgen, d.h. idealerweise in "Realzeit". Dazu müssen sowohl die von den verschiedenen Tracking-Sensoren gelieferten Daten, als auch die von den Bildaufnahmeelementen übertragenen Signale (z.B. Analyse der Realbilder zur Bilderkennung und Identifizierung von Gegenständen im Sichtbereich des Anwenders) in kontinuierlichem Fluß ausgewertet werden.All mobile systems for augmented reality require a very high level of computing power to capture the environment targeted by the user together with the tracking data - only then can the computer analysis be carried out in a sufficiently timely manner, i.e. ideally in "real time". To do this, both the data supplied by the various tracking sensors and the signals transmitted by the image recording elements (e.g. analysis of the real images for image recognition and identification of objects in the user's field of vision) must be evaluated in a continuous flow.
Diese Anforderung an die Rechnerleistung wird noch verstärkt durch die vom Computer aus Datenbanken bereitzustellenden Informationen, die zur Erweiterung der realen Wahrnehmung hinzugefügt werden sollen, und deren Visualisierung durch Erzeugung von virtuellen Bildbestandteilen (z.B. farbliche Hervorhebungen, Skizzen, Detaildarstellungen, Computergrafiken, Animationen, Videosequenzen usw.). Erst mit entsprechender Verarbeitungsgeschwindigkeit entsteht so für den Anwender im Display ein Summenbild aus Realbild und computergenerierten Bildanteilen, das aufgrund geringer (d.h. für den Anwender unmerklicher) Verzögerung als erweiterte Realität wahrgenommen wird.This demand on computing power is further increased by the information that the computer has to provide from databases to expand the real perception and its visualization by generating virtual image components (e.g. color highlights, sketches, detailed representations, computer graphics, animations, video sequences, etc.). Only with the appropriate processing speed does a combined image of the real image and computer-generated image components appear on the display for the user, which is perceived as an augmented reality due to a slight delay (i.e. imperceptible to the user).
Computer, die die geforderte Leistungsfähigkeit aufweisen, sind aufgrund ihrer Größe, ihres Strombedarfs, notwendigerComputers that have the required performance are difficult to find due to their size, power requirements, necessary
5 _ P1119065 _ P111906
Kühlungselemente und des damit resultierenden hohen Gewichts für ein tragbares Endgerät ungeeignet.Cooling elements and the resulting high weight make them unsuitable for a portable device.
Leistungsfähige Systeme weisen daher verschiedene Komponenten zur Aufteilung der erforderlichen Datenverarbeitung auf: Ein Teil der Daten wird durch primäre datenverarbeitende Komponenten aufbereitet, z.B. Mini-Prozessoren oder mobile Klein-Computer, die als Teil des tragbaren Endgeräts vom Anwender mitgeführt werden.Powerful systems therefore have different components to divide up the required data processing: Part of the data is processed by primary data processing components, e.g. mini-processors or small mobile computers that are carried by the user as part of the portable device.
Für die weitere Verarbeitung übertragen diese primären datenverarbeitenden Komponenten üblicherweise Daten zu einer leistungsfähigen stationären Datenverarbeitungsanlage (z.B. Host-Computer), wo die aufwendigen Berechnungen erfolgen.For further processing, these primary data processing components typically transfer data to a powerful stationary data processing system (e.g. host computer), where the complex calculations are carried out.
Die dort erstellten Daten werden anschließend zusammen mit den für die Erzeugung der erweiterten Realität erforderlichen zusätzlichen Daten von der stationären Datenverarbeitungsanlage an das tragbare Endgerät übermittelt und dort von den primären datenverarbeitenden Komponenten für eine visuelle Darstellung umgewandelt.The data created there is then transmitted from the stationary data processing system to the portable device together with the additional data required to generate the augmented reality, where it is converted by the primary data processing components for a visual representation.
Zur Erhaltung der Mobilität des Anwenders ist dabei üblicherweise die Verbindung zwischen den primären datenverarbeitenden Komponenten des tragbaren Endgeräts und der stationären Datenverarbeitungsanlage durch eine Sende/Empfangseinrichtung realisiert, über die die Daten drahtlos in beide Richtungen übertragen werden.In order to maintain the user's mobility, the connection between the primary data processing components of the portable terminal and the stationary data processing system is usually realized by a transmitting/receiving device, via which the data is transmitted wirelessly in both directions.
Ein solches System für erweiterte Realität als Kombination einer stationären Datenverarbeitungsanlage in drahtlosem Kontakt mit primären datenverarbeitenden Komponenten eines tragbarem Endgeräts wird beschrieben in der Veröffentlichung *Information Display for Mobile Augmented Reality"(W.Such a system for augmented reality as a combination of a stationary data processing system in wireless contact with primary data processing components of a portable terminal is described in the publication * Information Display for Mobile Augmented Reality" (W.
_ 6 _ P111906_ 6 _ P111906
Pasman, A. van der Schaaf, R.L. Lagendijk, F. W. Jansen), erschienen in "Workshop on Interactive Applications of Mobile Computing", Ubicom-Publication 1998.Pasman, A. van der Schaaf, R.L. Lagendijk, F. W. Jansen), published in "Workshop on Interactive Applications of Mobile Computing", Ubicom Publication 1998.
Bei diesem System ist das tragbare Endgerät in Brillenform mit integriertem Display zur Bildwiedergabe ausgeführt, wobei mittels einer an der Brille befindlichen Videokamera die Umgebung in Blickrichtung des Anwenders aufgenommen wird.In this system, the portable device is designed in the form of glasses with an integrated display for image reproduction, whereby the environment in the direction of the user's gaze is recorded using a video camera on the glasses.
Die von der Videokamera gelieferten Videosignale werden durch in dem Endgerät befindliche, primäre datenverarbeitende Komponenten aufbereitet und teilweise ausgewertet. Zur Verringerung der hohen Datenrate werden die Bilddaten in digitaler Form komprimiert und für die Weiterverarbeitung drahtlos auf einen stationären Computer übertragen. Dort findet die weitere Auswertung der Bilddaten statt, sowie die Hinzufügung von Informationen als virtuelle Bildbestandteile. Das so erzeugte digitale Summenbild wird wieder in komprimierter Form drahtlos zum tragbaren Endgerät übermittelt, wo die primären datenverarbeitenden Komponenten die für die Wiedergabe erforderlichen Bilddaten durch Dekompression der Eingangsdaten aufbereiten.The video signals supplied by the video camera are processed and partially evaluated by primary data processing components located in the terminal device. To reduce the high data rate, the image data is compressed in digital form and wirelessly transmitted to a stationary computer for further processing. The image data is further evaluated there, and information is added as virtual image components. The digital composite image thus generated is again transmitted wirelessly in compressed form to the portable terminal device, where the primary data processing components process the image data required for playback by decompressing the input data.
Zusätzlich übernehmen bei diesem System die primären datenverarbeitenden Komponenten Aufgaben des Fein-Tracking. Hierzu werden die von der Kamera gelieferten Videosignale für die Identifizierung spezieller Bildelemente (landmarks) analysiert.In addition, the primary data processing components in this system perform fine tracking tasks. For this purpose, the video signals provided by the camera are analyzed to identify specific image elements (landmarks).
Zudem werten die primären datenverarbeitenden Komponenten auch Signale aus, die von verschiedenen Sensoren (fast tracking devices) erzeugt werden, die im tragbaren EndgerätIn addition, the primary data processing components also evaluate signals generated by various sensors (fast tracking devices) that are integrated in the portable device
_ &eegr; _ &Rgr;111906_ &eegr; _ &Rgr;111906
angebracht sind. Die aktuelle Bildwiedergabe wird dann durch die primären datenverarbeitenden Komponenten in Abhängigkeit von der detektierten Körperhaltung und/oder Bewegungen des Anwenders, z.B. bei Kopfdrehungen, entsprechend modifiziert (Bildkorrektur).The current image display is then modified accordingly by the primary data processing components depending on the detected posture and/or movements of the user, e.g. when turning the head (image correction).
Bei diesem System der erweiterten Realität mit tragbarem Endgerät werden wesentliche Prozesse zur Erzeugung einer erweiterten Realität von den primären datenverarbeitenden Komponenten im tragbaren Endgerät übernommen. Für eine akzeptable Qualität und Aktualität der im Display dargestellten Bilder müssen diese Prozesse entsprechend schnell erfolgen, d.h. die Anforderung an die Leistungsfähigkeit der primären datenverarbeitende Komponenten ist relativ hoch.In this augmented reality system with a portable device, key processes for generating an augmented reality are taken over by the primary data processing components in the portable device. To ensure acceptable quality and timeliness of the images shown on the display, these processes must be carried out quickly, i.e. the performance requirements of the primary data processing components are relatively high.
Damit entsteht der Nachteil, dass das tragbare Endgerät technisch entsprechend aufwendig aufgebaut ist. Auch ist die Qualität der erzeugten erweiterten Realität grundsätzlich begrenzt durch die maximal erreichbare Verarbeitungsgeschwindigkeit der primären datenverarbeitenden Komponenten des tragbaren Endgeräts.This results in the disadvantage that the portable device is technically complex. The quality of the augmented reality created is also fundamentally limited by the maximum achievable processing speed of the primary data processing components of the portable device.
Die vorliegende Erfindung geht von dem vorgestellten System als nächstliegendem Stand der Technik aus. Ihr liegt die Aufgabe zugrunde, ein System der erweiterten Realität mit tragbarem Endgerät zu entwickeln, wobei einerseits das tragbare Endgerät mit reduziertem technischen Aufwand erstellt werden kann und andererseits eine hohe Qualität der erzeugten erweiterten Realität möglich ist.The present invention is based on the system presented as the closest prior art. It is based on the task of developing an augmented reality system with a portable terminal, whereby on the one hand the portable terminal can be created with reduced technical effort and on the other hand a high quality of the generated augmented reality is possible.
Diese Aufgabe wird gelöst durch eine Vorrichtung gemäß Oberbegriff des Anspruchs 1 in Verbindung mit den kennzeichnenden Merkmalen dieses Anspruchs. Weitere Ausgestal-This object is achieved by a device according to the preamble of claim 1 in conjunction with the characterizing features of this claim. Further embodiments
_ 8 _ P111906_ 8 _ P111906
tungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche.The invention results from the features of the subclaims.
Das erfindungsgemäße System wird nachfolgend am Beispiel einer bevorzugten Ausführung unter Bezugnahme auf die Zeichnungen beschrieben:The system according to the invention is described below using the example of a preferred embodiment with reference to the drawings:
Figur 1 ist die schematische Darstellung einer Ausführungsform des erfindungsgemäßen Systems für erweiterte Realität mit tragbarem Endgerät.Figure 1 is a schematic representation of an embodiment of the augmented reality system with a portable terminal according to the invention.
Figur 2 zeigt eine erweiterte Ausführungsform mit Mitteln zur Erfassung von Position und Orientierung des Anwenders im Raum, sowie weiteren Mitteln zur Aufnahme bzw. Wiedergabe und Übertragung zusätzFigure 2 shows an extended embodiment with means for detecting the position and orientation of the user in space, as well as further means for recording or reproducing and transmitting additional
licher Signale.signals.
Das erfindungsgemäße System besteht aus einer stationären Datenverarbeitungsanlage (l), die mit dem tragbaren Endgerät (2) über eine bidirektionale Sende/Empfangseinrichtung (3a, 3b) in Verbindung steht. Über diese Verbindung werden die von einem am tragbaren Endgerät (2) befindlichen Bildaufnahmegerät (4), z.B. einer Videokamera, erzeugten Videosignale in analoger Form zur stationären Datenverarbeitungsanlage (1) übertragen und dort von einem Analog/Digital-Wandler (5) für die weitere Verarbeitung in digitale Daten umgewandelt.The system according to the invention consists of a stationary data processing system (1) which is connected to the portable terminal (2) via a bidirectional transmitting/receiving device (3a, 3b). The video signals generated by an image recording device (4) located on the portable terminal (2), e.g. a video camera, are transmitted in analog form to the stationary data processing system (1) via this connection and are converted there into digital data by an analog/digital converter (5) for further processing.
Die stationäre Datenverarbeitungsanlage (1) übernimmt alle zur Erzeugung der erweiterten Realität erforderlichen Aufgaben der Bildgenerierung, bzw. auch des Video-basierten Fein-Trackings. Dazu gehört die Bildanalyse (Erfassung von Bildelementen, z.B. Markern oder Identifizierung von Ge-The stationary data processing system (1) takes over all tasks of image generation and video-based fine tracking required to create the augmented reality. This includes image analysis (capture of image elements, e.g. markers or identification of objects).
_ 9 _ P111906_ 9 _ P111906
genständen durch Detektierung von Kanten, Ecken, geometrischen Details), Bereitstellung von szenenbezogenen Zusatzinformationen und deren grafische Aufbereitung zu virtuellen Bildbestandteilen (z.B. farbliche Hervorhebungen realer Bildbestandteile, Einblendung von Skizzen, Ziffern, Einspielung von Animationen, Videoclips usw.).objects by detecting edges, corners, geometric details), provision of scene-related additional information and its graphic processing into virtual image components (e.g. color highlighting of real image components, display of sketches, numbers, playback of animations, video clips, etc.).
Je nach Ausführung der Bildwiedergabeelemente (6) des tragbaren Endgeräts als "see-trough"- oder "feed-through"-Display werden entweder nur diese virtuellen Bildbestandteile oder eine Kombination aus Realbild und virtuellen Bildbestandteilen als Videosignal von der stationären Datenverarbeitungsanlage zum tragbaren Endgerät übertragen.Depending on the design of the image display elements (6) of the portable terminal as a "see-through" or "feed-through" display, either only these virtual image components or a combination of real image and virtual image components are transmitted as a video signal from the stationary data processing system to the portable terminal.
Besonders vorteilhaft ist bei diesem System die bidirektionale Übertragung der Videosignale in analoger Form, da das tragbare Endgerät keine für eine digitale Umwandlung bzw. Bearbeitung der Videosignale (z.B. Digital-Analog-Konvertierung, Kompression bzw. Dekompression) erforderlichen primären datenverarbeitenden Komponenten aufweisen muß.A particularly advantageous feature of this system is the bidirectional transmission of the video signals in analog form, since the portable terminal does not have to have any primary data processing components required for digital conversion or processing of the video signals (e.g. digital-analog conversion, compression or decompression).
Damit läßt sich das tragbare Endgerät besonders kostengünstig realisieren: alle erforderlichen Bestandteile für Bildaufnahme (Videokamera), Bildwiedergabe (Display) und drahtlose Übertragung des analogen Videosignals (Analoger Standard Video-Sendef und Empfänger) sind als gängige Elemente der Video- und TV-Technik im Handel verfügbar.This allows the portable device to be implemented particularly cost-effectively: all the necessary components for image recording (video camera), image playback (display) and wireless transmission of the analogue video signal (analogue standard video transmitter and receiver) are commercially available as common elements of video and TV technology.
Ein weiterer Vorteil besteht darin, dass diese Bestandteile auch in handelsüblicher "Miniatur"-Ausführung (z.B. Mini-Kamera, Brillendisplay) verfügbar sind, so das auch eine Integration aller Komponenten, insbesondere in einer Ausführung des tragbaren Endgeräts als "headset", kostengünstig möglich ist.A further advantage is that these components are also available in commercially available "miniature" versions (e.g. mini camera, glasses display), so that the integration of all components, especially in a version of the portable device as a "headset", is also possible at low cost.
_ 10 - P111906_ 10 - P111906
Die gegenüber dem Stand der Technik erhebliche Reduzierung aktiver Komponenten im tragbaren Endgerät führt darüber hinaus auch zu einem wesentlich geringeren Stromverbrauch. Damit kann ein entsprechend längerer mobiler Betrieb des tragbaren Endgeräts erfolgen. Auch ist ein Einsatz kleinerer Stromversorgungselemente möglich, was "neben geringerem Platzbedarf11 durch Reduzierung des Gewichts den Tragekomfort für den Anwender erhöht.The significant reduction in active components in the portable device compared to the state of the art also leads to significantly lower power consumption. This means that the portable device can be operated for longer periods of time. It is also possible to use smaller power supply elements, which "in addition to requiring less space11, increases comfort for the user by reducing the weight.
Ein wichtiger Aspekt ist die Erzeugung virtueller Bildanteile in hoher Qualität und möglichst ohne merkliche Verzögerungen (insbesondere bei Bewegungen des Anwenders, z.B. Kopfdrehungen). Durch Verlagerung sämtlicher bildverarbeitenden und bildgenerierenden Prozesse auf die stationäre Datenverarbeitungsanlage, können für die hierzu notwendigen aufwendigen und für dynamische erweiterte Realität besonders zeitkritischen Berechnungen höchste Computerleistungen zur Verfügung gestellt werden.An important aspect is the generation of virtual image components in high quality and, if possible, without noticeable delays (especially when the user moves, e.g. turns of the head). By shifting all image processing and image generation processes to the stationary data processing system, the highest computer performance can be made available for the complex calculations required for this, which are particularly time-critical for dynamic augmented reality.
Ein weiterer wesentlicher Vorteil ist die Möglichkeit, die Leistungsfähigkeit der stationären Datenverarbeitungsanlage der technischen Entwicklung anzupassen, ohne dass Veränderungen des tragbaren Endgeräts erforderlich werden. Dies bezieht sich sowohl auf modernere Computer-Hardware als auch auf Neuentwicklung von Software, z.B. verbesserte Bilderkennungsverfahren oder Computergrafik und -animationsverfahren .Another significant advantage is the ability to adapt the performance of the stationary data processing system to technical developments without having to make changes to the portable device. This applies both to more modern computer hardware and to new software developments, e.g. improved image recognition processes or computer graphics and animation processes.
Generell zeichnet das tragbare Endgerät des erfindungsgemäßen Sytems eine geringere Störanfälligkeit aus, da weniger aktive Elemente vorhanden sind. Dies ist ein wesentlicher Vorteil bei einem mobilen Einsatz in verschiedenenIn general, the portable terminal of the system according to the invention is less susceptible to interference, since there are fewer active elements. This is a significant advantage for mobile use in various
- H _ P111906- H_P111906
Umgebungen, bei denen Belastungen des tragbaren Endgeräts beispielsweise durch Stöße, Staub, thermische Schwankungen, Feuchtigkeit, magnetische oder elektrische Felder, Strahlung usw. auftreten können.
5Environments in which the portable device may be subject to stress such as shock, dust, thermal fluctuations, humidity, magnetic or electric fields, radiation, etc.
5
Eine weitere vorteilhafte Ausführung des erfindungsgemäßen Systems ist in Figur 2 schematisch dargestellt. Bei dieser Ausführung enthält das tragbare Endgerät zusätzliche Komponenten: So sind verschiedene Tracking-Sensoren (7a, 7b)) (z.B. GPS, elektronischer Kompass) zur Erfassung der Position und Orientierung des Anwenders im Raum als Teil des tragbaren Endgeräts vorhanden, deren Signale für die weitere Auswertung (Grob- bzw. Feintracking des Anwenders) zur stationären Datenverarbeitungsanlage übertragen werden.A further advantageous embodiment of the system according to the invention is shown schematically in Figure 2. In this embodiment, the portable terminal contains additional components: various tracking sensors (7a, 7b) (e.g. GPS, electronic compass) for detecting the position and orientation of the user in space are present as part of the portable terminal, the signals of which are transmitted to the stationary data processing system for further evaluation (rough or fine tracking of the user).
Zusätzliche Sensoren für eine dynamische erweiterte Realität können als Teil des tragbaren Engeräts eingesetzt werden, beispielsweise zur Erfassung von Körperbewegungen (Drehungen) bzw. Kopfhaltung (z.B. Blick nach unten). Auch die von diesen Sensoren erzeugten Signale werden zur Auswertung an die stationäre Datenverarbeitungsanlage übertragen. Additional sensors for dynamic augmented reality can be used as part of the portable device, for example to record body movements (turns) or head position (e.g. looking downwards). The signals generated by these sensors are also transmitted to the stationary data processing system for evaluation.
Auch andere am tragbaren Endgerät (2) durch entsprechende Aufnahmegeräte (8) (z.B. Mikrofone, Bewegungsdetektoren, Meßfühler für Umgebungsparameter wie z.B. Temperatur, Strahlung usw.) erzeugte Signale können zur Weiterverarbeitung über die Sende/Empfangsvorrichtung (3a, 3b, 3c) zur stationären Datenverarbeitungsanlage (1) übertragen werden. 30Other signals generated on the portable terminal (2) by appropriate recording devices (8) (e.g. microphones, motion detectors, sensors for environmental parameters such as temperature, radiation, etc.) can also be transmitted to the stationary data processing system (1) for further processing via the transmitting/receiving device (3a, 3b, 3c). 30
In einer erweiterten Ausführungsform weist das tragbare Endgerät zusätzlich Eingabemittel (9a, 9b, 9c, 9d) auf, mit denen der Anwender Steuer-Signale erzeugen kann, die zurIn an extended embodiment, the portable terminal additionally has input means (9a, 9b, 9c, 9d) with which the user can generate control signals which are used for
- 12 - &Rgr;111906- 12 - &Rgr;111906
stationären Datenverarbeitungsanlage übertragen werden. Dabei sind neben manuell bedienbaren Eingabemitteln (Schalter, Regler, Joystick, Trackball usw.) auch akustische möglich (z.B. Mikrofone für Spracheingabe) oder auch optische (Steuerung durch Gestik, Handbewegung usw.).stationary data processing system. In addition to manually operated input devices (switches, controllers, joysticks, trackballs, etc.), acoustic input devices (e.g. microphones for voice input) or optical input devices (control by gestures, hand movements, etc.) are also possible.
Über diese Eingabemittel kann der Anwender interaktiv Steuer u. Regelprozesse über die stationäre Datenverarbeitungsanlage auslösen bzw. beeinflussen. Bei einer entsprechenden Ausgestaltung der stationären Datenverarbeitungsanlage (Spracherkennung, Sprachgenerierung) und Erweiterung des tragbaren Endgeräts um Mittel zur akustischen Wiedergabe (10) (Lautsprecher, Kopfhörer) ist sogar eine natürlichsprachliche Kommunikation zwischen Anwender und stationärer Datenverarbeitungsanlage möglich.Using these input devices, the user can interactively trigger or influence control and regulation processes via the stationary data processing system. If the stationary data processing system is designed accordingly (speech recognition, speech generation) and the portable terminal is expanded to include means for acoustic reproduction (10) (loudspeakers, headphones), even natural language communication between the user and the stationary data processing system is possible.
Spezielle Anzeigen oder Signale, insbesondere solche, die separat, d.h. nicht als Teil der vom Anwender wahrgenommen erweiterten Realität innerhalb des Summenbildes dargestellt werden sollen, können durch zusätzlich am tragbaren Endgerät angebrachte Signalgeber (LED's, Ziffern- bzw. Skalenanzeiger, kleine LCD-Displays, "Piepser" usw.) wiedergegeben werden und auch über die drahtlose Verbindung von der stationären Datenverarbeitungsanlage angesteuert werden.Special displays or signals, especially those that are to be shown separately, i.e. not as part of the augmented reality perceived by the user within the overall image, can be displayed by additional signal generators (LEDs, numeric or scale indicators, small LCD displays, "beepers", etc.) attached to the portable device and can also be controlled via the wireless connection from the stationary data processing system.
Vorteilhaft ist, dass eine elektronische Aufbereitung aller analogen Signale (z.B. Verstärkung, Dynamikbegrenzung, Filterung; Video: Färb- und Kontrastverstärkung, Kantenhervorhebung, Rauschunterdrückung usw.) wahlweise durch (analog-)elektronische Komponenten im stationären Teil des Systems oder im tragbaren Endgerät erfolgen kann. Je nach Konstruktionsvorgaben überwiegt im einen Fall die Anforderung bzgl. Minimierung der elektronischen Komponenten im tragbarenIt is advantageous that electronic processing of all analog signals (e.g. amplification, dynamic limitation, filtering; video: color and contrast enhancement, edge highlighting, noise suppression, etc.) can be carried out either by (analog) electronic components in the stationary part of the system or in the portable device. Depending on the design specifications, in one case the requirement to minimize the electronic components in the portable device outweighs
»4 · r»4 · r
- 13 -- 13 -
P111906P111906
Endgerät, im anderen Fall die Erhöhung der Leistungsfähigkeit des Systems für erweiterte Realität durch Übertragung elektronisch aufbereiteter (und damit präziser drahtlos übertragbarer) analoger Signale.
5In one case, the performance of the augmented reality system can be increased by transmitting electronically processed (and thus more precisely wirelessly transmittable) analog signals.
5
Zur Erhaltung der Mobilität des Anwenders erfolgt die Übertragung aller Signale zwischen stationärer Datenverarbeitungsanlage und tragbarem Endgerät in beide Richtungen drahtlos über Sende/Empfangseinrichtungen, beispielsweise per Funk oder Infrarot. Dabei können neben der Übertragung analoger Signale (Bildsignale, akustische Sprach-Ein/Ausgabe, u.a.) auch digitale Signale, beispielsweise über einen separaten Übertragungskanal (3c) (RS232-Sender), zwischen stationärer Datenverarbeitungsanlage und tragbarem Endgerät ausgetauscht werden. Digitale Signale können dabei auch durch digital-elektronische Komponenten (11) des tragbaren Endgeräts, z.B. One-Chip-Coraputer aufbereitet werden.To maintain the user's mobility, all signals between the stationary data processing system and the portable terminal are transmitted wirelessly in both directions via transmitting/receiving devices, for example via radio or infrared. In addition to the transmission of analog signals (image signals, acoustic voice input/output, etc.), digital signals can also be exchanged between the stationary data processing system and the portable terminal, for example via a separate transmission channel (3c) (RS232 transmitter). Digital signals can also be processed by digital electronic components (11) of the portable terminal, e.g. one-chip computer.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE20109937U DE20109937U1 (en) | 2001-06-15 | 2001-06-15 | System for "augmented reality" with a mobile device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE20109937U DE20109937U1 (en) | 2001-06-15 | 2001-06-15 | System for "augmented reality" with a mobile device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE20109937U1 true DE20109937U1 (en) | 2001-09-13 |
Family
ID=7958128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE20109937U Expired - Lifetime DE20109937U1 (en) | 2001-06-15 | 2001-06-15 | System for "augmented reality" with a mobile device |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE20109937U1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10159610A1 (en) * | 2001-12-05 | 2003-07-10 | Siemens Ag | System and method for creating documentation of work processes, especially in the area of production, assembly, service or maintenance |
| DE10256612B3 (en) * | 2002-12-03 | 2004-07-08 | Daimlerchrysler Ag | Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations |
| DE102008009446A1 (en) * | 2008-02-15 | 2009-08-20 | Volkswagen Ag | Method for examining complex system, particularly motor vehicle, on deviations from quality specifications and on defectiveness, involves entering method state information by data input device in state information storage by testing person |
-
2001
- 2001-06-15 DE DE20109937U patent/DE20109937U1/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10159610A1 (en) * | 2001-12-05 | 2003-07-10 | Siemens Ag | System and method for creating documentation of work processes, especially in the area of production, assembly, service or maintenance |
| DE10159610B4 (en) * | 2001-12-05 | 2004-02-26 | Siemens Ag | System and method for creating documentation of work processes, especially in the area of production, assembly, service or maintenance |
| US7110909B2 (en) | 2001-12-05 | 2006-09-19 | Siemens Aktiengesellschaft | System and method for establishing a documentation of working processes for display in an augmented reality system in particular in a production assembly service or maintenance environment |
| DE10256612B3 (en) * | 2002-12-03 | 2004-07-08 | Daimlerchrysler Ag | Automobile driver training method using training vehicle with virtual imaging of dangerous driving situations |
| DE102008009446A1 (en) * | 2008-02-15 | 2009-08-20 | Volkswagen Ag | Method for examining complex system, particularly motor vehicle, on deviations from quality specifications and on defectiveness, involves entering method state information by data input device in state information storage by testing person |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE60225933T2 (en) | PORTABLE VIRTUAL REALITY | |
| US7774075B2 (en) | Audio-visual three-dimensional input/output | |
| US20190331914A1 (en) | Experience Sharing with Region-Of-Interest Selection | |
| US6917715B2 (en) | Foveal priority in stereoscopic remote viewing system | |
| Weibel et al. | Let's look at the cockpit: exploring mobile eye-tracking for observational research on the flight deck | |
| US7129981B2 (en) | Rendering system and method for images having differing foveal area and peripheral view area resolutions | |
| US6919907B2 (en) | Anticipatory image capture for stereoscopic remote viewing with foveal priority | |
| US20060284791A1 (en) | Augmented reality system and method with mobile and interactive function for multiple users | |
| DE112016004216T5 (en) | General Spherical Observation Techniques | |
| JP6325126B2 (en) | Display video information | |
| DE112019001257T5 (en) | VIDEO STABILIZATION TO REDUCE CAMERA AND FACE MOVEMENT | |
| EP3675067A1 (en) | Method for representing virtual information in a real environment | |
| EP3999939A1 (en) | Method for operating a mobile terminal by means of a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head | |
| DE102018106108A1 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM | |
| DE112020000573T5 (en) | VIEWING REPRESENTATIONS OF ENVIRONMENTS | |
| DE102013021978A1 (en) | Method for augmented display of real control element and real object on terminal, involves displaying virtual real and additional information with respect to control elements and objects based on change in terminal current position | |
| DE102022110363A1 (en) | METHOD AND APPARATUS FOR DEBUGGING PROGRAM EXECUTION AND CONTENT PLAYBACK | |
| DE102018130085A1 (en) | CREATING A 2D VIDEO FROM A 360 VIDEO | |
| Gigante | Virtual reality: Enabling technologies | |
| DE102018209377A1 (en) | A method of presenting AR / VR content on a mobile terminal and mobile terminal presenting AR / VR content | |
| DE20109937U1 (en) | System for "augmented reality" with a mobile device | |
| DE102020132113A1 (en) | Electronic device, method for controlling an electronic device, program and storage medium | |
| US10401957B2 (en) | System and method for providing simulated environment | |
| DE102022117756A1 (en) | COMMAND A VIRTUAL AGENT BASED ON A USER'S BLINKING BEHAVIOR | |
| DE112018007292T5 (en) | DATA PROCESSING DEVICE, DATA PROCESSING METHODS AND RECORDING MEDIUM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R207 | Utility model specification |
Effective date: 20011018 |
|
| R150 | Utility model maintained after payment of first maintenance fee after three years |
Effective date: 20040728 |
|
| R151 | Utility model maintained after payment of second maintenance fee after six years |
Effective date: 20070712 |
|
| R158 | Lapse of ip right after 8 years |
Effective date: 20100101 |