DE102018201711A1 - ARRANGEMENT AND METHOD FOR PROVIDING INFORMATION IN A HEADBAND ADVANCED REALITY DEVICE - Google Patents
ARRANGEMENT AND METHOD FOR PROVIDING INFORMATION IN A HEADBAND ADVANCED REALITY DEVICE Download PDFInfo
- Publication number
- DE102018201711A1 DE102018201711A1 DE102018201711.5A DE102018201711A DE102018201711A1 DE 102018201711 A1 DE102018201711 A1 DE 102018201711A1 DE 102018201711 A DE102018201711 A DE 102018201711A DE 102018201711 A1 DE102018201711 A1 DE 102018201711A1
- Authority
- DE
- Germany
- Prior art keywords
- display device
- augmented reality
- information
- reality device
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Bereitstellen von Informationen bei einer am Kopf tragbaren erweiterte-Realität-Vorrichtung (7), wobei die erweiterte-Realität-Vorrichtung (7) eine optische Erfassungseinrichtung (22) umfasst und eine erste Anzeigeeinrichtung (20), die dazu eingerichtet ist, in einem Blickfeld (9) eines Trägers (2) der erweiterte-Realität-Vorrichtung (7) Informationsobjekte (26) anzuzeigen; und wobei in einer Umgebung der erweiterte-Realität-Vorrichtung (7) wenigstens ein vorbestimmtes optisch erkennbares Merkmal (12) angeordnet ist, mit dem wenigstens ein vorbestimmtes Informationsobjekt (11) assoziiert ist; wobei das Verfahren umfasst: – optisches Erfassen der Umgebung mittels der Erfassungseinrichtung (22) und darauf basierendes Erzeugen von Erfassungsdaten; – Übertragen der Erfassungsdaten an wenigstens eine zweite Anzeigeeinrichtung (24), die räumlich getrennt von der erweiterte-Realität-Vorrichtung (7) angeordnet ist; – Erkennen des optisch erkennbaren Merkmals (12) anhand der Erfassungsdaten; – Anzeigen wenigstens eines Informationsobjekts (26), das mit dem optisch erkennbaren Merkmal (12) assoziiert ist, mittels der ersten Anzeigeeinrichtung (20). Ferner betrifft die Erfindung eine Anordnung, insbesondere zum Ausführen eines derartigen Verfahrens.The invention relates to a method for providing information in a head-worn augmented reality device (7), wherein the augmented reality device (7) comprises an optical detection device (22) and a first display device (20) connected thereto is arranged to display information objects (26) in a field of view (9) of a carrier (2) of the augmented reality device (7); and wherein in a vicinity of the augmented reality device (7) at least one predetermined optically recognizable feature (12) is associated with which at least one predetermined information object (11) is associated; the method comprising: - detecting the environment optically by the detection means (22) and generating detection data based thereon; - transmitting the detection data to at least one second display device (24) spatially separated from the augmented reality device (7); - recognizing the optically recognizable feature (12) based on the detection data; - Displaying at least one information object (26) associated with the optically recognizable feature (12) by means of the first display device (20). Furthermore, the invention relates to an arrangement, in particular for carrying out such a method.
Description
Die Erfindung betrifft eine Anordnung und ein Verfahren zum Bereitstellen von Informationen bei einer kopftragbaren erweiterte-Realität-Vorrichtung. Insbesondere richtet sich die Erfindung auf ein Verfahren und eine Anordnung mit einer erweiterte-Realität-Vorrichtung (z.B. eine erweiterte-Realität-Brille), mit der in einer Umgebung angeordnete optisch erkennbare Merkmale (z.B. ein maschinenlesbarer Code) erkannt werden und damit assoziierte Informationsobjekte angezeigt werden können. The invention relates to an arrangement and a method for providing information in a head-worn augmented reality device. In particular, the invention is directed to a method and an arrangement with an augmented reality device (eg augmented reality goggles) that recognize optically recognizable features (eg, a machine readable code) located in an environment and display associated information objects can be.
Erweiterte-Realität-Vorrichtungen sind in verschiedenen Formen auf dem Markt erhältlich. Unter einer erweiterten Realität (im Folgende auch ER und auf Englisch: „augmented reality“ (AR)) kann allgemein verstanden werden, dass in einem Blickfeld eines Trägers (d.h. eines Benutzers) einer Erweiterte-Realität-Vorrichtung zusätzliche Informationsobjekte einblendbar sind, zum Beispiel in Form eines Textfeldes. Dies kann insbesondere derart erfolgen, dass sich das Informationsobjekt mit dem Blickfeld des Trägers überlagert (oder, anders ausgedrückt, mit dessen Blick auf die Realität bzw. die Umgebung überlagert). Die Informationsobjekte können dabei transparent oder aus Sicht des Trägers opak sein.Advanced reality devices are available in various forms on the market. Under an augmented reality (hereinafter also ER and in English: "augmented reality" (AR)) can be generally understood that in a field of view of a carrier (ie a user) of an augmented reality device additional information objects are fade in, for example in the form of a text box. This can be done in particular in such a way that the information object is superimposed on the field of vision of the carrier (or, in other words, overlaid with its view of the reality or the environment). The information objects can be transparent or opaque from the perspective of the wearer.
Erweiterte-Realität-Vorrichtung kommen überwiegend derart zum Einsatz, dass Informationsobjekte überwiegend oder ausschließlich dem Träger der Vorrichtung angezeigt werden. Möglichkeiten zum interaktiven Austauschen von Informationen und/oder Informationsobjekten mit einer weiteren Person, die nicht der Träger der Vorrichtung ist, sind hingegen begrenzt.Advanced reality devices are predominantly used in such a way that information objects are displayed predominantly or exclusively to the wearer of the device. However, ways to interactively exchange information and / or information objects with another person who is not the wearer of the device are limited.
Es besteht ein allgemeiner Bedarf dafür, Personen den Austausch von Informationen auch über größere Distanzen zu ermöglichen. Insbesondere besteht ein Bedarf dafür, Informationen über größere Distanzen möglichst umfassend und realitätsnah vermitteln zu können. Beispielsweise kann es vorkommen, dass sich eine Person (im Folgenden auch: ein Interessent) für ein bestimmtes Thema oder einen bestimmten Gegenstand interessiert. Der Gegenstand selbst oder eine Person, die diesen Gegenstand oder das Thema erläutern kann (im Folgenden auch: ein Demonstrator oder ein Präsentator), können sich jedoch in einer Entfernung befinden, die zum Beispiel keinen direkten verbalen Informationsaustausch zwischen den Personen ermöglicht. Anders ausgedrückt können der Interessent und der Demonstrator räumlich getrennt voneinander sein. In solchen Fällen wird bisher auf übliche Kommunikationsmittel zurückgegriffen, zum Beispiel in Form einer Telefonverbindung, eines Video-Chats oder dergleichen. Dies geht jedoch jeweils mit individuellen Nachteilen einher. Insbesondere kann es sich für den Demonstrator aber als schwierig erweisen, auf Nachfragen des Interessenten flexibel und umfassend reagieren zu können.There is a general need to allow people to exchange information, even over long distances. In particular, there is a need to be able to convey information about greater distances as comprehensively and realistically as possible. For example, it may happen that a person (in the following also: a prospective customer) is interested in a particular topic or a specific object. However, the item itself or a person who can explain that item or topic (hereafter also: a demonstrator or a presenter) may be at a distance that, for example, does not allow a direct verbal exchange of information between the persons. In other words, the prospect and the demonstrator may be spatially separate. In such cases, conventional means of communication have hitherto been used, for example in the form of a telephone connection, a video chat or the like. However, this is associated with individual disadvantages. In particular, it may prove difficult for the demonstrator to be able to respond flexibly and comprehensively to inquiries from the interested party.
Eine Aufgabe der vorliegenden Erfindung ist daher, den Austausch von Informationen zwischen räumlich voneinander getrennten Personen zu erleichtern.An object of the present invention is therefore to facilitate the exchange of information between spatially separated persons.
Diese Aufgabe wird durch ein Verfahren und eine Anordnung gemäß den beigefügten unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Ferner versteht es sich, dass die in der einleitenden Beschreibung erwähnten Merkmale einzeln oder in beliebiger Kombination auch bei der vorliegend offenbarten Lösung vorgesehen sein können, sofern nicht anders angegeben oder ersichtlich.This object is achieved by a method and an arrangement according to the attached independent claims. Advantageous developments are specified in the dependent claims. Furthermore, it is understood that the features mentioned in the introductory description can be provided individually or in any combination also in the case of the presently disclosed solution, unless stated otherwise or obvious.
Die Erfindung beruht allgemein auf dem Gedanken, einem Träger einer erweiterte-Realität-Vorrichtung Informationen bereitzustellen, die mit Inhalten assoziiert sind, für die sich eine andere Person aktuell interessiert. Hierfür können optisch erkennbare Merkmale in einer Umgebung des Trägers erkannt und/oder analysiert bzw. dekodiert werden, woraufhin dem Träger Informationsobjekte angezeigt werden können, die mit diesen Merkmalen assoziiert sind. Während sich der Träger also in der Umgebung bewegt, kann er spezifische Informationen erhalten, und diese zum Beispiel verbal, schriftlich und/oder mittels Bild- oder Videoübertragung an die andere Person vermitteln.The invention is generally based on the idea of providing a carrier of an augmented reality device with information associated with contents that another person is currently interested in. For this purpose, optically recognizable features in an environment of the carrier can be detected and / or analyzed or decoded, after which the carrier information objects can be displayed, which are associated with these features. Thus, as the wearer moves in the environment, he may receive specific information, and convey it to the other person verbally, in writing, and / or by image or video transmission, for example.
Im Detail wird ein Verfahren zum Bereitstellen von Informationen bei einer am Kopf tragbaren erweiterte-Realität-Vorrichtung vorgeschlagen, wobei die erweiterte-Realität-Vorrichtung eine optische Erfassungseinrichtung umfasst und eine erste Anzeigeeinrichtung, die dazu eingerichtet ist, in einem Blickfeld eines Trägers der erweiterte-Realität-Vorrichtung Informationsobjekte anzuzeigen; und wobei in einer Umgebung der erweiterte-Realität-Vorrichtung wenigstens ein vorbestimmtes optisch erkennbares Merkmal angeordnet ist, mit dem wenigstens ein vorbestimmtes Informationsobjekt assoziiert ist; wobei das Verfahren umfasst:
- – optisches Erfassen der Umgebung mittels der Erfassungseinrichtung und darauf basierendes Erzeugen von Erfassungsdaten;
- – Übertragen der Erfassungsdaten an wenigstens eine zweite Anzeigeeinrichtung, die optional räumlich getrennt von der erweiterte-Realität-Vorrichtung angeordnet ist (und/oder außerhalb eines Sichtfelds der Erfassungseinrichtung oder eines Blickfelds des Trägers);
- – Erkennen des optisch erkennbaren Merkmals anhand der Erfassungsdaten;
- – Anzeigen wenigstens eines Informationsobjekts, das mit dem optisch erkennbaren Merkmal assoziiert ist, mittels der ersten Anzeigeeinrichtung.
- - Optical detection of the environment by means of the detection device and based on generating detection data;
- - transferring the detection data to at least one second display device, which is optionally arranged spatially separate from the augmented reality device (and / or outside a field of view of the detection device or a field of view of the wearer);
- Detecting the optically recognizable feature based on the detection data;
- - Displaying at least one information object that is associated with the optically recognizable feature, by means of the first display device.
Bevorzugt ist das optisch erkennbare Merkmal an einem von dem Träger zu erläuternden Objekt angebracht oder anbringbar und die Informationsobjekte dienen dazu, den Träger über das Objekt zu informieren. Preferably, the optically recognizable feature is attached or attachable to an object to be explained by the wearer, and the information objects serve to inform the wearer of the object.
Die erweiterte-Realität-Vorrichtung kann von einem Demonstrator getragen werden oder tragbar sein, der einen Inhalt (zum Beispiel einen Lehrinhalt) oder ein Objekt (zum Beispiel ein Kaufobjekt, wie ein Auto oder eine Immobilie) einem Interessenten erläutern möchte. Der Interessent selbst kann hingegen über die zweite Anzeigeeinrichtung verfügen oder diese betrachten und allgemein räumlich getrennt von dem Demonstrator sein (d. h. nicht vor Ort sein).The augmented reality device may be carried or wearable by a demonstrator who wishes to explain a content (eg, a teaching content) or an object (for example, a purchase object such as a car or real estate) to an interested party. The prospective customer, on the other hand, may have or view the second display device and be generally spatially separate from the demonstrator (i.e., not be on-site).
Die erweiterte-Realität-Vorrichtung kann in Form einer erweiterte-Realität-Brille ausgebildet sein. Die erweiterte-Realität-Brille kann ein Traggestell umfassen, um an einem Kopf eines Trägers positioniert zu werden, und/oder einen Bereich, der vor wenigstens einem Auge eines Trägers positionierbar ist. Dieser Bereich kann die Anzeigeeinrichtung umfassen. Bevorzugt basiert die erweiterte-Realität-Brille auf herkömmlichen Varianten, wie beispielsweise der Markt erhältlichen erweiterte-Realität-Brille vom Typ BT-2000 der Seiko Epson Corporation, Suwa (Japan), die ein Beispiel eines sogenannten Smartglasses darstellt. Allerdings kann die erfindungsgemäße erweiterte-Realität-Brille gegenüber derartigen bekannten Varianten die nachstehend geschilderten zusätzlichen Funktionen ermöglichen und bereitstellen.The augmented reality device may be in the form of augmented reality glasses. The augmented-reality eyeglasses may comprise a support frame for positioning on a wearer's head and / or an area positionable in front of at least one eye of a wearer. This area may include the display device. Preferably, the augmented-reality goggles are based on conventional variants, such as the market-available extended-reality type BT-2000 glasses from Seiko Epson Corporation, Suwa (Japan), which is an example of a so-called smart glass. However, the augmented-reality eyewear of the present invention can enable and provide the additional functions described below over such known variants.
Die erweiterte-Realität-Vorrichtung umfasst ferner eine optische Erfassungseinrichtung. Diese kann allgemein dazu eingerichtet sein, Informationen, Objekte, Inhalte und/oder allgemein die Umgebung optisch zu erfassen. Insbesondere kann die Erfassungseinrichtung dazu eingerichtet sein, sowohl ein nachstehend erläutertes optisch erkennbares Merkmal, das mit Informationsobjekten assoziiert ist, als auch eine Umgebung der erweiterte-Realität-Vorrichtung zu erfassen und vorzugsweise gleichzeitig zu erfassen. Gemäß einer Variante umfasst die optische Erfassungseinrichtung eine Kameraeinrichtung oder ist als eine solche realisiert. The augmented reality device further comprises an optical detection device. This can generally be set up to visually capture information, objects, contents and / or the environment in general. In particular, the detection device can be set up to detect and preferably simultaneously detect both an optically recognizable feature, which is explained below, which is associated with information objects, and an environment of the augmented reality device. According to a variant, the optical detection device comprises a camera device or is realized as such.
Die optische Erfassungseinrichtung kann derart ausgerichtet oder ausrichtbar sein, dass ihr Sichtfeld mit einem Blickfeld des Trägers zusammenfällt oder dieses zumindest teilweise überschneidet. Anders ausgedrückt kann die Erfassungseinrichtung dazu eingerichtet sein, einen Bereich zu erfassen, der auch in einem Blickfeld des Trägers liegt und/oder von diesem betrachtet wird. The optical detection device may be oriented or alignable such that its field of view coincides with or at least partially overlaps a field of view of the wearer. In other words, the detection device can be set up to detect an area that is also located in and / or viewed by the wearer.
Die Anzeigeeinrichtung der erweiterte-Realität-Vorrichtung kann zum Beispiel einen (vozugsweise teil- oder volltransparenten) Bildschirm oder eine Projektionsfläche umfassen. Insbesondere kann die Anzeigeeinrichtung in einen Bereich der Vorrichtung integriert sein, der im Blickfeld des Trägers angeordnet oder anordenbar ist, beispielsweise in einem Durchsichtsbereich und/oder Brillenglas. Auf der Anzeigeeinrichtung können wiederum transparente und/oder opake Informationsobjekte eingeblendet werden, die mit einem Blickfeld des Trägers überlagert werden können.The display device of the augmented reality device may include, for example, a (preferably partially or fully transparent) screen or projection screen. In particular, the display device can be integrated in a region of the device which is arranged or can be arranged in the field of view of the wearer, for example in a see-through region and / or spectacle lens. In turn, transparent and / or opaque information objects can be superimposed on the display device, which can be overlaid with a field of view of the carrier.
Bei der Umgebung der erweiterte-Realität-Vorrichtung kann es sich beispielsweise um einen Verkaufsraum, einen Lehrraum, eine Immobilie, einen Privatraum oder eine Werkstatt handeln. Das optisch erkennbare Merkmal kann insbesondere derart ausgebildet sein, dass es von der Erfassungseinrichtung der erweiterte-Realität-Vorrichtung erkennbar ist. Vorzugsweise ist das optisch erkennbare Merkmal zusätzlich oder alternativ auch von einer Person erkennbar (insbesondere von einem etwaigen Demonstrator oder Interessenten). Wie nachstehend geschildert, kann es sich um allgemeine Umgebungs- oder Objektmerkmale handeln (insbesondere um dort ohnehin vorhandene Merkmale), die zum Beispiel vorab für eine optische Erkennung ausgewählt und/oder definiert wurden. Ebenso kann es sich um Merkmale handeln, die speziell für eine optische Erkennung angefertigt und/oder in der Umgebung positioniert wurden. Das Auswählen, Definieren, Anfertigen und/oder Positionieren derartiger Merkmale kann durch den Träger der erweiterte-Realität-Vorrichtung (bzw. den Demonstrator) erfolgen.The environment of the augmented reality device may be, for example, a sales room, a teaching room, a property, a private room or a workshop. The optically recognizable feature may in particular be designed such that it can be recognized by the detection device of the augmented reality device. Preferably, the optically recognizable feature is additionally or alternatively also recognizable by a person (in particular by a possible demonstrator or prospective customer). As described below, they may be general environmental or object features (in particular features already present there) that have been selected and / or defined in advance for optical detection, for example. Likewise, they may be features that have been specially made for optical recognition and / or positioned in the environment. Selecting, defining, making and / or positioning such features may be done by the extended reality device (or demonstrator) support.
Gemäß dem Verfahren wird die Umgebung mittels der Erfassungseinrichtung optisch erfasst. Dies kann insbesondere ein bildliches Erfassen einschließen. Gemäß einer Variante erfasst die Erfassungseinrichtung Umgebungsbilder, zum Beispiel in Form von Einzelbildern, eines Videos und/oder Bewegtbildern. Insbesondere wenn die Erfassungseinrichtung eine Kameraeinrichtung umfassen oder als eine solche realisiert ist, kann sie als Erfassungsdaten Kamerabilder von der Umgebung erfassen, die wiederum einzeln oder in Form eines Videos oder als Bewegtbilder vorliegen können. According to the method, the environment is optically detected by means of the detection device. This may include, in particular, pictorial detection. According to a variant, the detection device detects environmental images, for example in the form of individual images, of a video and / or moving images. In particular, if the detection device comprises or is realized as a camera device, it can capture, as detection data, camera images from the environment, which in turn can be present individually or in the form of a video or as moving images.
Die Erfassungsdaten können von der Erfassungseinrichtung selbst oder voneiner anderen geeigneten Einheit der erweiterte-Realität-Vorrichtung erzeugt werden. Alternativ können die Erfassungsdaten von einer separaten Einrichtung (d. h. insbesondere separat von der erweiterte-Realität-Vorrichtung) erzeugt werden, an welche die Erfassungseinrichtung erfasste Informationen oder Signale überträgt. Der Erfassungsdaten können Bild-, Video- und/oder Bewegtbilddaten enthalten oder Daten, aus denen sich Bilder, Videos und/oder Bewegtbilder erzeugen lassen. Die Daten können allgemein geschlossen (d. h. als ein Datensatz) oder in Form eines Datenstroms (zum Beispiel eines Videostreams) übertragbar sein.The detection data may be generated by the detection device itself or by another suitable unit of the augmented reality device. Alternatively, the detection data may be generated by a separate device (ie, in particular, separate from the augmented reality device) to which the detection device transmits detected information or signals. The acquisition data may include image, video and / or moving image data or data from which images, videos and / or moving images can be generated. The data may be generally closed (ie as a record) or in the form of a Data stream (for example, a video stream) be transferable.
Die zweite Anzeigeeinrichtung kann von einem herkömmlichen PC umfasst sein, einem Smartphone, einem Tablet oder einem vergleichbaren Mobilgerät. Die zweite Anzeigerichtung kann allgemein von einer Person (zum Beispiel einem Interessenten) betrachtet werden, die räumlich getrennt von dem Träger der erweiterte-Realität-Vorrichtung ist. Insbesondere kann diese Person bzw. die zweite Anzeigeeinrichtung sich in einem anderen Raum, einem anderen Gebäude oder einem anderen geographischen Gebiet als der Träger der erweiterte-Realität-Vorrichtung befinden. Auf diese Weise kann sichergestellt werden, dass sich die zweite Anzeigeeinrichtung außerhalb des Blickfelds des Trägers befindet.The second display device may be comprised of a conventional PC, a smartphone, a tablet or a comparable mobile device. The second display direction may be generally viewed by a person (for example, a prospective customer) that is spatially separate from the extended reality device's bearer. In particular, this person or the second display device may be located in a different room, a different building or a different geographical area than the carrier of the augmented reality device. In this way it can be ensured that the second display device is outside the field of view of the wearer.
Die von der zweiten Anzeigeeinrichtung erhaltenen Erfassungsdaten können auf dieser angezeigt werden, beispielsweise als ein im Wesentlichen kontinuierliches Video und/oder ein Videostream. Allgemein kann das Übertragen der Erfassungsdaten ermöglichen, dass eine die zweite Anzeigeeinrichtung betrachtende Person die Umgebung der erweiterte-Realität-Vorrichtung nachvollziehen, betrachten und/oder allgemein Informationen hierüber erhalten kann. Insbesondere wenn der Erfassungsbereich (bzw. das Sichtfeld) der Erfassungseinrichtung zumindest teilweise mit einem Blickfeld des Trägers übereinstimmt oder sich hiermit überschneidet, kann die zweite Anzeigeeinrichtung das Nachvollziehen eines Blicks des Trägers auf die Umgebung erleichtern. Anders ausgedrückt kann einer Person, welche die zweite Anzeigeeinrichtung betrachtet, die Umgebung der erweiterte-Realität-Vorrichtung anhand der Erfassungsdaten aus einer Perspektive angezeigt bzw. dargestellt werden, welcher einer Perspektive des Trägers der erweiterte-Realität-Vorrichtung entspricht oder diese zumindest annähert. Zusammengefasst kann einem Betrachter der zweiten Anzeigeeinrichtung die Umgebung der erweiterte-Realität-Vorrichtung somit besonders umfassend und realitätsnah dargestellt werden, insbesondere derart, dass dieser eine Position und/oder Perspektive des Trägers der erweiterte-Realität-Vorrichtung leicht nachvollziehen kann.The acquisition data obtained from the second display device may be displayed thereon, for example as a substantially continuous video and / or video stream. In general, transmitting the acquisition data may allow a person viewing the second display device to understand, view, and / or generally obtain information about the environment of the augmented reality device. In particular, if the detection area (or field of view) of the detection device at least partially coincides with or overlaps a field of view of the wearer, the second display device may facilitate tracing the wearer's gaze to the environment. In other words, a person viewing the second display device can view the environment of the augmented reality device from the perspective of the detection data from a perspective that corresponds to or at least approximates a perspective of the extended reality device's wearer. In summary, an observer of the second display device can thus be presented in a particularly comprehensive and realistic manner the environment of the augmented reality device, in particular in such a way that it can easily understand a position and / or perspective of the wearer of the augmented reality device.
Erfindungsgemäß kann auch eine Mehrzahl von zweiten Anzeigeeinrichtungen vorgesehen sein, sodass zwischen dem Demonstrator und möglichen Interessenten eine sogenannte 1:n-Kommunikation ermöglicht wird (ein Demonstrator gegenüber n-möglichen Interessenten, wobei n eine Zahl größer als eins ist). According to the invention, a plurality of second display devices can also be provided, so that a so-called 1: n communication is made possible between the demonstrator and potential interested parties (a demonstrator with respect to n-possible interested parties, where n is a number greater than one).
Bevorzugt wird ein Kommunikationsaustausch zwischen einem Interessenten, der die zweite Anzeigeeinrichtung betrachtet, und einem Demonstrator, welcher die erweiterte-Realität-Vorrichtung trägt, nicht nur über ein Übertragen der Erfassungsdaten ermöglicht. Stattdessen kann auch eine Kommunikation per Text- und/oder Audioeingabe (d. h. verbal), von zumindest dem Interessenten an den Demonstrator ermöglicht werden. Dies kann zum Beispiel mittels einer entsprechenden Text- und/oder Audioübertragungseinrichtung erfolgen, die eine Tastatur und/oder ein Mikrofon umfassen kann. Letztere können in eine Computereinheit (zum Beispiel einen PC) integriert sein, welche auch die zweite Anzeigeeinrichtung umfasst. Die Audiosignale können allgemein in Form von Spracheingaben durch einen Benutzer vorliegen.Preferably, a communication exchange between an interested party viewing the second display device and a demonstrator carrying the augmented reality device is enabled not only by transmitting the detection data. Instead, a communication via text and / or audio input (that is, verbally), made possible by at least the prospective customer to the demonstrator. This can be done, for example, by means of a corresponding text and / or audio transmission device, which may comprise a keyboard and / or a microphone. The latter can be integrated into a computer unit (for example a PC), which also includes the second display device. The audio signals may generally be in the form of voice input by a user.
Die erweiterte-Realität-Vorrichtung verfügt vorzugsweise über wenigstens einen Lautsprecher, um Sprach- oder allgemeine Audiosignale an den Träger ausgeben zu können, insbesondere basierend auf Spracheingaben des Interessenten, der die zweite Anzeigeeinrichtung betrachtet. Etwaige Texteingaben können hingegen unmittelbar auf der ersten Anzeigeeinrichtung angezeigt werden. Auch können Text- und/oder Audioeingabe in andere Ausgabeformate umgewandelt werden, anstatt sie direkt an den Demonstrator auszugeben (zum Beispiel von Text in Audio oder umgekehrt). The augmented reality device preferably has at least one speaker for outputting voice or general audio signals to the carrier, in particular based on voice inputs of the prospective customer viewing the second display device. Any text inputs, however, can be displayed directly on the first display device. Also, text and / or audio input can be converted to other output formats rather than output directly to the demonstrator (for example, from text to audio or vice versa).
Vorzugsweise umfasst die erweiterte-Realität-Vorrichtung eine Audioübertragungseinrichtung, beispielsweise umfassend ein Mikrofon, um Sprach- oder allgemeine Audiosignale des Trägers zu erfassen und übertragen zu können. Diese können wiederum an einen Lautsprecher übertragen werden, der in der Nähe von oder an der zweiten Anzeigeeinrichtung positioniert ist.The augmented reality device preferably comprises an audio transmission device, for example comprising a microphone, in order to be able to detect and transmit voice or general audio signals of the carrier. These may in turn be transmitted to a loudspeaker positioned near or at the second display device.
Zusammengefasst kann somit im Rahmen der Erfindung vorgesehen sein, dass auch eine Übertragung von Audiosignalen und/oder eine verbale Kommunikation von dem Interessenten an den Demonstrator (und/oder umgekehrt) möglich ist.In summary, it can thus be provided within the scope of the invention that transmission of audio signals and / or verbal communication from the interested party to the demonstrator (and / or vice versa) is also possible.
Dies bedeutet, dass der Interessent den Demonstrator zum Beispiel per Text oder Sprache anweisen kann, sich in der Umgebung in vorbestimmter Weise oder in eine vorbestimmte Richtung zu bewegen. Insbesondere kann der Interessent den Demonstrator anweisen, sich in einem Bereich zu bewegen, der ein ihn interessierendes Objekt und/oder Inhalt enthält. Der Demonstrator kann daraufhin über die erzeugten und übertragenen Erfassungsdaten dafür sorgen, dass der Interessent das Objekt oder den Inhalt realitätsnah betrachten kann. Hierfür kann der Demonstrator zum Beispiel die erweiterte-Realität-Vorrichtung bzw. sein eigenes Blickfeld geeignet ausrichten. Ferner kann der Demonstrator dem Interessenten Informationen zu dem Objekt oder Inhalt sprachlich schildern, was wiederum über eine Audioübertragung ermöglicht werden kann.This means that the interested party can instruct the demonstrator, for example by text or voice, to move in the environment in a predetermined manner or in a predetermined direction. In particular, the prospect may instruct the demonstrator to move in an area containing an object and / or content of interest to him. The demonstrator can then use the generated and transmitted acquisition data to ensure that the interested party can view the object or the content in a realistic manner. For this purpose, the demonstrator can, for example, suitably align the augmented reality device or its own field of vision. Furthermore, the demonstrator can linguistically tell the interested party information about the object or content, which in turn can be made possible via an audio transmission.
Zum Erkennen des optisch erkennbaren Merkmals anhand der Erfassungsdaten kann die erweiterte-Realität-Vorrichtung eine Bilderkennung vornehmen und/oder über eine geeignete Bilderkennungssoftware verfügen, wie allgemein am Markt erhältlich. Allgemein kann das optisch erkennbaren Merkmals somit rechnerisch anhand der bzw. in oder aus den Erfassungsdaten erkannt werden. Dies gilt insbesondere wenn Letztere als Bild- oder Videodaten vorliegen. Insbesondere können die Erfassungsdaten im Wesentlichen kontinuierlich und vorzugsweise in Echtzeit ausgewertet werden, sodass die erweiterte-Realität-Vorrichtung das optische erkennbare Merkmal im Wesentlichen selbstständig (d. h. ohne zusätzliche Benutzereingaben) erkennen kann. Anders ausgedrückt kann ein automatisches Erfassen des optisch erkennbaren Merkmals durch die Erfassungseinrichtung vorgesehen sein und/oder ein automatisches Ermitteln, ob sich das optische erkennbare Merkmal in der erfassten Umgebung befindet. In order to recognize the optically recognizable feature on the basis of the acquisition data, the augmented reality device can perform image recognition and / or have suitable image recognition software, as generally available on the market. In general, the optically recognizable feature can thus be recognized mathematically on the basis of or in or from the acquisition data. This is especially true if the latter are available as image or video data. In particular, the acquisition data may be evaluated substantially continuously, and preferably in real time, such that the augmented reality device may recognize the optically recognizable feature substantially independently (ie, without additional user input). In other words, an automatic detection of the optically recognizable feature by the detection means may be provided and / or an automatic determination of whether the optically detectable feature is located in the detected environment.
Alternativ kann der Träger die erweiterte-Realität-Vorrichtung geeignet ausrichten, sodass das optische erkennbare Merkmal in einem Erfassungsbereich der Erfassungseinrichtung liegt. Daraufhin kann der Träger einen Aktivierungsbefehl zum Beispiel per Sprache oder per haptischer Betätigung eingeben, sodass eine Erkennung bzw. ein Erkennungsprozess ausgelöst wird. Anders ausgedrückt kann das Erkennen auch selektiv und/oder bedarfsweise durch den Träger veranlasst oder ausgelöst werden.Alternatively, the carrier may properly align the augmented reality device such that the optically detectable feature is within a detection range of the detection device. The wearer may then enter an activation command, for example by voice or haptic, to initiate a recognition or recognition process. In other words, the recognition can also be initiated and / or triggered selectively and / or as required by the wearer.
Das Erkennen kann allgemein einschließen, dass die erweiterte-Realität-Vorrichtung das Vorhandensein, die Art und/oder etwaige mittels des optisch erkennbaren Merkmals codierte Informationen erkennt. Beispielsweise kann die erweiterte-Realität-Vorrichtung im Rahmen des Erkennens das Vorhandensein und/oder die Art eines QR-Codes erkennen und vorzugsweise diesen auch unmittelbar dekodieren. Mit anderen Worten kann die erweiterte-Realität-Vorrichtung allgemein ermitteln, ob und vorzugsweise auch welches optische erkennbare Merkmal sich in der Umgebung befindet. Dies kann wiederum über ein Auswerten der Erfassungsdaten erfolgen, zum Beispiel per Bildauswertungssoftware.The detection may generally include the augmented reality device detecting the presence, type, and / or any information encoded by the optically recognizable feature. For example, in the context of the recognition, the augmented reality device can recognize the presence and / or the type of QR code and preferably also decode it directly. In other words, the augmented reality device may generally determine whether and, preferably, which optical detectable feature is in the environment. This can in turn be done by evaluating the detection data, for example by image analysis software.
Unter einem Verwenden vorbestimmter optisch erkennbarer Merkmale kann verstanden werden, dass die Art und/oder Eigenschaften dieser Merkmale bekannt und definiert sind, sodass diese im Rahmen einer Bildauswertung gezielt nach den Merkmalen gesucht werden kann.By using predetermined optically recognizable features, it can be understood that the nature and / or properties of these features are known and defined so that they can be searched for the features in the context of an image analysis.
Ferner kann ein gesonderter Schritt des Ermittelns eines Informationsobjekts vorgesehen sein, das mit dem optisch erkennbaren Merkmal assoziiert ist. Dies kann durch Abfragen einer Datenbank erfolgen, die zum Beispiel auf einer nachfolgend erläuterten Speichereinrichtung und/oder einem nachfolgend erläuterten Server abgelegt sein kann. Folglich kann das Ermitteln des Informationsobjekts das Senden einer entsprechenden Anfrage und/oder Information, dass bzw. welches optische Merkmal erkannt wurde, an eine weitere Einheit umfassen (zum Beispiel an den Server oder die Speichereinrichtung). Dieser Schritt kann durch eine Steuereinrichtung und oder eine Prozessoreinrichtung der erweiterte-Realität-Vorrichtung ausgeführt werden. Furthermore, a separate step of determining an information object associated with the optically recognizable feature may be provided. This can be done by querying a database, which can be stored, for example, on a memory device explained below and / or a server explained below. Thus, determining the information object may include sending a corresponding request and / or information that the optical feature has been detected to another device (for example, the server or the storage device). This step may be performed by a controller and or processor device of the augmented reality device.
Das Verfahren sieht ferner vor, wenigstens ein Informationsobjekt, das mit dem optisch erkennbaren Merkmal assoziiert ist, mittels der ersten Anzeigeeinrichtung anzuzeigen. Dies erfolgt vorzugsweise möglichst zeitnah oder unmittelbar nach dem Erkennen des optisch erkennbaren Merkmals. Der Träger der erweiterte-Realität-Vorrichtung kann somit schnell mit relevanten Informationen versorgt werden, zum Beispiel bezüglich eines Objekts oder einem Inhalt, an dem das optische erkennbare Merkmal angeordnet ist. The method further provides for at least one information object associated with the optically recognizable feature to be displayed by the first display device. This is preferably done as soon as possible or immediately after the recognition of the optically recognizable feature. The bearer of the augmented reality device can thus be quickly provided with relevant information, for example regarding an object or a content on which the optically recognizable feature is located.
Bei dem Informationsobjekt kann es sich zum Beispiel um einen Text, ein Textfeld oder ein Dokument handeln, um eine Audiowiedergabe oder Audiodatei, um eine Videowiedergabe oder Videodatei, um ein Bild oder eine Bilddatei, um ein PDF Dokument oder einen Medienanhang, um einen Screenshot, um eine grafische Benutzeroberfläche, um eine Farbfläche oder um farbige Gestaltung einer grafischen Benutzeroberfläche. Insbesondere können die Informationsobjekte als Icons bereitgestellt sein und/oder als Links, welche bei einem Betätigen eine Verknüpfung mit weiteren Inhalten ermöglichen, beispielsweise durch Laden oder Abspielen einer Audio-, Video- oder Bilddatei. The information object may be, for example, a text, a text box or a document, an audio or audio file, a video or video file, an image or an image file, a PDF document or a media attachment, a screenshot, a graphical user interface, a color space or the colorful design of a graphical user interface. In particular, the information objects can be provided as icons and / or as links which, when actuated, enable a link to further contents, for example by loading or playing back an audio, video or image file.
Allgemein können die Informationsobjekte Objekte betreffen und/oder Verknüpfungen mit Objekten ermöglichen, welche das Ableiten von Informationen durch einen Betrachter ermöglichen.In general, the information objects may relate to objects and / or allow links to objects that allow information to be derived by a viewer.
Bei den Informationsobjekten, die auf der ersten Anzeigeeinrichtung zum Informieren des Trägers angezeigt werden, handelt es sich vorzugsweise um einen Text oder Textfelder. Informationsobjekte, die auf der zweiten Anzeigeeinrichtung zur Betrachtung durch den Interessenten angezeigt werden, können insbesondere als Bild-, Video- oder Audiodateien (oder als Links zu solchen Dateien), als PDF Dokument oder als eine besonders gestaltete (insbesondere farbliche gestaltete) Benutzeroberfläche vorliegen.The information objects that are displayed on the first display device for informing the carrier are preferably text or text fields. Information objects which are displayed on the second display device for viewing by the interested party can be present in particular as image, video or audio files (or as links to such files), as a PDF document or as a specially designed (in particular colored) user interface.
Ein Vorteil, der mit dem geschilderten Verfahren erreichbar ist, ist zum Beispiel, dass ein Interessent mittels der zweiten Anzeigeeinrichtung die Umgebung der erweiterte-Realität-Vorrichtung realitätsnah und insbesondere aus der (menschlichen) Perspektive des Trägers verfolgen kann. Daraufhin kann er zum Beispiel mittels Text- oder Spracheingaben sein Interesse bezüglich bestimmter Objekte oder Inhalte in der Umgebung bekunden. Derartige Objekte oder Inhalte können vorab mit einem optisch erkennbaren Merkmal markiert worden sein, was auch einen gesonderten Schritt des erfindungsgemäßen Verfahrens bilden kann. Der Träger der erweiterte-Realität-Vorrichtung kann sich daraufhin dem Objekt oder Inhalt nähern und einen Erkennungsprozess des optisch erkennbaren Merkmals initiieren oder, insbesondere falls dieser automatisch erfolgt, einen solchen Erkennungsprozess abwarten. Ist das optisch erkennbare Merkmal erkannt worden, kann im Blickfeld des Trägers möglichst unmittelbar ein hiermit assoziiertes Informationsobjekt angezeigt werden. Die dadurch vermittelnden Informationen kann der Träger zum Beispiel verbal an den Interessenten weitergeben. An advantage achievable with the described method is, for example, that a prospective customer can use the second display device to follow the environment of the augmented reality device in a realistic manner and in particular from the (human) perspective of the wearer. Thereupon can he expresses his interest in certain objects or contents in the environment, for example by means of text or voice input. Such objects or contents may have been marked in advance with an optically recognizable feature, which may also form a separate step of the method according to the invention. The wearer of the augmented reality device may then approach the object or content and initiate a recognition process of the optically recognizable feature or, especially if it is done automatically, await such a recognition process. If the optically recognizable feature has been detected, an information object associated therewith can be displayed as directly as possible in the field of vision of the wearer. For example, the carrier can pass on the information thus conveyed verbally to the interested party.
Ein Anwendungsszenario des geschilderten Verfahrens ist zum Beispiel das Verwenden der erweiterte-Realität-Vorrichtung in einem Autohaus, wobei der Träger ein Verkäufer ist. An den einzelnen Autos auf einer Verkaufsfläche des Autohauses wurden vorab vorbestimmte optisch erkennbare Merkmale angebracht, zum Beispiel in Form von QR-Codes. Ein räumlich getrennter Interessent nimmt über ein nachstehend erläutertes Kommunikationsnetzwerk Kontakt zu dem Verkäufer auf, sodass Erfassungsdaten (insbesondere Videodaten) auf einer Anzeigeeinrichtung eines PCs des Interessenten angezeigt werden können. Der Verkäufer kann dem Kunden die einzelnen Autos präsentieren und dabei bedarfsweise durch Erkennen der jeweiligen optisch erkennbaren Merkmale sich weitere Informationen einblenden lassen, um den Interessenten möglichst umfassend zu informieren. Hierfür ist es nicht erforderlich, dass der Verkäufer das Kundengespräch unterbricht oder zeitintensive manuelle Eingaben tätigt. Stattdessen reicht das vorzugsweise sogar automatisch aktivierte Erkennen des optisch erkennbaren Merkmals an einem Auto aus, was beispielsweise aus Sicht des Interessenten auch weitestgehend unbemerkt bleiben kann. Es versteht sich, dass auch zahlreiche andere Anwendungsszenarien vorgesehen sind, bei denen das hierin offenbarte Verfahren weitere Vorteile mit sich bringen kann. Entsprechende Beispiele werden nachstehend noch näher erläutert. An application scenario of the described method is, for example, using the augmented reality device in a dealership where the carrier is a salesman. At the individual cars on a sales area of the dealership, pre-defined, visually recognizable features were placed in advance, for example in the form of QR codes. A geographically separate interested party contacts the seller via a communication network explained below, so that capture data (in particular, video data) can be displayed on a display device of a prospective customer's PC. The seller can present the individual cars to the customer and, if necessary, by recognizing the respective visually recognizable features, additional information can be displayed in order to inform the prospective customer as comprehensively as possible. For this, it is not necessary that the seller interrupts the customer conversation or makes time-consuming manual entries. Instead, the preferably even automatically activated detection of the optically recognizable feature on a car is sufficient, which, for example, can largely remain unnoticed from the point of view of the prospective customer. It will be understood that numerous other application scenarios are also envisioned in which the method disclosed herein may provide further advantages. Corresponding examples will be explained in more detail below.
Übergeordnet ist darauf hinzuweisen, dass sämtliche der vorstehenden oder nachstehenden Verfahrensschritte durch wenigstens eine Computereinrichtung, Prozessoreinrichtung oder allgemeine Recheneinheit ausführbar sind, sofern nicht anders angegeben oder ersichtlich.It should be pointed out above that all of the preceding or following method steps can be executed by at least one computer device, processor device or general arithmetic unit, unless stated otherwise or obvious.
Eine Weiterbildung des Verfahrens und der Anordnung sieht vor, dass eine Aktivierungsmöglichkeit bereitgestellt wird oder bereitstellbar ist, mittels derer der Träger der erweiterte-Realität-Vorrichtung ein Anzeigen des Informationsobjekts mittels der zweiten Anzeigeeinrichtung aktivieren kann. Dies kann zum Beispiel über eine Rechen- oder Prozessoreinheit der erweiterte-Realität-Vorrichtung oder eines hiermit verbundenen Servers erfolgen. Die Aktivierungsmöglichkeit kann zum Beispiel in Form eines virtuellen Icons auf einer grafischen Benutzerschnittstelle bereitgestellt werden, wobei der Träger durch Betätigen des Icons das Anzeigen mittels der zweiten Anzeigeeinrichtung veranlassen kann. Zusätzlich oder alternativ kann die Aktivierungsmöglichkeit durch entsprechendes Belegen eines haptisch oder, anders ausgedrückt, per Berührung oder Kontakt betätigbaren Eingabeelements bereitgestellt werden, wobei ein Aktivieren durch Betätigen (zum Beispiel Drücken, Antippen, Erschüttern oder Bewegen) des Eingabeelements erfolgen kann. Ferner kann die Aktivierungsmöglichkeit durch Bereitstellen und/oder Freischalten eines Spracheingabebefehls bereitgestellt werden. Übergeordnet kann das Bereitstellen der Aktivierungsmöglichkeit zeitnah und vorzugsweise im Wesentlichen unmittelbar erfolgen, sobald das Informationsobjekt angezeigt wird.A further development of the method and the arrangement provides that an activation option is provided or can be provided by means of which the carrier of the augmented reality device can activate a display of the information object by means of the second display device. This can be done for example via a computing or processing unit of the augmented reality device or a server connected thereto. The activation option can be provided, for example, in the form of a virtual icon on a graphical user interface, wherein the user can initiate the display by means of the second display device by actuating the icon. Additionally or alternatively, the activation option can be provided by appropriately occupying a haptic or, in other words, contact or contact actuatable input element, wherein activation can be effected by actuating (for example pressing, tapping, shaking or moving) of the input element. Furthermore, the activation possibility can be provided by providing and / or releasing a voice input command. On a higher level, the provision of the activation option can take place promptly and preferably essentially immediately as soon as the information object is displayed.
Mittels dieser Variante wird ermöglicht, dass der Träger entscheiden kann, ob eine Information nicht nur ihm, sondern auch dem etwaigen Interessenten, welche die zweite Anzeigeeinrichtung beobachtet, angezeigt wird. Der Träger kann folglich manche Informationsobjekte, die zum Beispiel allein der Förderung des Verkaufserfolges und/oder dem Überbrücken von Wissenslücken dienen, nur auf seiner eigenen Anzeigeeinrichtung anzeigen lassen. Informationen, die hingegen die Kommunikation und den Informationsaustausch mit dem Interessenten befördern, können durch den Träger sozusagen freigeschaltet werden, sodass sie auch auf der zweiten Anzeigeeinrichtung angezeigt werden.By means of this variant, it is possible for the carrier to decide whether information is displayed not only to him but also to the prospective customer watching the second display device. The carrier can therefore display only some information objects, which for example serve solely to promote the sales success and / or the bridging of knowledge gaps, on its own display device. On the other hand, information that conveys the communication and the information exchange with the prospective customer can, so to speak, be released by the carrier, so that they are also displayed on the second display device.
Prinzipiell können somit verschiedene Klassen von Informationsobjekten vorgesehen sein, nämlich eine erste Klasse, die nur auf der ersten Anzeigeeinrichtung für ein Betrachten durch den Träger angezeigt werden, als auch eine zweite Klasse, die bedarfsweise nach einem Aktivieren durch den Träger auch auf der zweiten Anzeigeeinrichtung angezeigt werden können.In principle, various classes of information objects can thus be provided, namely a first class, which are displayed only on the first display device for viewing by the wearer, and a second class, which, if necessary, is also displayed on the second display device after being activated by the wearer can be.
Gemäß einer weiteren Variante des Verfahrens und der Anordnung ist vorgesehen, dass eine Mehrzahl von Informationsobjekten ermittelt werde, die zum Beispiel mit dem optisch erkennbaren Merkmal oder einer Mehrzahl hiervon assoziiert sind, wobei die Informationsobjekte mittels der ersten Anzeigeeinrichtung angezeigt werden oder anzeigbar sind, und wobei eine Aktivierungsmöglichkeit nur für einen Teil der Informationsobjekte bereitgestellt wird. Folglich existiert ein erster Teil (bzw. ein erste Klasse) von Informationsobjekten, die nur auf der ersten Anzeigeeinrichtung anzeigbar sind, und ein zweiter Teil (bzw. eine zweite Klasse) von Informationsobjekten, die zusätzlich auch auf der zweiten Anzeigeeinrichtung anzeigbar sind.According to a further variant of the method and the arrangement, it is provided that a plurality of information objects are determined, which are associated, for example, with the optically recognizable feature or a plurality thereof, wherein the information objects are displayed or displayable by means of the first display device, and wherein an activation possibility is provided only for a part of the information objects. Consequently, a first part (or a first class) of information objects that can only be displayed on the first display device and a second part (or a second part) exist. a second class) of information objects, which can also be displayed on the second display device.
Bei einer Weiterbildung des Verfahrens und der Anordnung existiert auch eine weitere Klasse eine Informationsobjekten, die zumindest vorübergehend nur auf der zweiten Anzeigeeinrichtung anzeigbar sind oder angezeigt werden. Im Detail kann dabei eine Mehrzahl von Informationsobjekten ermittelt werden, die zum Beispiel mit dem optisch erkennbaren Merkmal assoziiert oder einer Mehrzahl hiervon sind, wobei wenigstens eines der Informationsobjekte zumindest vorrübergehend ausschließlich auf der zweiten Anzeigeeinrichtung angezeigt wird (d. h. nicht zusätzlich auch auf der ersten Anzeigeeinrichtung). Insbesondere kann das Anzeigen auf der zweiten Anzeigeeinrichtung unabhängig von einer Aktivierungseingabe des Trägers der erweiterten-Realität-Vorrichtung erfolgen. Möglichst zeitnah und im Wesentlichen unmittelbar nachdem das optisch erkennbare Merkmal erkannt wurde, kann demnach auf der zweiten Anzeigeeinrichtung wenigstens ein hiermit assoziiertes Informationsobjekt angezeigt werden. Dieses Informationsobjekt kann zusätzlich zu den Erfassungsdaten (insbesondere wenn diese als Videostream vorliegen und/oder angezeigt werden) auf der zweiten Anzeigeeinrichtung angezeigt werden, zum Beispiel unterhalb oder oberhalb der Erfassungsdaten oder direkt in ein etwaiges Videofenster eingeblendet werden.In a development of the method and the arrangement, there is also another class of information objects which can be displayed or displayed at least temporarily only on the second display device. In detail, it is possible to determine a plurality of information objects which are associated, for example, with the optically recognizable feature or a plurality thereof, wherein at least one of the information objects is at least temporarily displayed exclusively on the second display device (ie not additionally also on the first display device). , In particular, the display on the second display device can take place independently of an activation input of the carrier of the augmented reality device. As promptly and substantially immediately after the optically recognizable feature has been detected, it is thus possible to display at least one information object associated therewith on the second display device. This information object can be displayed on the second display device in addition to the acquisition data (in particular if present as a video stream and / or displayed), for example below or above the acquisition data or directly into any video window.
Dies ermöglicht, dass dem Interessenten für ein aktuell relevantes Objekt oder einen aktuell relevanten Inhalt zusätzlich passende Informationsobjekte angezeigt werden, welche zum Beispiel eine umfassendere Information ermöglichen und/oder allgemein den Darstellungsinhalt der zweiten Anzeigeeinrichtung an das aktuell relevante Objekt oder den Inhalt anpassen können. Der Interessent kann sozusagen auf das aktuell relevante Objekt oder den Inhalt eingestimmt werden und bedarfsweise zusätzliche Informationen hierzu betrachten (zum Beispiel in Form von Bilddateien oder PDF-Dokumenten). Da die entsprechenden Informationsobjekte nicht notwendigerweise von dem Träger benötigt werden und sich unter Umständen gezielt an den Interessenten richten, werden diese vorzugsweise nur auf der zweiten Anzeigeeinrichtung angezeigt. This makes it possible for the prospective customer to be displayed additionally suitable information objects for a currently relevant object or a currently relevant content, which for example enable more comprehensive information and / or can generally adapt the presentation content of the second display device to the currently relevant object or content. The interested party can, as it were, be attuned to the currently relevant object or content and, if necessary, look at additional information (for example in the form of image files or PDF documents). Since the corresponding information objects are not necessarily required by the carrier and may be targeted to the interested party, they are preferably displayed only on the second display device.
Erfindungsgemäß kann aber auch vorgesehen sein, dass ein bedarfsweises Anzeigen dieser Informationsobjekte auch auf der ersten Anzeigeeinrichtung aktivierbar ist. Der Träger somit die entsprechenden Informationsobjekte gezielt anfordern, zum Beispiel falls der Interessent Nachfragen hierzu stellt. Dies kann wiederum mittels einer entsprechenden Befehlseingabe durch den Träger aktiviert werden.According to the invention, however, it can also be provided that demand-based display of these information objects can also be activated on the first display device. The carrier thus specifically request the corresponding information objects, for example, if the interested party asks for it. This can in turn be activated by means of a corresponding command input by the carrier.
Bei einer Weiterbildung des Verfahrens und der Anordnung sind die erweiterte-Realität-Vorrichtung und/oder die zweite Anzeigeeinrichtung datenübertragend mit einer Speichereinrichtung verbunden ist, in der wenigstens ein Informationsobjekt gespeichert ist, wobei das Informationsobjekt aus der Speichereinrichtung auslesbar ist, um dieses auf der ersten und/oder der zweiten Anzeigeeinrichtung anzuzeigen. Die Speichereinrichtung kann von einem Server umfasst sein oder als ein solcher realisiert sein. Die Speichereinrichtung kann eine Datenbank enthalten, in dem die Informationsobjekte hinterlegt sein können und insbesondere mit den optisch erkennbaren Merkmal verknüpft sind. Je nachdem, welches optisch erkennbare Merkmal erkannt wurde, kann daraufhin das damit assoziierte Informationsobjekt aus der Speichereinrichtung ausgelesen werden. In a further development of the method and the arrangement, the augmented reality device and / or the second display device are connected to a storage device in which at least one information object is stored, wherein the information object can be read out of the storage device in order to store it on the first and / or the second display device. The storage device may be comprised by or implemented as a server. The storage device can contain a database in which the information objects can be stored and in particular are linked to the optically recognizable feature. Depending on which optically recognizable feature was detected, then the information object associated therewith can be read from the memory device.
Im Rahmen der vorliegenden Offenbarung kann unter einem Server ein Computerprogramm und/oder eine Computereinrichtung (zum Beispiel ein Hardware-Server) verstanden werden, wobei auf den Server andere Computerprogramme oder Computereinrichtungen (und/oder Prozessoreinheiten) zugreifen können, zum Beispiel um hiervon Daten zu beziehen oder eine Kommunikationsverbindung aufzubauen.In the context of the present disclosure, a server can be understood as a computer program and / or a computer device (for example a hardware server), the server being able to access other computer programs or computer devices (and / or processor units), for example data about them or establish a communication connection.
Bei einer Mehrzahl von assoziierten Informationsobjekten können sämtliche Informationsobjekte auf der Speichereinrichtung oder dem Server hinterlegt und hiervon ausgelesen werden. Optional können Sie dabei auch in Zwischenspeichereinrichtungen gespeichert werden, die mit der ersten oder der zweiten Anzeigeeinrichtung verbunden sind. Dies kann zum Beispiel eine Speichereinrichtung eines PCs oder eines Mobilgeräts betreffen, welche die zweite Anzeigeeinrichtung umfassen. Das tatsächliche Anzeigen der eingelesenen oder geladenen Informationsobjekte kann aber in der vorstehenden Weise selektiv durch den Träger aktiviert werden. In the case of a plurality of associated information objects, all information objects can be stored on the storage device or the server and read therefrom. Optionally, you can also be stored in temporary storage devices that are connected to the first or the second display device. This may, for example, relate to a memory device of a personal computer or a mobile device, which comprise the second display device. However, the actual display of the read or loaded information objects may be selectively activated by the carrier in the above manner.
Das geschilderte vorab erfolgende Auslesen bzw. Laden von Informationsobjekten kann auch unabhängig von einem tatsächlich erfolgten Erkennen eines optisch erkennbaren Merkmals erfolgen. Beispielsweise können zu Beginn des Verfahrens sämtliche Informationsobjekte in der geschilderten Weise geladen werden, die mit den optisch erkennbaren Merkmal in der Umgebung verknüpft sind. The described prior readout or loading of information objects can also be carried out independently of an actual recognition of an optically recognizable feature. For example, at the beginning of the process, all information objects can be loaded in the described manner, which are linked to the visually recognizable feature in the environment.
Anders ausgedrückt können sämtliche Informationsobjekt, die möglicherweise durch Erkennen eines damit assoziierten optisch erkennbaren Merkmals im Laufe des Verfahrens anzuzeigen wären, vorab bereits geladen werden. Dies erhöht die Geschwindigkeit, mit der die entsprechenden Informationsobjekte anschließend auf der ersten und/oder der zweiten Anzeigeeinrichtung angezeigt werden können. Insbesondere müssen die Informationsobjekte nicht erst einzeln und über oftmals längere Kommunikationswege eingelesen werden, sobald ein optisch erkennbares Merkmal erkannt wurde, geschweige denn von der erweiterte-Realität-Vorrichtung oder einer hiermit verknüpften Speichereinheit an die zweite Anzeigeeinrichtung geschickt werden. Der Informationsaustausch kann stattdessen im Wesentlichen in Echtzeit erfolgen und die Belastung eines Kommunikationsnetzwerks zwischen der erweiterte-Realität-Vorrichtung und der zweiten Anzeigeeinrichtung kann gering gehalten werden.In other words, all information objects that might be to be displayed by recognizing an optically recognizable feature associated therewith in the course of the procedure may be pre-loaded. This increases the speed with which the corresponding information objects can subsequently be displayed on the first and / or the second display device. In particular, the information objects must are not first read individually and often over longer communication channels as soon as an optically recognizable feature has been detected, let alone sent from the augmented reality device or a memory unit linked thereto to the second display device. Instead, the information exchange may occur substantially in real time and the load on a communication network between the augmented reality device and the second display device may be kept low.
Bevorzugt sind die Informationsobjekte jedoch allgemein zentral auf einer Speichereinrichtung oder einem Server hinterlegt, auf den die erweiterte-Realitätsvorrichtung und/oder die zweite Anzeigeeinrichtung per Echtzeitkommunikation zugreifen können. Dies erhöht die Datensicherheit, da die Informationsobjekte zentral auf der Speichereinrichtung oder dem Server verwaltet werden können.Preferably, however, the information objects are generally stored centrally on a storage device or a server, to which the extended reality device and / or the second display device can access by means of real-time communication. This increases data security, since the information objects can be managed centrally on the storage device or the server.
Das optisch erkennbare Merkmal kann in Form eines der folgenden Beispiele bereitgestellt sein oder wenigstens eines der Folgenden umfassen:
- – einen maschinenlesbaren Code;
- – einen QR-Code (Quick-Response-Code);
- – eine per Texterkennung erkennbare Zeichenfolge, insbesondere per OCR (Optical Character-Recognition);
- – ein per Bilderkennung erkennbares Merkmal;
- – ein per Mustererkennung (Pattern Matching) erkennbares Merkmal;
- – ein per Template-Matching erkennbares Merkmal.
- A machine-readable code;
- - a QR code (quick response code);
- - A recognizable by text recognition string, in particular by OCR (Optical Character Recognition);
- A feature recognizable by image recognition;
- A feature recognizable by pattern matching;
- A feature recognizable by template matching.
Der maschinenlesbare Code (zum Beispiel in Form eines QR-Code oder eines Barcodes) kann durch eine geeignete Erkennungs- oder Auswertungssoftware erkannt und decodiert werden. In bekannter Weise können derartige Codes Identifizierungsinformationen erhalten (zum Beispiel in Form eines Links), die eine Verknüpfung mit weiteren Inhalten ermöglichen. Im vorliegenden Fall kann somit durch Erkennen und/oder Dekodieren eines entsprechenden Codes ein Link zu dem Informationsobjekt bereitgestellt und/oder die Information vermittelt werden, welches Informationsobjekt mit dem Code verknüpft ist. Daraufhin kann dieses Informationsobjekt geladen oder ausgelesen (zum Beispiel aus dem geschilderten Server oder der Speichereinrichtung) und mittels einer der Anzeigeeinrichtungen angezeigt werden. Prinzipiell ist es aber ebenso möglich, dass ein Informationsobjekt (zum Beispiel in Form eines Textes) unmittelbar in einem derartigen maschinenlesbaren Code codiert ist.The machine-readable code (for example in the form of a QR code or a bar code) can be recognized and decoded by suitable recognition or evaluation software. In a known manner, such codes can receive identification information (for example in the form of a link) which enable a link to other contents. In the present case, by recognizing and / or decoding a corresponding code, a link to the information object can thus be provided and / or the information can be conveyed, which information object is linked to the code. Thereupon, this information object can be loaded or read out (for example, from the described server or storage device) and displayed by means of one of the display devices. In principle, however, it is also possible that an information object (for example in the form of a text) is coded directly in such a machine-readable code.
Ein Vorteil von QR-Codes ist, dass diese aufwandsarm erstellt werden können (zum Beispiel per kostenloser Software) und/oder mittels herkömmlicher Drucker ausgedruckt werden können. Daraufhin können sie an den relevanten Inhalten oder Objekten platziert werden. Ein Demonstrator kann somit ohne signifikante Kosten oder gerätetechnischen Aufwand optisch erkennbare Merkmale selbst erstellen und platzieren. Der QR-Code kann allgemein gemäß jeglichem gängigen Standard definiert sein, zum Beispiel als Micro-QR-Code oder Secure-QR-Code.An advantage of QR codes is that they can be created with little effort (for example, by free software) and / or can be printed out using conventional printers. They can then be placed on the relevant content or objects. A demonstrator can thus create and place visually identifiable features without significant costs or equipment expense. The QR code may generally be defined according to any standard, for example, as a micro QR code or secure QR code.
Für die Bilderkennung, Mustererkennung und/oder Template-Matching können vordefinierte Konturen, Kanten- oder Farbverläufe, Muster, Bildvorlagen oder andere optische Eigenschaften als optisch erkennbare Merkmale vordefiniert sein (zum Beispiel durch den Demonstrator). Diese können dann mittels herkömmlicher Bildauswertealgorithmen auf Basis der Erfassungsdaten der Erfassungsdaten ermittelt bzw. darin erkannt werden.For image recognition, pattern recognition and / or template matching, predefined contours, edge or color gradients, patterns, image templates or other optical properties can be predefined as visually recognizable features (for example by the demonstrator). These can then be determined by means of conventional image evaluation algorithms on the basis of the detection data of the detection data or detected therein.
Die Texterkennung kann zum Beispiel dazu eingesetzt werden, um im Bereich der Windschutzscheibe eines Fahrzeugs angebrachte Fahrzeugidentifikationsnummern automatisch zu erkennen und einzulesen.For example, text recognition can be used to automatically detect and read in vehicle identification numbers applied to the windshield of a vehicle.
Gemäß einer weiteren Ausführungsform des Verfahrens und der Anordnung sind die Erfassungsdaten und/oder wenigstens ein Informationsobjekt, das auf der zweiten Anzeigevorrichtung angezeigt wird, aufzeichenbar, zum Beispiel über einen Zeitraum, bei dem sowohl die erste als auch die zweite Anzeigevorrichtung aktiviert ist und/oder bei dem Erfassungsdaten an die zweite Anzeigeeinrichtung ausgegeben werden. According to a further embodiment of the method and the arrangement, the detection data and / or at least one information object displayed on the second display device can be recorded, for example over a period in which both the first and the second display device is activated and / or in which detection data is output to the second display device.
Die gleichzeitige Aktivierung der Anzeigevorrichtungen und insbesondere eine etwaige Datenübertragung hierzwischen deuten darauf hin, dass ein Kommunikationsvorgang oder eine sogenannte Kommunikationsession zwischen dem Demonstrator und einem Interessenten stattfindet. Unter einem Aufzeichnen kann allgemein ein Abspeichern der entsprechenden Daten verstanden werden. Insbesondere können die Erfassungsdaten als Videodatei abgespeichert werden. Die Informationsobjekte können separat hiervon abgespeichert werden oder aber derart, dass diese mit den Erfassungsdaten (bzw. dem darauf basierend angezeigten Video) überlagert werden können. Insbesondere können die Anzeigeinhalte der ersten und/oder der zweiten Anzeigeeinrichtung einschließlich der darauf angezeigten Informationsobjekte aufzeichenbar sein.The simultaneous activation of the display devices, and in particular any data transfer therebetween, indicates that a communication process or so-called communication session is taking place between the demonstrator and a prospective customer. A recording can generally be understood as a storage of the corresponding data. In particular, the acquisition data can be stored as a video file. The information objects may be stored separately therefrom or else in such a way that they can be overlaid with the acquisition data (or the video displayed thereon). In particular, the display contents of the first and / or the second display device, including the information objects displayed thereon, can be recordable.
Diese Varianten ermöglichen, dass die aufgezeichneten Daten anschließend dem Interessenten zur Verfügung gestellt werden können, um diese noch einmal nachzuvollziehen. Anders ausgedrückt kann somit auch in einem Offlinemodus die stattgefundene Demonstration noch einmal betrachtet werden. Dies kann auch durch Interessenten erfolgen, die nicht unmittelbar an der eigentlichen Demonstration beteiligt waren, sondern die aufgezeichneten Inhalte zum Beispiel in einem per Internet zugänglichen Videoportal abrufen möchten. Auch auf diese Weise wird eine vorstehend bereits erwähnte 1:n-Kommunikation ermöglicht.These variants allow the recorded data to be subsequently made available to the interested party in order to understand it again. In other words, even in an offline mode, the demonstration that has taken place can be considered again. This can also be done by interested parties who are not directly connected to the actual But would like to retrieve the recorded content, for example, in an Internet-accessible video portal. Also in this way, a previously mentioned 1: n communication is made possible.
Insbesondere kann in diesem Zusammenhang vorgesehen sein, ein Protokoll zu erstellen, das mittels einer grafischen Benutzeroberfläche darstellbar und/oder bedienenbar ist. Das Protokoll kann basierend auf den aufgezeichneten Erfassungsdaten und/oder angezeigten Informationsobjekten vorzugsweise zeitlich geordnete Informationen über den Verlauf und/oder die Ereignisse einer stattgefundenen Kommunikation zwischen dem Träger und dem Interessenten zusammenfassen. Beispielsweise können entlang einer Zeitachse Videosequenzen, Audiomitschnitte, angezeigte Informationsobjekte, ausgetauschte Textnachrichten oder Sprachmitteilungen markiert oder angezeigt und gemäß ihren jeweils dazugehörigen Zeitpunkten geordnet werden.In particular, it may be provided in this context to create a protocol that can be displayed and / or operated by means of a graphical user interface. The protocol may preferably summarize, based on the recorded acquisition data and / or displayed information objects, time-ordered information about the course and / or the events of an established communication between the carrier and the prospective customer. By way of example, video sequences, audio recordings, displayed information objects, exchanged text messages or voice messages can be marked or displayed along a time axis and arranged according to their respectively associated times.
Allgemein können die erweiterte-Realität-Vorrichtung und die zweite Anzeigevorrichtung zumindest mittelbar über ein echtzeitfähiges Kommunikationssystem (oder Kommunikationsnetzwerk) verbunden oder verbindbar sein, insbesondere wobei das Kommunikationssystem für eine Kommunikation auf Basis eines WebRTC-Protokolls eingerichtet ist. Das Kommunikationssystem kann zumindest teilweise kabelgebunden und/oder zumindest teilweise drahtlos ausgebildet sein. Ferner kann das Kommunikationssystem eine Speichereinrichtung und/oder einen Server umfassen, wobei die Speichereinrichtung und/oder der Server sowohl mit der erweiterte-Realität-Vorrichtung also mit der zweiten Anzeigeeinrichtung verbunden sein können.In general, the augmented reality device and the second display device may be at least indirectly connected or connectable via a real-time communication system (or communication network), in particular wherein the communication system is adapted for communication based on a WebRTC protocol. The communication system may be at least partially wired and / or at least partially wireless. Furthermore, the communication system may include a memory device and / or a server, wherein the memory device and / or the server may be connected to both the augmented reality device and the second display device.
Das WebRTC-Protokoll (Web Real-TimeCommunication) betrifft einen offenen und vom World Wide Web Consoritum (W3C) vorangetriebenen Standard, der eine Sammlung von Kommunikationsprotokollen und Programmierschnittstellen (API) definiert. Hierdurch kann ermöglicht werden, dass eine Echtzeitkommunikation über Rechner-Rechner-Verbindungen mittels Webservern ermöglicht wird. Entsprechend zu verbindende Rechner können sowohl von der erweiterte-Realität-Vorrichtung zum Beispiel in Form eines Prozessors, als auch im Zusammenhang mit der zweiten Anzeigeeinrichtung bereitgestellt werden (zum Beispiel in Form eines PCs oder Mobilgeräts, welche die zweite Anzeigeeinrichtung umfassen).The Web Real-Time Communication (WebRTC) protocol refers to an open standard promoted by the World Wide Web Consor- tium (W3C) that defines a collection of communication protocols and programming interfaces (APIs). This makes it possible to enable real-time communication via computer-computer connections by means of web servers. Correspondingly connectable computers can be provided both by the augmented reality device, for example in the form of a processor, and in connection with the second display device (for example in the form of a PC or mobile device comprising the second display device).
Gemäß einer weiteren Ausführungsform des Verfahrens und der Anordnung ist die erweiterte-Realität-Vorrichtung über ein (zum Beispiel lokales) nicht-öffentliches Kommunikationsnetzwerk mit einem Server verbunden, wobei der Server über ein (zum Beispiel globales) öffentliches Kommunikationsnetzwerk zugänglich ist und insbesondere eine Kommunikationsverbindung mit der zweiten Anzeigeeinrichtung ermöglicht. Die Kommunikationsnetzwerke können wiederum zumindest teilweise kabelgebunden und/oder zumindest teilweise kabellos ausgebildet sein.According to a further embodiment of the method and the arrangement, the augmented reality device is connected to a server via a (for example local) non-public communication network, the server being accessible via a (for example global) public communication network and in particular a communication connection enabled with the second display device. The communication networks may in turn be at least partially wired and / or at least partially wireless.
Bei dem nicht-öffentlichen Kommunikationsnetzwerk kann es sich um ein IP-basiertes Netzwerk handeln. Allgemein kann das nicht-öffentliche Kommunikationsnetzwerk als ein WLAN- oder Ethernet-Netzwerk und/oder das öffentliche Kommunikationsnetzwerk als das Internet realisiert sein. Das nicht-öffentliche Kommunikationsnetzwerk kann über eine Zugangseinrichtung (zum Beispiel in Form eines (z. B. DSL-) Modems) mit dem öffentlichen Kommunikationsnetzwerk verbindbar sein. Die erweiterte-Realität-Vorrichtung kann, sofern sie mit dem nicht-öffentlichen Kommunikationsnetzwerk verbunden ist, automatisch und vorzugsweise zyklisch Daten an einen Server übermitteln und/oder von diesem erhalten. Der Server kann sowohl mit dem nicht-öffentlichen also mit dem öffentlichen Kommunikationsnetzwerk verbunden sein, sich aber prinzipiell außerhalb des öffentlichen Kommunikationsnetzwerkes befinden (d. h. räumlich getrennt hiervon).The non-public communication network may be an IP-based network. In general, the non-public communication network may be implemented as a WLAN or Ethernet network and / or the public communication network as the Internet. The non-public communication network can be connectable to the public communication network via an access device (for example in the form of a (eg DSL) modem). The augmented reality device, if connected to the non-public communication network, can automatically and preferably cyclically transmit and / or receive data to and from a server. The server may be connected to both the non-public and the public communications network, but in principle may be located outside the public communications network (i.e., physically separate therefrom).
Insbesondere kann die erweiterte-Realität-Vorrichtung eindeutig kennzeichnende Daten und/oder Merkmale (oder, anders ausgedrückt, eindeutig kennzeichnende Identifikationsmerkmale) an den Server übermitteln, sodass eine Tunnelverbindung (oder allgemein eine gesicherte Verbindung) aufgebaut werden kann. Bei den Daten bzw. Merkmalen kann es sich zum Beispiel um eine MAC-Adresse der erweiterte-Realität-Vorrichtung handeln. Ferner können die Daten und/oder Merkmale mittels der Zugangseinrichtung von dem nicht-öffentlichen Kommunikationsnetzwerk an das öffentliche Kommunikationsnetzwerk und/oder den Server übertragen werden.In particular, the augmented-reality device may transmit uniquely identifying data and / or features (or, in other words, uniquely identifying identifiers) to the server so that a tunnel connection (or generally a secure connection) may be established. The data or features may be, for example, a MAC address of the augmented reality device. Furthermore, the data and / or features can be transmitted by the access device from the non-public communication network to the public communication network and / or the server.
Der Server kann die übertragenen kennzeichnenden Daten und/oder Merkmale einem Nutzerkonto zuordnen und somit einen externen Zugriff auf die erweiterte-Realität-Vorrichtung durch diesen Nutzer ermöglichen. Allgemein kann der Server auch anderen nicht in das nicht-öffentliche Kommunikationsnetzwerk eingebunden computerbasierten Einrichtungen (zum Beispiel anderen PCs oder Mobilgeräten) einen Zugriff auf die erweiterte-Realität-Vorrichtung ermöglichen, insbesondere nachdem eine Zugangsberechtigung auf Basis des geschilderten Nutzerkontos ermöglicht wurde.The server may associate the transmitted indicative data and / or features with a user account and thus allow external access to the augmented reality device by that user. In general, the server may also allow other non-public communication network-integrated computer-based devices (eg, other personal computers or mobile devices) to access the augmented reality device, particularly after allowing access based on the described user account.
Ferner kann vorgesehen sein, das eindeutig kennzeichnende Daten und/oder Merkmale mittels eines maschinenlesbaren Codes (zum Beispiel einem QR-Code) codiert sind. Dieser Code kann mittels der erweiterte-Realität-Vorrichtung in der vorstehend geschilderten Weise erkannt und dekodiert werden, woraufhin ein mit der erweiterte-Realität-Vorrichtung verknüpftes Nutzerkonto identifiziert und/oder eine Tunnelverbindung zu dem Server automatisch aufgebaut werden kann.Furthermore, it can be provided that clearly characterizing data and / or features are coded by means of a machine-readable code (for example a QR code). This code can be accessed using the advanced reality device in the can be recognized and decoded above, whereupon a user account associated with the augmented reality device can be identified and / or a tunnel connection to the server can be established automatically.
Das Herstellen einer Tunnelverbindung kann allgemein eine Voraussetzung dafür sein, dass die geschilderten Kommunikationsvorgänge zwischen einem Demonstrator und Interessenten ermöglicht werden, insbesondere das Erkennen von weiteren maschinenlesbaren Codes und darauf basierendes Laden und/oder Austauschen von Informationsobjekten.The establishment of a tunnel connection can generally be a prerequisite for enabling the described communication processes between a demonstrator and interested parties, in particular the recognition of further machine-readable codes and loading and / or exchanging of information objects based thereon.
Wie geschildert, betreffen mögliche Anwendungsszenarien des Verfahrens ein Immobilienverkaufsgespräch, ein Anlagenverkaufsgespräch, ein Maschinenverkaufsgespräch, ein Medizintechnikverkaufsgespräch oder ein Sportartikelverkaufsgespräch, die jeweils in Echtzeit bzw. online ausgeführt werden können. Ebenso kann ein Träger der erweiterte-Realität-Vorrichtung einen Interessenten und vorzugsweise mehrere Interessenten (siehe vorstehende 1:n-Kommunikation) über ein bestimmtes Thema, Objekt oder Inhalt unterrichten. Insbesondere kann auf diese Weise eine Schulung im Bereich Immobilien, Anlagen, Maschinen, Medizingeräte, Sportartikel oder dergleichen in Echtzeit durchgeführt werden. As described, possible application scenarios of the method include a real estate sales talk, an investment sales talk, a machine sales talk, a medical technology sales talk, or a sporting goods sales talk, each of which may be executed in real time or online. Likewise, a bearer of the augmented reality device may notify a prospective customer, and preferably several prospects (see the above 1: n communication) about a particular topic, object, or content. In particular, in this way, a training in real estate, equipment, machinery, medical devices, sporting goods or the like can be performed in real time.
Die Erfindung betrifft ferner eine Anordnung, mit: einer am Kopf tragbaren erweiterte-Realität-Vorrichtung, die eine optische Erfassungseinrichtung und eine erste Anzeigeeinrichtung umfasst, die dazu eingerichtet ist, in einem Blickfeld eines Trägers der erweiterte-Realität-Vorrichtung Informationsobjekte anzuzeigen; wenigstens einem vorbestimmten optisch erkennbaren Merkmal, das in einer Umgebung der erweiterte-Realität-Vorrichtung angeordnet ist und mit dem wenigstens ein vorbestimmtes Informationsobjekt assoziiert ist; und
wenigstens eine zweite Anzeigeeinrichtung, die räumlich getrennt von der erweiterte-Realität-Vorrichtung positioniert oder positionierbar ist;
wobei die Anordnung dazu eingerichtet ist:
- – die Umgebung mittels der Erfassungseinrichtung zu erfassen und darauf basierend Erfassungsdaten zu erzeugen;
- – die Erfassungsdaten an die zweite Anzeigeeinrichtung zu übertragen oder auszugeben;
- – das optisch erkennbare Merkmal anhand der Erfassungsdaten zu erkennen; und
- – wenigstens ein Informationsobjekt, das mit dem optisch erkennbaren Merkmal assoziiert ist, mittels der ersten Anzeigeeinrichtung anzuzeigen.
at least one second display device positioned or positionable spatially separate from the augmented reality device;
the arrangement being arranged:
- To detect the environment by means of the detection device and to generate detection data based thereon;
- To transmit or output the detection data to the second display device;
- - to recognize the optically recognizable feature based on the detection data; and
- - Display at least one information object associated with the optically recognizable feature by means of the first display device.
Bevorzugt ist das optisch erkennbare Merkmal an einem von dem Träger zu erläuternden Objekt angebracht oder anbringbar und die Informationsobjekte dienen dazu, den Träger über das Objekt zu informieren.Preferably, the optically recognizable feature is attached or attachable to an object to be explained by the wearer, and the information objects serve to inform the wearer of the object.
Die Vorrichtung kann jegliche Weiterbildung und jegliches weitere Merkmal umfassen, um sämtliche der vorstehenden oder nachstehenden Schritte, Betriebszustände und Funktionen bereitzustellen oder auszuführen. Insbesondere kann die Vorrichtung dazu eingerichtet sein, ein Verfahren gemäß jeglichem der vorstehenden oder nachstehenden Aspekte auszuführen. Ferner kann die Anordnung zum Ausführen der aufgelisteten Maßnahmen geeignete Rechen-, Steuer- und/oder Prozessoreinrichtungen umfassen. Diese können in der erweiterte-Realität-Vorrichtung und/oder in einer Einrichtung bereitgestellt sein, welche die zweite Anzeigeeinrichtung umfasst. The apparatus may comprise any further development and any further feature to provide or carry out all of the above or below steps, operating conditions and functions. In particular, the device may be configured to perform a method according to any of the preceding or following aspects. Furthermore, the arrangement for carrying out the listed measures may comprise suitable computing, control and / or processor devices. These may be provided in the augmented reality device and / or in a device comprising the second display device.
Im Folgenden werden Ausführungsformen der Erfindung anhand der beigefügten schematischen Figuren erläutert. In Ihrer Art und/oder Funktion übereinstimmende Merkmale können dabei ausführungsformübergreifend mit den gleichen Bezugszeichen versehen sein. Es stellen dar:Embodiments of the invention will be explained below with reference to the attached schematic figures. Characteristics which match each other in their type and / or function can be provided with the same reference numerals throughout the execution form. They show:
In
Die Anordnung
Die Person
Ferner umfasst die ER-Brille
In dem Verkaufsraum ist ferner eine optionale Computereinrichtung
Die Computereinrichtung
Der Interessent
Im Rahmen der vorliegenden Offenbarung und auch losgelöst von den weiteren Details der gezeigten Ausführungsbeispiele kann der Raum
Bei dem gezeigten Beispiel ist vorgesehen, dass Erfassungsdaten der Erfassungseinrichtung
Auf dem nicht dargestellten Server sind ferner Informationsobjekte gespeichert, die mit einem nachfolgend erläuterten maschinenlesbaren Code
Bei dem maschinenlesbaren Code
Der QR-Code stellt allgemein ein optisch erkennbares Merkmal
Alternativ oder zusätzlich könnte auch der Umriss des Gemäldes und/oder Motive innerhalb des Gemäldes als eine Bildvorlage oder als ein Muster hinterlegt worden sein, wobei Letztere wiederum optisch erkennbaren Merkmale
Der QR-Code enthält einen Link, einen Verweis, eine identifizierende Angabe und/oder eine Verknüpfung auf ein mit dem QR-Code assoziiertes Informationsobjekte
Bevorzugt kann die ER-Brille
Ein möglicher Anzeigeninhalt der Anzeigeeinrichtung
Der Träger
Dabei kann auch vorgesehen sein, dass nicht für sämtliche der Informationsobjekte
Wenn der Träger
In
Zusätzlich erkennt man drei untere weitere Informationsobjekte
Optional kann der Träger
Mittels der gezeigten Anordnung
In diesem Zusammenhang stellt auch das Verwenden eines QR-Codes einen zusätzlichen Vorteil bereit, da dieser besonders schnell dekodiert werden kann. Der Träger
Die Erfassungsdaten und/oder sämtliche angezeigten Informationsobjekte
In
Stattdessen unterscheidet sich das Ausführungsbeispiel der
Die ER-Brille
Das lokale Netzwerk
Sofern die ER-Brille
Im gezeigten Fall ist der Server
Zusammengefasst kann somit eine verschlüsselte Echtzeit-Kommunikationsverbindung zwischen der ER-Brille
Auf dem Server
Als Resultat können Daten können über die bereitgestellte Tunnelverbindung von dem Server
Alternativ oder zusätzlich zu einer etwaigen MAC-Adressen können kennzeichnende Identifikationsmerkmale auch durch einen QR-Code kodiert sein, der mittels der ER-Brille
Über den Server
Übergeordnet (und auch unabhängig von den weiteren Details der geschilderten Ausführungsbeispiele) kann im Rahmen des Verfahren und der Anordnung vorgesehen sein, dass eine direkte Authentifizierung der ER-Brille
Alternativ zu dem geschilderten Laden voraussichtlich relevanter Informationsobjekte
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018201711.5A DE102018201711B4 (en) | 2018-02-05 | 2018-02-05 | Arrangement and method for providing information in a head-portable augmented reality device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018201711.5A DE102018201711B4 (en) | 2018-02-05 | 2018-02-05 | Arrangement and method for providing information in a head-portable augmented reality device |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102018201711A1 true DE102018201711A1 (en) | 2018-03-22 |
DE102018201711B4 DE102018201711B4 (en) | 2020-07-02 |
Family
ID=61302555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018201711.5A Active DE102018201711B4 (en) | 2018-02-05 | 2018-02-05 | Arrangement and method for providing information in a head-portable augmented reality device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018201711B4 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020126693B3 (en) | 2020-10-12 | 2021-12-16 | Audi Aktiengesellschaft | Method and server system for coupling a terminal of a user with data glasses of a communication device of a conversation partner |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19953739C2 (en) | 1999-11-09 | 2001-10-11 | Siemens Ag | Device and method for object-oriented marking and assignment of information to selected technological components |
DE10153511A1 (en) | 2001-10-30 | 2002-09-19 | Siemens Ag | Service system with multimedia dialog to expert center has technician's video spectacles, preferably with microphone and earphones, that send image in his field of view to expert center |
DE10159610B4 (en) | 2001-12-05 | 2004-02-26 | Siemens Ag | System and method for creating documentation of work processes, especially in the area of production, assembly, service or maintenance |
DE102005061211B4 (en) | 2004-12-22 | 2023-04-06 | Abb Schweiz Ag | Method for creating a human-machine user interface |
US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
JP4933164B2 (en) | 2005-07-01 | 2012-05-16 | キヤノン株式会社 | Information processing apparatus, information processing method, program, and storage medium |
US9665985B2 (en) * | 2014-08-15 | 2017-05-30 | Daqri, Llc | Remote expert system |
EP3214586A1 (en) | 2016-03-04 | 2017-09-06 | Thales Deutschland GmbH | Method for maintenance support and maintenance support system |
-
2018
- 2018-02-05 DE DE102018201711.5A patent/DE102018201711B4/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020126693B3 (en) | 2020-10-12 | 2021-12-16 | Audi Aktiengesellschaft | Method and server system for coupling a terminal of a user with data glasses of a communication device of a conversation partner |
WO2022078674A1 (en) | 2020-10-12 | 2022-04-21 | Audi Ag | Method and server system for coupling a terminal of a user to smart glasses of a communication device of a call partner |
Also Published As
Publication number | Publication date |
---|---|
DE102018201711B4 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10159610B4 (en) | System and method for creating documentation of work processes, especially in the area of production, assembly, service or maintenance | |
DE10006126B4 (en) | Portable computer in a process control environment | |
EP1362281A2 (en) | User-controlled link of information within an augmented reality system | |
CN105681920A (en) | Network teaching method and system with voice recognition function | |
EP1659473A1 (en) | Method and user device for the reproduction of a file | |
DE102015006664A1 (en) | System and method for processing value documents | |
EP1252769B1 (en) | System and method for diffusing image objects | |
EP1198957A1 (en) | Method and corresponding devices for delivering useful data concerning observed objects | |
DE102018201711B4 (en) | Arrangement and method for providing information in a head-portable augmented reality device | |
DE202022101131U1 (en) | Intelligent management system for online technical learning and training based on information literacy | |
DE112017006881T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM | |
Gibb | What impact is implementing a quality system having on the vocational education and training classroom? | |
CH716082A1 (en) | Procedure for user identification. | |
DE112019005601T5 (en) | INFORMATION PROCESSING DEVICE AND METHOD AND PROGRAM | |
EP1560140A1 (en) | Method and system for electronic interaction in a network | |
DE102018213556A1 (en) | Method and system for operating at least two display devices worn on the head by respective vehicle occupants | |
WO2018036663A1 (en) | Changing a display of a reality for information purposes | |
KR102590652B1 (en) | Method for providing online learning, certificating and issuing management using kit | |
DE102022117511A1 (en) | System and method for training and further training of employees using a wearable computer (HMD) and a hand-held device (HHD) | |
DE102004061932B3 (en) | Human-machine interface system for automation system operating panel, has camera which detects steganographic information, and processing unit which converts to information that can be evaluated | |
DE102004050188B4 (en) | Method for protected transmission of image and / or sound data | |
CN109523433A (en) | Police Education Training Methodology based on Internet technology | |
DE202022103940U1 (en) | System for training and further education of employees using a wearable computer (HMD) and a hand-held device (HHD) | |
EP3859581A1 (en) | Computer-implemented authorization method | |
DE4402140A1 (en) | Imaging of objects by digital computer-controlled video camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R230 | Request for early publication | ||
R082 | Change of representative |
Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER MBB, DE |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |