DE102016118647A1

DE102016118647A1 - Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung

Info

Publication number: DE102016118647A1
Application number: DE102016118647.3A
Authority: DE
Inventors: Dominik Schnieders; Petr Ledl
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2016-09-30
Filing date: 2016-09-30
Publication date: 2018-04-05
Anticipated expiration: 2036-10-01
Also published as: WO2018059934A1; EP3520354B1; EP3520354A1; DE102016118647B4

Abstract

Die Offenbarung betrifft ein Augmented-Reality-(AR)-Kommunikationssystem (100), mit: einer AR-Interaktionsvorrichtung (101), welche ausgebildet ist, Realitätsdaten (102) aufzunehmen; einem Backendcomputerserver (105), welcher ausgebildet ist, zumindest einen Teil der Realitätsdaten (102) zu verarbeiten, um Augmented-Reality-(AR)-Daten (104) bereitzustellen; und einem Echtzeit-Weitverkehrsnetzwerk (WVN) (103), welches zwischen der AR-Interaktionsvorrichtung (101) und dem Backendcomputerserver (105) eingebunden ist, wobei das Echtzeit-WVN ausgebildet ist, den zumindest einen Teil der aufgenommenen Realitätsdaten (102) an den Backendcomputerserver (105) zu übermitteln und die AR-Daten (104) in Echtzeit an die AR-Interaktionsvorrichtung (101) zurückzusenden, wobei die AR-Interaktionsvorrichtung (101) ausgebildet ist, einem Nutzer (107) der AR-Interaktionsvorrichtung (101) Informationen (106) auf der Basis von den Realitätsdaten (102), welche mit den AR-Daten (104) angereichert sind, bereitzustellen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft ein Augmented-Reality-(AR)-Kommunikationssystem mit einer AR-Interaktionsvorrichtung, einem Echtzeit-Weitverkehrsnetzwerk (WVN) und einem Backendcomputerserver für die Verarbeitung von Realitätsdaten, um AR-Daten bereitzustellen. Die Offenbarung betrifft ferner eine AR-Interaktionsvorrichtung und ein Verfahren für die Bereitstellung von AR-Informationen für einen Nutzer.
HINTERGRUND
Augmented-Reality (AR) ist eine direkte oder indirekte Live-Ansicht einer physischen Real-Welt-Umgebung, deren Elemente durch computergenerierte sensorische Beiträge, wie Ton, Video, Abbildungen oder GPS-Daten erweitert (oder unterstützt) werden. Es betrifft ein allgemeineres Konzept, vermittelte Realität genannt, in welcher eine Ansicht der Realität durch einen Computer modifiziert (möglichweise sogar vermindert anstatt erweitert) wird. Die Technologie funktioniert somit durch Erweitern jemandes gegenwärtiger Wahrnehmung der Realität. Im Gegensatz ersetzt eine virtuelle Realität die reale Welt mit einer Simulierten.
Eine AR-Brille ist ein Beispiel für ein Augmented-Reality-Gerät. Diese AR-Brillen können mit einer Videokamera und Sensoren wie ein Beschleunigungsmesser, GPS (Global Positioning System) und Kompass ausgerüstet sein, um einem Nutzer, welcher die AR-Brille trägt, Unterstützung während der Ausführung von Alltagsaktivitäten zu geben. Die AR-Brillen benötigen eine Batterie für die Stromversorgung der elektronischen Komponenten der AR-Brille. Aktuell kann diese AR-Brille für die Stromversorgung der AR-Brille eigenständig oder, falls notwendig, in Kombination mit einem Mobiltelefon, Fahrzeugelektronik, etc. betrieben werden. Die AR-Brille kann über Kabel mit dem Mobiltelefon, der Fahrzeugelektronik oder einem externen Energieversorgungskasten verbunden sein, um die AR-Brille zu laden. In der eigenständigen Version ist ein großes Batteriepaket notwendig, um das Laden der AR-Brille zu unterstützen. Dieses Batteriepaket weist ein hohes Gewicht und eine begrenzte Lebensdauer von aktuell ungefähr 30 Minuten, bevor ein Wiederaufladen notwendig ist, auf. Außerdem, macht es die Konstruktion der AR-Brille klobig, sodass der Nutzer vom Tragen der Brille zurückgehalten wird. In der kabelgebundenen Lösung, in welcher die AR-Brille per Kabel mit einem Energieversorgungskasten verbunden ist, muss der externe Energieversorgungskasten an der Brille angebracht sein oder von dem Nutzer getragen werden. Das Kabel stört den Benutzer durch mögliches Verschlingen mit anderen Objekten, insbesondere beim Fahren eines Autos.
BESCHREIBUNG DER ERFINDUNG
Es ist die Aufgabe der Erfindung eine Lösung für ein AR-Gerät, beispielsweise eine AR-Brille bereitzustellen, welche die zuvor beschriebenen Probleme vermeidet, insbesondere ein AR-Gerät bereitstellt, welches weniger Leistung als aktuell verfügbare AR-Geräte verbraucht.
Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Weitere Ausführungsformen ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und den Figuren.
Eine einfache Idee der Erfindung ist die Verlagerung der Verarbeitung der Realitätsdaten (zumindest einen Teil) von dem AR-Gerät zu einem Backendcomputerserver, um das AR-Gerät von den leistungsintensiven Aufgaben zu befreien. Eine derartige Verlagerung der Verarbeitungsaufgaben schont die Batterie des AR-Geräts, sodass sich längere Bereitschaftszeiten ergeben. Die Verlagerung wird durch ein Weitverkehrsnetzwerk mit niedriger Latenz realisiert, beispielsweise ein 5G-Netzwerk, welches eine Echtzeit-Übertragung zwischen dem AR-Gerät und dem Backendcomputerserver, beispielsweise eine Übertragung mit einer Höchstdauer von ungefähr 10 Millisekunden, garantiert.
Um die Erfindung im Detail zu beschreiben, werden die folgenden Begriffe, Abkürzungen und Notationen benutzt:

AR: Augmented Reality

WVN: Weitverkehrsnetzwerk

5G: Mobilfunknetz der fünften Generation

LTE Long Term Evolution
Verfahren und Vorrichtungen beschreiben entsprechend der Offenbarung Augmented-Reality-(AR)-Vorrichtungen, insbesondere AR-Brillen. AR-Brillen können in „see-through“-Brillen und „look-to“-Brillen unterschieden werden. Im Folgenden werden „see-through“-Brillen näher beschrieben. AR-Brillen überlagern virtuelle Bild- oder Abbildungselemente mit der Realweltansicht. Das virtuelle Bild entspricht dem räumlichen Bild gemäß einer Kontaktanalogie und Anzeige in Tiefe. Oft gibt es einen Bezug zwischen virtuellem Bild und dem realen Bild.
In einem Automobilkontext können AR-Brillen während des Fahrens benutzt werden. AR-Brillen können Gegenstand der folgenden Anwendungsfälle oder Anwendungsszenarien sein:

– Ersetzen eines (großflächigen) Head-Up-Displays, da der Platz in einem Fahrzeug aufgrund von Platz in dem Armaturenbrett sehr begrenzt ist (Sichtfeld, Größe der Anzeige).
– Anzeige von Geschwindigkeit, Warnmeldungen, Karteneinsätze, Unterhaltung, Infotainment, etc.
– Röntgenstrahlen: Schauen durch die Karosserie wie mit einem Röntgenblick; Benutzung von Kameras, komplexe Berechnungen für abweichende Parallaxe (Kameravektor, Kopfposition, Augenrichtungsvektor).
– Nebelsicht.
– Kontaktanalogie
– Navigation: Platziere Pfeile auf der Straße, sodass diese direkt dort auf den Umlenkpunkt zeigen, wo Sie abbiegen müssen. Spurfärbung von dem einen Weg (wie ein roter Teppich), welcher zum Ziel führt.
– PoI (Punkte von Interesse): Anrufsignal, Markierung, etc. für PoI (individuell anpassbar, in Abhängigkeit von Interessen, zum Beispiel Tankstellen, Sehenswürdigkeiten).
– Relevante Fahrinformationen kennzeichnen (FAS): vorausfahrendes Fahrzeug, welches mit ACC erfasst wird, freies Parken, der Parkplatz; Mobilitätsdienste: Fahrzeug, Markierung eines freien Parkplatzes symbolisiert durch eine Hand von oben; Gefahrenstellen (Stau, Glätte, Laub, Spurbeschränkungen, etc.); gefährliche Fahrsituationen/Warnungen/Information: Risiko von Kollisionen mit anderen Fahrzeugen, Verkehrsteilnehmer (Kreuzungsassistent, Abbiege-Assistent, Spurwechselassistent, Fußgängermarkierung, Radfahrer, etc.); Informationen, die nicht in dem Sensorsystem des Ego-fahrzeugs sind, können in dem Fahrzeug erfasst werden (Erweiterung des elektronischen Horizonts über mobile/C2C Kommunikation); Was ist voraus, beispielsweise vorausfahrende Laster, hinter Kurven, Nebelsicht, Geisterfahrer.
– Revolution Innenraum; Ersatz von Bildschirmen Instrumenten und Steuerungen wie Knöpfe/Schalter, virtuelle Überlagerung von Informationen/Steuerungen; Bedienung wird über die Kamerabrille & Steuerung Signalübertragung erkannt.

In einem Zusammenhang außerhalb des Fahrzeugs aber in Zusammenwirkung mit dem Fahrzeug können AR-Brillen den folgenden Anwendungsfällen oder Anwendungsszenarien unterliegen: Reparatur/Instandhaltung/Informationen/Ausbildung; Datenbrillen mit kontaktanalogen Anweisungen/Informationen/insbesondere online für eine sehr große Datenbank; Fußgängernavigation, siehe oben für Varianten, kontaktanalog; PoI (siehe oben); relevante Informationen „Mobilitätsassistent“ anzeigen, zum Beispiel Warnung vor Fahrzeugen, etc. (siehe oben, nur umgekehrt für Fußgänger).
In einem nicht-automobilen Zusammenhang können AR-Brillen ohne Fahrzeug benutzt werden. AR-Brillen können natürlich für viele Fälle ohne Fahrzeug benutzt werden, insbesondere wenn der Nutzer in der Realität agiert und zusätzliche Informationen und bestenfalls Kontaktanalogie benötigt. AR-Brillen können den folgenden Anwendungsfällen oder Anwendungsszenarien unterliegen:

– Medizin: medizinischer Verband, Tabletten, Operationen, etc.
– Kochen: Essenszubereitung, Schneiden, Zutaten hinzufügen.
– Privatkunde: Konstruktion/Installation aller Dinge, Schrank, Zelt, etc.
– Monteur: Aufbau Maschine, Heizung, etc.; Wartung Maschine, Heizung, etc.; Reparatur Maschine, Heizung, etc.
– Spielen in Realität (insbesondere geringe Latenzzeiten wichtig)
– Virtuelle Konferenzen (insbesondere geringe Latenzzeit für Bildübertragung wichtig)
– Viele, viele Weitere.

AR-Brillen können genutzt werden, um folgende Aufgaben zu lösen: Kopfverfolgung, Augenverfolgung (optional), Bildverarbeitung, Berechnung eines neuen anzuzeigenden Bildes, beispielsweise ein flaches Bild (2D) oder ein dimensionales Bild (3D) mit zwei Gläsern, Rendern eines neuen Bilds.
AR-Brillen können die folgenden Bestandteile enthalten: Optik (virtuelles Bild), Kamera, mitunter Infrarotsensoren (Infrarotmarker in der Realität), mitunter passive/aktive Infrarotreflektoren in Brillen (bei Outside-In Kopfverfolgungsmethode), 9-Achsen-Intertialsensoren: Gyro, Beschleuniger, Magnetometer, WiFi, Bluetooth Low Energy (BLE), Elektronik: Leiterplatte (PCB) mit Mikroprozessor (uP), GPU, I/O, Sensorsysteme, etc., Batterie, Gehäuse, Spezialgläser (speziell geschliffen für das Auskoppeln des Bildes an jeweiliger Stelle in der Brille).
Gemäß einem ersten Aspekt betrifft die Erfindung ein Augmented-Reality-(AR)-Kommunikationssystem, mit: einer AR-Interaktionsvorrichtung, welche ausgebildet ist, Realitätsdaten aufzunehmen; einem Backendcomputerserver, welcher ausgebildet ist, zumindest einen Teil der Realitätsdaten zu verarbeiten, um Augmented-Reality-(AR)-Daten bereitzustellen; und ein Echtzeit-Weitverkehrsnetzwerk (WVN), welches zwischen der AR-Interaktionsvorrichtung und dem Backendcomputerserver eingebunden ist, wobei das Echtzeit-WVN ausgebildet ist, den zumindest einen Teil der aufgenommenen Realitätsdaten an den Backendcomputerserver zu übermitteln und die AR-Daten in Echtzeit an die AR-Interaktionsvorrichtung zurückzusenden, wobei die AR-Interaktionsvorrichtung ausgebildet ist, einem Nutzer der AR-Interaktionsvorrichtung Informationen auf der Basis von den Realitätsdaten, welche mit den AR-Daten angereichert sind, bereitzustellen.
Solch ein AR-Kommunikationssystem hat den Vorteil, dass komplexe Verarbeitungsaufgaben an den Backendcomputerserver ausgelagert werden können, sodass in der AR-Interaktionsvorrichtung Energie gespart wird. Daher kann die Interaktionsvorrichtung mit einem kleineren Batteriepaket realisiert werden oder eine Ladung des Batteriepakets hält länger oder höhere Verarbeitungsaufgaben können in der AR-Interaktionsvorrichtung implementiert werden. Dies wird durch Benutzen eines Echtzeit-Weitverkehrsnetzwerks (WVN) realisiert, welches geringe Latenzzeiten garantiert, welche für alle Verarbeitungsaufgaben in der Interaktionsvorrichtung, beispielsweise AR-Brillen, AR-Mobilgeräte, AR-Smartphones, Virtuelle-Realität-Geräte oder andere AR-Geräte notwendig sind. Auf Grund des Weitverkehrsnetzwerkdatentransfers können Hochverarbeitungsleistungscomputerserver und/oder Computerserversysteme benutzt werden, welchen es möglich ist, Verarbeitungsaufgaben in Bruchteilen einer Millisekunde oder sogar Mikrosekunde zu lösen.
In einer Ausführungsform des AR-Kommunikationssystems ist das WVN ein Mehrsprungnetzwerk mit mehreren Netzwerkknoten (beispielsweise Router und Gateways, etc.) in einem Netzwerkpfad zwischen der AR-Interaktionsvorrichtung und dem Backendcomputerserver.
Dadurch wird der Vorteil erreicht, dass das Weitverkehrsnetzwerk ein großes geographisches Gebiet umfasst, zum Beispiel eine Datenverbindung zwischen Städten oder zwischen verschiedenen Ländern, daher kann Back-End-Leistung weltweit genutzt werden, falls es für die Verarbeitung einer komplexen Verarbeitungsaufgabe des AR-Geräts notwendig ist.
In einer Ausführungsform weist das AR-Kommunikationssystem ein 5G-Kommunikationsnetzwerk, welches zwischen der AR-Interaktionsvorrichtung und dem Backendcomputerserver zur Umsetzung eines Echtzeit-WVN eingebunden ist, auf.
Das 5G-Kommunikationsnetzwerk ermöglicht extrem niedrige Latenzzeiten, kleiner als eine Millisekunde. Dies kann genutzt werden, um ein Ultraniedrig-Latenzzeit-WVN zu verwirklichen, welches Echtzeitübertragung und Echtzeitverarbeitung von komplexen Berechnungsaufgaben in dem Backendserver ermöglicht.
In einer Ausführungsform des AR-Kommunikationssystems ist das Echtzeit-WVN ein Niedriglatenzzeitdatennetzwerk mit einer Latenzzeit in einem Bereich von ungefähr 1 Millisekunde bis zu ungefähr 10 Millisekunden.
Ein solches Niedriglatenzzeitdatennetzwerk ermöglicht eine neue Aufteilung von Aufgaben zwischen dem AR-Gerät und dem Backendcomputerserver. Verschieben von der Verarbeitung der Realitätsdaten (zumindest teilweise) von dem AR-Gerät zu dem Backendcomputerserver befreit das AR-Gerät von leistungsintensiven Verarbeitungsaufgaben und schont daher die Batterie des AR-Geräts, woraus sich längere Bereitschaftszeiten ergeben.
In einer Ausführungsform des AR-Kommunikationssystems umfasst die AR-Interaktionsvorrichtung eine Steuerung, welche ausgebildet ist, die Übertragung zumindest eines Teils der aufgenommenen Realitätsdaten an den Backendcomputerserver zu steuern und den Empfang der zurückgesandten AR-Daten zu steuern, und die Steuerung ist ferner ausgebildet, das Bereitstellen von Informationen für den Benutzer auf der Basis von den Realitätsdaten, welche mit AR-Daten angereichert sind, zu steuern.
Eine solche Steuerung erreicht den Vorteil, dass eine anwendungsspezifische Zuweisung von Verarbeitungsaufgaben entweder zu dem AR-Gerät oder dem Backendcomputerserver bereitgestellt werden kann. Die Steuerung kann steuern, welche Aufgaben dem Backendcomputerserver bereitgestellt werden.
In einer Ausführungsform des AR-Kommunikationssystems umfasst die AR-Interaktionsvorrichtung einen Prozessor, welcher ausgebildet ist, die aufgenommenen Realitätsdaten vorzuverarbeiten, bevor sie dem Backendcomputerserver bereitgestellt werden und/oder die zurückgesendeten AR-Daten nachzuverarbeiten bevor sie dem Nutzer bereitgestellt werden.
Ein solcher Prozessor erreicht den Vorteil, dass nur hochkomplexe Verarbeitungsaufgaben für die Verarbeitung von Realitätsdaten, beispielsweise Bildverarbeitungsalgorithmen oder Kodierungsalgorithmen, an den Backendcomputerserver ausgelagert werden, während niederkomplexe Verarbeitungsaufgaben von dem AR-Gerät ausgeführt werden können.
In einer Ausführungsform des AR-Kommunikationssystems weist die AR-Interaktionsvorrichtung eine AR-Brille auf, welche ausgebildet ist, ein Realbild aufzunehmen und das Realbild, erweitert durch ein virtuelles Bild, welches durch den Backendcomputerserver, basierend auf dem Realbild, bereitgestellt wird, für den Nutzer bereitzustellen.
Dadurch wird der Vorteil erreicht, dass die oben beschriebenen Anwendungsfälle für die AR-Brille, insbesondere Anwendungsfälle bezüglich der Echtzeitdatenverarbeitung, Echtzeitnavigation, Echtzeitröntgen, Echtzeitfahrassistenz, Echtzeitkopfverfolgung, Echtzeitkochen, Echtzeitspielen, Echtzeitreparatur von Maschinen, Echtzeitoperationen, etc. auf dem AR-Kommunikationssystem realisiert werden können.
In einer Ausführungsform des AR-Kommunikationssystems umfasst die AR-Brille einen Bildschirm, welcher ausgebildet ist, das Realbild, erweitert durch ein virtuelles Bild, als AR-Bild anzuzeigen.
Dies erreicht den Vorteil, dass der Nutzer die mit nützlichen Assistenzinformationen auf dem Bildschirm angereicherte reale Welt wahrnehmen kann, um eine Analyse der Wahrnehmung zu ermöglichen.
In einer Ausführungsform des AR-Kommunikationssystems weist die AR-Brille einen Prozessor auf, welcher ausgebildet ist, das Realbild basierend auf der Merkmalsextraktion vorzuverarbeiten und die extrahierten Merkmale für den Backendcomputerserver bereitzustellen, und der Prozessor ferner ausgebildet ist, das AR-Bild, bevor es auf dem Bildschirm dargestellt wird, zu rendern.
Dadurch wird der Vorteil erreicht, dass die Vorverarbeitung und die Nachverarbeitung die Menge der an den Backendcomputerserver zu transferierenden Daten reduzieren kann.
In einer Ausführungsform des AR-Kommunikationssystems ist der Backendcomputerserver ausgebildet, das Realbild in Bezug auf eine Kopf- und Körperverfolgung zu verarbeiten, um ein stabiles AR-Bild bereitzustellen.
Dadurch wird der Vorteil erreicht, dass die Interaktionsvorrichtung, insbesondere die AR-Brille vom sehr komplexen Berechnen von Kopf- und Körperverfolgung befreit werden kann. Daher kann ein stabiles AR-Bild am Bildschirm mit geringer Verarbeitungsleistung in der AR-Brille bereitgestellt werden.
In einer Ausführungsform des AR-Kommunikationssystems ist der Backendcomputerserver ausgebildet, die Realitätsdaten unter Einsatz mindestens eines der folgenden Werkzeuge zu verarbeiten: Bilderkennungswerkzeuge, Bilddatenverarbeitungswerkzeuge, Bildmarkierwerkzeuge, Künstliche-Intelligenz-Werkzeuge, Datenbankwerkzeuge, Satellitennavigationswerkzeuge.
Dadurch wird der Vorteil erreicht, dass das AR-Gerät vom Erzeugen von Ressourcen, welche für diese verschiedenen Verarbeitungsaufgaben bestimmt sind, befreit ist.
In einer Ausführungsform des AR-Kommunikationssystems umfassen die aufgenommenen Realitätsdaten mindestens eines der nachfolgenden Daten: Datenströme, Datenabtastwerte, Videoströme, Einzelbilder, Ultraschallströme, Infrarotströme, Temperaturdaten, Druckdaten, Gyroskopdaten, Beschleunigungsmesserdaten, Magnetometerdaten.
Dadurch wird der Vorteil erreicht, dass eine Vielzahl von verschiedenen Realitätsdaten von dem AR-Gerät erreicht werden kann. Je nach Kontext kann eine unterschiedliche Verarbeitung des Backendservers durch das AR-Gerät angefragt werden.
In einer Ausführung umfasst das AR-Kommunikationssystem mindestens eine zweite AR-Interaktionsvorrichtung, welche ausgebildet ist, mindestens ein zweites Realitätsdatum aufzunehmen, wobei das Echtzeit-WVN ausgebildet ist, zumindest einen Teil des mindestens einen zweiten aufgenommenen Realitätsdatums zurück zu dem Backendcomputerserver zu übertragen, wobei der Backendcomputerserver ausgebildet ist, zumindest einen Teil des mindestens einen zweiten aufgenommenen Realitätsdatums zu verarbeiten, um zumindest ein zweites Augmented-Reality-(AR)-Datum bereitzustellen, wobei die AR-Interaktionsvorrichtung ausgebildet ist, dem Nutzer Informationen auf der Basis von den Realitätsdaten, welche mit den AR-Daten angereichert sind und zusätzlich mit zumindest einem zweiten Realitätsdatum und/oder zumindest einem zweiten AR-Datum angereichert sind, bereitzustellen.
Dadurch wird der Vorteil erreicht, dass der Nutzer mit Informationen von anderen Objekten, welche auch mit niedriger Latenzzeit über das WVN übertragen werden können, unterstützt werden kann. Daher unterstützt das AR-Kommunikationssystem eine Interaktion mit niedriger Latenzzeit mit anderen Objekten um die AR-Interaktionsvorrichtung herum. Diese Objekte können bewegliche, mit dem Nutzer der AR-Interaktionsvorrichtung interagierende Objekte sein, welcher die Interaktion synchron durch Nutzen des Niedriglatenzzeit-WVN sehen und ausführen kann. Zum Beispiel verschiedene AR-Brillen tragende Nutzer können unterstützt werden, miteinander zu interagieren, beispielsweise mit einem virtuellen oder einem über ein reales Objekt überlagerten, virtuellen Objekt.
Gemäß einem zweiten Aspekt betrifft die Erfindung eine AR-Interaktionsvorrichtung zum Bereitstellen von Augmented-Reality-(AR)-Informationen für einen Nutzer, wobei die AR-Interaktionsvorrichtung umfasst: einen Prozessor, welcher ausgebildet ist, Realitätsdaten aufzunehmen; und eine Datenschnittstelle, welche ausgebildet ist, den Prozessor mit dem Backendcomputerserver über ein Echtzeit-Weitverkehrsnetzwerk (WVN) für das Übertragen von zumindest einem Teil der Realitätsdaten zu dem Backendcomputerserver und das Empfangen von Augmented-Reality-(AR)-Daten, welche von zumindest einem Teil der Realitätsdaten in Echtzeit abgeleitet sind, zu verbinden, wobei der Prozessor ausgebildet ist, dem Nutzer Informationen auf der Basis von den Realitätsdaten, welche mit den AR-Daten angereichert sind, bereitzustellen.
Eine solche AR-Interaktionsvorrichtung erreicht den Vorteil, dass komplexe Verarbeitungsaufgaben an den Backendcomputerserver ausgelagert werden können, was Energie in der AR-Interaktionsvorrichtung einspart. Daher kann die Interaktionsvorrichtung mit einem kleineren Batteriepaket realisiert werden oder eine Ladung der Batterie hält länger oder höhere Verarbeitungsaufgaben können in der AR-Interaktionsvorrichtung realisiert werden. Dies wird durch Verbinden der AR-Interaktionsvorrichtung mit einem Echtzeit-Weitverkehrsnetzwerk (WVN), welches niedrige Latenzzeiten im Datentransfer zum Backendserver garantiert, über das Dateninterface erreicht. Durch den Weitverkehrsnetzwerkdatenverkehr können Hochverarbeitungsleistungscomputerserver und/oder Computerserversysteme, welche sich in einer geographischen Entfernung befinden, beispielsweise in einer anderen Stadt oder Land, benutzt werden, welchen es möglich ist, Verarbeitungsaufgaben in Bruchteilen einer Millisekunde oder sogar Mikrosekunde zu lösen.
In einer Ausführungsform umfasst die AR-Interaktionsvorrichtung eine AR-Brille, welche ausgebildet ist, ein Realbild aufzunehmen und das Realbild, welches durch ein virtuelles Bild erweitert ist, welches basierend auf dem Realbild durch den Backendcomputerserver bereitgestellt ist, dem Nutzer bereitzustellen.
Diese AR-Brille erreicht den Vorteil, dass die oben beschriebenen Anwendungsfälle für die AR-Brille, insbesondere Anwendungsfälle bezüglich der Echtzeitdatenverarbeitung, Echtzeitnavigation, Echtzeitröntgen, Echtzeitfahrassistenz, Echtzeitkopfverfolgung, Echtzeitkochen, Echtzeitspielen, Echtzeitreparatur von Maschinen, Echtzeitoperationen, etc. realisiert werden können.
In einer Ausführungsform der AR-Interaktionsvorrichtung ist die Datenschnittstelle ferner ausgebildet, zumindest ein zweites Realitätsdatum und/oder zumindest ein zweites AR-Datum von zumindest einer zweiten AR-Interaktionsvorrichtung zu empfangen, und der Prozessor ist ausgebildet, dem Nutzer Informationen auf der Basis von den Realitätsdaten, welche mit den AR-Daten angereichert sind und zusätzlich mit zumindest einem zweiten Realitätsdatum und/oder zumindest einem zweiten AR-Datum angereichert sind, bereitzustellen.
Dadurch wird der Vorteil erreicht, dass der Nutzer mit Informationen von anderen Objekten unterstützt werden kann, welche auch mit niedriger Latenzzeit über das WVN übertragen werden können. Daher unterstützt die AR-Interaktionsvorrichtung die Interaktion mit niedriger Latenzzeit mit anderen Objekten, beispielsweise andere, eine AR-Brille tragende Nutzer, um die AR-Interaktionsvorrichtung herum. Diese Objekte können bewegliche, mit dem Nutzer der AR-Interaktionsvorrichtung interagierende Objekte sein, welcher synchron die Interaktionen durch Nutzen des Niedriglatenzzeit-WVN sehen und ausführen kann. Zum Beispiel unterschiedliche, AR-Brillen tragende Nutzer können unterstützt werden, miteinander zu interagieren, beispielsweise mit virtuellem oder, über ein reales Objekt überlagertem, virtuellem Objekt.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Verfahren zum Bereitstellen von Augmented-Reality-(AR)-Informationen für einen Nutzer, wobei das Verfahren umfasst: Aufnehmen von Realitätsdaten durch eine AR-Interaktionsvorrichtung; Übertragen von zumindest einem Teil der aufgenommenen Realitätsdaten an den Backendcomputerserver in Echtzeit über ein Echtzeitdatennetzwerk; Verarbeiten von zumindest eines Teils der Realitätsdaten durch den Backendcomputerserver, um AR-Daten bereitzustellen; Übertragen der AR-Daten zu der AR-Interaktionsvorrichtung in Echtzeit über ein Echtzeitdatennetzwerk; und Bereitstellen von Informationen für einen Nutzer auf der Basis von den Realitätsdaten, welche mit den AR-daten erweitert sind.
Durch Nutzen eines solchen Verfahrens kann das Verarbeiten der Realitätsdaten (zumindest teilweise) von der AR-Interaktionsvorrichtung zu dem Backendcomputerserver verschoben oder ausgelagert werden, um das AR-Gerät von leistungsintensiven Verarbeitungsaufgaben zu entlasten. Dieses Verschieben von Verarbeitungsaufgaben spart die Batterie der AR-Interaktionsvorrichtung, woraus sich längere Bereitschaftszeiten ergeben. Das Verschieben wird durch ein Niedriglatenzzeitweitverkehrsnetzwerk, beispielsweise ein 5G-Netzwerk realisiert, welches Echtzeitübertragung zwischen dem AR-Gerät und dem Backendcomputerserver garantiert, beispielsweise ein Transfer mit einer Höchstdauer von ungefähr 10 Millisekunden.
KURZBESCHREIBUNG DER FIGUREN
Weitere Ausführungsformen der Erfindung werden mit Bezug auf die folgenden Figuren beschrieben, wobei:
1 ein schematisches Diagramm zeigt, welches gemäß einer ersten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 100 veranschaulicht.
2 zeigt ein schematisches Diagramm, welches gemäß einer zweiten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 200 veranschaulicht.
3 zeigt ein schematisches Diagramm, welches gemäß der Offenbarung ein Verfahren zum Bereitstellen von Augmented-Reality-(AR)-Informationen für einen Nutzer veranschaulicht.
4 zeigt ein schematisches Diagramm, welches gemäß einer dritten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 400 veranschaulicht.
5 zeigt ein schematisches Diagramm, welches einen beispielhaften Nachrichtenfluss 500 innerhalb von Elementen des AR-Kommunikationssystems von 4 veranschaulicht.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
In der folgenden detaillierten Beschreibung wird auf die beiliegenden Zeichnungen Bezug genommen, welche einen Teil davon bilden, und in welchen durch Veranschaulichung bestimmte Aspekte, wie die Offenbarung ausgeführt werden kann, gezeigt werden. Es wird davon ausgegangen, dass andere Aspekte verwendet werden können und strukturelle und logische Änderungen vorgenommen werden können, ohne von dem Geltungsbereich der vorliegenden Offenbarung abzuweichen. Daher ist die folgende detaillierte Beschreibung nicht einschränkend zu verstehen, und der Geltungsbereich der vorliegenden Offenbarung ist durch die beigefügten Ansprüche definiert.
Es wird davon ausgegangen, dass Bemerkungen im Zusammenhang mit einem beschriebenen Verfahren auch für ein zugehöriges Gerät oder System, welches ausgebildet ist, das Verfahren auszuführen, und umgekehrt zutreffen. Zum Beispiel wenn ein bestimmter Verfahrensschritt beschrieben wird, kann ein zugehöriges Gerät eine Einheit enthalten, welche den beschriebenen Verfahrensschritt ausführt, auch wenn eine solche Einheit nicht explizit beschrieben oder in den Abbildungen veranschaulicht ist. Des Weiteren wird davon ausgegangen, dass vorliegend beschriebene Merkmale der verschiedenen beispielhaften Aspekte, sofern nicht ausdrücklich anders angegeben, miteinander kombiniert werden können.
1 zeigt ein schematisches Diagramm, welches gemäß einer ersten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 100 veranschaulicht.
Das Augmented-Reality-(AR)-Kommunikationssystem 100 umfasst eine AR-Interaktionsvorrichtung 101, ein Echtzeit-Weitverkehrsnetzwerk (WVN) 103 und einen Backendcomputerserver 105. Die AR-Interaktionsvorrichtung 101 ist ausgebildet, Realitätsdaten 102 aufzunehmen. Der Backendcomputerserver 105 ist ausgebildet, zumindest einen Teil der Realitätsdaten 102 zu verarbeiten, um Augmented-Reality-(AR)-Daten 104 bereitzustellen. Das Echtzeit-Weitverkehrsnetzwerk (WVN) 103 ist zwischen der AR-Interaktionsvorrichtung 101 und dem Backendcomputerserver 105 eingebunden. Das Echtzeit-WVN ist ausgebildet, einen Teil der aufgenommenen Realitätsdaten 102 an den Backendcomputerserver 105 zu übermitteln und die AR-Daten 104 in Echtzeit an die AR-Interaktionsvorrichtung 101 zurückzusenden. Die AR-Interaktionsvorrichtung 101 ist ausgebildet, einem Nutzer 107 des AR-Interaktionsgeräts 101 Informationen 106 auf der Basis von den Realitätsdaten 102, welche mit den AR-Daten 104 angereichert sind, bereitzustellen.
Das WVN 103 kann ein Mehrsprungnetzwerk mit mehreren Netzwerkknoten 111, 112, z.B. Router oder Gateways in einem Netzwerkpfad 110 zwischen der AR-Interaktionsvorrichtung 101 und dem Backendcomputerserver 105 sein. In einer Ausführung kann das Echtzeit-WVN durch ein 5G-Kommunikationsnetzwerk realisiert sein, welches zwischen der AR-Interaktionsvorrichtung 101 und dem Backendcomputerserver 105 eingebunden sein kann. Das Echtzeit-WVN 103 ist ein Niedriglatenzzeitdatennetzwerk, welches eine Latenzzeit in dem Bereich von ungefähr 1 Millisekunde bis ungefähr 10 Millisekunden haben kann.
Die AR-Interaktionsvorrichtung 101 kann eine Steuerung umfassen, welche ausgebildet ist, die Übertragung zumindest eines Teils der aufgenommenen Realitätsdaten 102 an den Backendcomputerserver 105 zu steuern und den Empfang der zurückgesandten AR-Daten 104 zu steuern. Die Steuerung kann ferner ausgebildet sein, das Bereitstellen von den Informationen 106 für den Benutzer 107 auf der Basis von den Realitätsdaten 102, welche mit AR-Daten 104 angereichert sind, zu steuern.
Die AR-Interaktionsvorrichtung 101 kann einen Prozessor 203 umfassen, welcher ausgebildet ist, die aufgenommenen Realitätsdaten 102 vorzuverarbeiten, bevor sie dem Backendcomputerserver 105 bereitgestellt werden und/oder die zurückgesandten AR-Daten 104 nachzuverarbeiten, bevor sie dem Nutzer 107 bereitgestellt werden.
In einer Ausführungsform kann die AR-Interaktionsvorrichtung 101 eine AR-Brille umfassen oder sein, welche ausgebildet ist, ein Realbild 102 aufzunehmen und das Realbild 102, erweitert durch ein virtuelles Bild 104, welches durch den Backendcomputerserver 105, basierend auf dem Realbild 102, bereitgestellt wird, für den Nutzer 102 bereitzustellen. Die AR-Brille kann, wie zuvor in dem Abschnitt Hintergrund beschrieben, ausgebildet sein. Die AR-Brille kann einen Bildschirm umfassen, welcher ausgebildet ist, ein Realbild 102, erweitert durch ein virtuelles Bild 104, als AR-Bild 106 anzuzeigen. Die AR-Brille kann einen Prozessor 203 umfassen, welcher ausgebildet ist, das Realbild 102 basierend auf der Merkmalsextraktion zu vorverarbeiten und die extrahierten Merkmale für den Backendcomputerserver 105 bereitzustellen. Der Prozessor 203 kann das AR-Bild 106, bevor es auf dem Bildschirm angezeigt wird, rendern. Der Backendcomputerserver 105 kann das Realbild 102 in Bezug auf eine Kopf- und Körperverfolgung verarbeiten, um ein stabiles AR-Bild 106 bereitzustellen.
Der Backendcomputerserver 105 kann die Realitätsdaten 102 verarbeiten indem eines oder mehrere der folgenden Werkzeuge benutzt werden: Bilderkennungswerkzeuge, Bilddatenverarbeitungswerkzeuge, Bildmarkierwerkzeuge, Künstliche-Intelligenz-Werkzeuge, Datenbankwerkzeuge, Satellitennavigationswerkzeuge.
Die aufgenommenen Realitätsdaten 102 können ein oder mehrere der nachfolgenden Daten enthalten: Datenströme, Datenabtastwerte, Videoströme, Einzelbilder, Ultraschallströme, Infrarotströme, Temperaturdaten, Druckdaten, Gyroskopdaten, Beschleunigungsmesserdaten, Magnetometerdaten.
Das AR-Kommunikationssystem 100 kann ferner mindestens eine zweite AR-Interaktionsvorrichtung umfassen, welche ausgebildet ist, mindestens ein zweites Realitätsdatum aufzunehmen, wobei das Echtzeit-WVN ausgebildet ist, zumindest einen Teil des mindestens einen zweiten aufgenommenen Realitätsdatums zurück zu dem Backendcomputerserver 105 zu übertragen, wobei der Backendcomputerserver 105 ausgebildet ist, zumindest einen Teil des zumindest einen zweiten aufgenommenen Realitätsdatums zu verarbeiten, um zumindest ein zweites Augmented-Reality-(AR)-Datum bereitzustellen, wobei die AR-Interaktionsvorrichtung 101 ausgebildet ist, dem Nutzer 107 Informationen 106 auf der Basis von den Realitätsdaten 102, welche mit den AR-Daten 104 angereichert sind und zusätzlich mit zumindest einem zweiten Realitätsdatum und/oder zumindest einem zweiten AR-Datum 104 angereichert sind, bereitzustellen.
2 zeigt ein schematisches Diagramm, welches gemäß einer zweiten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 200 veranschaulicht. Das AR-Kommunikationssystem 200 entspricht dem in Bezug auf 1 oben beschriebenen AR-Kommunikationssystem 100. In 2 ist eine beispielhafte Ausführung der AR-Interaktionsvorrichtung 101 dargestellt.
Eine solche AR-Interaktionsvorrichtung 101 zum Bereitstellen von Augmented-Reality-(AR)-Informationen 106 für einen Benutzer 107 umfasst einen Prozessor 203 und eine Datenschnittstelle 205. Der Prozessor 203 ist ausgebildet, Realitätsdaten 102 aufzunehmen. Die Datenschnittstelle 205 ist ausgebildet, den Prozessor 203 mit dem Backendcomputerserver 105 über ein Echtzeit-Weitverkehrsnetzwerk (WVN) für das Übertragen von zumindest einem Teil der Realitätsdaten 102 zu dem Backendcomputerserver 105 und das Empfangen von Augmented-Reality-(AR)-Daten 104, welche von zumindest einem Teil der Realitätsdaten 102 in Echtzeit abgeleitet sind, zu verbinden. Der Prozessor 203 ist ausgebildet, dem Nutzer 107 Informationen 106 auf der Basis von den Realitätsdaten 102, welche mit den AR-Daten 104 angereichert sind, bereitzustellen.
Die AR-Interaktionsvorrichtung kann eine AR-Brille sein oder enthalten, welche ausgebildet ist, ein Realbild 102 aufzunehmen und ein Realbild 102, welches durch ein virtuelles Bild 104 erweitert ist, welches basierend auf dem Realbild 102 durch den Backendcomputerserver 105 bereitgestellt ist, dem Nutzer 107 bereitzustellen.
Im Folgenden ist eine beispielhafte Ausführung mit AR-Brille beschrieben, welche eine serverseitige Verarbeitung der Daten zur Entlastung der AR-Brille von einer Verarbeitungslast verwendet.
Datenverarbeitung der Brille kann teilweise oder komplett in das Backend/die Serverseite verlagert werden. Dies erfordert minimale Latenzzeiten in der Übertragung (z.B. 1 bis zu ein paar Millisekunden). Ein 5G-Modul kann in der Brille angeordnet sein, um diese Ultraniedriglatenzzeit zu garantieren. Die Übertragung und die Verarbeitung von Daten können in Verarbeitung von allem oder fast vollständig in dem Backend und teilweise Verarbeitung in dem Backend mit Datenvorverarbeitung in der Brille unterschieden werden.
In Bezug auf die Verarbeitung von allem oder fast vollständig in dem Backend kann Folgendes gelten: Übertragung von den „Rohdaten“ (Kameradaten) zu dem Backend; möglicherweise klug, niedrige Latenzzeit, Niedrigleistungskompression/Verringerung von Daten; Verarbeitung von Daten, um die Position des Kopfes zu bestimmen; Verarbeitung von Daten von der Umgebung, neue Position von anderen Objekten. Es ist eine Alternative gegebenenfalls, das zu überlagernde Bild zu rendern, um es zu der Brille durch Rendern des Bildes in der Brille zu übertragen; Übertragung von relevanten Daten (zum Beispiel Ändern der Kopfposition, Änderungen in Objektpositionen, etc.) Basierend auf den übertragenen Daten generiert die AR-Brille das neue Bild und rendert es.
In Bezug auf teilweise Verarbeitung in dem Backend mit Datenvorverarbeitung in der Brille, kann das Folgende gelten: Vorverarbeitung von Daten in der Brille (zum Beispiel Merkmalsextraktion); Übertragung von vorverarbeiteten Daten zu dem Backend; Verarbeitung von Daten in dem Backend; Rückübertragung des Ergebnisses zu der Brille, die AR-Brille rendert das neue Bild.
In Bezug auf die Übertragung und serverseitige Verarbeitung, kann das Folgende gelten: eine Übertragung findet dank eines 5G-Prozesses mit minimaler Latenzzeit statt; Verarbeitung in dem Backend kann mit Hochleistungscomputern erfolgen um die Verarbeitungszeit minimal zu halten; Algorithmik kann besser als in der Brille sein; Funktionalität kann besser als in der Brille (zum Beispiel Parallaxeberechnung) sein; Daten können mit sehr niedriger Leistung übertragen werden (um besser zu sein als der Energieverbrauch der Verarbeitung in der Brille); die Datenrate kann genügend hoch für eine Bildübertragung sein (vorzugsweise unkomprimiert, andernfalls mit sehr schnellen Verfahren der Bildkompression/-dekompression); Beim Verarbeiten in dem Backend kann das Verarbeiten mit künstlichen Markierungen vermieden werden; Komplexe Merkmalserkennungs-/Merkmalsextraktionswerkzeuge aus einem Videobild durch Hochleistungscomputer mit spezialisierter Bildverarbeitung möglich.
In Bezug auf serverseitige Unterstützung von AR-Brillen in dem Automobilkontext, gilt das Folgende: niedrige Latenzzeit ermöglicht Anwendungsfälle mit Brillen; schnelle Antwort auf Umweltveränderung. Die folgenden Anwendungsfälle gelten: Zum Beispiel ein Verkehrsteilnehmer benutzt oder trägt ein GPS- & 5G-Modul und signalisiert eine Position; Serverseitige Echtzeitbestimmung der Position von allen Verkehrsteilnehmern; Serverseitige Echtzeitgefahrenbestimmung (Bewegungsbahnen aller Verkehrsteilnehmer); Warnung bei kritischen Verkehrsteilnehmern. AR-Geräte und insbesondere AR-Brillen gemäß der Offenbarung reduzieren den Energieverbrauch in Brillen und anderen AR-Geräten, beispielsweise durch die folgenden Merkmale: kleinere Batterie, verringertes Gewicht (heute ungefähr 135g für AR-Brillen, das Ziel ist unter 85g), besseres Gehäuse und Konstruktion aufgrund der kleineren Batterie, Batterielaufzeit ist erheblich länger als heute (heute: ca. 20–30 Minuten), Echtzeitverarbeitung mit extrem schnellem Backend/Kommunikationsarchitektur.
Daher stellen AR-Geräte und insbesondere AR-Brillen nach der Offenbarung extrem schnelle, Niedriglatenzzeitdatenverarbeitung in dem Backend (beispielsweise Edge Computing) anstatt in der Brille, sehr geringe Latenzzeit (beispielsweise ein paar Millisekunden) bereit und bewahren eine ausreichende Datenrate. AR-Geräte und insbesondere AR-Brillen gemäß der Offenbarung weisen einen niedrigen Leistungsverbrauch (weniger als in den herkömmlichen Brillen) für Datenübertragung auf.
AR-Geräte und insbesondere AR-Brillen gemäß der Offenbarung stellen Echtzeitkopfverfolgung in dem Backend bereit. AR-Brillen zeigen externe Objekte in Echtzeit in den Brillen an. In einer Ausführung zeigt ein Nebelassistent mit AR vorausfahrende Fahrzeuge trotz dickem Nebel an. Die Position der vorstehenden Fahrzeuge wird mit einer minimalen Latenzzeit zu dem Server übertragen und dann wie oben beschrieben weiter verarbeitet. Darstellung des Brillenüberlagerungsbildes kann in dem Backend sein, beispielsweise durch Benutzen von Backend/Vorverarbeitung. Daten können zu der Brille übertragen werden und in der Brille angezeigt werden.
Echtzeitinteraktion kann, wie im Folgenden beschrieben, angewendet werden; um Hochleistungsverarbeitung in dem Backend in Echtzeit bereitzustellen: der Datenstrom oder ein einzelnes Bild von der Datenquelle kann mit minimaler Latenzzeit live über das Backend übertragen werden. Komplexe Verarbeitung von Daten wird im Hintergrund mit Hochleistungsverarbeitung/spezialisierter Software mit minimaler Verarbeitungszeit und/oder Latenzzeit durchgeführt. Übertragung des Ergebnisses zu der Brille (oder alternativ das bereits gerenderte Bild) kann wie oben beschrieben bereitgestellt werden. Die Ergebnisse können in der Brille angezeigt werden.
AR-Brillen gemäß der Offenbarung können, wie im Folgenden beschrieben, für Echtzeitchirurgie verwendet werden: Übertragung von Videoströmen von der Brille des Chirurgs zu dem Backend; Bildverarbeitung in dem Backend mit Berechnung von allen für die Operation signifikanten Parametern, beispielsweise Schnittlinie, Atmosphären insbesondere Arterien, Vorschlag/Erkennung/Prüfung von chirurgischen Instrumenten; Übertragung von dem Ergebnis an die Brille mit minimaler Latenzzeit; Darstellung in der Brille: Schnittlinie auf den Patienten überlagert, Anzeigen des korrekten chirurgischen Instruments, Markierung von gefährlichen Regionen; Notfallverfahren für „Nichtmediziner“ (vereinfacht, wie oben beschrieben);
AR-Brillen gemäß der Offenbarung können, wie im Folgenden beschrieben, für die Echtzeitreparatur von komplexen Maschinen verwendet werden: Echtzeitreparatur von komplexen Maschinen, ähnlich wie Echtzeitchirurgie, mit Anweisungen für Instandhaltung/Reparatur der Maschine, beispielsweise geeignetes Instrument, Handlung, welche mit optischer Überlagerung auf die echte Maschine ausgeführt werden soll (beispielsweise Drehbewegung an der richtigen Stelle mit dem Schraubendreher).
AR-Brillen gemäß der Offenbarung können, wie im Folgenden beschrieben, für Echtzeitspielen verwendet werden: eine Spielemaschine in dem Backend: Optimal durch Hochleistungsberechnung/Speicher; Berechnung des virtuellen Bildes des Spiels in dem Backend; minimale Latenzzeit ist notwendig (siehe auch oben).
AR-Brillen gemäß der Offenbarung können, wie im Folgenden beschrieben, für Echtzeitkochen verwendet werden: Bilderkennung in dem Backend für alle Zutaten/Arbeitsgeräte/etc.; Bildliche Überlagerung von Realität für alle Tätigkeiten während des Kochens; Viele weitere Anwendungsfälle können basierend auf diesem Prinzip bereitgestellt werden. Solche Anwendungsfälle können sowohl Experten als auch „Anfänger“ unterstützen.
Datenquellen für Echtzeitinteraktion kann, wie im Folgenden beschrieben, verwendet werden. Diese Datenquellen können verschiedene Datenquellen enthalten, beispielsweise gleichermaßen Aufnehmen für jeden Strom oder jedes Bild. Zum Beispiel Videostrom, Bilder, Ultraschallstrom, Infrarotstrom, Inertialsensoren (Gyroskop, Beschleunigungsmesser, Magnetometer), Temperatur, Druck, etc.
Ein AR-System kann daher enthalten: Datenbrillen, Backend mit Hochleistungsverarbeitung, welche nicht in den Brillen möglich ist, und minimaler Latenzzeit, welche neues Aufteilen ermöglicht. Solch ein AR-System ermöglicht das Ausnutzen der oben beschriebenen Anwendungsfälle, da Hochleistungsverarbeitung in Brillen aufgrund von begrenzten Ressourcen nicht oder nur teilweise möglich ist. Außerdem wird der Batterieverbrauch durch die Verarbeitung im Backend verringert (Kompromiss für Kapazität).
Eine solche Ausführung eines AR-Kommunikationssystems mit der oben beschriebenen AR-Brille erreicht die folgenden Vorteile: sehr kleine Latenzzeiten können in dem Gesamtsystem durch die Backendverarbeitung realisiert werden. Jedes Bild kann mit Änderungen aktualisiert werden. Zum Beispiel können die folgenden Bildeigenschaften durch Grafikverarbeitung realisiert werden: Bilder pro Sekunde (min – „max“): 25 – 60 – 100 mit tolerierbaren Latenzzeiten insgesamt in Millisekunden: 40 – 16 – 10. Dies kann durch die folgenden Merkmale erreicht werden: Kontaktanalogie (ein virtuelles Bild, das mit dem Realbild überlagert ist, wackelt oder zittert nicht, es ist weltfixiert, beispielsweise wie ein Pfosten. Im HUD ist das virtuelle Bild stabil an einer Position zu der Fahrzeugposition (beispielsweise autofixiert) und wackelt oder zittert nicht. Wackeln und/oder Zittern durch Mikrokopfbewegungen (beispielsweise durch Vibrationen des Autos, Schwankungen des Kopfes) können justiert werden. Neuzeichnen des Bildes, beispielsweise bei Drehung oder Neigung des Kopfes, muss sehr schnell sein um die Stabilität des, am Auto oder an der Welt fixierten, virtuellen Bildes zu erreichen. Der Ausgleich der Bewegungen des Kopfes oder der Bewegung des Körpers (beispielsweise in dem Auto) oder der Bewegung von Objekten außerhalb des Fahrzeugs oder der Welt, welches eine der schwierigsten, mit hoher Qualität zu erreichenden, Aufgaben ist, kann durch die Verwendung eines AR-Systems gemäß der Offenbarung gelöst werden.
Ein anderer Aspekt betrifft die, wie im Folgenden beschriebene, Interaktion von verschiedenen AR-Interaktionsvorrichtungen.
Die Datenschnittstelle 205 kann ferner zweite Realitätsdaten oder zweite AR-Daten von einer zweiten AR-Interaktionsvorrichtung empfangen. Der Prozessor 203 kann dem Nutzer 107 Informationen 106 auf der Basis von den Realitätsdaten 102, welche mit den AR-Daten 104 angereichert sind und zusätzlich mit den zweiten Realitätsdaten oder den zweiten AR-Daten angereichert sind, bereitstellen. Hierzu kann der Nutzer mit Informationen von anderen Objekten, welche auch mit niedriger Latenzzeit über das WVN übertragen werden können, unterstützt werden. Beispielsweise unterstützt die AR-Interaktionsvorrichtung eine Interaktion mit niedriger Latenz mit anderen Objekten, beispielsweise anderen, AR-Brillen tragenden, Nutzern in der Umgebung der AR-Interaktionsvorrichtung. Diese Objekte können zum Beispiel bewegliche Objekte sein, welche mit dem Nutzer der Interaktionsvorrichtung interagieren, welcher synchron eine Interaktion durch Nutzung des Niedriglatenzzeit-WVN sehen und ausführen kann. Beispielsweise verschiedene AR-Brillen tragende Nutzer werden unterstützt; miteinander zu interagieren, beispielsweise mit einem virtuellen oder, über ein reales Objekt überlagerten, virtuellen Objekt.
Gemäß diesem oben beschriebenen Aspekt wird die niedrige Latenzzeit und die Beteiligung des Backendes durch Bereitstellen von Informationen von anderen Objekten (auch mit geringer Latenzzeit übertragen) für den Benutzer der AR-Interaktionsvorrichtung unterstützt. Im Folgenden sind beispielhafte Realisierungen beschrieben.
Wenn der Nutzer mit seinem Auto in dem Nebel fährt, kann er die Autos vor ihm nicht sehen. Das AR-Interaktionssystem gemäß der Offenbarung ermöglicht dem Benutzer, dass die Autos vor ihm (oder andere Objekte) ihre hochpräzise Position, Beschleunigung, Autotyp, Streckenführung, etc. mit 5G zu dem Backendserver übermitteln. In dem Backendserver kann diese Information erweitert werden oder direkt zu dem AR-Interaktionsgerät des Nutzers, beispielsweise seiner AR-Brille gesendet werden (wieder mit 5G- oder Echtzeit-WVN). Mit dieser Information ist es möglich, das virtuelle Bild von dem anderen Auto an der richtigen Position zu zeichnen. Damit kann eine AR-„Nebelsicht“ erreicht werden. Es ist das Konzept, mit geringer Latenzzeit mit anderen Objekten um den Nutzer herum zu interagieren (diese Objekte können mit dem Realzeit-WVN beweglich sein). In einer weiteren Ausführung können zwei, AR-Brillen mit geringer Latenzzeit tragende, Personen mit einem virtuellen oder virtuell überlagerten realen Objekt, interagieren, welche synchron die Interaktionen sehen und ausführen können. Beispielsweise ermöglicht das AR-Interaktionssystem eine Niedriglatenzzeitinteraktion mit/von verschiedenen Objekten und AR-Brillen tragenden (oder AR-Interaktionsvorrichtungen nutzende) Personen.
Die AR-Interaktionsvorrichtungen können eine Vielzahl von verschiedenen Geräten, beispielsweise AR-Brillen und andere wie oben beschrieben umfassen. Zum Beispiel kann eine AR-Interaktionsvorrichtung ein AR-Gerät mit beispielsweise Wearables sein, welche dem Nutzer beispielsweise beim Führen helfen. Zum Beispiel zwei Armhandgelenke, welche dem Benutzer einen Impuls geben/vibrieren, um ihn durch einen Raum zu navigieren. Dies ist mit einem Niedriglatenzzeitnetzwerk insbesondere dem WVN oder 5G-Netzwerk und Wearables als AR-Ersatz möglich. Dies kann ein Führer sein, welcher den Nutzer an die Hand nimmt und ihn entlang seines Weges führt.
Dies bedeutet, dass andere AR-Eingabe-/-Ausgabegeräte mit niedriger Latenzzeit mit der eigenen AR-Interaktionsvorrichtung verbunden werden können. Die Vorteile von niedriger Latenzzeit mit Backendberechnen sind die gleichen wie für die oben beschriebenen AR-Brillenausführungen. Aber natürlich können die AR-Interaktionsvorrichtungen unterschiedlich sein.
3 zeigt ein schematisches Diagramm, welches gemäß der Offenbarung ein Verfahren zum Bereitstellen von Augmented-Reality-(AR)-Informationen für einen Nutzer veranschaulicht.
Das Verfahren 300 umfasst Aufnehmen 301 von Realitätsdaten durch eine AR-Interaktionsvorrichtung, beispielsweise eine wie oben in Bezug auf 1 und 2 beschriebene AR-Interaktionsvorrichtung 101. Das Verfahren 300 umfasst Übertragen 302 von mindestens einem Teil der aufgenommenen Realitätsdaten zu einem Backendcomputerserver, beispielsweise ein wie oben in Bezug auf 1 und 2 beschriebener Server 105, in Echtzeit über ein Echtzeitweitverkehrsnetzwerk (WVN), beispielsweise durch Nutzen eines wie oben in Bezug auf 1 und 2 beschriebenes Echtzeit-WVN. Das Verfahren 300 umfasst Verarbeiten 303 von mindestens einem Teil der Realitätsdaten durch den Backendcomputerserver, um AR-Daten, beispielsweise wie oben in Bezug auf 1 und 2 beschrieben, bereitzustellen. Das Verfahren 300 umfasst Übertragen 304 von AR-Daten zu der AR-Interaktionsvorrichtung in Echtzeit über ein Echtzeitdatennetzwerk, beispielsweise wie oben in Bezug auf 1 und 2 beschrieben. Ferner umfasst das Verfahren Bereitstellen 305 von Informationen für den Nutzer auf der Basis von den Realitätsdaten, welche mit den AR-daten erweitert sind, beispielsweise wie oben in Bezug auf 1 und 2 beschrieben. Das Verfahren 300 kann in einem System 100, 200, 400 wie in Bezug zu 1, 2, und 4, 5 beschrieben, implementiert werden.
4 zeigt ein schematisches Diagramm, welches gemäß einer dritten möglichen Ausführung ein Augmented-Reality-(AR)-Kommunikationssystem 400 veranschaulicht.
Das System 400 ist in drei Teile unterteilt, einen AR- und Peripherieausrüstungsteil 410, ein Hochdynamik-AR-Berechnungsteil 420 und einen Niedrigdynamik- und kontextabhängigen AR-Berechnungsteil 430. Der erste Teil 410 ist mit dem zweiten Teil 420 über eine Ultraniedriglatenzzeit-(UNL)-Drahtlosnetzwerkverbindung 440 mit einer Latenzzeit von ungefähr einer Millisekunde verbunden. Der zweite Teil 420 ist mit dem dritten Teil 430 über eine BH/FH-Schnittstellenverbindung 450 mit einer Latenzzeit kleiner als sechs Millisekunden verbunden. In dem ersten Teil 410 des Systems sind die verschiedenen AR-Benutzerausrüstungen (BA) 413, 411, 415 angeordnet, jeweils ein entsprechendes Modem 414, 412, 416 zu verwenden, um die AR-BA 413, 411, 415 mit der UNL-Drahtlosnetzwerkverbindung 440 zu verbinden. Zusätzlich können Objekte 417, beispielsweise Kameras, Autos, Personen oder Sensoren in dem ersten Teil 410 angeordnet sein, wobei jedes Einzelne ein entsprechendes Modem 418 für die Verbindung zu der UNL-Drahtlosverbindung 440 aufweist.
Der zweite Systemteil 420 umfasst eine Mehrzahl von Zellenstandorten 421, 425, wobei jeder eine Funkzelle 422, 426 umfasst, beispielsweise eine Basisstation zum Empfangen von Daten, beispielsweise wie oben in Bezug auf 1 und 2 beschriebene Realitätsdaten 102, von den Modems 414, 412, 416, 418 und zum Senden von verarbeiteten Daten, beispielsweise wie oben in Bezug auf 1 und 2 beschriebenen AR-Daten 104, an die Modems 414, 412, 416, 418. Jedem Zellenstandort 421, 425 ist eine zentrale Verarbeitungseinheit (CPU) 423, 427 und ein Speichergerät 424, 428, beispielsweise eine Datenbank, beispielsweise mit der jeweiligen Funkzelle 422, 426 zugeordnet, um die von dem Zellenstandort 412, 425 von dem jeweiligen AR-BA 413, 411, 415 oder der anderen Objekte 417 empfangenen Daten zu verarbeiten. Die CPUs und Speichergeräte stellen Mittel für die Hochdynamik-AR-Berechnung mit ultraniedriger Latenzzeit der Empfangsdaten bereit, beispielsweise innerhalb einer Millisekunde und um die AR-Daten an die AR-BAs 413, 411, 415 und die anderen Objekte 417 innerhalb der gleichen Latenzzeit zurückzugeben. Die CPUs können zum Verarbeiten von Realitätsdatendekompression, Einzelbildverarbeitung, Positions- und Orientierungsschätzung, Bildverarbeitung und Überlagerungsbildgenerierung, Bilddateiverpackung und Kompression von AR-Daten, benutzt werden.
Der dritte Systemteil 430 umfasst einen Netzwerkaggregationspunkt oder -knoten 431 mit einem Berechnungsleistungsgerät 432 und ein zugehöriges Massenspeichergerät. Der Netzwerkaggregationspunkt 431 ist über die BH/FH-Schnittstelle mit den verschiedenen Zellenstandorten 412, 425 des zweiten Systemteils 420 verbunden, um Berechnungen zu unterstützen. Das Berechnungsleistungsgerät 432 stellt Mittel für die Niedrigdynamik- und kontextabhängige AR-Berechnung innerhalb der niedrigen Latenzzeit von ungefähr weniger als sechs Millisekunden bereit. Das Berechnungsleistungsgerät 432 kann zum Beispiel für das Durchführen von Niedrigdynamik- und/oder kontextabhängigen AR-Berechnungsaufgaben, beispielsweise Kontextaktualisierungsverarbeitung und Positions- und Orientierungsschätzung genutzt werden.
5 zeigt ein schematisches Diagramm, welches einen beispielhaften Nachrichtenfluss 500 innerhalb von Elementen des AR-Kommunikationssystems von 4 veranschaulicht.
In der AR-BA1 413 kann ein solcher Nachrichtenfluss Einzelbildaufnahme 511 und Kompression 512 vor dem Übertragen des komprimierten Bildes über die UNL-Drahtlosverbindung 440 zu dem ersten Zellenstandort 421 umfassen. Der Nachrichtenfluss in AR-BA1 413 kann einen Positionssensoreingang 513 und das Übertragen dieser Positionssensordaten über die UNL-Drahtlosverbindung 440 zu dem ersten Zellenstandort 421 umfassen. Der Nachrichtenfluss in AR-BA1 413 kann ferner Dekomprimierung 515 von AR-Daten, welche über die UNL-Drahtlosverbindung 440 von dem ersten Zellenstandort 421 empfangen wurden, und Darstellen 514 dieser AR-Daten umfassen.
In Zellenstandort 1 421 kann der Nachrichtenfluss Dekomprimierung 551 von Daten, welche von dem Kompressionsmodul 512 der ARBA1 413 empfangen wurden, und Bereitstellen dieser dekomprimierten Daten für ein Einzelbildverarbeitungsmodul 552 umfassen. Ausgabedaten von dem Einzelbildverarbeitungsmodul 552 werden einem Positions-/Orientierungsschätzungsmodul 535, welches auch Daten von dem Positionssensoreingangsmodul 513 empfängt, um die Position und die Orientierung der AR-BA1 413 zu schätzen, bereitgestellt. Die Ausgabe von diesem Positions-/Orientierungsschätzungsmodul 535 wird einem Verarbeitungs- und Überlagerungsbildgenerierungsmodul 545 bereitgestellt, um das Bild mit einem Überlagerungsbild zu erweitern. Die Ausgabe von Modul 545 wird zusammen mit der Ausgabe von Modul 552 einem Einzelbildverpackungsmodul 555 bereitgestellt, um Einzelbildverpackung und Weiterleitung der verpackten Daten zu einem Kompressionsmodul 556 durchzuführen, welches diese Daten für die Übertragung über eine UNL-Drahtlosverbindung 440 zu einem Dekompressionsmodul 515 der AR-BA1 413 komprimiert.
Ein externes Objekt 1 530 umfasst ein Externes-Objekt-Eingangsmodul 531, welches Eingangsdaten, beispielsweise wie oben in Bezug auf 1 und 2 beschriebene Realitätsdaten 102, empfängt. Die Eingangsdaten werden in dem Kompressionsmodul 532 komprimiert und über die UNL-Drahtlosverbindung 440 und die BH/FH-Verbindung 450 zu dem Netzwerkaggregationsstandort 431 übertragen. Positionsdaten, welche von dem Positionssensoreingangsmodul 553 erfasst werden, werden auch über die UNL-Drahtlosverbindung 440 und die BH/FH-Verbindung 450 zu dem Netzwerkaggregationsstandort 431 übertragen.
Der Netzwerkaggregationsstandort 431 umfasst ein Dekompressionsmodul 573 zum Dekomprimieren von Daten, welche von dem Kompressionsmodul 532 vom externen Objekt 1 geliefert werden, ein Verarbeitungsmodul 572 für die Verarbeitung dieser dekomprimierten Daten, ein Positions-/Orientierungsschätzungsmodul 574 für die Bestimmung einer Position und/oder Orientierung basierend auf den Positionsdaten, welche von dem Positionssensoreingangsmodul 553 von dem externen Objekt 1 empfangen werden und ein Kontextaktualisierungsmodul 572 für die Aktualisierung von Kontext basierend auf den von dem Verarbeitungsmodul 572 und dem Positions-Orientierungsschätzungsmodul 574 bereitgestellten Daten. Die Kontextaktualisierung wird über die BH/FH-Verbindung 450 zu dem Verarbeitungs- & Überlagerungsbildgenerierungsmodul 545 von Zellenstandort 1 übertragen, um das verarbeitete Bild mit Informationen bezüglich des externen Objektes 1 und die, von dem externen Objekt 1 empfangenen, Positions-/Orientierungsdaten zu erweitern.
Die hier beschriebenen Verfahren, Systeme und Vorrichtungen können als elektrische und/oder optische Schaltungen innerhalb eines Chips oder eines integrierten Schaltkreises oder eines applikationsspezifischen integrierten Schaltkreises (ASIC) realisiert sein. Die Erfindung kann in digitalen und/oder analogen elektrischen und optischen Schaltkreisen implementiert werden.
Die hier beschriebenen Verfahren, Systeme und Vorrichtungen können als Software in einem digitalen Signalprozessor (DSP), in einem Mikrocontroller oder in einem anderen Nebenprozessor oder als Hardwareschaltkreis in einem anwendungsspezifischen Schaltkreis (ASIC) von einem digitalen Signalprozessor (DSP) realisiert sein.
Die Erfindung kann in digitalen elektronischen Schaltungen oder in Computerhardware, Firmware, Software oder in Kombinationen dieser, beispielsweise in verfügbarer Hardware von konventionellen optischen Sende-Empfangsgeräten oder in neuer Hardware, welche für die hier beschriebenen Verarbeitungsverfahren bestimmt ist, realisiert sein.
Die vorliegende Offenbarung unterstützt auch ein Computerprogrammprodukt, welches computerausführbaren Quelltext oder computerausführbare Anweisungen umfasst, welche, wenn ausgeführt, mindestens einen Computer dazu veranlassen, die hier beschriebenen Ausführungs- und Verarbeitungsschritte, insbesondere das wie oben in Bezug auf 3 beschriebene Verfahren 300, und die wie oben in Bezug auf die 1 bis 5 beschriebenen Verfahren auszuführen. Ein solches Computerprogrammprodukt kann ein lesbares nicht-vorübergehendes Speichermedium, in welchem ein Programmcode gespeichert ist, umfassen, um von einem Computer benutzt zu werden. Der Programmcode kann, das wie oben beschrieben Verfahren 300, ausführen.
Während ein bestimmtes Merkmal oder Aspekt der Offenbarung in Bezug auf nur eine von mehreren Ausführungen offenbart sein kann, kann ein solches Merkmal oder Aspekt mit einem oder mehreren Merkmalen oder Aspekten der anderen Ausführungen kombiniert werden, falls dies gewünscht und vorteilhaft für jedwede gegebene oder spezielle Anwendung ist. Darüber hinaus, soweit die Begriffe „enthalten“, „hat“, „mit“ oder andere Varianten davon entweder in der detaillierten Beschreibung oder den Ansprüchen verwendet werden, sind diese Begriffe in einschließender Weise, ähnlich zu dem Begriff „umfassen“, vorgesehen. Außerdem sind die Begriffe „beispielhaft“, „zum Beispiel“ und „z.B.“ lediglich als ein Beispiel anstatt als Bestes oder Optimales gedacht. Der Begriff „verbunden“ und „gekoppelt“, zusammen mit Ableitungen können benutzt worden sein. Es sollte davon ausgegangen werden, dass diese Begriffe benutzt wurden, um anzugeben, dass zwei Aspekte zusammenarbeiten oder miteinander interagieren, unabhängig davon, ob sie in direktem physischen oder elektrischen Kontakt stehen, oder sie sind nicht in direktem Kontakt miteinander.
Obwohl bestimmte Aspekte vorliegend veranschaulicht und beschrieben wurden, wird es von jenen mit gewöhnlichen Fähigkeiten in dem Fach geschätzt werden, dass eine Vielzahl von alternativen und/oder äquivalenten Ausführungen für bestimmte gezeigte und beschriebene Aspekte ersetzt werden können, ohne von dem Geltungsbereich der vorliegenden Offenbarung abzuweichen. Diese Anmeldung sieht vor alle Anpassungen oder Variationen von den bestimmten, hier besprochenen Aspekten abzudecken.
Obwohl die Bestandteile in den folgenden Ansprüchen in einer bestimmten Folge mit entsprechender Kennzeichnung beschrieben sind, sind diese Bestandteile nicht notwendigerweise vorgesehen oder darauf beschränkt in dieser bestimmten Folge ausgeführt zu werden, es sei denn die Anspruchsbeschreibung setzt eine bestimmte Folge für die Ausführung einiger oder aller Bestandteile voraus.
Viele Alternativen, Modifikationen und Variationen werden dem Fachmann unter Berücksichtigung der vorstehenden Lehre naheliegend sein. Natürlich erkennen Fachleute, dass zahlreiche Anwendungen der Erfindung über die hier Beschriebenen hinausgehen. Während die vorliegende Erfindung in Bezug auf eine oder mehrere bestimmte Ausführungsformen beschrieben wurde, erkennen Fachleute, dass viele Veränderungen daran vorgenommen werden können ohne von dem Geltungsbereich der vorliegenden Erfindung abzuweichen. Es ist daher zu verstehen, dass in dem Geltungsbereich der angehängten Ansprüche und ihrer Äquivalenten die Erfindung auf andere Art ausgeführt werden kann als hier konkret beschrieben.

Claims

Augmented-Reality-(AR)-Kommunikationssystem (100), mit: einer AR-Interaktionsvorrichtung (101), welche ausgebildet ist, Realitätsdaten (102) aufzunehmen; einem Backendcomputerserver (105), welcher ausgebildet ist, zumindest einen Teil der Realitätsdaten (102) zu verarbeiten, um Augmented-Reality-(AR)-Daten (104) bereitzustellen; und einem Echtzeit-Weitverkehrsnetzwerk (WVN) (103), welches zwischen der AR-Interaktionsvorrichtung (101) und dem Backendcomputerserver (105) eingebunden ist, wobei das Echtzeit-WVN ausgebildet ist, den zumindest einen Teil der aufgenommenen Realitätsdaten (102) an den Backendcomputerserver (105) zu übermitteln und die AR-Daten (104) in Echtzeit an die AR-Interaktionsvorrichtung (101) zurückzusenden, wobei die AR-Interaktionsvorrichtung (101) ausgebildet ist, einem Nutzer (107) der AR-Interaktionsvorrichtung (101) Informationen (106) auf der Basis von den Realitätsdaten (102), welche mit den AR-Daten (104) angereichert sind, bereitzustellen.
AR-Kommunikationssystem (100) nach Anspruch 1, wobei das WVN (103) ein Mehrsprungnetzwerk mit mehreren Netzwerkknoten (111, 112) in einem Netzwerkpfad (110) zwischen der AR-Interaktionsvorrichtung (101) und dem Backendcomputerserver (105) ist.
AR-Kommunikationssystem (100) nach Anspruch 1 oder 2, mit: einem 5G-Kommunikationsnetzwerk, welches zwischen der AR-Interaktionsvorrichtung (101) und dem Backendcomputerserver (105) zur Umsetzung eines Echtzeit-WVN (103) eingebunden ist.
AR-Kommunikationssystem (100) nach einem der vorstehenden Ansprüche, wobei das Echtzeit-WVN (103) ein Niedriglatenzzeitdatennetzwerk ist, welches eine Latenzzeit in einem Bereich von ungefähr 1 Millisekunde bis ungefähr 10 Millisekunden hat.
AR-Kommunikationssystem (100) nach einem der vorstehenden Ansprüche, wobei die AR-Interaktionsvorrichtung (101) eine Steuerung umfasst, welche ausgebildet ist, die Übertragung zumindest eines Teils der aufgenommenen Realitätsdaten (102) an den Backendcomputerserver (105) zu steuern und den Empfang der zurückgesandten AR-Daten (104) zu steuern, wobei die Steuerung ferner ausgebildet ist, das Bereitstellen von den Informationen (106) für den Benutzer (107) auf der Basis von den Realitätsdaten (102), welche mit AR-Daten (104) angereichert sind, zu steuern.
AR-Kommunikationssystem (100, 200) nach einem der vorstehenden Ansprüche, wobei die AR-Interaktionsvorrichtung (101) einen Prozessor (203) umfasst, welcher ausgebildet ist, die aufgenommenen Realitätsdaten (102) vorzuverarbeiten, bevor sie dem Backendcomputerserver (105) bereitgestellt werden und/oder die zurückgesandten AR-Daten (104) nachzuverarbeiten, bevor sie dem Nutzer (107) bereitgestellt werden.
AR-Kommunikationssystem (100, 200) nach einem der vorstehenden Ansprüche, wobei die AR-Interaktionsvorrichtung (101) eine AR-Brille umfasst, welche ausgebildet ist, ein Realbild (102) aufzunehmen und das Realbild (102), erweitert durch ein virtuelles Bild (104), welches durch den Backendcomputerserver (105), basierend auf dem Realbild (102), bereitgestellt wird, für den Nutzer (102) bereitzustellen.
AR-Kommunikationssystem (100, 200) nach Anspruch 7, wobei die AR-Brille einen Bildschirm umfasst, welcher ausgebildet ist, das Realbild (102), erweitert durch ein virtuelles Bild (104), als AR-Bild (106) anzuzeigen.
AR-Kommunikationssystem (100, 200) nach Anspruch 8, wobei die AR-Brille einen Prozessor (203) umfasst, welcher ausgebildet ist, das Realbild (102) basierend auf der Merkmalsextraktion vorzuverarbeiten und die extrahierten Merkmale für den Backendcomputerserver (105) bereitzustellen, wobei der Prozessor (203) ferner ausgebildet ist, das AR-Bild (106), bevor es auf dem Bildschirm angezeigt wird, zu rendern.
AR-Kommunikationssystem (100, 200) nach einem der Ansprüche 7 bis 9, wobei der Backendcomputerserver (105) ausgebildet ist, das Realbild (102) in Bezug auf eine Kopf- und Körperverfolgung zu verarbeiten, um ein stabiles AR-Bild (106) bereitzustellen.
AR-Kommunikationssystem (100, 200) nach einem der vorstehenden Ansprüche, wobei der Backendcomputerserver (105) ausgebildet ist, die Realitätsdaten (102) zu verarbeiten, indem mindestens eines der folgenden Werkzeuge benutzt wird: Bilderkennungswerkzeuge, Bilddatenverarbeitungswerkzeuge, Bildmarkierwerkzeuge, Künstliche-Intelligenz-Werkzeuge, Datenbankwerkzeuge, Satellitennavigationswerkzeuge.
AR-Kommunikationssystem (100, 200) nach einem der vorstehenden Ansprüche, wobei die aufgenommenen Realitätsdaten (102) mindestens eines der nachfolgenden Daten umfassen: Datenströme, Datenabtastwerte, Videoströme, Einzelbilder, Ultraschallströme, Infrarotströme, Temperaturdaten, Druckdaten, Gyroskopdaten, Beschleunigungsmesserdaten, Magnetometerdaten.
AR-Kommunikationssystem (100, 200) nach einem der vorstehenden Ansprüche, mit: mindestens einer zweiten AR-Interaktionsvorrichtung, welche ausgebildet ist, mindestens ein zweites Realitätsdatum aufzunehmen, wobei das Echtzeit-WVN ausgebildet ist, zumindest einen Teil des mindestens einen zweiten aufgenommenen Realitätsdatums zurück zu dem Backendcomputerserver (105) zu übertragen, wobei der Backendcomputerserver (105) ausgebildet ist, zumindest einen Teil des mindestens einen zweiten aufgenommenen Realitätsdatums zu verarbeiten, um zumindest ein zweites Augmented-Reality-(AR)-Datum bereitzustellen, wobei die AR-Interaktionsvorrichtung (101) ausgebildet ist, dem Nutzer (107) Informationen (106) auf der Basis von den Realitätsdaten (102), welche mit den AR-Daten (104) angereichert sind und zusätzlich mit zumindest einem zweiten Realitätsdatum und/oder zumindest einem zweiten AR-Datum angereichert sind, bereitzustellen.
AR-Interaktionsvorrichtung (101) zum Bereitstellen von Augmented-Reality-(AR)-Informationen (106) für einen Benutzer (107), wobei die AR-Interaktionsvorrichtung (101) umfasst: einen Prozessor (203), welcher ausgebildet ist, Realitätsdaten (102) aufzunehmen; und eine Datenschnittstelle (205), welche ausgebildet ist, den Prozessor (203) mit dem Backendcomputerserver (105) über ein Echtzeit-Weitverkehrsnetzwerk (WVN) für das Übertragen von zumindest einem Teil der Realitätsdaten (102) zu dem Backendcomputerserver (105) und das Empfangen von Augmented-Reality-(AR)-Daten (104), welche von zumindest einem Teil der Realitätsdaten (102) in Echtzeit abgeleitet sind, zu verbinden, wobei der Prozessor (203) ausgebildet ist, dem Nutzer (107) Informationen (106) auf der Basis von den Realitätsdaten (102), welche mit den AR-Daten (104) angereichert sind, bereitzustellen.
AR-Interaktionsvorrichtung (101) nach Anspruch 14, mit: AR-Brille, welche ausgebildet ist, ein Realbild (102) aufzunehmen und das Realbild (102), welches durch ein virtuelles Bild (104) erweitert ist, welches basierend auf dem Realbild (102) durch den Backendcomputerserver (105) bereitgestellt ist, dem Nutzer (107) bereitzustellen.
AR-Interaktionsvorrichtung (101) nach Anspruch 14 oder 15, wobei die Datenschnittstelle (205) ferner ausgebildet ist, zumindest ein zweites Realitätsdatum und/oder zumindest ein zweites AR-Datum von zumindest einer zweiten AR-Interaktionsvorrichtung zu empfangen, wobei der Prozessor (203) ausgebildet ist, dem Nutzer (107) Informationen (106) auf der Basis von den Realitätsdaten (102), welche mit den AR-Daten (104) angereichert sind und zusätzlich mit zumindest einem zweiten Realitätsdatum und/oder zumindest einem zweiten AR-Datum angereichert sind, bereitzustellen.
Verfahren (300) zum Bereitstellen von Augmented-Reality-(AR)-Informationen für einen Nutzer (107), mit: Aufnehmen (301) von Realitätsdaten durch eine AR-Interaktionsvorrichtung; Übertragen (302) von zumindest einem Teil der aufgenommenen Realitätsdaten an den Backendcomputerserver in Echtzeit über ein Echtzeitdatennetzwerk; Verarbeiten (303) von zumindest einem Teil der Realitätsdaten durch den Backendcomputerserver, um AR-Daten bereitzustellen; Übertragen (304) der AR-Daten zu der AR-Interaktionsvorrichtung in Echtzeit über die Echtzeitdatennetzwerk; und Bereitstellen (305) von Informationen für einen Nutzer auf der Basis von den Realitätsdaten, welche mit den AR-Daten erweitert sind.