DE102022132302A1

DE102022132302A1 - Verfahren und System zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung einer erweiterten Realität

Info

Publication number: DE102022132302A1
Application number: DE102022132302.1A
Authority: DE
Inventors: Benjamin Poppinga; Adrian Gabriel
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-12-06
Filing date: 2022-12-06
Publication date: 2024-06-06

Abstract

Die Erfindung betrifft ein Verfahren und ein System zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung (1) einer erweiterten Realität. Das Verfahren umfasst die Schritte:
a) Bereitstellen eines realen Interaktionselementes (2), welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist;
b) Bereitstellen einer Recheneinheit (3), welche die Umgebung (1) der erweiterten Realität und ein virtuelles Bedienelement (4) als Element in der Umgebung (1) der erweiterten Realität erzeugt, und eine haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) bestimmt;
c) Zuweisen des Bedienelementes (4) zu dem Interaktionselement (2) durch die Recheneinheit (3);
d) Bestimmen eines Wertes für den Parameter und Anpassen der haptisch wahrnehmbaren Eigenschaft des Interaktionselementes (2) mittels des bestimmten Parameters, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes (2) nachgeahmt wird.

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung einer erweiterten Realität, sowie ein zugehöriges System.
Erweiterte, insbesondere immersive Realitäten (engl. Extended Reality, XR), zum Beispiel eine Augmented Reality (AR), Virtual Reality (VR) oder Mixed Reality (MR), sind heutzutage allgegenwärtig. Dabei können zwei Aspekte die Schlüsselfaktoren für den dauerhaften Erfolg einer Umgebungen der erweiterten Realität und eines zugehörigen Systems sein. Zum einen kann eine als real empfundene, immersive multimodale Präsentation von Informationen der Umgebung entscheidend sein, zum anderen geeignete, responsive Interaktionskonzepte. Während die Informationswahrnehmung des Nutzers ständig hinterfragt und verbessert wird, gibt es bei den eigentlichen Interaktionskonzepten kaum noch positive Entwicklungen.
Moderne XR-Systeme können dem Nutzer unterschiedliche, reale Interaktionselemente anbieten, die insbesondere auf Berührungen, Bewegungen, ein Drücken und/oder möglicherweise Gesten reagieren können. Darüber hinaus kann die relative Position der Interaktionsgeräte, insbesondere relativ zu einem Head-Mounted Display (HMD), überwacht werden. Auf diese Weise können virtuelle Hände eines Avatars den physischen Bewegungen des Nutzers entsprechen.
Es klafft jedoch eine große Lücke zwischen dem, was in der erweiterten, immersiven Umgebung dargestellt werden kann, und dem, was der Nutzer mit seinem begrenzten, realen Interaktionselementen tatsächlich erleben kann. Beispielsweise fühlt sich ein Tastendruck auf einem beliebigen Interaktionselement immer gleich an, egal ob man ein viertuelles Textverarbeitungsprogramm oder ein virtuelles Werkzeug in einem virtuellen Spiel bedient.
Die US 2013/0151960 A1 beschreibt ein System, welches eine Oberflächeneigenschaft mittels eines elektromagnetischen Aktuators simuliert, welche mit einem Finger wahrgenommen werden kann.
In der WO 2017/079064 A1 ist ein Verfahren und ein System für eine dynamische Oberfläche für eine virtuelle Realität gezeigt.
Die WO 2018/175257 A1 offenbart ein Verfahren und ein System, mittels welchem ein Nutzer ein haptisches Feedback infolge einer definierten Geste in einer erweiterten Realität erfährt.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und ein System bereitzustellen, mittels welchem ein Nutzer eine Aktion mit einem Element in einer Umgebung einer erweiterten Realität verbessert haptisch wahrnehmen kann.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Durch einen ersten Aspekt der Erfindung ist ein Verfahren zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung einer erweiterten Realität, insbesondere in der tatsächlichen Realität, vorgeschlagen. Das Verfahren umfasst insbesondere die Schritte:

a) Bereitstellen eines realen Interaktionselementes, welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist;
b) Bereitstellen einer Recheneinheit, welche die Umgebung der erweiterten Realität und ein virtuelles Bedienelement als Element in der Umgebung der erweiterten Realität erzeugt, und eine haptisch wahrnehmbare Eigenschaft für das Bedienelement bestimmt;
c) Zuweisen des Bedienelementes zu dem Interaktionselement durch die Recheneinheit;
d) Bestimmen eines Wertes für den Parameter und Anpassen der haptisch wahrnehmbaren Eigenschaft des Interaktionselementes mittels des bestimmten Parameters, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes nachgeahmt wird.

Ein Nutzer, der die Umgebung der erweiterten Realität, im Folgenden auch als erweiterte Umgebung bezeichnet, immersiv multimodal, insbesondere visuell und/oder akustisch, wahrnimmt, kann mittels des Verfahrens vorteilhaft eine virtuelle Aktion auf verbesserte, insbesondere realistischere Weise auch haptisch in der tatsächlichen Realität beziehungsweise in der Wirklichkeit wahrnehmen. Das Empfinden des Nutzers, sich tatsächlich in der erweiterten Umgebung zu befinden, kann somit noch weiter gesteigert werden. Vorteilhafterweise kann der Nutzer verbessert in die erweiterte Realität eintauchen. Insbesondere durch die Nachahmung der haptischen Wahrnehmbarkeit für das virtuelle Bedienelement durch die anpassbare haptische Wahrnehmbarkeit des realen Interaktionselementes kann dem Nutzer zumindest ähnlich oder auf äquivalente Weise das Tastgefühl vermittelt werden, dass dieser das virtuelle Bedienelement, welches er insbesondere visuell und/oder akustisch wahrnehmen kann, tatsächlich bzw. real bedient. Vorteilhaft kann erreicht werden, dass der Nutzer denkt, dass dieser das virtuelle Bedienelement haptisch wahrnimmt, obwohl er in der Realität das reale Interaktionselement haptisch wahrnimmt, welches die haptische Wahrnehmbarkeit für das virtuelle Interaktionselement nachahmt bzw. imitiert.
Unter der haptischen Wahrnehmbarkeit einer Aktion des Elementes ist zu verstehen, dass der Nutzer die Aktion mit dem Element, bzw. die Aktion des Elementes, haptisch wahrnehmen kann. Im weiteren Sinne ist auch zu verstehen, dass der Nutzer die Aktion mit dem Element auch taktil, insbesondere über eine Hand des Nutzers, wahrnehmen kann.
Die Umgebung der erweiterten Realität, auch als Extended Reality (XR) bezeichnet, kann in verschiedensten Ausbildungsformen ausgebildet sein, die unter einer XR subsumiert sein können, also insbesondere eine Virtual Reality (VR), Augmented Reality (AR) oder Mixed Reality (MR). Eine Visualisierung der erweiterten Umgebung kann somit rein virtuell sein oder eine Vermischung einer virtuellen und realen Umgebung.
Dem Verfahren wird insbesondere zumindest ein reales Interaktionselement bereitgestellt, welches in der realen Umgebung tatsächlich existiert. Beispielsweise kann das reale Interaktionselement als Drehknopf, Drehrad, Druckknopf, Hebel, Joystick, Schiebregler, Bedienoberfläche, Schaltfläche oder dergleichen, bzw. aus einer Kombination dergleichen ausgebildet sein. Das reale Interaktionselement weist insbesondere zumindest eine haptisch wahrnehmbare bzw. auch taktil wahrnehmbare Eigenschaft auf, wobei die zumindest eine Eigenschaft mittels zumindest eines Parameters anpassbar bzw. spezifizierbar ist. Das Interaktionselement kann tragbar sein. Es kann somit auch mobil mitgetragen werden.
Das reale Interaktionselement kann insbesondere ein Steuergerät aufweisen, welches dazu ausgebildet ist, abhängig von dem Parameter die haptische wahrnehmbare Eigenschaft zu steuern. Beispielsweise kann das Steuergerät eine Ausleseschwelle des Interaktionselementes anpassen, sodass das Interaktionselement beispielsweise erst ab einer Aktion des Nutzers mit dem realen Interaktionselement reagiert, die eine anpassbare Schwelle überschreitet. Beispielsweise kann die reale Aktion ein Aufbringen einer Kraft oder dergleichen auf das Interaktionselement sein.
Insbesondere kann das reale Interaktionselement zumindest einen Aktuator aufweisen, welches insbesondere abhängig von einem Steuersignal dazu ausgebildet ist, die haptische Wahrnehmbarkeit des realen Interaktionselement einzustellen. Beispielsweise kann der zumindest eine Aktuator einen Motor zu Erzeugung einer Kraft bzw. Gegenkraft zu einer durch den Nutzer aufgewendeten Kraft erzeugen. Beispielsweise kann ein elektromagnetischen Aktor eine haptische Wahrnehmbarkeit einer Oberflächenbeschaffenheit ändern, und/oder ein Heizelement eine Temperatur ändern. Viele weitere Aktoren und einstellbare haptische Wahrnehmbarkeiten sind möglich. Insbesondere kann die nachgeahmte haptische Wahrnehmbarkeit nicht nur lediglich mittels Aktivieren oder Deaktivieren eines Aktors hervorgerufen werden, sondern durch präzises und abgestimmtes Ansteuern des Aktors.
Das reale Interaktionselement ist insbesondere mit der Recheneinheit koppelbar bzw. mit dieser signaltechnisch gekoppelt, vorzugsweise über eine drahtlose Verbindungstechnologie wie Bluetooth, WiFi oder dergleichen. Insbesondere kann eine Position des Interaktionselementes relativ zum Nutzer durch die Recheneinheit bestimmt werden, beispielsweise mittels einer Kamera, die das Interaktionselement erfasst. Das Interaktionselement kann insbesondere dazu ausgebildet sein, eine durch den Nutzer hervorgerufene Interaktion mit dem Interaktionselement in Signale mit einer Information über die Interaktion zu übersetzen und das Signal mit der Information an die Recheneinheit zu übertragen. Darüber hinaus kann das Interaktionselement dazu ausgebildet sein, Signale mit Informationen und/oder Anweisungen von der Recheneinheit zu empfangen.
Dem Verfahren wird insbesondere zumindest eine Recheneinheit bereitgestellt. Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten. Die Recheneinheit kann beispielsweise in einem Smartphone, einer Videobrille oder dergleichen integriert sein.
Die Recheneinheit ist insbesondere dazu ausgebildet, die Umgebung der erweiterten Realität zu erzeugen. Insbesondere kann die Recheneinheit den virtuellen Anteil der erweiterten Umgebung erzeugen und mit der realen Umgebung geeignet verbinden. Die erzeugte, erweiterte Umgebung kann entsprechend auf einem visuellen und/oder einem akustischen Ausgabegerät, welches mit der Recheneinheit signaltechnisch verbunden ist, für den Nutzer dargestellt werden.
Die Recheneinheit ist insbesondere dazu ausgebildet, das virtuelle Bedienelement als das Element in der Umgebung der erweiterten Realität zu erzeugen, welches durch das Ausgabegerät für den Nutzer dargestellt werden dargestellt werden kann. Das virtuelle Bedienelement kann insbesondere als Teil der erweiterten Umgebung verstanden werden. Mit anderen Worten umfasst die erweiterte Umgebung das Bedienelement. Insbesondere kann der Nutzer das erzeugte, virtuelle Bedienelement visuell und/oder akustisch wahrnehmen. Beispielsweise kann das Bedienelement als ein Werkzeug, zum Beispiel als eine Schaufel oder dergleichen, ein Betätigungselement wie ein Auslöseknopf, Schalter oder Tastatur, ein Spielgerät wie ein Schläger, Ball, Rad oder Scheibe, oder als eine Waffe erzeugt sein. Das Bedienelement kann darüber hinaus als jeder beliebige Gegenstand erzeugt und dargestellt sein, mit dem der Nutzer insbesondere mit dessen Hand in der realen Umgebung interagieren könnte. Der Gegenstand kann beispielsweise als ein Stock, ein Stein, ein Glas, ein Nahrungsmittel, ein Stück Fleisch, ein menschliches Körperteil, oder dergleichen erzeugt sein. Insbesondere kann die erweiterte Umgebung hochkomplex und detailreich erzeugt sein, sodass jeder beliebige Gegenstand als Bedienelement erzeugt werden kann.
Die Recheneinheit ist insbesondere dazu ausgebildet, die zumindest eine haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement zu bestimmen, sowie insbesondere dem virtuellen Bedienelement die bestimmte, haptisch wahrnehmbare Eigenschaft zuzuordnen. Die haptisch wahrnehmbare Eigenschaft für das Bedienelement kann insbesondere zumindest bezüglich der erweiterten Umgebung situationsangepasst sein. Beispielsweise kann eine Schaufel, die in der Erde steckt, haptisch anders wahrnehmbar sein, als eine Schaufel, die auf der Erde liegt.
In einem Schritt des Verfahrens wird durch die Recheneinheit das Bedienelement zu dem Interaktionselement zugewiesen. Insbesondere erfolgt dabei eine Verknüpfung des virtuellen Bedienelements mit dem realen Interaktionselement. Insbesondere erfolgt dies im Hinblick auf zumindest eine Funktion des Bedienelements. Diese Funktion oder Funktionalität kann dann haptisch sein oder haptisch charakterisiert werden. Insbesondere kann die Funktionalität des Bedienelementes zu der Funktionalität des Interaktionselement zugewiesen werden. Mit anderen Worten kann durch die Recheneinheit ein Mapping zwischen dem Interaktionselement und dem Bedienelement erstellt werden bzw. zwischen realen Aktionen und entsprechenden Aktionen in einer erweiterten Umgebung. Dadurch kann erreicht werden, dass mit dem Bedienelement virtuell in der erweiterten Umgebung durch die reale Interaktion des Nutzers mit dem Interaktionselement in der realen Umgebung interagiert werden kann. Insbesondere kann dadurch erreicht werden, dass die Funktionalität des Bedienelements virtuell in der erweiterten Umgebung durch das reale Bedienen der Funktionalität des Interaktionselementes in der realen Umgebung bedient werden kann.
In einem Schritt des Verfahrens wird der Wert für den zumindest einen Parameter bestimmt und die haptisch wahrnehmbare Eigenschaft des Interaktionselementes mittels des bestimmten Parameters angepasst. Vorzugsweise weist das Interaktionselement ein Setting oder eine Konfiguration auf, welches durch eine Vielzahl von Parametern, für die jeweils ein Wert bestimmt wird, angepasst werden kann. Dies erfolgt insbesondere derart, dass die haptisch wahrnehmbare Eigenschaft für das Bedienelement durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes nachgeahmt wird.
Insbesondere kann für unterschiedliche Aktionen des Nutzers mit dem Interaktionselement ein jeweiliger Parameter für ein bestimmtes Verhalten und/oder eine haptisch wahrnehmbare Eigenschaft bestimmt werden. Der Parameter kann insbesondere in einem Format abgebildet sein, welches mittels einer entsprechenden Übertragungstechnologie kabellos übertragen werden kann. Dieses Format enthält, wie bestimmte Aspekte des Interaktionselementes parametrisiert werden oder wie das Steuergerät innerhalb der Interaktionselementes konfiguriert werden sollte.
Für das Verfahren kann es insbesondere nicht voraussetzend sein, dass das Interaktionselement und das Bedienelement gleichartig ausgebildet sein müssen. Vielmehr kann es ausreichend sein, dass das Interaktionselement und das Bedienelement zumindest in einer beschränkten Weise ähnliche oder äquivalente Merkmale oder Funktionalitäten aufweist, sodass zumindest symbolisierend die haptisch wahrnehmbare Eigenschaft für das Bedienelement durch das Interaktionselement nachgeahmt werden kann. Insbesondere kann es ausreichend sein, dass die haptische Wahrnehmbarkeit ähnlich charakterisierend durch das Interaktionselement nachgeahmt werden kann.
Ein Ausführungsbeispiel sieht vor, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement basierend auf einem zum virtuellen Bedienelement vergleichbaren realen Bedienelement bestimmt werden kann. Beispielsweise können die haptisch wahrnehmbaren Eigenschaften für eine Vielzahl von virtuellen Bedienelementen auf einem Speichermedium gespeichert sein, wobei die gespeicherten, haptisch wahrnehmbaren Eigenschaften für das virtuelle Bedienelement bestimmt werden.
Alternativ kann die Recheneinheit kann also dazu ausgebildet sein, zu erkennen, welches reale Bedienelement das erzeugte, virtuelle Bedienelement nachbilden soll, beispielsweise mittels eines Objekterkennungsalgorithmus. Die Recheneinheit kann Kenntnis darüber haben, welche haptisch wahrnehmbare Eigenschaft das reale Bedienelement aufweist. Beispielsweise können die haptisch wahrnehmbare Eigenschaften von einer Vielzahl von realen Bedienelementen auf einem Speichermedium gespeichert sein, wobei die gespeicherten, haptisch wahrnehmbaren Eigenschaften für das virtuelle Bedienelement bestimmt werden.
Alternativ oder zusätzlich kann es vorgesehen sein, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement basierend auf einer zur Umgebung der erweiterten Realität vergleichbaren realen Umgebung bestimmt wird. Insbesondere kann die haptische Wahrnehmbarkeit des vergleichbaren realen Bedienelementes abhängig sein von der vergleichbaren realen Umgebung, sodass die haptische Wahrnehmbarkeit für das virtuelle Bedienelement entsprechend an die erweiterte Umgebung anpasst wird. Beispielsweise kann eine Schaufel, die in der Erde steckt, haptisch anders wahrnehmbar sein, als eine Schaufel, die auf der Erde liegt.
Insbesondere kann dadurch vorteilhaft erreicht werden, dass die haptische Wahrnehmbarkeit realistischer nachgeahmt werden kann. Insbesondere kann beispielsweise eine Erwartungshaltung des Nutzers, wie sich das Bedienelement anfühlen müsste, zumindest näherungsweise erfüllt werden, sodass die erweiterte Umgebung noch realistischer auf den Nutzer wirkt. Zudem kann vorteilhaft erreicht werden, dass der Nutzer nicht lediglich das Bedienelement haptisch wahrnimmt, sondern auch indirekt über das Bedienelement die erweiterte Umgebung, indem die haptischen wahrnehmbare Eigenschaf an die Umgebung angepasst ist.
Bevorzugt wird die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement mittels maschinellen Lernens bestimmt, beispielsweise mittels einem künstlichen, neuronalen Netzwerk (KNN). Das KNN kann insbesondere mit Daten über Bedienelemente bzw. deren Eigenschaften und über Umgebungen als Eingangsgrößen und Daten über haptisch wahrnehmbare Eigenschaften des Bedienelementes in der jeweiligen Umgebung als Ausgangsgröße trainiert sein. Dies hat den Vorteil, dass quasi in unbegrenzten Möglichkeiten von Kombinationen von Bedienelementen in einer beliebigen Umgebung eine haptisch wahrnehmbare Eigenschaft bestimmt werden kann.
Ein Ausführungsbeispiel sieht vor, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement angepasst an eine kontinuierliche Veränderung in der Umgebung der erweiterten Realität kontinuierlich bestimmt wird. Zusätzlich oder alternativ kann vorgesehen sein, dass der Wert für den Parameter angepasst an eine kontinuierliche Veränderung in der Umgebung der erweiterten Realität kontinuierlich bestimmt wird. Es kann vorgesehen sein, dass die haptisch wahrnehmbare Eigenschaft und/oder der Wert für den Parameter eingangs initial bestimmt wird und sich dann mit der Veränderung der Umgebung an diese anpasst. Insbesondere kann sich die Umgebung durch die Interaktion des Nutzers verändern. Beispielsweise kann durch die Interaktion das Bedienelement als Teil der Umgebung verändert werden, sodass die haptisch wahrnehmbare Eigenschaft und/oder der Wert des Parameters basierend auf der Interaktion angepasst wird.
Die haptisch wahrnehmbare Eigenschaft und/oder der Wert für den Parameter sind also nicht statisch festgelegt, sondern verhalten sich dynamisch bzw. können sich mit der erweiterten Umgebung ändern. Beispielsweise kann eine Schaufel als Bedienelement in einer Hand haltend in der Luft sich haptisch als leicht drehbar anfühlen. Wird die Schaufel beispielsweise in die Erde gesteckt, kann es vorgesehen sein, dass sich die Schaufel haptisch schwerer drehbar anfühlt, beispielsweise indem ein Antrieb des Interaktionselementes eine Gegenkraft bzw. ein Gegenmoment zu einem vom Nutzer ausgeübten Moment auf das Interaktionselement ausübt.
Ein Vorteil dieses Ausführungsbeispiels liegt darin, dass sich eine Veränderung der erweiterten Umgebung für den Nutzer haptisch wahrnehmen lässt, insbesondere über das Interaktionselement. Dadurch wirkt durch die verbesserte, haptische Wahrnehmbarkeit die erweiterte Umgebung für den Nutzer noch realer.
Ein Ausführungsbeispiel sieht vor, dass mehrere, reale Interaktionselemente bereitgestellt und/oder mehrere virtuelle Bedienelemente erzeugt werden. Insbesondere entsprechen die mehreren, realen Interaktionselemente dem genannten, zumindest einen realen Interaktionselement. Insbesondere entsprechen die mehreren virtuelle Bedienelemente dem genannten, zumindest einen realen Bedienelement.
Bevorzugt werden das eine oder die mehreren Bedienelemente dem einen Interaktionselement oder den mehreren Interaktionselementen durch die Recheneinheit zugewiesen. Vorzugsweise werden mindestens ebenso viele Interaktionselemente bereitgestellt, wie Bedienelemente erzeugt werden. Somit kann zumindest jedes der mehreren Bedienelemente jeweils genau einem Interaktionselement zugewiesen werden.
Insbesondere erfolgt die Zuweisung mittels maschinellen Lernens, welches als KNN ausgebildet sein kann. Das KNN kann insbesondere dazu ausgebildet sein, die Bedienelemente derart zu den Interaktionselementen zuzuweisen, dass die jeweiligen haptisch wahrnehmbaren Eigenschaften für die Bedienelemente durch die Interaktionselemente geeignet nachgeahmt werden können. Die KNN kann insbesondere auch dazu ausgebildet sein, ein Zuweisung vorzunehmen, wenn mehr Bedienelemente erzeugt als Interaktionselemente bereitgestellt werden. Beispielsweise kann einem Interaktionselement mehrere Bedienelemente zugewiesen sein, also quasi doppelt belegt sein.
Eine Vorteil dieses Ausführungsbeispiels ist, dass dem Nutzer eine Vielzahl von haptisch wahrnehmbaren Bedienelementen und Aktionsmöglichkeiten zur Verfügung gestellt werden können, um mit der Umwelt haptisch wahrnehmbar interagieren zu können. Dadurch wirkt durch die verbesserte, haptische Wahrnehmbarkeit die erweiterte Umgebung für den Nutzer noch realer.
Ein Ausführungsbeispiel sieht vor, dass das reale Interaktionselement mehrere haptisch wahrnehmbare Eigenschaften aufweist, die mittels mehrerer Parameter anpassbar sind. Bevorzugt wird für jeweils einen der mehreren Parametern ein jeweiliger Wert bestimmt. Vorteilhafterweise kann somit die nachzuahmende haptisch wahrnehmbare Eigenschaft im Rahmen der Möglichkeiten sehr präzise und auf vielfältige Weise angepasst werden, sodass sich diese für den Nutzer verbessert realitätsnah anfühlt. Somit kann erreicht werden, dass der Nutzer denkt, dass dieser das virtuelle Bedienelement haptisch wahrnimmt.
Alternativ oder zusätzlich kann vorgesehen sein, dass für das Bedienelement mehrere haptisch wahrnehmbare Eigenschaften bestimmt werden. Dadurch kann die die nachzuahmende haptisch wahrnehmbare sehr präzise und auf vielfältige Weise vorgegeben werden. Somit wird eine verbesserte Grundlage dafür erzeugt, diese Eigenschaften im Rahmen der Möglichkeiten auch möglichst realitätsnah nachahmen zu können.
Ein Ausführungsbeispiel sieht vor, dass zumindest eine Information über die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement von der Recheneinheit an das reale Interaktionselement übertragen wird. Insbesondere können eine Vielzahl von Informationen übertragen werden, insbesondere über eine Vielzahl von haptisch wahrnehmbaren Eigenschaften, Funktionalitäten für das virtuelle Bedienelement, funktionale Zusammenhänge von haptisch wahrnehmbaren Eigenschaften zu Veränderungen der Umgebung oder über haptisch wahrnehmbare Eigenschaften abhängig von einer Interaktion des Nutzers.
Bevorzugt wird der Wert für den Parameter durch das Interaktionselement basierend auf der übertragenen Information bestimmt, insbesondere mittels einer Bestimmungseinheit. Die Bestimmungseinheit kann beispielsweise als Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis durch Durchführung von Rechenoperationen enthält. Mit anderen Worten wird dem Interaktionselement lediglich vorgegeben, welche haptisch wahrnehmbare Eigenschaft dieses nachahmen soll, woraufhin das Interaktionselement selbst den Wert für den Parameter festlegt, um dessen haptisch wahrnehmbare Eigenschaft anzupassen.
Der Vorteil besteht darin, dass diese Rechenoperation dezentral, also nicht von der Recheneinheit durchgeführt werden muss, sodass Rechenkapazitäten der Recheneinheiten anderweitig, insbesondere für das Erzeugen der erweiterten Umgebung genutzt werden können. Ein weiterer Vorteil besteht darin, dass die Bestimmungseinheit speziell für das entsprechende Interaktionselement und speziell für diese Art von Rechenoperation ausgebildet sein kann, sodass die Bestimmung des Parameters präzise, schnell und effektiv bestimmt werden kann.
Ein alternatives Ausführungsbeispiel sieht vor, dass zumindest eine Information über die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes von dem Interaktionselement an die Recheneinheit übertragen wird. Insbesondere können eine Vielzahl von Informationen übertragen werden, insbesondere über eine Vielzahl von einstellbaren und nicht einstellbaren, haptisch wahrnehmbaren Eigenschaften, Funktionalitäten des Interaktionselementes, Zusammenhänge zwischen dem bestimmbaren Parameter und der haptisch wahrnehmbaren Eigenschaft des Interaktionselementes. Darüber hinaus können weitere Informationen übertragen werden wie beispielsweise eine Position und/oder eine Ausrichtung des Interaktionselementes, ein Ladezustand des Interaktionselementes.
Bevorzugt wird der Wert für den Parameter durch die Recheneinheit basierend auf der übertragenen Information bestimmt. Der Vorteil besteht darin, dass das Interaktionselement selbst keine Bestimmungseinheit aufweisen muss. Ein weiterer Vorteil kann sein, dass durch die Recheneinheit, insbesondere mittels einem KNN, haptisch wahrnehmbare Eigenschaften mehrerer Interaktionselemente besser aufeinander abgestimmt werden können, um eine verbesserte, aufeinander abgestimmte Wahrnehmbarkeit zu erzielen.
Ein Ausführungsbeispiel sieht vor, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement und/oder die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes zumindest eines ist ausgewählt aus der Gruppe umfassend eine Oberflächenbeschaffenheit, eine Formbeschaffenheit, eine Formfestigkeit, eine Formveränderbarkeit, eine Temperatur, eine Bewegung, eine Vibration, eine mechanische Beweglichkeit und einen mechanischen Widerstand. Diese Aufzählung ist nicht abschließend.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Durch einen weiteren Aspekt der Erfindung ist ein System zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion mit einem Element in einer Umgebung einer erweiterten Realität vorgeschlagen. Das System umfasst insbesondere ein reales Interaktionselement, welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist. Das System umfasst insbesondere weiter eine Recheneinheit, welche dazu ausgebildet ist, die Umgebung der erweiterten Realität und ein virtuelles Bedienelement als Element in der Umgebung der erweiterten Realität zu erzeugen, eine haptisch wahrnehmbare Eigenschaft für das Bedienelement zu bestimmen, und zu dem Interaktionselement das Bedienelement zuzuweisen. Das System, insbesondere das reale Interaktionselement oder die Recheneinheit, ist dazu ausgebildet, einen Wert für den Parameter zu bestimmen und die haptisch wahrnehmbare Eigenschaft des Interaktionselementes mittels des bestimmten Parameters anzupassen, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes nachgeahmt wird.
Ein Nutzer, der die Umgebung der erweiterten Realität insbesondere visuell und/oder akustisch wahrnimmt, kann mittels des Systems vorteilhaft eine Aktion auf verbesserte, insbesondere realistischere Weise auch haptisch wahrnehmen. Das Empfinden des Nutzers, sich tatsächlich in der erweiterten Umgebung zu befinden, kann somit noch weiter gesteigert werden. Vorteilhafterweise kann der Nutzer verbessert in die erweiterte Realität eintauchen. Insbesondere durch die Nachahmung der haptischen Wahrnehmbarkeit für das virtuelle Bedienelement durch die anpassbare haptische Wahrnehmbarkeit des realen Interaktionselementes kann dem Nutzer zumindest ähnlich oder auf äquivalente Weise das Gefühl vermittelt werden, dass dieser das virtuelle Bedienelement, welches er insbesondere visuell wahrnehmen kann, tatsächlich bzw. real bedient. Vorteilhaft kann erreicht werden, dass der Nutzer denkt, dass dieser das virtuelle Bedienelement haptisch wahrnimmt, obwohl er in der Realität das reale Interaktionselement haptisch wahrnimmt, welches die haptische Wahrnehmbarkeit für das virtuelle Interaktionselement nachahmt bzw. imitiert.
Ein Ausführungsbeispiel des Systems sieht vor, dass das System ein visuelles Ausgabegerät, insbesondere eine Videobrille, umfasst, welche dazu ausgebildet ist, die Umgebung der erweiterten Realität visuell darzustellen. Alternativ oder vorzugsweise zusätzlich umfasst das System ein akustisches Ausgabegerät, insbesondere einen Kopfhörer, welches dazu ausgebildet ist, die Umgebung der erweiterten Realität akustisch darzustellen. Vorteilhafterweise ist das visuelle und das akustische Ausgabegerät in einer Vorrichtung gemeinsam integriert, beispielsweise als Headset oder Helm, die an einem Kopf des Nutzers angeordnet werden können. Die Vorrichtung kann auch die Recheneinheit umfasst. Beispielsweise kann die Vorrichtung auch als ein Smartphone oder Tablet ausgebildet sein.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Systems, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Systems hier nicht noch einmal beschrieben.
Das System kann insbesondere in einem Kraftfahrzeug integriert sein. Durch einen weiteren Aspekt der Erfindung ist ein Kraftfahrzeug bereitgestellt, welches das erfindungsgemäße System umfasst. Das Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
2 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Systems.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion mit einem Element in einer Umgebung 1 einer erweiterten Realität.
Gemäß einem ersten Schritt S1 wird eines realen Interaktionselementes 2 bereitgestellt, welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist. Insbesondere können mehrere, reale Interaktionselemente 2 bereitgestellt werden. Vorzugsweise kann das zumindest eine Interaktionselement 2 mehrere haptisch wahrnehmbare Eigenschaften aufweisen, die mittels mehrerer Parameter anpassbar sind. Die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes 2 kann zumindest eines sein ausgewählt aus der Gruppe umfassend eine Oberflächenbeschaffenheit, eine Formbeschaffenheit, eine Formfestigkeit, eine Formveränderbarkeit, eine Temperatur, eine Bewegung, eine Vibration, eine mechanische Beweglichkeit und einen mechanischen Widerstand. Weitere Eigenschaften sind darüber hinaus ebenfalls vorstellbar.
Darüber hinaus kann ein visuelles Ausgabegerät 6, insbesondere eine Videobrille, und/oder ein akustisches Ausgabegerät 7, insbesondere einen Kopfhörer, bereitgestellt sein, wobei das visuelle und/oder das akustische Ausgabegerät 6, 7 dazu ausgebildet sein können, die Umgebung 1 der erweiterten Realität darzustellen.
Gemäß einem zweiten Schritt S2 wird eine Recheneinheit 3 bereitgestellt, welche die Umgebung 1 der erweiterten Realität und ein virtuelles Bedienelement 4 als Element in der Umgebung 1 der erweiterten Realität erzeugt, und eine haptisch wahrnehmbare Eigenschaft für das Bedienelement 4 bestimmt. Insbesondere können mehrere virtuelle Bedienelemente 4 erzeugt werden, sowie für das Bedienelement 4 mehrere haptisch wahrnehmbare Eigenschaften bestimmt werden. Die haptisch wahrnehmbare Eigenschaft kann insbesondere für das virtuelle Bedienelement 4 basierend auf einem zum virtuellen Bedienelement 4 vergleichbaren realen Bedienelement und/oder auf einer zur Umgebung 1 der erweiterten Realität vergleichbaren realen Umgebung, insbesondere mittels maschinellen Lernens, durch die Recheneinheit 3 bestimmt werden. Vorzugsweise kann die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement 4 angepasst an eine kontinuierliche Veränderung in der Umgebung 1 der erweiterten Realität kontinuierlich bestimmt werden.
Die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement 4 kann zumindest eines sein ausgewählt aus der Gruppe umfassend eine Oberflächenbeschaffenheit, eine Formbeschaffenheit, eine Formfestigkeit, eine Formveränderbarkeit, eine Temperatur, eine Bewegung, eine Vibration, eine mechanische Beweglichkeit und einen mechanischen Widerstand. Weitere Eigenschaften sind darüber hinaus ebenfalls vorstellbar.
In einem dritten Schritt S3 wird das Bedienelementes 4 zu dem Interaktionselement 2 durch die Recheneinheit 3 zugewiesen, insbesondere auch deren Funktionalitäten. Das eine Bedienelement 4 oder die mehreren Bedienelemente 4 können beispielsweise zu dem einen Interaktionselement 2 oder zu den mehreren Interaktionselementen 2 durch die Recheneinheit (3), insbesondere mittels maschinellen Lernens, zugewiesen werden. Für das Verfahren kann es insbesondere nicht voraussetzend sein, dass das Interaktionselement 2 und das Bedienelement 4 gleichartig ausgebildet sein müssen. Vielmehr kann es ausreichend sein, dass das Interaktionselement 2 und das Bedienelement 4 zumindest in einer zumindest beschränkten Weise ähnliche oder äquivalente Merkmale, Eigenschaften oder Funktionalitäten aufweist.
In einem vierten Schritt S4 wird ein Wert für den Parameter bestimmt und die haptisch wahrnehmbaren Eigenschaft des Interaktionselementes 2 mittels des bestimmten Parameters angepasst, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement 4 durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes 2 nachgeahmt wird, insbesondere sodass zumindest symbolisierend die haptisch wahrnehmbare Eigenschaft für das Bedienelement 4 durch das Interaktionselement 2 nachgeahmt werden kann. Insbesondere kann es ausreichend sein, dass die haptische Wahrnehmbarkeit ähnlich charakterisierend durch das Interaktionselement 2 nachgeahmt werden kann.
Insbesondere kann für jeweils einen der mehreren Parametern ein jeweiliger Wert bestimmt werden. Beispielsweise kann eine Information über die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement 4 von der Recheneinheit 3 an das reale Interaktionselement 2 übertragen werden, wobei der Wert für den Parameter durch das Interaktionselement 2 basierend auf der übertragenen Information bestimmt wird. Alternativ kann eine Information über die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes 2 von dem realen Interaktionselement 2 an die Recheneinheit 3 übertragen werden, wobei der Wert für den Parameter durch die Recheneinheit 3 basierend auf der übertragenen Information bestimmt wird.
In 2 ist eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Systems 5 zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion mit einem Element in einer Umgebung 1 einer erweiterten Realität gezeigt. Das System 5 kann insbesondere zumindest die Recheneinheit 3 und zumindest das eine reale Interaktionselement 2 umfassen. Darüber hinaus kann das System 5 ein visuelles Ausgabegerät 6 umfassen, insbesondere eine Videobrille, welche dazu ausgebildet sein kann, die Umgebung 1 der erweiterten Realität visuell darzustellen. Weiter kann das System 5 ein akustisches Ausgabegerät 7 umfassen, insbesondere einen Kopfhörer, welcher dazu ausgebildet sein kann, die Umgebung 1 der erweiterten Realität akustisch darzustellen.
Das visuelle Ausgabegerät 6 und das akustische Ausgabegerät können beispielsweise gemeinsam in einem Headset integriert sein. Beispielsweise kann auch die Computereinheit 3 in dem Headset integriert sein.
Das System 5 kann insbesondere dazu ausgebildet sein, den Wert für den Parameter zu bestimmen und die haptisch wahrnehmbare Eigenschaft des Interaktionselementes 2 mittels des bestimmten Parameters anzupassen, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement 4 durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes 2 nachgeahmt wird.
Im gezeigten Beispiel kann das Interaktionselement 2 ein kombinierter Dreh- und Druckknopf sein, welcher beispielsweise die Funktionalität aufweist, dass der Knopf mittels einer Hand des Nutzers in einer Horizontalebene gedreht und in einer Vertikalrichtung gedrückt werden kann.
Das Interaktionselement 2 kann beispielsweise einen oder mehrere Sensoren 8 aufweisen, die dazu ausgebildet sein können eine Aktion bzw. Interaktion des Nutzers mit dem Interaktionselement 2, beispielsweise durch Drücken und/oder Drehen des Knopfes zu erfassen. Die erfasste Aktion kann beispielsweise als Information eines Signals an die Recheneinheit 3 übertragen werden.
Das Interaktionselement 2 kann beispielsweise einen oder mehrere Aktoren 9 aufweisen, die dazu ausgebildet sein können die zumindest eine haptisch wahrnehmbare Eigenschaft des Interaktionselementes 2 anzupassen. Beispielsweise kann ein Motor ein Drehmoment oder eine Gegenmoment zum Drehen des Knopfes durch den Nutzer erzeugt werden. Beispielsweise kann ein Aktor eine haptisch wahrnehmbaren Drückwiderstand erzeugen. Darüber hinaus könnte ein Vibrationselement oder ein elektromagnetischer Aktuator zur Simulation einer Oberflächenbeschaffenheit als Aktor 9 vorgesehen sein. Unzählige weitere Interaktionselemente 2 sind vorstellbar.
Das Interaktionselement kann darüber hinaus eine Bestimmungseinheit 10 aufweisen. Beispielsweise kann der Wert für den Parameter, um die haptisch wahrnehmbare Eigenschaft anzupassen, durch das Interaktionselement 2 basierend auf der übertragenen Information bestimmt, insbesondere mittels der Bestimmungseinheit 10 des Interaktionselementes 2. Alternativ kann die Recheneinheit 3 eine Bestimmungseinheit 12 aufweisen, die den Wert für den Parameter bestimmen, um die haptisch wahrnehmbare Eigenschaft anzupassen.
Insgesamt zeigen die Beispiele, wie haptisch wahrnehmbare erweiterte Realität bereitgestellt werden kann. Wesentlich Aspekte können beispielsweise sein, dass Informationen über die realen Interaktionselemente 2, einschließlich ihrer anpassbaren Eigenschaften, an die Recheneinheit 3, insbesondere einem Mixed-Reality-Design-Tool der Recheneinheit weitergeben werden können. Weitere, wesentlich Aspekte können beispielsweise sein, dass die physikalischen bzw. haptisch wahrnehmbaren Eigenschaften eines Interaktionselementes 2 angepasst an die erweiterte Umgebung 1 einstellbar zu machen. Wesentlich Aspekte können beispielsweise sein, ein KNN zu verwenden, um ein Mapping zwischen realen Interaktionen und entsprechenden Aktionen in einer erweiterten Umgebung zu erstellen.
Insbesondere kann eine Möglichkeit eingeführt werden, die gewünschten Eigenschaften eines Bedienelementes 4 im der erweiterten Umgebung zu bestimmen bzw. zu spezifizieren und diese Spezifikation in der realen Umgebung zu verwenden, um die physischen bzw. haptisch wahrnehmbaren Eigenschaften des Interaktionselementes 2, welches das Bedienelement 2 abbildet und nachahmen soll, zu verändern. Wenn beispielsweise ein Design-Tool der Recheneinheit 3 angibt, dass sich eine Schaltfläche reaktionsschnell anfühlen soll, würde dies die Reaktionsschwelle eine entsprechenden physischen Schaltfläche des Interaktionselementes 2 verringern, z. B. durch Anpassung der Ausleseschwellen oder anderer Parameter. Ein anderes Beispiel ist, dass sich ein Schieberegler steif anfühlen soll, was zu einer Änderung der elektromechanischen Parameter des Schiebers führen könnte, z. B. einer motorischen Gegenkraft.
Neben der sehr spezifischen Änderung von Interaktionsparametern kann ein Design-Tool auch ein allgemeineres Verhalten eines Interaktionselementes 2 festlegen. Zum Beispiel könnte ein Design-Tool einen virtuellen Knopf als Bedienelement spezifizieren, der sich wie rohes Fleisch anfühlt. Dies könnte auf einen physischen Druckknopf als Interaktionselement 4 abgebildet werden, der so konfiguriert ist, dass er sich eher unscharf verhält. Ein KNN könnte dabei helfen, das gewünschte Verhalten des Design-Tools auf eine tatsächliche Parametrisierung des physischen Interaktionselementes 2 abzubilden.
Eine vorteilhafte Implementierung dieser Lösung könnte außerdem automatisch auswählen, welches Interaktionselement 2 bei mehreren bereitgestellten Interaktionselementen 2 für eine bestimmte Interaktion am besten geeignet ist. Beispielsweise könnte eine reaktionsfähige Auslösetaste am besten auf eine größere Taste abgebildet werden, die einen bestimmten Schwellenwert für die Bedienung parametrisieren kann.
Eine weitere vorteilhafte Implementierung könnte die individuellen Fähigkeiten der Interaktionselemente 2 mit dem Design-Tool der Recheneinheit 3 teilen. Damit hat das Design-Tool einen Überblick darüber, was die reale Umgebung kann und kann diese Anleitung bei der weiteren Spezifikation der Interaktionselemente 2 nutzen.
Beispielsweise kann mittels des System ein Spiel in einer erweiterten Umgebung 1 erzeugt werden, bei dem der Nutzer als Virtual-Reality-Spieler Spargel ausgraben muss. Die erweiterte Spiel-Design-Umgebung 1 wird mit einer Spezifikation der realen Umgebung gestartet, in der das Spiel typischerweise betrieben wird. Dabei ist der Recheneinheit 3 ein Drehknopf als Interaktionselement 2 bekannt, der in der physischen, realen Umgebung vorhanden ist und der für den erklärten Zweck oder das Ausgraben von Spargel verwendet werden könnte.
Das KNN der Recheneinheit verfügt beispielsweise Wissen über die reale Aufgabe, in einer spezifischeren oder eher abstrakten Form. Dieses Wissen wurde durch Trainingsdaten erlangt, die aufgezeichnet und zum Trainieren des Modells verwendet wurden. Die Recheneinheit 3 kann somit in der Lage sein, Bewegungen und Kräfte auszudrücken, die ein Spieler in dieser Situation empfinden sollte, und schlägt daraufhin eine Anfangskonfiguration des Interaktionselementes 2 vor, z. B. dass ein Drehknopf umso schwerer zu bewegen sein sollte, je weiter er gedreht wurde, um eine physische Gegenkraft beim rotierenden Graben zu imitieren.
Das Design-Tool könnte diesen Vorschlag um die Möglichkeit des Scheiterns bei der Positionierung der Schaufel als Bedienelement 4 erweitern, bei der sich der physische Drehknopf fast wie frei drehend anfühlen würde. Für jeden dieser Fälle wird ein bestimmtes Verhalten der physischen Komponente in einem austauschbaren Format ausgedrückt. Dieses Format enthält, wie bestimmte Aspekte einer physischen Komponente parametrisiert werden oder wie ein Steuergerät 11 des Interaktionselementes 2 konfiguriert werden sollte.
Für das erläuterte Beispiel könnte dies folgendermaßen aussehen. Im ersten Fall würde der vorgesehene Drehknopf ein konfigurierbares Motorelement verwenden, um die Kraft zu modulieren, die benötigt wird, um den Spargel tatsächlich zu schneiden. Je weiter der Drehknopf gedreht wird, desto mehr Motorkraft wird aufgebracht. Wird ein definierter Schwellenwert überschritten, z. B. eine 90°-Drehung, wird die Motorkraft auf Null gesetzt, um ein erfolgreiches Schneiden des Spargels zu imitieren. Im zweiten Fall würde das Motorelement vollständig deaktiviert werden, um eine sehr leichte Drehung zu ermöglichen, die den Fehlschlag beim Stechen darstellt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20130151960 A1 [0005]
WO 2017079064 A1 [0006]
WO 2018175257 A1 [0007]

Claims

Verfahren zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion eines Elementes in einer Umgebung (1) einer erweiterten Realität, umfassend die Schritte: a) Bereitstellen eines realen Interaktionselementes (2), welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist; b) Bereitstellen einer Recheneinheit (3), welche die Umgebung (1) der erweiterten Realität und ein virtuelles Bedienelement (4) als Element in der Umgebung (1) der erweiterten Realität erzeugt, und eine haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) bestimmt; c) Zuweisen des Bedienelementes (4) zu dem Interaktionselement (2) durch die Recheneinheit (3); d) Bestimmen eines Wertes für den Parameter und Anpassen der haptisch wahrnehmbaren Eigenschaft des Interaktionselementes (2) mittels des bestimmten Parameters, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes (2) nachgeahmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement (4) basierend auf einem zum virtuellen Bedienelement (4) vergleichbaren realen Bedienelement und/oder auf einer zur Umgebung (1) der erweiterten Realität vergleichbaren realen Umgebung, insbesondere mittels maschinellen Lernens, durch die Recheneinheit (3) bestimmt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement (4) und/oder der Wert für den Parameter angepasst an eine kontinuierliche Veränderung in der Umgebung (1) der erweiterten Realität kontinuierlich bestimmt werden.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass mehrere, reale Interaktionselemente (2) bereitgestellt und/oder mehrere virtuelle Bedienelemente (4) erzeugt werden, wobei das eine Bedienelement (4) oder die mehreren Bedienelemente (4) zu dem einen Interaktionselement (2) oder den mehreren Interaktionselementen (2) durch die Recheneinheit (3), insbesondere mittels maschinellen Lernens, zugewiesen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das reale Interaktionselement (2) mehrere haptisch wahrnehmbare Eigenschaften aufweist, die mittels mehrerer Parameter anpassbar sind, und/oder für das Bedienelement (4) mehrere haptisch wahrnehmbare Eigenschaften bestimmt werden, wobei für jeweils einen der mehreren Parametern ein jeweiliger Wert bestimmt wird.
Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Information über die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement (4) von der Recheneinheit (3) an das reale Interaktionselement (2) übertragen wird, wobei der Wert für den Parameter durch das Interaktionselement (2) basierend auf der übertragenen Information bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Information über die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes (2) von dem realen Interaktionselement (2) an die Recheneinheit (3) übertragen wird, wobei der Wert für den Parameter durch die Recheneinheit (3) basierend auf der übertragenen Information bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die haptisch wahrnehmbare Eigenschaft für das virtuelle Bedienelement (4) und/oder die haptisch wahrnehmbare Eigenschaft des realen Interaktionselementes (2) zumindest eines ist ausgewählt aus der Gruppe umfassend eine Oberflächenbeschaffenheit, eine Formbeschaffenheit, eine Formfestigkeit, eine Formveränderbarkeit, eine Temperatur, eine Bewegung, eine Vibration, eine mechanische Beweglichkeit und einen mechanischen Widerstand.
System (5) zum Bereitstellen einer haptischen Wahrnehmbarkeit einer Aktion mit einem Element in einer Umgebung (1) einer erweiterten Realität, gekennzeichnet durch - ein reales Interaktionselement (2), welches eine haptisch wahrnehmbare Eigenschaft aufweist, die mittels eines Parameters anpassbar ist, - eine Recheneinheit (3), welche dazu ausgebildet ist, die Umgebung (1) der erweiterten Realität und ein virtuelles Bedienelement (4) als Element in der Umgebung (1) der erweiterten Realität zu erzeugen, eine haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) zu bestimmen, und zu dem Interaktionselement (2) das Bedienelement zuzuweisen; wobei das System (5) dazu ausgebildet ist, einen Wert für den Parameter zu bestimmen und die haptisch wahrnehmbare Eigenschaft des Interaktionselementes (2) mittels des bestimmten Parameters anzupassen, sodass die haptisch wahrnehmbare Eigenschaft für das Bedienelement (4) durch die haptisch wahrnehmbare Eigenschaft des Interaktionselementes (2) nachgeahmt wird.
System (5) nach Anspruch 9, gekennzeichnet durch ein visuelles Ausgabegerät (6), insbesondere eine Videobrille, und/oder ein akustisches Ausgabegerät (7), insbesondere einen Kopfhörer, wobei das visuelle und/oder das akustische Ausgabegerät (6, 7) dazu ausgebildet ist, die Umgebung (1) der erweiterten Realität darzustellen.