DE102015011590B4 - Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System - Google Patents

Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System Download PDF

Info

Publication number
DE102015011590B4
DE102015011590B4 DE102015011590.1A DE102015011590A DE102015011590B4 DE 102015011590 B4 DE102015011590 B4 DE 102015011590B4 DE 102015011590 A DE102015011590 A DE 102015011590A DE 102015011590 B4 DE102015011590 B4 DE 102015011590B4
Authority
DE
Germany
Prior art keywords
virtual
person
image
observation position
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015011590.1A
Other languages
English (en)
Other versions
DE102015011590A1 (de
Inventor
Marcus Kühne
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102015011590.1A priority Critical patent/DE102015011590B4/de
Publication of DE102015011590A1 publication Critical patent/DE102015011590A1/de
Application granted granted Critical
Publication of DE102015011590B4 publication Critical patent/DE102015011590B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Verfahren zum Betreiben eines Virtual-Reality-Systems (10), mit den Schritten:
- Erfassen einer Position einer eine Virtual-Reality-Brille (12) tragenden Person (28) mittels einer Positionserfassungseinrichtung (14);
- Aufzeichnen der Person (28) in Form eines dreidimensionalen Kamerabilds mittels eines Kamerasystems (16);
- Zuordnen der erfassten Position zu einer ersten virtuellen Beobachtungsposition (38);
- Vorgeben einer zweiten virtuellen Beobachtungsposition (40);
- Anzeigen eines virtuellen Objekts (36) aus der ersten virtuellen Beobachtungsposition (38) mittels der Virtual-Reality-Brille (12);
- Anzeigen des virtuellen Objekts (36) aus der zweiten virtuellen Beobachtungsposition (40) mittels einer Anzeigeeinrichtung (22), wobei ein virtuelles Abbild (39) der Person (28) basierend auf der Aufzeichnung der Person (28) an der ersten virtuellen Beobachtungsposition (38) angezeigt wird; dadurch gekennzeichnet, dass die Person (28) zusätzlich in Form eines zweidimensionalen Kamerabilds aufgezeichnet wird, wobei eine Tiefeninformation des dreidimensionalen Kamerabilds und das zweidimensionale Kamerabild zum Anzeigen des virtuellen Abbilds (39) der Person (28) überlagert werden.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Virtual-Reality-Systems und ein Virtual-Reality-System.
  • Mittels eines Virtual-Reality-Systems kann eine virtuelle Realität dargestellt werden, wobei als virtuelle Realität üblicherweise die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit in ihren physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet wird.
  • Virtual-Reality-Systeme umfassen üblicherweise zumindest eine Virtual-Reality-Brille. Bei einer Virtual-Reality-Brille handelt es sich um eine bestimmte Form eines sogenannten Head-Mounted-Displays, bei welchem es sich um ein auf dem Kopf getragenes visuelles Ausgabegerät handelt. Es präsentiert Bilder auf einem augennahen Bildschirm oder projiziert sie direkt auf die Netzhaut. Eine Virtual-Reality-Brille hat dabei zusätzlich noch Sensoren zur Bewegungserfassung des Kopfes. Damit kann die Anzeige einer berechneten Grafik an die Bewegungen eines Trägers der Virtual-Reality-Brille angepasst werden. Durch die körperliche Nähe wirken die angezeigten Bildflächen von Head-Mounted-Displays erheblich größer als die freistehender Bildschirme und decken im Extremfall sogar das gesamte Sichtfeld des Benutzers ab. Da die Displays von Virtual-Reality-Brillen durch die Kopfhaltung allen Kopfbewegungen eines Trägers folgen, bekommt er das Gefühl, sich direkt in einer von einem Computer erzeugten Bildlandschaft zu bewegen.
  • Mittels einer Virtual-Reality-Brille kann ein virtuelles Objekt innerhalb einer virtuellen Umgebung angezeigt werden. Bei dem virtuellen Objekt kann es sich beispielsweise um ein virtuelles Kraftfahrzeug handeln. Dadurch ist es beispielsweise möglich, dass ein Kaufinteressent sich das Fahrzeug seines Interesses virtuell mittels der Virtual-Reality-Brille anzeigen lassen kann.
  • Sollte dies beispielsweise in einem Autohaus geschehen, so wird üblicherweise auch zumindest ein Verkäufer zugegen sein. In diesem Zusammenhang besteht eine besondere Herausforderung darin, dass der Verkäufer, welcher die Virtual-Reality-Brille nicht aufgesetzt hat, jederzeit gut erkennen kann, wo sich der Kaufinteressent innerhalb der virtuellen Umgebung befindet und von wo aus er auf das virtuelle Kraftfahrzeug blickt.
  • Die US 2009/0278917 A1 und die US 2011/0216059 A1 zeigen jeweils Verfahren, bei welchen Träger von Head-Mounted-Displays mittels Kamerasystemen aufgezeichnet werden. Mittels der Head-Mounted-Displays können die Träger jeweils eine virtuelle Umgebung angezeigt bekommen, wobei jeweilige Avatare innerhalb der virtuellen Umgebung basierend auf der Aufzeichnung der jeweiligen Personen angezeigt werden.
  • Die Veröffentlichung „Hand Segmentation Using 2D/3D Images“ von Ghobadi et al. beschreibt ein Verfahren zur Segmentierung von Bilddaten, welche mittels einer Time-of-Flight-Kamera aufgezeichnet worden sind. Die Bilddaten werden dabei unterteilt in diejenigen Daten, welche Entfernungsinformationen zu Objekten umfassen, und in Bilddaten, welche Helligkeitsinformationen des aufgenommenen Bildes aufweisen.
  • Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben eines Virtual-Reality-Systems und ein Virtual-Reality-System bereitzustellen, mittels welchen einer Person, welche keine Virtual-Reality-Brille aufgesetzt hat, ermöglicht wird, zu erkennen, wo sich eine die Virtual-Reality-Brille tragende Person innerhalb einer mittels der Virtual-Reality-Brille angezeigten virtuellen Umgebung befindet.
  • Diese Aufgabe wird durch ein Verfahren zum Betreiben eines Virtual-Reality-Systems sowie durch ein Virtual-Reality-System mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
  • Bei dem erfindungsgemäßen Verfahren zum Betreiben eines Virtual-Reality-Systems wird eine Position einer eine Virtual-Reality-Brille tragenden Person mittels einer Positionserfassungseinrichtung erfasst. Zudem wird die Person mittels eines Kamerasystems aufgezeichnet. Die erfasste Position der Person wird einer ersten virtuellen Beobachtungsposition zugeordnet. Des Weiteren wird eine zweite virtuelle Beobachtungsposition vorgegeben. Mittels der Virtual-Reality-Brille wird ein virtuelles Objekt aus der ersten virtuellen Beobachtungsposition angezeigt. Des Weiteren wird das virtuelle Objekt aus der zweiten virtuellen Beobachtungsposition mittels einer Anzeigeeinrichtung angezeigt, wobei ein virtuelles Abbild der Person basierend auf der Aufzeichnung der Person an der ersten virtuellen Beobachtungsposition angezeigt wird.
  • Es ist also erfindungsgemäß vorgesehen, einer außenstehenden Person, welche nicht die Virtual-Reality-Brille aufgesetzt hat, die Position der die Virtual-Reality-Brille tragenden Person innerhalb der virtuellen Umgebung kenntlich zu machen. Dabei ist es erfindungsgemäß vorgesehen, die mittels der Virtual-Reality-Brille angezeigte virtuelle Umgebung mittels der Anzeigeeinrichtung nicht aus derselben Perspektive anzuzeigen, wie sie die Person sieht, welche durch die Virtual-Reality-Brille blickt. Es ist also erfindungsgemäß vorgesehen, einer außenstehenden Person oder auch mehreren außenstehenden Personen mittels der Anzeigeeinrichtung eine andere Perspektive auf die virtuelle Umgebung und das darin angeordnete virtuelle Objekt zu erschließen, so dass das virtuelle Objekt, beispielsweise ein virtuelles Kraftfahrzeug, verstärkt in den Mittelpunkt der Anzeigeeinrichtung gerückt werden kann.
  • Dafür ist es erfindungsgemäß vorgesehen, die Person, welche die Virtual-Reality-Brille aufgesetzt hat, aufzuzeichnen und in Form des virtuellen Abbilds der Person innerhalb der virtuellen Umgebung aus der zweiten virtuellen Beobachtungsposition, also nicht aus der ersten virtuellen Beobachtungsposition, aus welcher die die Virtual-Reality-Brille tragende Person die virtuelle Umgebung wahrnimmt, anzuzeigen. Der Träger der Virtual-Reality-Brille wird also automatisiert in die virtuelle Umgebung hineinmontiert, welche mittels der Anzeigeeinrichtung angezeigt wird, so dass außenstehende Personen, welche die Virtual-Reality-Brille nicht tragen, die virtuelle Positionierung der Person, welche die Virtual-Reality-Brille trägt, mittels der Anzeigeeinrichtung sehen können.
  • Zudem ist es erfindungsgemäß vorgesehen, dass die Person in Form eines dreidimensionalen Kamerabilds aufgezeichnet wird. Vorzugsweise wird das dreidimensionale Kamerabild der Person mittels eines Laufzeitverfahrens, insbesondere mittels einer Time of Flight Kamera, aufgezeichnet. Mittels sogenannter Time of Flight Kameras bzw. allgemeiner mit dem Laufzeitverfahren können Distanzen gemessen werden. Dazu kann die reale Szene, in welcher sich der Träger der Virtual-Reality-Brille bewegt, mittels eines Lichtpulses ausgeleuchtet werden, wobei die Time of Flight Kamera für jeden Bildpunkt die Zeit misst, die das Licht bis zum Träger der Virtual-Reality-Brille und wieder zurück benötigt. Die benötigte Zeit ist direktproportional zur Distanz. Die Time of Flight Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Dadurch, dass die Person in Form eines dreidimensionalen Kamerabilds aufgezeichnet wird, liegen also Tiefeninformationen hinsichtlich der Person vor, welche die Virtual-Reality-Brille trägt. Dadurch kann die Person besonders realitätsnah in Form des virtuellen Abbilds innerhalb der virtuellen Umgebung positioniert und mittels der Anzeigeeinrichtung angezeigt werden.
  • Ferner sieht die Erfindung vor, dass die Person zusätzlich in Form eines zweidimensionalen Kamerabilds aufgezeichnet wird, wobei eine Tiefeninformation des dreidimensionalen Kamerabilds und des zweidimensionalen Kamerabilds zum Anzeigen des virtuellen Abbilds der Person überlagert werden. Bei der dreidimensionalen Erfassung einer Person könnte es vorkommen, dass zwar Tiefeninformationen und Distanzinformationen bezüglich der Person gut erfasst aber das Äußere der Person, also ihr Aussehen, nur unzureichend erfasst werden kann. Dadurch, dass die Person vorzugsweise zusätzlich in Form eines zweidimensionalen Kamerabilds mittels einer herkömmlichen Kamera aufgezeichnet und diese Aufzeichnung mit der dreidimensionalen Aufzeichnung überlagert wird, kann ein besonders realitätsnahes virtuelles Abbild der Person innerhalb der virtuellen Umgebung mittels der Anzeigeeinrichtung angezeigt werden.
  • Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass die Anzeigeeinrichtung derart angesteuert wird, dass das virtuelle Abbild der Person das virtuelle Objekt insoweit verdeckt, wie das virtuelle Abbild aus der zweiten virtuellen Beobachtungsposition vor dem virtuellen Objekt angeordnet ist. Gleichermaßen wird die Anzeigeeinrichtung derart angesteuert, dass das virtuelle Objekt das virtuelle Abbild der Person insoweit verdeckt, wie das virtuelle Objekt aus der zweiten virtuellen Beobachtungsposition vor dem virtuellen Abbild angeordnet ist. Es wird also ermittelt, welcher Bildausschnitt der Anzeigeeinrichtung der Person zuzuordnen ist, welche die Virtual-Reality-Brille aufgesetzt hat, damit diese - sofern die Person sich aus der zweiten virtuellen Beobachtungsposition vor dem angezeigten virtuellen Objekt befindet - auch tatsächlich vor diesem angezeigt wird. Mit anderen Worten wird die Anzeigeeinrichtung also derart angesteuert, dass das virtuelle Abbild der Person, welche die Virtual-Reality-Brille trägt, und das virtuelle Objekt zueinander immer perspektivisch korrekt aus der zweiten virtuellen Beobachtungsposition angezeigt werden. Dies kann beispielsweise dadurch geschehen, dass das verdeckt anzuzeigende Objekt, sei es das virtuelle Objekt oder das virtuelle Abbild der Person, in einem Anzeigebereich der Anzeigeeinrichtung ausgespart wird. Mit anderen Worten werden also diejenigen Bildpunkte, welche zu dem Objekt gehören, dass von einem anderen Objekt verdeckt wird, nicht angezeigt.
  • Gemäß einer alternativen vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass das virtuelle Abbild der Person oberhalb von dem virtuellen Objekt angezeigt wird. Auf der Anzeigeeinrichtung erkennt man also das virtuelle Abbild der Person nicht ganz exakt so, wie sich die Person, welche die Virtual-Reality-Brille aufgesetzt hat, in der virtuellen Umgebung gerade befindet. Stattdessen wird zur Kennzeichnung der Position der Person das virtuelle Abbild der Person über dem virtuellen Objekt schwebend angezeigt. Dies bringt den Vorteil mit sich, dass das virtuelle Objekt unabhängig von der Positionierung des virtuellen Abbilds der Person immer vollständig zu sehen ist und umgekehrt, da das Abbild der Person und das virtuelle Objekt sich bei dieser Vorgehensweise nicht überdecken. Dennoch kann von außenstehenden Personen, welche keine Virtual-Reality-Brille aufgesetzt haben, einfach erkannt werden, wo sich der Träger der Virtual-Reality-Brille innerhalb der virtuellen Umgebung befindet.
  • Das erfindungsgemäße Virtual-Reality-System umfasst eine Virtual-Reality-Brille, eine Positionserfassungseinrichtung zum Erfassen einer Position einer die Virtual-Reality-Brille tragenden Person, ein Kamerasystem zum Aufzeichnen der Person in Form eines dreidimensionalen Kamerabilds, eine Anzeigeeinrichtung und eine Steuereinrichtung. Die Steuereinrichtung ist dazu ausgelegt, der erfassten Position der Person eine erste virtuelle Beobachtungsposition zuzuordnen und eine zweite virtuelle Beobachtungsposition vorzugeben. Des Weiteren ist die Steuereinrichtung dazu ausgelegt, die Virtual-Reality-Brille zum Anzeigen des virtuellen Objekts aus der ersten virtuellen Beobachtungsposition anzusteuern. Ferner ist die Steuereinrichtung dazu ausgelegt, die Anzeigeeinrichtung derart anzusteuern, dass das virtuelle Objekt aus der zweiten virtuellen Beobachtungsposition und ein virtuelles Abbild der Person basierend auf der Aufzeichnung der Person an der ersten virtuellen Beobachtungsposition angezeigt wird. Zudem ist das Kamerasystem dazu ausgelegt ist, die Person zusätzlich in Form eines zweidimensionalen Kamerabilds aufzuzeichnen sowie eine Tiefeninformation des dreidimensionalen Kamerabilds und das zweidimensionale Kamerabild zum Anzeigen des virtuellen Abbilds der Person zu überlagern. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen des erfindungsgemäßen Virtual-Reality-Systems anzusehen, wobei das Virtual-Reality-System insbesondere Mittel zur Durchführung der Verfahrensschritte aufweist.
  • Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
  • Die Zeichnung zeigt in:
    • 1 eine schematische Darstellung eines Virtual-Reality-Systems, welches eine Virtual-Reality-Brille, eine Positionserfassungseinrichtung zum Erfassen einer Position einer die Virtual-Reality-Brille tragenden Person, ein Kamerasystem zum Aufzeichnen der Person, eine Anzeigeeinrichtung sowie eine Steuereinrichtung umfasst;
    • 2 eine schematische Draufsicht auf einen Ausschnitt eines Verkaufsraums, in welchem eine Person mit der aufgesetzten Virtual-Reality-Brille sowie eine weitere Person, welche vor der Anzeigeeinrichtung sitzt, dargestellt sind;
    • 3 eine schematische Draufsicht auf eine virtuelle Umgebung, innerhalb welcher ein virtuelles Kraftfahrzeug angeordnet ist;
    • 4 die mittels der Virtual-Reality-Brille angezeigte virtuelle Umgebung, wobei das virtuelle Kraftfahrzeug in einer Seitenansicht zu erkennen ist; und in
    • 5 die virtuelle Umgebung, wie sie mittels der Anzeigeeinrichtung des Virtual-Reality-Systems angezeigt wird, wobei ein Abbild der Person, welche die Virtual-Reality-Brille trägt, innerhalb der virtuellen Umgebung angezeigt wird.
  • In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • Ein Virtual-Reality-System 10 ist in einer schematischen Darstellung in 1 gezeigt. Das Virtual-Reality-System 10 umfasst eine Virtual-Reality-Brille 12, eine Positionserfassungseinrichtung 14, ein Kamerasystem 16 mit einer 2D-Kamera 18 und einer 3D-Kamera 20, eine Anzeigeeinrichtung 22 sowie eine Steuereinrichtung 24. Die Positionserfassungseinrichtung 14 dient zum Erfassen einer Position einer die Virtual-Reality-Brille 12 tragenden Person. Das Kamerasystem 16 dient zum Aufzeichnen dieser Person. Die Steuereinrichtung 24 ist dazu ausgelegt, der erfassten Position der Person eine virtuelle Beobachtungsposition zuzuordnen und eine zweite virtuelle Beobachtungsposition vorzugeben. Die Steuereinrichtung 24 ist zudem dazu ausgelegt, die Virtual-Reality-Brille 12 zum Anzeigen eines virtuellen Objekts aus der ersten virtuellen Beobachtungsposition anzusteuern und die Anzeigeeinrichtung 22 derart anzusteuern, dass das virtuelle Objekte aus der zweiten virtuellen Beobachtungsposition und ein virtuelles Abbild der Person basierend auf der Aufzeichnung der Person an der ersten virtuellen Beobachtungsposition angezeigt wird.
  • In 2 ist ein Verkaufsraum 26 in einer schematischen Draufsicht gezeigt. Der Verkaufsraum 26 kann beispielsweise in einem Autohaus angeordnet sein, wobei es sich bei dem zuvor genannten virtuellen Objekt in diesem Fall um ein virtuelles Kraftfahrzeug handelt. Eine erste Person 28 hat die Virtual-Reality-Brille 12 aufgesetzt. Bei der ersten Person 28 kann es sich beispielsweise um einen Kaufinteressenten bzw. potenziellen Kunden handeln, welcher unter Umständen ein Kraftfahrzeug kaufen möchte.
  • Mittels der Virtual-Reality-Brille 12 kann der ersten Person 28 ein virtuelles Objekt in Form eines virtuellen Kraftfahrzeugs angezeigt werden. Die Person 28 kann sich also unterschiedliche, für sie interessante Kraftfahrzeuge virtuell mittels der Virtual-Reality-Brille 12 anzeigen lassen. Des Weiteren sitzt in dem Verkaufsraum 26 eine zweite Person 30, bei welcher es sich beispielsweise um einen Verkäufer handeln kann. Wie zu erkennen, ist die zweite Person 30 vor der Anzeigeeinrichtung 22 angeordnet.
  • Darüber hinaus sind in dem Verkaufsraum 26 noch das Kamerasystem 16 sowie die Positionserfassungseinrichtung 14 schematisch angedeutet. Solange sich die erste Person 28 innerhalb eines Erfassungsbereichs 32 der Positionserfassungseinrichtung 14 aufhält, kann die Position der Virtual-Reality-Brille 12 und somit auch die Position der Person 28 zuverlässig erfasst werden. Korrespondierend mit der Bewegung der Person 28 innerhalb des Erfassungsbereichs 32 wird die Perspektive auf das mittels der Virtual-Reality-Brille 12 angezeigte virtuelle Kraftfahrzeug verändert, so dass die Person 28 beispielsweise virtuell um das virtuelle Kraftfahrzeug, welches mittels der Virtual-Reality-Brille 12 angezeigt wird, herumgehen kann.
  • Damit die Person 30, im vorliegenden Fall also der Verkäufer, auf einfache Weise nachvollziehen kann, wo die Person 28 sich gerade innerhalb der virtuellen Umgebung bewegt und aus welcher Perspektive sie auf das virtuelle Kraftfahrzeug blickt, welches mittels der Virtual-Reality-Brille 12 angezeigt wird, ist die Anzeigeeinrichtung 22 vorgesehen. Mittels dieser Anzeigeeinrichtung 22 kann sich die Person 30 die virtuelle Umgebung aus einer anderen Perspektive betrachten, als es die Person 28 mittels der Virtual-Reality-Brille 12 angezeigt bekommt.
  • In 3 ist eine virtuelle Umgebung 34 schematisch in einer Draufsicht gezeigt. Hier sind das zuvor erwähnte virtuelle Kraftfahrzeug 36 sowie die bereits zuvor ebenfalls erwähnte erste virtuelle Beobachtungsposition 38 und die zweite virtuelle Beobachtungsposition 40 gekennzeichnet. Weder die Virtual-Reality-Brille 12 noch die Anzeigeeinrichtung 22 zeigen die virtuelle Umgebung 34 aus dieser Perspektive an. Die Darstellung in 3 dient lediglich zur Erläuterung eines Verfahrens zum Betreiben des Virtual-Reality-Systems 10.
  • Vergleicht man die Darstellung in 2 des Verkaufsraums 26 und die schematische Draufsicht auf die virtuelle Umgebung 34, so erkennt man, dass die reale Position der die Virtual-Reality-Brille 12 tragenden Person 28 und die erste virtuelle Beobachtungsposition 38 einander entsprechen. Außerdem entspricht die zweite virtuelle Beobachtungsposition 40 der realen Position des Kamerasystems 16 innerhalb des Verkaufsraums 26. Nachfolgend wird nun ein Verfahren zum Betreiben des Virtual-Reality-Systems 10 näher erläutert.
  • Es wird fortlaufend eine Position der Person 28, welche die Virtual-Reality-Brille 12 trägt, mittels der Positionserfassungseinrichtung 14 erfasst. Des Weiteren wird fortlaufend die Person 28 mittels des Kamerasystems 16 aufgezeichnet. Dabei kann es vorgesehen sein, dass die Person 28 sowohl mittels der 2D-Kamera als auch mittels der 3D-Kamera aufgezeichnet wird. Bei der 3D-Kamera kann es sich beispielsweise um eine sogenannte Time of Flight Kamera handeln, so dass ein dreidimensionales Kamerabild der Person 28 mittels eines Laufzeitverfahrens aufgezeichnet werden kann.
  • Die erfasste reale Position der Person 28 wird der ersten virtuellen Beobachtungsposition 38 zugeordnet. Verändert die Person 28 also ihre reale Position, so verändert sich auch automatisch die erste virtuelle Beobachtungsposition 38 entsprechend. Des Weiteren wird die zweite virtuelle Beobachtungsposition 40 vorgegeben. Diese kann, muss aber nicht der realen Position des Kamerasystems 16 entsprechen. Mittels der Virtual-Reality-Brille 12 wird ein virtuelles Objekt, im vorliegenden Fall das virtuelle Kraftfahrzeug 36, aus der zweiten virtuellen Beobachtungsposition 40 angezeigt.
  • In 4 ist die virtuelle Umgebung 34 derart dargestellt, wie sie von der Person 28, welche die Virtual-Reality-Brille 12 aufgesetzt hat, gesehen wird. Entsprechend der vorgegebenen ersten virtuellen Beobachtungsposition 38 steht die Person 28 also virtuell vor dem virtuellen Kraftfahrzeug 36, so dass die Person 28 das virtuelle Kraftfahrzeug 36 innerhalb der virtuellen Umgebung 34 in einer Seitenansicht sehen kann.
  • Zudem wird das virtuelle Objekt, also das virtuelle Kraftfahrzeug 36 mittels der Anzeigeeinrichtung 22 aus der zweiten virtuellen Beobachtungsposition 40 angezeigt. Dies ist in 5 verdeutlicht, in welcher die virtuelle Umgebung 34 aus der zweiten virtuellen Beobachtungsposition 40 mitsamt dem virtuellen Kraftfahrzeug 34 gezeigt ist. Die Person 30, welche vor der Anzeigeeinrichtung 22 sitzt, schaut also von schräg vorne auf das virtuelle Kraftfahrzeug 34 drauf. Zusätzlich wird mittels der Anzeigeeinrichtung 22 ein virtuelles Abbild 39 der Person 28 basierend auf der Aufzeichnung der Person 28 mittels des Kamerasystems 40 an der ersten virtuellen Beobachtungsposition 38 angezeigt.
  • Wie zu erkennen, wird das virtuelle Abbild 39 dabei teilweise von dem virtuellen Kraftfahrzeug 36 verdeckt. Denn wie in der schematischen Draufsicht in 3 zu erkennen, befindet sich das virtuelle Kraftfahrzeug 36 zwischen der zweiten virtuellen Beobachtungsposition 40 und der ersten virtuellen Beobachtungsposition 38, also der virtuellen Position der die Virtual-Reality-Brille tragenden Person 28. Im vorliegenden Fall wird die Anzeigeeinrichtung 22 mittels der Steuereinrichtung 24 also derart angesteuert, dass das virtuelle Kraftfahrzeug 36 das virtuelle Abbild 39 der Person 28 insoweit verdeckt, wie das virtuelle Kraftfahrzeug 36 aus der zweiten virtuellen Beobachtungsposition 40 vor dem Abbild 39 der Person 28 angeordnet ist. Dies gilt natürlich auch für den umgekehrten Fall, wenn die erste virtuelle Beobachtungsposition 38 aus Sicht der zweiten virtuellen Beobachtungsposition 40 vor dem virtuellen Kraftfahrzeug 36 angeordnet sein sollte. In diesem Fall wird die Anzeigeeinrichtung 22 mittels der Steuereinrichtung 24 derart angesteuert, dass das virtuelle Abbild 39 der Person 28 das virtuelle Kraftfahrzeug 36 insoweit verdeckt, wie das virtuelle Abbild 39 aus der zweiten virtuellen Beobachtungsposition 40 vor dem virtuellen Kraftfahrzeug 36 angeordnet ist.
  • Statt das virtuelle Abbild 39 so anzuzeigen, als würde die Person 28 innerhalb der virtuellen Umgebung 34 stehen, kann es auch vorgesehen sein, dass das virtuelle Abbild 39 oberhalb von dem virtuellen Kraftfahrzeug 36 angezeigt wird. Unabhängig von der virtuellen Positionierung des virtuellen Abbilds 39 und des virtuellen Kraftfahrzeugs 36 könnten somit beide Objekte 36, 39 ohne einander zu verdecken angezeigt werden.
  • Die Person 30 kann also aus der virtuellen zweiten Beobachtungsposition 40 sich die virtuelle Szenerie, also die virtuelle Umgebung 34, anschauen und erkennt dadurch immer, wie sich die Person 28 virtuell innerhalb der virtuellen Umgebung 34 bewegt. Vorzugsweise wird die zweite virtuelle Beobachtungsposition 40 dabei nicht verändert, sondern derart festgelegt, dass das virtuelle Kraftfahrzeug 36 in einer besonders vorteilhaften Darstellung angezeigt wird. Aufgrund der Einblendung des virtuellen Abbilds 39 in Abhängigkeit von der realen Position der Person 28, und somit auch in Abhängigkeit von der ersten virtuellen Beobachtungsposition 38, kann die Person 30 anhand der Anzeigeeinrichtung 22 immer erkennen, wo sich die Person 28 gerade virtuell innerhalb der virtuellen Umgebung 34 befindet.
  • Mittels der Anzeigeeinrichtung 22 wird also gerade nicht die Perspektive der Person 28 durch die Virtual-Reality-Brille 12 wiedergegeben. Es ist aber zusätzlich möglich, dass neben der Anzeige der virtuellen Umgebung 34 aus der zweiten virtuellen Beobachtungsposition 40 zusätzlich mittels der Anzeigeeinrichtung 22, beispielsweise innerhalb eines kleinen Ausschnitts der Anzeigeeinrichtung 22, noch die virtuelle Umgebung 34 zusätzlich aus der ersten virtuellen Beobachtungsposition 38 angezeigt wird. Somit kann die Person 30 zusätzlich noch die Perspektive auf die virtuelle Umgebung 34 angezeigt bekommen, so wie sie die Person 28 durch die Virtual-Reality-Brille 12 wahrnimmt.

Claims (6)

  1. Verfahren zum Betreiben eines Virtual-Reality-Systems (10), mit den Schritten: - Erfassen einer Position einer eine Virtual-Reality-Brille (12) tragenden Person (28) mittels einer Positionserfassungseinrichtung (14); - Aufzeichnen der Person (28) in Form eines dreidimensionalen Kamerabilds mittels eines Kamerasystems (16); - Zuordnen der erfassten Position zu einer ersten virtuellen Beobachtungsposition (38); - Vorgeben einer zweiten virtuellen Beobachtungsposition (40); - Anzeigen eines virtuellen Objekts (36) aus der ersten virtuellen Beobachtungsposition (38) mittels der Virtual-Reality-Brille (12); - Anzeigen des virtuellen Objekts (36) aus der zweiten virtuellen Beobachtungsposition (40) mittels einer Anzeigeeinrichtung (22), wobei ein virtuelles Abbild (39) der Person (28) basierend auf der Aufzeichnung der Person (28) an der ersten virtuellen Beobachtungsposition (38) angezeigt wird; dadurch gekennzeichnet, dass die Person (28) zusätzlich in Form eines zweidimensionalen Kamerabilds aufgezeichnet wird, wobei eine Tiefeninformation des dreidimensionalen Kamerabilds und das zweidimensionale Kamerabild zum Anzeigen des virtuellen Abbilds (39) der Person (28) überlagert werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das dreidimensionale Kamerabild der Person (28) mittels eines Laufzeitverfahrens, insbesondere mittels einer Time of Flight Kamera, aufgezeichnet wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (22) derart angesteuert wird, dass das virtuelle Abbild (39) der Person (28) das virtuelle Objekt (36) insoweit verdeckt, wie das virtuelle Abbild (39) aus der zweiten virtuellen Beobachtungsposition (40) vor dem virtuellen Objekt (36) angeordnet ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (22) derart angesteuert wird, dass das virtuelle Objekt (36) das virtuelle Abbild (39) der Person (28) insoweit verdeckt, wie das virtuelle Objekt (36) aus der zweiten virtuellen Beobachtungsposition (40) vor dem virtuellen Abbild (39) angeordnet ist.
  5. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das virtuelle Abbild (39) der Person (28) oberhalb von dem virtuellen Objekt (36) angezeigt wird.
  6. Virtual-Reality-System (10), mit - einer Virtual-Reality-Brille (12); - einer Positionserfassungseinrichtung (14) zum Erfassen einer Position einer die Virtual-Reality-Brille (12) tragenden Person (28); - einem Kamerasystem (16) zum Aufzeichnen der Person (28) in Form eines dreidimensionalen Kamerabilds; - eine Anzeigeeinrichtung (22); - einer Steuereinrichtung (18), welche dazu ausgelegt ist, . der erfassten Position der Person (28) eine erste virtuelle Beobachtungsposition (38) zuzuordnen; . eine zweite virtuelle Beobachtungsposition (40) vorzugeben; . die Virtual-Reality-Brille (12) zum Anzeigen eines virtuellen Objekts (36) aus der ersten virtuellen Beobachtungsposition (38) anzusteuern; . die Anzeigeeinrichtung (22) derart anzusteuern, dass das virtuelle Objekt (36) aus der zweiten virtuellen Beobachtungsposition (40) und ein virtuelles Abbild (39) der Person (28) basierend auf der Aufzeichnung der Person (28) an der ersten virtuellen Beobachtungsposition (38) angezeigt wird; dadurch gekennzeichnet, dass das Kamerasystem (16) dazu ausgelegt ist, die Person (28) zusätzlich in Form eines zweidimensionalen Kamerabilds aufzuzeichnen sowie eine Tiefeninformation des dreidimensionalen Kamerabilds und das zweidimensionale Kamerabild zum Anzeigen des virtuellen Abbilds (39) der Person (28) zu überlagern.
DE102015011590.1A 2015-09-04 2015-09-04 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System Active DE102015011590B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015011590.1A DE102015011590B4 (de) 2015-09-04 2015-09-04 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015011590.1A DE102015011590B4 (de) 2015-09-04 2015-09-04 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Publications (2)

Publication Number Publication Date
DE102015011590A1 DE102015011590A1 (de) 2017-03-23
DE102015011590B4 true DE102015011590B4 (de) 2022-05-19

Family

ID=58224357

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015011590.1A Active DE102015011590B4 (de) 2015-09-04 2015-09-04 Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Country Status (1)

Country Link
DE (1) DE102015011590B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217025A1 (de) 2017-09-26 2019-03-28 Audi Ag Verfahren und System zum Durchführen eines virtuellen Treffens zwischen wenigstens einer ersten Person und einer zweiten Person

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278917A1 (en) 2008-01-18 2009-11-12 Lockheed Martin Corporation Providing A Collaborative Immersive Environment Using A Spherical Camera and Motion Capture
US20110216059A1 (en) 2010-03-03 2011-09-08 Raytheon Company Systems and methods for generating real-time three-dimensional graphics in an area of interest
DE102014011590A1 (de) 2014-08-01 2016-02-04 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090278917A1 (en) 2008-01-18 2009-11-12 Lockheed Martin Corporation Providing A Collaborative Immersive Environment Using A Spherical Camera and Motion Capture
US20110216059A1 (en) 2010-03-03 2011-09-08 Raytheon Company Systems and methods for generating real-time three-dimensional graphics in an area of interest
DE102014011590A1 (de) 2014-08-01 2016-02-04 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GHOBADI, S., et al. Hand segmentation using 2d/3d images. In: IVCNZ 2007 Conference, Hamilton, New Zealand. 2007.

Also Published As

Publication number Publication date
DE102015011590A1 (de) 2017-03-23

Similar Documents

Publication Publication Date Title
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
EP0805362B1 (de) Verfahren zur Hinderniswarnung für tieffliegende Fluggeräte
DE102014006732B4 (de) Bildüberlagerung von virtuellen Objekten in ein Kamerabild
DE102014015871B4 (de) Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE102016223908A1 (de) Projektionsanzeigesystem sowie Verfahren zum Betreiben eines Projektionsanzeigesystems
DE112019000329T5 (de) Anzeigesystem, bewegliches objekt und gestaltungsverfahren
EP3411776B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
WO2018219688A1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
DE102015004749A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102014009701A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102015011590B4 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102014018056A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
DE102015007246B4 (de) Verfahren zum Betreiben eines Anzeigesystems und Anzeigesystem für ein Kraftfahrzeug
DE102014009699B4 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
DE102015003973B3 (de) Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
DE102017114450B4 (de) Vorrichtung und Verfahren zum Abbilden von Bereichen
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102014018054A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und Anzeigevorrichtung
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel
DE102015014041B3 (de) Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
DE102015201642B4 (de) Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102015012134A1 (de) Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final