DE102017131083A1 - System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit - Google Patents
System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit Download PDFInfo
- Publication number
- DE102017131083A1 DE102017131083A1 DE102017131083.5A DE102017131083A DE102017131083A1 DE 102017131083 A1 DE102017131083 A1 DE 102017131083A1 DE 102017131083 A DE102017131083 A DE 102017131083A DE 102017131083 A1 DE102017131083 A1 DE 102017131083A1
- Authority
- DE
- Germany
- Prior art keywords
- display
- scene
- recording
- information
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
- GEBIET DER ERFINDUNG
- Die Erfindung betrifft ein System und ein Verfahren zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene.
- STAND DER TECHNIK
- Mithilfe einer Spezialbrille oder eines Head-Mounted-Displays (HMD) kann z.B. einer Trägerin der Brille oder des Displays eine 3D-Szene in einem 3D-Kino oder mithilfe eines 3D-Fernsehers bzw. einer Spielekonsole dargestellt werden. Im letzteren Fall ist es sogar möglich, dass die Position und Ausrichtung des HMD bestimmt, wie die 3D-Szene der Trägerin angezeigt wird. Dadurch kann ihr der Eindruck entstehen, dass sie sich innerhalb der 3D-Szene bewegen und diese erkunden kann. Normalerweise basiert die Visualisierung auf einem Modell der 3D-Szene. Das Modell wird dazu in einem Speicher vorgehalten, der mit einem Prozessor und dem HMD gekoppelt ist. Es kann mit Bildern mehrerer 3D-Spezialkameras erstellt werden, die zu diesem Zweck an genau definierten Positionen in Bezug auf die 3D-Szene positioniert werden müssen. Die Konstruktion des Modells aus den aufgenommenen Bildern kann einige Zeit in Anspruch nehmen. Daher muss sowohl die Entscheidung, welche 3D-Szenen verfügbar sind, als auch die Konstruktion des Modells erfolgen, bevor ein Betrachter oder eine Betrachterin die Spezialbrille oder das HMD benutzt. Somit ist es für den Betrachter oder Betrachterin unmöglich, sofort in eine bisher unbekannte und noch nicht rekonstruierte Remote-Szene einzutauchen.
- AUFGABE DER ERFINDUNG
- Aufgabe der Erfindung ist es deshalb, ein System und ein Verfahren zur Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit bereitzustellen.
- KURZE ZUSAMMENFASSUNG DER ERFINDUNG
- Die Aufgabe wird durch ein System zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, gelöst, das folgende Komponenten umfasst:
- a) eine Anzeigevorrichtung zum Empfangen von Anzeigeinformationen einer Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den Anzeigeinformationen,
- b) einer Verarbeitungseinheit zum Empfangen von Aufzeichnungsinformationen einer beweglichen Aufzeichnungsvorrichtung, zum schrittweisen Konstruieren eines 3D-Modells basierend auf den Aufzeichnungen bzw. Aufzeichnungsinformationen, zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells und vorzugsweise zum Senden einer Aufzeichnungsanforderung an die bewegliche Aufzeichnungsvorrichtung, wobei die Aufzeichnungsanforderung Aufzeichnungsinformationen angibt, die zur weiteren Konstruktion des 3D-Modells benötigt werden;
- c) eine bewegliche Aufzeichnungsvorrichtung zum Aufzeichnen von Informationen mindestens eines Teils der 3D-Szene, vorzugsweise basierend auf der Aufzeichnungsanforderung, und zum Senden der Aufzeichnungsinformationen an die Verarbeitungseinheit.
- Gemäß der Erfindung werden Informationen über eine 3D-Szene kontinuierlich von der Aufzeichnungsvorrichtung erfasst bzw. aufgezeichnet und an die Verarbeitungseinheit gesendet oder übertragen. Dabei wird von der Verarbeitungseinheit ein 3D-Modell der 3D-Szene Schritt für Schritt aufgebaut. Durch die Trennung von Aufzeichnungsvorrichtung, Verarbeitungseinheit und Anzeigegerät können das Aufzeichnen, die Konstruktion und die Visualisierung der 3D-Szene asynchron erfolgen. So kann beispielsweise das Aufzeichnen einer 3D-Szene von einem oder mehreren Aufnahmegeräten mit einer Bildrate von 15 fps oder 30 fps und die Konstruktion mit 30 fps erfolgen. Die Anzeigeinformationen können Informationen mit einer Rate von 20 fps umfassen (oder mit dieser Rate gesendet werden) und die Visualisierung mit 90 fps erfolgen. Das kann für das Rendern auf der Anzeigevorrichtung erforderlich sein, die z.B. eine Virtual-Reality-Vorrichtung (VR-Vorrichtung) sein kann.
- Somit können für jedes Gerät die gerätespezifischen Echtzeitanforderungen unabhängig voneinander erfüllt werden. Dies ermöglicht ein Aufzeichnen, Konstruieren und Visualisieren der 3D-Szene in Echtzeit oder nahezu in Echtzeit. So kann der Anwender unmittelbar nach dem ersten Aufzeichnen der 3D-Szene, dem Beginn der Übertragung, Konstruktion und Visualisierung den bereits erfassten bzw. aufgezeichneten Teil der 3D-Szene von jedem beliebigen Ort und jeder beliebigen Ausrichtung aus erkunden.
- Somit ist es dem Benutzer des Anzeigegerätes mit diesem System möglich, die ständig wachsende Rekonstruktion der 3D-Szene in Echtzeit zu erforschen. Dies kann für den Benutzer von Anfang an ein Gefühl des Eintauchens erzeugen. Schon mit einer teilweise rekonstruierten 3D-Szene kann der Anwender die 3D-Szene unabhängig von der Position und Ausrichtung der Aufzeichnungsvorrichtung erkunden.
- Darüber hinaus können der Benutzer der Anzeigevorrichtung und der Bediener der Aufzeichnungsvorrichtung während der Nutzung dieses Systems miteinander kommunizieren. Sie können sich, z.B. gegenseitig Sprachnachrichten senden oder über zusätzliche visuelle Informationen, die der rekonstruierten Szene überlagert sind, kommunizieren, z.B. mit Zeigern, Highlights oder Farben. Auf diese Weise können der Benutzer und der Bediener das Gefühl bekommen, dass sie quasi in der gleichen Szene anwesend ist.
- Da zudem nur ein Teil der 3D-Szene erfasst bzw. aufgezeichnet werden muss, kann die Aufzeichnung mit einer einzigen Aufzeichnungsvorrichtung erfolgen, z.B. einem 3D-Sensor auf einem Mobiltelefon.
- Im Allgemeinen kann die 3D-Szene eine Indoor-Situation sein, z.B. ein Raum. In diesem Fall kann der Benutzer des Anzeigegeräts ein Berater (oder Handwerker) für Heizung, Möbel oder den Verkauf von Häusern oder dergleichen sein, der den Raum erkunden möchte, ohne tatsächlich in dem Raum anwesend sein zu müssen.
- Alternativ kann die 3D-Szene auch ein Auto oder eine andere technische Anlage umfassen, die von einem Mechaniker überprüft werden muss. Der Mechaniker kann die Installation mit dem Anzeigegerät überprüfen, ohne sich tatsächlich in der Nähe der Installation aufhalten zu müssen.
- Der Begriff Echtzeit, insbesondere im Patentanspruch oder in Bezug auf das Gesamtsystem, kann darauf hindeuten, dass die Visualisierung des Teils der 3D-Szene mehr oder weniger in Echtzeit bzw. zeitgleich mit der Aufzeichnung der Szene erfolgt, d.h. mit einer Verzögerung von weniger als 1-2 Sekunden, unabhängig von den asynchron laufenden Systemkomponenten.
- Der Begriff „Remote-Visualisierung“ bedeutet, dass die Visualisierung an einem anderen Ort als der quasistatischen 3D-Szene stattfinden kann.
- Die Aufzeichnungsvorrichtung ist eine bewegliche Vorrichtung, d.h. die Aufzeichnungsvorrichtung ist in Bezug auf die Objekte in der 3D-Szene beweglich. Die 3D-Szene gilt als quasistatisch. Das bedeutet, dass die Änderungen oder Bewegungen von Objekten innerhalb der 3D-Szene langsamer erfolgen als die Bewegung der Aufzeichnungsvorrichtung innerhalb oder um die 3D-Szene herum. Die Aufzeichnungsvorrichtung kann eine Augmented-Reality-Vorrichtung (AR-Vorrichtung) mit integrierter Kamera / 3D-Sensor sein.
- Die Anzeigevorrichtung kann vorzugsweise eine so genannte Virtual-Reality- oder Augmented-Reality-Vorrichtung sein, zum Beispiel das HTC Vive oder Oculus Rift oder Microsoft Hololens. Die Anzeigevorrichtung kann ein Head-Mounted-Display (HMD) sein oder umfassen, das auf dem Kopf des Benutzers platziert werden soll. Die HMD kann zwei Anzeigen (oder zwei Teile einer einzelnen Anzeige) umfassen, eine für jedes Auge. Alternativ kann die Anzeigevorrichtung auch einen Bildschirm umfassen, der gleichzeitig zwei Bilder, je eines für eines der beiden Augen, auf einem Bildschirm anzeigt, und eine Brille, die eine Filterfunktion aufweist, so dass jedem Auge nur eines der beiden Bilder angezeigt wird. Alternativ kann ein Standard-2D-Bildschirm oder ein mobiles Gerät mit einem 3D-Viewer oder einem 3D-CAD-System verwendet werden.
- Die Verarbeitungseinheit kann vorzugsweise ein Server oder eine andere Art von Computervorrichtung sein. Die Verarbeitungseinheit kann sich am gleichen Ort wie die Anzeigevorrichtung, am gleichen Ort wie die Aufzeichnungsvorrichtung oder an einem dritten Ort, beispielsweise in einem Rechenzentrum oder einer Cloud, befinden. Die Funktionen der Verarbeitungseinheit können auch durch Software ausgeführt werden, die in der Anzeige- oder Aufzeichnungsvorrichtung ausgeführt werden kann.
- Als Aufzeichnungsvorrichtung kann vorzugsweise ein sogenannter 3D-Sensor, z.B. ein Microsoft Kinect oder ein Mobiltelefon mit integriertem 3D-Sensor, verwendet werden. Es kann auch eine Kamera sein (z.B. als Teil eines Mobiltelefons). Die Aufzeichnungsvorrichtung ist innerhalb und/oder um die 3D-Szene herum beweglich.
- Die Position und Ausrichtung der Aufzeichnungsvorrichtung in Bezug auf die 3D-Szene kann (durch die Aufzeichnungsvorrichtung oder die Verarbeitungseinheit) durch Schätzen der Transformation zwischen dem aktuellen und dem vorherigen Bild (oder Frame), das durch die Aufzeichnungsvorrichtung aufgezeichnet wird, abgeleitet werden.
- Das 3D-Modell ist ein inkrementelles Modell, das zumindest teilweise die zu visualisierende quasistatische 3D-Szene beschreibt. Das Modell kann nur geometrische Formen umfassen, die in der 3D-Szene vorhanden sind, aber auch zusätzliche Informationen wie Farb- und Reflexionseigenschaften beinhalten. Das 3D-Modell kann konstruiert und weiter ausgebaut werden, während die Aufzeichnungsvorrichtung Informationen aus der 3D-Szene erfasst bzw. aufnimmt und/oder während das Anzeigegerät einen Teil der 3D-Szene basierend auf dem 3D-Modell visualisiert. Das konstruierte 3D-Modell kann zusätzlich mit CAD-Modellen angereichert werden, die in die rekonstruierte Szene eingefügt werden, oder durch Zeiger und/oder Highlights. Darüber hinaus kann die quasistatische Szene durch eine Abfolge von konsistenten statischen Visualisierungen dargestellt werden. Das heißt, da die Änderungen in der 3D-Szene viel langsamer sind als die Bewegung der Aufzeichnungsvorrichtung, kann die 3D-Szene vollständig und konsistent erfasst bzw. aufgezeichnet werden.
- In einer erfindungsgemäßen Ausführungsform des Systems ist die Anzeigevorrichtung derart ausgestaltet, dass sie eine Anzeigeanforderung an eine Verarbeitungseinheit senden kann, wobei die Anzeigeanforderung Anzeigeinformationen enthält, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind. Des Weiteren ist die Verarbeitungseinheit derart gestaltet, dass sie die Anzeigeanforderung empfangen und, als Reaktion auf die Anzeigeanforderung, Anzeigeinformationen an die Anzeigevorrichtung senden kann.
- In einer weiteren Ausführungsform der Erfindung ist die Verarbeitungseinheit dazu in der Lage, kontinuierlich Anzeigeinformationen an die Anzeigevorrichtung zu senden, beispielsweise wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet oder wenn sich die Verarbeitungseinheit im Leerlauf befindet.
- In einer weiteren erfindungsgemäßen Ausführungsform des Systems umfasst die Anzeigevorrichtung ein Head-Mounted-Display (HDM) und ein Tracking-System des HDM, worin die Anzeigevorrichtung so angeordnet ist, dass sie die Anzeigeanforderung basierend auf Tracking-Daten, die sich auf die Position und Ausrichtung des HMD beziehen, aus dem Tracking-System erzeugt.
- In einer weiteren Ausführungsform des Systems gemäß der Erfindung umfasst das System ferner ein Feedback-Display-Device zum Anzeigen des erfassten bzw. aufgezeichneten Teils der 3D-Szene und/oder einer Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell. Auf diese Weise kann der Bediener der Aufzeichnungsvorrichtung das Aufzeichnen der 3D-Szene und das Erstellen des zugehörigen 3D-Modells verfolgen. Er kann dann entscheiden, weitere Teile der 3D-Szene auf Grundlage des angezeigten Modells aufzunehmen. Das Feedback-Display-Device kann dabei in die Aufzeichnungsvorrichtung integriert sein, z.B. im Falle einer Microsoft-Hololens.
- In einer weiteren Ausführungsform des Systems gemäß der Erfindung umfassen die Aufzeichnungsinformationen Daten über Rot-, Blau-, Grün- und Depth-Channels (RBG-D). Diese Daten können von der Aufzeichnungsvorrichtung erzeugt und an die Verarbeitungseinheit gesendet werden. So können Verzögerungen vermieden und die Latenz des Systems reduziert werden.
- In einer weiteren erfindungsgemäßen Ausführungsform umfasst das System ferner eine weitere Anzeigevorrichtung zum Senden einer weiteren Anzeigeanforderung an die Verarbeitungseinheit, zum Empfangen weiterer Anzeigeinformationen von der Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den weiteren Anzeigeinformationen. Dabei enthält die weitere Anzeigeanforderung Anzeigeinformationen, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind. Des Weiteren erzeugt die Verarbeitungseinheit weitere Anzeigeinformationen und sendet sie an die weitere Anzeigevorrichtung unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung.
- Ein Vorteil einer zweiten oder einer weiteren Anzeigevorrichtung, die sich an einem anderen Ort als die erste Anzeigevorrichtung befinden kann, besteht darin, dass sie es einem zweiten oder einem weiteren Benutzer ermöglicht, die 3D-Szene unabhängig voneinander, z.B. gleichzeitig, mit demselben 3D-Modell zu erkunden.
- Wenn die weiteren Anzeigeinformationen, die zum Visualisieren des mindestens einen Teils der 3D-Szene benötigt werden, bereits in der weiteren Anzeigevorrichtung vorhanden sind, muss keine weitere Anzeigeanforderung gesendet werden. Dasselbe gilt für die anderen Anzeigeanforderungen: Wenn die Anzeigeinformationen, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind, bereits in der Anzeigevorrichtung vorhanden sind, muss die Anzeigeanforderung nicht gesendet werden.
- Alternativ zum Senden einer weiteren Anzeigeanforderung können die weiteren Anzeigeinformationen von der Verarbeitungseinheit in regelmäßigen Abständen bzw. periodisch an die weitere Anzeigevorrichtung übertragen werden, ohne dass eine weitere Anzeigeanforderung erforderlich ist. Die weiteren Anzeigeinformationen können Informationen über das 3D-Modell umfassen. Wenn die weiteren Anzeigeinformationen periodisch übertragen werden, können sie u.a. Informationen über eine oder mehrere inkrementelle Änderungen des 3D-Modells umfassen.
Dasselbe kann für die Anzeigeanforderung gelten: Die Anzeigeinformationen können von der Verarbeitungseinheit periodisch an die Anzeigevorrichtung übertragen werden, ohne dass eine Anzeigeanforderung erforderlich ist. Die Anzeigeinformationen können Informationen über das 3D-Modell umfassen. Wenn die Anzeigeinformationen regelmäßig übertragen werden, können sie ebenfalls Informationen über eine oder mehrere inkrementelle Änderungen des 3D-Modells umfassen. - In einer weiteren erfindungsgemäßen Ausführungsform des Systems versendet die Anzeigevorrichtung Anzeigeanforderungen über das Internet. Dasselbe kann für die Anzeigeinformationen gelten, die von der Verarbeitungseinheit übertragen werden, bzw. für die von der Aufzeichnungsvorrichtung Aufzeichnungsinformationen.
- Gemäß einem zweiten Aspekt der Erfindung ist ein Verfahren zum Aufzeichnen und Remote-Visualisieren einer 3D-Szene, vorzugsweise in Echtzeit, mit einem in diesem Dokument beschriebenen System vorgesehen, das die folgenden Schritte umfasst:
- - Informationen von mindestens einem Teil einer 3D-Szene werden (von einer beweglichen Aufzeichnungsvorrichtung) erfasst bzw. aufzeichnet. Die Aufzeichnungsinformationen werden an eine Verarbeitungseinheit gesendet, vorzugsweise als Reaktion auf eine Aufzeichnungsanforderung und auf Basis derselben.
- - ein 3D-Modell des mindestens einen Teils der 3D-Szene wird (von der Verarbeitungseinheit) basierend auf den Aufzeichnungsinformationen konstruiert.
- - Anzeigeinformationen werden unter Verwendung des 3D-Modells (von der Verarbeitungseinheit) erzeugt und an die Anzeigevorrichtung gesendet.
- - der mindestens eine Teil der 3D-Szene wird basierend auf den von der Verarbeitungseinheit empfangenen Anzeigeinformationen (von der Anzeigevorrichtung) visualisiert.
- In einer Ausführungsform des Verfahrens gemäß der Erfindung umfasst das Verfahren ferner die folgenden Schritte:
- - eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet.
- - Anzeigeinformationen werden von der Verarbeitungseinheit als Reaktion auf die Anzeigeanforderung erzeugt und an eine Anzeigevorrichtung gesendet, wobei die Anzeigeanforderung die Anzeigeinformationen anzeigt, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind.
- In einer erfindungsgemäßen Variante umfasst das Verfahren ferner den Schritt: Anzeigeinformationen werden kontinuierlich von der Verarbeitungseinheit erzeugt und an die Anzeigevorrichtung gesendet, zum Beispiel wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet.
- In einer weiteren Variante umfasst das erfindungsgemäße Verfahren ferner folgende Schritte:
- - eine Anzeigeanforderung wird gesendet, beispielsweise basierend auf der Bewegung der Anzeigevorrichtung; und/oder
- - eine Aufzeichnungsanforderung wird erzeugt und gesendet, vorzugsweise basierend auf der Anzeigeanforderung, wobei die Aufzeichnungsanforderung die Aufzeichnungsinformationen angibt, die zum weiteren Aufbau des 3D-Modells erforderlich sind.
- Gemäß der Erfindung kann das Verfahren weiterhin einen Schritt zum Bewegen der Aufzeichnungsvorrichtung gemäß einer Bewegung der Anzeigevorrichtung umfassen.
- Des Weiteren kann das Verfahren gemäß der Erfindung einen Schritt umfassen, bei dem einem Bediener der Aufzeichnungsvorrichtung mittels eines Feedback-Display-Device ein Teil der aufgenommenen 3D-Szene bzw. eine Visualisierung der 3D-Szene basierend auf dem konstruierten 3D-Modell angezeigt wird. Auf diese Weise kann der Bediener des Aufzeichnungsgeräts die Aufnahme der 3D-Szene sowie die Erstellung des 3D-Modells verfolgen und überwachen. Er kann dann entscheiden, weitere Teile der 3D-Szene auf Grundlage des angezeigten Modells aufzunehmen. Das Feedback-Display-Device kann dabei in die Aufzeichnungsvorrichtung integriert sein, z.B. im Falle einer Microsoft-Hololens.
- In den beschriebenen erfindungsgemäßen Verfahren können einer, einige oder alle Schritte unabhängig voneinander wiederholt werden.
- Erfindungsgemäße Varianten des Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit und ihrer Merkmale und Vorteile werden in diesem Dokument mit Bezug auf das System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit erläutert.
- Figurenliste
- Zum besseren Verständnis der vorliegenden Erfindung wird auf die nachfolgende Beschreibung verwiesen, die im Zusammenhang mit beigefügten Zeichnungen gemacht wird:
-
1 zeigt einen schematischen Überblick über eine Ausführungsform eines Systems zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit gemäß der Erfindung; und -
2 zeigt einen schematischen Überblick über eine Variante eines Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit gemäß der Erfindung. - DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
- In
1 ist ein schematischer Überblick über eine Ausführungsform eines Systems100 zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit gemäß der Erfindung dargestellt. Das System100 umfasst eine Anzeigevorrichtung110 , eine Verarbeitungseinheit120 und eine bewegliche Aufzeichnungsvorrichtung130 . Die bewegliche Aufzeichnungsvorrichtung kann auf eine 3D-Szene180 gerichtet und in Bezug auf Objekte innerhalb dieser Szene beweglich sein. - Die Anzeigevorrichtung
110 , die Verarbeitungseinheit120 und/oder die Aufzeichnungsvorrichtung130 können Daten oder Informationen miteinander austauschen. Da sich diese drei Geräte an zwei oder drei verschiedenen Orten befinden können, können die Informationen über das Internet oder ein lokales Netzwerk oder über ein direktes Datenkabel zwischen ihnen übertragen werden. - Die Aufzeichnungsvorrichtung
130 erfasst bzw. zeichnet Informationen aus der 3D-Szene 180 auf. Da die Aufzeichnungsvorrichtung eine Kamera sein kann, können die Aufzeichnungsinformationen170 Bilder oder einen Video-Stream umfassen oder aus Bildern oder einem Video-Stream bestehen. Der Video-Stream kann sogenannte RGB-D-Informationen umfassen. Die Aufzeichnungsinformationen170 können ferner Informationen über die Position und Ausrichtung der Aufzeichnungsvorrichtung in Bezug auf die 3D-Szene180 umfassen. - In einer Ausführungsform des Systems
100 kann eine weitere Aufzeichnungsvorrichtung vorhanden sein. Die weitere Aufzeichnungsvorrichtung kann die gleichen Merkmale aufweisen wie die in diesem Dokument in Bezug auf die Aufzeichnungsvorrichtung130 beschriebenen. Ein Vorteil mehrerer Aufzeichnungsgeräte ist, dass die Aufzeichnung der 3D-Szene schneller erfolgen kann. - Das System
100 kann mit einem Feedback-Display-Device135 ausgestattet sein, das so angeordnet ist, dass sie den aufgenommenen Teil einer 3D-Szene180 und/oder eine Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell, vorzugsweise auf der Grundlage von Feedback-Informationen165 , anzeigt. Das Feedback-Display-Device ist dabei derart ausgestaltet, dass es die Feedback-Informationen165 empfangen kann. Die Verarbeitungseinheit120 kann ferner die Feedback-Informationen165 erzeugen und an das Feedback-Display-Device senden. Die Feedback-Informationen165 können Daten über einen Teil der aufgenommenen 3D-Szene 180 und/oder einer Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell umfassen. - Das Feedback-Display-Device
135 kann eine Kommunikationseinheit umfassen und die Anzeigevorrichtung110 kann ebenfalls eine Kommunikationseinheit umfassen. In diesem Fall können der Bediener der Aufzeichnungsvorrichtung130 und der Benutzer der Anzeigevorrichtung110 über diese beiden Kommunikationseinheiten miteinander kommunizieren. - Das Feedback-Display-Device
135 (mit oder ohne Kommunikationseinheit) kann in die Aufzeichnungsvorrichtung130 integriert werden. Ein Beispiel für ein solches Gerät ist das ASUS Zenfone AR oder die Microsoft Hololens. Diese Integration kann eine Überlagerung einer Visualisierung eines Teils der 3D-Szene basierend auf dem konstruierten Modell mit der 3D-Szene180 ermöglichen. Auf diese Weise kann der Bediener sehen, welche Teile der 3D-Szene180 (noch) nicht in das konstruierte 3D-Modell aufgenommen wurden.
Die Aufzeichnungsvorrichtung130 ist derart gestaltet, dass sie eine Aufzeichnungsanforderung160 der Verarbeitungseinheit120 empfangen kann. Diese Anforderung gibt die Aufzeichnungsinformationen an, die die Verarbeitungseinheit120 benötigt, um ein 3D-Modell der 3D-Szene 180 weiter aufzubauen. Diese Anforderung kann von der Aufzeichnungsvorrichtung120 verarbeitet und dazu benutzt werden, dass dem Bediener der Aufzeichnungsvorrichtung130 der Aufzeichnungsanforderung entsprechende Pfeile auf dem Feedback-Display-Device135 angezeigt werden. - Diese Pfeile können dem Bediener z.B. anzeigen, in welche Richtung er die Aufzeichnungsvorrichtung oder das Aufnahmegerät
130 bewegen soll. Darüber hinaus können dem Bediener der Aufzeichnungsvorrichtung130 zusätzliche Informationen gegeben werden, indem z.B. ein Vibrationsmodus des Aufzeichnungsgeräts (z.B. ASUS Zenfone AR) verwendet wird, wenn die Bewegungen des Aufzeichnungsgeräts zu schnell erfolgen, oder indem zusätzliche CAD-Daten überlagert werden. - Die Aufzeichnungsanforderung
160 kann eine Sprachnachricht des Benutzers der Anzeigevorrichtung110 umfassen, die angibt, welcher Teil der 3D-Szene weiter untersucht werden soll, für den das Modell jedoch möglicherweise noch keine (ausreichenden) Daten enthält. Die Sprachnachricht des Benutzers kann von der Anzeigevorrichtung110 erfasst und ohne weitere Bearbeitung durch die Verarbeitungseinheit120 direkt an die Aufzeichnungsvorrichtung130 gesendet werden. - Die Aufzeichnungsvorrichtung
130 kann derart ausgestaltet werden, dass sie die Sprachnachricht des Benutzers der Anzeigevorrichtung110 wiedergibt. Auf diese Weise kann der Bediener der Aufzeichnungsvorrichtung130 darüber informiert werden, in welche Richtung er die Aufzeichnungsvorrichtung130 bewegen soll. Darüber hinaus kann die Anzeigevorrichtung110 ebenfalls derart ausgestaltet sein, dass sie eine Sprachnachricht wiedergeben kann, die von der Aufzeichnungsvorrichtung130 aufgezeichnet wurde. Auf diese Weise können der Benutzer und der Bediener über Sprachnachrichten miteinander kommunizieren. In diesem Fall ist die Aufzeichnungsvorrichtung130 ebenfalls derart gestaltet, dass sie Informationen bezüglich einer aufgezeichneten Sprachnachricht an die Verarbeitungseinheit120 senden kann. In diesem Fall weist die Verarbeitungseinheit120 ebenfalls Mittel auf, mit denen sie diese Informationen an die Anzeigevorrichtung110 weiterleiten kann. Es ist auch denkbar, dass die Aufzeichnungsvorrichtung130 derart gestaltet ist, dass sie Informationen über eine aufgezeichnete Sprachnachricht direkt an die Anzeigevorrichtung110 senden kann. - Die Verarbeitungseinheit
120 kann ein Server sein, möglicherweise irgendwo in der Cloud, der über eine Internetverbindung sowohl mit der Aufzeichnungsvorrichtung130 als auch mit der Anzeigevorrichtung110 verbunden ist. Die Verarbeitungseinheit120 ist dabei derart gestaltet, dass sie die Aufzeichnungsinformationen170 von der Aufzeichnungsvorrichtung130 empfangen kann. Basierend auf diesen Informationen erstellt die Verarbeitungseinheit120 ein inkrementelles 3D-Modell der 3D-Szene180 . Das 3D-Modell kann daher erweitert und/oder verbessert werden, wenn neue Aufzeichnungsinformationen170 von der Verarbeitungseinheit120 empfangen werden. - Das 3D-Modell, das von der Verarbeitungseinheit
120 konstruiert wird, kann ein sogenanntes Voxel-Modell sein, zum Beispiel ein TSDF-Modell (Truncated Signed Distance Field), oder ein Surfel-basiertes Modell. - Neben der Konstruktion des 3D-Modells kann die Verarbeitungseinheit
120 auch Anzeigeinformationen150 an die Anzeigevorrichtung110 bereitstellen, optional als Reaktion auf eine Anzeigeanforderung140 von der Anzeigevorrichtung110 . Die Anzeigeanforderung140 kann Anzeigeinformationen150 enthalten, die benötigt werden, um mindestens einen Teil der 3D-Szene zu visualisieren. Dieser Teil kann der Teil der 3D-Szene sein, den der Benutzer des Anzeigegeräts untersuchen möchte. Die Anzeigeanforderung140 kann Informationen über die Position und Ausrichtung der Anzeigevorrichtung110 beinhalten. - Die Anzeigeinformationen
150 wird als Reaktion auf eine Anzeigeanforderung140 an die Anzeigevorrichtung110 übertragen und/oder kontinuierlich übertragen, gestreamt oder gepusht, auch wenn gerade keine Anzeigeanforderung vorliegt. - Die Anzeigeanforderung
140 kann darin bestehen, dass eine neue 3D-Szene aufgenommen werden soll. Die Aufzeichnungsanforderung150 kann als Reaktion auf diese Anzeige eine entsprechende Anweisung enthalten, dass eine neue Kopie der 3D-Szene erfasst bzw. aufgezeichnet werden soll, z.B. wenn sich die quasistatische Szene geändert hat. - Basierend auf dieser optionalen Anforderung
140 und unter Verwendung des 3D-Modells erzeugt die Verarbeitungseinheit120 Anzeigeinformationen150 und sendet diese Informationen150 an die Anzeigevorrichtung110 . Dies kann das Rendern der Bilder beinhalten, die für die Visualisierung dieses Teils der 3D-Szene benötigt werden, und das Senden dieser Bilder (oder von Daten, die sich auf diese Bilder beziehen) an die Anzeigevorrichtung110 in Form von Anzeigeinformationen150 . - Die Verarbeitungseinheit
120 kann auch Anzeigeinformationen150 kontinuierlich erzeugen und diese ebenfalls kontinuierlich an die Anzeigevorrichtung110 senden. Dies kann der Fall sein, wenn die Verarbeitungseinheit120 gerade keine Anzeigeanforderungen verarbeitet, keine Anforderungen erfasst und/oder das 3D-Modell nicht konstruiert, oder wenn sie als „idle“ bezeichnet werden kann. In diesen Momenten kann die Verarbeitungsleistung der Verarbeitungseinheit120 zum kontinuierlichen Erzeugen und Senden von Anzeigeinformationen150 an die Anzeigevorrichtung110 verwendet werden. - Die Verarbeitungseinheit
120 kann auch Feedback-Informationen165 an das Feedback-Display-Device135 bereitstellen, optional als Reaktion auf eine Feedback-Anforderung des Feedback-Display-Device135 . Die Feedback-Anforderung kann die Feedback-Informationen165 angeben, die zur Visualisierung bzw. Umsetzung des Feedbacks benötigt werden. - Die Verarbeitungseinheit
120 kann ferner derart ausgestaltet sein, um mit ihr zu bestimmen, ob die gesamte 3D-Szene 180 erfasst wurde, d.h. ob das 3D-Modell vollständig ist. In diesem Fall ist eine weitere Aufzeichnung und Konstruktion nicht erforderlich, bis sich etwas in der 3D-Szene ändert. Dementsprechend kann eine Aufzeichnungsanforderung150 ferner anzeigen, dass eine weitere Aufzeichnung nicht erforderlich ist, und die Aufzeichnungsvorrichtung130 (oder das Feedback-Display-Device135 ) kann so eingerichtet sein, dass sie diese Informationen an den Bediener der Aufzeichnungsvorrichtung130 übermittelt. - Gemäß der Erfindung befindet sich das 3D-Modell in der Verarbeitungseinheit
120 und die zur Visualisierung des erforderlichen Teils der 3D-Szene erforderliche Anzeigeinformationen wird als Reaktion auf eine Anzeigeanforderung140 an die Anzeigevorrichtung110 gesendet. - Darüber hinaus können Anzeigeinformationen an die Anzeigevorrichtung
110 gesendet werden, auch wenn keine Anzeigeanforderung140 vorliegt. In diesem Fall können die Anzeigeinformationen periodisch oder kontinuierlich an die Anzeigevorrichtung gesendet, gestreamt oder gepusht werden. Der Vorteil besteht darin, dass mithilfe dieser Anzeigeinformationen inkrementelle Änderungen des 3D-Modells automatisch dargestellt werden können. - Da die Bandbreite der Informationsübertragung zwischen der Verarbeitungseinheit
120 und der Anzeigevorrichtung110 begrenzt sein kann, werden die Anzeigeinformationen, die als Reaktion auf eine Anzeigeanforderung gesendet werden, (beim Senden durch die Verarbeitungseinheit120 ) über die von der Verarbeitungseinheit120 kontinuierlich übertragenen, gestreamten oder gepushten Anzeigeinformationen priorisiert. - Somit sind die Anforderungen an die Datenverbindung (z.B. in Bezug auf die Bandbreite) zwischen der Verarbeitungseinheit
120 und der Anzeigevorrichtung110 weniger streng im Vergleich zu einem System, bei dem das gesamte 3D-Modell bei der Aktualisierung des 3D-Modells an die Anzeigevorrichtung gesendet wird. Darüber hinaus kann die visualisierte 3D-Szene in der Anzeigevorrichtung110 schrittweise aktualisiert werden, was die Anforderungen an die Datenverbindung zwischen der Verarbeitungseinheit120 und der Anzeigevorrichtung110 reduziert. - Die Verarbeitungseinheit
120 kann als verteiltes System mit mehreren unabhängigen Rekonstruktions-, Speicher- und Verwaltungseinheiten realisiert werden. - Die Anzeigeanforderung
140 kann ferner eine Sprachnachricht des Benutzers der Anzeigevorrichtung110 umfassen. In diesem Fall verfügt die Verarbeitungseinheit120 über Mittel zum Empfangen dieser Sprachnachricht und zum Einbeziehen der Sprachnachricht in die Aufzeichnungsanforderung160 , die die Verarbeitungseinheit120 an die Aufzeichnungsvorrichtung130 sendet. Ferner ist die Aufzeichnungsvorrichtung130 zur Wiedergabe der Sprachnachricht eingerichtet. - Dies stellt eine Alternative oder Ergänzung zu den vorstehend beschriebenen Kommunikationseinheiten dar, um die Kommunikation zwischen dem Benutzer der Anzeigevorrichtung
110 und dem Bediener der Aufzeichnungsvorrichtung zu ermöglichen. - Die Anzeigevorrichtung
110 ist zum Empfangen der Anzeigeinformation150 und zum Visualisieren mindestens eines Teils der 3D-Szene eingerichtet. Zu diesem Zweck kann die Anzeigevorrichtung110 ein Head-Mounted-Device (HMD), wie beispielsweise ein HTC Vive oder ein Oculus Rift, umfassen oder aus ihr bestehen. Die Visualisierung kann die Anzeige von Bildern umfassen, die von der Verarbeitungseinheit120 in Form von Anzeigeinformation150 empfangen wurden. - Die Anzeigevorrichtung
110 oder die HMD kann ein Tracking-System zum Verfolgen der Position und Ausrichtung des HMD und zum Bereitstellen von Trackinginformationen oder Tracking-Daten in Bezug auf die Position und Ausrichtung umfassen. In diesem Fall kann die Anzeigevorrichtung derart ausgestaltet sein, dass sie eine Anzeigeanforderung basierend auf den Tracking-Daten erzeugt. - Der Benutzer der Anzeigevorrichtung
110 kann die Anzeigevorrichtung110 bewegen, um einen weiteren Teil der 3D-Szene zu erkunden. Als Reaktion auf die Bewegung kann die Anzeigevorrichtung110 eine Anzeigeanforderung140 erzeugen und diese Anforderung an die Verarbeitungseinheit110 senden. Die Anzeigevorrichtung110 kann ferner ein Mikrofon umfassen, um eine Sprachnachricht eines Benutzers aufzunehmen. - Neben der Anzeigevorrichtung
110 kann ein erfindungsgemäßes System auch eine weitere Anzeigevorrichtung (nicht in1 dargestellt) aufweisen. Die weitere Anzeigevorrichtung kann zum Senden einer weiteren Anzeigeanforderung an die Verarbeitungseinheit, zum Empfangen weiterer Anzeigeinformationen von der Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den weiteren Anzeigeinformationen angeordnet sein. Die weitere Anzeigeanforderung zeigt die weiteren Anzeigeinformationen an, die benötigt werden, um den mindestens einen Teil der 3D-Szene zu visualisieren. Die Verarbeitungseinheit120 kann ferner derart gestaltet sein, dass sie diese weiteren Anzeigeinformationen erzeugt und an die weitere Anzeigevorrichtung unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung sendet. - Diese weitere Anzeigevorrichtung kann mit der Anzeigevorrichtung
110 identisch sein. In dieser Ausführungsform kann ein zweiter Benutzer, der die weitere Anzeigevorrichtung verwendet, die 3D-Szene unabhängig vom ersten Benutzer mit der Anzeigevorrichtung110 erkunden. Der Teil der 3D-Szene, der durch die Anzeigevorrichtung110 visualisiert wird, kann sich daher von dem Teil der 3D-Szene unterscheiden, der durch die weitere Anzeigevorrichtung visualisiert wird. - Es ist auch möglich, dass die Anzeigevorrichtung
110 eine Virtual-Reality-Vorrichtung ist (wie oben beschrieben) und dass die weitere Anzeigevorrichtung ein Monitor ist. In diesem Fall kann der zweite Benutzer eine Visualisierung eines beliebigen Teils der 3D-Szene180 (die sich von dem Teil der 3D-Szene unterscheiden kann, den der erste Benutzer sieht) oder eine synchronisierte Visualisierung des gleichen Teils der 3D-Szene wie der erste Benutzer sehen, obwohl sie nicht in 3D angezeigt werden muss. -
2 zeigt einen schematischen Überblick des erfindungsgemäßen Verfahrens200 zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit. Das Verfahren kann jede beliebige in diesem Dokument beschriebene Ausführungsform eines Systems zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit verwenden. Das Verfahren200 umfasst die folgenden Schritte: - Schritt
210 : Informationen von mindestens einem Teil einer 3D-Szene180 werden (von einer beweglichen Aufzeichnungsvorrichtung130 ) erfasst bzw. aufgezeichnet und (an eine Verarbeitungseinheit120 ) gesendet, als Reaktion auf eine Aufzeichnungsanforderung160 und vorzugsweise darauf basierend. - Schritt
220 : ein 3D-Modell mindestens eines Teils der 3D-Szene wird (von einer Verarbeitungseinheit120 ) basierend auf den Aufzeichnungsinformationen konstruiert. - Schritt
230 : eine Anzeigeanforderung140 wird (von einer Anzeigevorrichtung110 ) (an die Verarbeitungseinheit120 ) gesendet. - Schritt
240 : Anzeigeinformationen150 werden (von der Verarbeitungseinheit120 ) unter Verwendung des 3D-Modells erzeugt und (an die Anzeigevorrichtung110 ) gesendet. - Schritt
250 : ein Teil der 3D-Szene wird (von der Anzeigevorrichtung110 ) basierend auf den Anzeigeinformationen150 (die von der Verarbeitungseinheit120 empfangen wurden) visualisiert. - In einer Variante kann das Verfahren
200 ferner einen der folgenden Schritte umfassen: - Schritt
260 : eine Anzeigeanforderung140 wird (wieder) (von der Anzeigevorrichtung110 ) (an die Verarbeitungseinheit120 ), beispielsweise basierend auf der Bewegung der Anzeigevorrichtung110 , gesendet; und/oder - Schritt
270 : eine Aufzeichnungsanforderung160 wird (von der Verarbeitungseinheit120 ) erzeugt und (an die Aufzeichnungsvorrichtung130 ) gesendet, vorzugsweise basierend auf der Anzeigeanforderung140 , wobei die Aufzeichnungsanforderung160 die Aufzeichnungsinformationen170 enthält, die zum weiteren Aufbau des 3D-Modells benötigt werden; - Alle oben genannten Schritte
210 -270 können in der oben und in2 dargestellten Reihenfolge, aber auch in jeder anderen Reihenfolge ausgeführt werden. Darüber hinaus können einige oder alle dieser Schritte unabhängig voneinander wiederholt werden, da die Verarbeitungseinheit so angeordnet ist, dass sie das 3D-Modell schrittweise konstruiert. - In einer Variante des Verfahrens kann Schritt
210 das Bewegen der beweglichen Aufzeichnungsvorrichtung130 mit Bezug auf ein oder mehrere Objekte innerhalb der 3D-Szene umfassen, optional gemäß einer Bewegung der Anzeigevorrichtung. - In einer weiteren Variante können anstelle oder zusätzlich zu der Anzeigevorrichtung, die eine Anzeigeanforderung an die Verarbeitungseinheit sendet, die Anzeigeinformationen kontinuierlich erzeugt und an die Anzeigevorrichtung gesendet werden, beispielsweise wenn die Verarbeitungseinheit keine Anzeigeanforderung verarbeitet.
- In einer anderen Ausführung ist die Aufzeichnungsvorrichtung
130 derart ausgestaltet, dass sie unabhängig von den Teilen der 3D-Szene, die von der Anzeigevorrichtung110 visualisiert werden, weitere und/oder andere Teile der 3D-Szene erfassen bzw. aufzeichnen kann. Des Weiteren kann die Aufzeichnungsvorrichtung130 so gestaltet sein, dass sie Teile der 3D-Szene in Abhängigkeit von den Teilen der 3D-Szene erfasst bzw. aufzeichnet, die von der Anzeigevorrichtung110 visualisiert werden. Das kann z.B. dadurch realisiert werden, dass die Aufzeichnungsvorrichtung130 der Bewegung der Anzeigevorrichtung110 folgt. - Weitere erfindungsgemäße Varianten des Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit und ihrer Merkmale werden oben mit Bezug auf das System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit näher erläutert. Darüber hinaus können Merkmale der Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit auch auf Ausführungsformen des Systems zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit angewendet werden.
- Darüber hinaus kann die Erfindung wie folgt beschrieben werden: Die Erfindung bezieht sich auf ein System und ein Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit. Das System umfasst eine Anzeigevorrichtung, die zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf Anzeigeinformationen angeordnet ist. Das System umfasst ferner eine Verarbeitungseinheit, die zum Empfangen von Aufzeichnungsinformationen, zum schrittweisen Erstellen eines 3D-Modells basierend auf den Aufzeichnungsinformationen und zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells ausgestaltet ist. Das System umfasst ferner eine Aufzeichnungsvorrichtung, die zum Erfassen von Informationen aus mindestens einem Teil der 3D-Szene und zum Senden von Aufzeichnungsinformationen an die Verarbeitungseinheit angeordnet ist. Die Anzeigevorrichtung kann eine Anzeigeanforderung senden, die die Anzeigeinformationen anzeigt, die benötigt werden, um mindestens einen Teil der 3D-Szene zu visualisieren. Die Verarbeitungseinheit kann auf der Grundlage der Anzeigeanforderung eine Aufzeichnungsanforderung erzeugen. Die Aufzeichnungsvorrichtung kann die aufzuzeichnenden Informationen basierend auf der Aufzeichnungsanforderung erfassen bzw. aufzeichnen.
- Während die vorliegenden Erfindungen in Verbindung mit einer Reihe spezifischer Ausführungsformen beschrieben und veranschaulicht wurden, werden die Fachmänner verstehen, dass Abweichungen und Modifikationen vorgenommen werden können, ohne von den Prinzipien der Erfindungen abzuweichen, die hierin veranschaulicht, beschrieben und beansprucht werden. Die vorliegenden Erfindungen können in anderen spezifischen Formen verkörpert werden, ohne von ihrem Geist oder ihren wesentlichen Eigenschaften abzuweichen. Die beschriebenen Ausführungsformen werden in jeder Hinsicht als veranschaulichend und nicht einschränkend betrachtet. Der Umfang der Erfindungen wird daher durch die beigefügten Ansprüche und nicht durch die vorstehende Beschreibung angegeben.
- Bezugszeichenliste
-
- 100
- System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
- 110
- Anzeigevorrichtung
- 120
- Verarbeitungseinheit
- 130
- bewegliche Aufzeichnungsvorrichtung
- 135
- Feedback-Display-Device
- 140
- Anzeigeanforderung
- 150
- Anzeigeinformationen
- 160
- Aufzeichnungsanforderung
- 165
- Feedback-Informationen
- 170
- Aufzeichnungsinformationen
- 180
- 3D-Szene
- 200
- Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
- 210
- Aufzeichnen und Senden von Aufzeichnungsinformationen
- 220
- Konstruieren eines 3D-Modells
- 230
- Senden einer Anzeigeanforderung
- 240
- Erzeugen und Senden von Anzeigeinformationen basierend auf dem 3D-Modell
- 250
- Visualisieren eines Teils der 3D-Szene
- 260
- Senden einer Anzeigeanforderung basierend auf den Bewegungen der Anzeigevorrichtung
- 270
- Erzeugen und Senden einer Aufzeichnungsanforderung
Claims (14)
- System zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, umfassend: a) eine Anzeigevorrichtung zum Empfangen von Anzeigeinformationen einer Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den Anzeigeinformationen, b) einer Verarbeitungseinheit zum Empfangen von Aufzeichnungsinformationen einer beweglichen Aufzeichnungsvorrichtung, zum schrittweisen Konstruieren eines 3D-Modells basierend auf den Aufzeichnungen bzw. Aufzeichnungsinformationen, zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells und vorzugsweise zum Senden einer Aufzeichnungsanforderung an die bewegliche Aufzeichnungsvorrichtung, wobei die Aufzeichnungsanforderung Aufzeichnungsinformationen angibt, die zur weiteren Konstruktion des 3D-Modells benötigt werden, c) eine bewegliche Aufzeichnungsvorrichtung zum Aufzeichnen von Informationen mindestens eines Teils der 3D-Szene, vorzugsweise basierend auf der Aufzeichnungsanforderung, und zum Senden der Aufzeichnungsinformationen an die Verarbeitungseinheit.
- System nach
Anspruch 1 , wobei die Anzeigevorrichtung derart ausgestaltet ist, dass sie eine Anzeigeanforderung an die Verarbeitungseinheit senden kann, wobei die Anzeigeanforderung Anzeigeinformationen enthält, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind, und die Verarbeitungseinheit derart ausgestaltet ist, dass sie die Anzeigeanforderung empfangen kann und Anzeigeinformationen an die Anzeigevorrichtung als Reaktion auf die Anzeigeanforderung senden kann. - System nach
Anspruch 1 oder2 , wobei die Verarbeitungseinheit derart ausgestaltet ist, dass sie kontinuierlich Anzeigeinformationen an die Anzeigevorrichtung sendet, beispielsweise wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet oder sich im Leerlauf befindet. - System nach einem der
Ansprüche 1 bis3 , wobei die Anzeigevorrichtung ein Head-Mounted-Display (HDM) und ein Tracking-System des HDM umfasst und derart ausgestaltet ist, dass sie eine Anzeigeanforderung basierend auf Tracking-Daten des Tracking-Systems, die sich auf die Position und Ausrichtung des HMD beziehen, erzeugen kann. - System nach einem der
Ansprüche 1 bis4 , wobei die Aufzeichnung von Informationen Daten umfasst, die sich auf Rot-, Blau-, Grün- und Depth-Channels (RBG-D) beziehen. - System nach einem der
Ansprüche 1 bis5 , ferner umfassend eine weitere Anzeigevorrichtung, die derart ausgestaltet ist, dass sie eine weitere Anzeigeanforderung an die Verarbeitungseinheit senden, weitere Anzeigeinformationen von der Verarbeitungseinheit empfangen und mindestens einen Teil der 3D-Szene basierend auf den weiteren Anzeigeinformationen visualisieren kann; wobei die weitere Anzeigeanforderung die weiteren Anzeigeinformationen angibt, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind; und wobei die Verarbeitungseinheit derart ausgestaltet ist, dass sie die weiteren Anzeigeinformationen unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung erzeugen und an die weitere Anzeigevorrichtung senden kann. - System nach einem der
Ansprüche 1 bis6 , wobei die Aufzeichnungsvorrichtung mit einem Feedback-Display-Device ausgestattet ist, das den Teil der 3D-Szene, der bereits aufgezeichnet wurde, und/oder eine Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell anzeigen kann. - Verfahren zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, unter Verwendung eines Systems nach einem der
Ansprüche 1 bis7 , das folgende Schritte umfasst: - Informationen von mindestens einem Teil einer 3D-Szene werden von einer beweglichen Aufzeichnungsvorrichtung aufgezeichnet und diese Aufzeichnungsinformationen an eine Verarbeitungseinheit gesendet, vorzugsweise als Reaktion auf eine Aufzeichnungsanforderung und auf Basis derselben; - ein 3D-Modell von mindestens einem Teil der 3D-Szene wird von der Verarbeitungseinheit basierend auf den Aufzeichnungsinformationen konstruiert; - Anzeigeinformationen werden unter Verwendung des 3D-Modells von der Verarbeitungseinheit erzeugt und an die Anzeigevorrichtung gesendet; und - der mindestens eine Teil der 3D-Szene wird basierend auf den von der Verarbeitungseinheit empfangenen Anzeigeinformationen von der Anzeigevorrichtung visualisiert. - Verfahren nach
Anspruch 8 , das ferner folgende Schritte umfasst: - eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet; - Anzeigeinformationen werden von der Verarbeitungseinheit als Reaktion auf die Anzeigeanforderung erzeugt und an die Anzeigevorrichtung gesendet werden, wobei die Anzeigeanforderung die Anzeigeinformationen anzeigt, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind. - Verfahren nach
Anspruch 8 oder9 , das ferner den Schritt umfasst, dass die Verarbeitungseinheit kontinuierlich die Anzeigeinformationen erzeugt und an die Anzeigevorrichtung sendet, zum Beispiel wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet. - Verfahren nach einem der
Ansprüche 8 bis10 , das ferner folgende Schritte umfasst: - eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet, beispielsweise basierend auf der Bewegung der Anzeigevorrichtung; und/oder - eine Aufzeichnungsanforderung wird von der Verarbeitungseinheit erzeugt und an die bewegliche Aufzeichnungsvorrichtung gesendet, vorzugsweise basierend auf der Anzeigeanforderung, wobei die Aufzeichnungsanforderung die Aufzeichnungsinformationen angibt, die zum weiteren Aufbau des 3D-Modells erforderlich sind. - Verfahren nach einem der
Ansprüche 8 bis11 , das ferner den Schritt umfasst, dass die bewegliche Aufzeichnungsvorrichtung in Bezug auf eines oder mehrerer Objekte in der 3D-Szene, optional in Übereinstimmung mit einer Bewegung der Anzeigevorrichtung, bewegt wird. - Verfahren nach einem der
Ansprüche 8 bis12 , das ferner den Schritt umfasst, dass ein Feedback an einen Bediener der Aufzeichnungsvorrichtung durch Anzeigen des Teils einer aufgenommenen 3D-Szene und/oder eine Visualisierung der 3D-Szene basierend auf dem konstruierten 3D-Modell bereitgestellt wird. - Verfahren nach einem der
Ansprüche 8 bis13 , wobei einer, einige oder alle Schritte unabhängig voneinander wiederholt werden.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017131083.5A DE102017131083A1 (de) | 2017-12-22 | 2017-12-22 | System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit |
PCT/EP2018/086810 WO2019122440A1 (en) | 2017-12-22 | 2018-12-21 | System and method for capturing and visualizing a 3d scene in real-time |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017131083.5A DE102017131083A1 (de) | 2017-12-22 | 2017-12-22 | System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102017131083A1 true DE102017131083A1 (de) | 2019-06-27 |
Family
ID=64959351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102017131083.5A Withdrawn DE102017131083A1 (de) | 2017-12-22 | 2017-12-22 | System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102017131083A1 (de) |
WO (1) | WO2019122440A1 (de) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2985329B1 (fr) * | 2012-01-04 | 2015-01-30 | Parrot | Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande. |
US10169917B2 (en) * | 2015-08-20 | 2019-01-01 | Microsoft Technology Licensing, Llc | Augmented reality |
-
2017
- 2017-12-22 DE DE102017131083.5A patent/DE102017131083A1/de not_active Withdrawn
-
2018
- 2018-12-21 WO PCT/EP2018/086810 patent/WO2019122440A1/en active Application Filing
Non-Patent Citations (1)
Title |
---|
Wojciechowski, Rafal, Krzysztof Walczak, Martin White, and Wojciech Cellary. "Building virtual and augmented reality museum exhibitions." In Proceedings of the ninth international conference on 3D Web technology, pp. 135-144. ACM, 2004. * |
Also Published As
Publication number | Publication date |
---|---|
WO2019122440A1 (en) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1763845B1 (de) | Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten | |
DE19953595B4 (de) | Verfahren und Vorrichtung zur Verarbeitung dreidimensionaler Bilder | |
DE19640936C2 (de) | Positionsadaptiver Autostereoskoper Monitor (PAM) | |
DE69523838T2 (de) | Interaktives bildverschaffendes Verfahren | |
DE112016005343T5 (de) | Elektronische Anzeigestabilisierung unter Verwendung von Pixelgeschwindigkeiten | |
WO2008141596A1 (de) | Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum | |
DE102015210453B3 (de) | Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts | |
DE19825302A1 (de) | System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht | |
WO2009062492A2 (de) | Verfahren zum darstellen von bildobjekten in einem virtuellen dreidimensionalen bildraum | |
DE102007021518B4 (de) | Verfahren zum Verarbeiten eines Videodatensatzes | |
DE102015217226A1 (de) | Vorrichtung und verfahren zur erzeugung eines modells von einem objekt mit überlagerungsbilddaten in einer virtuellen umgebung | |
EP3012712A1 (de) | Virtuelles zeichnen in realer umgebung | |
DE112021002093T5 (de) | Verfahren zum ändern des blickpunkts im virtuellen raum | |
DE102018209377A1 (de) | Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden | |
DE102016009333A1 (de) | Native Ansteuerung eines Bildprojektors | |
EP3716014B1 (de) | Übertragen eines zustands zwischen vr-umgebungen | |
DE102016108664A1 (de) | Digitales Stereo-Operationsmikroskop für mehrere Benutzer und Verfahren zur Darstellung mindestens zweier Ansichten eines Objektes | |
DE102017131083A1 (de) | System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit | |
EP2478705A1 (de) | Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe | |
DE102004032586B4 (de) | Verfahren zur Erzeugung einer dreidimensionalen Darstellung | |
AT518256B1 (de) | Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe | |
WO2013178358A1 (de) | Verfahren zur räumlichen visualisierung von virtuellen objekten | |
DE102021100653B3 (de) | Verfahren und Vorrichtungen zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte, Computerprogramm zur Durchführung eines solchen Verfahrens, sowie Anzeigegerät | |
EP3086554B1 (de) | System und verfahren zur herstellung und abgabe stereoskopischer videofilme | |
DE102013109566A1 (de) | Verfahren zum Betrieb eines kopfgetragenen Anzeigemittels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R081 | Change of applicant/patentee |
Owner name: VIIMLE GMBH, DE Free format text: FORMER OWNER: BLOCHER, KARL-LUDWIG, 88142 WASSERBURG, DE Owner name: KRUMPEN, STEFAN, DE Free format text: FORMER OWNER: BLOCHER, KARL-LUDWIG, 88142 WASSERBURG, DE |
|
R082 | Change of representative |
Representative=s name: DENNEMEYER & ASSOCIATES S.A., DE Representative=s name: KOELLNER & PARTNER, DE |
|
R081 | Change of applicant/patentee |
Owner name: KRUMPEN, STEFAN, DE Free format text: FORMER OWNER: TG IMMOBILIEN VERWALTUNGS GMBH, 88239 WANGEN, DE Owner name: VIIMLE GMBH, DE Free format text: FORMER OWNER: TG IMMOBILIEN VERWALTUNGS GMBH, 88239 WANGEN, DE |
|
R082 | Change of representative |
Representative=s name: DENNEMEYER & ASSOCIATES S.A., DE Representative=s name: KOELLNER & PARTNER, DE |
|
R163 | Identified publications notified | ||
R081 | Change of applicant/patentee |
Owner name: KRUMPEN, STEFAN, DE Free format text: FORMER OWNERS: RHEINISCHE FRIEDRICH-WILHELMS-UNIVERSITAET BONN, 53113 BONN, DE; VIIMLE GMBH, 88239 WANGEN, DE Owner name: VIIMLE GMBH, DE Free format text: FORMER OWNERS: RHEINISCHE FRIEDRICH-WILHELMS-UNIVERSITAET BONN, 53113 BONN, DE; VIIMLE GMBH, 88239 WANGEN, DE |
|
R082 | Change of representative |
Representative=s name: DENNEMEYER & ASSOCIATES S.A., DE Representative=s name: KOELLNER & PARTNER, DE |
|
R081 | Change of applicant/patentee |
Owner name: KRUMPEN, STEFAN, DE Free format text: FORMER OWNERS: KRUMPEN, STEFAN, 53115 BONN, DE; VIIMLE GMBH, 88239 WANGEN, DE Owner name: VIIMLE GMBH, DE Free format text: FORMER OWNERS: KRUMPEN, STEFAN, 53115 BONN, DE; VIIMLE GMBH, 88239 WANGEN, DE |
|
R082 | Change of representative |
Representative=s name: DENNEMEYER & ASSOCIATES S.A., DE Representative=s name: KOELLNER & PARTNER, DE |
|
R082 | Change of representative |
Representative=s name: KOELLNER & PARTNER, DE |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |