DE102017131083A1

DE102017131083A1 - System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit

Info

Publication number: DE102017131083A1
Application number: DE102017131083.5A
Authority: DE
Inventors: Karl-Ludwig Blocher; Reinhard Klein; Patrick Stotko; Stefan Krumpen; Michael Weinmann
Original assignee: Univ Bonn Rheinische Friedrich Wilhelms; Viimle GmbH; Rheinische Friedrich Wilhelms Universitaet Bonn
Current assignee: Krumpen Stefan De; Viimle De GmbH
Priority date: 2017-12-22
Filing date: 2017-12-22
Publication date: 2019-06-27
Also published as: WO2019122440A1

Abstract

Die Erfindung betrifft ein Verfahren und ein System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit. Das System umfasst eine Anzeigevorrichtung, die mindestens einen Teil der 3D-Szene basierend auf Anzeigeinformationen visualisieren kann. Das System umfasst ferner eine Verarbeitungseinheit, die Aufzeichnungsinformationen empfangen, ein 3D-Modell basierend auf den Aufzeichnungsinformationen konstruieren und unter Verwendung des Modells Anzeigeinformationen erzeugen und an die Anzeigevorrichtung senden kann. Das System umfasst ferner eine bewegliche Aufzeichnungsvorrichtung, die Informationen über den mindestens einen Teil der 3D-Szene erfassen bzw. aufzeichnen sowie an die Verarbeitungseinheit senden kann.

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft ein System und ein Verfahren zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene.
STAND DER TECHNIK
Mithilfe einer Spezialbrille oder eines Head-Mounted-Displays (HMD) kann z.B. einer Trägerin der Brille oder des Displays eine 3D-Szene in einem 3D-Kino oder mithilfe eines 3D-Fernsehers bzw. einer Spielekonsole dargestellt werden. Im letzteren Fall ist es sogar möglich, dass die Position und Ausrichtung des HMD bestimmt, wie die 3D-Szene der Trägerin angezeigt wird. Dadurch kann ihr der Eindruck entstehen, dass sie sich innerhalb der 3D-Szene bewegen und diese erkunden kann. Normalerweise basiert die Visualisierung auf einem Modell der 3D-Szene. Das Modell wird dazu in einem Speicher vorgehalten, der mit einem Prozessor und dem HMD gekoppelt ist. Es kann mit Bildern mehrerer 3D-Spezialkameras erstellt werden, die zu diesem Zweck an genau definierten Positionen in Bezug auf die 3D-Szene positioniert werden müssen. Die Konstruktion des Modells aus den aufgenommenen Bildern kann einige Zeit in Anspruch nehmen. Daher muss sowohl die Entscheidung, welche 3D-Szenen verfügbar sind, als auch die Konstruktion des Modells erfolgen, bevor ein Betrachter oder eine Betrachterin die Spezialbrille oder das HMD benutzt. Somit ist es für den Betrachter oder Betrachterin unmöglich, sofort in eine bisher unbekannte und noch nicht rekonstruierte Remote-Szene einzutauchen.
AUFGABE DER ERFINDUNG
Aufgabe der Erfindung ist es deshalb, ein System und ein Verfahren zur Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit bereitzustellen.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Die Aufgabe wird durch ein System zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, gelöst, das folgende Komponenten umfasst:

a) eine Anzeigevorrichtung zum Empfangen von Anzeigeinformationen einer Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den Anzeigeinformationen,
b) einer Verarbeitungseinheit zum Empfangen von Aufzeichnungsinformationen einer beweglichen Aufzeichnungsvorrichtung, zum schrittweisen Konstruieren eines 3D-Modells basierend auf den Aufzeichnungen bzw. Aufzeichnungsinformationen, zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells und vorzugsweise zum Senden einer Aufzeichnungsanforderung an die bewegliche Aufzeichnungsvorrichtung, wobei die Aufzeichnungsanforderung Aufzeichnungsinformationen angibt, die zur weiteren Konstruktion des 3D-Modells benötigt werden;
c) eine bewegliche Aufzeichnungsvorrichtung zum Aufzeichnen von Informationen mindestens eines Teils der 3D-Szene, vorzugsweise basierend auf der Aufzeichnungsanforderung, und zum Senden der Aufzeichnungsinformationen an die Verarbeitungseinheit.

Gemäß der Erfindung werden Informationen über eine 3D-Szene kontinuierlich von der Aufzeichnungsvorrichtung erfasst bzw. aufgezeichnet und an die Verarbeitungseinheit gesendet oder übertragen. Dabei wird von der Verarbeitungseinheit ein 3D-Modell der 3D-Szene Schritt für Schritt aufgebaut. Durch die Trennung von Aufzeichnungsvorrichtung, Verarbeitungseinheit und Anzeigegerät können das Aufzeichnen, die Konstruktion und die Visualisierung der 3D-Szene asynchron erfolgen. So kann beispielsweise das Aufzeichnen einer 3D-Szene von einem oder mehreren Aufnahmegeräten mit einer Bildrate von 15 fps oder 30 fps und die Konstruktion mit 30 fps erfolgen. Die Anzeigeinformationen können Informationen mit einer Rate von 20 fps umfassen (oder mit dieser Rate gesendet werden) und die Visualisierung mit 90 fps erfolgen. Das kann für das Rendern auf der Anzeigevorrichtung erforderlich sein, die z.B. eine Virtual-Reality-Vorrichtung (VR-Vorrichtung) sein kann.
Somit können für jedes Gerät die gerätespezifischen Echtzeitanforderungen unabhängig voneinander erfüllt werden. Dies ermöglicht ein Aufzeichnen, Konstruieren und Visualisieren der 3D-Szene in Echtzeit oder nahezu in Echtzeit. So kann der Anwender unmittelbar nach dem ersten Aufzeichnen der 3D-Szene, dem Beginn der Übertragung, Konstruktion und Visualisierung den bereits erfassten bzw. aufgezeichneten Teil der 3D-Szene von jedem beliebigen Ort und jeder beliebigen Ausrichtung aus erkunden.
Somit ist es dem Benutzer des Anzeigegerätes mit diesem System möglich, die ständig wachsende Rekonstruktion der 3D-Szene in Echtzeit zu erforschen. Dies kann für den Benutzer von Anfang an ein Gefühl des Eintauchens erzeugen. Schon mit einer teilweise rekonstruierten 3D-Szene kann der Anwender die 3D-Szene unabhängig von der Position und Ausrichtung der Aufzeichnungsvorrichtung erkunden.
Darüber hinaus können der Benutzer der Anzeigevorrichtung und der Bediener der Aufzeichnungsvorrichtung während der Nutzung dieses Systems miteinander kommunizieren. Sie können sich, z.B. gegenseitig Sprachnachrichten senden oder über zusätzliche visuelle Informationen, die der rekonstruierten Szene überlagert sind, kommunizieren, z.B. mit Zeigern, Highlights oder Farben. Auf diese Weise können der Benutzer und der Bediener das Gefühl bekommen, dass sie quasi in der gleichen Szene anwesend ist.
Da zudem nur ein Teil der 3D-Szene erfasst bzw. aufgezeichnet werden muss, kann die Aufzeichnung mit einer einzigen Aufzeichnungsvorrichtung erfolgen, z.B. einem 3D-Sensor auf einem Mobiltelefon.
Im Allgemeinen kann die 3D-Szene eine Indoor-Situation sein, z.B. ein Raum. In diesem Fall kann der Benutzer des Anzeigegeräts ein Berater (oder Handwerker) für Heizung, Möbel oder den Verkauf von Häusern oder dergleichen sein, der den Raum erkunden möchte, ohne tatsächlich in dem Raum anwesend sein zu müssen.
Alternativ kann die 3D-Szene auch ein Auto oder eine andere technische Anlage umfassen, die von einem Mechaniker überprüft werden muss. Der Mechaniker kann die Installation mit dem Anzeigegerät überprüfen, ohne sich tatsächlich in der Nähe der Installation aufhalten zu müssen.
Der Begriff Echtzeit, insbesondere im Patentanspruch oder in Bezug auf das Gesamtsystem, kann darauf hindeuten, dass die Visualisierung des Teils der 3D-Szene mehr oder weniger in Echtzeit bzw. zeitgleich mit der Aufzeichnung der Szene erfolgt, d.h. mit einer Verzögerung von weniger als 1-2 Sekunden, unabhängig von den asynchron laufenden Systemkomponenten.
Der Begriff „Remote-Visualisierung“ bedeutet, dass die Visualisierung an einem anderen Ort als der quasistatischen 3D-Szene stattfinden kann.
Die Aufzeichnungsvorrichtung ist eine bewegliche Vorrichtung, d.h. die Aufzeichnungsvorrichtung ist in Bezug auf die Objekte in der 3D-Szene beweglich. Die 3D-Szene gilt als quasistatisch. Das bedeutet, dass die Änderungen oder Bewegungen von Objekten innerhalb der 3D-Szene langsamer erfolgen als die Bewegung der Aufzeichnungsvorrichtung innerhalb oder um die 3D-Szene herum. Die Aufzeichnungsvorrichtung kann eine Augmented-Reality-Vorrichtung (AR-Vorrichtung) mit integrierter Kamera / 3D-Sensor sein.
Die Anzeigevorrichtung kann vorzugsweise eine so genannte Virtual-Reality- oder Augmented-Reality-Vorrichtung sein, zum Beispiel das HTC Vive oder Oculus Rift oder Microsoft Hololens. Die Anzeigevorrichtung kann ein Head-Mounted-Display (HMD) sein oder umfassen, das auf dem Kopf des Benutzers platziert werden soll. Die HMD kann zwei Anzeigen (oder zwei Teile einer einzelnen Anzeige) umfassen, eine für jedes Auge. Alternativ kann die Anzeigevorrichtung auch einen Bildschirm umfassen, der gleichzeitig zwei Bilder, je eines für eines der beiden Augen, auf einem Bildschirm anzeigt, und eine Brille, die eine Filterfunktion aufweist, so dass jedem Auge nur eines der beiden Bilder angezeigt wird. Alternativ kann ein Standard-2D-Bildschirm oder ein mobiles Gerät mit einem 3D-Viewer oder einem 3D-CAD-System verwendet werden.
Die Verarbeitungseinheit kann vorzugsweise ein Server oder eine andere Art von Computervorrichtung sein. Die Verarbeitungseinheit kann sich am gleichen Ort wie die Anzeigevorrichtung, am gleichen Ort wie die Aufzeichnungsvorrichtung oder an einem dritten Ort, beispielsweise in einem Rechenzentrum oder einer Cloud, befinden. Die Funktionen der Verarbeitungseinheit können auch durch Software ausgeführt werden, die in der Anzeige- oder Aufzeichnungsvorrichtung ausgeführt werden kann.
Als Aufzeichnungsvorrichtung kann vorzugsweise ein sogenannter 3D-Sensor, z.B. ein Microsoft Kinect oder ein Mobiltelefon mit integriertem 3D-Sensor, verwendet werden. Es kann auch eine Kamera sein (z.B. als Teil eines Mobiltelefons). Die Aufzeichnungsvorrichtung ist innerhalb und/oder um die 3D-Szene herum beweglich.
Die Position und Ausrichtung der Aufzeichnungsvorrichtung in Bezug auf die 3D-Szene kann (durch die Aufzeichnungsvorrichtung oder die Verarbeitungseinheit) durch Schätzen der Transformation zwischen dem aktuellen und dem vorherigen Bild (oder Frame), das durch die Aufzeichnungsvorrichtung aufgezeichnet wird, abgeleitet werden.
Das 3D-Modell ist ein inkrementelles Modell, das zumindest teilweise die zu visualisierende quasistatische 3D-Szene beschreibt. Das Modell kann nur geometrische Formen umfassen, die in der 3D-Szene vorhanden sind, aber auch zusätzliche Informationen wie Farb- und Reflexionseigenschaften beinhalten. Das 3D-Modell kann konstruiert und weiter ausgebaut werden, während die Aufzeichnungsvorrichtung Informationen aus der 3D-Szene erfasst bzw. aufnimmt und/oder während das Anzeigegerät einen Teil der 3D-Szene basierend auf dem 3D-Modell visualisiert. Das konstruierte 3D-Modell kann zusätzlich mit CAD-Modellen angereichert werden, die in die rekonstruierte Szene eingefügt werden, oder durch Zeiger und/oder Highlights. Darüber hinaus kann die quasistatische Szene durch eine Abfolge von konsistenten statischen Visualisierungen dargestellt werden. Das heißt, da die Änderungen in der 3D-Szene viel langsamer sind als die Bewegung der Aufzeichnungsvorrichtung, kann die 3D-Szene vollständig und konsistent erfasst bzw. aufgezeichnet werden.
In einer erfindungsgemäßen Ausführungsform des Systems ist die Anzeigevorrichtung derart ausgestaltet, dass sie eine Anzeigeanforderung an eine Verarbeitungseinheit senden kann, wobei die Anzeigeanforderung Anzeigeinformationen enthält, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind. Des Weiteren ist die Verarbeitungseinheit derart gestaltet, dass sie die Anzeigeanforderung empfangen und, als Reaktion auf die Anzeigeanforderung, Anzeigeinformationen an die Anzeigevorrichtung senden kann.
In einer weiteren Ausführungsform der Erfindung ist die Verarbeitungseinheit dazu in der Lage, kontinuierlich Anzeigeinformationen an die Anzeigevorrichtung zu senden, beispielsweise wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet oder wenn sich die Verarbeitungseinheit im Leerlauf befindet.
In einer weiteren erfindungsgemäßen Ausführungsform des Systems umfasst die Anzeigevorrichtung ein Head-Mounted-Display (HDM) und ein Tracking-System des HDM, worin die Anzeigevorrichtung so angeordnet ist, dass sie die Anzeigeanforderung basierend auf Tracking-Daten, die sich auf die Position und Ausrichtung des HMD beziehen, aus dem Tracking-System erzeugt.
In einer weiteren Ausführungsform des Systems gemäß der Erfindung umfasst das System ferner ein Feedback-Display-Device zum Anzeigen des erfassten bzw. aufgezeichneten Teils der 3D-Szene und/oder einer Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell. Auf diese Weise kann der Bediener der Aufzeichnungsvorrichtung das Aufzeichnen der 3D-Szene und das Erstellen des zugehörigen 3D-Modells verfolgen. Er kann dann entscheiden, weitere Teile der 3D-Szene auf Grundlage des angezeigten Modells aufzunehmen. Das Feedback-Display-Device kann dabei in die Aufzeichnungsvorrichtung integriert sein, z.B. im Falle einer Microsoft-Hololens.
In einer weiteren Ausführungsform des Systems gemäß der Erfindung umfassen die Aufzeichnungsinformationen Daten über Rot-, Blau-, Grün- und Depth-Channels (RBG-D). Diese Daten können von der Aufzeichnungsvorrichtung erzeugt und an die Verarbeitungseinheit gesendet werden. So können Verzögerungen vermieden und die Latenz des Systems reduziert werden.
In einer weiteren erfindungsgemäßen Ausführungsform umfasst das System ferner eine weitere Anzeigevorrichtung zum Senden einer weiteren Anzeigeanforderung an die Verarbeitungseinheit, zum Empfangen weiterer Anzeigeinformationen von der Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den weiteren Anzeigeinformationen. Dabei enthält die weitere Anzeigeanforderung Anzeigeinformationen, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind. Des Weiteren erzeugt die Verarbeitungseinheit weitere Anzeigeinformationen und sendet sie an die weitere Anzeigevorrichtung unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung.
Ein Vorteil einer zweiten oder einer weiteren Anzeigevorrichtung, die sich an einem anderen Ort als die erste Anzeigevorrichtung befinden kann, besteht darin, dass sie es einem zweiten oder einem weiteren Benutzer ermöglicht, die 3D-Szene unabhängig voneinander, z.B. gleichzeitig, mit demselben 3D-Modell zu erkunden.
Wenn die weiteren Anzeigeinformationen, die zum Visualisieren des mindestens einen Teils der 3D-Szene benötigt werden, bereits in der weiteren Anzeigevorrichtung vorhanden sind, muss keine weitere Anzeigeanforderung gesendet werden. Dasselbe gilt für die anderen Anzeigeanforderungen: Wenn die Anzeigeinformationen, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind, bereits in der Anzeigevorrichtung vorhanden sind, muss die Anzeigeanforderung nicht gesendet werden.
Alternativ zum Senden einer weiteren Anzeigeanforderung können die weiteren Anzeigeinformationen von der Verarbeitungseinheit in regelmäßigen Abständen bzw. periodisch an die weitere Anzeigevorrichtung übertragen werden, ohne dass eine weitere Anzeigeanforderung erforderlich ist. Die weiteren Anzeigeinformationen können Informationen über das 3D-Modell umfassen. Wenn die weiteren Anzeigeinformationen periodisch übertragen werden, können sie u.a. Informationen über eine oder mehrere inkrementelle Änderungen des 3D-Modells umfassen.
Dasselbe kann für die Anzeigeanforderung gelten: Die Anzeigeinformationen können von der Verarbeitungseinheit periodisch an die Anzeigevorrichtung übertragen werden, ohne dass eine Anzeigeanforderung erforderlich ist. Die Anzeigeinformationen können Informationen über das 3D-Modell umfassen. Wenn die Anzeigeinformationen regelmäßig übertragen werden, können sie ebenfalls Informationen über eine oder mehrere inkrementelle Änderungen des 3D-Modells umfassen.
In einer weiteren erfindungsgemäßen Ausführungsform des Systems versendet die Anzeigevorrichtung Anzeigeanforderungen über das Internet. Dasselbe kann für die Anzeigeinformationen gelten, die von der Verarbeitungseinheit übertragen werden, bzw. für die von der Aufzeichnungsvorrichtung Aufzeichnungsinformationen.
Gemäß einem zweiten Aspekt der Erfindung ist ein Verfahren zum Aufzeichnen und Remote-Visualisieren einer 3D-Szene, vorzugsweise in Echtzeit, mit einem in diesem Dokument beschriebenen System vorgesehen, das die folgenden Schritte umfasst:

- Informationen von mindestens einem Teil einer 3D-Szene werden (von einer beweglichen Aufzeichnungsvorrichtung) erfasst bzw. aufzeichnet. Die Aufzeichnungsinformationen werden an eine Verarbeitungseinheit gesendet, vorzugsweise als Reaktion auf eine Aufzeichnungsanforderung und auf Basis derselben.
- ein 3D-Modell des mindestens einen Teils der 3D-Szene wird (von der Verarbeitungseinheit) basierend auf den Aufzeichnungsinformationen konstruiert.
- Anzeigeinformationen werden unter Verwendung des 3D-Modells (von der Verarbeitungseinheit) erzeugt und an die Anzeigevorrichtung gesendet.
- der mindestens eine Teil der 3D-Szene wird basierend auf den von der Verarbeitungseinheit empfangenen Anzeigeinformationen (von der Anzeigevorrichtung) visualisiert.

In einer Ausführungsform des Verfahrens gemäß der Erfindung umfasst das Verfahren ferner die folgenden Schritte:

- eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet.
- Anzeigeinformationen werden von der Verarbeitungseinheit als Reaktion auf die Anzeigeanforderung erzeugt und an eine Anzeigevorrichtung gesendet, wobei die Anzeigeanforderung die Anzeigeinformationen anzeigt, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind.

In einer erfindungsgemäßen Variante umfasst das Verfahren ferner den Schritt: Anzeigeinformationen werden kontinuierlich von der Verarbeitungseinheit erzeugt und an die Anzeigevorrichtung gesendet, zum Beispiel wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet.
In einer weiteren Variante umfasst das erfindungsgemäße Verfahren ferner folgende Schritte:

- eine Anzeigeanforderung wird gesendet, beispielsweise basierend auf der Bewegung der Anzeigevorrichtung; und/oder
- eine Aufzeichnungsanforderung wird erzeugt und gesendet, vorzugsweise basierend auf der Anzeigeanforderung, wobei die Aufzeichnungsanforderung die Aufzeichnungsinformationen angibt, die zum weiteren Aufbau des 3D-Modells erforderlich sind.

Gemäß der Erfindung kann das Verfahren weiterhin einen Schritt zum Bewegen der Aufzeichnungsvorrichtung gemäß einer Bewegung der Anzeigevorrichtung umfassen.
Des Weiteren kann das Verfahren gemäß der Erfindung einen Schritt umfassen, bei dem einem Bediener der Aufzeichnungsvorrichtung mittels eines Feedback-Display-Device ein Teil der aufgenommenen 3D-Szene bzw. eine Visualisierung der 3D-Szene basierend auf dem konstruierten 3D-Modell angezeigt wird. Auf diese Weise kann der Bediener des Aufzeichnungsgeräts die Aufnahme der 3D-Szene sowie die Erstellung des 3D-Modells verfolgen und überwachen. Er kann dann entscheiden, weitere Teile der 3D-Szene auf Grundlage des angezeigten Modells aufzunehmen. Das Feedback-Display-Device kann dabei in die Aufzeichnungsvorrichtung integriert sein, z.B. im Falle einer Microsoft-Hololens.
In den beschriebenen erfindungsgemäßen Verfahren können einer, einige oder alle Schritte unabhängig voneinander wiederholt werden.
Erfindungsgemäße Varianten des Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit und ihrer Merkmale und Vorteile werden in diesem Dokument mit Bezug auf das System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit erläutert.
Figurenliste
Zum besseren Verständnis der vorliegenden Erfindung wird auf die nachfolgende Beschreibung verwiesen, die im Zusammenhang mit beigefügten Zeichnungen gemacht wird:

1 zeigt einen schematischen Überblick über eine Ausführungsform eines Systems zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit gemäß der Erfindung; und
2 zeigt einen schematischen Überblick über eine Variante eines Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit gemäß der Erfindung.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
In 1 ist ein schematischer Überblick über eine Ausführungsform eines Systems 100 zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit gemäß der Erfindung dargestellt. Das System 100 umfasst eine Anzeigevorrichtung 110, eine Verarbeitungseinheit 120 und eine bewegliche Aufzeichnungsvorrichtung 130. Die bewegliche Aufzeichnungsvorrichtung kann auf eine 3D-Szene 180 gerichtet und in Bezug auf Objekte innerhalb dieser Szene beweglich sein.
Die Anzeigevorrichtung 110, die Verarbeitungseinheit 120 und/oder die Aufzeichnungsvorrichtung 130 können Daten oder Informationen miteinander austauschen. Da sich diese drei Geräte an zwei oder drei verschiedenen Orten befinden können, können die Informationen über das Internet oder ein lokales Netzwerk oder über ein direktes Datenkabel zwischen ihnen übertragen werden.
Die Aufzeichnungsvorrichtung 130 erfasst bzw. zeichnet Informationen aus der 3D-Szene 180 auf. Da die Aufzeichnungsvorrichtung eine Kamera sein kann, können die Aufzeichnungsinformationen 170 Bilder oder einen Video-Stream umfassen oder aus Bildern oder einem Video-Stream bestehen. Der Video-Stream kann sogenannte RGB-D-Informationen umfassen. Die Aufzeichnungsinformationen 170 können ferner Informationen über die Position und Ausrichtung der Aufzeichnungsvorrichtung in Bezug auf die 3D-Szene 180 umfassen.
In einer Ausführungsform des Systems 100 kann eine weitere Aufzeichnungsvorrichtung vorhanden sein. Die weitere Aufzeichnungsvorrichtung kann die gleichen Merkmale aufweisen wie die in diesem Dokument in Bezug auf die Aufzeichnungsvorrichtung 130 beschriebenen. Ein Vorteil mehrerer Aufzeichnungsgeräte ist, dass die Aufzeichnung der 3D-Szene schneller erfolgen kann.
Das System 100 kann mit einem Feedback-Display-Device 135 ausgestattet sein, das so angeordnet ist, dass sie den aufgenommenen Teil einer 3D-Szene 180 und/oder eine Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell, vorzugsweise auf der Grundlage von Feedback-Informationen 165, anzeigt. Das Feedback-Display-Device ist dabei derart ausgestaltet, dass es die Feedback-Informationen 165 empfangen kann. Die Verarbeitungseinheit 120 kann ferner die Feedback-Informationen 165 erzeugen und an das Feedback-Display-Device senden. Die Feedback-Informationen 165 können Daten über einen Teil der aufgenommenen 3D-Szene 180 und/oder einer Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell umfassen.
Das Feedback-Display-Device 135 kann eine Kommunikationseinheit umfassen und die Anzeigevorrichtung 110 kann ebenfalls eine Kommunikationseinheit umfassen. In diesem Fall können der Bediener der Aufzeichnungsvorrichtung 130 und der Benutzer der Anzeigevorrichtung 110 über diese beiden Kommunikationseinheiten miteinander kommunizieren.
Das Feedback-Display-Device 135 (mit oder ohne Kommunikationseinheit) kann in die Aufzeichnungsvorrichtung 130 integriert werden. Ein Beispiel für ein solches Gerät ist das ASUS Zenfone AR oder die Microsoft Hololens. Diese Integration kann eine Überlagerung einer Visualisierung eines Teils der 3D-Szene basierend auf dem konstruierten Modell mit der 3D-Szene 180 ermöglichen. Auf diese Weise kann der Bediener sehen, welche Teile der 3D-Szene 180 (noch) nicht in das konstruierte 3D-Modell aufgenommen wurden.
Die Aufzeichnungsvorrichtung 130 ist derart gestaltet, dass sie eine Aufzeichnungsanforderung 160 der Verarbeitungseinheit 120 empfangen kann. Diese Anforderung gibt die Aufzeichnungsinformationen an, die die Verarbeitungseinheit 120 benötigt, um ein 3D-Modell der 3D-Szene 180 weiter aufzubauen. Diese Anforderung kann von der Aufzeichnungsvorrichtung 120 verarbeitet und dazu benutzt werden, dass dem Bediener der Aufzeichnungsvorrichtung 130 der Aufzeichnungsanforderung entsprechende Pfeile auf dem Feedback-Display-Device 135 angezeigt werden.
Diese Pfeile können dem Bediener z.B. anzeigen, in welche Richtung er die Aufzeichnungsvorrichtung oder das Aufnahmegerät 130 bewegen soll. Darüber hinaus können dem Bediener der Aufzeichnungsvorrichtung 130 zusätzliche Informationen gegeben werden, indem z.B. ein Vibrationsmodus des Aufzeichnungsgeräts (z.B. ASUS Zenfone AR) verwendet wird, wenn die Bewegungen des Aufzeichnungsgeräts zu schnell erfolgen, oder indem zusätzliche CAD-Daten überlagert werden.
Die Aufzeichnungsanforderung 160 kann eine Sprachnachricht des Benutzers der Anzeigevorrichtung 110 umfassen, die angibt, welcher Teil der 3D-Szene weiter untersucht werden soll, für den das Modell jedoch möglicherweise noch keine (ausreichenden) Daten enthält. Die Sprachnachricht des Benutzers kann von der Anzeigevorrichtung 110 erfasst und ohne weitere Bearbeitung durch die Verarbeitungseinheit 120 direkt an die Aufzeichnungsvorrichtung 130 gesendet werden.
Die Aufzeichnungsvorrichtung 130 kann derart ausgestaltet werden, dass sie die Sprachnachricht des Benutzers der Anzeigevorrichtung 110 wiedergibt. Auf diese Weise kann der Bediener der Aufzeichnungsvorrichtung 130 darüber informiert werden, in welche Richtung er die Aufzeichnungsvorrichtung 130 bewegen soll. Darüber hinaus kann die Anzeigevorrichtung 110 ebenfalls derart ausgestaltet sein, dass sie eine Sprachnachricht wiedergeben kann, die von der Aufzeichnungsvorrichtung 130 aufgezeichnet wurde. Auf diese Weise können der Benutzer und der Bediener über Sprachnachrichten miteinander kommunizieren. In diesem Fall ist die Aufzeichnungsvorrichtung 130 ebenfalls derart gestaltet, dass sie Informationen bezüglich einer aufgezeichneten Sprachnachricht an die Verarbeitungseinheit 120 senden kann. In diesem Fall weist die Verarbeitungseinheit 120 ebenfalls Mittel auf, mit denen sie diese Informationen an die Anzeigevorrichtung 110 weiterleiten kann. Es ist auch denkbar, dass die Aufzeichnungsvorrichtung 130 derart gestaltet ist, dass sie Informationen über eine aufgezeichnete Sprachnachricht direkt an die Anzeigevorrichtung 110 senden kann.
Die Verarbeitungseinheit 120 kann ein Server sein, möglicherweise irgendwo in der Cloud, der über eine Internetverbindung sowohl mit der Aufzeichnungsvorrichtung 130 als auch mit der Anzeigevorrichtung 110 verbunden ist. Die Verarbeitungseinheit 120 ist dabei derart gestaltet, dass sie die Aufzeichnungsinformationen 170 von der Aufzeichnungsvorrichtung 130 empfangen kann. Basierend auf diesen Informationen erstellt die Verarbeitungseinheit 120 ein inkrementelles 3D-Modell der 3D-Szene 180. Das 3D-Modell kann daher erweitert und/oder verbessert werden, wenn neue Aufzeichnungsinformationen 170 von der Verarbeitungseinheit 120 empfangen werden.
Das 3D-Modell, das von der Verarbeitungseinheit 120 konstruiert wird, kann ein sogenanntes Voxel-Modell sein, zum Beispiel ein TSDF-Modell (Truncated Signed Distance Field), oder ein Surfel-basiertes Modell.
Neben der Konstruktion des 3D-Modells kann die Verarbeitungseinheit 120 auch Anzeigeinformationen 150 an die Anzeigevorrichtung 110 bereitstellen, optional als Reaktion auf eine Anzeigeanforderung 140 von der Anzeigevorrichtung 110. Die Anzeigeanforderung 140 kann Anzeigeinformationen 150 enthalten, die benötigt werden, um mindestens einen Teil der 3D-Szene zu visualisieren. Dieser Teil kann der Teil der 3D-Szene sein, den der Benutzer des Anzeigegeräts untersuchen möchte. Die Anzeigeanforderung 140 kann Informationen über die Position und Ausrichtung der Anzeigevorrichtung 110 beinhalten.
Die Anzeigeinformationen 150 wird als Reaktion auf eine Anzeigeanforderung 140 an die Anzeigevorrichtung 110 übertragen und/oder kontinuierlich übertragen, gestreamt oder gepusht, auch wenn gerade keine Anzeigeanforderung vorliegt.
Die Anzeigeanforderung 140 kann darin bestehen, dass eine neue 3D-Szene aufgenommen werden soll. Die Aufzeichnungsanforderung 150 kann als Reaktion auf diese Anzeige eine entsprechende Anweisung enthalten, dass eine neue Kopie der 3D-Szene erfasst bzw. aufgezeichnet werden soll, z.B. wenn sich die quasistatische Szene geändert hat.
Basierend auf dieser optionalen Anforderung 140 und unter Verwendung des 3D-Modells erzeugt die Verarbeitungseinheit 120 Anzeigeinformationen 150 und sendet diese Informationen 150 an die Anzeigevorrichtung 110. Dies kann das Rendern der Bilder beinhalten, die für die Visualisierung dieses Teils der 3D-Szene benötigt werden, und das Senden dieser Bilder (oder von Daten, die sich auf diese Bilder beziehen) an die Anzeigevorrichtung 110 in Form von Anzeigeinformationen 150.
Die Verarbeitungseinheit 120 kann auch Anzeigeinformationen 150 kontinuierlich erzeugen und diese ebenfalls kontinuierlich an die Anzeigevorrichtung 110 senden. Dies kann der Fall sein, wenn die Verarbeitungseinheit 120 gerade keine Anzeigeanforderungen verarbeitet, keine Anforderungen erfasst und/oder das 3D-Modell nicht konstruiert, oder wenn sie als „idle“ bezeichnet werden kann. In diesen Momenten kann die Verarbeitungsleistung der Verarbeitungseinheit 120 zum kontinuierlichen Erzeugen und Senden von Anzeigeinformationen 150 an die Anzeigevorrichtung 110 verwendet werden.
Die Verarbeitungseinheit 120 kann auch Feedback-Informationen 165 an das Feedback-Display-Device 135 bereitstellen, optional als Reaktion auf eine Feedback-Anforderung des Feedback-Display-Device 135. Die Feedback-Anforderung kann die Feedback-Informationen 165 angeben, die zur Visualisierung bzw. Umsetzung des Feedbacks benötigt werden.
Die Verarbeitungseinheit 120 kann ferner derart ausgestaltet sein, um mit ihr zu bestimmen, ob die gesamte 3D-Szene 180 erfasst wurde, d.h. ob das 3D-Modell vollständig ist. In diesem Fall ist eine weitere Aufzeichnung und Konstruktion nicht erforderlich, bis sich etwas in der 3D-Szene ändert. Dementsprechend kann eine Aufzeichnungsanforderung 150 ferner anzeigen, dass eine weitere Aufzeichnung nicht erforderlich ist, und die Aufzeichnungsvorrichtung 130 (oder das Feedback-Display-Device 135) kann so eingerichtet sein, dass sie diese Informationen an den Bediener der Aufzeichnungsvorrichtung 130 übermittelt.
Gemäß der Erfindung befindet sich das 3D-Modell in der Verarbeitungseinheit 120 und die zur Visualisierung des erforderlichen Teils der 3D-Szene erforderliche Anzeigeinformationen wird als Reaktion auf eine Anzeigeanforderung 140 an die Anzeigevorrichtung 110 gesendet.
Darüber hinaus können Anzeigeinformationen an die Anzeigevorrichtung 110 gesendet werden, auch wenn keine Anzeigeanforderung 140 vorliegt. In diesem Fall können die Anzeigeinformationen periodisch oder kontinuierlich an die Anzeigevorrichtung gesendet, gestreamt oder gepusht werden. Der Vorteil besteht darin, dass mithilfe dieser Anzeigeinformationen inkrementelle Änderungen des 3D-Modells automatisch dargestellt werden können.
Da die Bandbreite der Informationsübertragung zwischen der Verarbeitungseinheit 120 und der Anzeigevorrichtung 110 begrenzt sein kann, werden die Anzeigeinformationen, die als Reaktion auf eine Anzeigeanforderung gesendet werden, (beim Senden durch die Verarbeitungseinheit 120) über die von der Verarbeitungseinheit 120 kontinuierlich übertragenen, gestreamten oder gepushten Anzeigeinformationen priorisiert.
Somit sind die Anforderungen an die Datenverbindung (z.B. in Bezug auf die Bandbreite) zwischen der Verarbeitungseinheit 120 und der Anzeigevorrichtung 110 weniger streng im Vergleich zu einem System, bei dem das gesamte 3D-Modell bei der Aktualisierung des 3D-Modells an die Anzeigevorrichtung gesendet wird. Darüber hinaus kann die visualisierte 3D-Szene in der Anzeigevorrichtung 110 schrittweise aktualisiert werden, was die Anforderungen an die Datenverbindung zwischen der Verarbeitungseinheit 120 und der Anzeigevorrichtung 110 reduziert.
Die Verarbeitungseinheit 120 kann als verteiltes System mit mehreren unabhängigen Rekonstruktions-, Speicher- und Verwaltungseinheiten realisiert werden.
Die Anzeigeanforderung 140 kann ferner eine Sprachnachricht des Benutzers der Anzeigevorrichtung 110 umfassen. In diesem Fall verfügt die Verarbeitungseinheit 120 über Mittel zum Empfangen dieser Sprachnachricht und zum Einbeziehen der Sprachnachricht in die Aufzeichnungsanforderung 160, die die Verarbeitungseinheit 120 an die Aufzeichnungsvorrichtung 130 sendet. Ferner ist die Aufzeichnungsvorrichtung 130 zur Wiedergabe der Sprachnachricht eingerichtet.
Dies stellt eine Alternative oder Ergänzung zu den vorstehend beschriebenen Kommunikationseinheiten dar, um die Kommunikation zwischen dem Benutzer der Anzeigevorrichtung 110 und dem Bediener der Aufzeichnungsvorrichtung zu ermöglichen.
Die Anzeigevorrichtung 110 ist zum Empfangen der Anzeigeinformation 150 und zum Visualisieren mindestens eines Teils der 3D-Szene eingerichtet. Zu diesem Zweck kann die Anzeigevorrichtung 110 ein Head-Mounted-Device (HMD), wie beispielsweise ein HTC Vive oder ein Oculus Rift, umfassen oder aus ihr bestehen. Die Visualisierung kann die Anzeige von Bildern umfassen, die von der Verarbeitungseinheit 120 in Form von Anzeigeinformation 150 empfangen wurden.
Die Anzeigevorrichtung 110 oder die HMD kann ein Tracking-System zum Verfolgen der Position und Ausrichtung des HMD und zum Bereitstellen von Trackinginformationen oder Tracking-Daten in Bezug auf die Position und Ausrichtung umfassen. In diesem Fall kann die Anzeigevorrichtung derart ausgestaltet sein, dass sie eine Anzeigeanforderung basierend auf den Tracking-Daten erzeugt.
Der Benutzer der Anzeigevorrichtung 110 kann die Anzeigevorrichtung 110 bewegen, um einen weiteren Teil der 3D-Szene zu erkunden. Als Reaktion auf die Bewegung kann die Anzeigevorrichtung 110 eine Anzeigeanforderung 140 erzeugen und diese Anforderung an die Verarbeitungseinheit 110 senden. Die Anzeigevorrichtung 110 kann ferner ein Mikrofon umfassen, um eine Sprachnachricht eines Benutzers aufzunehmen.
Neben der Anzeigevorrichtung 110 kann ein erfindungsgemäßes System auch eine weitere Anzeigevorrichtung (nicht in 1 dargestellt) aufweisen. Die weitere Anzeigevorrichtung kann zum Senden einer weiteren Anzeigeanforderung an die Verarbeitungseinheit, zum Empfangen weiterer Anzeigeinformationen von der Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den weiteren Anzeigeinformationen angeordnet sein. Die weitere Anzeigeanforderung zeigt die weiteren Anzeigeinformationen an, die benötigt werden, um den mindestens einen Teil der 3D-Szene zu visualisieren. Die Verarbeitungseinheit 120 kann ferner derart gestaltet sein, dass sie diese weiteren Anzeigeinformationen erzeugt und an die weitere Anzeigevorrichtung unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung sendet.
Diese weitere Anzeigevorrichtung kann mit der Anzeigevorrichtung 110 identisch sein. In dieser Ausführungsform kann ein zweiter Benutzer, der die weitere Anzeigevorrichtung verwendet, die 3D-Szene unabhängig vom ersten Benutzer mit der Anzeigevorrichtung 110 erkunden. Der Teil der 3D-Szene, der durch die Anzeigevorrichtung 110 visualisiert wird, kann sich daher von dem Teil der 3D-Szene unterscheiden, der durch die weitere Anzeigevorrichtung visualisiert wird.
Es ist auch möglich, dass die Anzeigevorrichtung 110 eine Virtual-Reality-Vorrichtung ist (wie oben beschrieben) und dass die weitere Anzeigevorrichtung ein Monitor ist. In diesem Fall kann der zweite Benutzer eine Visualisierung eines beliebigen Teils der 3D-Szene 180 (die sich von dem Teil der 3D-Szene unterscheiden kann, den der erste Benutzer sieht) oder eine synchronisierte Visualisierung des gleichen Teils der 3D-Szene wie der erste Benutzer sehen, obwohl sie nicht in 3D angezeigt werden muss.
2 zeigt einen schematischen Überblick des erfindungsgemäßen Verfahrens 200 zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit. Das Verfahren kann jede beliebige in diesem Dokument beschriebene Ausführungsform eines Systems zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene in Echtzeit verwenden. Das Verfahren 200 umfasst die folgenden Schritte:
Schritt 210: Informationen von mindestens einem Teil einer 3D-Szene 180 werden (von einer beweglichen Aufzeichnungsvorrichtung 130) erfasst bzw. aufgezeichnet und (an eine Verarbeitungseinheit 120) gesendet, als Reaktion auf eine Aufzeichnungsanforderung 160 und vorzugsweise darauf basierend.
Schritt 220: ein 3D-Modell mindestens eines Teils der 3D-Szene wird (von einer Verarbeitungseinheit 120) basierend auf den Aufzeichnungsinformationen konstruiert.
Schritt 230: eine Anzeigeanforderung 140 wird (von einer Anzeigevorrichtung 110) (an die Verarbeitungseinheit 120) gesendet.
Schritt 240: Anzeigeinformationen 150 werden (von der Verarbeitungseinheit 120) unter Verwendung des 3D-Modells erzeugt und (an die Anzeigevorrichtung 110) gesendet.
Schritt 250: ein Teil der 3D-Szene wird (von der Anzeigevorrichtung 110) basierend auf den Anzeigeinformationen 150 (die von der Verarbeitungseinheit 120 empfangen wurden) visualisiert.
In einer Variante kann das Verfahren 200 ferner einen der folgenden Schritte umfassen:
Schritt 260: eine Anzeigeanforderung 140 wird (wieder) (von der Anzeigevorrichtung 110) (an die Verarbeitungseinheit 120), beispielsweise basierend auf der Bewegung der Anzeigevorrichtung 110, gesendet; und/oder
Schritt 270: eine Aufzeichnungsanforderung 160 wird (von der Verarbeitungseinheit 120) erzeugt und (an die Aufzeichnungsvorrichtung 130) gesendet, vorzugsweise basierend auf der Anzeigeanforderung 140, wobei die Aufzeichnungsanforderung 160 die Aufzeichnungsinformationen 170 enthält, die zum weiteren Aufbau des 3D-Modells benötigt werden;
Alle oben genannten Schritte 210 -270 können in der oben und in 2 dargestellten Reihenfolge, aber auch in jeder anderen Reihenfolge ausgeführt werden. Darüber hinaus können einige oder alle dieser Schritte unabhängig voneinander wiederholt werden, da die Verarbeitungseinheit so angeordnet ist, dass sie das 3D-Modell schrittweise konstruiert.
In einer Variante des Verfahrens kann Schritt 210 das Bewegen der beweglichen Aufzeichnungsvorrichtung 130 mit Bezug auf ein oder mehrere Objekte innerhalb der 3D-Szene umfassen, optional gemäß einer Bewegung der Anzeigevorrichtung.
In einer weiteren Variante können anstelle oder zusätzlich zu der Anzeigevorrichtung, die eine Anzeigeanforderung an die Verarbeitungseinheit sendet, die Anzeigeinformationen kontinuierlich erzeugt und an die Anzeigevorrichtung gesendet werden, beispielsweise wenn die Verarbeitungseinheit keine Anzeigeanforderung verarbeitet.
In einer anderen Ausführung ist die Aufzeichnungsvorrichtung 130 derart ausgestaltet, dass sie unabhängig von den Teilen der 3D-Szene, die von der Anzeigevorrichtung 110 visualisiert werden, weitere und/oder andere Teile der 3D-Szene erfassen bzw. aufzeichnen kann. Des Weiteren kann die Aufzeichnungsvorrichtung 130 so gestaltet sein, dass sie Teile der 3D-Szene in Abhängigkeit von den Teilen der 3D-Szene erfasst bzw. aufzeichnet, die von der Anzeigevorrichtung 110 visualisiert werden. Das kann z.B. dadurch realisiert werden, dass die Aufzeichnungsvorrichtung 130 der Bewegung der Anzeigevorrichtung 110 folgt.
Weitere erfindungsgemäße Varianten des Verfahrens zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit und ihrer Merkmale werden oben mit Bezug auf das System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit näher erläutert. Darüber hinaus können Merkmale der Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit auch auf Ausführungsformen des Systems zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit angewendet werden.
Darüber hinaus kann die Erfindung wie folgt beschrieben werden: Die Erfindung bezieht sich auf ein System und ein Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit. Das System umfasst eine Anzeigevorrichtung, die zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf Anzeigeinformationen angeordnet ist. Das System umfasst ferner eine Verarbeitungseinheit, die zum Empfangen von Aufzeichnungsinformationen, zum schrittweisen Erstellen eines 3D-Modells basierend auf den Aufzeichnungsinformationen und zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells ausgestaltet ist. Das System umfasst ferner eine Aufzeichnungsvorrichtung, die zum Erfassen von Informationen aus mindestens einem Teil der 3D-Szene und zum Senden von Aufzeichnungsinformationen an die Verarbeitungseinheit angeordnet ist. Die Anzeigevorrichtung kann eine Anzeigeanforderung senden, die die Anzeigeinformationen anzeigt, die benötigt werden, um mindestens einen Teil der 3D-Szene zu visualisieren. Die Verarbeitungseinheit kann auf der Grundlage der Anzeigeanforderung eine Aufzeichnungsanforderung erzeugen. Die Aufzeichnungsvorrichtung kann die aufzuzeichnenden Informationen basierend auf der Aufzeichnungsanforderung erfassen bzw. aufzeichnen.
Während die vorliegenden Erfindungen in Verbindung mit einer Reihe spezifischer Ausführungsformen beschrieben und veranschaulicht wurden, werden die Fachmänner verstehen, dass Abweichungen und Modifikationen vorgenommen werden können, ohne von den Prinzipien der Erfindungen abzuweichen, die hierin veranschaulicht, beschrieben und beansprucht werden. Die vorliegenden Erfindungen können in anderen spezifischen Formen verkörpert werden, ohne von ihrem Geist oder ihren wesentlichen Eigenschaften abzuweichen. Die beschriebenen Ausführungsformen werden in jeder Hinsicht als veranschaulichend und nicht einschränkend betrachtet. Der Umfang der Erfindungen wird daher durch die beigefügten Ansprüche und nicht durch die vorstehende Beschreibung angegeben.
Bezugszeichenliste

100: System zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
110: Anzeigevorrichtung
120: Verarbeitungseinheit
130: bewegliche Aufzeichnungsvorrichtung
135: Feedback-Display-Device
140: Anzeigeanforderung
150: Anzeigeinformationen
160: Aufzeichnungsanforderung
165: Feedback-Informationen
170: Aufzeichnungsinformationen
180: 3D-Szene
200: Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
210: Aufzeichnen und Senden von Aufzeichnungsinformationen
220: Konstruieren eines 3D-Modells
230: Senden einer Anzeigeanforderung
240: Erzeugen und Senden von Anzeigeinformationen basierend auf dem 3D-Modell
250: Visualisieren eines Teils der 3D-Szene
260: Senden einer Anzeigeanforderung basierend auf den Bewegungen der Anzeigevorrichtung
270: Erzeugen und Senden einer Aufzeichnungsanforderung

Claims

System zur schrittweisen Aufzeichnung und Remote-Visualisierung einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, umfassend: a) eine Anzeigevorrichtung zum Empfangen von Anzeigeinformationen einer Verarbeitungseinheit und zum Visualisieren mindestens eines Teils der 3D-Szene basierend auf den Anzeigeinformationen, b) einer Verarbeitungseinheit zum Empfangen von Aufzeichnungsinformationen einer beweglichen Aufzeichnungsvorrichtung, zum schrittweisen Konstruieren eines 3D-Modells basierend auf den Aufzeichnungen bzw. Aufzeichnungsinformationen, zum Erzeugen und Senden von Anzeigeinformationen an die Anzeigevorrichtung unter Verwendung des Modells und vorzugsweise zum Senden einer Aufzeichnungsanforderung an die bewegliche Aufzeichnungsvorrichtung, wobei die Aufzeichnungsanforderung Aufzeichnungsinformationen angibt, die zur weiteren Konstruktion des 3D-Modells benötigt werden, c) eine bewegliche Aufzeichnungsvorrichtung zum Aufzeichnen von Informationen mindestens eines Teils der 3D-Szene, vorzugsweise basierend auf der Aufzeichnungsanforderung, und zum Senden der Aufzeichnungsinformationen an die Verarbeitungseinheit.
System nach Anspruch 1, wobei die Anzeigevorrichtung derart ausgestaltet ist, dass sie eine Anzeigeanforderung an die Verarbeitungseinheit senden kann, wobei die Anzeigeanforderung Anzeigeinformationen enthält, die zum Visualisieren mindestens eines Teils der 3D-Szene erforderlich sind, und die Verarbeitungseinheit derart ausgestaltet ist, dass sie die Anzeigeanforderung empfangen kann und Anzeigeinformationen an die Anzeigevorrichtung als Reaktion auf die Anzeigeanforderung senden kann.
System nach Anspruch 1 oder 2, wobei die Verarbeitungseinheit derart ausgestaltet ist, dass sie kontinuierlich Anzeigeinformationen an die Anzeigevorrichtung sendet, beispielsweise wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet oder sich im Leerlauf befindet.
System nach einem der Ansprüche 1 bis 3, wobei die Anzeigevorrichtung ein Head-Mounted-Display (HDM) und ein Tracking-System des HDM umfasst und derart ausgestaltet ist, dass sie eine Anzeigeanforderung basierend auf Tracking-Daten des Tracking-Systems, die sich auf die Position und Ausrichtung des HMD beziehen, erzeugen kann.
System nach einem der Ansprüche 1 bis 4, wobei die Aufzeichnung von Informationen Daten umfasst, die sich auf Rot-, Blau-, Grün- und Depth-Channels (RBG-D) beziehen.
System nach einem der Ansprüche 1 bis 5, ferner umfassend eine weitere Anzeigevorrichtung, die derart ausgestaltet ist, dass sie eine weitere Anzeigeanforderung an die Verarbeitungseinheit senden, weitere Anzeigeinformationen von der Verarbeitungseinheit empfangen und mindestens einen Teil der 3D-Szene basierend auf den weiteren Anzeigeinformationen visualisieren kann; wobei die weitere Anzeigeanforderung die weiteren Anzeigeinformationen angibt, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind; und wobei die Verarbeitungseinheit derart ausgestaltet ist, dass sie die weiteren Anzeigeinformationen unter Verwendung des Modells und als Reaktion auf die weitere Anzeigeanforderung erzeugen und an die weitere Anzeigevorrichtung senden kann.
System nach einem der Ansprüche 1 bis 6, wobei die Aufzeichnungsvorrichtung mit einem Feedback-Display-Device ausgestattet ist, das den Teil der 3D-Szene, der bereits aufgezeichnet wurde, und/oder eine Visualisierung der 3D-Szene basierend auf dem erstellten 3D-Modell anzeigen kann.
Verfahren zum schrittweisen Aufzeichnen und Remote-Visualisieren einer quasistatischen 3D-Szene, vorzugsweise in Echtzeit, unter Verwendung eines Systems nach einem der Ansprüche 1 bis 7, das folgende Schritte umfasst: - Informationen von mindestens einem Teil einer 3D-Szene werden von einer beweglichen Aufzeichnungsvorrichtung aufgezeichnet und diese Aufzeichnungsinformationen an eine Verarbeitungseinheit gesendet, vorzugsweise als Reaktion auf eine Aufzeichnungsanforderung und auf Basis derselben; - ein 3D-Modell von mindestens einem Teil der 3D-Szene wird von der Verarbeitungseinheit basierend auf den Aufzeichnungsinformationen konstruiert; - Anzeigeinformationen werden unter Verwendung des 3D-Modells von der Verarbeitungseinheit erzeugt und an die Anzeigevorrichtung gesendet; und - der mindestens eine Teil der 3D-Szene wird basierend auf den von der Verarbeitungseinheit empfangenen Anzeigeinformationen von der Anzeigevorrichtung visualisiert.
Verfahren nach Anspruch 8, das ferner folgende Schritte umfasst: - eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet; - Anzeigeinformationen werden von der Verarbeitungseinheit als Reaktion auf die Anzeigeanforderung erzeugt und an die Anzeigevorrichtung gesendet werden, wobei die Anzeigeanforderung die Anzeigeinformationen anzeigt, die zum Visualisieren des mindestens einen Teils der 3D-Szene erforderlich sind.
Verfahren nach Anspruch 8 oder 9, das ferner den Schritt umfasst, dass die Verarbeitungseinheit kontinuierlich die Anzeigeinformationen erzeugt und an die Anzeigevorrichtung sendet, zum Beispiel wenn die Verarbeitungseinheit gerade keine Anzeigeanforderung verarbeitet.
Verfahren nach einem der Ansprüche 8 bis 10, das ferner folgende Schritte umfasst: - eine Anzeigeanforderung wird von der Anzeigevorrichtung an die Verarbeitungseinheit gesendet, beispielsweise basierend auf der Bewegung der Anzeigevorrichtung; und/oder - eine Aufzeichnungsanforderung wird von der Verarbeitungseinheit erzeugt und an die bewegliche Aufzeichnungsvorrichtung gesendet, vorzugsweise basierend auf der Anzeigeanforderung, wobei die Aufzeichnungsanforderung die Aufzeichnungsinformationen angibt, die zum weiteren Aufbau des 3D-Modells erforderlich sind.
Verfahren nach einem der Ansprüche 8 bis 11, das ferner den Schritt umfasst, dass die bewegliche Aufzeichnungsvorrichtung in Bezug auf eines oder mehrerer Objekte in der 3D-Szene, optional in Übereinstimmung mit einer Bewegung der Anzeigevorrichtung, bewegt wird.
Verfahren nach einem der Ansprüche 8 bis 12, das ferner den Schritt umfasst, dass ein Feedback an einen Bediener der Aufzeichnungsvorrichtung durch Anzeigen des Teils einer aufgenommenen 3D-Szene und/oder eine Visualisierung der 3D-Szene basierend auf dem konstruierten 3D-Modell bereitgestellt wird.
Verfahren nach einem der Ansprüche 8 bis 13, wobei einer, einige oder alle Schritte unabhängig voneinander wiederholt werden.