DE102013111488A1

DE102013111488A1 - Verfahren zur Verwendung von 3D-Geometriedaten zur virtuellen Realitätsbilddarstellung und Steuerung im 3D-Raum

Info

Publication number: DE102013111488A1
Application number: DE201310111488
Authority: DE
Inventors: Douglas Wei-Ming Wang; Peng-Cheng Lai
Original assignee: Ortery Technologies Inc Taiwan
Current assignee: Ortery Technologies Inc Taiwan
Priority date: 2013-10-18
Filing date: 2013-10-18
Publication date: 2015-04-23

Abstract

Ein Verfahren verwendet eine Sammlung an photographischen Abbildungen von einem Objekt, die aus verschiedenen Blickwinkeln aufgenommen wurden, zusammen mit einem Satz an geographischen Schlüsselparametern für jeden Bildausschnitt der Photoabbildungen, um diese mit den 3D-Modellierungsdaten des Gegenstands in Verbindung zu bringen, welche verwendet werden können, um eine eine photo-realistische 3D Abbildung hoher Qualität in Echtzeit an einem Rechengerät darzustellen. Es stellt ebenfalls 3D-Geometriedaten für physische Anwendungen bereit, welche ein automatisches oder manuelles Photo aufnehmendes System, und die importierten 3D-Modellierungsdaten des gleichen Gegenstands mit dem gleichen Hardwaresystem oder von einem unabhängigen 3D-Geometriescansystem verwenden, diese Informationen in eine komplette Einheit von Dateien mittels einer manuellen, halbautomatischen oder einem automatischen Softwaretool zusammenstellt, um daraufhin mit einem Betrachtungsprogramm mit 3D-Umgebung dargestellt zu werden. Es kann sich auch auf das stereoskopische System erstrecken und bietet in Echtzeit physische Bedienungsfähigkeiten, die hohe Qualität und realistische visuelle Effekte ergeben.

Description

GEBIET DER ERFINDUNG
Diese Erfindung bezieht sich im Allgemeinen auf das Gebiet der photographischen 3D-Darstellungen. Die Technik der virtuellen Realität wird verwendet, um hochwertige Photoabbildungen zu zeigen. Es übernimmt auch die Vorteile der 3D-Modellierungstechnologien, um Geometriedaten für physische Messungen oder Steuerungen bereitzustellen, und wird in den erweiterten Realitätsanwendungen verwendet. Es kann sich ebenfalls auf das stereoskopische Anzeigesystem für Echtzeitanwendungen erstrecken.
BESCHREIBUNG DES STANDES DER TECHNIK
Virtuelle Realität verwendet einen Satz an Photoabbildungen, um einen festen Gegenstand von verschieden Blickwinkeln zu zeigen. Es bietet hochwertige Photoabbildungen für Darstellungsanwendungen. Allerdings sind mit einer begrenzten Anzahl an Bildausschnitten die Blickwinkel auf eine diskrete Anzahl an Photo aufnehmenden Positionen begrenzt und ergeben keine kontinuierlichen Animationen. Die Photoabbildungen enthalten ebenfalls keine Geometriedaten. Sie können nicht exakt in der Darstellung angeglichen werden, und können nicht in beliebigen, auf die Physis bezogenen Darstellungen zur Messung oder zur Steuerung verwendet werden.
Die 3D-Modellierung ist ein anderer Ansatz, um einen festen Gegenstand darzustellen. Sie umfasst Geometrieinformationen, die für physische Anwendungen, einschließlich der erweiterten Realität, verwendet werden kann. Allerdings ist sie, um die exakten Geometriedaten zu erhalten und mithilfe von Musterabbildungstechniken für eine Präsentation von guter Qualität darzustellen, in der Erfassung der Geometriedaten und in der Sicherung der großen Mengen an Texturbildern sehr teuer. Es ist ebenfalls schwierig, die photo-realistische Wiedergabe in Echtzeit mit geringer Leistung von PCs auszuführen.
Es gibt einen Bedarf, eine photorealistische virtuelle Realitätsdarstellung mit hoher Bildqualität für kommerzielle Anwendungen zu erzeugen, und einen Bedarf, die Geometrieinformationen für physische, erweiterte Realitätsanwendungen einzubeziehen, insbesondere für die Bildschirme von PCs oder Mobilgeräten, wie Tablet PCs und Smartphones. Um sowohl das hochwertige Betrachtungserlebnis als auch die physischen Informationen bereitzustellen, ist die Kombination der Vorzüge von zwei verschiedenen Ansätze der virtuellen Realität und 3D-Modellierung ein Weg, ökonomische Lösungen zu ermöglichen und die Qualitätsanforderungen mit den verfügbaren Rechengeräten zu erfüllen. Diese Erfindung erreicht diese Ziele und kann mit bestehenden Rechengeräten und mechanischen Systemen umgesetzt werden.
KURZFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Kombination eines Satzes an Bildausschnitten mit einem Satz von Geometrieinformationen beschrieben und es wird eine systematische Methode zur Darstellung der 2D-Photos in einem 3D-Raum an einem Ansichtsfenster eines Rechengeräts beschrieben. Die mathematische Beziehung zwischen den auf den Bildausschnitt bezogenen Parametern und der Transformation der Betrachtung des festen Gegenstands im 3D Darstellungsraum wird beschrieben.
Gemäß einem anderen Aspekt der Erfindung, wird ein System beschrieben, das ein Computer- gesteuertes, mechanisches System umfasst, um die Photoabbildungen automatisch bei verschiedenen Blickwinkeln aufzunehmen. Ein 3D-Geometriedaten-Scanteilsystem, das auf unterschiedlicher optischer Scanhardware oder einer Photo aufnehmenden Kamera basiert, um 3D-Geometriedaten mittels Silhouette oder Verweisen auf Matten oder Streifen zu extrahieren, wird beschrieben.
Gemäß einem anderen Aspekt der Erfindung, umfasst ein Softwaresystem einer Arbeitsstation, ein Speichersystem und einen Remoteserver und die Kundenbetrachtungsvorrichtung, um durchzusetzen, dass die Erfindung beschrieben wird. Ein Softwareprogramm, um die 2D Bildausschnitte mit den gescannten 3D Geometriedaten zu erfassen, um einen Satz an Kontrollparametern manuell oder automatisch zu erzielen, wird beschrieben. Ein Softwareprogramm, um die Bild- und Geometriedaten zu laden und die Anzeige, Messung und Steuerung des photorealistischen festen Gegenstands auszuführen, wird beschrieben.
Gemäß einem anderen Aspekt der Erfindung wird eine Erweiterung des Hardware- und Softwaresystems beschrieben, um die stereoskopische Anzeige und Steuerungsfunktion umzusetzen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung wird besser durch die folgende Beschreibung in Verbindung mit den beigefügten Zeichnungsfiguren verstanden, obwohl die detaillierte Beschreibung ein abstrakteres System umfassen kann, das nicht durch die visuellen Figuren eingeschränkt wird.
1: Bilddarstellung der virtuelle Realität im 3D-Raum mit 3D-Modellierungsdaten
Die Beziehung zwischen dem wahren Gegenstand, dem Ansichtfenster, dem hoch aufgelösten Bild und dem 3D-Netz, und dem Betrachter
2: Die Umsetzung für ein 3D-System der virtuellen Realität
Das mechanische Bild- und 3D Datenerfassungssystem, der zusammenstellende Computer, der Daten- und Programmserver und die Kundenbeobachtungsgeräte
3: Blockdiagramm des Systems zur Datenerfassung, Zusammenstellung und Betrachtung
Der Prozess zur Datenerfassung, die Daten, die gespeichert werden sollen, das Zusammenstellungsprogramm und das Beobachtungsprogramm
4: Photoabbildungserfassungssystem
Das mechanische System der Photoerfassung und der Arbeitsablauf der erzeugten Abbildungsdateien
5: 3D-Modellierungsdatenerfassung durch eine Photokamera oder einen 3D-Scanner
Das mechanische System der Photokameras oder 3D-Scanner und der Arbeitsablauf der erzeugten 3D-Geometriedaten
6: Systemdiagramm des Einbettens von 3D-Daten
Die Bildausschnitt-für-Bildausschnitt-Einbindung der 3D-Geometriedaten und der 2D-Photos, um die 6 Variablen der Freiheitsgrade den Abbildungen zuzuordnen
Die erforderlichen Bezugbildausschnitte, um den automatischen Prozess auszuführen
7: Einstellung der Bildauschnittsparameter durch Skalierung, Übersetzung und Drehen
Die Benutzerschnittstelle, um die 6 Variablen oder ihre entsprechenden Daten zu jedem der Bildausschnitte einzustellen (Drei Haupteinstellvorgänge, um implementiert zu werden)
8: Automatische Parametererzeugung für alle Ausschnitte
Die Benutzerschnittstelle, um die 6 Variablen oder ihre entsprechenden Daten zu jedem der Bildausschnitte einzustellen (Drei Haupteinstellvorgänge, um implementiert zu werden)
9: Dateisystem für Abbildung, 3D-Daten und Formgebung, und Flussdiagramm eines Betrachtungsprogramms
Die erzeugte Datendatei und die entsprechenden Abbildungs- und Geometriedatendateien
Das Flussdiagramm des Betrachtungsprogramms, um das Laden der Bilder und Daten zu zeigen
10: Betrachtungsprogramm mit 3D-Darstellung und Steuerung
Die Betrachtungsprogrammfunktionen und -steuerungen für den Endanwender
Die Datenresourcenstruktur für hochauflösende Darstellung und Verwandlungstechniken für den reibungsfreien Betrieb
11: Erweiterung zu dem stereoskopischen System
Das gleiche System wird verwendet, um zwei Sätze der Photoabbildungen mit Bildausschnitten aufzunehmen, die konform mit den Spezifikationen der stereoskopischen Anzeige und Steuerung sind.
DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Es wird nunmehr im Detail auf spezifische Ausführungsformen der vorliegenden Erfindung verwiesen. Beispiele dieser Ausführungsformen sind in den beigefügten Zeichnungen dargestellt. Obwohl die Erfindung in Verbindung mit diesen spezifischen Ausführungsformen beschrieben wird, ist es verständlich, dass es nicht beabsichtigt ist, die Erfindung auf diese Ausführungsformen zu beschränken. Tatsächlich ist es beabsichtigt, Alternativen, Modifikationen und Äquivalente abzudecken, wie sie innerhalb des Geistes und des Umfangs der Erfindung, wie sie durch die beigefügten Ansprüche definiert sind, eingeschlossen sind. In der folgenden Beschreibung sind zahlreiche Details dargelegt, um ein genaues Verständnis der vorliegenden Erfindung bereitzustellen. Die vorliegende Erfindung kann ohne einige oder alle diese spezifischen Details ausgeübt werden. In anderen Fällen sind allseits bekannte Verfahrensschritte nicht im Detail beschrieben, um über die vorliegende Erfindung nicht hinwegzutäuschen. Zudem beziehen sich alle der nachfolgenden Ausführungsformen, die gleiche oder ähnliche Bestandteile in verschiedenen Ausführungsformen verdeutlichen, auf die gleichen Symbole.
Mit Verweis auf 1 wird ein Verfahren 100 für eine 2D-Photoabbildung 108 mit einer projizierten Zuordnung auf dem 2D-Ansichtsfenster 106 dargestellt.
Angepasst wird die 2D-Photoabbildung 108 mit einem 3D-Netz durch Verwendung einer Matrix-Transformation mit sechs Freiheitsgraden für einen festen Gegenstand 102 oder als ein fester Gegenstand bekannt. Hierbei wird der feste Gegenstand exemplarisch als Becher dargestellt, kann aber in anderen nicht dargestellten Ausführungsformen stattdessen ferner irgendein anderer fester Gegenstand, wie ein Schuh, eine Glühbirne und so weiter sein. Die Geometrieparameter, die von einem 3D-Scanner erzeugt werden, können ein 3D-Netz 110 erzeugen.
Der Betrachter 104 betrachtet und kontrolliert die Abbildungen interaktiv. 2D-Photos können mit Skalen s vergrößert werden, durch die Bildschirmkoordinaten (x, y) geschwenkt werden und durch einen ωWinkel gedreht werden, plus den (☐, φ) Winkeln, die durch einen Satz an Bildausschnitten in jeder der Spalten –, Zeilenpositionen dargestellt werden.
Mit Verweis auf 2 umfasst eine Anwendung 120 ein Computersystem 126 zur mechanischen Steuerung, Bildverarbeitung und zum Datenaufbau. Ein Photoaufnahmesystem 121 besteht aus einer gesteuerten, rotierenden Plattform 122 und mehreren Armen 124 mit Kameras 123, die sich in φ Richtung mit Objektivzoom und kontrolliertem Drehen bewegen, um Photos (☐, φ) in verschieden Positionen des festen Gegenstands 102 aufzunehmen.
Ein 3D-Scanner-Teilsystem 128 (Hardware oder Software unterstützt) wird für die Erfassung der 3D-Geometriedaten einbezogen, welche in ein 3D-Netz 110 (gezeigt in 1) gestaltet werden können. Das Scanner-Teilsystem 128 kann durch Kameras 123 ersetzt werden, wenn eine Photogrammetrie mit der Silhouette der 2D-Photoabbildung 108 (gezeigt in 1) zur 3D-Modellierung verwendet wird.
Das Computersystem 126 stellt die 2D-Photoabbildung und das 3D-Netz 110 zusammen und sendet diese über das Internetnetzwerk 130 an ein Remoteserver- und Netzwerkspeichersystem 134, das mit dem Internetnetzwerk 130 verbunden ist.
Ein im Internet angeschlossenes Kundengerät 132, wie ein PC, Tablet PC, ein Smartphone und so weiter, mit einer Anzeige- und Steuerungssoftware wird verwendet, um die 2D-Photoabbildung 108 und das 3D-Netz 110 interaktiv anzuzeigen und zu steuern.
Unter Verweis auf 3 zeigt ein Blockdiagramm 140 wie die Daten erfasst, verarbeitet und gespeichert werden und daraufhin vom Betrachter auf der Kundenseite konsumiert werden.
In dem Block 142 werden Photoabbildungen Bildausschnitt für Bildausschnitt an jeder Anzeigeposition erfasst, und sie werden vorbereitet, um den Abbildungshintergrund optional zu entfernen, oder sie werden auf JPEG-Format mit hierarchischer Pixelauflösungs- und Transparenzinformationen komprimiert und anschließend weiter in einer 2D-Photoabbildungsdatei, wie im Block 144 gezeigt, gespeichert.
In dem Block 146 werden 3D-Geometriedaten bei unterschiedlichen Ansichtspositionen durch beispielsweise einen 3D-Modellierungsdatenscan, ohne darauf beschränkt zu sein, gescannt. Aber nach einem Filterungsverfahren, um zuverlässigen Daten zu erhalten, werden sie ferner zu einem einzigen Satz von Netzpunkten mit einem globalen Koordinatensystem zusammengestellt, wie eine Datei eines festen Gegenstands, wie im Block 148 gezeigt, oder als 3D-Netz bekannt.
In dem Block 150 wird ein Kompositionssystem die 2D-Photoabbildungsdatei und die Datei des feste Gegenstands verarbeiten, um die 3D-Geometrieparameter des 3D-Netzes mit den entsprechenden 2D-Photoabbildungsparametern der 2D-Photoabbildungen in der 2D-Abbildungsdatei für eine hohe Bildqualität, photorealistische Darstellung virtueller Realität und Anwendungen physischer, erweiterter Realität abzustimmen und dann kann die Anpassung der 2D-Photoabbildungsdatei mit dem 3D Netz erreicht werden. Die zusammengestellten Ergebnisse werden in einer Dateistruktur, wie einem Anwendungs- und Datenordner, wie in dem Block 152 gezeigt, gespeichert, um Photoabbildungen in verschiedenen Auflösungsstufen, die Datei des festen Gegenstands und ein Profil zu speichern, um die entsprechenden Parameter beispielsweise, ohne darauf beschränkt zu sein, mit einer xml Dateistruktur zu speichern.
Ein Betrachtungsprogramm, wie in dem Block 154 gezeigt, läuft auf einem Kundengerät, um Anpassungsparameter zu decodieren und die Photoabbildung in hoher Qualität interaktiv dem Endanwender zu präsentieren, und kann zusätzlich eine Steuerung und Messung eines 3D-Netzes für spezifische Anwendungen, wie die erweiterten Realität, bereitstellen.
Mit Verweis auf 4 macht ein 2D-Photoaufnahmesystem 160 Photoabbildungen eines festen Gegenstands, der sich in einer computergesteuerten Rotationsmechanik 162 befindet.
Der feste Gegenstand wird von unterschiedlichen Blickwinkeln betrachtet, wobei mindestens eine Kamera sich horizontal und vertikal um den festen Gegenstand mit einer unveränderlichen Drehachse bewegt. In der vorliegenden Ausführungsform wurden exemplarisch Photos bei der höchstmöglichen Auflösung von 5 verschiedenen Photokameras mit unterschiedlichen Blickwinkeln aufgenommen, beispielsweise der Unterseite, der unteren rechten Seite, der rechten Seite, der oberen rechten Seite und der Oberseite, sowie in 8 verschiedene horizontale Richtungen relativ zu dem festen Gegenstand über die Drehung der computergesteuerten Rotationsmechanik 162, beispielsweise bei 0°, 45°, 90°, 135°, 180°, 225°, 270° und 315°, um 40 verschiedene Abbildungsdateien zu bilden, und anschließend werden die Abbildungsdateien mittels einer spezifischen Namenskonvention 164 Bildausschnitt für Bildausschnitt gespeichert. Allerdings ist es in anderen nicht-dargestellten Ausführungsformen ebenfalls möglich, weniger oder mehr Photos für den festen Gegenstand aufzunehmen.
Es gilt zu beachten, dass die Abbildungsdateien vorbearbeitet werden können, um die unerwünschten Hintergrundabbildungen zu entfernen, dass die Transparenzinformationen hinzugefügt werden können oder in eine hierarchisch niedrigere Auflösung umgewandelt werden können und unter einem Stammverzeichnis für einen zukünftigen Erfassungs- und Anzeigeprozess gespeichert werden können.
Mit Verweis auf 5 wird ein Geometriedatenerfassungssystem 180 verwendet, um die Geometriedaten des festen Gegenstands zu gewinnen. Es kann physisch ein unabhängiges System sein oder ein Teilsystem des Photoerfassungssystems, wie in 4 beschrieben.
Das 3D-Geometriedatenerfassungssystem 180 wird eine bestimmte Wellenlänge von sichtbaren Optikkameras, Laserstrahl- oder unsichtbaren Infrarot- und Reflexionserfassungssystem verwenden, indem die Tiefendaten 182 von jeder Objektgeometrie erfasst werden oder einfach, indem die Silhouette der 2D-Photoabbildung 108 genommen wird.
Die 3D-Geometriedaten werden durch Messung erzeugt, wobei unzuverlässigen Rauschdaten zuerst entfernt werden, wie mit einer Rechenroutine, die unzuverlässige Daten 184 herausfiltert, und anschließend werden die statistisch genaueren Daten als die letzten Knotenpositionen in dem globalen 3D-Koordinatensystem berechnet, wie eine Routine von statistisch berechneten Geometriedaten 186.
Die Geometriedaten 186 werden verglichen und zu einem globalen Datensatz 188 zusammengefügt und die sich ansammelnden Daten werden in einer Standard-Festobjektdatei 190 gespeichert.
Mit wiederholter Messung und Datenberechnungen von vielen Schlüsselpositionen, um alle notwendigen Geometriedaten und Parameter für den festen Gegenstand zu erhalten, kann ein endgültiges 3D-Netz 1932 von einer Vielzahl an 3D-Geometrieparameter erzeugt werden.
Mit Verweis auf 6 wird ein Parameteranpassungssystem 200 zur Anpassung der 2D-Photos mit den 3D-Geometriedaten erzeugt.
Da die Photoabbildungen in jedem der Bildausschnitte 202 bei jedem der Blickwinkel gespeichert werden, müssen wir die 3D-Geometrieparameter des 3D-Netzes 204 an die entsprechenden 2D-Photoabbildungsparametern der 2D-Photoabbildungen/ausschnitte 202 anpassen, sodass sie in dem gleichen Darstellungsraum gesehen werden.
Wie wir wissen, kann jeder feste Gegenstand durch sechs Freiheitsgrade repräsentiert werden. Wir können einen Referenzpunkt im 3D-Raum (x, y, z) und die Orientierungswinkel des Gegenstands (☐, φ, ω) wählen, um die korrelierte Beziehung zwischen einer Photoabbildung und den 3D-Geometriedaten darzustellen.
Daher muss für jeden der Bildausschnitte 202 ein Satz von sechs Parametern zugeordnet werden und miteinander für zukünftige Darstellung und Steuerungsfunktionen verknüpft werden. In der vorliegenden Ausführungsform kann beispielsweise, ohne darauf beschränkt zu sein, die Photoabbildung 202 als Framei,j.jpg bezeichnet werden und sich aus M Spalten und N Zeilen zusammensetzen, und der Bezugspunkt 206 kann darauf angegeben werden als (x_ij, y_ij, z_ij). Als ein Ergebnis können die sechs Parameter der 3D-Geometriedaten angegeben werden als (x_0,0, y_0,0, z₀₀, ☐_0,0, φ_0,0, ω_0,0), während die sechs Parameter der Abbildungsausschnitte 202 als (x_ij _, y_ij, z_ij, ☐_ij, φ_ij, ω_ij) angegeben werden können, wobei i = 1, 2...M, und J = 1, 2, ... N.
Mit Verweis auf 7 kann ein Parameteranpassungssoftwareprogramm 220 verwendet werden, um diese Parameter an jeden der Bildausschnitte anzupassen.
Das Anpassungssoftwareprogramm 220 umfasst Funktionen 222, um die original 2D-Photoabbildungen und die 3D-Geometrieparameter des 3D-Netzes 226 zu laden, und die zusammengestellten Daten zu speichern.
Das Anpassungssoftwareprogramm 220 ist ausgebildet, um mit dem Benutzer zu interagieren, um sowohl die Photoabbildung 224 in irgendeinem der 2D-Bildausschnitte, wie in der Bildausschnittsauswahl 230 gezeigt, als auch das 3D-Netz 226 zu zeigen.
Da sich der Mauscursor auf einem Computerbildschirm mit nur 2 Freiheitsgraden bewegen kann, kann der Benutzer die Parameteranpassung manuell einstellen. Es kann die Körperachse des festen Gegenstands 236 steuern, indem die Spitze der Achse bewegt wird, um die Werte von ☐ und/oder φ zu steuern, und anschließend indem die Körperachse des festen Gegenstands 236 gedreht wird, um den Wert von ω zu steuern.
Der Bezugspunkt 234 kann daraufhin auf dem Bildschirm verschwenkt werden, um den Wert x, y zu kontrollieren und anschließend kann das Mausrad verwendet werden, um die Größe des 3D-Netzes zu steuern, welche der Größe des Gegenstands entspricht und damit der projizierten z-Lage. Es sei darauf hingewiesen, dass in dieser Ausführungsform alle der sechs Parameter (x, y, z, ☐, φ, ω) zur manuellen Anpassung des 2D-Bildausschnitts 224 an das 3D-Netz 226 eingestellt werden. Allerdings ist es jedoch in anderen Ausführungsformen, die hier nicht dargestellt sind, durchaus möglich, nicht alle der sechs Parameter einzustellen, wenn dies unnötig ist.
Im Kontrast dazu, wird der automatische Anpassungsberechnungsprozess 228 zur Unterstützung bei der Anpassung der Parameter ebenfalls bereitgestellt, welcher ferner die Parameter programmatisch für einen einzelnen Bildausschnitt oder für mehrere Bildausschnitte anpasst, und in der 8 beschrieben wird.
Es ist zu beachten, dass die manuellen Anpassungsprozesse 232 ferner durch direkte Berechnung mittels der Verwendung des automatischen Anpassungsberechnungsprozesses 228 ersetzt werden können, während der Aufnahmeprozess insgesamt ausgeführt wird. Die automatische Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz passt programmatisch automatisch die Parameter der 2D-Photoabbildungen an die 3D-Geometrieparametern des 3D Netzes an, während ein 3D-Geometriescanmechanismus die Parameterbeziehungen zwischen den 2D-Photoabbildungen und dem 3D-Netz bereitstellen kann.
Unter Verweis auf 8 wurde ein Berechnungsplan 240 entwickelt, um die Parameter zu erzeugen, die alle Blickwinkel an jedem Bildausschnitt automatisch anpassen.
Durch Anwendung der Quaternion-Technologie, kann Beliebiges von dem 3D-Vektor v, welcher den Bezugspunkt und die Körperachse bildet, berechnet werden, um den neuen Vektor r im 3D-Raum nach Drehung um eine Dreheinheitsachse n um einen Drehwinkel ☐ zu erhalten.
Deshalb kann jeder der zwei Bildausschnitte in der gleichen Reihe mit bekannten Drehwinkeln verwendet werden, indem die Parameter verwendet werden, um die Dreheinheitsachse n zu berechnen. Sobald diese bekannt ist, kann jeder andere Bezugspunkt und die Körperachse in jedem der Bildausschnitte in derselben Zeile 242 berechnet werden und somit werden automatisch die Parameter angepasst.
Die gleiche Berechnung kann für die vertikale Richtung für die Bildausschnitte mit einer einzigen Spalte 254, aber verschiedenen Reihen 252 durchgeführt werden. Durch Duplizieren des gleichen Prozesses können alle Bildausschnitte berechnet werden.
Theoretisch werden nur drei manuell angepasste Bildausschnitte benötigt, um die Dreheinheitsachse in horizontaler und vertikaler Richtung zu berechnen, und es wird enorme menschliche Arbeitskraft gespart, um die Anpassungsparameter herauszufinden. Allerdings kann es bei der praktischen Umsetzung sein, dass sich die Drehbewegungsbahn der Kamera nicht in einer perfekten Kreisbahn anordnet und der Neigungswinkel und das Zoom-Objektiv die Photoabbildungen in einer nichtlinearen Weise projizieren, so dass mehr manuell angepasste Bildausschnitte von 5 oder 7 erforderlich sind, um zuverlässigere Daten zu erhalten. Eine visuelle Einstellung, um die Anpassungsrechnung zu überprüfen, wird ebenfalls angeboten, um die Feineinstellung zu ermöglichen.
Mit Verweis auf 9 wird ein Dateisystem auf dem Internetserver 260 geschaffen, um dem Endanwender einen Betrachtungsmechanismus bereitzustellen, um hochauflösende Photoabbildungen und die 3D-Geometriedaten an seinem Kundengerät zu betrachten.
All die Betrachtungsprogramme, Abbildungsdaten in Echtzeit und in hoher Auflösung, die Geometriedaten, Zubehördaten und die Darstellungsprofile, werden unter einem Stammverzeichnis 262 gespeichert, um zu gewährleisten, dass es kein bereichsübergreifendes Zugangsproblem gibt.
Das Betrachtungsprogramm, auf das der Endanwender zugreift, wird alle notwendigen Programmroutinen laden, hier Betrachter genannt, wie in dem Block 264 gezeigt, und anschließend erhält man die Echtzeitabbildung und Geometriedaten des 3D-Netzes automatisch, wie in dem Block 266 gezeigt. Als Nächstes ist, wie in dem Block 268 gezeigt, die interaktive Bedienung für die Anzeige von hochauflösenden Abbildungen und das 3D-Netz verfügbar, um hochauflösende Abbildungen, wie in dem Block 269 gezeigt, zu erhalten. Zusätzlich wird der Funktionsbetrieb, wie in dem Block 270 gezeigt, abhängig von den Anwendungen erweiterter Realität für notwendige 3D-Messungen, wie in dem Block 272 gezeigt, oder 3D-Steuerungsfunktionen, wie in dem Block 274 gezeigt, weiter vorhanden sein.
Das Programm kann auf einem Kundengerät mit 3D-Betriebsumgebung wie OpenGL oder WebGL oder beliebig anderen 3D-Umgebungen umgesetzt werden.
Mit Verweis auf 10 ist ein Kundenseitenbetrachtungsprogramm ausgebildet, um die Funktionen, die in 9 beschrieben sind, anzuwenden.
Das Betrachtungsprogramm 280 kann ein WebGL – fähiges, Browser basiertes HTML5 Betrachtungsprogramm für die Windows-Plattform für das Computersystem 126 (in 2 gezeigt), z. B. für einen Desktop-Computer, ein mobiles Gerät oder irgendein Gerät sein, das geeignet zur Anzeige des Betriebfensters 282 ist, oder ein natives Programm mit OpenGL ES fähigem, mobilem Gerät.
Das Programm umfasst Betriebsschalter 286, um Zoom-, Schwenk- und Drehfunktionen zur interaktiven Anzeige der Photoabbildung durchzuführen, es umfasst einen Schieberregler, um entweder Photoabbildungen in hoher Qualität zu betrachten oder um den Gitterrahmen des 3D-Modells zu betrachten, und zeigt sogar beide in einer unterschiedlich transparenten Weise an.
Um eine Glattheit/Kontinuität der 2D-Photoabbildungen in dem 3D-Raum zu zeigen, kann es auch Winkelumwandlungen von den 2D-Photoabbildung(en) 284 durchführen, und zwar durch Variation eines Winkels 0☐ΔΘ☐vθ_Inkrement und/oder eines Winkels 0☐Δφ☐φ_Inkrement.
Abhängig von der Anwendung stellt es ebenfalls Funktionstasten 288 bereit, um die Mess- und Anwendungssteuerung durchzuführen, und beliebig andere Funktionen, die erforderlich sind.
Mit Verweis auf 11 kann das System auch auf ein stereoskopisches System 300 erweiter werden, um den Gegenstand mit einem realistischeren Eindruck entsprechend der menschlichen Wahrnehmung der Augen darzustellen.
Die Ansichtfenster werden zwei separate sein, sowohl für das linke Stereogramm 306, als auch für das rechte Stereogramm 308, die entsprechend Abbildungen für das linke Auge 302 und das rechte Auge 304 belegen.
Die zwei Sätze von Abbildungen und den Anpassungsparametern werden in Anbetracht der Blickwinkeldifferenz für den gleichen Gegenstand 310 genommen. Es wird unabhängig einen linken 312 und einen rechten 314 Satz geben. Bei der vorliegenden Ausführungsform können exemplarisch, ohne darauf beschränkt zu sein, der linke 312 und der rechte 314 entsprechend als FrameLi,j.jpg und FrameRi,j.jpg bezeichnet, und die Bezugspunkte 316 und 318 davon können jeweils als (x_ij, y_ij, z_ij)_R und (x_ij, y_ij, z_ij)_L angegeben werden. Als ein Ergebnis können die sechs Parameter der 3D-Geometriedaten bezüglich links 312 und rechts 314 jeweils als (x_0,0, y_0,0, z₀₀, ☐_0,0, φ_0,0, ω_0,0)_R und (x_0,0, y_0,0, z₀₀, ☐_0,0, φ_0,0, ω_0,0)_L angegeben werden, während die sechs Parameter von dem Linken 312 und dem Rechten 314 jeweils als (x_ij, y_ij, z_ij, ☐_ij, φ_ij, ω_ij)_R und (x_ij, y_ij, z_ij, ☐_ij, φ_ij, ω_ij)_L angegeben werden, wobei i = 1, 2...M, und J = 1, 2...N.
Allerdings ist es auch möglich einen einzelnen Satz von 2D-Photos mit unterschiedlichem Spaltenindex für die gleiche Reihe der Abbildungen zu verwenden. Es wird nicht sehr genau hinsichtlich des Betrachtungswinkels und der Abstandssimulation sein, aber es wird ein ausreichendes Tiefengefühl für die Durchschnittsbetrachter anbieten.
Die Ansichtsfenster können auf TV-, Filmbildschirmen oder sogar auf neuen tragbaren Geräten mit Betrachtungsgläsern verwirklicht werden.
Obwohl spezifische Ausführungsformen der vorliegenden Erfindung beschrieben wurden, wird es für Fachleute ersichtlich sein, dass andere Ausführungsformen bestehen, die äquivalent zu den beschriebenen Ausführungsformen sind. Demnach ist es ersichtlich, dass die Erfindung nicht durch die bestimmten, dargestellten Ausführungsformen eingeschränkt ist, sondern nur durch den Umfang der beigefügten Ansprüche.

Claims

Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz, indem eine Matrixtransformation mit sechs Freiheitsgraden für einen festen Gegenstand verwendet wird, wobei 3D-Geometrieparameter des 3D-Netzes mit 2D-Photoabbildungsparametern der 2D-Abbildungsdatei abgeglichen werden, um eine hohe Bildqualität, photorealistische Darstellung virtueller Realität und physische Anwendungen erweiterter Realität zu erhalten.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 1, wobei 2D-Photoabbildungen in der 2D-Photoabbildungsdatei optional mit mindestens einen der folgenden Schritte bearbeitet werden: Entfernung von Abbildungshintergründen; Komprimierung in JPEG Format mit hierarchischer Pixelauflösung, Transparenzinformationen, und Sicherung in der 2D-Photoabbildungsdatei.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 1, wobei die 3D-Geometrieparameter von einer bestimmten Wellenlänge der sichtbaren Optikkamera, eines Laserstrahls oder eines unsichtbaren Infrarot- und Reflexionserfassungssystem erzeugt werden, indem die Silhouette der 2D-Photoabbildungen in der 2D-Photoabbildungsdatei oder die Tiefendaten von jeder Objektgeometrie des festen Gegenstands erhalten wird.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 1, wobei die Matrixtransformation mit sechs Freiheitsgraden für den festen Gegenstand entweder manuell oder automatisch durchgeführt wird.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 4, wobei die manuell erfasste Matrixtransformation mindestens einen der nachfolgenden Schritte umfasst: Manuelles Bewegen der Spitze der Achse zum Steuern der θ-Werte; Manuelles Bewegen der Spitze der Achse zum Steuern der φ-Werte; Manuelles Drehen einer Körperachse des festen Gegenstands zum Steuern des ω-Werts; und Skalieren einer Größe des 3D-Netzes zur Anpassung an die 2D-Photoabbildungsparameter, die aus der 2D-Photoabbildungsdatei ausgewählt werden, bis der ganze Satz der 2D-Photoabbildungsdatei aufgebraucht ist, wobei nicht weniger als 3 von 2D-Photoabbildungen in der 2D-Photoabbildungsdatei manuell von der Körperachse in horizontalen und vertikalen Richtungen mit Berechnungsunterstützung ausgewählt werden.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 4, wobei die automatisch erfolgte Matrixtransformation programmatisch automatisch die 2D-Photoabbildungsparameter mit den 3D-Geometrieparametern abgleicht, während ein 3D-Geometriescanmechanismus Parameterbeziehungen zwischen 2D-Photoabbildungen in der 2D-Photoabbildungsdatei und dem 3D-Netz bereitstellt.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 1, wobei die photorealistische Darstellung virtueller Realität mit hoher Bildqualität ein Dateisystem auf einem Internetserver darstellt, das ausgebildet ist, um einem Endanwender einen Betrachtungsmechanismus bereitzustellen, um hoch aufgelöste Photoabbildungen und das 3D-Netz zu betrachten, und die physischen Anwendungen erweiterter Realität sind zur 3D-Messung oder 3D-Steuerungsfunktionen.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 7, wobei die hoch aufgelösten Photoabbildungen und das 3D-Netz in einer unterschiedlichen transparenten Weise zusammen betrachtet werden.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 7, wobei die photorealistische Darstellung virtueller Realität mit hoher Bildqualität sich ferner auf ein stereoskopisches System mit Ansichtsfenstern eines linken Stereogramms und eines rechten Stereogramms für jeweils das linke Auge und rechte Auge erstreckt.
Verfahren zur Anpassung einer 2D-Photoabbildungsdatei an ein 3D-Netz gemäß Anspruch 7, wobei die photorealistische Darstellung virtueller Realität mit hoher Bildqualität sich ferner erstreckt, eine Glattheit von 2D-Photoabbildungen in der 2D-Photoabbildungsdatei in einem 3D-Raum durch Winkelumwandlung der 2D-Photoabbildungen in mindestens einer θ-Richtung und einer φ-Richtung zu zeigen.