-
VERWEIS AUF VERWANDTE ANMELDUNGEN
-
Die vorliegende Anmeldung bezieht sich auf von US-Patentanmeldung Nr. 14/671,051, eingereicht am 27. März 2015, deren Offenbarung hierin unter Bezugnahme mit einbezogen ist.
-
ALLGEMEINER STAND DER TECHNIK
-
Fotografien, die von gewöhnlichen Kameras gemacht sind, weisen ein begrenztes Sichtfeld auf. Oftmals ist das Sichtfeld eines Bildes, das von einer typischen Kamera aufgenommen ist, kleiner als das des menschlichen Auges. Das Sichtfeld eines Panoramas hingegen ist im Allgemeinen größer. Panoramabilder können beispielsweise ein Sichtfeld aufnehmen, das größer als das des menschlichen Auges ist, z. B. 180° oder größer. Einige Panoramabilder können alle 360° um ein Zentrum einer Projektion herum aufnehmen.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Unter Schutz gestellt werden und Gegenstand des Gebrauchsmusters sind, entsprechend den Vorschriften des Gebrauchsmustergesetzes, lediglich Vorrichtungen wie in den beigefügten Schutzansprüchen definiert, jedoch keine Verfahren. Soweit nachfolgend in der Beschreibung gegebenenfalls auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich der beispielhaften Erläuterung der in den beigefügten Schutzansprüchen unter Schutz gestellten Vorrichtung oder Vorrichtungen. Aspekte dieser Offenbarung stellen ein Verfahren bereit, das Empfangen, durch ein oder mehrere Computergeräte, einer Anfrage für ein erweitertes Sichtfeld eines ersten Bildes; Identifizieren, durch die einen oder mehreren Computergeräte, visueller Merkmale in dem ersten Bild; Vergleichen, mit den einen oder mehreren Computergeräten, der visuellen Merkmale in dem ersten Bild mit visuellen Merkmalen in einem oder mehreren zweiten Bildern mit größerem Sichtfeld; Auswählen, durch die einen oder mehreren Computergeräte, mindestens teilweise basierend auf dem Vergleich visueller Merkmale, eines oder mehrerer der zweiten Bilder; und Bestimmen, durch die einen oder mehreren Computergeräte, von Ausrichtungsinformationen von dem ersten Bild zu jedem der einen oder mehreren ausgewählten zweiten Bilder umfasst.
-
In einem Beispiel sind die zweiten Bilder Panoramabilder. In einem anderen Beispiel beinhaltet das Verfahren außerdem Bestimmen von Ausrichtungsinformationen für das erste Bild zu jedem der einen oder mehreren zweiten Bilder durch Berechnen einer Transformation des ersten Bildes. In diesem Beispiel kann das Verfahren außerdem Senden von Ausrichtungsanweisungen gemäß der berechneten Transformation an ein Client-Computergerät beinhalten, um ein oder mehrere zusammengesetzte Bilder zu generieren oder das erste Bild mit dem einen oder den mehreren zweiten Bildern zu rendern.
-
In einem anderen Beispiel beinhaltet das Verfahren außerdem Generieren eines oder mehrerer zusammengesetzter Bilder unter Verwendung des ersten Bildes und mindestens eines der ausgewählten zweiten Bilder und Senden des einen oder der mehreren zusammengesetzten Bilder an ein erstes Client-Computergerät zur Anzeige. In diesem Beispiel kann das Verfahren außerdem Generieren eines oder mehrerer zusammengesetzter Bilder durch Berechnen einer Ausrichtungsbewertung für jede Ausrichtung des ersten Bildes an jedem der einen oder mehreren zweiten Bilder und Auswählen des einen der einen oder mehreren Bilder basierend auf der Ausrichtungsbewertung. Außerdem kann das Verfahren in diesem Beispiel außerdem Generieren der einen oder mehreren zusammengesetzten Bilder durch Anwenden einer oder mehrerer Gestaltungsoptionen auf die einen oder mehreren zusammengesetzten Bilder beinhalten. In diesem Beispiel können die einen oder mehreren Gestaltungsoptionen Überblenden des ersten Bildes in das zweite Bild, Hinzufügen eines Schlagschattens unter dem ersten Bild und/oder Hinzufügen eines Rahmens für das erste Bild beinhalten.
-
Andere Aspekte der Offenbarung stellen ein System zum Bestimmen von Ausrichtungsinformationen von einem ersten Bild zu mindestens einem zweiten Bild bereit, wobei das System ein oder mehrere Computergeräte umfasst, die konfiguriert sind, eine Anfrage für ein erweitertes Sichtfeld des ersten Bildes zu empfangen; visuelle Merkmale in dem ersten Bild zu identifizieren; die visuellen Merkmale in dem ersten Bild mit visuellen Merkmalen in einem oder mehreren zweiten Bildern mit einem größeren Sichtfeld zu vergleichen; mindestens teilweise basierend auf dem Vergleich der visuellen Merkmale eines oder mehrere der zweiten Bilder auszuwählen; und Ausrichtungsinformationen von dem ersten Bild zu jedem der einen oder mehreren ausgewählten zweiten Bilder zu bestimmen.
-
In einem Beispiel sind die zweiten Bilder Panoramabilder. In einem anderen Beispiel sind die eine oder mehreren Computergeräte außerdem konfiguriert, die Ausrichtungsinformationen ersten Bild zu jedem der einen oder mehreren ausgewählten zweiten Bilder durch Berechnen einer Transformation des ersten Bildes zu bestimmen. In diesem Beispiel können die einen oder mehreren Computergeräte außerdem Ausrichtungsanweisungen gemäß der berechneten Transformation an ein Client-Computergerät senden, um ein zusammengesetztes Bild zu generieren oder das erste Bild mit den einen oder mehreren zweiten Bildern zu rendern.
-
In einem anderen Beispiel sind die einen oder mehreren Computergeräte außerdem konfiguriert, ein oder mehrere zusammengesetzte Bilder unter Verwendung des ersten Bildes und mindestens eines der einen oder mehreren ausgewählten zweiten Bilder zu generieren und die einen oder mehreren zusammengesetzten Bilder an ein Client-Computergerät zur Anzeige zu senden. In diesem Beispiel sind die einen oder mehreren Computergeräte außerdem konfiguriert, eine Ausrichtungsbewertung für jede Ausrichtung des ersten Bildes an jedem der einen oder mehreren ausgewählten zweiten Bilder basierend auf einer Qualität von jeder Ausrichtung zu berechnen und eines der einen oder mehreren ausgewählten zweiten Bilder basierend auf der Ausrichtungsbewertung auszuwählen. Außerdem sind die einen oder mehreren Computergeräte in diesem Beispiel außerdem konfiguriert, eine oder mehrere Gestaltungsoptionen auf die einen oder mehreren zusammengesetzten Bilder anzuwenden. In diesem Beispiel können die einen oder mehreren Gestaltungsoptionen Überblenden des ersten Bildes in das Panorama, Hinzufügen eines Schlagschattens unter dem ersten Bild und/oder Hinzufügen eines Rahmens für das erste Bild beinhalten.
-
Weitere Aspekte der Offenbarung stellen ein nicht transistorisches computerlesbares Medium bereit, auf dem Anweisungen gespeichert sind, wobei die Anweisungen, wenn durch ein oder mehrere Computergeräte ausgeführt, die einen oder mehreren Computergeräte veranlassen, ein Verfahren zum Generieren eines oder mehrerer zusammengesetzter Bilder durchzuführen, wobei das Verfahren Empfangen einer Anfrage für ein erweitertes Sichtfeld eines ersten Bildes; Identifizieren visueller Merkmale in dem Bild; Vergleichen der visuellen Merkmale in dem ersten Bild mit visuellen Merkmalen in einem oder mehreren zweiten Bildern mit einem größeren Sichtfeld; Auswählen, mindestens teilweise basierend auf einem Vergleich der visuellen Merkmale, eines oder mehrerer der zweiten Bilder; Bestimmen von Ausrichtungsinformationen von dem ersten Bild zu jedem der einen oder mehreren ausgewählten zweiten Bilder; und Generieren der einen oder mehreren zusammengesetzten Bilder unter Verwendung des ersten Bildes und mindestens eines der einen oder mehreren zweiten ausgewählten Bilder umfasst.
-
In einem Beispiel beinhaltet das Verfahren außerdem Ausrichten des ersten Bildes an jedem der einen oder mehrere zweiten Bilder durch Berechnen einer Transformation des ersten Bildes. Die Transformation des ersten Bildes beinhaltet mindestens eine von einer Verschiebung, einer Drehung, einer Modifizierung einer Brennweite, einer Anwendung von Homografie und einer Skalierung.
-
In einem anderen Beispiel beinhaltet das Verfahren zum Generieren der einen oder mehreren zusammengesetzten Bilder außerdem Berechnen einer Ausrichtungsbewertung für jede Ausrichtung des ersten Bildes an jedem der einen oder mehreren ausgewählten zweiten Bilder basierend auf einer Qualität von jeder Ausrichtung und Auswählen eines der einen oder mehreren ausgewählten zweiten Bilder basierend auf der Ausrichtungsbewertung.
-
In noch einem anderen Beispiel beinhaltet das Verfahren außerdem Speichern der einen oder mehreren zusammengesetzten Bilder in Verbindung mit einem entsprechenden Standort; und Abrufen von mindestens einem der zusammengesetzten Bilder aus dem Speicher an das Client-Computergerät zur Anzeige.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist ein Funktionsdiagramm eines Beispielsystems gemäß den Aspekten der vorliegenden Offenbarung.
-
2 ist ein Bilddiagramm des Beispielsystems aus 1.
-
3 ist ein Beispiel eines Bildes mit einem kleinen Sichtfeld.
-
4A–C sind Beispiele eines Satzes von Panoramabildern mit einem größeren Sichtfeld bezüglich des Bildes aus 3.
-
5 ist ein Beispiel einer möglichen Ausrichtung Bild aus 3 und dem Panoramabild aus 4B gemäß den Aspekten der Offenbarung.
-
6 ist ein Beispiel eines zusammengesetzten Bildes gemäß einem Aspekt der Offenbarung.
-
7 ist ein Flussdiagramm eines Beispielverfahrens gemäß den Aspekten der Offenbarung.
-
DETAILLIERTE BESCHREIBUNG
-
ÜBERSICHT
-
Die Technik betrifft eine Erstellung eines zusammengesetzten Bildes, das ein erstes Bild und ein zweites Bild, das ein größeres Sichtfeld als das erste Bild aufweist (z. B. ein Panoramabild), umfasst. Diesbezüglich kann ein Benutzer in der Lage sein, die Umgebung des ersten Bildes, die in einem entsprechenden zweiten Bild sichtbar ist, zu sehen und dadurch das originale Sichtfeld des ersten Bildes zu Erweitern. Zusätzlich kann ein Benutzer das entsprechende zweite Bild navigieren, um die umgebenden Bereiche anzuschauen. Um solche Zusammensetzungen bereitzustellen, kann ein erstes Bild einem entsprechenden zweiten Bild unter Verwendung der Standortinformationen, die mit den Bildern verbunden sind, und der erfassten Merkmale der Bilder zugeordnet werden. Diese Bilder können als ein Kleiner-größer-Bildpaar erachtet werden.
-
Um einen Effekt eines Anschauens von Bildern im Kontext ihrer unmittelbaren Umgebung zu erzeugen, kann ein erstes Bild an einem entsprechenden zweiten Bild durch Berechnen und Durchführen einer Transformation, um die erfassten Merkmale des ersten Bildes an den entsprechenden Merkmalen in dem zweiten Bild auszurichten, ausgerichtet werden. Eine Ausrichtungsbewertung kann für jedes Kleiner-größer-Bildpaar berechnet werden, um zu bestimmen, ob das Paar ein akzeptables zusammengesetztes Bild ist. Das Kleiner-größer-Bildpaar mit der höchsten Ausrichtungsbewertung kann dem Benutzer präsentiert und/oder zur zukünftigen Ansicht gespeichert werden.
-
In einem Beispielanwendungsfall kann das Sichtfeld eines Benutzerbildes (z. B. ein Bild, das Benutzer unter Verwendung einer Kamera oder Telefons gemacht wurde), hier ein exemplarisches erstes Bild, durch Abgleichen der visuellen Merkmale in dem Benutzerbild mit visuellen Merkmalen von einem oder mehreren Panoramen, hier exemplarische zweite Bilder, erweitert werden. Das Benutzerbild und das Panorama können ausgerichtet und gegebenenfalls transformiert werden, um ihre visuellen Merkmale abzugleichen.
-
Um ein zusammengesetztes Bild eines gegebenen ersten Bildes und eines Bildes mit einem größeren Sichtfeld zu generieren, kann ein erstes Bild abgerufen werden. Das erste Bild kann beispielsweise Landschaften, Landmarken, ein Gebäude, einen Raum usw. beinhalten. Die Bilddatei des ersten Bildes kann mit anderen Informationen, wie einer Bildkennung, die verwendet werden kann, um das erste Bild abzurufen, der Zeit, zu der das Bild erstellt wurde, einem Winkel, von welchem aus das erste Bild angeschaut wird, einem Bildformat und Standortinformationen, assoziiert sein. Das erste Bild kann anschließend verarbeitet werden, um visuelle Merkmale in dem Bild zu identifizieren. Visuelle Merkmale können Linien, Formen, Muster usw. und die Anordnung dieser Linien, Formen und Muster in dem Bild enthalten.
-
Nach Verarbeitung des ersten Bildes können mehrere zweite Bilder, die ähnliche visuelle Merkmale wie das erste Bild aufweisen, abgerufen werden. Diese zweiten Bilder können Bilder sein, die ein größeres Sichtfeld als das erste Bild aufweisen; demzufolge einen größeren Bereich abzubilden scheinen. Ein Speichersystem wie eine Datenbank oder andere derartige Speicher können beispielsweise Bilder wie Panoramen enthalten, die ein größeres Sichtfeld als das erste Bild aufweisen. Die visuellen Merkmale dieser Bilder Speichersystem können auf Ähnlichkeiten mit den visuellen Merkmalen des ersten Bildes untersucht werden. Wenn die visuellen Merkmale eines gegebenen Bildes Speichersystem mit denen des ersten Bildes in einem gewissen Maß übereinstimmen, kann das gegebene Bild in den mehreren zweiten Bildern, die Speichersystem abgerufen werden, eingeschlossen werden.
-
Zusätzlich oder alternativ können Standortinformationen, die mit dem ersten Bild und den Bilder Speichersystem assoziiert sind, verwendet werden, um die Suche nach zweiten Bildern mit ähnlichen visuellen Merkmalen einzuengen und/oder können verwendet werden, um die Ergebnisse der Suche zu filtern. Des Weiteren kann das Abrufen der zweiten Bilder Suchen ausschließlich der Bilder Speichersystem mit einem größeren Sichtfeld als das erste Bild oder Filtern der Bilder Speichersystem, um nur Bilder zu beinhalten, die größer als das erste Bild sind, beinhalten.
-
Das erste Bild kann an jedem der mehreren zweiten Bilder ausgerichtet sein. Dies kann durch Zuordnen der visuellen Merkmale des ersten Bildes zu den entsprechenden visuellen Merkmalen in jedem der zweiten Bilder als Kleiner-größer-Bildpaare erreicht werden. Ausrichtung kann aus einer Verschiebung des ersten Bildes, einer relativen Drehung des ersten Bildes, einer Skalierung des ersten Bildes, einer Modifizierung einer Brennweite des ersten Bildes, einer Homografie, einer Ähnlichkeitstransformation, einer weiteren zweidimensionalen (2D) oder dreidimensionalen (3D) Transformation oder irgendeiner Kombination dieser Verfahren bestehen. Ausrichten des ersten Bildes an einem zweiten Bild kann Berechnen einer Transformation für das erste Bild beinhalten. Diese Berechnung kann mehrfach erfolgen, wobei die Ausrichtung mit jeder Berechnung verfeinert wird. Ferner kann eine Ausrichtungsbewertung für jedes Kleiner-größer-Bildpaar basierend auf der Qualität der Ausrichtung berechnet werden. Einige der Kleiner-größer-Bildpaare können aufgrund von visuellen Merkmalen, die aufgrund einer größeren Differenz bei Kameraposen nicht gut ausgerichtet sind, niedrigere Ausrichtungsbewertungen aufweisen.
-
Ein zusammengesetztes Bild kann dann unter Verwendung des Kleiner-größer-Bildpaares mit der höchsten Ausrichtungsbewertung erstellt werden. Das resultierende zusammengesetzte Bild kann einem Client-Computergerät zur Anzeige gesendet werden oder in einem Speichersystem zur zum zukünftigen Anschauen gespeichert werden. Zusätzlich oder alternativ können Anweisungen zum Ausrichten des ersten Bildes an dem größeren Bild an ein Client-Computergerät gesendet werden, sodass das Client-Computergerät in der Lage sein kann, entweder das zusammengesetzte Bild zu generieren oder das erste Bild, das an dem größeren Bild ausgerichtet ist, zur Anzeige zu rendern.
-
Die hierin beschriebenen Merkmale können ermöglichen, dass ein Bild mit einem Bild, das ein größeres Sichtfeld als das erste Bild aufweist, wie ein Panorama, zusammengesetzt wird und das Bild daher im Kontext der umliegenden Umgebung anzuzeigen. Ein Benutzer kann ein Bild zum Zusammensetzen mit einem Bild, das ein größeres Sichtfeld aufweist, bereitstellen und das resultierende zusammengesetzte Bild mit anderen teilen oder das zusammengesetzte Bild navigieren, um das Gebiet in dem Bild virtuell wieder zu besuchen. Im Speziellen kann das Zusammensetzen eines Bildes mit einem Panorama, und nicht mit einem anderen perspektivischen Bild, einen leichteren und robusteren Prozess zum Erstellen eines attraktiven zusammengesetzten Bildes ermöglichen, da Panoramen das volle Sichtfeld von einem gegebenen Punkt aus mit gleichmäßiger Belichtung und Erscheinung erfassen. Als solches können diese Funktionen zusammengesetzte Bilder erstellen, die den Effekt einer Vergrößerung des Sichtfelds des Bildes erzeugen.
-
BEISPIELSYSTEME
-
1 und 2 beinhalten ein Beispielsystem 100, in welchem die vorstehend beschriebenen Merkmale implementiert sein können. Dieses soll nicht als den Umfang der Offenbarung oder Nützlichkeit der hierin beschriebenen Merkmale einschränkend betrachtet werden. In diesem Beispiel kann System 100 Berechnungsvorrichtungen 110, 120, 130 und 140 sowie ein Speichersystem 150 beinhalten. Computergerät 110 kann einen oder mehr Prozessoren 112, Speicher 114 und andere Komponenten enthalten, die typischerweise in Universal-Computergeräten vorliegen. Speicher 114 von Computergerät 110 kann Informationen speichern, die von Prozessor 112 abgerufen werden können, einschließlich Anweisungen 116, die durch den Prozessor 112 ausgeführt werden können.
-
Speicher kann außerdem Daten 118 enthalten, die durch den Prozessor abgerufen, manipuliert oder gespeichert werden können. Der Speicher kann von nicht transistorischer Art sein, der fähig ist, Informationen, die Prozessor abgerufen werden können, zu speichern, wie eine Festplatte, Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare und ausschließlich lesbare Speicher.
-
Die Anweisungen 116 können ein beliebiger Satz von Anweisungen sein, die direkt, wie Maschinencode, oder indirekt, wie Skripte, durch den Prozessor ausgeführt werden können. Diesbezüglich können die Begriffe „Anweisungen”, „Schritte” und „Programme” hierin austauschbar verwendet sein. Die Anweisungen können in Objektcodeformat zur direkten Verarbeitung durch den Prozessor oder in jeder anderen Computergerätsprache, die Skripte oder Sammlungen von unabhängigen Quellcode-Modulen beinhaltet, die auf Anforderung interpretiert oder vorab kompiliert werden. Funktionen, Verfahren und Routinen der Anweisungen werden unten ausführlicher erklärt.
-
Daten 118 können gemäß den Anweisungen 116 durch Prozessor 112 abgerufen, gespeichert oder modifiziert werden. Beispielsweise können, obwohl der hierin beschriebene Gegenstand nicht durch eine beliebige bestimmte Datenstruktur beschränkt ist, die Daten in Computerregistern, als Tabelle, die viele verschiedene Felder und Datensätze aufweist, oder XML-Dokumenten gespeichert werden. Die Daten können außerdem in einem beliebigen computergerätlesbaren Format wie, aber nicht beschränkt auf, Binärwerte, ASCII oder Unicode formatiert sein. Des Weiteren können die Daten beliebige Informationen umfassen, die ausreichend sind, um die relevanten Informationen zu identifizieren, wie Zahlen, beschreibenden Text, proprietäre Codes, Zeiger, Referenzen auf Daten, die in anderen Speichern wie anderen Netzwerkstandorten gespeichert sind, oder Informationen, die von einer Funktion verwendet werden, um die relevanten Daten zu berechnen, umfassen.
-
Der eine oder die mehreren Prozessoren 112 können jeden herkömmlichen Prozessor, wie eine im Handel erhältliche CPU, beinhalten. Alternativ kann der Prozessor eine dedizierte Komponente wie ein ASIC oder ein anderer hardwarebasierter Prozessor sein. Obwohl nicht notwendig, können Computergeräte 110 spezialisierte Hardwarekomponenten beinhalten, um spezifische Rechenprozesse wie Decodieren von Video, Abgleichen von Videoframes mit Bildern, Verzerren von Videos, Codieren verzerrter Videos usw. schneller und effizienter durchzuführen.
-
Obwohl 1 funktionsmäßig den Prozessor, Speicher und andere Elemente von Computergerät 110 als im gleichen Block befindlich darstellt, können der Prozessor, Computer, Computergerät oder Speicher tatsächlich mehrere Prozessoren, Computer, Computergeräte oder Speicher umfassen, die innerhalb desselben physischen Gehäuses gelagert sein können. Der Speicher kann beispielsweise eine Festplatte oder anderes Speichermedium sein, das sich in einem Gehäuse befindet, das anders als das von Computergeräten 110 ist. Dementsprechend werden Referenzen auf einen Prozessor, Computer, Computergerät oder Speicher so verstanden, als sie Referenzen auf eine Sammlung von Prozessoren, Computer, Computergeräten oder Speichern beinhalten, die parallel arbeiten können oder nicht. Die Computergeräte 110 können beispielsweise Server-Computergeräte beinhalten, die als eine lastverteilende Serverfarm arbeiten. Weiterhin, obwohl einige nachstehend beschriebenen Funktionen als auf einem einzigen Computergerät, das einen einzigen Prozessor aufweist, stattfindend beschrieben sind, können verschiedene Aspekte des hierin beschriebenen Gegenstandes durch mehrere Computergeräte implementiert werden, beispielsweise Weitergabe von Informationen über ein Netzwerk 160.
-
Die Computergeräte 110 können an verschiedenen Knoten des Netzwerks 160 und imstande sein, direkt und indirekt mit anderen Knoten des Netzwerks 160 zu kommunizieren. Obwohl nur einige Computergeräte in 1–2 dargestellt sind, sollte verstanden werden, dass ein typisches System eine große Anzahl verbundener Computergeräte beinhalten kann, wobei sich jedes verschiedene Computergerät an einem verschiedenen Knoten 160 des Netzwerks befindet. Das Netzwerk 160 und dazwischenliegende Knoten, die hierin beschrieben sind, können unter Verwendung verschiedener Protokolle und Systeme vernetzt sein, sodass das Netzwerk Teil des Internets, Word Wide Web, spezifischer Intranets, Langstreckennetze oder lokaler Netzwerke sein kann. Das Netzwerk kann Standardkommunikationsprotokolle, wie Ethernet, WLAN und HTTP, Protokolle, die proprietär für eine oder mehrere Unternehmen sind, und verschiedene Kombinationen der vorstehenden nutzen. Obwohl bestimmte Vorteile erzielt werden, wenn Informationen wie oben beschrieben übertragen oder empfangen werden, sind andere Aspekte des hierin beschriebenen Gegenstands nicht auf eine bestimmte Art der Übertragung von Informationen beschränkt.
-
Als ein Beispiel können Computergeräte 110 einen oder mehrere Webserver beinhalten, die in der Lage sind, mit Speichersystem 150 sowie Computergeräten 120, 130 und 140 über das Netzwerk zu kommunizieren. Unter Bezugnahme auf 2, können Server-Computergeräte 110 beispielsweise Netzwerk 180 verwenden, um Informationen an einen Benutzer, wie Benutzer 220, 230 oder 240 zu übertragen und auf einer Anzeige, wie Anzeigen 122, 132 oder 142 von Computergeräten 120, 130 und 140 anzuzeigen. Diesbezüglich können Computergeräte 120, 130 und 140 als Client-Computergeräte erachtet werden und können alle oder einige der nachstehend beschriebenen Funktionalitäten durchführen.
-
Jedes der Client-Computergeräte 120–140 kann ähnlich den Server-Computergeräten 110, mit einem oder mehreren Prozessoren, Speichern und Anweisungen wie oben beschrieben, sein. Jedes Client-Computergerät 120, 130 oder 140 kann ein persönliches Computergerät sein, das zur Verwendung durch einen Benutzer 220, 250, 250 vorgesehen ist, und alle Komponenten aufweisen, die normalerweise in Verbindung mit einem persönlichen Computergerät verwendet werden, wie eine zentrale Verarbeitungseinheit (CPU), Speicher (z. B. RAM und interne Festplatten), der Daten und Anweisungen speichert, eine Anzeige wie Anzeigen 122, 132 oder 142 (z. B. ein Monitor, der einen Bildschirm aufweist, ein berührungsempfindliches Display, ein Projektor, ein Fernseher oder eine andere Vorrichtung, die betriebsfähig ist, Informationen anzuzeigen) und eine Benutzereingabevorrichtung 124 (z. B. eine Maus, Tastatur, Berührungsbildschirm oder Mikrofon). Das Client-Computergerät kann außerdem eine Kamera zum Aufnehmen von Videostreams, Lautsprecher, eine Netzwerkschnittstellenvorrichtung und alle der Komponenten, die zum Verbinden dieser Elemente miteinander verwendet werden, beinhalten.
-
Obwohl die Client-Computergeräte 120, 130 und 140 jeweils ein persönliches Computergerät in voller Größe umfassen können, können sie alternativ mobile Computergeräte umfassen, die fähig sind, Daten drahtlos über ein Netzwerk wie das Internet mit einem Server auszutauschen. Nur exemplarisch kann ein Client-Computergerät 120 ein Mobiltelefon oder eine Vorrichtung wie ein funkfähiger PDA, ein Tablet-PC oder ein Netbook sein, die in der Lage sind, Informationen über das Internet abzurufen. In einem anderen Beispiel kann Client-Computergerät 130 ein am Kopf befestigtes Computersystem sein. Als ein Beispiel kann der Benutzer Informationen unter Verwendung einer kleinen Tastatur, eines Tastenfeldes, Mikrofons, unter Verwendung visueller Signale mit einer Kamera oder eines Touchscreens eingeben.
-
Speichersystem 150 kann Bilder speichern. Mindestens einige dieser Bilder können Bilder sein, die ein begrenztes Sichtfeld aufweisen, wie ein Bild, das von einer Kompaktkamera aufgenommen wurde. Einige andere Bilder können Panoramabilder sein, die ein Sichtfeld aufweisen, das größer als das des menschlichen Auges ist, z. B. 180 Grad oder größer. Wie hierin besprochen, kann das generierte zusammengesetzte Bild auch gespeichert werden. Zusätzlich zu den Bilder kann Speichersystem 150 auch Informationen, die mit diesen Bilder assoziiert sind, wie Bildkennung, Zeitstempel, Poseninformationen, Bildformat, Standortinformationen (z. B. Geotag) und ein Index der Merkmale des Bildes, speichern.
-
Speichersystem 150 kann, wie Speicher 114 auch, jede Art eines rechnergestützten Speichers, der fähig ist, Informationen zu speichern, die von Server 110 abgerufen werden können, sein, wie eine Festplatte, Speicherkarte, ROM, RAM, DVD, CD-ROM, beschreibbare und ausschließlich lesbare Speicher. Zusätzlich kann Speichersystem 150 ein verteiltes Speichersystem sein, wobei Daten auf mehreren verschiedenen Speichervorrichtungen gespeichert werden, die sich physisch an demselben oder unterschiedlichen geografischen Standorten befinden können. Speichersystem 150 kann mit einem Computergerät über ein Netzwerk 180 verbunden sein, wie in 1 gezeigt, und/oder kann direkt mit einem beliebigen der Computergeräte 110–140 verbunden oder integriert sein.
-
BEISPIELVERFAHREN
-
3 stellt ein erstes Bild von einem gegebenen Standorts dar, das verwendet werden kann, um das zusammengesetzte Bild zu bilden. Ein Bild von einem spezifischen Standort kann abgerufen werden. Das Bild kann durch Benutzereingabe empfangen oder von einem Speichersystem wie Speichersystem 150 abgerufen werden. Ein solches Bild kann Landschaften, Landmarken, ein Gebäude, einen Raum oder ein beliebiges anderes Objekt beinhalten. Ein Bild 310 für einen spezifischen Standort kann beispielsweise ein Monument 312, einen Fluss 314, einen Horizont 316 und einen Baum 318 beinhalten, wie in 3 gezeigt. Ein Bild kann mit anderen Informationen, wie einer Bildkennung, einem Zeitstempel, Pose-Informationen, die den Winkel, von dem aus das Bild gemacht wurde beinhalten, Bildformat (JPEG, TIFF usw.) und Standortinformationen, verbunden sein. Die Standortinformationen können einen Geotag oder Breiten- und Längenkoordinaten beinhalten.
-
Das Bild, das empfangen oder abgerufen wird, kann verarbeitet werden, um visuelle Merkmale in dem Bild zu identifizieren. Visuelle Merkmale können Linien, Muster, Formen usw. und die Anordnung dieser Linien, Formen und Muster in dem Bild enthalten. Ein Bild kann mit einem Index von Merkmalen assoziiert sein, die die visuellen Merkmale in einem Bild basierend auf Art und Platzierung in dem Bild, kategorisieren. In dem Beispiel aus 3 können visuelle Merkmale, die die Kanten und Seiten des Monuments 312, die Form des Verlaufs des Flusses 314, die Platzierung des Horizonts 316 und die Form und die Textur der Bäume 318 definieren, in Bezug auf Bild 310 identifiziert werden.
-
Durch Vergleichen der visuellen Merkmale, die in dem ersten Bild identifiziert wurden, mit den visuellen Merkmalen der gespeicherten Bilder können mehrere zweite Bilder, die ein größeres Sichtfeld als das erste Bild aufweisen, abgerufen werden. Diesbezüglich können mindestens einige der Bilder vom Speichersystem 150 als Panoramabilder erachtet werden. Die Bilder in dem Speichersystem 150 können außerdem mit Informationen, wie Standortinformationen und Indizes visueller Merkmale, assoziiert sein. Die visuellen Merkmale der Panoramen können auf Ähnlichkeiten mit den visuellen Merkmalen des Bildes untersucht werden. Wenn die visuellen Merkmale eines gegebenen Bildes vom Speichersystem 150 mit denen des ersten Bildes in einem gewissen Maß übereinstimmen, kann das gegebene Bild in den mehreren zweiten Bildern, die vom Speichersystem abgerufen werden, eingeschlossen werden.
-
Wie in 4A, 4B und 4C gezeigt, wird eine Reihe von Panoramen 420, 440 und 460, die auch die Ansichten des Monuments, des Flusses, des Horizonts und der Bäume beinhalten, von Speichersystem 150 als zweite Bilder für erstes Bild 310 abgerufen. Während die Panoramen 420, 440 und 460 ähnliche Merkmale wie Bild 310 beinhalten, unterscheiden sie sich von Bild 310 auf unterschiedliche Art und Weise. Zum einen beinhalten Panoramen 420, 440 und 460 Objekte in ihrem breiteren Sichtfeld, die in dem kleineren Sichtfeld des ersten Bildes 310 nicht beinhaltet sind. Baum 430 und Baum 432, die in Panorama 420 gezeigt sind, erscheinen beispielsweise nicht in Bild 310. Außerdem unterscheiden sich die Pose und Ausrichtung der Panoramen 420, 440 und 460 von denen des ersten Bildes 310, was bewirkt, dass sich auch die Platzierung und Ausrichtung der Objekte unterscheidet. Beispielsweise ist Fluss 424 aus Panorama 420 auffallend fast senkrecht zum Horizont 426, im Gegensatz zu Fluss 314, der auf einer Diagonalen liegt.
-
Standortinformationen können auch verwendet werden, um die Auswahl der mehreren zweiten Bilder auf die Bilder vom Speichersystem zu beschränken, die innerhalb einer bestimmten geografischen Nähe des Standortes des ersten Bildes sind. Erstes Bild 310 und Panoramen 420, 440 und 460 können alle mit einem Geotag des Standorts des Monuments oder eines nahegelegenen Standortes versehen werden. Die Auswahl ähnlicher Bilder basierend auf dem Standort kann entweder vor oder nach dem Vergleich visueller Merkmale erfolgen. Demnach können, in diesem Beispiel, mindestens Panoramabilder 420, 440 und 460 als zweite Bilder für Bild 310 basierend auf einer Kombination aus Standortinformationen und Analyse der Merkmale in den Bildern, ausgewählt und abgerufen werden.
-
Zusätzlich oder alternativ können einer oder mehrere Indizes von visuellen Merkmalen verwendet zum Vergleichen des ersten Bildes mit den Bildern vom Speichersystem 150 verwendet werden. Die Indizes können nach Schlüsselmerkmalen durchsucht werden, um eine Teilmenge von Bildern vom Speichersystem zum detaillierteren Vergleich mit dem ersten Bild abzurufen. Als andere Alternative kann eine spezifische Anzahl von Pixeln eines Bildes vom Speichersystem, die den Abschnitt des Bildes vom Speichersystem umfasst, der dem ersten Bild und der unmittelbaren Umgebung entspricht abgerufen werden. Wenn ein gegebenes Bild von Speichersystem beispielsweise ein Panorama ist, das die 360°-Ansicht von einem spezifischen Punkt aus umspannt, können die Pixel, die die 180° umfassen, die um die spezifischen Pixel, die dem ersten Bild entsprechen, herum zentriert sind, und nicht das volle Panorama abgerufen werden.
-
Das erste Bild kann an jedem der mehreren zweiten Bilder, die ausreichend ähnliche visuelle Merkmale aufweisen, ausgerichtet werden. Dies kann durch Transformieren des ersten Bildes erreicht werden, sodass die visuellen Merkmale des Bildes den entsprechenden visuellen Merkmalen in einem zweiten Bild zugeordnet werden. Bild 310 (zur Übersichtlichkeit hier in einer gestrichelten Linie gezeigt) wurde exemplarisch in Panorama 440 (ein zweites Bild) platziert, wo die visuellen Merkmale des ersten Bildes am besten mit denen von Panorama 440 ausgerichtet sind, wie in 5. Das Monument, der Fluss und der Baum des ersten Bildes 310 überlappen das Monument, den Fluss und den Baum aus Panorama 440 im Allgemeinen mit einigen kleinen Abweichungen und Unterschieden.
-
Ausrichtung kann aus Verschieben des ersten Bildes, Drehen des ersten Bildes, Skalieren des ersten Bildes, Verändern der Brennweite des ersten Bildes, Anwenden einer Homografie auf das erste Bild, Durchführen einer Ähnlichkeitstransformation auf das erste Bild, Durchführen einer weiteren 2D- oder 3D-Transformation auf das erste Bild oder Durchführen irgendeiner Kombination dieser Verfahren bezüglich des zweiten Bildes. Eine 3D-Transformation kann aus Behandeln des ersten Bildes als 2D-Ebene, die in einem 3D-Raum schwebt, bestehen, sodass das Bild in 3D-Raum verkrümmt werden kann, um bestmöglich auf das zweite Bild hinter ihm zu passen. Ausrichten des ersten Bildes an einem zweiten Bild kann außerdem Berechnen einer mathematischen Transformation für das Bild beinhalten. Diese Berechnung kann mehrfach oder stufenweise erfolgen, wobei die Ausrichtung mit jeder Berechnung verfeinert wird. Mit anderen Worten können die inkrementellen Transformationen mit jeder Wiederholung der Berechnung kleiner werden. Ausrichtungsanweisungen können basierend auf der/den berechneten Transformation(en) generiert werden.
-
Für jedes Kleiner-größer-Bildpaar (z. B. jede Kombination aus einem ersten Bild und einem entsprechenden zweiten Bild), kann eine Ausrichtungsbewertung basierend auf der Qualität der Ausrichtung berechnet werden. Wenn einige visuelle Merkmale in einem Kleiner-größer-Bildpaar schlecht ausgerichtet sind, wäre die Ausrichtungsbewertung für dieses Paar niedriger als ein Klein-größer-Bildpaar mit mehr genau ausgerichteten visuellen Merkmalen.
-
Wie vorstehend erwähnt, können schlecht ausgerichtete Merkmale das Ergebnis eines größeren Unterschieds von Pose oder Ausrichtung sein. Aufgrund des erkennbaren Unterschieds zwischen erstem Bild 310 hinsichtlich der Platzierung des Flusses in Panoramen 420 und 460, kann die Ausrichtungsbewertung der Ausrichtung zwischen Bild 310 und Panoramen 420 und 460 beispielsweise niedriger sein als die Ausrichtungsbewertung der Ausrichtung zwischen Bild 310 und Panorama 440. Wenn keine der Ausrichtungsbewertungen der Kleiner-Größer-Bildpaare einen bestimmten Schwellenwert erreicht, kann eine Nachricht angezeigt werden, die hinweist, dass ein zusammengesetztes Bild nicht erstellt werden kann.
-
Wenn eine oder mehrere Ausrichtungsbewertungen den Schwellenwert erreichen, kann das Kleiner-größer-Bildpaar, das die höchste Ausrichtungsbewertung aufweist, verwendet werden, um ein zusammengesetztes Bild zu erstellen. 6 zeigt ein Beispiel des finalen zusammengesetzten Bildes 600 mit erstem Bild 310 in einem zweiten Bild (hier Panorama 440) an der ausgerichteten Position des ersten Bildes.
-
Eine oder mehrere Gestaltungsoptionen können dem zusammengesetzten Bild hinzugefügt werden. Einige Beispiele von Optionen beinhalten Überblenden des ersten Bildes und des zweiten Bildes, Einschließen eines Schlagschattens des ersten Bildes über dem zweiten Bild, Einschließen eines Rahmens oder einer Umrandung um das erste Bild in dem zweiten Bild und Hinzufügen eines Grades Transparenz in dem ersten Bild, sodass das zweite Bild darunter teilweise sichtbar ist. Wie in 6 gezeigt, wurde ein Rahmen um erstes Bild 310 herum hinzugefügt. Des Weiteren kann Überblenden des ersten Bildes und des größeren Bildes das Herausextrahieren von Vordergrundobjekten in dem Bild und Zusammenfügen der Vordergrundobjekte in dem Bild in das größere Bild unter Verwendung einer beliebigen Anzahl von Überblendungsverfahren umfassen.
-
Zusätzlich oder alternativ können die zusammengesetzten Bilder außerdem Fakten über den abgebildeten Standort beinhalten, die angezeigt werden, wenn ein bestimmter Bereich des Bildes angeklickt oder eine Navigierungsfunktion zum Navigieren innerhalb des zusammengesetzten Bildes oder benachbarter Bilder ausgeführt wird.
-
Nach dem Generieren des zusammengesetzten Bildes kann das erstellte Bild an ein Client-Computergerät zur Anzeige gesendet oder in einem Speichersystem wie Speichersystem 150 zum zukünftigen Abrufen gespeichert werden. Unter erneuter Bezugnahme auf 2 kann ein Benutzer 220, 230, 240 beispielsweise das resultierende zusammengesetzte Bild 600 benennen oder weiter bearbeiten und es anschließend in Speichersystem 150 oder einem Speicher von Server-Computer 110 oder Client-Computergerät 120, 130 oder 140 speichern. Basierend auf Benutzereingabe oder Anfrage kann das zusammengesetzte Bild 600 abgerufen und auf einem Client-Gerät 120, 130 oder 140 angezeigt werden.
-
Alternativ kann das erste Bild auch über dem größeren Bild in einem Bildbetrachter gerendert werden, anstatt zusammengefügt zu werden, um ein zusammengesetztes Bild zu erstellen. Wenn dies der Fall ist, würde Bild 310 auf einem Computergerät 120, 130 oder 140 auf Panorama 440 angezeigt werden, wie in 6 gezeigt, ohne zusammengesetztes Bild 600 zu erstellen. Benutzer 220, 230 oder 240 kann entscheiden, Bild 310 und Panorama 440 als ein einzelnes zusammengesetztes Bild 600 zu speichern, auch nachdem es angeschaut wurde.
-
Flussdiagramm 700 aus 7 ist ein Beispiel einiger der vorstehend beschriebenen Aspekte, die durch einen oder mehrere Prozessoren auf einem Client-Computergerät und/oder einem oder mehreren Server-Computergeräten durchgeführt werden, wie vorstehend angemerkt. Während 7 Blöcke in einer bestimmten Reihenfolge zeigt, kann die Reihenfolge variiert werden und mehrere Operationen gleichzeitig durchgeführt werden. Außerdem können Operationen hinzugefügt oder weggelassen werden.
-
In Block 701 kann eine Anfrage für ein erweitertes Sichtfeld eines ersten Bildes empfangen werden. Das erste Bild kann mit Standortinformationen und einem Index visueller Merkmale assoziiert sein.
-
In Block 702 werden visuelle Merkmale eines ersten Bildes identifiziert. Visuelle Merkmale können durch Abrufen des Index identifiziert werden und können Linien, Kanten, Texturen, Farben und andere Charakterisierungsarten beinhalten.
-
Die visuellen Merkmale des ersten Bildes können in Block 703 mit visuellen Merkmalen mehrerer zweiter Bilder verglichen werden. Die zweiten Bilder können außerdem mit Standortinformationen und einem Index visueller Merkmale assoziiert sein. In den zweiten Bildern sind Bilder mit einem größeren Sichtfeld als das erste Bild, wie Panoramen, beinhaltet.
-
Mehrere zweite Bilder können basierend auf einem Vergleich der visuellen Merkmale in Block 704 ausgewählt werden. Genauer gesagt können zweite Bilder, die ein größeres Sichtfeld aufweisen, ausgewählt werden. Die mehreren zweiten Bilder können Panoramen beinhalten, die visuelle Merkmale aufweisen, die mit denen des ersten Bildes in einem ausreichenden Maß übereinstimmen und aus einem Speichersystem mit verschiedenen Bildern, die Standortinformationen umfassen, ausgewählt werden können. Diese Standortinformationen sowie Standortinformationen, die mit dem ersten Bild assoziiert sind, können verwendet werden, um die mehreren zweiten Bilder ebenfalls auszuwählen.
-
In Block 706 werden die Ausrichtungsinformationen für das erste Bild zu jedem der mehreren zweiten Bilder bestimmt. Dies kann Berechnen einer Transformation des Bildes in Bezug auf jedes der mehreren zweiten Bilder beinhalten. Zusätzlich kann jeder Paarung des ersten Bildes mit einem gegebenen zweiten Bild der mehreren zweiten Bilder basierend darauf, wie gut die Merkmale des Bildes und des zweiten Bildes ausgerichtet sind, eine Ausrichtungsbewertung zugewiesen werden.
-
In Block 708 wird das zusammengesetzte Bild des ersten Bildes und eines der mehreren zweiten Bilder generiert. Das zusammengesetzte Bild kann das erste Bild, das mit dem zweiten Bild zusammengefügt ist, oder ein Rendering des ersten Bildes auf dem zweiten Bild sein.
-
Die vorstehend beschriebenen Merkmale können ein zusammengesetztes Bild aus einem ersten Bild und einem zweiten Bild, wie ein Panoramabild, eines gegebenen Standortes erstellen. Das Ergebnis ist das Bild, das im Zusammenhang mit der umliegenden Umgebung angezeigt wird. Darüber hinaus, da das erste Bild mit einem Panoramabild zusammengesetzt ist und nicht mit einem anderen perspektivischen Bild, das ein gleiches oder kleineres Sichtfeld wie das erste Bild aufweist, ist der erzeugte Effekt einer eines Expandierens des Sichtfelds des ersten Bildes.
-
Obwohl die Erfindung hierin mit Bezug auf bestimmte Ausführungsformen beschrieben wurde, versteht sich, dass diese Ausführungsformen lediglich die Grundsätze und Anwendungen der vorliegenden Erfindung darstellen. Es versteht sich daher, dass zahlreiche Modifizierungen an den darstellenden Ausführungsformen vorgenommen werden können, und dass andere Anordnungen konzipiert werden können, ohne vom Erfindungsgedanken und Umfang der vorliegenden Erfindung, wie durch die hinzugefügten Ansprüche definiert, abzuweichen.
