DE10245900A1

DE10245900A1 - Bildbasiertes Anfragesystem für Suchmaschinen für mobile Endgeräte mit eingebauter Kamera

Info

Publication number: DE10245900A1
Application number: DE10245900A
Authority: DE
Inventors: Hartmut Senior Neven
Original assignee: NEVEN JUN; Neven Jun Hartmut Profdr
Current assignee: Google LLC
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-08

Abstract

Mobiltelefone und Computer werden zunehmend mit einer Kamera ausgestattet. Dies ermöglicht es, statt bloßer Texteingaben auch Bilder an Suchmaschinen oder Datenbanken als Eingabe zu senden. Fortschritte bei Bilderkennungsverfahren wiederum ermöglichen zunehmend das automatische Erkennen von Objekten, Buchstabenfolgen oder Symbolen in digitalen Bildern. Dies erlaubt es, die Bildinformationen in ein symbolisches Format, z. B. Klartext, umzuwandeln, um damit Informationen zu dem gezeigten Objekt abzurufen.

Description

Abstract
Mobiltelefone und Computer werden zunehmend mit einer Kamera ausgestattet. Dies ermöglicht es, statt blosser Texteingaben auch Bilder an Suchmaschinen oder Datenbanken als Eingabe zu senden. Fortschritte bei Bilderkennungsverfahren wiederum ermöglichen zunehmend das automatische Erkennen von Objekten, Buchstabenfolgen oder Symbolen in digitalen Bildern. Dies erlaubt es, die Bildinformation in ein symbolisches Format, z.B. Klartext, umzuwandeln, um damit Informationen zu dem gezeigten Objekt abzurufen.
Beschreibung
Ein Mensch sieht einen Gegenstand, und sofort stellt sein Gedächtnis Informationen bereit, die mit dem Gegenstand in Zusammenhang stehen. Extrem nützlich wäre ein System, das diese Leistung nachbildet oder sogar erweitert.
Moderne Verfahren der Bilderkennung erlauben es, zunehmend besser Objekte, Landschaften, Gesichter, Symbole, Buchstabenfolgen etc. in Bildern zu erkennen. Mehr und mehr Kameras sind an Geräte angeschlossen, die an Datenfernübertragungsnetzwerke angebunden sind. Solch eine Konfiguration unterstützt die folgende Anwendung. Mit der Kamera in einem Endgerät (1), z.B. in einem Mobiltelefon, wird ein Bild oder eine kurze Bildsequenz aufgenommen. Dieses Bild (2) oder diese Bilder werden dann per Datenfernübertragung (3) an einen Serverrechner (7) geschickt. Dort läuft ein Bilderkennungsverfahren (4), das die Bildinformation in symbolische Information (5), z.B. Klartext, umwandelt. Z.B. erkennt das Bilderkennungsverfahren, dass auf dem Bild der Eiffelturm zu erkennen ist. Alles weitere funktioniert nun ähnlich wie bei einer traditionellen Suchmaschine (6) im Internet. Der Serverrechner schickt dem Nutzer eine Liste zurück mit „Links" auf Datenbankeingaben oder Webseiten, die Informationen über das gezeigte Objekt (8) enthalten.
1. Bilderkennung
Dieser Abschnitt gibt einen groben Überblick über eine mögliche Methode zur Objekterkennung. Eine genauere Beschreibung zu Verfahren für die Objekterkennung ist in den folgenden Publikationen beschrieben: J. Buhmann, M. Lades and C.v.d.Malsburg, „Size and Distortion Invariant Object Recognition by Hierarchical Graph Matching", in Proceedings of the IJCNN International Joint Conference on Neural Networks, San Diego 1990, pp. II-411-416 und „High-Level Vision: Object Recognition and Visual Cognition", Shimon Ullman, MIT Press; ISBN: 0262710072; July 31, 2000. Verfahren zur automatischen Schriftzeichenerkennung sind beschrieben in: „Optical Character Recognition: An Illustrated Guide to the Frontier" Kluwer International Series in Engineering and Computer Science, 502, by Stephen V. Rice, George Nagy, Thomas A. Nartker, 1999.
1.1 Aufbau einer Objektrepräsentation
Die meisten Objekterkennungsverfahren, die heute verwendet werden, benutzen eine Anzahl von Beispielbildern (21), um dem Objekt angepasste Merkmalsdetektoren (22) zu trainieren.
1.2 Erkennung
Bei der Erkennung werden die trainierten Merkmalsdetektoren (32) verwendet, um die von ihnen repräsentierten Merkmale in einem Eingabebild (31) aufzufinden. Dieses geschieht durch einen Suchprozess. Jeder Merkmalsdetektor gibt einen Konfidenzwert aus, der angibt, wie gut er das von ihm repräsentierte Merkmal in dem Bild erkennt. Wenn die akkumulierten Konfidenzwerte (33) aller Merkmalsdetektoren einen vorgegebenen Schwellenwert überschreiten, nimmt man an, dass das Objekt erkannt wurde.
2. Anwendungsbeispiele
Natürlich ist die automatische Bilderkennung noch weit davon entfernt, die Leistungen des menschlichen Sehsystems zu erreichen. Daher wird man sich zunächst auf Situationen beschränken, die von existierenden Bildverarbeitungssystemen gut behandelt werden können. Im folgenden beschreibe ich eine Reihe von Anwendungsfeldern und beschreibe ihre spezifischen Schwierigkeiten.
Stadt- und Museumsführer
Visuell Gebäude zu erkennen, ist mit heutigen Methoden gut realisierbar. Es hilft natürlich, wenn der Nutzer das Gebäude frontal und senkrecht fotografiert und nicht aus einem schrägen Winkel. Des weiteren kann man die Bilderkennung unterstützen, indem man Positionsinformationen mitverwendet. Viele Telefone werden mit GPS (Global Positioning System) ausgestattet, so dass man jederzeit bis auf wenige Meter weiss, wo sich das Telefon befindet. Diese Information kann man nutzen, um bei der Bildverarbeitung nur solche Gebäude oder Gebäudedetails in Betracht zu ziehen, die in Nähe sind. Da das Gebäude zu verschiedenen Tageszeiten erkennbar sein soll, muss man beim Ausbauen der visuellen Repräsentation darauf achten, dass entsprechendes Bildmaterial mit aufgenommen werden muss. Für die meisten Bilderkennungsverfahren bedeutet das, dass man einfach mehrere Bilder unter verschiedenen Beleuchtungssituationen aufnimmt und diese bei der Modellkonstruktion verwendet.
Sehr einfach wäre es auch, einen universellen Kunstführer zu bauen, der einem Informationen, z.B. zu einem Gemälde, gibt. Da Bilder zweidimensional sind, ist die Erkennung wesentlich vereinfacht.
Produktinformationen
Eine andere Kategorie von Objekten sind Produkte wie Autos, Bücher oder Spielzeuge. Sieht der Nutzer ein Automodell, das ihn interessiert, kann er einfach davon ein Bild aufnehmen, und er wird z.B. zu einer entsprechenden Webseite mit weiteren Produktinformationen geleitet. Wiederum wird es in den frühen Phasen eines solchen Services nützlich sein, wenn der Nutzer Fotos von exakten Frontal- oder Seitenansichten aufnimmt und zum Serverrechner schickt. In späteren Versionen, wenn die Poseninvarianz verbessert worden ist, braucht sich der Nutzer weniger einzuschränken. Es ist wichtig, den bildbasierten Suchservice so zu gestalten, dass es ähnlich wie beim jetzigen World Wide Web jedem Anbieter von Informationen ermöglicht wird, für seine Webseite eine bildbasierte Suchfunktion anzubieten. Auf diese Weise kann leicht sichergestellt werden, dass für viele Produkte eine bildbasierte Suchfunktion zur Verfügung steht, da z.B. Autohersteller ein grosses Interesse daran haben werden, dass ihre neuesten Modelle per Bildaufnahme erkannt werden können.
Texterkennung
Ein weiterer nützlicher Service besteht darin, dass man Texterkennung anbietet. Für den Reisenden nach Tokio oder Paris, der der Landessprache nicht mächtig ist, wäre es von grossem Wert, wenn er seine Kamera auf ein Schild richten kann und er dann eine Übersetzung und weitere Informationen zu dem erkannten Text erhält. Steht man beispielsweise in Tokio vor einer Sushibar, wäre es doch von grossem Wert, wenn man sofort und mühelos den entsprechenden Eintrag in einem Restaurantführer lesen könnte. Gerade für Besucher, die japanische Schriftzeichen nicht lesen können, ist dies eine sehr bequeme Lösung, um an weitere Informationen zu kommen.
Gesichtserkennung
Gesichtserkennung ist ein weiterer Spezialfall. Menschen, die aus irgendwelchen Gründen möchten, dass man schnell mehr über sie erfahren kann, können Aufnahmen von ihrem Gesicht verfügbar machen, die dann von der Bilderkennung genutzt werden können.
Das vollausgebaute System
Die Zahl der Anwendungsbereiche liesse sich noch lange fortsetzen. Kataloge für Antiquitäten, Pflanzen- und Tierbestimmungsbücher können mit dem beschriebenen System wesentlich effizienter gestaltet werden. Oder man stelle sich ein Teil einer Apparatur vor, für das man Ersatz oder weitere Erklärungen braucht. Man nimmt einfach ein Bild auf, und schnell wird man auf Kennung und Hersteller oder einen entsprechenden Abschnitt in einem Handbuch verwiesen. Ein System, das einem Zusatzinformationen zu Reklametafeln gibt, ist eine weitere Anwendung. In jedem dieser Fälle nimmt der Nutzer einfach ein Bild des Gegenstandes von Interesse auf und schickt es zum Rechner, auf dem die Bilderkennung läuft. Die Bilderkennung sendet entsprechende symbolische Informationen, die das Objekt beschreibt, an die Suchmaschine, die letztlich die Information, die zum Nutzer geschickt wird, auswählt.
In der vollen Ausbaustufe hat man ein System, das man mit einem externen visuellen Gedächtnis vergleichen könnte. Jeder Gegenstand, jeder Text, jedes Symbol, jedes Gesicht, letztlich eine grosse Anzahl von Ansichten der Erdoberfläche ist in dem System gespeichert und wird kontinuierlich durch die Nutzer auf dem neuesten Stand gehalten. Letztlich hat man ein globales System, das unser Wissen über die Dinge auf unserem Planeten speichert und jederzeit zur Verfügung stellt.

Claims

Ein System zur bildbasierten Anfrage an Suchmaschinen oder Datenbanken, gekennzeichnet durch a) Ein Endgerät mit eingebauter Kamera, welches an ein Datenfernübertragungsnetz angeschlossen ist. b) Ein Serverrechner, auf dem ein Programm zur Objekterkennung läuft, welches eingesandte Bilder analysiert und mit einer symbolischen Indizierung versieht. c) Eine Suchmaschine, welche die Bildindizes nutzt, um Informationen zu dem Bild zu finden und zu dem Endgerät zurückzuschicken.
Ein System, wie beschrieben unter 1), das für Mobiltelefone oder mobile Computer ausgelegt ist, die eine eingebaute Kamera haben.
Ein Stadt- oder Museumsführer, der das unter 2) beschriebene System verwendet, um einem Nutzer Informationen zu geben zu Objekten, von denen er zuvor ein Bild aufgenommen hat.
Ein System wie unter 3), bei dem zusätzlich Positionsinformation verwendet wird, um die Bilderkennung geeignet einzuschränken.
Ein System wie unter 2), das Produktinformationen bereitstellt zu Produkten, die zuvor mit der mobilen Kamera fotografiert wurden.
Ein System wie unter 2), bei der die Objekterkennung auch in der Lage ist, Textzeichen oder Symbole zu erkennen.
Ein System wie unter 2), bei der das System insbesondere in der Lage ist, Gesichter zu erkennen.
Ein System wie unter 2), das genutzt wird, dem Nutzer zusätzliche Information zu Reklametafeln zu geben.
Ein elektronisches Bedienungshandbuch, welches ein System wie unter 2) benutzt, um schnell Zugang zu entsprechenden Abschnitten im Handbuch zu navigieren.
Ein System wie unter 2), das es den Anbietern von Informationen ermöglicht, selbständig neue Einträge in das Bildverarbeitungssystem vorzunehmen, um so die Abfrage ihrer Daten per Bildeingabe zu ermöglichen.