DE69925805T2

DE69925805T2 - Skalierbare lösung für das wiederauffinden von bildern

Info

Publication number: DE69925805T2
Application number: DE69925805T
Authority: DE
Inventors: Mohamed Abdel-Mottaleb; Max Wu
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1998-06-23
Filing date: 1999-06-07
Publication date: 2006-05-11
Anticipated expiration: 2019-06-08
Also published as: US6253201B1; JP2002519749A; WO1999067696A3; WO1999067696A2; EP1036354B1; EP1036354A2; DE69925805D1

Description

Bereich der Erfindung
Die vorliegende Erfindung bezieht sich im Allgemeinen auf das Gebiet von Computern, und insbesondere auf das Wiederauffinden großer Bilddateien, wie Fotoarchiven, digitalen Büchereien, Katalogen und Videos.
Hintergrund der Erfindung
Es werden zur Zeit mehrere Techniken angewandt zum Wiederauffinden von Bildern, die in einer Datei gespeichert sind. Die herkömmlichste Technik zum Speichern und Wiederauffinden von Bildern, die eine bestimmte Charakteristik gemein haben, ist Schlüsselwörter mit jedem Bild zu assoziieren, wie "Portrait", "Seelandschaft", "Bergen", "Präsidenten" usw. Wenn derartige Schlüsselwörter mit den Bildern assoziiert sind, liefert der Benutzer dem Such- oder Widerauffindsystem einige dieser Wörter und das System präsentiert ein oder mehrere Bilder in Abhängigkeit von dem Grad der Übereinstimmung zwischen den Suchwörtern und den gespeicherten Schlüsselwörtern. Herkömmliche Internet-Suchmaschinen sind Beispiele derartiger auf Text basierter Suchmittel.
Auf Text basierte Bildsuche erfordert aber die Kategorisierung jedes Bildes durch Schüsselwörter, was ein mühsamer Prozess sein kann, wenn dieser auf Hunderte oder Tausende von Bildern angewandt wird; auch die einzelne Wahl von Schlüsselwörtern begrenzt die Effektivität der Suche nach dem Grad der Übereinstimmung zwischen den Wörtern, die der Kategorisierer verwendete zum Beschreiben der gespeicherten Bilder, und den Wörtern, die der Sucher benutzt um das gewünschte Bild zu beschreiben.
Auf Graphik basierte Suche ist eine mehr intuitive Annäherung einer Bildsuche. Herkömmliche auf Graphik basierte Suchsysteme benutzen mehrere Formen von Farb- oder Musterübereinstimmung. Ein auf Graphik basiertes System aber kann rechnerisch kompliziert sein. Computerbilder werden typischerweise als eine Anordnung von Tausenden von Pixeln gespeichert und die Farbe jedes der Tauschenden von Pixeln wird als ein Mehr-Byte Rot-Grün-Blau-Wert (RGB) gespeichert. Der Vergleich eines Zielbildes mit einer Kollektion von Bezugsbildern auf Basis dieser Tausenden von Farbwerten ist rechnerisch unpraktisch und ein pixelweiser Vergleich kann kein Maß von Übereinstimmung sein, das mit dem menschlichen Sehsystem korreliert. Praktische auf Graphik basierte Systeme charakterisieren deswegen ein Bild auf Basis einer beschreibenden Charakteristik des Bildes und die Vergleiche von Bildern basieren auf der beschreibenden Charakteristik. Die beschreibende Charakteristik von Bildern umfasst beispielsweise die Farben in dem Bild, die Kanten in dem Bild, die Gliederung der Farben, die Orientierung der Kanten, usw.
Eine einzige Charakterisierung eines Bildes kann aber zu grob sein um das betreffende Bild von anderen zu unterscheiden. Eine einzige Charakterisierung einer Seelandschaft kann zu einem Farbhistogramm wie: 40% Blau, 20% Braun und 40% Blaugrün führen. Eine mehr beschreibende Charakterisierung würde die Charakterisierung enthalten, dass die blaue Farbe vorwiegend oben in dem Bild sein soll (die Luft), dass die braune Farbe in der Mitte sein soll (Strand) und dass die blaugrüne Farbe unten in dem Bild sein soll (das Wasser). Auf diese Weise würden Bilder, welche dieselben Farbverhältnisse haben, bei denen aber die blaue Farbe in dem unteren Teil des Bildes vorhanden ist, anders als Seelandschaft charakterisiert werden. Herkömmliche auf Graphik basierte Suchbilder umfassen dazu auch eine Aufteilung des Bildes in eine Gliederung von Teilen, wobei jeder Teil eine bekannte Stelle in dem Bild belegt. Vergleiche von Bildern basieren auf einem Vergleich jedes entsprechenden Teils in den Bildern.
Typischerweise werden Bilder in Dutzenden oder Tausenden Teilen aufgeteilt und jeder Teil wird gekennzeichnet durch eine multidimensionale beschreibende Charakteristik, wie ein Histogramm von Farben oder Kanten. Das Vergleichen des einen Bildes mit dem anderen erfordert deswegen den Vergleich von Dutzenden oder Hunderten multidimensionaler Charakteristiken der Bilder. Ein Vergleich eines Zielbildes mit Tausenden Bildern in einer großen Bezugsbilderdatei kann für einen Echtzeit-Bildsuchprozess rechnerisch unausführbar sein.
Bildsuche auf Basis von einem Index ist in der Beschreibung TENCON 94, IEEE Region 10'2, vom 9. "Annual International Conference", 1994, Seiten 407–411 von G. YIHONG u. a. mit dem Titel: "An image database system with fast image indexing capability based an color histograms" beschrieben worden.
Aufgabe und Zusammenfassung der Erfindung
Im Hinblick auf das Obenstehende gibt es ein Bedürfnis nach einem Verfahren und eine Einrichtung, das bzw. welche die Verarbeitungszeit, erforderlich zum Vergleichen eines Zielbildes mit einer Anzahl Bezugsbilder, minimiert. Wegen der zunehmenden Verfügbarkeit von Bilddaten, beispielsweise über Internet, gibt es auch ein Bedürfnis nach einem Verfahren und eine Einrichtung für Bildsuche aus einer verteilten Datei, das bzw. welche die zunehmende Hinzufügung von Bildern zu der Datei erlaubt. Ein Bedürfnis gibt es auch nach einem Verfahren und eine Einrichtung zur Bildsuche, das bzw. die keine progressive Leistungsdegradation aufweist, wenn die Größe der Datei zunimmt.
Ein erster Aspekt der vorliegenden Erfindung schafft ein Verfahren nach Anspruch 1. Ein zweiter Aspekt der vorliegenden Erfindung schafft ein Verfahren nach Anspruch 4. Ein dritter Aspekt der vorliegenden Erfindung schafft ein System nach Anspruch 8. Vorteilhafte Ausführungsformen der vorliegenden Erfindung sind in den Unteransprüchen definiert.
Kurze Beschreibung der Zeichnung
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
1 ein Beispiel eines Blockschaltbildes eines Bildsuchsystems nach der vorliegenden Erfindung,
2 ein Beispiel eines Blockschaltbildes eines Charakterisierers, der einen Index liefert zu indizierten Listen von Bildidentifizierern nach der vorliegenden Erfindung,
3 ein Beispiel eines Flussdiagramms zur Charakterisierung eines Bildes zum Einführen in indizierten Listen von Bildidentifizierern nach der vorliegenden Erfindung,
4 ein Beispiel eines Flussdiagramms zum Finden von Bildern, die einem Zielbild entsprechen, nach der vorliegenden Erfindung,
5 ein Beispiel eines Flussdiagramms zum Bestimmen eines Indexes auf Basis einer Randcharakterisierung nach der vorliegenden Erfindung.
Detaillierte Beschreibung der bevorzugten Ausführungsform
Im Allgemeinen ist die vorliegende Erfindung ein Verfahren und ein Gerät zum Bestimmen von Übereinstimmung zwischen Bildern auf Basis einer Zählung der Anzahl entsprechender Aufteilungen in jedem Bild mit gleichen Charakteristiken. Um Effizienz in dem Vergleichsprozess zu schaffen werden indizierten Listen mit Bildidentifizierern aufrecht erhalten und der Zählwert ähnlicher Charakterisierungen eines Bildes wird durch den Zählwert des Auftritts des Identifizierers des Bildes in selektierten Listen bestimmt. Die selektierten Listen werden durch eine Charakterisierung eines Zielbildes bestimmt, von dem aus ähnliche Bilder identifiziert werden sollen. Die hier präsentierten Indizier- und Suchtechniken sind für eine Vielzahl von Bildcharakterisierungstechniken, wie Charakterisierungen auf Basis des Farbinhalts oder des Randinhalts von Aufteilungen eines Bildes geeignet.
1 zeigt ein Beispiel eines Blockschaltbildes eines Bildsuchsystems nach der vorliegenden Erfindung. Das Bildsuchsystem umfasst einen Charakterisierer 120, der Indizes 102, 112 zu Listen von Bildidentifizierern 130 erzeugt, und eine Suchmaschine 140, die selektierte Listen von Bildidentifizieren 135 verarbeitet zum Ermitteln der Bilder 181, die eine Vielzahl von Auftritten 161 in den selektierten Listen 135 haben.
Ein Benutzer liefert dem Bildsuchsystem nach 1 zum Bestimmen der Bilder 111 einer Bezugsdatei 110, die in ihrer Charakteristik dem Zielbild 101 entsprechen, eine graphische Darstellung eines Zielbildes 101. Die Quelle 100 des Zielbildes 101 kann ein Bildabtaster, ein Digitalisierer, eine Kamera und dergleichen sein. Es kann auch eine herkömmliche Maus oder ein Tastenfeld sein, das verwendet wird zum Selektieren oder zum Schaffen von Zielbildern. So kann beispielsweise eine Maus benutzt werden zum Schaffen einer Skizze eines Bildes, und zwar unter Verwendung allgemein verfügbarer Computerzeichenpakete. Der Benutzer kann auch die Eingabebilder ändern, und zwar zum Verfeinern oder zum Ändern des Zielbildes, und zwar unter Verwendung von Techniken, die im Bereich der Computergraphik üblich sind.
Die Bezugsdatei der Bilder 110 kann in einem örtlichen oder Fernplattenspeicher, einer Speicheranordnung und dergleichen vorhanden sein. Die Bilder werden unter Verwendung von Eingabeeinrichtungen, wie Scannern, Digitalisierern und Kameras, wie oben beschrieben, geschaffen oder gespeichert. Außerdem könnten es eine Reihe relatierter Bilder sein, wie diese in einem MPEG-codierten Video gefunden werden, oder ein herkömmlicher Videokassettenband. Der Ausdruck Datei soll an dieser Stelle eine Sammlung von Items (Bildern) bedeuten, die je einzigartig identifiziert werden können. So kann beispielsweise ein Bild auf einer Fernfestplatte durch die Bezeichnung der Platte mit einem nachfolgenden Dateinamen adressiert sein; ein Bild auf einem Kassettenband kann durch den Titel der Kassette mit einer nachfolgenden Identifikation der Stelle, an der in dem Band das Teilbild oder das Bild sich befindet, adressiert sein. Bekanntlich kann eine Datei aufge teilt sein und braucht sich nicht in einer einzigen physikalischen Einrichtung zu befinden, und auch das Adressierungsschema brauch auch nicht für alle Einrichtungen die gleiche zu sein. Das bedeutet, wie hier benutzt, dass die Bezugsbilddatei 110 unabhängig von den physikalischen Medium ist, das die Bilder enthält, und unabhängig von den von dem Medium abhängigen Techniken zum Zugreifen auf jedes Bild. Jedes Bild 111 in der Bezugsbilddatei 110 wird dem Charakterisierer 120 zugeführt um die indizierten Listen von Bildidentifizierern 130 zu schaffen.
2 zeigt ein Beispiel eines Blockschaltbildes eines Charakterisierers 120, der einen Index 202 für die indizierten Listen von Bildidentifizierern 130 nach der vorliegenden Erfindung schafft. Der Charakterisierer 120 umfasst einen Aufteiler 210, einen Charakteristikprozessor 220 und einen Quantisierer 230. Der Aufteiler 210 teilt ein Bild 201 in eine Gliederung von Teilen auf: typischerweise beträgt die Gliederung 4 × 4, 8 × 8 oder 16 × 16 Teile des Bildes. Der Index 202 umfasst eine Identifikation P für jeden Teil und eine indizierte Charakterisierung Idx, die den Teil als einen von einem Satz vordefinierter indizierter Charakterisierungen charakterisiert. Der Charakteristikprozessor 220 verarbeitet jeden Teil P auf Basis der Charakteristik, die zum beschreiben eines Bildes verwendet wird und erzeugt ein Charakteristikmaß 221, das den Teil beschreibt. Im Allgemeinen ist das Charakteristikmaß 221 ein Histogramm der Auftritte der Komponenten der beschreibenden Charakteristik, beispielsweise die Anzahl Auftritte bestimmter Farben, oder die Anzahl Auftritte bestimmter Typen von Kanten (nachstehend anhand der 5 näher beschrieben). In dem Stand der Technik sind andere Techniken bekannt zum Herleiten eines Charakteristikmaßes oder eines Satzes von Maßen, die ein Bild beschreiben, wie Kombinationen bestimmter Formen, mittlerer Leuchtdichte und Farbart, usw. Der Quantisierer 230 transformiert das Charakteristikmaß 221, das von dem Charakteristikprozessor 220 erzeugt worden ist, in eine Charakterisierung einer Anzahl vordefinierter indizierer Charakterisierungen Idx. In dem unkomplizierten Beispiel transformiert der Quantisierer 230 ein Histogramm der Auftritte der Komponenten der beschreibenden Charakteristik in einen Satz von Proportionen jeder Komponenten in jedem Teil und quantisiert danach jede Proportion in vordefinierte "bins" wie Quartile, Oktile usw. In dem allgemeinen Fall ist jede der vordefinierten indizierten Charakterisierungen Idx mit einer Stelle in dem Parameterraum des Charakteristikmaßes 221 assoziiert, und mit einem Gebiet um diese Stelle herum. Der Quantisierer 230 bestimmt die vordefinierte indizierte Charakterisierung Idx auf Basis des Gebietes, in dem das Charakteristikmaß 221 liegt. Die von dem Quantisierer 230 das Charakteristikmaß 221 liegt. Die von dem Quantisierer 230 geschaffene Quantisierung braucht nicht einheitlich zu sein. So können beispielsweise mehr indizierte Charakterisierungen in dem Gebiet des Parameterraums liegen, der mit den oft auftretenden Werten des Charakteristikmaßes übereinstimmt, wobei ein größerer Grad an Unterschied in solchen Werten im Vergleich zu einer einheitlichen Verteilung der indizierten Charakterisierungen über den Parameterraum geschaffen wird. Die Stellen der indizierten Charakterisierungen werden typischerweise als Quantisierungspegel oder als Quantisierungszentren bezeichnet; so werden beispielsweise in einer Farbcharakterisierung die Farben an der Stelle der indizierten Charakterisierungen als Farbzentren bezeichnet. Die Quantisierung braucht nicht einwertig zu sein. So können beispielsweise mehrere indizierte Charakterisierungen für jedes Charakteristikmaß 221 geschaffen werden, wie nachstehend noch näher beschrieben wird.
Jeder von dem Charakterisierer 120 geschaffene Index 202 wird verwendet zum Speichern eines Identifizierers 215 entsprechend dem Bild 201. Typischerweise ist der Identifizierer 215 ein einzigartiger numerischer Wert für jedes Bild 201 und dieser numerische Wert entspricht einer Liste von Stellen (nicht dargestellt), die identifizieren, wo das Bild 201 sich befindet. So kann beispielsweise die in der Liste spezifizierte Stelle, die dem Identifizierer 215 entspricht, ein herkömmlicher Computerstreckenname sein, der eine Datei identifiziert, die das Bild 201 enthält. Auf alternative Art und Weise könnte die Stelle Text sein, der ein bestimmtes VCR-Band in der Bibliothek des Benutzers identifiziert, dem die Bildnummer oder der Zeitpunkt folgt, en dem das Bild 201 erscheint. In 2 sind Majuskel verwendet worden um die bestimmten Bildidentifizierer 215 darzustellen.
Der Identifizierer 215 des Bildes 201 wird in jeder Liste 135 gespeichert, die mit einem Teil P des Bildes assoziiert ist, das eine indizierte Charakterisierung Idx hat. Das heißt beispielsweise, wenn der Teil P1 der oberen linken Ecke der Bilder entspricht, und der Index I1 entspricht einem Auftritt von vorwiegend roten und blauen Farbe, die Liste 135a dann eine Liste der Identifizierer (A, D, Q, R, K) aller Bilder 111 in der Datei 110 sein wird, die vorwiegend rote und blaue Farben in der oberen linken Ecke haben. Die Liste 135b entspricht den Bildern 111 in der Datei 110, die vorwiegend rote und blaue Farben in dem Gebiet des Teils P2 haben, das beispielsweise die untere linke Ecke der Bilder sein kann. Es sei bemerkt, dass der Bildidentifizierer D in den beiden Listen 135a und 135b auftritt; folglich muss das Bild 111 entsprechend dem Identifizierer D vorwiegend rote und blaue Farben in der oberen sowie in der unteren linken Ecke haben. Dargestellt in 2 ist ein Beispiel der Speicherung eines Identifizierers 215', der durch den Charakterisierer 120 charakterisiert ist als habe er einen Index I4 im Teil P2. Der Bildidentifizierer, K, ist an die Liste 135i angehängt, indem er an der nächsten verfügbaren Stelle 216 der Liste 135i gesetzt worden ist. Das heißt, der Bildidentifizierer K ist an eine Liste anderer Identifizierer (T, W, S) angehängt, die dieselbe indizierte Charakteristik I4 in demselben Teil P2 haben. Die Charakterisierung I4 kann beispielsweise einem Auftritt einer vorwiegend blaugrünen Farbe entsprechen; und folglich ist durch den Charakterisierer 120 bestimmt, dass jedes der Bilder T, W, S und K vorwiegend eine blaugrüne Farbe in dem Teil P2 hat.
Mehrfach indizierte Charakterisierungen können für jeden Teil geschaffen werden. So könnte beispielsweise die Charakterisierung I4 dem Auftritt vorwiegend horizontaler Kanten entsprechen oder einem Teil mit einer mittleren Helligkeit von 25 Lumen, usw. Auf diese Art und Weise können mehrfache Charakterisierungen jedes Teils (Farbe, Kanten Leuchtdichte usw.) eines Bildes 201 verwendet werden um den Bildidentifizierer 215 in mehrere Listen 135 zu setzten. Die Suche nach Bildern kann dadurch Suchvorgänge auf Basis der Übereinstimmung von Bildern 111 mit einem oder mehreren speziellen Charakteristiken des Zielbildes 101 umfassen. Die vielen Charakterisierungen können von verschiedenen Charakteristiken sein, wie Farbe und Form, oder von derselben Charakterisierung, beispielsweise einer Charakterisierung von Auftritten oder Intensitäten jeder Primärfarbe. Dadurch, dass viele Indizes derselben Charakterisierung geschaffen werden, ermöglicht beispielsweise eine Suche nach Bildern mit roten Farben in dem oberen rechten Teil, unabhängig von den anderen Farben, die auch in dem oberen rechten Teil vorhanden sein können. Viele Indizes verschiedener Charakterisierungen ermöglichen, beispielsweise eine Suche nach Bildern mit horizontalen Kanten und mit einer grünen Farbe in dem oberen rechten Teil.
3 zeigt ein Beispiel eines Flussdiagramms zur Charakterisierung eines Bildes zur Eingabe in indizierte Listen von Bildidentifizierern nach der vorliegenden Erfindung. Das Bild wird in 310 beantragt und ein Bildidentifizierer ID wird bei 320 zugeordnet. Das Bild wird aufgeteilt, bei 330, und jeder Teil wird in der Schleife 340–249 verarbeitet. Die Aufteilung wird bei 342 gekennzeichnet um ein oder mehrere Charakteristikmaße zu bilden. Jedes Charakteristikmaß, wie Farbe und Form, wird in der Schleife 340–249 verarbeitet. Bei 352 wird die indizierte Charakterisierung entsprechend dem bestimmten Wert des Charakteristikmaßes in dem Teil bestimmt. Der Bildidentifizierer, der dem Bild entspricht, wird an die Liste von Bildidentifizierern angehängt, welche dieselbe indiziere Charakterisierung in demselben Teil haben, bei 354. Jedes Charakteristikmaß für jeden Teil des Bildes wird auf gleiche Art und Weise verarbeitet, wie durch die "nächste" Blöcke 359, 349 angegeben ist. Es sei bemerkt, dass das Flussdiagramm nach 3 für jedes Bild unabhängig angewandt werden kann, das gekennzeichnet wird zur Eingabe in die indizierten Listen mit Bildidentifizierern 130. Die einzige Abhängigkeit ist die Verfügbarkeit von Raum in den indizierten Listen um den Bildidentifizierer ID anzuhängen. Bekannte Techniken, wie dynamisch gekoppelte Listen, werden in der bevorzugten Ausführungsform verwendet zum Maximieren der Wahrscheinlichkeit des Raumes, der verfügbar ist zum Anhängen der Eingabe.
4 zeigt ein Beispiel eines Flussdiagramms zum Suchen charakterisierter Bezugsbilder 111, die dem Zielbild 101 nach der vorliegenden Erfindung entsprechen. Die Übereinstimmung wird durch Zählung der Anzahl Auftritte jedes Bezugsbildes 111 bestimmt, das einen entsprechenden Teil mit denselben Charakteristiken hat wie das Zielbild 101. Bei 400 wird die Zählung der Anzahl Auftritte jedes Bildidentifizierers ID auf Null ausgelöst. Das Zielbild 101 wird erhalten und aufgeteilt, bei 410–420. Jeder Teil des Zielbildes wird in der Schleife 430–439 verarbeitet. Der Teil p wird bei 432 charakterisiert, und zwar unter Anwendung derselben Charakterisierungsmaße, wie diese verwendet wurden zum Charakterisieren der Bezugsbilder 111, oder eines Subsatzes dieser Charaktersisierungsmaße. Das heißt beispielsweise, wenn die Bezugsbilder 111 durch Farbe und Kantencharakteristiken charakterisiert sind, kann das Zielbild 101 bei 432 nur für Farbecharakteristiken oder nur für Kantencharakteristiken, oder aber für Farbe- und Kantencharakteristiken charakterisiert werden. Auf diese Weise können beispielsweise schwarze und weiße Zielbilder oder Skizzen zur Bildkomposition mit Farbbezugsbildern verglichen werden, während Farbzielfotos oder Zeichnungen für Komposition sowie für Farbe verglichen werden können. Bei 434 wird eine idizierte Charakterisierung Idx für jedes Charakteristikmaß bestimmt, und zwar unter Anwendung desselben Quantisierungsschemas, das verwendet wurde zur Bestimmung der indizierten Charakterisierungen der Bezugsbilder.
In einer bevorzugten Ausführungsform können viele indizierte Charakterisierungen Idx für jedes Charakteristikmaß bestimmt werden, und zwar zum Überwinden von Quantisierungsanomalien. Quantisierungsanomalien treten beispielsweise auf, wenn zwei Bilder dasselbe Charakteristikmaß haben, aber verschiedene indizierte Charakterisierungen empfangen, weil die Charakteristikmaße nahe bei der Grenze zwischen zwei indizierten Charakterisierungen liegen und das Maß jedes der Bilder liegt an den gegenüber liegenden Seiten der Begrenzung. Bei 434 werden viele indizierte Charakterisierungen erzeugt, wenn das Charakteristikmaß innerhalb eines bestimmten Bereichs der Begrenzung zwischen indizierten Charakterisierungen liegt. Andere Algorithmen zum Erzeugen indizierter Charakterisierungen von einem Zielcharakteristikmaß, beispielsweise das überlappende Quantisierungsgebiete mit jeder indizierten Charakterisierungen assoziiert, können ebenfalls verwendet werden.
Jede indizierte Charakterisierung Idx wird in der Schleife 440–449 verarbeitet. Für jede indizierte Charakterisierung Idx jedes Teils P werden die Listen mit Bildidentifizierern, die mit diesem Aufteilungsindex (O, Idx) assoziiert sind, aus den indizierten Listen mit Bildidentifizierern bei 442 extrahiert. Wie oben erwähnt, ist die Liste mit Bildidentifizierern bei jedem Index eine Liste aller Bilder in der Datei 110, welche dieselbe indizierte Charakterisierung des Teils haben. Bei 444 wird der Zählwert jedes Bildidentifizierer ID2, der in der extrahierten Liste vorhanden ist, die dem Wert (P, Idx) entspricht, akkumuliert. Wenn mehrere indizierte Charakterisierungen mit jedem Teil P assoziiert wird, ist diese Akkumulation von Zählwerten abhängig von der Frage, ob die vielen Charakterisierungen abhängig sind oder nicht. Wenn beispielsweise die Charakterisierungen unabhängig sind, wie Farben- und Kantencharakterisierungen, akkumuliert ein Bildidentifizierer ID, der in jeder der zwei Listen (P, Farbe-Idx) und (P, Kante-Idx) auftritt, zwei Zählwerte, wodurch auf diese Weise ein höherer Zählwert als ein Bildidentifizierer akkumuliert wird, der nur in einer dieser Listen auftritt. Wenn die Charakterisierungen aber abhängig sind, Wie redundante Quantisierungen, die verwendet werden um Quantisierungsanomalien, wie oben beschrieben, zu vermeiden, akkumuliert ein Bildidentifizierer ID, der in vielen Listen mit einem abhängigen Index auftritt, einen einzigen Zählwert. Der Auftritt eines Bildidentifizierers ID in zwei Listen mit abhängigem Index akkumuliert den gleichen Zählwert ungeachtet, ob er in einer der beiden oder in den beiden Listen mit einem abhängigen Index auftritt. Im Endeffekt ist der Satz mit Bildidentifizierern assoziiert mit jedem Teil die Einheit der Sätze von Bildidentifizierern in jeder der Listen mit einem abhängigen Index, assoziiert mit dem betreffenden Teil. Nachdem alle Teile über die Schleife 430–439 verarbeitet worden sind, enthält die Zählvariable, die mit jedem Bildidentifizierer assoziiert ist, die Anzahl male, dass jeder Bildidentifizierer in den Listen auftrat, die mit der indizierten Charakterisierung der Teile des Zielbildes übereinstimmen. Das heißt, der Zählwert ist mit der Anzahl gleicher Charakterisierungen zwischen dem Bezugsbild und dem Zielbild korreliert.
Bei 450 werden die Zählwerte der Bildidentifizierer sortiert und die Stelle derjenigen, die den höchsten Zählwert haben, d.h. derjenigen mit der größten Übereinstimmung mit dem Zielbild, werden dem, Benutzer bei 460 präsentiert. In einer bevorzugten Ausführungsform werden die Bilder, die den Bildidentifizierern entsprechen, dem Benutzer auch präsentiert. Auf diese Weise schafft, wie ersichtlich, die vorliegende Erfindung eine Bestimmung derjenigen Bilder in einer Datei 110, welche die am meisten übereinstimmenden Charakteristiken mit dem Zielbild 101 haben, ohne dass ein direkter Vergleich der Charakteristiken des Zielbildes mit jedem Bezugsbild erforderlich ist.
Wie es einem Fachmann einleuchten dürfte, beschränken sich die präsentierten Techniken nicht auf bestimmte Charakterisierungsschemen. Der Vollständigkeit wegen wird in 5 ein bestimmtes Charakterisierungsschema präsentiert, und zwar zur Charakterisierung und Quantisierung eines Bildes auf Basis eine Randcharakterisierung. Bei 520 werden die Ränder innerhalb des Teils dadurch bestimmt, dass eine der bekannten Techniken zum Detektieren von Rändern angewandt wird. Bei 530 wird jeder Rand als vertikal, horizontal, linksdiagonal oder rechtsdiagonal charakterisiert. In einer bevorzugten Ausführungsform werden zum Minimieren von Störungseffekten nur diejenigen Randpunkte, die drei aufeinander folgende Punkte in derselben Richtung bilden, benutzt; können verschiedene Filterpegel erhalten werden, und zwar dadurch, dass mehr oder weniger aufeinbander folgende Punkte erforderlich sind. Auf diese Weise wird jeder Punkt oder jedes Bildelement (Pixel) in dem Bild als auf einem Rand oder nicht identifiziert, und wenn auf einem Rand, in welcher Richtung von vier Richtungen der Rand orientiert ist. Bei 540 wird die Randbestimmung jedes Pixels benutzt um das Verhältnis jedes Randtyps in dem Bild zu bestimmen. In einer bevorzugten Ausführungsform werden die Proportionen jedes Randtyps gegenüber der gesamten Anzahl Randpixel innerhalb des Teils normiert, so dass die Summe der Proportionen gleich Eins ist. Auf alternative Weise könnten die Proportionen die Proportion der gesamten Anzahl Pixel in dem Teil, der jeden Randtyp hat, reflektieren, so dass die Summe der Proportionen kleiner sein wird als Eins und wird die relative Komplexität des Bildes bei diesem Teil reflektieren. Bei 550 wird das Histogramm der Randproportionen in einer indizierten Charakterisierung Idx quantisiert, und zwar dadurch, dass die indizierte Charakterisierung gefunden wird, die mit dieser Summe von Proportionen assoziiert ist. In einer bevorzugten Ausführungsform ist der Parameterraum des Histogramms von Randproportionen die Oberfläche, auf der die Summe der Proportionen gleich Eins ist. Wenn die Summe der Proportionen kleiner als Eins sein kann, ist der Parameterraum das Volumen, in dem die Summe der Proportionen kleiner als oder gleich Eins ist. Eine vorbestimmte Anzahl Charakterisierungsindizes sind dem Parameterraum zugeordnet. Die gewählte Anzahl ist relativ beliebig. Die Anzahl soll hoch genug sein um aus im Allgemeinen gleiche Bildern zu unterscheiden, aber nicht so hoch, dass zwischen sehr gleichen Bildern ein Unterschied gemacht wird. In einer bevorzugten Ausführungsform nach 5 werden 16 Indizes benutzt um unter den Histogrammen von Randcharakterisierungen zu unterscheiden. Diese 16 Charakterisierungsindizes Idx werden einheitlich über den Parameterraum verteilt. Bei 550 wird der Charakterisierungsindex Idx, der dem Histogramm von Randproportionen am nächsten ist, bestimmt, und zwar auf Basis des euklidischen Abstandes zwischen der Stelle, die mit dem Index assoziiert ist, und der Stelle entsprechend dem Histogramm der Randproportionen. Es werden nun beispielsweise zwei Charakterisierungsindizes, IDx 1 und Idx 2 mit einer assoziierten Stelle von (.2, .3,. 1, .4) und .25, .25, 0, .5) betrachtet. Es wird auch ein Histogramm der Randproportionen in einem Teil betrachtet, der derart bestimmt ist, dass er gleich (.23, .28, .04, .45) Informationssignal, und zwar entsprechend einem Teil mit 23% horizontalen Rändern, 28% vertikalen Rändern, 4% rechtsdiagonalen Rändern, und 45% linksdiagonalen Rändern. Der Abstand dieses Histogramms von der Stelle (.2, .3, .1, .4) entsprechend Idx 1 ist die Quadratwurzel aus (.23-.2)² + (.28-.3)² + (.04-.1)² + (.45-.4)², was etwa gleich .086 ist. Auf gleiche Weise ist der Abstand des Histogramms von der Stelle (.25, .25, 0, .5) entsprechend Idx 2 die Quadratwurzel aus (.23-.25)² + (.28-.25)² + (.04-0)² + (.45-.5)2, was etwa gleich .073 ist. Deswegen wird Idx 2 zum Charakterisierungsindex gewählt, weil seine assoziierte Stelle näher bei dem Histogramm liegt als Idx 1. Andere Methoden der Bestimmung oder der Selektion entsprechender Quantisierungspegel, beispielsweise durch Verwendung vorbestimmter Grenzen und Nachschlagtabellen, können verwendet werden um die Notwendigkeit, Abstände zu bestimmen, zu eliminieren, was dem Fachmann einleuchten dürfte.
Bei 560 wird der mit dem Bild assoziierte Bildidentifizierer an die Liste mit Bildidentifizierern angehängt, die mit dem Charakterisierungsindex Idx des Teils p assoziiert ist. Jeder Teil p wird auf gleiche Weise charakterisiert, und zwar über die Schleife 510– 519. Wie oben beschrieben, können viele Indizes für jeden Teil bestimmt werden. Um beispielsweise die Vorteile einer großen Anzahl Charakterisierungsindizes und eine geringe Anzahl Charakterisierungsindizes zu schaffen, können zwei Sätze mit Charakterisierungsindizes benutzt werden zum Charakterisieren desselben Teils. Auf gleiche Weise können zur Vermeidung der oben genannten Quantisierungsanomalien, zwei Sätze mit Charakterisierungsindizes, mit je anderen Randgebieten, benutzt werden um zwei der Charakterisierungsindizes für jeden Teil zu schaffen. So könnten beispielsweise die oben genannten 16 Charakterisierungsindizes zwei Sätze zu je 8 einheitlich verteilter Indizes enthalten, wobei der eine Satz verschoben gegenüber dem andern liegt. Auf diese Art und Weise wird das Charakterisierungsmaß von wenigstens einem der zwei Sätze nicht in dem Grenzgebiet liegen.

Claims

Verfahren zum Wiederauffinden von Bildern zur Verwendung in einem digitalen Bildverarbeitungssystem, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Erhalten eines Zielbildes zum Ermitteln von Bildern, die in ihren Charakteristiken gleich sind, – in einem Charakterisierer (120) das Aufteilen (420) des Zielbildes in eine Anzahl Teile, – in dem genannten Charakterisierer (120) das Bilden (432) wenigstens eines Indexwertes (Idx), der mit jedem Teil (P) assoziiert ist für eine Kennzeichnung jedes Teils der Anzahl Teile, dadurch gekennzeichnet, dass das Verfahren weiterhin die nachfolgenden Verfahrensschritte umfasst: – das Akkumulieren (444) von Zählungen jedes Bildidentifizierers in der wenigstens einen Liste von Bildidentifizierern für jeden Teil der Anzahl Teile, und – das Wiederauffinden (460) aus eine Bilddatei (110) wenigstens eines Bildes, das mit wenigstens einem der Bildidentifizierer assoziiert ist, und zwar auf Basis der Zählungen des wenigstens einen der Bildidentifizierer.
Verfahren nach Anspruch 1, wobei der Schritt der Bildung (432) wenigstens eines Indexwertes für eine Charakteristik in Bezug auf Ränder und/oder Farben innerhalb des genannten Teils ist.
Verfahren nach Anspruch 1, wobei der Schritt der Bildung (432) wenigstens eines Indexwertes den Schritt der Quantisierung (550) einer Charakteristik des Zielbildes innerhalb jedes Teils umfasst, und zwar zum Bilden des Indexwertes aus einem vorbestimmten Satz von Indexwerten.
Verfahren zum Indizieren eines Bildes in einer Bilddatei (110) zur Verwendung in einem digitalen Bildverarbeitungssystem, wobei dieses Verfahren die nachfolgen den Verfahrensschritte umfasst: – das Identifizieren (320) des Bildes durch einen Bildidentifizierer, – in einem Charakterisierer (120), das Aufteilen (330) des Bildes in eine Anzahl Teile, – in einem Charakterisierer (120), das Bilden (432) wenigstens eines Indexwertes (Idx), der mit jedem Teil (P) assoziiert ist für eine Charakteristik jedes Teils der Anzahl Teile, dadurch gekennzeichnet, dass das Verfahren weiterhin die nachfolgenden Verfahrensschritte umfasst: – das Anhängen (354) des Bildidentifizierers an wenigstens eine Liste einer Anzahl Listen von Bildidentifizierern, die mit jeden Teil assoziiert sind, wobei die wenigstens eine Liste durch den wenigstens einen Indexwert bestimmt wird, der jeden Teil kennzeichnet.
Verfahren nach Anspruch 4, wobei der Schritt der Bildung (432) wenigstens eines Indexwertes für eine Charakteristik in Bezug auf Ränder und/oder Farben innerhalb des genannten Teils ist.
Verfahren nach Anspruch 4, wobei der Schritt des Schrittes der Bildung (432) wenigstens eines Indexwertes den Schritt der Quantisierung (352) einer Charakteristik des Bildes innerhalb jedes Teil umfasst, und zwar zum Bilden des wenigstens einen Indexwertes aus einem vorbestimmten Satz von Indexwerten.
Verfahren nach Anspruch 6, wobei der Schritt der Quantisierung der Charakteristik die nachfolgenden Schritte umfasst: – das Quantisieren der Charakteristik auf einen ersten Quantisierungswert eines ersten Satzes von Quantisierungswerten, und – das Quantisieren der Charakteristik auf einen zweiten Quantisierungswert eines zweiten Satzes von Quantisierungswerten.
Bildwiederauffindungssystem, wobei dieses System Folgendes umfasst: – einen Charakterisierer (120) zum Aufteilen eines Zielbildes in eine Anzahl Teile, dadurch gekennzeichnet, dass – der Charakterisierer vorgesehen ist zum Bilden einer Anzahl Zielbildindizes (102), die mit Charakteristiken der Anzahl Teile assoziiert sind, und wobei das System Folgendes um fasst: – eine Suchmaschine (140), die wirksam mit dem Charakterisierer (120) gekoppelt ist, der wenigstens ein Bezugsbild (181) einer Anzahl Bezugsbilder (111) identifiziert, das dem Zielbild (101) auf Basis einer Zählung von Auftritten (161) eines Identifizierers (115) des wenigstens einen Bezugsbildes (111) in einer Anzahl Listen (135) entsprechend der Anzahl Zielbildindizes (102, 155) entspricht.
Bildwiederauffindungssystem nach Anspruch 8, wobei die Suchmaschine (140) Folgendes umfasst: – einen Listenextraktor (150) der jede Liste der Anzahl Listen (135) aus indizierten Listen von Bildidentifizierern (130) auf Basis jedes Zielindexes (155) der Anzahl Zielbildindizes (102) extrahiert, – einen Akkumulator (160), auf wirksame Weise mit dem Listenextraktor (150) gekoppelt, wobei dieser Akkumulator eine Anzahl Zählungen (161) akkumuliert, wobei jede Zählung der Anzahl Zählungen (161) Auftritten jedes Identifizierers (115) einer Anzahl Bezugsbildidentifizierer in jeder Liste (135) entspricht, die durch den Listenextraktor (150) extrahiert worden ist, und – einen Sortierer (170), der auf wirksame Weise mit dem Akkumulator (160) gekoppelt ist, wobei dieser Sortierer das wenigstens eine Bezugsbild (181) identifiziert (171), das einem wenigstens einen Identifizierer mit einer höchsten Zählung der Anzahl Zählungen entspricht.
Bildwiederauffindungssystem nach Anspruch 8, wobei der Charakterisierer (120) ebenfalls zum Aufteilen der Anzahl Bezugsbilder (111) in eine Anzahl Teile vorgesehen ist, und zum Bilden einer Anzahl Bildindizes (102), die mit Charakteristiken der Anzahl Teile assoziiert ist, und zwar zum Erzeugen indizierter Listen von Bildidentifizierern (130), aus denen die Anzahl Listen (135), die der Anzahl Zielbildindizes (102, 155) entsprechen, hergeleitet wird.
Bildwiederauffindungssystem nach Anspruch 8, wobei der Charakterisierer (120) Folgendes umfasst: – einen Aufteiler, der das Zielbild in eine Anzahl Teile aufteilt, – einen Charakteristikenprozessor, der wirksam mit dem Aufteiler gekoppelt ist, wobei dieser Prozessor jeden Teil der Anzahl Teile auf Basis einer beschriebenen Charakteristik jedes Teils verarbeitet zum Erzeugen charakteristischer Messungen einer Anzahl charakteristischen Messungen, die der Anzahl Teile entsprechen, und – einen Quantisierer, der auf wirksame Weise mit dem Charakteristikenprozessor gekoppelt ist, wobei dieser Quantisierer die Anzahl Zielbildindizes (102) erzeugt, und zwar auf Basis der Anzahl charakteristischer Messungen, die der Anzahl Teile entsprechen.
Bildwiederauffindungssystem nach Anspruch 11, wobei die beschriebene Charakteristik jedes Teils eine Zählung von Auftritten von Rändern ist, die in dem Teil enthalten sind, wobei die Ränder, die in dem Teil enthalten sind, als horizontale Ränder, vertikale Ränder, rechtsdiagonale Ränder und linksdiagonale Ränder unterschieden werden, und die Zählung der Auftritte von Rändern ein Histogramm von Auftritten der horizontalen Ränder, der vertikalen Ränder, der rechtsdiagonalen Ränder und der linksdiagonalen Ränder ist.
Bildwiederauffindungssystem nach Anspruch 11, wobei die beschreibende Charakteristik jedes Teils eine Zählung von Auftritten von Farben ist, die in dem Teil enthalten sind, wobei die Farben als eine Anzahl Farbmitten unterschieden werden und die Zählung von Auftritten von Farben ein Histogramm von Auftritten jeder quantisierten Farbe der Anzahl Farbmitten ist.
Bildwiederauffindungssystem nach Anspruch 11, wobei die Messungen der Charakteristiken ein Histogramm von Auftritten von Elementen der beschreibenden Charakteristik ist, und wobei der Quantisierer das Histogramm von Auftritten normalisiert um ein normalisiertes Histogramm zu erzeugen und selektiert jeden Index der Anzahl Zielbildindizes auf Basis des normalisierten Histogramms entsprechend jedem Teil der Anzahl Teile.
Bildwiederauffindungssystem nach Anspruch 11, wobei der Quantisierer mehr als einen Index einer Anzahl Zielbildindizes (102) auf Basis einer Anzahl Sätze überlappender Quantisierungspegel erzeugt.