DE60123852T2

DE60123852T2 - Verfahren zur effizienten Kodierung von formbeschreibenden Parametern

Info

Publication number: DE60123852T2
Application number: DE60123852T
Authority: DE
Inventors: Miroslaw Bober
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-02-29
Filing date: 2001-02-27
Publication date: 2007-05-16
Anticipated expiration: 2021-02-28
Also published as: CN100498823C; US20030108249A1; US7321696B2; CN101539997A; EP1269401A1; EP1688862A1; CN101539997B; GB0004859D0; WO2001065475A1; DE60106735D1; CN1316434C; GB2359913A; US20070230831A1; KR100914359B1; JP4975932B2; US7245777B2; CN1406359A; AU3578401A; KR20030005211A; US20080056596A1

Description

Die vorliegende Erfindung betrifft die Darstellung eines Objekts, das zum Beispiel in einem Standbild oder in einem Videobild erscheint, wie z.B. ein Bild, das in einer Multimedia-Datenbank gespeichert ist, und insbesondere die Kodierung einer solchen Darstellung.
In Anwendungen wie Bild- oder Videobibliotheken ist es wünschenswert, über eine effiziente Darstellung und Speicherung der Kontur oder Form von Objekten oder Teilen von Objekten zu verfügen, die in Stand- oder Videobildern vorkommen. Eine bekannte Technik für das Indexieren und Abrufen auf Basis der Form verwendet die Darstellung im krümmungsbasierten Skalenraum (CSS – Curvature Scale Space). Einzelheiten der CSS-Darstellung können in den Schriften "Robust and Efficient Shape Indexing through Curvature Scale Space" Proc. British Machine Vision Conference, S. 53–62, Edinburgh, UK, 1996, und in "Indexing an Image Database by Shape Content using Curvature Scale Space" Proc. IEE Colloquium on Intelligent Databases, London 1996, beide von F. Mokhtarian, S. Abbasi und J. Kittler, gefunden werden.
Die CSS-Darstellung verwendet eine Krümmungsfunktion für die Kontur des Objekts, beginnend von einem willkürlichen Punkt an der Kontur. Es wird die Krümmungsfunktion untersucht, während die Konturform durch eine Reihe von Verformungen evolviert wird, welche die Form glätten. Insbesondere werden die Nulldurchgänge der Ableitung der Krümmungsfunktion, die mit einer Reihe von Gaußschen Filtern gefaltet ist, berechnet. Die Nulldurchgänge werden in einer Graphik eingetragen, die als Curvature Scale Space bekannt ist, wobei die x-Achse die normierte Bogenlänge der Kurve ist und die y-Achse der Evolutionsparameter, insbesondere der Parameter des verwendeten Filters. Die Kurven in der Graphik bilden Schlingen, die für die Kontur charakteristisch sind. Jeder konvexe oder konkave Teil der Objektkontur entspricht einer Schlinge im CSS-Bild. Die Koordinaten der Spitzen der markantesten Schlingen im CSS-Bild werden als Darstellung der Kontur verwendet.
Um nach Objekten in Bildern zu suchen, die in einer Datenbank gespeichert sind und mit der Form eines eingegebenen Objekts übereinstimmen, wird die CSS-Darstellung einer eingegebenen Form berechnet. Die Ähnlichkeit zwischen einer eingegebenen Form und gespeicherten Formen wird durch einen Vergleich der Position und Höhe der Spitzen in den entsprechenden CSS-Bildern unter Verwendung eines Anpassungsalgorithmus bestimmt.
Die Anzahl von Bits, die zum Ausdrücken der Eigenschaften der Konturform in einem Deskriptor notwendig ist, sollte so klein wie möglich sein, um eine effiziente Speicherung und Übertragung zu erleichtern.
In den beiliegenden Ansprüchen sind Ausgestaltungen der vorliegenden Erfindung dargelegt.
Die Erfindung kann eine sehr kompakte Darstellung (im Sinne der Anzahl von Bits, die zur Speicherung verwendet werden) ohne irgendeine signifikante Verschlechterung in der Abrufleistung liefern.
Es werden nun Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, in denen:
1 ein Blockdiagramm eines Videodatenbanksystems ist;
2 eine CSS-Darstellung einer Kontur ist;
3 ein Diagramm ist, das die Kodierung von Koordinatenwerten der CSS-Darstellung zeigt.
1 zeigt ein rechnergestütztes Videodatenbanksystem gemäß einer Ausführungsform der Erfindung. Das System enthält eine Steuereinheit 2 in Form eines Computers, eine Anzeigeeinheit 4 in Form eines Monitors, eine Zeigevorrichtung 6 in Form einer Maus, eine Bilddatenbank 8, die gespeicherte Stand- und Videobilder enthält, und eine Deskriptordatenbank 10, die Deskriptoren von Objekten oder Teilen von Objekten speichert, die in den Bildern vorkommen, die in der Bilddatenbank 8 gespeichert sind.
Ein Deskriptor für die Form eines jeden interessierenden Objekts, das in einem Bild in der Bilddatenbank vorkommt, wird von der Steuereinheit 2 abgeleitet und in der Deskriptordatenbank 10 gespeichert. Die Steuereinheit 2 leitet die Deskriptoren ab, die unter der Steuerung eines geeigneten Programms wirksam werden, das ein Verfahren implementiert, wie es nachfolgend beschrieben wird.
Erstens wird für eine bestimmte Objektkontur eine CSS-Darstellung der Kontur abgeleitet. Dies erfolgt unter Verwendung des bekannten Verfahrens, wie in einer der oben genannten Schriften beschrieben ist.
Insbesondere wird die Kontur durch eine Darstellung Ψ = {(x)u),yu), u∊ [0,1]} ausgedrückt, wobei u ein normierter Bogenlängenparameter ist und (x,y) Koordinaten der Punkte auf der Objektkontur sind.
Die Kontur wird durch Falten von Ψ mit dem Gaußschen Kern g(u,σ) oder einem ähnlichen Kern geglättet, und die Krümmungsnulldurchgänge der evolvierenden Kurve werden als σ Änderungen untersucht. Die Nulldurchgänge werden unter Anwendung des folgenden Ausdrucks für die Krümmung bestimmt
wobei X(u,σ) = x(u)·g(u,σ) Y(u,σ) = y(u)·g(u,σ)und Xu (u, σ) = x(u)·gu(u,σ) Xuu(u,σ) = x(u)·guu(u,σ).
Oben stellt * die Faltung dar und die unteren Indizes stellen Ableitungen dar.
Die Anzahl von Krümmungsnulldurchgängen ändert sich mit einer Änderung von σ, und wenn σ ausreichend hoch ist, ist Ψ eine konvexe Kurve ohne Nulldurchgänge.
Die Nulldurchgangspunkte (u,σ) werden in einer Graphik eingetragen, die als der CSS-Bildraum bekannt ist. Dies ergibt eine Reihe von Kurven, die für die ursprüngliche Kontur charakteristisch sind. Die Spitzen der charakteristischen Kurven werden bestimmt und die entsprechenden Koordinaten extrahiert und gespeichert. Allgemein gesagt wird ein Satz von n Koordinatenpaaren [(x1,y1), (x2,y2), .... (xn,yn)] erhalten, wobei n die Anzahl der Spitzen und xi die Bogenlängenposition der i-ten Spitze und yi die Spitzenhöhe ist.
Die Reihenfolge und Position der charakteristischen Kurven und der entsprechenden Spitzen, wie sie im CSS-Bildbereich erscheinen, hängen vom Ausgangspunkt für die zuvor beschriebene Krümmungsfunktion ab. Die Spitzenkoordinaten werden umgeordnet, wie in der Folge beschrieben wird.
Es wird angenommen, dass die Kontur, aus der Parameter extrahiert werden, n Spitzen hat, wobei die Spitzenparameter einen Satz {(x¹,y¹), (x²,y²), .... (xⁿ, yⁿ)} bilden, wie in 2 dargestellt ist. Die Spitzen werden dann auf der Basis der Höhe (das heißt, des y-Koordinatenwerts) entweder in aufsteigender oder absteigender Reihenfolge geordnet {(x₁,y₁), (x₂,y₂) ... (x_n,y_n)} (untere Indizes zeigen die laufende Nummer der Spitzen nach dem Ordnen an). Es wird angenommen, dass die Spitzen in absteigender Reihenfolge angeordnet werden, so dass die höchste Spitze die erste ist (x₁,y₁), und jede der folgenden Spitzen kleiner oder gleich ihrem Vorgänger in dem Satz ist (3).
Diese umgeordneten Spitzenkoordinaten bilden die Basis des Deskriptors für die Objektkontur. Es können auch zusätzliche Parameter der Form, wie Zirkularität C, Exzentrizität E und Kompaktheit D, wovon einige aus der sogenannten "Prototypkonturform" extrahiert werden, berechnet und gespeichert werden, um in dem Anpassungsprozess verwendet zu werden, wie in der Anmeldung Nr. GB 9916684.5 beschrieben ist.
Anschließend wird eine grobe Quantisierung der Spitzenhöhen durchgeführt. Der Bereich, über den eine Quantisierung durchgeführt wird, ist für jede Spitze anders und hängt von den Werten der höheren Spitzen ab (z.B. den Höhen der Spitzen, die in dem geordneten Satz die Vorgänger sind).
Unter Bezugnahme auf 3 wird die erste Spitze über einen Bereich I1 = [0,Y_max] quantisiert, wobei Y_max der Maximalwert für die Spitze ist, der bei einer bestimmten Klasse von Formen erwartet wird. Jede der übrigen Spitzen wird auf den Bereich quantisiert, der von dem Wert einer oder mehrerer der vorhergehenden Spitzen abhängt. Zum Beispiel wird die Spitze y₂ über das Intervall I2 = [0,y₁] (3), die Spitze y₃ über das Intervall [0,y₂] usw. quantisiert.
In dieser Ausführungsform wird die erste Spitze über das Intervall [0,1024] unter Verwendung von 7 Bits quantisiert, und die verbleibenden Spitzen werden auf 3 Bits über den passenden entsprechenden Bereich quantisiert, wie zuvor beschrieben wurde. Unter der Annahme, dass die Höhe der ersten Spitze zum Beispiel 893 ist, wird y₂ über den Bereich [0,893] unter Verwendung von 3 Bits quantisiert usw.. Dementsprechend wird für die Spitzen y₂ bis y₅ das Quantisierungsintervall verringert, wodurch eine höhere Genauigkeit erhalten wird, obwohl weniger Bits verwendet werden. Die x-Position jeder Spitze wird auf 6 Bits quantisiert, die gleichförmig auf dem [0,1) Intervall verteilt sind. Der x-Wert kann der ursprüngliche x-Wert sein, wie zum Beispiel in 2 dargestellt ist, oder nach dem Verschieben entlang der x-Achse um ein derartigen Betrag, dass der x-Wert für die höchste Spitze bei 0 liegt.
Es soll nun der Nutzen aus der vorliegenden Erfindung untersucht werden. Bei der herkömmlichen Lösung erfordert jede Spitze zwei Gleitkommazahlen von jeweils 4 Bytes. Somit ist für eine typische Form mit 9 Spitzen die Speicheranforderung 9·2·4 = 72 Bytes (576 Bits). Nach Anwendung der vorgeschlagenen Ausführungsform erfordert die erste Spitze 7 Bits, unter der Annahme, dass der x-Wert als Null behandelt wird, und jede folgende Spitze 6 + 3 Bits, somit 79 Bits insgesamt.
Anstelle eines Bereichs [0,y_i] könnte ein Bereich [0,R(y_i)) verwendet werden, wobei R(y_i) die Rekonstruktion des Wertes y_i nach der inversen Quantisierung ist.
Eine alternative Ausführungsform, die eine ähnliche Wirkung hat, ist die Division der Höhe einer jeden Spitze [y2, y3, ..., yn] (außer der höchsten) durch den Wert der entsprechenden vorhergehenden Spitze. Nach dieser Operation ist der Bereich aller yi aus dem Satz (0,1]. Dies ermöglicht die Verwendung einer viel gröberen Quantisierung für alle yi.
In beiden Beispielen können gute Ergebnisse durch Verwendung einer Quantisierung mit 7 oder 6 Bits für die höchste Spitze und einer Quantisierung mit 4 oder 3 Bits für alle übrigen Spitzen erhalten werden. Es können andere Anzahlen von Bits verwendet werden.
Die vorangehenden Operationen können auch durchgeführt werden, nachdem die Koordinatenwerte einem binormalen Filtern und einer nichtlinearen Transformation unterzogen wurden, wie in der gemeinsam eingereichten Anmeldung Nr. GB 9915699.4 beschrieben ist, die als GB 2352075 A veröffentlicht ist. Auf dem oben beschriebenen Wege können die x-Koordinaten anstelle der oder ebenso wie die y-Werte kodiert werden.
Die erhaltenen Werte können zum Beispiel zur Verwendung in einer geeigneten Anpassungsprozedur gespeichert werden, wie in den gemeinsam eingereichten Anmeldungen GB 9915699.4 , GB 9915698.6 und GB 9916684.5 beschrieben ist, die als GB 2352075 A , GB 2351826 A und GB 2352076 A veröffentlicht sind, mit geeigneten Modifizierungen, zum Beispiel durch Durchführen der inversen Quantisierung an den gespeicherten Deskriptoren zum Ausführen des Anpassens.

Claims

Verfahren zum Suchen nach einem Objekt in einem Bild durch Verarbeitung von Signalen, die Bildern entsprechen, wobei das Verfahren die Eingabe eines Abfrageobjekts, die Ableitung einer Darstellung des Abfrageobjekts, den Vergleich der Abfragedarstellung mit einer Vielzahl von Darstellungen von Objekten in Bildern und das Auswählen sowie Anzeigen dieser Objekte in Bildern umfasst, für welche die Darstellungen einen Grad der Ähnlichkeit zur Abfrage anzeigen, dadurch gekennzeichnet, dass die Darstellungen von Objekten in den Bildern quantisierte Koordinatenwerte von Spitzen in einer krümmungsbasierten Skalenraum(CSS, curvature scale space)-Darstellung der Form des Objekts sind, wobei die Spitzen der CSS-Darstellung in absteigender Reihenfolge der Spitzenhöhen-Komponentenwerte angeordnet sind und der Quantisierungsbereich für einen Spitzenhöhen-Komponentenwert auf den Wert des vorhergehenden Spitzenhöhenwertes bezogen ist.
Verfahren nach Anspruch 1, wobei die Abfrage mit gespeicherten Darstellungen von Objekten in Bildern und/oder Darstellungen von Objekten in gespeicherten Bildern verglichen wird.
Verfahren nach Anspruch 1 oder 2, wobei die Darstellung des Abfrageobjekts und/oder die Darstellung eines Objekts in einem zu vergleichenden Bild aus einem Verfahren abgeleitet ist, welches das Ableiten einer CSS-Darstellung der Form eines Objekts, das Quantisieren der Koordinatenwerte der Spitzen der CSS-Darstellung für die Ableitung einer codierten Darstellung der Form und das Ordnen der Spitzen der CSS-Darstellung in absteigender Reihenfolge der Spitzenhöhen-Komponentenwerte umfasst, wobei der Quantisierungsbereich für einen Spitzenhöhen-Komponentenwert auf den Wert des vorhergehenden Spitzenhöhen-Komponentenwertes bezogen ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Anzahl der Bits, welche der quantisierten Darstellung des Spitzenhöhen-Komponentenwertes zugewiesen sind, kleiner ist als die Anzahl der Bits, welche der quantisierten Darstellung eines vorhergehenden Spitzenhöhen-Komponentenwertes zugewiesen sind.
Steuergerät (2), das programmiert ist, alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 4 auszuführen.
Vorrichtung, die Mittel zum Ausführen aller Schritte des Verfahrens nach einem der Ansprüche 1 bis 4 aufweist.
Vorrichtung nach Anspruch 6, die ein Steuergerät (2) nach Anspruch 5 und Speichermittel (8, 10) zum Speichern von Bildern und/oder Darstellungen von Bildern aufweist.
Computerprogramm für das Implementieren eines Verfahrens nach einem der Ansprüche 1 bis 4 oder ein computerlesbares Speichermedium, das ein derartiges Computerprogramm speichert, oder ein Computersystem, das programmiert ist, alle Verfahrensschritte nach einem der Ansprüche 1 bis 4 auszuführen.