DE69432544T2

DE69432544T2 - Verfahren und Gerät zum Wiederauffinden von dynamischen Bildern und zur Verwaltung von Bildern

Info

Publication number: DE69432544T2
Application number: DE69432544T
Authority: DE
Inventors: Hiroshi Okazaki; Hiroaki Sato
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-07-29
Filing date: 1994-07-28
Publication date: 2003-12-11
Anticipated expiration: 2014-07-29
Also published as: EP0636994A1; EP0636994B1; US6606636B1; DE69432544D1

Description

Die vorliegende Erfindung betrifft ein Verfahren und ein Gerät zum Wiederauffinden von dynamischen oder bewegten Bildern, sowie ein Verfahren und ein Gerät zur Verwaltung von Bildern, wobei diese in der Lage sind, gewünschte dynamische oder bewegte Bilder aus gespeicherten Bildern innerhalb einer kurzen Zeitspanne effizient wiederaufzufinden.
Als ein Verfahren zum Wiederauffinden von gewünschten dynamischen Bildern aus den im Voraus gespeicherten dynamischen Bildern existiert ein Verfahren zum Wiederauffinden der gewünschten dynamischen Bilder gemäß Klassifizierungscodes und zugehörigen Informationen, wie z. B. Positionsdaten für jeden Titel der dynamischen Bilder von allen gespeicherten dynamischen Bildern, und ein Verfahren zum visuellen Wiederauffinden der Bilder durch einen Benutzer, wie z. B. Bilder aus Filmen, während dieser die Bilder gerade mit einer hohen Geschwindigkeit transportiert, oder zum direkten Wiederauffinden der Bilder in einem bestimmten Intervall während der Beobachtung einer Rahmenfolge.
Als ein Verfahren zum Wiederauffinden der dynamischen Bilder unter Verwendung der wiederaufzufindenden Bilder wurde ein Rahmen von wiederaufzufindenden Bildern eingegeben, und ein dem eingegebenen Rahmenbild entsprechender Rahmen wurde zum eigentlichen Wiederauffinden aus allen Rahmen ausgewählt.
Bei einem Verfahren zum Wiederauffinden der dynamischen Bilder gemäß dem vorstehend beschriebenen Klassifizierungscode, wie z. B. die die Lage betreffende Daten, sollte der Benutzer jedoch die Positionsdaten in Zusammenhang mit jedem Titel von dem dynamischen Bild speichern; auch wenn der Benutzer zum Beispiel die Daten an einer Position auf einem Videoband wissen wollte, auf dem der gewünschte Titel gespeichert ist, könnte das dynamische Bild nicht wiederaufgefunden werden, wenn es außer dem Videoband keine Anhaltspunkte gäbe.
Bei dem Verfahren zum visuellen Wiederauffinden der dynamischen Bilder mittels schnellem Transportieren gibt es das Problem, dass die zum Wiederauffinden benötigte Zeit bei einer großen Zahl von gespeicherten dynamischen Bildern länger ist, womit das Verfahren unzweckmäßig wird, obwohl dieses Verfahren bei einer geringen Zahl von gespeicherten dynamischen Bildern ausgeführt werden kann.
Bei dem Verfahren zum Wiederauffinden gespeicherter Bilder mittels Eingeben von gewünschten Bildern ist es notwendig zu bestimmen, ob ein eingegebenes Rahmenbild mit einem gespeicherten Rahmenbild identisch ist.
Obwohl Musterabgleich als ein praktisches Verfahren zum Wiederauffinden verfügbar ist, gibt es damit ein Problem, dass Musterabgleich zum Wiederauffinden viel Zeit benötigt.
Bei dem anderen Verfahren sind zum Bestimmen, ob das Bild besondere Informationen (zum Beispiel Eigenschaft A) enthält, ein Histogramm von Bildern und das Übereinstimmen des Ausmaßes bzw. Betrags von Charakteristika (Eigenschaften) für das Wiederauffinden verfügbar. Es ist jedoch notwendig, zum Zeitpunkt der Speicherung von Bildern das Ausmaß bzw. den Betrag von Charakteristika (Eigenschaften) für jeden Rahmen als Ganzes im Voraus zu berechnen, und derartige Berechnungen benötigen viel Zeit.
Im Fall des Wiederauffindens unter Verwendung der Eigenschaften des Bildes, zum Beispiel von Merkmalswert- Informationen wie "Eigenschaft 'A' ist im Bild enthalten", sollten in anderen Worten solche Merkmalswert-Informationen an den Speichervorgang übergeben werden, und die Informationen sollten manuell eingegeben werden, um präzise und exakte Eingabe von Informationen sicherzustellen, und daher wurde viel Zeit benötigt, und das Ausführen einer solchen Eingabetätigkeit war in Abhängigkeit von der Zahl der Subjektrahmen praktisch unmöglich. Kürzlich wurden jene Untersuchungen zur automatischen Extraktion der Merkmalswert-Informationen gemäß dem Inhalt der Bilder durchgeführt ("Image Retrieval Adapted for Subjective Similarity", The Treatise Magazine of the Information Processing Society, Bd. 31, Nr. 2, S. 227-236, und andere). Die aus Bildern extrahierten Informationen wurden als die Feldwerte bei der Höhe des Eigenschaftsbetrags überprüft und gespeichert. Die vorstehend beschriebene automatische Extraktion weist jedoch auch ein Problem hinsichtlich der Genauigkeit auf.
Daher werden in diesem Fall, wenn zwischen den Merkmalswert-Informationen und den zum Wiederauffinden bereitgestellten Eigenschaftsbetrags-Informationen eine Abweichung besteht, weitere Schritte zur Kompensation dieser Abweichung benötigt, um Genauigkeit zu erhalten.
Es ist ein Anliegen der vorliegenden Erfindung, ein Verfahren und ein Gerät zum Wiederauffinden von dynamischen Bildern, sowie ein Verfahren und ein Gerät zur Verwaltung von Bildern bereitzustellen, wobei diese in der Lage sind, eines oder mehrere der vorstehenden Probleme zu lösen.
Es ist ein anderes Anliegen der vorliegenden Erfindung, ein Verfahren und ein Gerät zum Wiederauffinden von dynamischen Bildern, sowie ein Verfahren und ein Gerät zur Verwaltung von Bildern bereitzustellen, wobei diese in der Lage sind, dynamische Bilder innerhalb einer kurzen Zeitspanne effizient wiederaufzufinden.
Ein Artikel mit dem Titel "Scene retrieval method using temporal condition changes" von S. Aloe et al. in "Systems and Computers in Japan", Bd. 24, Nr. 7, 1993, Seiten 92-101 beschreibt eine Technik zur Videobildwiederauffindung, bei der ein dynamisches Bild wiederaufgefunden wird, indem ein Benutzer Eigenschaftsdaten unter Verwendung eines besonderen Sprachformats eingibt, wobei die Daten und die Verwendung der Sprache vom Benutzer festgelegt werden.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zum Wiederauffinden dynamischer oder benutzter Bilder bereitgestellt, wie es in Anspruch 1 dargelegt ist.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Gerät zum Wiederauffinden eines bewegten Bildes bereitgestellt, wie es in Anspruch 8 dargelegt ist.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden mittels der folgenden Ausführungsbeispiele und der begleitenden Zeichnung ersichtlich.

Kurze Beschreibung der Zeichnung

Dabei zeigen:
Fig. 1 ein Ablaufdiagramm der Schritte eines ersten Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 2 ein Blockschaltbild eines Aufbaus von Hardware zur Implementierung des vorliegenden Ausführungsbeispiels;
Fig. 3 eine Darstellung des Szenenwechsel- Erkennungsalgorithmus;
Fig. 4 eine Darstellung des Szenenwechsel- Erkennungsalgorithmus;
Fig. 5 eine Darstellung des Szenenwechsel- Erkennungsalgorithmus;
Fig. 6 eine Darstellung der für den Szenenwechsel zu ergänzenden Informationen;
Fig. 7 ein Diagramm der relationalen Informationen der Speicherung hinsichtlich der eingegebenen dynamischen Bilder;
Fig. 8 ein Diagramm eines Schritts zum Extrahieren einer Eigenschaftsbetragssequenz, die als ein Suchschlüssel dient;
Fig. 9 ein Diagramm eines Schritts zum Bestimmen einer Übereinstimmung zwischen dem eingegebenen dynamischen Bild und dem gespeicherten dynamischen Bild;
Fig. 10 ein Blockschaltbild eines zweiten Ausführungsbeispiels der vorliegenden Erfindung;
Fig. 11 ein Ablaufdiagramm jeweiliger Module, die in den Hauptspeicher 101 gemäß Fig. 1 eingebaut sind;
Fig. 12 eine beispielhafte Darstellung des ausgewiesenen Bereichs; und
Fig. 13 ein Beispiel der Tabelle.

Ausführliche Beschreibung der bevorzugten Ausführungsbeispiele

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden unter Bezugnahme auf die anliegenden Zeichnungen ausführlich beschrieben.
Mit Bezug auf Fig. 1 wird ein Ablaufdiagramm von Vorgängen eines Ausführungsbeispiels gemäß der vorliegenden Erfindung dargestellt. Verarbeitungsschritte können unterteilt werden in einen Eingabespeicherungs- Schritt zum Speichern einer Vielzahl von dynamischen oder bewegten wiederaufzufindenden Bildern und einen Wiederauffindungs-Schritt zum Ausführen der Wiederauffindung unter Verwendung der gegebenen dynamischen wiederaufzufindenden Bilder. Dieses Ausführungsbeispiel ist gekennzeichnet anhand von Einrichtungen 10 und 16 zur automatischen Szenenwechselerkennung, Einrichtungen 12 und 18 zur Eigenschaftsbetrags- bzw. -mengenberechnung, und einer Einrichtung 20 zur Übereinstimmungsbestimmung.
Mit Bezug auf Fig. 2 wird ein Blockschaltbild eines Aufbaus einer Hardware zur Implementierung des vorliegenden Ausführungsbeispiels dargestellt. Bezugszeichen 30 bezeichnet eine Zentraleinheit CPU, 32 einen Hauptspeicher, der die Programme, Daten und den CPU-Arbeitsbereich zum Ausführen der folgenden Verarbeitung aufweist, 34 eine Video-Baugruppe zum Umwandeln analoger Videosignale von einem Video-Gerät 36 in digitale Signale und zum Übertragen dieser Signale über eine eingebaute Prozessoreinheit an einen Rahmenspeicher 38, und 40 eine Konsole zum Anzeigen des Bildes. Bezugszeichen 42 bezeichnet eine Festplattenvorrichtung und 44 einen Bus zum Übertragen von Daten zwischen den jeweiligen Komponenten der Hardware.
Die Zentraleinheit (CPU) 30 kann unmittelbar auf den Rahmenspeicher 38 zugreifen und daher digitale dynamische Bilder direkt verarbeiten.
Bei dem vorliegenden Ausführungsbeispiel werden extrahierte Szeneninformationen sowie zum Zeitpunkt von Eingabe und Speicherung dynamischer Bilder zum Erstellen der Datenbank vorhandene relationale Informationen auf der Festplatte 42 gespeichert, und die Inhalte werden für die Wiederauffindung referenziert.
Bei dem vorliegenden Ausführungsbeispiel werden sowohl eine Eingabespeicherungs-Schaltung für dynamische Bilder zum Zeitpunkt der Erstellung der Datenbank als auch eine Wiederauffindungs-Schaltung, die dynamische Bilder als Schlüssel verwendet, mit Einrichtungen 10, 16 (Fig. 1) zur automatischen Szenenwechselerkennung versehen. Der Szenenwechsel bezieht sich auf einen unstetigen Wechsel der dynamische Bilder darstellenden Bildsequenz, wie zum Beispiel die Umschaltung der Kamera. Bei diesem Ausführungsbeispiel wird der Szenenwechsel durch Auslösen der Einrichtungen 10, 16 zur automatischen Szenenwechselerkennung gemäß einer in der CPU 30 zu verarbeitenden Software erkannt.
Dynamische Bilder von dem Video-Gerät 36, die mittels der Video-Eingangsbaugruppe A/D-gewandelt werden, werden sequentiell über einen Bus 44 in dem Rahmenspeicher 38 gespeichert.
Figs. 3, 4 bzw. 5 zeigen eine Vielzahl von Szenenwechsel- Erkennungsalgorithmen. Fig. 3 zeigt ein Verfahren, bei dem der Szenenwechsel festgestellt wird, wenn eine für den gesamten Rahmen geltende Gesamtsumme von Abweichungswerten der Bilddaten an den gleichen Koordinaten zweier zeitkontinuierlicher Rahmenbilder einen bestimmten Schwellenwert (T) übersteigt. Fig. 4 zeigt ein Verfahren, bei dem der Szenenwechsel festgestellt wird, wenn ein Wert einen bestimmten Schwellenwert (T2) übersteigt, wobei der Wert durch Zählen der Bildpunkt-Anzahl erhalten wird, für die der Abweichungswert der Bilddaten an den gleichen Koordinaten zweier zeitkontinuierlicher Rahmenbilder größer ist als der Schwellenwert (T1). Fig. 5 zeigt ein Verfahren, bei dem der Szenenwechsel festgestellt wird, wenn die Formen von jeweils für zwei zeitkontinuierliche Rahmenbilder erhaltenen Histogrammen nicht identisch sind. In diesem Zusammenhang kann die Ähnlichkeit der Form von Histogrammen aus der Gesamtsumme von Abweichungswerten an entsprechenden Frequenzwerte in den Histogrammen festgelegt werden.
Wenn der Szenenwechsel i mit Bezug auf ein dynamisches Eingabebild zum Zeitpunkt der Eingabespeicherung auf eine der vorstehend beschriebenen Arten erkannt wird, wird die Rahmenpositionsinformation der dynamischen Eingabebilder des Szenenstart-Rahmens und des Szenenend-Rahmens für jede Szene erhalten. Folglich werden die Anzahl von Szenen sowie ein Paar der Szenenstart-Rahmennummer und der Szenenend-Rahmennummer zu dem dynamischen Eingabebild zugefügt, wie es in Fig. 6 gezeigt ist.
Bei diesem Ausführungsbeispiel extrahiert die Einrichtung zur Eigenschaftsbetragsextraktion eine Länge jeder Szene (die Zahl der Rahmen zwischen Szenenwechseln) als einen Eigenschaftsbetrag. Dieser Betrag kann durch Subtrahieren der Start-Rahmennummer von der End-Rahmennummer jeder Szene und Addieren von 1 zum erhaltenen Ergebnis errechnet werden. Außerdem sind die relationalen Informationen von dynamischen Bildern zum Zeitpunkt der Eingabespeicherung vom Benutzer auch geliefert und entsprechende dynamische Bilder werden auf einer Festplattenvorrichtung 42 gespeichert, wie es in Fig. 7 dargestellt ist. In diesem Fall werden Name, Art, Bildquelle und Eingabedaten des dynamischen Bildes als ein Beispiel relationaler Informationen gleichzeitig gespeichert.
Ein als ein Suchschlüssel dienendes dynamisches Bild wird zum Zeitpunkt der Wiederauffindung eingegeben, die vorstehend beschriebene automatische Szenenwechselerkennung und Eigenschaftsbetragsextraktion werden für ein solches als der Suchschlüssel dienendes dynamisches Bild ausgeführt, und eine Sequenz von Eigenschaftsbeträgen (Zahl der Rahmen) wird erhalten. Wenn die Zahl von Szenen drei oder weniger ist, wird bei diesem Ausführungsbeispiel eine Meldung "ein als der Schlüssel dienendes dynamisches Eingabebild ist übermäßig kurz" angezeigt, und die Wiederauffindung wird nicht ausgeführt. Ist die Zahl von Szenen dynamischer Eingabebilder vier oder mehr, werden die erste und die letzte Szene ignoriert, und nur eine zwischen der ersten und der letzten Szene enthaltene Sequenz von Szenen wird beachtet. Die Zahl von Szenen kann auch anders sein als die dieses Beispiels. Fig. 8 zeigt einen Prozess vom Suchschlüssel bis hin zur Extraktion der Eigenschaftsbetragssequenz.
Als nächstes wird bestimmt, welche zum Zeitpunkt der Eingabespeicherung gespeicherte Eigenschaftsbetragssequenz mit einer bei der Eingabe des Suchschlüssels erhaltenen Eigenschaftsbetragssequenz übereinstimmt. Bei diesem Ausführungsbeispiel berücksichtigt der Erkennungsalgorithmus die aus dem einfach als Vektor eingegebenen und als Suchschlüssel dienenden dynamischen Bild zu erhaltende Eigenschaftsbetragssequenz, vergleicht sie mit einem gespeicherten Eigenschaftsbetrag für die gleiche Zahl von Sequenzen wie die Eigenschaftsbetragssequenz des Suchschlüssels, und vergleicht eine Distanz in einem Vektorraum mit dem Schwellenwert, wobei alle Teilsequenzen als Kandidaten dienen. Ist die Distanz in dem Vektorraum kleiner als der Schwellenwert, wird eine Möglichkeit zum Wiederauffinden eines Bildes als vorhanden betrachtet, das heißt eine passende Szene existiert. Fig. 9 zeigt den Erkennungsalgorithmus.
Ist die passende Szene erhalten, werden die relationalen Informationen des als Ergebnis der Wiederauffindung wiederaufgefundenen dynamischen Bildes erhalten und dem Benutzer angezeigt. Ein gleichzeitig wiederaufgefundenes dynamisches Bild kann zur Bestätigung angezeigt werden.
Obwohl die Zahl von Rahmen zwischen Szenenwechseln im vorstehenden Ausführungsbeispiel als der Eigenschaftsbetrag verwendet wird, ist der Eigenschaftsbetrag nicht auf diese Zahl von Rahmen beschränkt, und andere Eigenschaftsbeträge können verwendet werden. Bei diesem Ausführungsbeispiel wird zum Erkennen der passenden Szene ein extrem einfacher Algorithmus benutzt, und daher kann tatsächlich ein fehlerhaftes Ergebnis der Wiederauffindung enthalten sein, und eine derartige Wiederauffindung stellt vielmehr die Auswahl eines Kandidaten dar. Zur Verbesserung der Verlässlichkeit kann die Genauigkeit der Wiederauffindung erhöht werden, indem zum Beispiel ein Bild des mittleren Rahmens jeder Szene zum Benennen des Kandidaten für jede Szene gespeichert wird und Musterabgleich mit dem von dem Eingabebild auf ähnliche Weise erhaltenen mittleren Rahmen jeder Szene durchgeführt wird. Musterabgleich wird in diesem Fall zum Beispiel mittels Verarbeitung der Gesamtheit von Abweichungswerten zwischen Bildern hinsichtlich des Schwellenwertes und unter Verwendung der Bilder-Histogramme durchgeführt.
Obwohl das wiederaufgefundene Bild mit einem Bild aus einem Speichermedium, wie z. B. einer Festplatte bei diesem Ausführungsbeispiel, beschrieben wird, ist das wiederaufzufindende Bild nicht auf das vorstehende beschränkt, und es ist klar, dass die vorliegende Erfindung auch bei der Wiederauffindung eines gewünschten dynamischen Bildes aus in der Datenbank enthaltenen dynamischen Bildern anwendbar ist, die durch eine Kommunikation wie etwa einer PC-Kommunikation übertragen wurden.
Wie aus der vorstehenden Beschreibung leicht erkennbar ist, ermöglicht das vorliegende Ausführungsbeispiel das Wiederauffinden mit dynamischen Bildern als Suchschlüssel. Außerdem ermöglicht das Ausführungsbeispiel das Wiederauffinden relationaler Informationen aus gegebenen dynamischen Bildern innerhalb einer kurzen Zeitspanne ohne eine bemerkenswerte Zeitdauer bei der Eingabespeicherung oder bei der Wiederauffindung aufzuwenden.

[ Zweites Ausführungsbeispiel ]

Fig. 10 zeigt ein Blockschaltbild eines zweiten Ausführungsbeispiels der vorliegenden Erfindung. In Fig. 10 bezeichnet Bezugszeichen 101 einen Hauptspeicher einschließlich von Software-Modulen, wie z. B. mindestens vier nachfolgend beschriebene Typen von Modulen, Software für einen Mehrfachfenster- und einen Arbeitsbereich einer Zentraleinheit (CPU) 102. 102 bezeichnet eine Zentraleinheit (CPU: central processing unit) zum Ausführen einer Verarbeitung gemäß den Software-Modulen im Hauptspeicher 101. 103 bezeichnet eine Festplatte, die dynamische Bilder, nachfolgend beschriebene relationale Informationen und Merkmalswert-Informationen speichert. Daten werden von einem Datenbank-Verwaltungssystem verwaltet. 104 bezeichnet eine Anzeige, die zum Implementieren einer interaktiven Funktion mit Benutzern verwendet wird, einschließlich Beschaffung verschiedener Informationen von Benutzern und Darstellung von Informationen wie dynamischer Bilder für Benutzer mittels der Steuerung durch das Mehrfachfenster-System wie einem X-Window-System. 105 bezeichnet eine Betriebseinheit mit einer Maus und einer Tastatur zum Bedienen dieses Systems.
Fig. 11 zeigt ein Ablaufdiagramm der im Hauptspeicher 101 gemäß Fig. 10 zu speichernden Module. In Fig. 11 bezeichnet 201 ein Musterverwaltungsmodul für das Erscheinungsbild im ausgewiesenen Bereich zum Erhalten und Verwalten der benötigten Informationen mittels der interaktiven Funktion mit Benutzern. Bei diesem Ausführungsbeispiel erhält dieses Modul gleichzeitig die Informationen zum ausgewiesenen Bereich und die dem ausgewiesenen Bereich entsprechenden Merkmalsnamen- Informationen, die bei dem interaktiven Betrieb vergeben werden, ein Erscheinungsbildmuster, das als ein Beispielbild zum Erkennen der Merkmalswert-Informationen aus dem einzugebenden dynamischen Bildrahmen von einem Musterbestimmungsmodul für das Erscheinungsbild 202 benötigt wird, und die Merkmalswerte für jeweilige Erscheinungsbildmuster, und speichert die Informationen als Verwaltungsinformationen.
Bezugszeichen 202 bezeichnet ein Musterbestimmungsmodul für das Erscheinungsbild, bei dem die Merkmalswert- Informationen des entsprechenden Bildmusters an das Datenbankverwaltungs-Modul 203 ausgegeben werden, wenn das Musterverwaltungsmodul für das Erscheinungsbild im ausgewiesenen Bereich bestimmt, dass das vorher ausgewiesene Merkmal als ein Ergebnis der Bestimmung bereitgestellt wird, ob ein ausgewiesener Bereich in jedem Rahmen eingegebener dynamischer Bilder gemäß der vorhergehenden Verwaltungsinformationen ein in dem Musterbestimmungsmodul für das Erscheinungsbild 202 ausgewiesenes Merkmal ist.
Bezugszeichen 203 bezeichnet ein Datenbankverwaltungs- Modul, das ein Funktionsmodul darstellt, bei dem die Merkmalswert-Informationen und die dynamische Rahmensequenz, die für jede von dem Musterbestimmungsmodul für das Erscheinungsbild 202 einzugebende dynamische Bildrahmensequenz bestimmt werden, als numerische Zeicheninformationen und Bildinformationen auf der Festplatte 103 verwaltet werden, und Verwaltung dieser Informationen ist unter Verwendung allgemeiner, käuflich erhältlicher Datenbankverwaltungssysteme implementiert. Numerische Zeicheninformationen, wie z. B. relationale Informationen, einschließlich Namen dynamischer Bilder und Aufzeichnungszeit dynamischer Bilder, die von dem Datenbank-Benutzer in Übereinstimmung mit den vom Musterbestimmungsmodul für das Erscheinungsbild 202 ausgegebenen Merkmalswert-Informationen eingegeben sind, werden gemeinsam mit den Merkmalswert-Informationen in der Gestalt einer Tabelle auf der Festplatte 103 verwaltet. Eine als gemeinsames Datenbankverwaltungssystem verwendete relationale Datenbank RDB stellt im Rahmen des relationalen Betriebs die Wiederauffindungsfunktion zur Verfügung und kann daher unmittelbar zur Wiederauffindung dynamischer Bilder verwendet werden.
Bezugszeichen 204 bezeichnet ein Wiederauffindungs-/ Darstellungsmodul für dynamische Bilder, das sowohl aus der Datenbank wiederaufgefundene dynamische Bilder darstellt als auch einen bestimmten Rahmen der dynamischen Bilder unter Verwendung des Datenbankverwaltungs-Moduls 203 darstellt, was zum Zweck einer exakteren Klassifizierung der dynamischen Bilder auf der Basis der relationalen Informationen auf der Wiederauffindungsbedingung beruht, die aus den relationalen Informationen des Rahmennamens und anderen Informationen von den Benutzern dieses Wiederauffindungssystems und den Merkmalsinformationen abgeleitet wird. Dem Namen des dynamischen Bildes entsprechende dynamische Bilddaten, die als ein aus dem Datenbankverwaltungs-Modul 203 ausgegebenes Wiederauffindungsergebnis den Inhalt des dynamischen Bildes darstellen, werden von der Festplatte 203 ausgelesen und auf der Anzeige 104 als das Ergebnis der Wiederauffindung angezeigt.
Als ein praktisches Beispiel bei diesem Ausführungsbeispiel wird ein Vorgang zum Erhalten einer "Strike"-Zählungsinformation als die Merkmalswert- Information beschrieben, die bei einer TV- Baseballübertragungs-Szene in einem Eck eines Fernsehbildschirms als dynamische Subjektsbilddaten der Wiederauffindung angezeigt wird.
Bei einem das Fenstersystem als Grundlage verwendenden interaktiven Umfeld bestimmt ein Programmierer der Datenbank dynamischer Bilder mittels der Maus der Betriebseinheit 105 als einen ausgewiesenen Bereich einen rechteckigen Bereich auf dem Fernsehbildschirm, auf dem die "Strike"-Zählung gemäß Fig. 12 angezeigt wird, und weiter bestimmt er während des Durchblätterns der Rahmen der dynamischen Bilder die Rahmen, die jeweils die "Strike"-Zählung von 0, 1 und 2 anzeigen, als Beispielrahmen der Erscheinungsbildmuster. Der Merkmalsname für den ausgewiesenen Bereich und die Merkmalswerte für die jeweiligen Beispielrahmen werden mittels der Tastatur der Betriebseinheit 105 eingegeben.
Im folgenden werden die in dem Hauptspeicher 101 gemäß Fig. 10 zu speichernden Module beschrieben.
Das Musterverwaltungsmodul für das Erscheinungsbild im ausgewiesenen Bereich 201 verwaltet die auf den mittels der Betriebseinheit 105 ausgewiesenen Bereich bezogenen Daten in der Gestalt einer Tabelle, wie sie in Fig. 13 dargestellt ist. Unter der Annahme der linken Eck- Koordinaten der Anzeige mit (x,y) = (0,0) werden im Speziellen insgesamt vier Integralwerte in der Gestalt der Tabelle verwaltet, zu denen die obere linke Eck- Koordinate (region_start-x,region-start-y) und die Breite und die Höhe des Vierecks (jeweils eine Bereichsbreite und eine Bereichshöhe), die die Informationen des ausgewiesenen Bereichs darstellen, und der gegebene Merkmalsname ("strike_count") gehören. Eine Liste dieser gleichzeitig erhaltbaren Werte wird mittels des Zeigers 205 verwaltet. Im Speziellen werden die verfügbaren Merkmalswerte und die Beispielbilddaten (Beispielmuster), aus denen die den Merkmalswerten entsprechenden Bereiche der Beispielrahmen ausgeschnitten werden, als die gemäß Fig. 13 dargestellten angeordneten Daten verwaltet.
Das Musterbestimmungsmodul 202 für das Erscheinungsbild bestimmt während der Bezugsnahme auf die in Fig. 13 gezeigte Tabelle, die vom Musterverwaltungsmodul 201 für das Erscheinungsbild im ausgewiesenen Bereich verwaltet wird, ob ein Merkmalswerte für jeweilige Rahmen der einzugebenden Rahmensequenz der dynamischen Bilder eingestellt werden kann oder nicht. Als ein Ergebnis der Bestimmung wird eine solche Merkmalswert-Information, wie z. B. ein "Merkmalsname = Merkmalswert" ausgegeben, ebenso wie zum Beispiel "strike_count 1" ausgegeben wird. Wird bestimmt, dass ein entsprechendes Bildmuster nicht aufgetreten ist, wird eine Information wie "strike_count = nil" ausgegeben. Die Merkmalswert-Information wird als die vorstehend beschriebene Ausgabe auf der Festplatte 103 in Entsprechung zu den relationalen Informationen gespeichert, die vom Datenbank-Programmierer im Datenbankverwaltungs-Modul eingegeben, vom Datenbankmodul verwaltet und zur Wiederauffindung verwendet werden.
Verschiedene Verfahren können als Verfahren zum Bestimmen des Auftretens des Bildmusters im Musterbestimmungsmodul für das Erscheinungsbild angenommen werden. Bei diesem Ausführungsbeispiel wird ein Maskenabgleich verwendendes Verfahren beschrieben. Ein Bildpunkt-Wert eines Beispielmusters t für jeweilige Merkmalswerte des ausgewiesenen Bereichs wird mit Pt(x,y) angenommen. Dabei bezieht sich t, jeweilige Beispielmuster kennzeichnend, entweder auf strike_count_0, strike_count_1 oder strike_count_2. x bzw. y verweisen auf 0 ≤ 0 ≤ region_width-1 und 0 ≤ y ≤ region_height-1. Die Parameter region_width und region_height kennzeichnen die Größe des ausgewiesenen Bereichs und bezeichnen die Breite und die Höhe des Beispielmusters, wie es in Fig. 13 gezeigt ist. Ist der Bildpunkt-Wert des in das Musterbestimmungsmodul 202 für das Erscheinungsbild einzugebenden Rahmens von dynamischen Bildern mit Q (x,y) angenommen, wird SUMt (δ,γ) = Σx,y Pt (x,y) - Q(region_start_x+x+δ, region_start_y+y+γ) im Intervall -t ≤ δ und γ ≤ t (t ist ein kleiner von ungefähr 5, das Intervall der Suche für den Maskenabgleich kennzeichnend) berechnet, und die geringsten Werte sollen jeweils minSUMt sein. Ist der Minimalwert von minSUMt in einem Intervall, in dem t existiert, größer als ein bestimmter Grenzwert, bedeutet das, dass das Ergebnis des Maskenabgleichs mit keinem der Beispielmuster identisch ist, und es soll entschieden werden, dass es keinen entsprechenden Merkmalswert gibt ("strike_count = nil"), und andernfalls wird der dem t entsprechende Merkmalswert, der den Minimalwert ableitet, ausgegeben (zum Beispiel "strike_count = 1", wenn t mit t = strike_count_1 das Minimum darstellt).
Die relationalen Informationen des Namens dynamischer Bilder, die den dem dynamischen Bild des Rahmens, der als Ergebnis der vom Datenbankverwaltungs-Modul 203 ausgegebenen Wiederauffindung wiederaufgefunden ist, entsprechenden Inhalt der dynamischen Bilder kennzeichnen, und das der Wiederauffindung entsprechende dynamische Bild werden vom Wiederauffindungs-/ Darstellungsmodul 204 für dynamische Bilder gelesen und angezeigt, um das wiederaufgefundene dynamische Bild und einen bestimmten Rahmen in dem dynamischen Bild zu kennzeichnen.
Dieses Ausführungsbeispiel hat bei der Wiederauffindungsoperation das Verfahren des Maskenabgleichs zwischen den Beispielbilddaten und dem ausgewiesenen Bereich in dem Eingaberahmen dynamischer Bilder verwendet. Bei einer überlagerten Information, wie z. B. einem Telop ("Television opaque" bzw. Fernsehbild), die als in dem dynamischen Bild synthetisiert ausgegeben wird, wird jedoch der Originalabschnitt des Hintergrunds dynamischer Bilder oft verwendet wie er ist. Ein Fehler kann in Abhängigkeit von der Genauigkeit des Maskenabgleichs bei der Bestimmung des Erscheinungsbildmusters verursacht werden, indem die Bildpunkte des Telop-Teils und die des dynamischen Bildteils verglichen werden. Zum Bestimmen des Bereichs im Musterverwaltungsmodul für das Erscheinungsbild werden die zu beachtenden Farben gleichzeitig bestimmt. Eine Vielzahl von zu beachtenden Farben kann mittels Klicken der Maus auf die zu beachtenden Farben ausgewählt werden, und die Genauigkeit der Bestimmung kann verbessert werden, indem der Maskenabgleich nur für die entsprechenden Bereiche ausgeführt wird.
Sind die Bildpunkt-Werte sowohl des Beispielmusters als auch des Eingaberahmens nicht bei den Farben des eigentlichen Maskenabgleichs enthalten, werden die Differenz-Werte mit Null berechnet, und die Bildpunkt- Werte der Bereiche der zu beachtenden Farben werden verglichen.
Bei diesem Ausführungsbeispiel werden die Merkmalswert- Informationen mittels Maskenabgleich des Erscheinungsbildmusters des ausgewiesenen Bereichs erkannt. Es ist jedoch offensichtlich, dass die vorliegende Erfindung nicht auf dieses Verfahren beschränkt ist, und die Merkmalswert-Informationen gemäß dem Ergebnis der Erkennung eines Histogramms des ausgewiesenen Bereichs erkannt werden können.
Abweichend vom Stand der Technik, bei dem die Merkmalswert-Informationen mittels aller Rahmen von dynamischen Bildern eingestellt werden, ermöglicht die vorliegende Erfindung gemäß der vorstehenden Beschreibung die Merkmalswert-Informationen für jeweilige in den dynamischen Bildern enthaltene Rahmen automatisch gemäß dem Bildmuster einzustellen, das in den ausgewiesenen Bereichen der dynamischen Bilder auftritt, und daher wird für die automatische Erkennung der Merkmalswert- Informationen nicht viel Zeit benötigt und die Merkmalsfarb-Informationen brauchen nicht manuell eingegeben zu werden, wodurch außerordentlich viel menschliche Arbeitskraft gespart wird.
Außerdem können die Merkmalsinformationen als numerische Information und als Zeicheninformation in allgemeinen Datenbankverwaltungsmodulen gespeichert und verwaltet werden, und dadurch bewirkt die vorliegende Erfindung einen Effekt, dass die den Inhalt dynamischer Bilder betreffende Wiederauffindung unter Verwendung einer flexiblen Beschreibung der Wiederauffindungsbedingung implementiert werden kann, wie z. B. relationaler Operation der Merkmalswerte.

Claims

1. Verfahren zum Wiederauffinden eines dynamischen oder bewegten Bildes aus in einer Datenbank als Serie von Szenen gespeicherten dynamischen oder bewegten Bildern; wobei das Verfahren aufweist:

einen ersten Extraktionsschritt des Extrahierens von Daten, die für Veränderungen der Szenen in den gespeicherten Daten charakteristisch sind, aus den in der Datenbank gespeicherten Bildern, und

gekennzeichnet ist durch einen zweiten Extraktionsschritt, der das Eingeben von dem wiederaufzufindenden Bild entsprechenden dynamischen oder bewegten Bildern, und das Extrahieren eines Satzes von Daten, die für Szenenveränderungen der eingegebenen Daten charakteristisch sind, aus den eingegebenen Daten aufweist;

und einen Auswahlschritt des Auswählens eines dynamischen oder bewegten Bildes aus den in der Datenbank gespeicherten Bildern unter Ausnutzung der in den entsprechenden ersten und zweiten Extraktionsschritten extrahierten charakteristischen Daten.

2. Verfahren nach Anspruch 1, bei dem die charakteristischen Daten die Anzahl der Rahmen zwischen Szenenveränderungen sind.

3. Verfahren nach Anspruch 1, bei dem die charakteristischen Daten einen aus einer Vielzahl von Komponenten bestehenden Vektor aufweisen, und eine Festlegung im Festlegungsschritt entsprechend der Distanz in einem Vektorraum zwischen den im ersten Extraktionsschritt extrahierten charakteristischen Daten und den im zweiten Extraktionsschritt extrahierten charakteristischen Daten durchgeführt wird.

4. Verfahren nach einem der vorangehenden Ansprüche, zusätzlich mit:

einem Speicherschritt zum Speichern relationaler Informationen für jeden im ersten Extraktionsschritt extrahierten Satz von charakteristischen Daten.

5. Verfahren nach einem der vorangehenden Ansprüche, zusätzlich mit:

einem Anzeigeschritt zum Anzeigen relationaler Informationen gemäß dem eingegebenen Bild entsprechend dem Ergebnis des Auswahlschritts.

6. Verfahren nach Anspruch 5, bei dem ein bewegtes Bild entsprechend dem eingegebenen Bild mit den relationalen Informationen gemäß der Auswahl durch den Auswahlschritt angezeigt wird.

7. Verfahren nach einem der vorangehenden Ansprüche, bei dem Szenenveränderungen automatisch extrahiert werden.

8. Gerät zum Wiederauffinden eines dynamischen oder bewegten Bildes aus in einer Datenbank als Serie von Szenen gespeicherten dynamischen oder bewegten Bildern, wobei das Gerät Mittel zum Eingeben eines Satzes von Daten, der einem zu extrahierenden Bild entspricht, und eine Einrichtung (20) zum Auswählen eines Bildes aus der Datenbank in Abhängigkeit von den eingegebenen Daten aufweist; und dadurch gekennzeichnet ist, dass die Eingabemittel zum Eingeben dynamischer oder bewegter Bilddaten angepasst sind, und, dass das Gerät zusätzlich Extraktionsmittel (10, 12, 16, 18) aufweist, erstens, zum Extrahieren von Daten aus der Datenbank, die für Veränderungen in Szenen der gespeicherten Daten charakteristisch sind, und zweitens, zum Extrahieren von Daten aus den eingegebenen Daten, die für Veränderungen in Szenen der eingegebenen Daten charakteristisch sind, wobei die Auswahleinrichtung zum Auswählen eines dynamischen oder bewegten Bildes aus den in der Datenbank gespeicherten Bildern unter Ausnutzung der jeweils aus den gespeicherten Bilddaten und den eingegebenen Bilddaten extrahierten charakteristischen Daten ausgelegt ist.

9. Gerät nach Anspruch 8, bei dem die extrahierten charakteristischen Daten die Anzahl der Rahmen zwischen Szenenveränderungen sowohl in den gespeicherten als auch in den eingegebenen Bilddaten aufweisen.

10. Gerät nach Anspruch 8, bei dem die charakteristischen Daten einen aus einer Vielzahl von Komponenten bestehenden Vektor aufweisen, und die Auswahleinrichtung die Distanz in einem Vektorraum zwischen den aus den gespeicherten Bilddaten extrahierten charakteristischen Daten und den aus den eingegebenen Bilddaten extrahierten charakteristischen Daten ausnutzt.

11. Gerät nach einem der Ansprüche 8 bis 10, zusätzlich mit:

einer Einrichtung zum Speichern relationaler Informationen für aus den gespeicherten Bilddaten extrahierte charakteristische Daten.

12. Gerät nach einem der Ansprüche 8 bis 11, zusätzlich mit:

einer Anzeigeeinrichtung (104) zum Anzeigen von auf die eingegebenen Daten bezogenen relationalen Informationen in Abhängigkeit von der Ausgabe der Auswahleinrichtung.

13. Gerät nach Anspruch 12, bei dem die Anzeigeeinrichtung zum Anzeigen eines bewegten Bildes ausgelegt ist.