DE102020117544A1

DE102020117544A1 - System und verfahren zur verarbeitung von videodaten aus dem archiv

Info

Publication number: DE102020117544A1
Application number: DE102020117544.2A
Authority: DE
Inventors: Maxim Rasulov; Igor Falomkin
Original assignee: ITV Group OOO
Current assignee: ITV Group OOO
Priority date: 2019-09-20
Filing date: 2020-07-02
Publication date: 2021-03-25
Also published as: RU2019129646A3; RU2710308C1; US20210089784A1

Abstract

Die Erfindung bezieht sich auf den Bereich der Videodatenanalyse und - verarbeitung, genauer gesagt auf Technologien, die darauf abzielen, Informationen über Objekte von Interesse mit einem Minimum an bekannten Ausgangsdaten zu finden. Das System zur Verarbeitung von Daten aus dem Archiv enthält die Videokameras, den Speicher, die Datenbank, das Datenverarbeitungsgerät und die grafische Benutzeroberfläche. Die grafische Benutzeroberfläche enthält eine Kameraauswahleinheit, eine Zeitintervall-Einstelleinheit, eine Suchmodus-Auswahleinheit, eine Suchmerkmaleinheit und eine Anzeigeeinheit. Das Datenverarbeitungsgerät ist so konfiguriert, dass es die Dekomprimierung und Analyse von Videodaten, die Verarbeitung archivierter Videodaten sowie die Suche und Anzeige des Suchergebnisses über die Anzeigeeinheit durchführen kann. Die Methode der Archivdatenverarbeitung besteht darin, die Auswahl bestimmter Videokameras des Systems zu ermöglichen, das bestimmte Zeitintervall des Videos einzustellen, die Auswahl des Suchmodus aus den Suchmodi zu ermöglichen, die bekannten Merkmale des Objekts einzustellen, die Archivvideodaten zu verarbeiten und nach den entsprechenden Metadaten zu suchen, wobei die Metadaten durch Dekomprimierung und Analyse der Videodaten gebildet und in der Datenbank des Systems gespeichert werden.

Description

TECHNOLOGIEBEREICH
Die Erfindung bezieht sich auf den Bereich der Videodatenanalyse und - verarbeitung, genauer gesagt auf Technologien, die darauf abzielen, Informationen über Objekte von Interesse mit einem Minimum an bekannten Ausgangsdaten zu finden.
STAND DER TECHNIK
Videoüberwachungssysteme beziehen sich im Allgemeinen auf Hardware und Software oder technische Mittel, die Computer-Vision-Methoden zur automatischen Datenerfassung auf der Grundlage der Videodatenanalyse verwenden. Die Videoüberwachungssysteme stützen sich auf Bildverarbeitungsalgorithmen und Objekterkennungsalgorithmen, die es ermöglichen, die Videos ohne direkte menschliche Beteiligung zu analysieren. Die als Ergebnis der Analyse und Verarbeitung gewonnenen Daten werden weiter verwendet, um nach Objekten von Interesse zu suchen.
Die bekannten Videoüberwachungssysteme können, je nach den spezifischen Zwecken, viele Funktionen durchführen, wie z.B.: Erkennung von Objekten von Interesse, Verfolgung der Objektbewegung, Verfolgung der Objekte mit mehreren Kameras, Erkennung und Identifizierung von Objekten, Auftragung der Objektbahnen usw.
In letzter Zeit haben die Methoden zur Suche nach Gesichtern oder Fahrzeugkennzeichen große Popularität gewonnen. Verschiedene Bilderkennungsmethoden werden weiterhin entwickelt, um ihre Genauigkeit zu verbessern. Solche Systeme sind jedoch für Suchzwecke absolut nutzlos, wenn wir kein Foto der betreffenden Person oder deren Fahrzeugkennzeichen haben. Noch schwieriger ist die Suche, wenn wir nicht einmal den vollständigen Namen der Person von Interesse kennen.
Aus dem Stand der Technik kennen wir die im Patent US 9208226, B2, G06F 7/00, veröff. am 08.12.2015 offenbarte Lösung, die das Gerät zur Erzeugung von Videomaterial beschreibt, wobei dieses Gerät das Folgende enthält: Videoobjekt-Indexierungseinheit zur Objekterkennung durch Speichern und Analysieren von Video von mehreren Überwachungskameras; Videoobjekt-Sucheinheit zum Vergleich akzeptierter Suchbedingungen mit empfangenen Objektmetadaten und weiterer Ausgabe von Suchergebnissen, einschließlich Informationen über mindestens ein Objekt, das den Suchbedingungen entspricht; Videodatengenerierungseinheit zum Generieren von Videobeweisen durch Kombinieren nur diejenigen Videos, die ein bestimmtes aus den Suchergebnissen ausgewähltes Objekt enthalten; wobei die Videodatengenerierungseinheit das Folgende enthält: eine Videobearbeitungseinheit zum Generieren von Videobeweisen durch Entziehung der Abschnitte, die ein bestimmtes Objekt aus gespeicherten Videos enthalten, und weitere Zusammenfassung dieser Abschnitte; Gerichtsgutachten-Videodatengenerierungseinheit zum Generieren der Gerichtsgutachten über gespeicherte Videos und generierte Videos und weitere Speicherung der erstellten Videobeweise und Gerichtsgutachten im digitalen Speicherformat; und Bahnanalyseeinheit zur Erstellung der Bahn eines bestimmten Objekts zwischen mehreren Überwachungskameras durch Analyse der Korrelationen zwischen den Suchergebnissen.
Diese Lösung implementiert die Suche nach Objekten von Interesse auf der Grundlage der eingestellten Sucheigenschaften und das weitere Zusammenstellen des Videos seiner Bewegungsbahn. Der Hauptunterschied von dem erklärten Lösung ist die Suchmethode selbst, sowie die fehlende Auswahl bestimmter Videokameras und des Suchmodus.
Die Lösung, die nach der technischen Natur am nächsten kommt, wurde im Patent US 9615064 , B2, H04N 7/18, veröff. am 04.04.2017, offenbart, das die Systeme und Methoden zur Verfolgung eines Objekts mit mehreren Kameras beschreibt Die Methode umfasst u.a. folgende Schritte: Erfassen des ersten Satzes von Einzelbildern unter Verwendung der ersten Kamera, wobei der erste Satz von Einzelbildern den ersten Satz von Bildern des Objekts von der ersten Kamera enthält, wobei der erste Satz von Einzelbildern vom ersten Standpunkt aus aufgenommen wird; Erfassen des zweiten Satzes von Einzelbildern unter Verwendung der zweiten Kamera, wobei der zweite Satz von Einzelbildern den zweiten Satz von Bildern des Objekts von der zweiten Kamera enthält, wobei der zweite Satz von Einzelbildern vom zweiten Standpunkt aus aufgenommen wird; Kalibrieren der ersten und der zweiten Kameras; Bestimmung des Vorhandenseins des Objekts im ersten Satz von Einzelbildern unter Verwendung der ersten Kamera; Verknüpfung der Metadaten mit einem vorhandenen Objekt durch die erste Kamera, wobei die Metadaten mindestens ein Merkmal des ersten Bildsatzes des Objekts angeben; Übertragung der Metadaten von der ersten Kamera an das Computersystem; zumindest teilweise Identifizierung der von der ersten Kamera empfangenen Metadaten durch das Computersystem, dass der von der zweiten Kamera erfasste zweite Bildersatz das gleiche Objekt wie das Objekt im ersten Bildersatz im ersten Bildersatz darstellt; und Auswahl des ersten Bildsatzes oder des zweiten Bildsatzes durch das Computersystem, um die Lage des Objekts im ersten Bildersatz und im zweiten Bildersatz relativ zum Standpunkt der ersten Kamera bzw. der zweiten Kamera für den Benutzer anzuzeigen.
Bei dieser Lösung werden die Objekte sogar verglichen, um festzustellen, ob es sich bei einem Objekt aus zwei verschiedenen Kameras um dasselbe Objekt handelt. Aber diese Lösung wird verwendet, um ein bestimmtes Objekt mit einem bestimmten Satz von Merkmalen für seine weitere Darstellung aus dem besten Winkel zu verfolgen.
Der gemeinsame Unterschied zwischen den bekannten Lösungen und der erklärte Lösung ist das Fehlen einer spezifischen Auswahl des Suchmodus. Bei den oben genannten bekannten Lösungen gibt es keine Suche nach Gesichtern oder Fahrzeugkennzeichen, daher ist die Suchtechnologie selbst wesentlich anders (nur auf Objekte ausgerichtet). Darüber hinaus zeichnet sich die angeführte Lösung durch die spezifische Benutzerschnittstelle des Videoüberwachungssystems aus, die bestimmte Einheiten mit spezifischen Funktionen für den effizienten Betrieb des Systems aufweist.
Die erklärte technische Lösung ist sozusagen ein „umgekehrtes Problem“ im Vergleich zu den aus dem Hintergrund der Erfindung bekannten Lösungen. Das heißt, im bekannten Stand der Technik wird der Weg einer bestimmten Person/eines bestimmten Objekts bestimmt (zur Bestimmung ihrer Bewegungsbahn oder zur Verfolgung ihrer Bewegung in Echtzeit), während die erklärte Lösung im Gegenteil die Bestimmung einer bestimmten Person (oder eines Objekts/eines Fahrzeugkennzeichens) durch die angenommene Bahn ihrer Bewegung und den Zeitraum impliziert.
OFFENLEGUNG DES ERFINDUNGSWESENS
Die angegebene technische Lösung soll die Nachteile der bisherigen Technologie beseitigen und die bereits bekannten Lösungen weiterentwickeln.
Das Hauptziel dieser technischen Lösung ist es, die Fortschritte bei der Untersuchung einer Straftat mit einem Minimum an verfügbaren Ausgangsdaten zu gewährleisten. Zum Beispiel, wenn wir den Namen des Täters nicht kennen und keine Fotos von ihm (oder das Kennzeichen seines Fahrzeugs) haben, aber die Kameras kennen, in deren Sichtfeld der Täter zu einem bestimmten Zeitpunkt geraten konnte.
Das technische Ergebnis der erklärten Erfindungsgruppe besteht darin, die Effizienz der Suche nach dem Objekt von Interesse mit minimalen Anfangsdaten zu erhöhen.
Dieses technische Ergebnis wird dadurch erreicht, dass das System zur Verarbeitung von Daten aus dem Archiv das Folgende enthält: mindestens zwei Videokameras; einen Speicher, der so konfiguriert ist, dass er die Möglichkeit bietet, die von allen Videokameras des Systems stammenden Videodaten zu speichern; eine Datenbank zur Speicherung der Metadaten; eine grafische Benutzeroberfläche (GBO), die mindestens das Folgende enthält: eine Videokamera-Auswahleinheit, die es dem Systembenutzer ermöglicht, bestimmte Kameras auszuwählen, die Daten von denen verarbeitet werden sollen; eine Zeitintervall-Einstelleinheit, die es dem Systembenutzer ermöglicht, eine bestimmte Zeitspanne des Videos für die ausgewählten Kameras einzustellen; eine Suchmodus-Auswahleinheit, die es dem Systembenutzer ermöglicht, einen von drei Modi auszuwählen: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2), Objektsuchmodus (3); eine Suchmerkmaleinheit, die zum Einstellen der bekannten Merkmale des Objekts konfiguriert ist, um die Suche im Objektsuchmodus (3) durchzuführen, und eine Anzeigeeinheit, die zur Anzeige der Suchergebnisse konfiguriert ist; und das System enthält mindestens eine Datenverarbeitungseinheit, die zur Durchführung der folgenden Schritte konfiguriert ist: Dekomprimierung und Analyse von Videodaten, um Metadaten zu erzeugen, die die Daten über alle Objekte im Video charakterisieren, wobei die erwähnten Metadaten in der Systemdatenbank aufgezeichnet werden; Verarbeitung archivierter Videodaten und Suche nach ihren jeweiligen Metadaten, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat, um alle Personen oder Fahrzeugkennzeichen oder Objekte zu identifizieren, die in den von den meisten ausgewählten Videokameras empfangenen Videodaten gefunden werden, indem die Daten von verschiedenen ausgewählten Videokameras verglichen werden; Anzeige des Suchergebnisses in der Anzeigeeinheit.
Dieses technische Ergebnis wird auch durch das Verfahren zur Verarbeitung der Daten aus dem Archiv erreicht, das durch ein Computersystem implementiert wird, das mindestens ein Datenverarbeitungsgerät, eine Datenbank und einen Speicher zur Speicherung des Archivs der von allen Videokameras des Systems empfangenen Videodaten umfasst, wobei die Methode die Stufen enthält, auf denen die folgenden Operationen durchgeführt werden: Bereitstellung einer Auswahl spezifischer Videokameras des Systems für den Benutzer, deren Daten verarbeitet werden; Einstellung einer bestimmten Videozeitspanne für die ausgewählten Videokameras durch den Benutzer; Bereitstellung einer Auswahl eines Suchmodus für den Benutzer: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2) und Objektsuchmodus (3); Einstellung der bekannten Objektmerkmale durch den Benutzer zur Durchführung der Suche, wenn der Objektsuchmodus (3) ausgewählt ist; Verarbeitung archivierter Videodaten und Suche nach ihren jeweiligen Metadaten, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat, wobei die Metadaten, die die Daten über alle Objekte im Video charakterisieren, durch Dekomprimierung und Analyse der Videodaten erzeugt und in der Systemdatenbank gespeichert werden; Identifizierung aller Gesichter oder Fahrzeugkennzeichen durch Vergleich der Daten von verschiedenen ausgewählten Kameras, die in den von den meisten der ausgewählten Videokameras empfangenen Videodaten gefunden wurden; Anzeige des Suchergebnisses.
In einer einzelnen Ausführungsform der erklärten Lösung wird die Stufe der Metadatengenerierung entweder während des Systembetriebs, wenn die Videodaten in Echtzeit von den Videoüberwachungskameras empfangen werden, oder unmittelbar vor der Suche durchgeführt, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat.
In einer anderen einzelnen Ausführungsform der erklärten Lösung werden im Gesichtssuchmodus (1) alle Gesichter, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, verglichen, um alle Fälle zu identifizieren, in denen dasselbe Gesicht in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
In einer anderen einzelnen Ausführungsform der erklärten Lösung werden im Fahrzeugkennzeichen-Suchmodus (2) alle Fahrzeugkennzeichen, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, verglichen, um alle Fälle zu identifizieren, in denen dasselbe Fahrzeugkennzeichen in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
In einer anderen einzelnen Ausführungsform der erklärten Lösung werden im Objektsuchmodus (3) die folgenden Operationen durchgeführt: Suche nach allen Objekten, die die angegebenen Objektmerkmale erfüllen, und Vergleich aller Objekte, die in den Videodaten von verschiedenen ausgewählten Videokameras gefunden wurden, um alle Objekte in den Videodaten zu identifizieren, die von der größten Anzahl der ausgewählten Videokameras empfangen wurden.
In einer anderen einzelnen Ausführungsform der erklärten Lösung umfassen die Objektmerkmale das Folgende: Objekttyp, Objektfarbe, minimale Objektgröße, maximale Objektgröße.
In einer anderen einzelnen Ausführungsform der erklärten Lösung umfassen die Objekttypen das Folgende: eine Person, eine Gruppe von Personen, ein Fahrzeug oder ein verlassenes Objekt.
In einer anderen einzelnen Ausführungsform der erklärten Lösung ist die Zeitintervall-Einstelleinheit so konfiguriert, dass der Systembenutzer das Videozeitintervall für jede ausgewählte Kamera einstellen kann.
In einer anderen einzelnen Ausführungsform der erklärten Lösung enthält die grafische Benutzeroberfläche zusätzlich eine Einheit zur Einstellung des minimalen Kameraanteils, was dem Systembenutzer ermöglicht, den Anteil der ausgewählten Kameras in den Videodaten einzustellen, in Videodaten von denen das gesuchte Gesicht oder Fahrzeugkennzeichen oder Objekt vorhanden sein muss, um in die Suchergebnisse aufgenommen zu werden.
In einer anderen einzelnen Ausführungsform der erklärten Lösung ist die Kameraauswahleinheit zusätzlich so konfiguriert, dass der Systembenutzer für jede ausgewählte Videokamera die Mindestanzahl der Erscheinungen des gesuchten Gesichts oder des gesuchten Fahrzeugkennzeichens bzw. des gesuchten Objekts im Sichtbereich der Kamera einstellen kann.
In einer anderen einzelnen Ausführungsform der erklärten Lösung enthält die GBO zusätzlich die Einheit zum Aufbau der logischen Ketten, was dem Systembenutzer ermöglicht, die Sequenz der Videokameras entsprechend einer angenommenen Bewegungsbahn der gesuchten Person oder des gesuchten Fahrzeugs oder des Objekts einzustellen.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird beim Vergleich aller gefundenen Objekte jedes in den Videodaten der ersten Videokamera gefundene Objekt mit jedem Objekt jeder nachfolgenden ausgewählten Videokamera verglichen.
In einer anderen einzelnen Ausführungsform der erklärten Lösung werden die erkannten Objekte nach der mit Hilfe eines neuronalen Netzes berechneten visuellen Ähnlichkeit verglichen.
In einer anderen einzelnen Ausführungsform der erklärten Lösung enthält die GBO zusätzlich eine Einheit zur Einstellung des Ähnlichkeitsprozentsatzes der Gesichter, was dem Systembenutzer ermöglicht, einen Mindestprozentsatz der Ähnlichkeit der Gesichter einzustellen, wenn die Gesichter im Gesichtssuchmodus (1) verglichen werden, und einen Mindestprozentsatz der Ähnlichkeit von Fahrzeugkennzeichen, wenn sie im Fahrzeugkennzeichen-Suchmodus (2) verglichen werden, wobei das System, wenn der resultierende Ähnlichkeitsprozentsatz den eingestellten Mindestprozentsatz übersteigt, die Gesichter oder Fahrzeugkennzeichen als ähnlich genug betrachtet und diese in den Suchergebnissen anzeigt, und wenn dieser Prozentsatz kleiner ist, dann werden sie herausgefiltert.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird das Suchergebnis weiter mit der Datenbank verglichen, um die Person oder den Halter des gefundenen Fahrzeugs zu identifizieren.
In einer anderen einzelnen Ausführungsform der erklärten Lösung wird das Suchergebnis als Liste oder als eine Reihe von Einzelbildern angezeigt.
Dieses technische Ergebnis wird auch durch den vom Computer gelesenen Datenträger erreicht, der die Anweisungen zur Verarbeitung von Archivdaten enthält, die vom Computerprozessor durchgeführt werden.
Figurenliste

1 - Blockdiagramm des Systems zur Verarbeitung von Daten aus dem Archiv.
2 - Blockdiagramm einer der Implementierungsversionen der Methode zur Verarbeitung von Daten aus dem Archiv.

AUSFÜHRUNG DER ERFINDUNG
Im Folgenden werden die ungefähren Ausführungsformen der beantragten Erfindungsgruppe beschrieben. Die beantragte Erfindungsgruppe ist jedoch nicht nur auf diese Ausführungsformen beschränkt. Für die Fachleute wird es offensichtlich sein, dass der Umfang der angemeldeten Erfindungsgruppe auch die weiteren Ausführungsformen umfassen kann.
Die angemeldete technische Lösung in ihren verschiedenen Ausführungsformen kann in Form von Anlagen und Verfahren zur Verarbeitung von Daten aus dem Archiv, sowie auch in Form eines computerlesbaren Datenträgers ausgeführt werden.
1 zeigt das Blockdiagramm einer der Versionen zur Implementierung eines Computersystems zur Verarbeitung von Daten aus dem Archiv. Dieses System umfasst: mindestens zwei Kameras (10,..., 1n); Speicher (20); Datenbank (30); mindestens ein Datenverarbeitungsgerät (40,..., 4m); und grafische Benutzeroberfläche (50) mit: Videokamera-Auswahleinheit [b1], Zeitintervall-Einstelleinheit [b2], Suchmodus-Auswahleinheit [b3], Suchmerkmale-Einheit [b4], Einheit zur Einstellung minimales Kameraanteils [b5], Einheit der logischen Ketten [b6], Einheit zur Einstellung des Ähnlichkeitsprozentsatzes [b7] und Anzeigeeinheit [b8].
Um das Wesen der erklärten Lösung weiter zu verstehen, sollte erklärt werden, dass die grafische Benutzeroberfläche (GBO) ein System von Werkzeugen für die Interaktion des Benutzers mit der Recheneinrichtung ist, das sich auf der Darstellung aller dem Benutzer zugänglichen Systemobjekte und Funktionen in Form grafischer Bildschirmkomponenten (Fenster, Symbole, Menüs, Tasten, Listen usw.) stützt. Dabei hat der Benutzer über Datenein- und -ausgabegeräte einen direkten Zugriff auf alle sichtbaren Bildschirmobjekte - Interfaceeinheiten, die auf dem Display angezeigt werden.
Es sollte beachtet werden, dass die GBO des erklärten Systems nicht notwendigerweise alle oben genannten Einheiten enthalten muss. Daher kann die GBO alle anderen, oben nicht beschriebenen Einheiten zusätzlich oder anstelle der angegebenen Einheiten enthalten, je nach den Umständen und Benutzeranforderungen in jedem einzelnen Videoüberwachungssystem.
Das E/A -Gerät kann beispielweise Mausmanipulator, Tastatur, Touchpad, Berührstift, Joystick, Trackpad usw. sein. Das E/A -Gerät beschränkt sich aber nicht auf diese Geräte.
In diesem Zusammenhang versteht man unter Geräten alle auf Software und Hardware aufgebauten Rechengeräte, wie z.B.: Personalcomputer, Smartphones, Laptops, Tablets usw.
Das Speichergerät kann eine Festplatte (HDD), ein Flash-Speicher, ein ROM (permanenter Speicher), ein Festkörperspeicher (SSD) usw. sein. Um das Wesen der erklärten Lösung besser zu verstehen, sollte es klargestellt werden, dass der Systemspeicher ein Archiv von Videodaten speichert, die in Echtzeit von allen Videokameras des Systems kommen.
Bei der Datenbank handelt es sich um einen objektiv dargestellten Satz unabhängiger Materialien, die so systematisiert sind, dass diese Materialien mit dem Datenverarbeitungsgerät gefunden und verarbeitet werden können. Im Zusammenhang mit dieser Anwendung wurden mindestens drei Datenbanken berücksichtigt. Die erste Datenbank ist ein Teil des Systems und ist so konfiguriert, dass sie die Metadaten, die aus den analysierten Videodaten von Videoüberwachungskameras gewonnen werden, systematisch speichert. Die zweite Datenbank enthält Informationen über Personen (z.B. Personen, die bereits wegen Straftaten strafrechtlich verfolgt wurden oder die aus einem anderen Grund in die Datenbank aufgenommen wurden), die zur Identifizierung verwendet werden können. Die dritte Datenbank ist eine Fahrzeugkennzeichen-Datenbank, die Informationen über Fahrzeughalter speichert.
Die Datenverarbeitungsgerät kann ein Prozessor, ein Mikroprozessor, ein Computer (elektronischer Rechner), eine SPS (speicherprogrammierbare Steuerung) oder eine Integralschaltung sein, die dafür konfiguriert ist, um die bestimmten Befehle (Anweisungen, Programme) zur Datenverarbeitung auszuführen. Für die parallele Datenverarbeitung kann der Prozessor der Mehrkernprozessor sein.
Es sei darauf hingewiesen, dass dieses System alle anderen in diesem Stand der Technik bekannten Geräte beinhalten kann, wie z.B. E/A-Geräte, Grafikkarte (einschließlich GPU-Grafikprozessor), mehrere Sensoren usw.
Ein Beispiel für das oben erwähnte System zur Verarbeitung der Daten aus dem Archiv wird im Folgenden ausführlich beschrieben.
Derzeit ist es unmöglich, sich ein kommerzielles Gebäude (Geschäft, Bank usw.) ohne Videoüberwachungskameras vorzustellen. Darüber hinaus werden auch Wohngebäude mit immer mehr Videokameras ausgestattet. Es gibt Kameras auf den Straßen, in Parks und Gassen, in den Häusern (Eingänge und Stockwerke) usw. Schauen wir uns zum Beispiel ein Straßen-Videoüberwachungssystem eines großen Wohngebiets an, das auf seinem gesamten Territorium über Videoüberwachungskameras verfügt. Es ist zu beachten, dass eine Schutzzone von absolut jeder Fläche in Betracht gezogen werden kann.
Nehmen wir an, dass in dem betreffenden Gebiet ein Vergehen, wie z.B. ein Einbruch in ein Geschäft, stattgefunden hat. Der Täter trug eine Maske, so dass niemand sein Gesicht sehen konnte. Der Polizeibeamte befragte alle Zeugen und bildete eine Reihe von Merkmalen des Einbrechers, wie: Es war ein Mann, er hatte eine schwarze Hose und eine graue Jacke an, er trug eine Maske. Darüber hinaus gibt es auf der Grundlage der Zeugenaussagen der befragten Personen aus nahe gelegenen Gebäuden mehrere Orte, an denen eine ähnliche Person gesehen wurde, sowie eine ungefähre Zeit, zu der sie gesehen wurde. Es gibt jedoch weder das Foto noch den Namen des Täters. Dies scheint eine schwierige Aufgabe für den vorherigen Hintergrund der Erfindung zu sein, und der Täter könnte nie gefunden worden sein. Die erklärte Lösung soll helfen, die Vergehen ähnlicher Art zu untersuchen.
Zunächst gibt der Systembetreiber alle bekannten Daten über den Täter an. Zu diesem Zweck ist die grafische Benutzeroberfläche des beanspruchten Systems mit allen notwendigen Mitteln zur Datenein- und -ausgabe ausgestattet.
Mit Hilfe der Videokameraauswahleinheit [b1] spezifiziert bzw. wählt der Benutzer bestimmte Videokameras aus, in deren Sichtfeld der Täter hätte gelangen können. Darüber hinaus ist die Kameraauswahleinheit [b1] zusätzlich so konfiguriert, dass der Systembenutzer für jede ausgewählte Videokamera die Mindestanzahl der Erscheinungen des gesuchten Gesichts (bzw. des Fahrzeugkennzeichens oder des Objekts) im Sichtbereich der Kamera einstellen kann. Wenn z.B. bekannt ist, dass der Täter die Bank betreten und dann wieder verlassen hat, ist es logisch, „2“ Erscheinungen der gesuchten Person (oder des gesuchten Objekts) als Mindestanzahl der Erscheinungen für die Kamera mit dem Bankeingang in ihrem Sichtfeld anzugeben. Im Falle der Suche nach Fahrzeugkennzeichen ist diese Funktion ebenfalls nützlich. Wenn z.B. bekannt ist, dass das Fahrzeug einmal durch den Sichtbereich von Kamera A und zweimal durch den Sichtbereich von Kamera B gefahren wurde, wird es einfacher sein, das gesuchte Fahrzeug zu identifizieren. Es ist zu beachten, dass die Standardeinstellung für die Mindestzahl der Erscheinungen „1“ ist.
Als nächstes stellt der Benutzer einen bestimmten Zeitraum für das Video in der Zeitintervall-Einstelleinheit [b2] ein. In diesem Fall kann der Gesamtzeitraum für alle Kameras, z. B. für den 2. Mai 2018 von 10:00 bis 16:30 Uhr, eingestellt werden (wenn genauere Zeiträume nicht bekannt sind). Wenn es Zeugenaussagen gibt, dass der Verdächtige z.B. um 10:13 Uhr im Geschäft war, dann um etwa 10:50 Uhr in der Bank gesehen wurde, dann im Zeitraum von 11:30 bis 12:15 Uhr im Hof am Eingang gesehen wurde, woraufhin er das Haus betrat und es abends verließ, dann wird für diesen Fall die Zeitintervall-Einstelleinheit so konfiguriert, dass der Systembenutzer für jede einzelne Kamera eine eigene spezifische Zeitspanne für das Video einstellen kann.
Dann wählt der Systembenutzer mit Hilfe der Suchmodus-Auswahleinheit [b3] einen von drei möglichen Suchmodi aus: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2) oder Objektsuchmodus (3). In unserem Beispiel mit dem maskierten Täter ist es offensichtlich, dass der Systembenutzer den Objektsuchmodus wählen wird, da wir nur einen Satz der Tätermerkmale haben. Wenn jedoch bekannt ist, dass der Täter die Maske abgenommen hat, sobald er den Tatort verlassen hat, dann kann der Gesichtssuchmodus gewählt werden, um den Täter schneller zu identifizieren. Wenn der Zeitpunkt, zu dem der Täter die Maske abgenommen hat, nicht genau bekannt ist, dann ist es besser, den Suchmodus (3) zu wählen. Obwohl der Objektsuchmodus verallgemeinert ist, kann er in einigen Fällen effektiver sein. Gesichter und Zahlen können ungenau oder gar nicht erkannt werden, wenn z.B. das Objekt aufgrund großer Entfernung von der Kamera schlecht sichtbar ist. So ist es viel einfacher, die Merkmale wie die Farbe von Jacke und Hose zu erkennen. Es sollte erwähnt werden, dass der Benutzer, falls der gewählte Suchmodus keine positiven Ergebnisse liefert, einen anderen Suchmodus wählen oder die eingegebenen Daten verfeinern kann.
Für den erwähnten Objektsuchmodus (3) bietet die GBO eine Suchmerkmale-Einheit [b4], die es dem Benutzer ermöglicht, alle bekannten Merkmale des Objekts anzugeben. Zu den Objektmerkmalen gehören: Objekttyp, Objektfarbe, minimale Objektgröße, maximale Objektgröße. Zu den Objekttypen gehören: eine Person, eine Personengruppe, ein Fahrzeug oder ein verlassenes Objekt.
Bei der beschriebenen technischen Lösung erfolgt die Suche über Metadaten, um die Suche zu beschleunigen. Zu den Metadaten, die alle Objekte im Video charakterisieren, gehören mindestens die folgenden Daten:

a) einen charakteristischen Vektor, der eine Person beschreibt;
b) ein Kennzeichen eines Fahrzeugs (Auto, Motorrad usw.);
c) einen charakteristischen Vektor, der das Aussehen einer Person beschreibt;
d) alle Informationen, die es ermöglichen, das Objekt sowohl innerhalb einer oder mehrerer Videokameras als auch zu verschiedenen Zeitpunkten neu zu identifizieren.

Daher ist es notwendig, vor Beginn der Suche eine Vorbereitungsstufe durchzuführen: die Metadaten zu generieren. Zu diesem Zweck führt mindestens ein Datenverarbeitungsgerät die Dekomprimierung und Analyse der Videodaten durch. Die genannten Metadaten, die nach der Analyse gewonnen werden, werden in der Systemdatenbank gespeichert. Es ist zu beachten, dass die Stufe der Metadatengenerierung in verschiedenen Ausführungsformen der Erfindung zu unterschiedlichen Zeiten durchgeführt wird. Entweder während des Systembetriebs, wenn die Videodaten in Echtzeit von den Überwachungskameras empfangen werden (Option 1), oder kurz vor der Suche, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus gewählt hat (Option 2).
Sobald also alle erforderlichen Daten eingestellt und die Metadaten erzeugt sind, beginnt das System die Verarbeitung der archivierten Videodaten und sucht direkt nach den entsprechenden Metadaten. Es sei nochmals darauf hingewiesen, dass die Suche durchgeführt wird, nachdem der Benutzer die Videokamera ausgewählt, die Zeiträume eingestellt und den erforderlichen Suchmodus ausgewählt hat.
Der Suchzweck besteht darin, alle Personen oder Fahrzeugkennzeichen oder Objekte zu identifizieren, die in den von der größten Anzahl der ausgewählten Kameras empfangenen Videodaten erkannt wurden, indem die Daten von verschiedenen Kameras verglichen werden. Diese Stufe wird für jeden Suchmodus ausführlicher betrachtet.
Im Objektsuchmodus (3) sucht das System nach allen Objekten, die die eingestellten Objektmerkmale erfüllen. Anschließend werden alle erkannten Objekte von verschiedenen ausgewählten Kameras verglichen, um dieselben Objekte zu finden, die in den Videodaten gefunden wurden, die von der größten Anzahl ausgewählter Kameras empfangen wurden. Nehmen wir zum Beispiel an, dass der Benutzer 10 Kameras ausgewählt hat. Jede ausgewählte Kamera hat unterschiedliche Objekte in ihrem Sichtfeld. Nachdem die Suche nach den angegebenen Merkmalen durchgeführt wurde, filterte das System die meisten Objekte heraus, da sie den Suchkriterien nicht entsprechen. Die anderen Objekte werden nacheinander miteinander verglichen. Das heißt, jedes in den Video daten der ersten Kamera erkannte Objekt wird mit jedem Objekt der zweiten Kamera verglichen. Das Gleiche passiert mit jedem Objekt jeder nachfolgenden ausgewählten Kamera. Wenn das System erkennt, dass „Objekt 1“ im Sichtfeld von drei ausgewählten Kameras und „Objekt 2“ im Sichtfeld von acht Kameras zu angegebenen Zeiträumen erscheint, wird das System „Objekt 2“ als Suchergebnis ausgeben, da 8 größer als 3 ist. Das heißt, in diesem Beispiel ist „8“ die größte Anzahl der ausgewählten Kameras, in deren Sichtfeld das erforderliche Objekt gefunden wurde. Es sollte beachtet werden, dass die gefundenen Objekte anhand ihrer visuellen Ähnlichkeit verglichen werden, die mit Hilfe eines neuronalen Netzes berechnet wird.
Im Gesichtssuchmodus (1) werden alle Gesichter, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, verglichen, um alle Fälle zu identifizieren, in denen dasselbe Gesicht in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde. Dies bedeutet, dass das System alle Fälle zurückgibt, in denen dasselbe Gesicht von den meisten (aber nicht notwendigerweise allen) der ausgewählten Kameras in dem für jede Kamera festgelegten Zeitraum erkannt wurde.
Die ähnliche Situation ist im Fahrzeugkennzeichen-Suchmodus (2) zu beobachten, in dem die in den Videodaten von verschiedenen ausgewählten Videokameras erkannten Fahzeugkennzeichen verglichen werden, um alle Fälle zu identifizieren, in denen dasselbe Fahrzeugkennzeichen in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde. Das bedeutet, dass das System nach dem Fahrzeug mit demselben Kennzeichen sucht, das im Sichtfeld der meisten ausgewählten Kameras innerhalb des eingestellten Zeitraums erkannt wurde.
In einigen Ausführungsformen des erklärten Systems enthält die GBO zusätzlich eine Einheit zur Einstellung des Ähnlichkeitsprozentsatzes [b7]. Diese Einheit ermöglicht es dem Systembenutzer, den Mindestprozentsatz der Ähnlichkeit von Gesichtern beim Vergleich im Gesichtssuchmodus (1) und den Mindestprozentsatz der Ähnlichkeit von Fahrzeugkennzeichen beim Vergleich im Kennzeichensuchmodus (2) einzustellen. Wenn der resultierende Ähnlichkeitsprozentsatz den eingestellten Mindestprozentsatz überschreitet, geht das System davon aus, dass die Gesichter oder die Kennzeichen ausreichend ähnlich sind und zeigt sie in den Suchergebnissen an, und wenn dieser Prozentsatz kleiner ist - filtert es sie heraus.
Um die Systemgenauigkeit zu erhöhen und fehlerhafte Ergebnisse zu vermeiden, kann die GBO zusätzlich eine Einheit zur Einstellung des Kameramindestanteils enthalten [b5]. Mit dieser Einheit stellt der Systembenutzer den Anteil der ausgewählten Kameras ein, deren Videodaten das gesuchte Gesicht (oder die Fahrzeugkennzeichen oder das Objekt) enthalten sollten, damit diese Daten in die Suchergebnisse aufgenommen werden. D.h., wenn 10 Kameras ausgewählt werden, kann der Benutzer den Mindestanteil von 7 einstellen, d.h. wenn das Objekt (Gesicht, Fahrzeugkennzeichen) innerhalb des eingestellten Zeitraums im Sichtfeld von mindestens sieben Kameras erscheint, reicht es aus, um dieses Objekt in die Suchergebnisse aufzunehmen. Das heißt, wenn das Objekt im Sichtfeld von sieben oder mehr von zehn möglichen Kameras erscheint, wird dieses Objekt in den Suchergebnissen angezeigt.
Um die Suchgenauigkeit und die gesamte Systemleistung zu verbessern, kann die GBO zusätzlich die Einheit für den Aufbau der logischen Ketten enthalten [b6]. Diese Einheit ermöglicht es dem Systembenutzer, die Sequenz der Videokameras entsprechend der vermuteten Bewegungsbahn der gesuchten Gesichts (oder des Fahrzeugkennzeichens oder des Objekts) einzustellen. So wissen wir beispielsweise sicher, dass das Objekt zuerst in Kamera 1 (in der Nähe des U-Bahn-Ausgangs), dann in Kamera 2 (ging in den Laden) erschien, dann die Kamera 3 oder Kamera 4 oder Kamera 5 vorbeigegangen ist (ging in einen der Eingänge eines bestimmten Hauses hinein; der genaue Eingang ist unbekannt). Die Objekte, die in einer anderen Reihenfolge im Sichtbereich der ausgewählten Kameras erscheinen, werden nicht in die Suchergebnisse aufgenommen. Im obigen Beispiel kann der Benutzer auch den Mindestanteil der Kameras auf „3“ von den fünf ausgewählten Kameras und die Mindestanzahl der Erscheinungen für die Kamera 2 auf „2“ setzen (da das Objekt das Geschäft betreten und verlassen hat).
Die letzte Stufe des Systembetriebs ist die Ausgabe der Suchergebnisse mit Hilfe der GBO-Anzeigeeinheit [b8]. Die Suchergebnisse werden entweder als eine Reihe von Einzelbildern, die die Objekte (oder Gesichter oder Nummern) zeigen, oder als Liste angezeigt. Wenn die Ergebnisse als Liste angezeigt werden, kann der Benutzer auf die Zeile jedes Ergebnisses klicken, um alle Informationen über das gefundene Objekt (oder die Gesichter oder die Fahrzeugkennzeichen) anzuzeigen.
Im Gesichtssuchmodus (1) und im Fahrzeugkennzeichen-Suchmodus (2) kann das Suchergebnis mit einer Datenbank verglichen werden, sobald der Systembetrieb abgeschlossen ist. Wenn das Suchergebnis beispielsweise ein Einzelbild mit der gesuchten Person darin ist, kann dieses Bild mit einer Personendatenbank verglichen werden, um die gefundene Person zu identifizieren und alle über sie bekannten Daten zu erhalten. Wenn das Suchergebnis ein Fahrzeugkennzeichen ist, kann dieses ebenfalls mit einer Datenbank von Fahrzeugkennzeichen verglichen werden, um den Fahrzeughalter zu identifizieren.
Wie man sehen kann, ist es durch die Durchführung einer Suche unter Verwendung des erklärten Systems in seinen verschiedenen Ausführungsformen möglich, erhebliche Fortschritte bei der Untersuchung zu erzielen und den Täter innerhalb kürzester Zeit zu identifizieren. Darüber hinaus ist anzumerken, dass das System eine hohe Geschwindigkeit und Genauigkeit der Suche (erhöhte Effizienz) unter Berücksichtigung der minimal verfügbaren Ausgangsdaten bietet.
2 zeigt ein Blockdiagramm einer der Ausführungsformen der Methode zur Verarbeitung von Daten aus dem Archiv. Diese Methode wird von einem Computersystem ausgeführt, das mindestens ein Datenverarbeitungsgerät, eine Datenbank und einen Speicher umfasst, in dem das Archiv der von allen Videokameras im System empfangenen Videodaten gespeichert wird. Dabei enthält die Methode die Stufen, auf denen die folgenden Aktionen vorgenommen werden:
(100) Bereitstellung einer Auswahl spezifischer Videokameras des Systems für den Benutzer, deren Daten verarbeitet werden;
(200) Einstellung einer bestimmten Videozeitspanne für die ausgewählten Videokameras durch den Benutzer;
(300) Bereitstellung einer Auswahl eines Suchmodus für den Benutzer: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2) und Objektsuchmodus (3);
(400) Einstellung der bekannten Objektmerkmale durch den Benutzer zur Durchführung der Suche, wenn der Objektsuchmodus (3) ausgewählt ist;
(500) Verarbeitung archivierter Videodaten und Suche nach ihren jeweiligen Metadaten, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat, wobei die Metadaten, die die Daten über alle Objekte im Video charakterisieren, durch Dekomprimierung und Analyse der Videodaten erzeugt und in der Systemdatenbank gespeichert werden;
(600) Identifizierung aller Gesichter oder Fahrzeugkennzeichen durch Vergleich der Daten von verschiedenen ausgewählten Kameras, die in den von den meisten der ausgewählten Videokameras empfangenen Videodaten gefunden wurden;
(700) Anzeige des Suchergebnisses. Es sollte noch einmal beachtet werden, dass diese Methode mit Hilfe der oben beschriebenen Geräte zur Verarbeitung von Daten aus dem Archiv implementiert wird und daher durch alle gleichen einzelnen oben beschriebenen Ausführungsformen zur Verwendung des Systems zur Verarbeitung von Daten aus dem Archiv erweitert und verfeinert werden kann.
Die Stufen (100)-(400) werden vom Systembenutzer mit Hilfe von spezialisierten GBO-Mitteln (Einheiten) durchgeführt. Alle vom Benutzer eingegebenen Daten werden von mindestens einem Datenverarbeitungsgerät weiter verwendet, um die nachfolgenden Stufen (500)-(700) automatisch durchzuführen und die gewünschten Suchergebnisse zu erhalten.
Darüber hinaus können die Ausführungsvariante dieser Erfindungsgruppe mit Software, Hardware, Softwarelogik oder eine Kombination von ihnen aufgebaut werden. In diesem Beispiel wird die Softwarelogik, Software oder der Anweisungsatz auf einem oder mehreren verschiedenen traditionellen computerlesbaren Datenträger gespeichert.
In dieser Beschreibung bedeutet ein „computerlesbarer Datenträger“ jedes Medium oder Mittel, das Anweisungen zu deren Verwendung (Durchführung) durch ein Computersystem, wie beispielsweise einen Computer, enthalten, speichern, übertragen, verbreiten oder transportieren kann. Dabei kann der Datenträger ein energieunabhängiger, maschinenlesbarer Datenträger sein.
Bei Bedarf kann zumindest ein Teil der verschiedenen in der Beschreibung dieser Lösung beschriebenen Vorgänge in einer anderen Reihenfolge und/oder gleichzeitig durchgeführt werden.
Obwohl diese technische Lösung für Vorstellung der derzeit aktuellsten und bevorzugten Ausführungsformen ausführlich beschrieben wurde, ist es zu beachten, dass diese Erfindung nicht auf die offenbarten Ausführungsvarianten beschränkt ist und darüber hinaus für Modifikation und Erstellung verschiedener anderer Kombinationen der Merkmalen von beschriebenen Ausführungsformen gedacht ist. Man muss beispielsweise verstehen, dass diese Erfindung davon ausgeht, dass, soweit möglich, ein oder mehrere Merkmale einer Ausführungsvariante mit einem oder mehreren Merkmalen einer anderen Ausführungsvariante kombiniert werden können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9615064 [0007]

Claims

System zur Verarbeitung von Daten aus dem Archiv enthält: mindestens zwei Videokameras; den Speicher, der die Möglichkeit bietet, die von oben genannten Videokameras empfangenen Videodaten zu speichern; die Datenbank zur Metadatenspeicherung; die grafische Benutzeroberfläche (GBO), die mindestens das Folgende enthält: eine Videokamera-Auswahleinheit, die es dem Systembenutzer ermöglicht, bestimmte Kameras auszuwählen, die Daten von denen verarbeitet werden sollen; eine Zeitintervall-Einstelleinheit, die es dem Systembenutzer ermöglicht, eine bestimmte Zeitspanne des Videos für die ausgewählten Kameras einzustellen; eine Suchmodus-Auswahleinheit, die es dem Systembenutzer ermöglicht, einen von drei Modi auszuwählen: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2), Objektsuchmodus (3); eine Suchmerkmaleinheit, die zum Einstellen der bekannten Merkmale des Objekts konfiguriert ist, um die Suche im Objektsuchmodus (3) durchzuführen, und eine Anzeigeeinheit, die zur Anzeige der Suchergebnisse konfiguriert ist; mindestens ein Datenverarbeitungsgerät, das für die Durchführung der folgenden Stufen konfiguriert ist: Dekomprimierung und Analyse von Videodaten, um Metadaten zu erzeugen, die die Daten über alle Objekte im Video charakterisieren, wobei die erwähnten Metadaten in der Systemdatenbank aufgezeichnet werden; Verarbeitung archivierter Videodaten und Suche nach ihren jeweiligen Metadaten, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat, um alle Personen oder Fahrzeugkennzeichen oder Objekte zu identifizieren, die in den von den meisten ausgewählten Videokameras empfangenen Videodaten gefunden werden, indem die Daten von verschiedenen ausgewählten Videokameras verglichen werden, Anzeige des Suchergebnisses in der Anzeigeeinheit.
Das System nach Anspruch 1, in dem die Stufe der Metadatengenerierung entweder während des Systembetriebs, wenn die Videodaten in Echtzeit von den Videoüberwachungskameras empfangen werden, oder unmittelbar vor der Suche durchgeführt wird, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat.
Das System nach Anspruch 2, in dem alle Gesichter, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, im Gesichtssuchmodus (1) verglichen werden, um alle Fälle zu identifizieren, in denen dasselbe Gesicht in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
Das System nach Anspruch 2, in dem alle Fahrzeugkennzeichen, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, im Fahrzeugkennzeichen-Suchmodus (2) verglichen werden, um alle Fälle zu identifizieren, in denen dasselbe Fahrzeugkennzeichen in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
Das System nach Anspruch 2, in dem die folgenden Aktionen im Objektsuchmodus (3) durchgeführt werden: Suche nach allen Objekten, die den angegebenen Objektmerkmalen entsprechen, und Vergleich aller Objekte, die in Videodaten verschiedener ausgewählter Kameras gefunden wurden, um alle Objekte zu identifizieren, die in von der größten Anzahl ausgewählter Kameras erhaltenen Videodaten gefunden wurden.
Das System nach Anspruch 5, in dem die Objektmerkmale das Folgende umfassen: Objekttyp, Objektfarbe, minimale Objektgröße, maximale Objektgröße.
Das System nach Anspruch 6, in dem die Objekttype das Folgende umfassen: Person, Personengruppe, Fahrzeug oder verlassenes Objekt.
Das System nach beliebigem der Ansprüche 1-5, in dem in dem die Zeitintervall-Einstelleinheit so konfiguriert ist, dass der Systembenutzer die Videozeitperiode für jede ausgewählte Kamera einstellen kann.
Das System nach beliebigem der Ansprüche 1-5, in dem die grafische Benutzeroberfläche zusätzlich eine Einheit zur Einstellung des minimalen Kameraanteils enthält, was dem Systembenutzer ermöglicht, den Anteil der ausgewählten Kameras in den Videodaten einzustellen, in Videodaten von denen das gesuchte Gesicht oder Fahrzeugkennzeichen oder Objekt vorhanden sein muss, um in die Suchergebnisse aufgenommen zu werden.
Das System nach beliebigem der Ansprüche 1-5, in dem die Videokamera-Auswahleinheit zusätzlich so konfiguriert ist, dass der Systembenutzer für jede ausgewählte Videokamera die Mindestanzahl der Erscheinungen des gesuchten Gesichts oder des gesuchten Fahrzeugkennzeichens bzw. des gesuchten Objekts im Sichtbereich der Kamera einstellen kann.
Das System nach beliebigem der Ansprüche 1-5, in dem die GBO zusätzlich die Einheit zum Aufbau der logischen Ketten enthält, was dem Systembenutzer ermöglicht, die Sequenz der Videokameras entsprechend einem angenommenen Bewegungspfad der gesuchten Person oder des gesuchten Fahrzeugs oder des Objekts einzustellen.
Das System nach beliebigem der Ansprüche 5-7, in dem beim Vergleich aller gefundenen Objekte jedes in den Videodaten der ersten Videokamera gefundene Objekt mit jedem Objekt jeder nachfolgenden ausgewählten Videokamera verglichen wird.
Das System nach beliebigem der Ansprüche 5-7, in dem die erkannten Objekte nach der mit Hilfe eines neuronalen Netzes berechneten visuellen Ähnlichkeit verglichen werden.
Das System nach beliebigem der Ansprüche 1-4, 8-11, in dem die GBO zusätzlich eine Einheit zur Einstellung des Ähnlichkeitsprozentsatzes der Gesichter enthält, was dem Systembenutzer ermöglicht, einen Mindestprozentsatz der Ähnlichkeit der Gesichter einzustellen, wenn die Gesichter im Gesichtssuchmodus (1) verglichen werden, und einen Mindestprozentsatz der Ähnlichkeit von Fahrzeugkennzeichen, wenn sie im Fahrzeugkennzeichen-Suchmodus (2) verglichen werden, wobei das System, wenn der resultierende Ähnlichkeitsprozentsatz den eingestellten Mindestprozentsatz übersteigt, die Gesichter oder Fahrzeugkennzeichen als ähnlich genug betrachtet und diese in den Suchergebnissen anzeigt, und wenn dieser Prozentsatz kleiner ist, dann werden sie herausgefiltert.
Das System nach beliebigem der Ansprüche 1-4, 14, in dem das Suchergebnis weiter mit der Datenbank verglichen wird, um die Person oder den Halter des gefundenen Fahrzeugs zu identifizieren.
Das System nach beliebigem der Ansprüche 1-5, in dem das Suchergebnis als Liste oder als eine Reihe von Einzelbildern angezeigt wird.
Die Methode zur Verarbeitung von Archivdaten, das von einem Computersystem implementiert wird, bestehend aus mindestens einem Datenverarbeitungsgerät, einer Datenbank und einem Speicher, der ein von allen Videokameras des Systems erhaltenen Videodatenarchiv speichert, wobei die Methode die Stufen enthält, auf denen die folgenden Operationen durchgeführt werden: Bereitstellung einer Auswahl spezifischer Videokameras des Systems für den Benutzer, deren Daten verarbeitet werden, Einstellung einer bestimmten Videozeitspanne für die ausgewählten Videokameras durch den Benutzer; Bereitstellung einer Auswahl eines Suchmodus für den Benutzer: Gesichtssuchmodus (1), Fahrzeugkennzeichen-Suchmodus (2) und Objektsuchmodus (3); Einstellung der bekannten Objektmerkmale durch den Benutzer zur Durchführung der Suche, wenn der Objektsuchmodus (3) ausgewählt ist; Verarbeitung archivierter Videodaten und Suche nach ihren jeweiligen Metadaten, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat, wobei die Metadaten, die die Daten über alle Objekte im Video charakterisieren, durch Dekomprimierung und Analyse der Videodaten erzeugt und in der Systemdatenbank gespeichert werden; Identifizierung aller Gesichter oder Fahrzeugkennzeichen durch Vergleich der Daten von verschiedenen ausgewählten Kameras, die in den von den meisten der ausgewählten Videokameras empfangenen Videodaten gefunden wurden; Anzeige des Suchergebnisses.
Die Methode nach Anspruch 17, in der die Stufe der Metadatengenerierung entweder während des Systembetriebs, wenn die Videodaten in Echtzeit von den Videoüberwachungskameras empfangen werden, oder unmittelbar vor der Suche durchgeführt wird, nachdem der Benutzer die Videokameras ausgewählt, die Zeiträume eingestellt und den Suchmodus ausgewählt hat.
Das ie Methode nach Anspruch 18, in der alle Gesichter, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, im Gesichtssuchmodus (1) verglichen werden, um alle Fälle zu identifizieren, in denen dasselbe Gesicht in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
Die Methode nach Anspruch 18, in der alle Fahrzeugkennzeichen, die in den Videodaten von verschiedenen ausgewählten Videokameras erkannt wurden, im Fahrzeugkennzeichen-Suchmodus (2) verglichen werden, um alle Fälle zu identifizieren, in denen dasselbe Fahrzeugkennzeichen in den Videodaten der größten Anzahl der ausgewählten Videokameras erkannt wurde.
Die Methode nach Anspruch 18, in der die folgenden Aktionen im Objektsuchmodus (3) durchgeführt werden: Suche nach allen Objekten, die den angegebenen Objektmerkmalen entsprechen, und Vergleich aller Objekte, die in Videodaten verschiedener ausgewählter Kameras gefunden wurden, um alle Objekte zu identifizieren, die in von der größten Anzahl ausgewählter Kameras erhaltenen Videodaten gefunden wurden.
Die Methode nach Anspruch 21, in der die Objektmerkmale das Folgende umfassen: Objekttyp, Objektfarbe, minimale Objektgröße, maximale Objektgröße.
Die Methode nach Anspruch 22, in der die Objekttype das Folgende umfassen: Person, Personengruppe, Fahrzeug oder verlassenes Objekt.
Die Methode nach beliebigem der Ansprüche 17-21, in der der Systembenutzer das Videozeitintervall für jede ausgewählte Kamera einstellen kann.
Die Methode nach beliebigem der Ansprüche 17-21, in der der Benutzer den Anteil der ausgewählten Kameras in den Videodaten einstellen kann, in Videodaten von denen das gesuchte Gesicht oder Fahrzeugkennzeichen oder Objekt vorhanden sein muss, um in die Suchergebnisse aufgenommen zu werden.
Die Methode nach beliebigem der Ansprüche 17-21, in der der Systembenutzer für jede ausgewählte Videokamera die Mindestanzahl der Erscheinungen des gesuchten Gesichts oder des gesuchten Fahrzeugkennzeichens bzw. des gesuchten Objekts im Sichtbereich der Kamera einstellen kann.
Die Methode nach beliebigem der Ansprüche 17-21, in der der Systembenutzer die Sequenz der Videokameras entsprechend einer angenommenen Bewegungsbahn der gesuchten Person oder des gesuchten Fahrzeugs oder des Objekts einstellen kann.
Die Methode nach beliebigem der Ansprüche 21-23, in der beim Vergleich aller gefundenen Objekte jedes in den Videodaten der ersten Videokamera gefundene Objekt mit jedem Objekt jeder nachfolgenden ausgewählten Videokamera verglichen wird.
Die Methode nach beliebigem der Ansprüche 21-23, in der die erkannten Objekte nach der mit Hilfe eines neuronalen Netzes berechneten visuellen Ähnlichkeit verglichen werden.
Die Methode nach beliebigem der Ansprüche 17-20, 24-27, in der der Systembenutzer den Mindestprozentsatz der Ähnlichkeit von Gesichtern beim Vergleich im Gesichtssuchmodus (1) und den Mindestprozentsatz der Ähnlichkeit von Fahrzeugkennzeichen beim Vergleich im Kennzeichensuchmodus (2) einstellen kann, wobei das System, wenn der resultierende Ähnlichkeitsprozentsatz den eingestellten Mindestprozentsatz übersteigt, die Gesichter oder Fahrzeugkennzeichen als ähnlich genug betrachtet und diese in den Suchergebnissen anzeigt, und wenn dieser Prozentsatz kleiner ist, dann werden sie herausgefiltert.
Die Methode nach beliebigem der Ansprüche 17-20, 30, in der das Suchergebnis weiter mit der Datenbank verglichen wird, um die Person oder den Halter des gefundenen Fahrzeugs zu identifizieren.
Die Methode nach beliebigem der Ansprüche 17-22, in der das Suchergebnis als Liste oder als eine Reihe von Einzelbildern angezeigt wird.
Ein computerlesbares Datenträger, der vom Computerprozessor ausführbare Anweisungen zur Verarbeitung von Archivdaten nach beliebigem der Ansprüche 17-32 enthält.