DE102013217570A1 - Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen - Google Patents
Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen Download PDFInfo
- Publication number
- DE102013217570A1 DE102013217570A1 DE201310217570 DE102013217570A DE102013217570A1 DE 102013217570 A1 DE102013217570 A1 DE 102013217570A1 DE 201310217570 DE201310217570 DE 201310217570 DE 102013217570 A DE102013217570 A DE 102013217570A DE 102013217570 A1 DE102013217570 A1 DE 102013217570A1
- Authority
- DE
- Germany
- Prior art keywords
- vehicle
- cluster
- images
- threshold
- motion vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
- Die vorliegende Erfindung betrifft ein System und ein Verfahren zur automatisierten Durchsetzung der Straßenverkehrsvorschriften auf Videobasis, die auf der Grundlage von Bewegungsvektordaten, die die in der erfassten Szene ersichtlichen Bewegungen beschreiben, funktionieren. Die vorliegende Erfindung findet bei der Bekämpfung von Stoppsignalverstößen Anwendung. Die Ausführungsformen sind jedoch auch sonstige ähnliche Anwendungen anpassbar.
- Stoppsignale werden in Bereichen eingeführt, wo einander entgegengesetzte Bewegungen im Straßenverkehr zur Entstehung einer Unfallgefahr führen. Die Einhaltung der Signale wird auf verschiedenerlei Weisen gewährleistet.
- In einer Technologie wird – wie in
1 gezeigt – eine Induktionsschleife verwendet, die mit der Kamera kommuniziert. Eine erste schleife löst das Vorhandensein eines Fahrzeugs aus; eine zweite erkennt einen Verstoß. Beide Schleifen werden in rascher Folge aktiviert, wenn die Ampel rot wird; zu diesem Zeitpunkt nimmt die Kamera ein Bild der Szene auf. Das Bild wird dem verkehrspolizeilichen Personal als sichtbare Dokumentation eines Verstoßes zur Verfügung gestellt. Weitere Systeme berechnen ferner, ob das Fahrzeug vollständig gehalten hat, indem eine Bilderfolge verarbeitet wird. - Herkömmliche Kameras, die zur Überwachung der Verkehrsflüsse und der Einhaltung von Ampeln eingesetzt werden, können eine Vielzahl Überwachungsaufgaben unterstützen. Diese Kameras sind geeignet, die Bilddaten mittels Bildkompression einer dezentralen Kontrollstelle übermittelt.
- Das Verfahren zur Übermittlung der Bilddaten an die Kontrollstelle ist jedoch ineffizient. Das zugrundeliegende Kommunikationsnetzwerk unterliegt Bandbreitengrenzen, die die Verwendung von Videokompressionsverfahren auf der Kameraseite und vor der Übertragung erforderlich machen. Die komprimierten Daten einer ganzen Videosequenz werden der zentralen Kontrollstelle übermittelt, wo die ganzen Bilddaten entkomprimiert und analysiert werden. Dieses Verfahren zur Ausführung der Videoanalyse am unkomprimierten Video kann zu einer erhöhten Datenverarbeitungslast führen. Eine Reduktion der Rechenzeit und der dazu erforderlichen Ressourcen ist deshalb wünschenswert.
- Die vorliegende Erfindung ermöglicht eine effizientere Nutzung der Videodaten dadurch, dass in einem überwachten Bereich ein Rechtsverletzer gleichzeitig mit der Kompression der erfassten Bilddaten ermittelt wird.
-
1 zeigt ein herkömmliches multimodulares Durchsetzungssystem gemäß dem STAND DER TECHNIK. -
2 ist ein Überblick des erfindungsgemäßen Systems. -
3 ist eine schematische Darstellung eines Durchsetzungssystems gemäß einer Ausführungsform. -
4 ist ein Flussdiagramm eins Verfahrens400 zur Bekämpfung von Ampelverstößen. -
5A zeigt ein in einem blockorientierten Ansatz zur Erzeugung von Bewegungsvektoren verwendetes Referenzbild. -
5B zeigt ein in einem blockorientierten Ansatz zur Erzeugung von Bewegungsvektoren verwendetes aktuelles Bild. -
6A zeigt ein Referenzbild, das in einem Suchfenster einen Referenzblock enthält. -
6B zeigt ein aktuelles Bild, das einen Zielblock in einem dem Suchfenster der6a entsprechenden Bereich enthält. -
6C zeigt ein zwischen dem Referenzbild der6A und dem Zielbild der6B erzeugtes Bewegungsfeld. -
6D zeigt ein vorhergesagtes Bild, das sich aus dem Zusammenspleißen der am besten übereinstimmenden Referenzblöcke ergibt. -
7A –7C zeigen einen Standort des definierten Zielbereichs, der in Verbindung mit den für ein aktuelles Bild erzeugten Bewegungsvektoren verwendet wird, um die Erkennung eines Fahrzeugs auszulösen. -
8 ist eine schematische Darstellung eines Durchsetzungssystems zur Verarbeitung der komprimierten Daten in einem Serverrechner. - Die vorliegende Erfindung betrifft ein System und ein Verfahren zur automatisierten Durchsetzung der Straßenverkehrsvorschriften auf Videobasis. Das System kann innerhalb eines komprimierten Videostroms funktionieren, indem es Bewegungsvektoren im Rahmen von Kompressionsschritten erzeugt und verarbeitet, die der Übertragung und/oder Speicherung des komprimierten Datenstroms vorausgehen. In anderen Ausführungsformen wird die Verwendung von Bewegungsvektoren vorgesehen, die aus dem optischen Fluss von Prozessen und der Berechnung von Merkmalsübereinstimmungen extrahiert werden. Im Einzelnen codiert die vorliegende Erfindung ausgewählte Daten gleichzeitig mit der Kompression von Bilddaten in einer Kamera, und untersucht die komprimierten Daten zur Erkennung des Vorliegens eines Verstoßes gegen die Straßenverkehrsvorschriften, was einen effizienten Verstoßdatenabruf im Wege der unabhängigen Codierung von Bildern, in denen Verstöße vorkomme, und/oder die Durchsetzung der Verkehrsvorschriften ermöglicht.
- Einen Überblick der vorliegenden Erfindung zeigt
2 . Eine Verkehrsüberwachungskamera20 erfasst Videoaufnahmen eines interessierenden Bereichs. In dieser Ausführungsform umfasst der Bereich eine Straße, die zu einer Kreuzung führt, die von einem Stoppindikator kontrolliert wird. Die Befolgung des Stoppindikators erfolgt im Rahmen eines vorliegend beschriebenen Videokompressionsverfahrens22 . Generell werden Daten über einen erkannten Verstoß als Metadaten in einen komprimierten Videostrom24 eingebettet. Im Einzelnen wird ein virtueller Zielbereich, der sich über einen mit dem Stoppindikator in Verbindung stehenden Bereich erstreckt, innerhalb des Sichtfeldes der Kamera festgelegt. Die Kamera erfasst bei der Überwachung des Zielbereichs eine Folge von Bildern. Im Steuerelement der Kamera werden Bewegungsvektoren zwischen angrenzenden Bildern mithilfe des eingehenden, unkomprimierten Live-Videostroms bestimmt. Es handelt sich hierbei um Vektoren der Art, die zur Videokompression verwendet werden können. Ein Cluster aus Bewegungsvektoren wird verwendet, um ein sich über den Zielbereich bewegendes Fahrzeug zu erkennen. Die Schwellen werden auf das Cluster angewendet, um zu ermitteln, wann das erkannte Fahrzeug innerhalb des Bereichs des Stoppindikators gehalten hat. Für einen erkannten Verstoß werden relevante Daten als Metadaten in den komprimierten Videostrom eingebettet. Der komprimierte Videostrom wird mittels eines Netzwerks26 einer Datenbank28 und oder einem Benutzergerät bzw. verkehrspolizeilichen Server zugesendet. -
3 ist ein funktionelles Blockdiagramm eines Durchsetzungssystems100 gemäß einer Ausführungsform. Das System100 kann einen in einem Rechner104 enthaltenen Videoprozessor102 , ein Videoerfassungsgerät ("Kamera") in dem zu überwachenden Bereich sowie ein in einem Benutzergerät108 enthaltenes Verstoßbekämpfungsgerät106 , einen Computer an einem Benutzerstandort und einen Server umfassen, die über Kommunikationsverbindungen110 miteinander verbunden sind und vorliegend als Netzwerk bezeichnet werden. Diese Komponenten werden weiter unten näher beschrieben. - Die in
3 gezeigte Vorrichtung102 umfasst einen Prozessor112 , der den Gesamtbetrieb der Vorrichtung102 unter Ausführung der im mit dem Prozessor112 verbundenen Speicher114 gespeicherten Verarbeitungsbefehle steuert. - Die vorliegend beschriebenen Verfahren zur Erzeugung von Vektoren und Verfolgung von Clustern werden vom Prozessor
112 nach den im Speicher114 gespeicherten Befehlen ausgeführt. Insbesondere speichert der Speicher114 das Videoerfassungsmodul116 , welches eine Reihe zeitlich miteinander in Verbindung stehender Bilder erfasst; das Bewegungsvektoren-Extraktionsmodul118 , welches ein Cluster aus Bewegungsvektoren mit einem Fahrzeug in Verbindung bringt und einen Standort des Clusters über zwei oder mehr Bilder verfolgt; und das Verstoßbestimmungsmodul120 , welches anhand der Verfolgungsergebnisse ermittelt, ob das Fahrzeug im Zielbereich hält. - Vorrichtung
106 - Die Vorrichtung
102 umfasst ferner eine oder mehrere Kommunikationsschnittstellen (I/O), Netzwerkschnittstellen122 zum Kommunizieren mit externen Geräten sowie das Benutzergerät108 . Die verschiedenen Hardwarekomponenten112 ,114 ,112 der Vorrichtung102 können alle über einen Bus124 miteinander verbunden werden. - Weiterhin unter Bezugnahme auf
3 umfasst die Vorrichtung103 ein Speichergerät126 , das zur Vorrichtung102 gehört oder damit kommuniziert. Gemäß einer Ausführungsform kann sich die Vorrichtung102 mit einem Server (nicht dargestellt) in Kommunikation befinden, der den Speichergerät126 zum Speichern von Verkehrsregeln127 und/oder eine Datenbank komprimierter Videos128 (z.B. zur Verarbeitung vorher komprimierter Daten, die in der Datenbank gespeichert sind) enthält. - Die Vorrichtung
102 des Systems100 befindet sich mit der Vorrichtung106 über die Verbindung110 in einer Kommunikationsverbindung. Die Vorrichtung106 umfasst einen Prozessor130 sowie einen Speicher132 und/oder kann auf einen Speicher126 zum Speichern vom Prozessor130 ausführbarer Softwaremodule zugreifen. Der Speicher132 speichert softwarebefehle zur Ausführung optionaler benutzerseitiger Teile des in4 dargestellten Verfahrens. Insbesondere können die Befehle ein Verstoßerkennungsmodul134 , das die komprimierten Videodaten von der Vorrichtung102 empfangen und diese entkomprimieren kann, um zu ermitteln, ob das Fahrzeug im Zielbereich hält. Das Modul134 kann feststellen, dass das Fahrzeug einen Stoppindikator nicht befolgt und eine Verstoßnachricht erzeugen. Ein Verstoßbekämpfungsmodul136 kann die entkomprimierten Daten verarbeiten, um Daten, z.B. amtliches Kennzeichen und Fahrzeugbauart, usw., zu erzeugen, die einem Benutzer zur Verfügung gestellt werden können und/oder zur Ausstellung eines Strafzettels verwendet werden können. Diese Module134 ,136 werden nachfolgend unter Bezugnahme auf das Verfahren beschrieben. Die Vorrichtung106 umfasst ferner eine Kommunikationsschnittstelle (I/O)138 , insbesondere zur verkabelten oder drahtlosen Kommunikation mit der Vorrichtung102 geeignete Hardwaregeräte und/oder Software umfasst. Der Speicher132 , Prozessor130 und die Kommunikationsschnittstelle138 sind über einen Bus140 kommunikativ miteinander verbunden. - Weiterhin unter Bezugnahme auf
3 ist das Benutzergerät108 der Vorrichtung106 über eine verkabelte oder drahtlose Verbindung mit einer Benutzerfläche (GUI)142 kommunikativ verbunden. In verschiedenen Ausführungsformen kann die Benutzeroberfläche142 ein oder mehrere von einer Anzeigevorrichtung zur Anzeige von Daten an den Benutzer, einem Video- und/oder Standbildschirm zur Anzeige des verstoßenden Fahrzeugs zur Beurteilung durch den Benutzer (Polizeibeamter oder -behörde)143 umfassen. Die Benutzeroberfläche142 kann ferner ein Eingabegerät (Touchscreen oder ähnliches Bildschirmgerät) zur Eingabe von Befehlen und/oder zum Empfang einer vom Benutzer eingegebenen Bestätigung oder Korrektur und/oder ein Zeigersteuergerät (Maus, Rollkugel, usw.) zur Übermittlung der vom Benutzer eingegebenen Daten und Befehle an den Prozessor130 umfassen. Im Einzelnen umfasst die Benutzeroberfläche142 mindestens eines von einem Eingabe- und Ausgabegerät, die jeweils Hardware umfassen und mit der Vorrichtung106 über verkabelte und/oder drahtlose Verbindungen kommunikativ verbunden sind. - Das System
100 und im Einzelnen die Vorrichtung102 kann mit einem Stoppsignal144 , Ampel oder einer sonstigen automatischen Vorrichtung in einem überwachten Bereich wie z.B. Mauthäuschen verknüpft sein. Im Falle einer Ampel kann die Kamera aktiviert werden, um eine Szene zu erfassen (d.h. zur Ausführung des Verstoßerkennungsverfahrens), wenn die Ampel rot ist. Zur Aktivierung ist es erforderlich, daß Ampelsteuerung und Kamera miteinander kommunizieren. Jedes Gerät144 kann einen Trigger146 , einen Timer, der ein Signal an die Vorrichtung102 zur Erfassung der betrachteten Szene ausgibt, z.B. wenn sich die Ampelfarbe ändert oder wenn Straßenschilder unter bestimmten Umständen beleuchtet werden oder blinken. Werden mehrere Fahrbahnen von unterschiedlichen Ampeln kontrolliert, kann die Überwachung jedes virtuellen Zielbereichs je nach dem Zustand der jeweiligen Ampel unabhängig aktiviert werden. - Der Speicher
114 ,140 ,152 kann ein materielles computerlesbares Medium einer beliebigen Art sein (z.B. RAM, ROM, Magnetscheibe oder -band, Bildplatte, Flash-Speicher oder holographischer Speicher). Gemäß einer Ausführungsform können die Speicher114 ,126 ,132 jeweils eine Kombination aus RAM und ROM umfassen. Die digitalen Prozessoren112 ,130 können jeweils in verschiedenen Gestalten vorliegen, wie z.B. als Einzel- oder Doppelkernprozessor (oder noch allgemeiner als Mehrkernprozessor), digitaler Prozessor in Zusammenwirkung mit einem mathematischen Koprozessor, digitales Steuerelement oder dgl. Die digitalen Prozessoren112 ,130 steuern den Betrieb der jeweiligen Vorrichtung102 oder106 und führen darüber hinaus die im Speicher114 ,132 gespeicherten Befehle aus, um Teile des unten beschriebenen Verfahrens auszuführen. - Die Softwaremodule umfassen im hiesigen Sinne eine beliebige Reihe von der Vorrichtung
102 oder dem Erfassungssystem106 ausführbarer Befehle zur Konfiguration des Computers oder sonstigen digitalen Systems zur Ausführung der Aufgabe, um die es bei der Software geht. "Software" soll im hiesigen Sinne Befehle, die im Speichermedium, RAM, Festplatte, Bildplatte usw. gespeichert sind, sowie die sog. "Firmware", d.h. Softwareprogramme, die in einem ROM oder dgl. gespeichert sind, umfassen. Die Software kann auf verschiedenerlei Weisen organisiert sein, und kann Softwarekomponenten, die als Bibliotheken, auf einem dezentralen Server oder dgl. gespeicherte Internetprogramme, Quellcode, interpretierten Code, Objektcode, unmittelbar ausführbaren Code usw. umfassen. Es ist vorgesehen, dass die Software Code auf Systemebene oder sonstige auf dem Server oder an einem anderen Standort vorhandene Softwareprogramme abrufen kann, um bestimmte Funktionen auszuführen. - Die Schnittstellen
122 ,138 können beispielsweise ein Modem, Router, Kabel und/oder Ethernet-Schnittstelle oder dgl. umfassen. - Hierbei ist anzumerken, dass vorliegend zwar zwei Rechner
104 ,108 rein beispielsweise dargestellt werden, das System100 aber auf weniger oder mehr miteinander verbundenen Rechnern vorliegen. Jeder Rechner kann beispielsweise eine Kamera, Serverrechner, Desktop-, Laptop- oder Tablettcomputer, Smartphone oder sonstigen Rechner umfassen, der das vorliegende Verfahren ausführen kann. -
8 ist ein funktionelles Blockdiagramm eines alternativen Systems800 , bei dem ähnliche Komponenten mit gleichen Referenzzeichen versehen sind. Bei dieser Ausführungsform ist das komprimierte Video nämlich bereits im Speicher126 gespeichert, und die Verarbeitung der Daten erfolgt uf einem Serverrechner804 , der auf die gespeicherten Daten zugreifen kann. Das System800 umfasst ein im Serverrechner804 enthaltenes Videoverarbeitungs- und Verstoßbekämpfungssystem802 . Der Server804 kann mit einem Benutzergerät806 , einem Rechner einer Verkehrspolizeibehörde oder einem Fahrzeuggerät über die Kommunikationsverbindungen810 , vorliegend: "Netzwerk", kommunizieren. -
4 ist ein Flussdiagramm eins Verfahrens400 zur Bekämpfung von Ampelverstößen, das bei S401 beginnt. Das Verfahren beruht darauf, dass eine ausgewählte Kamera in einem zu überwachenden Bereich positioniert ist. Die Kamera kann eine herkömmliche Straßenverkehrskamera, eine Fotokamera oder eine Videokamera zur Erfassung einer Bildfolge sein. Die Kamera dieser Ausführungsform ist eine IP-Kamera, die zur Erfassung von Bildern und Ausführung der eingebetteten Videokompression geeignet ist. Es sind jedoch auch Ausführung vorgesehen, wobei das beschriebene Verfahren mit komprimierten Videodaten ausgeführt wird, die stattdessen von der Kamera empfangen werden. Auf diese Weise kann das komprimierte Video in einer Videodatenbank verfügbar sein. Allgemein ist die Kamera derart orientiert, dass sie ein bestimmtes Objekt in einer Szene wie z.B. einen stationären Stoppindikator, eine Kreuzung, Fussgängerkreuzung, Stoppsignal, Stoppschild oder eine Kombination dieser Gegenstände erfassen kann. Es besteht keinerlei Beschränkung hinsichtlich des zu betrachtenden Objekts. - Ein Initialisierungsverfahren erfolgt, wenn die Kamera installiert und/oder danach kalibriert wird. Ein Standort eines virtuellen Zielbereichs wird innerhalb des Sichtfeldes der Kamera bei S402 festgelegt. Mittels einer geometrischen Konfiguration der Kameraanordnung kann der Zielbereich in Bildkoordinaten nach bekannten Verfahren, z.B. Abbildung manuell eingegebener physischer Koordinaten auf Pixelkoordinaten, definiert werden. Das Ziel kann ein Polygon, eine Ellipse, eine Gerade, eine geschlossene Kurve, eine offene Kurve, oder eine Kombination davon umfassen. Der Bereich ist nicht auf ein oder mehrere virtuelle Polygone beschränkt, sondern umfasst gemäß einer Ausführungsform ein für jede zu überwachende Fahrbahn definiertes virtuelles Polygon. Allgemein umfasst der Zielbereich den Stoppindikator sowie mindestens einen diesen umgebenden Bereich. Beispielsweise kann sich der Zielbereich in einer Ausführungsform eine ausgewählte Zahl Fahrzeuglängen hinter den Stoppindikator erstrecken. Dabei wird der Zielbereich derart definiert, dass er einen den Stoppindikator umgebenden Bereich umfasst, der groß genug ist, um Bewegungen eines sich näherenden Fahrzeugs zu erkennen und zu ermitteln, ob das Fahrzeug zum Halten kommt. Entsprechend muss der Zielbereich groß genug sein, dass die Kamera das Fahrzeug dabei erfassen kann, wie es sich bewegt, hält, und wieder in Bewegung kommt.
- In
4 erfasst das System bei S403 eine Reihe zeitlich miteinander verbundener Bilder, die den Zielbereich umfassen. Jedes Bild enthält Pixeldaten, die den Zielbereich darstellen. Das System ermittelt bei S404, ob das aktuelle Bild ein erstes Bild der Folge ist. Ist das aktuelle Bild das erste Bild (JA bei S404), erklärt das System das erste Bild bei S405 zum Referenzbild. Ist das aktuelle Bild nicht das erste Bild (NEIN bei S404), führt das System bei S406 ein Kompressionsverfahren an den Pixeldaten aus, um einen oder mehrere Bewegungsvektoren zwischen dem Referenzbild und dem aktuellen Bild zu erzeugen. Die Bewegungsvektoren werden bei der Komprimierung der mit den Bildern in Verbindung stehenden Pixeldaten erzeugt. Mit anderen Worten werden die Vektoren zur Videokompression verwendet. Im Einzelnen erfasst die Kamera Bilder als unkomprimierten Live-Videostrom, und die Kamera komprimiert die Bilddaten, ohne die rohen Pixelwerte zu senden. Die komprimierten Daten umfassen Bewegungsvektoren. Alternativ können Bewegungsvektoren aus einem optischen Flussverfahren geschätzt werden, wie es z.B. von Horn-Schunk, Lucas Kanade und Black vorgeschlagen wird. Bewegungsvektoren sonstiger Art können berechnet werden, indem Übereinstimmungen zwischen hervorstehenden Merkmalen des Fahrzeugs zu verschiedenen Zeitpunkten festgestellt werden. Zu diesen Merkmalen gehören Harris-Eken, Scale Invariant Feature Transform (SIFT), Speeded Up Robust Features (SURF), Maximally Stable Extremal Regions (MSER) und Local Binary Patterns (LBP). - Gemäß einer Ausführungsform umfassen die komprimierten Daten ausgewählte Bewegungsvektoren unter Verwerfung der übrigen Bewegungsvektoren. In dieser Ausführungsform werden Bewegungsvektoren im Rahmen eines Bewegungsschätzungsschritts eines Kompressionsverfahrens extrahiert. Die Bewegungsvektoren werden innerhalb der Grenzen des virtuellen Zielbereichs extrahiert, es ist aber gemäß anderen Ausführungsformen auch vorgesehen, dass die Bewegungsvektoren dem Vollbild entnommen werden.
- Gemäß einer Ausführungsform können die Bewegungsvektoren in einem Verfahren auf Blockbasis erzeugt werden. Im Verfahren auf Blockbasis beschreiben die Bewegungsvektoren Bewegungen zwischen übereinstimmenden Blöcken angrenzender Bilder. Im Verfahren auf Blockbasis wird ein aktuelles Bild mit einem Referenzbild verglichen. Das aktuelle Bild wird in eine Reihe von Blöcken einer vorbestimmten Größe geteilt. In einem Beispiel kann jeder Block 16×16 Pixel umfassen. Für jeden Referenzblock aus m×n Pixeln im Referenzbild wird ein aktueller Block nach einem Zielblock durchsucht, der dem Referenzblock am ähnlichsten ist. Gemäß einer Ausführungsform kann ein Suchfenster um den Standort des Referenzblocks im Referenzbild definiert werden.
5A zeigt ein Referenzbild50 , das in einem Suchfenster54 einen Referenzblock52 enthält.5B zeigt ein aktuelles Bild56 , das einen Zielblock58 in einem dem Suchfenster des Referenzbildes entsprechenden Bereich enthält. Die Suche nach dem am besten übereinstimmenden Block in einem entsprechenden Bereich des Suchfensters kann in einem bekannten Verfahren wie z.B. einer vollumfänglichen Suche, einer binären Suche, einer dreistufigen Suche, Spiralsuchalgorithmen oder einer Kombination davon erfolgen. Die Suche erfolgt durch Berechnen einer Ähnlichkeit zwischen jedem Referenzblock und den potenziellen Zielblöcken des aktuellen Bildes. Verschiebungen werden zwischen dem ausgewählten Referenzblock und den Zielblöcken berechnet. In einer Ausführungsform wird die Verschiebung mittels eines von der Gleichung (1) dargestellten mittleren quadratischen Fehlers (MSE) berechnet: wobei (d1, d2) der Vektor ist, der die relative Verschiebung zwischen Referenz- und Zielblock beschreibt. In einer weiteren Ausführungsform wird die Verschiebung durch Berechnen einer mittleren absoluten Differenz (MAD) mit der Gleichung (2) berechnet: - In beiden Gleichungen (1) und (2) bedeutet B(k, l, j) das Pixel auf der k-ten Zeile und l-ten Spalte des m×n-Pixelblock des j-ten Bildes.
- Das j – 1. Bild ist das Referenzbild, welches bereits codiert ist; und,
das j-te Bild ist das aktuelle Bild. - Da sowohl MSE und MAD die Unterschiede zweier Blöcke messen, kann das Ähnlichkeitsmaß als reziproke oder negative MSE oder MAD definiert werden.
- Ein von den bekannten Kompressionsalgorithmen H264 und MPEG4 angewendetes Verfahren auf Blockbasis kann zur Extraktion der Bewegungsvektoren verwendet werden. Der für den ausgewählten Zielblock bestimmte Bewegungsvektor (d1, d2) maximiert das zwischen dem Referenzblock und den potenziellen Zielblöcken ermittelte Ähnlichkeitsmaß. In Bewegungsausgleichsmethoden auf Blockbasis wird der Bewegungsvektor zur Beschreibung der Verschiebung des Blocks zwischen dem Referenz- und dem aktuellen Bild erzeugt.
6A und6B zeigen jeweils Beispiele von Referenz- und Zielbildern (d.h aktuellen Bildern).6C zeigt das Bewegungsfeld in einem Referenzbild, das sich aus der Anwendung des Bewegungsschätzungsalgorithmus auf Blockbasis mit einem 3m×3n Suchfenster (d.h. Pixelsuche) auf das in6A abgebildete Referenzbild und das in6B abgebildete Zielbild ergibt.6D zeigt das vorhergesagte Bild, das sich aus dem Zusammenspleißen der am besten übereinstimmenden Referenzblöcke ergibt. In diesem Fall wird ein Fahrzeug von der Kamera physisch verfolgt. Deshalb panoramiert die Kamera von links nach rechts mit der Bewegung des Fahrzeugs über die Szene. Infolgedessen handelt es sich bei allen scheinbaren Bewegungen, die vom Bewegungsfeld erfasst werden, um die Bewegung des Hintergrundes von links nach rechts relativ zur Kamera. Wenn die Kamera panoramiert, kann eine Segmentierung zwischen dem stationären Hintergrund und den sich bewegenden Objekten mittels Schwellwertbildung mit den resultierenden Bewegungsvektoren nicht nur nach Größe, sondern auch nach Orientierung erreicht werden. Dies liegt daran, dass die Merkmale des Bewegungsvektorfeldes der stationären Objekte (die sich aufgrund der Kamerabewegung anscheinend Bewegen) bekannt sind, wenn im Falle einer PTZ-Kamera das Bewegungsmuster der Kamera bekannt ist. Panoramiert die Kamera z.B. von links nach rechts, können alle Bewegungsvektoren, die oberhalb einer bestimmten Größe liegen und in etwa von rechts nach links in einem im bei 180 Grad zentrierten Intervall orientiert sind, als Hintergrundvektoren gelten. Für Zoomkameras weichen stationäre Objekte anscheinend vom Vergrößerungsfokus ab. Bei einem Kippen der Kamera bewegen sich die stationären Hintergrundobjekte anscheinend vertikal. Es wird angenommen, dass Bildbereiche, die nicht dem Hintergrund zugeordnet werden, einem sich bewegenden Objekt entsprechen. Die Bereiche des Bildes, die sich bewegenden Fahrzeugen entsprechen, können dem Satz der erkannten sich bewegenden Objekte nach Größe, Form, Seitenverhältnis, usw. entnommen werden. Bei der Anwendung dieses Stopperkennungsverfahrens auf Vektorbasis auf eine PTZ- oder sonstige bewegliche Kamera kann eine Vektordifferenz zwischen dem Fahrzeugcluster und dem Hintergrund als Vektor verwendet werden, der die Bewegung des Fahrzeugs darstellt. -
7A –7C zeigen einen Standort des definierten Zielbereichs, der in Verbindung mit den für ein aktuelles Bild erzeugten Bewegungsvektoren verwendet wird, um die Erkennung eines Fahrzeugs auszulösen. Im Einzelnen zeigen die7A und7B zwei angrenzende Bilder, ein Referenzbild (7A ) und ein Zielbild (7B ) in einer Beispielfolge.7C zeigt ein entsprechendes m×n Pixelbewegungsvektorfeld. Ein Zielbereich700 wird von einem virtuellen Polygon dargestellt und in7A –7C überlagert. Dieser Zielbereich700 überquert die überwachte Fahrbahn702 . - In
4 ermittelt die Kamera bei S408 weiterhin ein Cluster aus Bewegungsvektoren. Das Cluster aus Bewegungsvektoren wird verwendet, um das Vorhandensein eines sich über den Zielbereich bewegenden Fahrzeugs zu erkennen. Da die Cluster aus Bewegungsvektoren auf das Vorhandensein eines sich bewegenden Objekts in dem von den Blöcken erfassten Bereich hinweisen, wird bei S410 ein zwischen dem Referenz- und dem aktuellen Bild erzeugter Schwellwert auf jeden Bewegungsvektor angewendet, um die sich bewegenden von den stationären Objekten zu unterscheiden. Der Schwellwert N1 kann eine vorbestimmte Vektorlänge oder -größe umfassen. Jeder Bewegungsvektor, der die Schwellänge unterschreitet (NEIN bei S410) wird bei S412 verworfen. Für jeden Bewegungsvektor, der den Schwellwert erreicht und/oder übersteigt (JA bei S410) wird für jede Gruppe aus einem oder mehreren miteinander verbundenen (d.h. angrenzenden) Bewegungsvektoren bei S414 ein Cluster definiert. - In
7 befindet sich eine Reihe von aktiven Bewegungsvektoren innerhalb des Zielbereichs, wenn sich ein Fahrzeug704 durch den Zielbereich700 bewegt. Da die Cluster aus Bewegungsvektoren auf das Vorhandensein eines sich bewegenden Objekts in dem von den Blöcken erfassten Bereich hinweisen, wird bei S416 (4 ) ein Schwellwert auf jedes erknnte Cluster angewendet, um das Fahrzeug von den sonstigen sich bewegenden Objekten zu unterscheiden. - Der Schwellwert N2 wird angewendet, um falsch positive Ergebnisse zu vermeiden, die sich aus den aktiven Bewegungsvektoren ergeben, die aus der scheinbaren Bewegung anderer Objekte als Fahrzeuge, z.B. Schütteln des Kameras, sich bewegende Blätter, Abfälle, Wolken und Wasser, resultieren. Nur Cluster, deren Größe einen vorbestimmten Schwellwert N2 überschreitet, gelten einem sich bewegenden Fahrzeug als zugehörig, um die von fiktiven Bewegungsquellen verursachten falsch positiven Ergebnisse zu vermeiden. Jedes Cluster, das die Schwellgröße unterschreitet (NEIN bei S416) wird bei S412 verworfen. Für jedes Cluster, das die
- Schwellgröße erreicht und/oder übersteigt (JA bei
416 ), wird ein Cluster bei S418 einem Fahrzeug zugeordnet. Die vorbestimmte Größenschwelle definiert sich nach dem kleinsten Cluster aktiver, miteinander verbundener Bewegungsvektoren, die außerhalb des Zielbereichs zur Erkennung eines Fahrzeugs liegen können. Der Wert der Größenschwelle kann von der Geometrie der Kameraanordnung, der Größe des virtuellen Polygons, der Auflösung der Videosequenz sowie der Größe der im Bewegungsschätzungsalgorithmus verwendeten Blöcke abhängen. Gemäß einer Ausführungsform kann die Größenschwelle eine Anzahl Pixel umfassen, die 1/2m für einen m×n Block entsprechen. Beispielsweise kann die Schwelle für einen Block aus 16×16 Pixeln 8 Pixel oder für einen Block aus 48×48 Pixeln 24 Pixel betragen. - Weiterhin wird in
4 bei S420 eine Reihe aufeinander folgender Bilder gezählt, über die das dem Fahrzeug entsprechende Cluster weiterhin vorhanden ist. Die Zahl der aufeinander folgenden Bilder wird mit einem Schwellwert N3 bei S422 verglichen. Der Schwellwert N3 umfasst eine vorbestimmte (z.B. niedrigste) Zahl aufeinander folgender Bilder, in denen das Cluster innerhalb des Zielbereichs liegen kann, bevor das erkannte Fahrzeug als sich näherndes Fahrzeug identifiziert wird. Der Wert der Zahlschwelle N3 kann von dem Wert der Größenschwelle N2, der Geometrie der Kameraanordnung, einer Größe des Zielbereichs, einer Bildrate und einer durchschnittlichen Höchstgeschwindigkeit der überwachten Straße abhängen. Für die Bilder, die die Zahlschwelle nicht erreichen (NEIN bei S422), endet das Verfahren. Für jede Zahl, die die Schwelle erreicht und/oder übersteigt (JA bei422 ), wird das Cluster bei S424 einem sich bewegenden und/oder nähernden Fahrzeug zugeordnet. - Für die oben beschriebenen Parameter kann eine vorgesehene Zahlschwelle N3 sechs (6) Bilder betragen. So kann das System in dem N3-ten aufeinander folgenden Bild ein sich bewegendes Fahrzeug erkennen, in dem Cluster, die die vorbestimmte Größe N2 erreichen und/oder übersteigen, innerhalb des virtuellen Polygons liegen.
- Weiterhin unter Bezugnahme auf
4 wird eine Position des erkannten Fahrzeugs bei S426 über zwei oder mehr Bilder verfolgt. Die Stopperkennung anhand des abgegrenzten Zielbereichs beruht auf der Annahme, dass die Bewegung eines realen Objektes glatt ist. Sobald das sich bewegenden Fahrzeug erkannt wird, wird das entsprechende Cluster zeitlich verfolgt, während es sich durch den Zielbereich bewegt. Eine Überlappung zwischen (gleich großen) Clustern über mehrere Bilder hinweg kann demselben Objekt entsprechen. So kann gemäß einer Ausführungsform die Verfolgung die Erkennung einer Überlappung zwischen Clustern in angrenzenden Bildern umfassen. Die Überlappung kann mit einem vorbestimmten Schwellwert verglichen werden. Für eine Überlappung, die den Schwellwert erreicht und/oder übersteigt, kann das Cluster demselben sich bewegenden Fahrzeug zugeordnet werden. Auf diese Weise ist eine zuverlässige gleichzeitige Überwachung mehrerer Fahrzeuge möglich. - Anhand der Ergebnisse der Verfolgung wird die Bewegung des Fahrzeugs bei S428 überwacht, um zu ermitteln, ob das Fahrzeug hält. Das Halten des Fahrzeugs wird als andauerndes Fehlen von Bewegungen definiert, das innerhalb der Grenzen der Zielbereiche in aufeinander folgenden Bildern festgestellt wird. Das Halten des Fahrzeugs wird erkannt, wenn das verfolgte Cluster für eine Anzahl von Bildern inaktiv wird, die einen vorbestimmten Schwellwert F0 übersteigt. Im Einzelnen, wenn das verfolgte Cluster von mindestens N1 aktiven Bewegungsblöcken auf weniger als N1' aktive Bewegungsblöcke absinkt (wo N1’ ≤ N1) und die Inaktivität über F0 Bilder andauert, wird ein Halten des Fahrzeugs erkannt. Alternativ kann das Halten anhand des Fehlens von Bewegungen des Fahrzeugs während einer nach der Erkennung des Fahrzeugs berechneten vorbestimmten Dauer (F0/Bildrate) erkannt werden. Der Wert des Schwellwertes F0 kann von der Bildrate sowie den straßenverkehrsrechtlichen Bestimmungen des jeweiligen Gebiets abhängen.
- Generell wird ein erstes Bild in der Folge erkannt, die dem Verschwinden des Clusters entspricht, und ein zweites Bild wird in der Folge erkannt, die dem Wiedererscheinen des Clusters entspricht (S430). Eine Anzahl Bilder wird zwischen dem ersten und zweiten Bild (bei S432) gezählt. Die Zahl der Bilder wird mit einem Schwellwert F0 bei S434 verglichen. Für die Anzahl von Bildern, die den Schwellwert F0 erreichen und/oder übersteigen (JA bei S434) wird bei S436 erkannt, dass das Fahrzeug nahe dem Stoppindikator hält. Für die Anzahl von Bildern, die den Schwellwert F0 nicht erreichen und/oder übersteigen (NEIN bei S434) wird bei S438 erkannt, dass das Fahrzeug nicht hält.
- Da das Nichtvorhandensein von Bewegungsvektoren auch darauf hinweisen kann, dass das Fahrzeug den Zielbereich verlassen hat, sollte dem erkannten Halten des Fahrzeugs eine Wiederaufnahme der Bewegung folgen. D.h., das Cluster sollte in einem späteren Bild wieder erscheinen. Allgemein wird eine Überlappung der Grenzen der verfolgen Cluster ermittelt. Die Grenzen des verfolgten Fahrzeugclusters (d.h. vor dem Verschwinden) werden mit den Grenzen eines neuen Clusters in einem späteren Bild, das einem sich bewegenden Fahrzeug entspricht (d.h. bei Wiedererscheinen des Clusters). Mit anderen Worten werden die Grenzen zwischen den Clustern des ersten und zweiten Bildes verglichen. Für eine Überlappung, die darauf schließen lässt, dass die aktiven Cluster zwischen dem ersten und zweiten Bild demselben Fahrzeug entsprechen, geht die Verfolgung weiter, bis das Cluster eine Grenze des Zielbereichs, die dem Stoppindikator am nächsten liegt, erreicht und/oder übertritt.
- Weiterhin wird in
4 bei S440 ein Verstoß erkannt, wenn ein Fahrzeug den Zielbereich überquert, ohne zu halten. Da eine Form eines Zielbereichs zur Ermöglichung der Bekämpfung von Verkehrsrechtsverstößen in Verkehrszonen verschiedenerlei Arten definiert werden kann, kann die Erkennung eines Verstoßes gemäß einer Ausführungsform nur in den Fällen ausgelöst werden, dass das Fahrzeug bestimmte Straßenverkehrsvorschriften nicht einhält. Vorschriften, die der bestimmten Ausfahrtzone entsprechen, können es zulassen, dass ein Fahrzeug wieder in Bewegung kommt (d.h. um den Zielbereich zu verlassen), wenn es beim Stoppindikator abbiegt, die Wiederaufnahme der Bewegung aber verbieten, sofern das Fahrzeug nicht abbiegt. Ein Beispiel hiervon ist "rechts bei Rot", wobei die Fahrzeuge (generell nach vollständigem Halten) bei einer roten Ampel nach rechts abbiegen dürfen, wenn nichts im Wege steht. Deshalb kann ein Verstoß erkannt werden, wenn das verfolgte Fahrzeug den Zielbereich dadurch verlässt, dass es bei Rot nach links abbiegt oder geradeaus fährt. Auf diese Weise kann der Kamerarechner104 in einer im Speicher126 gespeicherten Nachschlagtabelle (LUT) eine auf den überwachten Zielbereich anwendbare Vorschrift nachschlagen. Umgekehrt wird kein Verstoß erkannt, wenn das verfolgte Fahrzeug nach rechts abbiegt. - Weiterhin in
4 kann als Reaktion auf den erkannten verstoß bei S442 ein Verstoßsignal gesendet werden. Im Einzelnen kann ein Signal dem Benutzergerät zugesendet werden. Das Signal kann eine Mitteilung einer beliebigen Art an das Benutzergerät umfassen. Relevante Daten über das Verstoßereignis können als Metadaten in den komprimierten Videostrom eingebettet werden, die alternativ oder außerdem dem Benutzergerät zur Verfügung gestellt werden können. Die unmittelbare Einbettung der Verstoßdaten in das Video ist nützlich zur Aufzeichnung des Verstoßereignisses. - Wie oben erwähnt, werden das Signal und/oder die komprimierten Daten einem Benutzergerät zugesendet. Das Benutzergerät kann einen Fahrzeugrechner oder GPS umfassen, mit dem die Mitteilung einen Fahrer auf den Verstoß aufmerksam machen kann. Beispielsweise kann die Mitteilung ein Warnlicht umfassen. In einer weiteren Ausführungsform kann das Benutzergerät einen Rechner (einen clientseitigen Server) umfassen, der bei einer Verkehrspolizei- oder Verstoßbearbeitungsbehörde liegt oder damit kommuniziert, wodurch die nachfolgenden Daten dem Benutzergerät in den eingebetteten Daten übermittelt werden können: Datum und/oder Uhrzeit des Verstoßes; Fahrzeugdaten, amtliches Kennzeichen, Bauart, Modell, usw.; Dauer (d.h. verstrichene Zeit) zwischen dem Rotwerden der Ampel und der Einfahrt des Verstoßfahrzeugs in die Kreuzung; und eine Kombination davon. Es besteht keinerlei Beschränkung hinsichtlich der in den eingebetteten Daten enthaltenen Daten.
- Das System ermittelt dann bei S444, ob das aktuelle Bild das Letzte Bild der Folge ist. Ist das aktuelle Bild nicht das letzte Bild der Folge (NEIN bei S444) kehrt das Verfahren zu S406 zurück, um das oben beschriebene Verfahren am nächsten Bild zu wiederholen. Ist das aktuelle Bild das letzte Bild der Folge (JA bei S444), endet das Verfahren bei S446.
- In einer weiteren Ausführungsform kann das Verfahren in einem zentralen Prozessor ausgeführt werden, der auf die komprimierten Videodaten zugreifen kann. Durch diese Ausführungsform wird die Erkennung von Verstößen mittels eines Decodierungsverfahrens ermöglicht, das nur auf die Bewegungsvektoren angewendet wird, anstatt das ganze Video entkomprimieren zu müssen. Da das Verfahren auf der Verarbeitung von Daten beruht, die von den Bewegungsvektoren übermittelt werden, kann das Verfahren alternativ auf bereits komprimierte Videoströme angewendet werden, ohne das Video vollständig entkomprimieren zu müssen; hierdurch wird die Recheneffizienz gegenüber dem herkömmlichen Verfahren, in dem komplexe Operationen am vollständig entkomprimierten Videostrom ausgeführt werden, erhöht. Das vorgeschlagene Verfahren kann auch zur Verarbeitung gespeicherter Video-/Bilddaten zwecks historischer Datenanalyse verwendet werden.
- Die Möglichkeit, Metadaten verschiedener Arten einzubetten, ist ein Kernelement der Algorithmen H264 und MPEG4, die zur Extraktion der Bewegungsvektoren in S406 vorgesehen sind. Ein Aspekt dieses Verfahrens sind die Kompressionsstandards, die das Parsen eines komprimierten Videostroms zulassen, ohne die Video-/Audioinhalte tatsächlich decodieren zu müssen. Dieses Merkmal ermöglicht weitere Einsparungen an Rechenleistung.
- Ein weiterer Aspekt der Erfindung umfasst die rasche Entkomprimierung der Verstoßfahrzeugen entsprechenden Daten. Ausgewählte Bilder in der Folge können als Referenzbilder zur späteren raschen Entkomprimierung codiert werden. Diese ausgewählten Bilder können zur Einsicht durch einen Benutzer zur Bestätigung eines Verstoßes oder zur Erkennung zukünftiger Verstöße rasch entkomprimiert werden. Die Bilddaten können als Beweise zur Ausstellung eines Strafzettels an den Rechtsverletzer verwendet werden. Diese Funktion kann dadurch aktiviert werden, dass bestimmte Bilder als dem Stand der Technik bekannte l-Bilder ausgewählt werden. Beispielsweise kann die rasche Entkomprimierung einer Bildfolge, in der ein am Stoppindikator vorbeifahrendes Fahrzeug erfasst wird, durch Auswahl eines l-Bildes zum Zeitpunkt der Einfahrt des Fahrzeugs in den Zielbereich aktiviert werden.
- Der unmittelbare Einbau der Verstoßerkennung in den Kompressionsschritt ermöglicht die kameraseitige Einbettung der Verstoßdaten vor der Übermittlung mit einem geringen Rechenaufwand. Hierdurch entfällt der Bedarf nach einer weiteren Klient-/behördenseitigen Verarbeitung, Entkomprimierung, Verstoßerkennung und Rekomprimierung. Diese Funktion führt zu Bandbreitenersparnissen, da die Verstoßerkennung kameraseitig und nicht im zentralen Server erfolgt. In diesem Fall kann die Bandbreite dadurch reduziert werden, dass nur Bilder von Verstößen der zentralen Stelle zur Speicherung und Verwertung als Beweise übermittelt werden. Alternativ können Videobilder, die Verstöße enthalten, als Referenzbilder codiert werden, um zukünftige Videosuchen zu unterstützen, falls der vollständige Videostrom übermittelt und gespeichert wird. Ein weiterer Aspekt besteht in einer Einzelpollösung gegenüber den herkömmlichen Mehrpollösungen, die zur Erkennung von Ampelverstößen verwendet werden.
- Obwohl das Steuerungsverfahren
400 unten in Form einer Reihe von Operationen oder Ereignissen gezeigt und beschrieben wird, sind die verschiedenen Verfahren bzw. Prozesse nicht auf die dargestellte Reihenfolge der Operationen bzw. Ereignisse beschränkt. In dieser Hinsicht können einige Operationen oder Ereignisse erfindungsgemäß in einer anderen Reihenfolge als und/oder gleichzeitig mit anderen Operationen oder Ereignissen als den dargestellten. Die dargestellten Verfahren sowie sonstige erfindungsgemäße Verfahren können in Hardware, Software oder Kombinationen davon ausgeführt werden, um die vorliegend beschriebenen Steuerungsfunktionen zu ermöglichen, und können in einem beliebigen System, insbesondere dem oben beschriebenen System100 , ausgeführt werden. - Das Verfahren kann in einem auf einem Rechner ausführbaren Computerprogramm ausgeführt werden. Das Computerprogramm kann ein nicht flüchtiges, computerlesbares Speichermedium umfassen, auf dem ein Steuerungsprogramm aufgezeichnet (gespeichert) wird, wie z.B. eine Diskette, Festplatte oder dgl. Zu den häufig vorkommenden computerlesbaren Medien gehören beispielsweise Disketten, flexible Disketten, Festplatten, Magnetbänder oder sonstige magnetische Speichermedien, CD-ROM, DVD und sonstige optische Medien, RAM, PROM, EPROM, FLASH-EPROM und sonstige Speicherchips oder -patronen, sowie sonstige materielle Medien, die von Rechnern ablesbar und benutzbar sind.
- Alternativ kann das Verfahren in einem flüchtigen Medium, einer übertragbaren Trägerwelle ausgeführt werden, in der das Steuerungsprogramm als Datensignal mittels Übertragungsmedien, Schall- oder Lichtwellen, bei Radio- und infraroten Datenkommunikationen erzeugter Wellen und dgl. ausgeführt werden.
- Das Verfahren kann auf einem oder mehrerem von Computern zum Allgemeingebrauch, Computern zu speziellen Zwecken, programmierten Mikroprozessoren oder Mikrocontrollern sowie peripheren integrierten Schaltungselementen, ASIC oder sonstigen integrierten Schaltungen, digitalen Signalprozessoren, festverdrahteten elektronischen oder Logikschaltungen, diskreten Elementschaltungen, programmierbaren Logikgeräten, PLD, PLA, FPGA, Graphikkarten, CPU (GPU), PAL oder dgl. ausgeführt werden. Allgemein kann ein beliebiges Gerät, das einen endlichen Automaten ausführen kann, der wiederum das in
4 dargestellte Flussdiagramm ausführen kann, zur Ausführung des Verfahrens verwendet werden.
Claims (10)
- Verfahren zur Bekämpfung von Ampelverstößen, umfassend: Empfangen von Videodaten von einer Kamera; Definieren eines Zielbereichs in den empfangenen Videodaten; Erkennen von Bewegungsvektoren in den Videodaten; Zuordnen eines Clusters aus den Bewegungsvektoren zu einem Fahrzeug; Verfolgen einer Position des Fahrzeugs über zwei oder mehr Videobilder; Ermitteln mittels der Verfolgungsergebnisse, ob das Fahrzeug im Zielbereich hält; und Signalisieren eines Verstoßes bei erkanntem Nichthalten des Fahrzeugs.
- Verfahren nach Anspruch 1, ferner umfassend: Definieren des Zielbereichs in den Bildkoordinaten als ein oder mehrere von einem Polygon, einem Kreis, einer Ellipse, einer geschlossenen Kurve, einer offenen Kurve und einer Geraden.
- Verfahren nach Anspruch 1, wobei der Zielbereich einen stationären Stoppindikator enthält.
- Verfahren nach Anspruch 1, wobei die Zuordnung des Clusters aus Bewegungsvektoren zum Fahrzeug umfasst: Vergleichen einer Größe jedes Bewegungsvektors mit einem ersten Schwellwert; Definieren eines Clusters derart, dass darin ein oder mehrere miteinander verbundene Bewegungsvektoren enthalten sind, die den ersten Schwellwert erreichen und übersteigen; Vergleichen einer Größe des Clusters mit einem zweiten Schwellwert; und Zuordnung des Clusters zum Fahrzeug, sofern die Größe den zweiten Schwellwert erreicht und übersteigt.
- Verfahren nach Anspruch 1, wobei die Zuordnung des Clusters aus Bewegungsvektoren zum Fahrzeug ferner umfasst: Zählen einer Anzahl aufeinander folgender Bilder, in denen das Cluster weiterhin vorhanden ist; Vergleichen der Anzahl aufeinander folgender Bilder mit einem Schwellwert; und Erkennen des Fahrzeugs als sich näherndes Fahrzeug, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert erreicht und übersteigt.
- Verfahren nach Anspruch 1, wobei das Ermitteln, ob das Fahrzeug im Zielbereich hält, umfasst: Erkennen eines ersten Bildes in der Folge, die dem Verschwinden des Clusters entspricht, und eines zweiten Bild in der Folge, die dem Wiedererscheinen des Clusters entspricht; Zählen einer Anzahl Bilder zwischen dem ersten und zweiten Bild; Vergleichen der Anzahl der Bilder mit einem Schwellwert; und Erkennen des Nichthaltens des Fahrzeugs, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert nicht erreicht.
- System zur Bekämpfung von Ampelverstößen, umfassend: ein Videoerfassungsgerät, umfassend: ein zur Erfassung einer Reihe zeitlich miteinander verbundener Bilder, die einen Zielbereich enthalten, geeignetes Videoerfassungsmodul, wobei jedes Bild Pixeldaten enthält, die den Zielbereich darstellen; ein Bewegungsvektoren-Extraktionsmodul, das geeignet ist: zwischen zwei oder mehr der Bilder einen oder mehrere Bewegungsvektoren zu erzeugen, wobei es sich um Bewegungsvektoren der Art, die bei der Komprimierung der mit den zwei oder mehr Bildern in Verbindung stehenden Pixeldaten erzeugt werden, handelt; ein Clusters aus Bewegungsvektoren einem Fahrzeug zuzuordnen; und eine Position des Fahrzeugs über zwei oder mehr Videobilder zu verfolgen; sowie einen zur Ausführung der Module geeigneten Prozessor; wobei das System ferner umfasst: ein Verstoßerkennungsmodul, das geeignet ist: mittels der Verfolgungsergebnisse zu ermitteln, ob das Fahrzeug im Zielbereich hält; und einen Verstoß bei erkanntem Nichthalten des Fahrzeugs zu signalisieren; sowie einen zur Ausführung des Verstoßerkennungsmoduls geeigneten Prozessor.
- System nach Anspruch 7, wobei das Bewegungsvektoren-Extraktionsmodul ferner geeignet ist: eine Größe jedes Bewegungsvektors mit einem ersten Schwellwert zu vergleichen; ein Cluster derart zu definieren, dass darin ein oder mehrere miteinander verbundene Bewegungsvektoren enthalten sind, die den ersten Schwellwert erreichen und übersteigen; einer Größe des Clusters mit einem zweiten Schwellwert zu vergleichen; und das Cluster dem Fahrzeug zuzuordnen, sofern die Größe den zweiten Schwellwert erreicht und übersteigt.
- System nach Anspruch 7, wobei das Bewegungsvektoren-Extraktionsmodul ferner geeignet ist: eine Anzahl aufeinander folgender Bilder zu zählen, in denen das Cluster weiterhin vorhanden ist; die Anzahl aufeinander folgender Bilder mit einem Schwellwert zu vergleichen; und das Fahrzeugs als sich näherndes Fahrzeug zu erkennen, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert erreicht und übersteigt.
- System nach Anspruch 7, wobei das Verstoßerkennungsmodul ferner geeignet ist: ein erstes Bild in der Folge, die dem Verschwinden des Clusters entspricht, und ein zweites Bild in der Folge zu erkennen, die dem Wiedererscheinen des Clusters entspricht; eine Anzahl Bilder zwischen dem ersten und zweiten Bild zu zählen; die Anzahl der Bilder mit einem Schwellwert zu vergleichen; und das Nichthalten des Fahrzeugs zu erkennen, sofern die Anzahl der aufeinander folgenden Bilder den Schwellwert nicht erreicht.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/613,174 US10018703B2 (en) | 2012-09-13 | 2012-09-13 | Method for stop sign law enforcement using motion vectors in video streams |
US13/613,174 | 2012-09-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013217570A1 true DE102013217570A1 (de) | 2014-03-13 |
Family
ID=49487013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE201310217570 Pending DE102013217570A1 (de) | 2012-09-13 | 2013-09-03 | Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen |
Country Status (3)
Country | Link |
---|---|
US (2) | US10018703B2 (de) |
DE (1) | DE102013217570A1 (de) |
GB (1) | GB2508069B (de) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140042409A (ko) * | 2012-09-28 | 2014-04-07 | 삼성전자주식회사 | 오브젝트 부가 정보를 입력하는 장치 및 오브젝트 부가 정보를 입력하는 방법 |
US9975483B1 (en) * | 2013-02-08 | 2018-05-22 | Amazon Technologies, Inc. | Driver assist using smart mobile devices |
CA2864653C (en) * | 2013-09-22 | 2021-12-14 | Comtrol Corporation | Stop violation detection system and method |
US9558408B2 (en) * | 2013-10-15 | 2017-01-31 | Ford Global Technologies, Llc | Traffic signal prediction |
FR3018940B1 (fr) * | 2014-03-24 | 2018-03-09 | Survision | Systeme de classification automatique de vehicules automobiles |
WO2016034479A1 (en) * | 2014-09-03 | 2016-03-10 | Electrolux Appliances Aktiebolag | Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance |
CN104268573B (zh) * | 2014-09-24 | 2017-12-26 | 深圳市华尊科技股份有限公司 | 车辆检测方法及装置 |
US9986260B2 (en) * | 2014-11-14 | 2018-05-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Census transform data compression methods and systems |
KR101694347B1 (ko) * | 2015-08-31 | 2017-01-09 | 현대자동차주식회사 | 차량 및 차선인지방법 |
KR102126511B1 (ko) * | 2015-09-02 | 2020-07-08 | 삼성전자주식회사 | 보충 정보를 이용한 영상 프레임의 보간 방법 및 장치 |
CA2995866A1 (en) * | 2015-09-03 | 2017-03-09 | Miovision Technologies Incorporated | System and method for detecting and tracking objects |
JP7163181B2 (ja) | 2015-10-27 | 2022-10-31 | ムニシパル パーキング サービセス, インコーポレイテッド | 駐車スペース検出方法及びシステム |
US11164452B2 (en) | 2015-10-27 | 2021-11-02 | Municipal Parking Services, Inc. | Parking space detection method and system |
JP6709283B2 (ja) * | 2015-11-16 | 2020-06-10 | オービタル インサイト インコーポレイテッド | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 |
CN105512625B (zh) * | 2015-12-02 | 2019-01-22 | 南京工程学院 | 基于聚类子区域关联的稳定特征挖掘和目标跟踪方法 |
ITUB20159613A1 (it) | 2015-12-14 | 2017-06-14 | St Microelectronics Srl | Procedimento e sistema di clustering, apparecchiatura e prodotto informatico corrispondenti |
CN105405297B (zh) * | 2015-12-21 | 2017-09-29 | 电子科技大学 | 一种基于监控视频的交通事故自动检测方法 |
US11455838B2 (en) | 2016-01-13 | 2022-09-27 | Parkhub, Inc. | System for monitoring arrival of a vehicle at a given location and associated methods |
US11386780B2 (en) | 2016-01-13 | 2022-07-12 | Parkhub, Inc. | System for monitoring arrival of a vehicle at a given location and associated methods |
CN106991820B (zh) * | 2016-01-20 | 2021-03-23 | 中兴通讯股份有限公司 | 违规车辆处理方法及装置 |
DE102016104732A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
EP3446302B1 (de) * | 2016-05-25 | 2022-04-20 | Yunex GmbH | Verfahren, vorrichtung und anordnung zur spurverfolgung von sich bewegenden objekten |
CN105957352B (zh) * | 2016-06-01 | 2018-08-28 | 深圳中兴力维技术有限公司 | 违章停车检测方法和装置 |
US10282849B2 (en) * | 2016-06-17 | 2019-05-07 | Brain Corporation | Systems and methods for predictive/reconstructive visual object tracker |
US10726573B2 (en) * | 2016-08-26 | 2020-07-28 | Pixart Imaging Inc. | Object detection method and system based on machine learning |
CN107786867A (zh) | 2016-08-26 | 2018-03-09 | 原相科技股份有限公司 | 基于深度学习架构的图像辨识方法及*** |
CN106205144B (zh) * | 2016-09-07 | 2018-06-19 | 东南大学 | 高速公路应急车道占用监督处罚方法和*** |
CN106384359B (zh) * | 2016-09-23 | 2019-06-25 | 青岛海信电器股份有限公司 | 运动目标跟踪方法和电视 |
US10803423B2 (en) | 2016-09-29 | 2020-10-13 | The Parking Genius, Inc. | System for managing parking of autonomous driving vehicles |
US10299122B2 (en) | 2016-11-23 | 2019-05-21 | The Parking Genius, Inc. | User validation system utilizing symbolic or pictographic representations of validation codes |
CN108986472B (zh) * | 2017-05-31 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 一种掉头车辆监控方法及装置 |
US10529080B2 (en) * | 2017-06-23 | 2020-01-07 | Satori Worldwide, Llc | Automatic thoroughfare recognition and traffic counting |
CN110473232B (zh) * | 2017-07-14 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及电子设备 |
US10325497B2 (en) | 2017-09-21 | 2019-06-18 | The Parking Genius, Inc. | Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot using magnetic signature recognition |
US10446024B2 (en) | 2017-09-21 | 2019-10-15 | The Parking Genius, Inc. | Parking sensors capable of determining direction and speed of vehicle entering or leaving a parking lot |
WO2019161207A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for conversational agent via adaptive caching of dialogue tree |
WO2019161229A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for reconstructing unoccupied 3d space |
US10785489B2 (en) | 2018-02-15 | 2020-09-22 | DMAI, Inc. | System and method for visual rendering based on sparse samples with predicted motion |
FR3078810B1 (fr) * | 2018-03-08 | 2020-04-03 | Idemia Identity And Security | Dispositif et procede pour differencier un poids lourd de transport de marchandises d’un autocar |
TW202001672A (zh) * | 2018-06-26 | 2020-01-01 | 大陸商上海蔚蘭動力科技有限公司 | 行車輔助系統及行車輔助系統的操作方法 |
US10403142B1 (en) * | 2018-06-28 | 2019-09-03 | Greg Douglas Shuff | Adaptive stop sign and intersection traffic control system |
CN108847032A (zh) * | 2018-08-21 | 2018-11-20 | 北京深瞐科技有限公司 | 一种交通违法行为识别方法及装置 |
US11200536B2 (en) * | 2018-09-07 | 2021-12-14 | Texas Tech University System | Systems and methods for predictively managing collections of items |
EP3629226B1 (de) * | 2018-09-26 | 2020-11-25 | Axis AB | Verfahren zur umwandlung von alarmen |
CN109285355A (zh) * | 2018-10-19 | 2019-01-29 | 天津天地人和企业管理咨询有限公司 | 一种前后抓拍交通摄像机*** |
US10661795B1 (en) * | 2018-12-20 | 2020-05-26 | Verizon Patent And Licensing Inc. | Collision detection platform |
US11030774B2 (en) * | 2019-03-19 | 2021-06-08 | Ford Global Technologies, Llc | Vehicle object tracking |
CN110097074B (zh) * | 2019-03-19 | 2021-06-22 | 中国科学院信息工程研究所 | 一种基于序列相似度的车辆轨迹压缩方法 |
CN110533692B (zh) * | 2019-08-21 | 2022-11-11 | 深圳新视达视讯工程有限公司 | 一种面向无人机航拍视频中移动目标的自动跟踪方法 |
WO2021036243A1 (zh) * | 2019-08-28 | 2021-03-04 | 华为技术有限公司 | 识别车道的方法、装置及计算设备 |
WO2021057504A1 (en) * | 2019-09-29 | 2021-04-01 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for traffic monitoring |
CN111968365B (zh) * | 2020-07-24 | 2022-02-15 | 武汉理工大学 | 一种非信号交叉口车辆行为分析方法、***及存储介质 |
CN112133104B (zh) * | 2020-08-21 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种车辆信息检测方法、装置、***及存储介质 |
CN113470380B (zh) * | 2021-06-30 | 2023-02-28 | 阿波罗智联(北京)科技有限公司 | 数据处理方法、装置、电子设备和可读存储介质 |
CN113706391B (zh) * | 2021-11-01 | 2022-01-18 | 成都数联云算科技有限公司 | 无人机航拍图像实时拼接方法、***、设备及存储介质 |
CN114419106B (zh) * | 2022-03-30 | 2022-07-22 | 深圳市海清视讯科技有限公司 | 车辆违章行为检测方法、设备及存储介质 |
US11776276B1 (en) * | 2022-11-14 | 2023-10-03 | Hayden Al Technologies, Inc. | System and methods for automatically validating evidence of traffic violations using automatically detected context features |
US12027041B1 (en) * | 2023-03-19 | 2024-07-02 | Kamran Barelli | Systems and methods for detecting stop sign vehicle compliance |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
US6011870A (en) | 1997-07-18 | 2000-01-04 | Jeng; Fure-Ching | Multiple stage and low-complexity motion estimation for interframe video coding |
IL128017A0 (en) | 1998-07-22 | 1999-11-30 | Technion Res & Dev Foundation | Method for detecting protein-protein interactions and a kit therefor |
SG89282A1 (en) * | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
US6442474B1 (en) | 2000-12-07 | 2002-08-27 | Koninklijke Philips Electronics N.V. | Vision-based method and apparatus for monitoring vehicular traffic events |
JP4480299B2 (ja) * | 2001-06-21 | 2010-06-16 | 富士通マイクロエレクトロニクス株式会社 | 移動体を含む画像の処理方法及び装置 |
JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
US7696903B2 (en) * | 2003-03-20 | 2010-04-13 | Gentex Corporation | Imaging system for detecting vehicle and human movement |
US7986339B2 (en) * | 2003-06-12 | 2011-07-26 | Redflex Traffic Systems Pty Ltd | Automated traffic violation monitoring and reporting system with combined video and still-image data |
KR100630088B1 (ko) * | 2004-12-28 | 2006-09-27 | 삼성전자주식회사 | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 |
CN101273634A (zh) * | 2005-09-27 | 2008-09-24 | 皇家飞利浦电子股份有限公司 | 运动检测设备 |
JP4303748B2 (ja) * | 2006-02-28 | 2009-07-29 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
ITTO20060214A1 (it) * | 2006-03-22 | 2007-09-23 | Kria S R L | Sistema di rilevamento di veicoli |
US20090074310A1 (en) | 2007-09-19 | 2009-03-19 | Chung Shan Institute Of Science And Technology, Armaments Bureau, M.N.D. | Image data compression method |
KR101540138B1 (ko) * | 2007-12-20 | 2015-07-28 | 퀄컴 인코포레이티드 | 적응적 조사영역을 갖는 모션추정 장치 및 방법 |
AU2009329831A1 (en) * | 2008-12-24 | 2011-07-21 | Vehicle Monitoring Systems Pty Ltd | Method and system for detecting vehicle offences |
CN102378998B (zh) * | 2009-12-10 | 2014-12-10 | 松下电器产业株式会社 | 信息显示设备和信息显示方法 |
US20110169957A1 (en) | 2010-01-14 | 2011-07-14 | Ford Global Technologies, Llc | Vehicle Image Processing Method |
TWI408625B (zh) * | 2010-04-15 | 2013-09-11 | Univ Nat Chiao Tung | 車輛追蹤系統及其方法 |
JP4985818B2 (ja) | 2010-05-14 | 2012-07-25 | カシオ計算機株式会社 | 画像処理装置および画像処理のプログラム |
US9472097B2 (en) * | 2010-11-15 | 2016-10-18 | Image Sensing Systems, Inc. | Roadway sensing systems |
CA2803404A1 (en) * | 2010-11-15 | 2012-05-24 | Image Sensing Systems, Inc. | Hybrid traffic sensor system and associated method |
US20120148092A1 (en) * | 2010-12-09 | 2012-06-14 | Gorilla Technology Inc. | Automatic traffic violation detection system and method of the same |
TWI475524B (zh) * | 2011-04-15 | 2015-03-01 | Hon Hai Prec Ind Co Ltd | 利用影像偵測違規車輛的系統及方法 |
US8731244B2 (en) * | 2011-07-28 | 2014-05-20 | Xerox Corporation | Systems and methods for improving image recognition |
US9681125B2 (en) * | 2011-12-29 | 2017-06-13 | Pelco, Inc | Method and system for video coding with noise filtering |
US20130286198A1 (en) | 2012-04-25 | 2013-10-31 | Xerox Corporation | Method and system for automatically detecting anomalies at a traffic intersection |
US9008359B2 (en) * | 2012-06-28 | 2015-04-14 | International Business Machines Corporation | Detection of static object on thoroughfare crossings |
-
2012
- 2012-09-13 US US13/613,174 patent/US10018703B2/en active Active
-
2013
- 2013-09-03 DE DE201310217570 patent/DE102013217570A1/de active Pending
- 2013-09-10 GB GB1316117.9A patent/GB2508069B/en active Active
- 2013-10-31 US US14/068,503 patent/US9442176B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
GB2508069A (en) | 2014-05-21 |
US10018703B2 (en) | 2018-07-10 |
US20140071286A1 (en) | 2014-03-13 |
US9442176B2 (en) | 2016-09-13 |
US20150117704A1 (en) | 2015-04-30 |
GB201316117D0 (en) | 2013-10-23 |
GB2508069B (en) | 2019-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013217570A1 (de) | Verfahren zur bekämpfung von stoppschildverletzungen mittels bewegungsvektoren in videoströmen | |
DE102012216522B4 (de) | Mehrfach auflösende videoanalyse und wichtige merkmale bewahrende videoreduzierungsstrategie für systeme zur (echtzeit) fahrzeugverfolgung und geschwindigkeitskontrolle | |
DE102015200589B4 (de) | Verbessertes videobasiertes System zur automatisierten Erkennung von Verstössen durch Parken in zweiter Reihe | |
CN108509912B (zh) | 多路网络视频流车牌识别方法及*** | |
DE112017001311T5 (de) | System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen | |
DE102013216041A1 (de) | Videobasierte Fahrzeuggeschwindigkeitsschätzung anhand von Bewegungsvektoren in Videostreams | |
Zabłocki et al. | Intelligent video surveillance systems for public spaces–a survey | |
DE102013210836A1 (de) | Erkennen eines bewegungslosen Gegenstands auf Kreuzungen von Verkehrswegen | |
DE112014007249T5 (de) | Bildverarbeitungsvorrichtung, Fahrzeuganzeigesystem, Anzeigevorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm | |
DE102012204901A1 (de) | Verbesserung der Zuverlässigkeit beim Erkennen von Schienenkreuzungsereignissen | |
WO2006133474A1 (de) | Verfahren und bildauswertungseinheit zur szenenanalyse | |
EP2023265A1 (de) | Verfahren für eine Erkennung eines Gegenstandes | |
DE102015208139A1 (de) | Fahrzeuginsassenerfassung mittels des Abstands zwischen Beifahrer- und Fahrermerkmalen | |
DE102012218870A1 (de) | Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern | |
DE102013217569A1 (de) | Videoverfolgung zur videobasierten geschwindigkeitskontrolle | |
WO2019042728A2 (de) | Erfassen von verkehrsteilnehmern auf einem verkehrsweg | |
Yimyam et al. | Video Surveillance System Using IP Camera for Target Person Detection | |
EP2521070A2 (de) | Verfahren und System zum Erfassen einer statischen oder dynamischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet | |
WO2020210960A1 (zh) | 交通道路的数字化全景重建的方法和*** | |
DE112019000969T5 (de) | Informationsverarbeitungssystem und Informationsverarbeitungsverfahren | |
DE102014210140A1 (de) | Verfahren und Systeme zum Klassifizieren eines Fahrzeugs unter Verwendung von Bewegungsvektoren | |
CN204375161U (zh) | 违章停车自动抓拍*** | |
EP2483834B1 (de) | Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild | |
DE10049366A1 (de) | Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System | |
EP3611711B1 (de) | Verfahren zum klassifizieren von daten betreffend eine parklücke für ein kraftfahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE |
|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US Owner name: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. ST, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. STAATES DELAWARE), DALLAS, TEX., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R016 | Response to examination communication |