EP3499473A1 - Automatisiertes detektieren von gefahrensituationen - Google Patents

Automatisiertes detektieren von gefahrensituationen Download PDF

Info

Publication number
EP3499473A1
EP3499473A1 EP18211299.5A EP18211299A EP3499473A1 EP 3499473 A1 EP3499473 A1 EP 3499473A1 EP 18211299 A EP18211299 A EP 18211299A EP 3499473 A1 EP3499473 A1 EP 3499473A1
Authority
EP
European Patent Office
Prior art keywords
dangerous situation
alarm
optical flow
unit
ofd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP18211299.5A
Other languages
English (en)
French (fr)
Inventor
Andreas Heiko Schmidt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP3499473A1 publication Critical patent/EP3499473A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Definitions

  • the invention relates to a method for automated detection of a dangerous situation in a surveillance area.
  • characteristic movement patterns are recognized in video or image material.
  • the invention relates to an alerting method.
  • the invention relates to a monitoring system.
  • the invention relates to an alarm system.
  • the invention also relates to a passenger transport vehicle.
  • Video data is used for evidence and for purposes of investigation and for real-time monitoring.
  • an automated monitoring is increasingly used.
  • emergency situations such as violent crimes, can usually only be documented retrospectively, whereas alerting and timely intervention to save the potential victim is often not possible.
  • An approach to automated surveillance in public space using video data is aimed at detecting specific patterns of movement of persons who may be associated with hazardous situations.
  • Special requirements are the hazard detection in trains and buses.
  • For here there is the problem of delimiting the movement pattern of persons attributable to dangerous situations from movement patterns produced by the movement of the vehicles themselves, which are caused by light, shadow and the surroundings.
  • This object is achieved by a method for automated detection of a dangerous situation in a surveillance area according to claim 1, an alerting method according to claim 6, a surveillance system according to claim 8, an alarm system according to claim 9 and a passenger transport vehicle according to claim 10.
  • video data is continuously detected by the surveillance area. Then the video data is converted to optical flow data.
  • the optical flow data represent the optical flow of an image sequence of temporally successive frames, which are obtained from the recorded video data.
  • the optical flux comprises a vector field of the velocity of visible points of the object space projected into the image plane in the reference system of the imaging optics of the image acquisition unit used.
  • vectors are generated via the position difference of prominent points from the image sequence or image sequence. These vectors represent a direction of movement and a step size.
  • a classifier trained on the basis of relevant movement patterns is applied to the optical flow data in real time. The classifier comprises the definition of the movement patterns to be recognized.
  • the shape of the classifier depends on the type of training method and may include, for example, vector matrices.
  • the training of the classifier can preferably take place with the aid of reference image data, which are assigned to different situations, including specific dangerous situations, and which comprise the relevant movement patterns characterizing the respectively assigned situations.
  • the classifier is therefore the result of an applied training process.
  • the "relevant" movement patterns comprise movement patterns that are associated with typical movements that are correlated with specific situations, in particular dangerous situations. Finally, it is determined on the basis of a classification result whether a dangerous situation exists.
  • a type of dangerous situation can also be determined on the basis of the classification result.
  • Hazardous situations can advantageously be detected in a much more reliable automated manner in real time and in comparison to conventional approaches. Due to the real-time detection, it may be possible to intervene in good time by suitably provided auxiliary personnel, before a person gets hurt. If a specific type of dangerous situation is also detected, it is possible to target suitably suitable personnel who can react particularly effectively to the specific danger situation. Due to the higher reliability of the method, the number of false alarms can be reduced.
  • the process steps of image acquisition, data conversion, classification and hazard identification are advantageously carried out automatically, so that no personnel is required for hazard identification.
  • the method can be used particularly advantageously for hazard detection in public areas, such as in trains or buses, in which due to the complexity of a hazard detection by personnel is difficult or at least very complex.
  • the method according to the invention for automatically detecting a dangerous situation in a monitoring area is first of all carried out.
  • an automated triggering of an alarm occurs in the event that a dangerous situation has been detected.
  • the manner of the alarm and the assistants addressed by the alarm may depend on the recognition result.
  • an alarm for example, an optical or acoustic signal, in the simplest case, a signal light can be generated, which confirms the victim that the alarm has taken place, and causes a possibly existing offender to abort his act, as this monitoring by a monitoring system and the triggering of the alarm is clarified.
  • the alerting method shares the advantages of the method according to the invention for the automated detection of a dangerous situation in a surveillance area.
  • the monitoring system according to the invention comprises a video recording unit for continuously acquiring video data from a surveillance area.
  • Part of the monitoring system according to the invention is a conversion unit for converting the video data into optical flow data.
  • the monitoring system comprises a classification unit which is set up to apply a classifier trained on the basis of relevant movement patterns to the optical flow data in real time.
  • Part of the monitoring system according to the invention is also a hazard determination unit for determining a dangerous situation on the basis of a classification result.
  • the monitoring system according to the invention shares the advantages of the method according to the invention for the automated detection of a dangerous situation in a monitoring area.
  • the alarm system according to the invention comprises the monitoring system according to the invention as well as an alarm unit for the automated triggering of an alarm as a function of a danger situation detected by the monitoring system.
  • the alarm system according to the invention shares the advantages of the monitoring system according to the invention.
  • the passenger transport vehicle according to the invention comprises the alarm system according to the invention.
  • the detection of danger in the passenger transport vehicle according to the invention is automated and in real time, so that timely countermeasures can be initiated.
  • Some components of the monitoring system according to the invention may be designed, possibly after supplementing certain hardware elements, such as a video camera, for the most part in the form of software components. This applies in particular to parts of the conversion unit, the classification unit and the hazard determination unit.
  • these components can also be partly, in particular when it comes to very fast calculations, in the form of software-supported hardware, for example FPGAs or the like, be realized.
  • the required interfaces for example, if it is only about a transfer of data from other software components, be designed as software interfaces.
  • they can also be configured as hardware-based interfaces, which are controlled by suitable software.
  • a largely software-based implementation has the advantage that already existing computer systems for monitoring an area can be retrofitted in a simple manner by means of a software update in order to work in the manner according to the invention.
  • the object is also achieved by a corresponding computer program product with a computer program which can be loaded directly into a memory device of such a computer system, with program sections to execute all the steps of the method according to the invention when the computer program is executed in the computer system.
  • Such a computer program product may contain, in addition to the computer program, additional components, e.g. a documentation and / or additional components, also hardware components, such as e.g. Hardware keys (dongles, etc.) for using the software include
  • a computer-readable medium for example a memory stick, a hard disk or other transportable or permanently installed data carrier may be used, on which the computer program readable and executable program sections of a computer system are stored.
  • the computer system may e.g. for this purpose have one or more cooperating microprocessors or the like.
  • a recognizer using a classifier is trained, which is subsequently able to recognize corresponding patterns.
  • a recognizer is a program or library that uses the classifier to detect relevant patterns of movement.
  • the classifier can be flexibly adapted to individual application areas without being fixed to a rigid, computationally expensive model.
  • the automated learning method comprises a machine learning method.
  • Such machine learning methods can be used to train motion pattern recognition classification methods. Examples of classification methods for movement pattern recognition are svm or Haarcascade use.
  • the method svm support vector machine is a mathematical method for pattern recognition based on vector matrices.
  • Hair cascade includes an image extraction method, also called hair feature method, which includes abstraction patterns, so-called Haar wavelets, with which images are decomposed into individual parts and are resolved differently.
  • the automated learning method may also include a deep learning method, which is considered to be a special case of machine learning.
  • Deep learning refers to a class of optimization methods based on the application of neural networks.
  • the neural networks used in this case comprise numerous intermediate layers between the input layer and the output layer and thus have an internal structure. Deep Learning can process a larger amount of basic data with the support of potent hardware and procedures than with simpler approaches.
  • FIG. 1 a flowchart 100 is shown which describes a method for automated detection of a hazardous situation.
  • the surveillance area UB may include the compartment of a train in which passengers are staying for a certain time.
  • step 1.I video data VD is continuously detected by the monitoring area ÜB.
  • the captured video data VD is converted into optical flow data OFD in step 1.II.
  • step 1.III a classifier K trained on the basis of relevant movement patterns is applied to the optical flow data OFD in real time.
  • step 1.IV it is then determined whether a dangerous situation GS exists and, if so, what kind of dangerous situation is. This determination is based on a classification result KE. In the event that it was determined in step 1.IV that a dangerous situation GS exists, which is in FIG. 1 is marked with "j", then it goes to step 1.V, in which an alarm is triggered by competent authorities.
  • the alarm message AL to an auxiliary team or auxiliary instance such as the police or private security services, are transmitted, which can provide timely assistance to the person concerned. If no dangerous situation GS has been determined in step 1.IV, which is marked with "n", then the process moves to step 1.I and the monitoring process is continued in real time.
  • FIG. 2 a flowchart 200 is shown which illustrates method steps for training a classifier K.
  • the steps mentioned can be carried out, for example, in advance of a deployment of the in FIG. 1 illustrated method taking into account the specific application area or a known monitoring area.
  • step 2.I first video data VD B are read in with exemplary movement patterns which are assigned to a known dangerous situation GS.
  • the video data VD B are converted to optical flow data OFD B in step 2.II.
  • the classifier K is trained by means of an automated learning method on the basis of the optical flow data OFD B provided with exemplary movement patterns.
  • FIG. 3 a block diagram is shown which illustrates an alarm system 1 with a monitoring system 10 according to an embodiment of the invention.
  • Part of the alarm system 1 is in addition to the mentioned monitoring system 10 and an alarm unit 15, can be set with the auxiliary forces of a dangerous situation GS in a monitoring area ÜB in knowledge.
  • the monitoring system 10 further comprises a video capture unit 11 with a video camera which serves to continuously record video data VD from the surveillance area UB.
  • the video data VD is forwarded to a conversion unit 12, which converts the received video data VD into optical flow data OFD.
  • the optical flow data OFD are transmitted to a classification unit 13 which applies a classifier K trained on the basis of relevant movement patterns to the optical flow data OFD in real time and optionally assigns the optical flow data OFD to predetermined movement patterns.
  • the classification result KE is then forwarded to a hazard determination unit 14 which, based on the classification result KE, optionally determines a dangerous situation GS.
  • this message is forwarded to the alerting unit 15, which, as already mentioned, alerts suitable assistants.
  • the monitoring system 10 also comprises units 16, 17, 18 for training the classifiers K used in the classification unit 13.
  • a training database 16 provides exemplary video data VD B in the context of a training process, for which the classification results KE R are known.
  • the exemplary video data VD B are forwarded to the conversion unit 12 as part of the training process.
  • the conversion unit 12 converts the exemplary video data VD B into exemplary optical flow data OFD B.
  • the exemplary optical flow data OFD B are subsequently classified by the classification unit 13 and the classification result KE is transmitted to a comparison unit 17.
  • the comparison unit 17 compares the classification result KE with a reference classification result KE R made available by the training database 16 and determines a comparison result VE.
  • a correction unit 18 carries out a correction of the classifier K and transmits the changed classifier K to the classification unit 13.
  • the training process can now be continued with the new classifier K and the process can be aborted, for example, if the classification result KE deviates from the corresponding reference quantity KE R only by a predetermined threshold size.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

Bei dem Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich (ÜB) werden kontinuierlich Videodaten (VD) von dem Überwachungsbereich (ÜB) erfasst. Die erfassten Videodaten (VD) werden weiterhin in Optical-Flow-Daten (OFD) umgewandelt. Anschließend wird ein auf Basis relevanter Bewegungsmuster trainierter Klassifikator (K) auf die Optical-Flow-Daten (OFD) in Echtzeit angewendet. Weiterhin wird eine Gefahrensituation (GS) auf Basis eines Klassifikationsergebnisses (KE) ermittelt. Es wird auch ein Alarmierungsverfahren beschrieben. Es wird ferner ein Überwachungssystem (10) beschrieben. Zudem wird ein Alarmsystem (1) beschrieben. Überdies wird ein Personentransportfahrzeug beschrieben.

Description

  • Die Erfindung betrifft ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich. Bei dem Verfahren werden charakteristische Bewegungsmuster in Video- bzw. Bildmaterial erkannt. Zudem betrifft die Erfindung ein Alarmierungsverfahren. Weiterhin betrifft die Erfindung ein Überwachungssystem. Überdies betrifft die Erfindung ein Alarmsystem. Die Erfindung betrifft auch ein Personentransportfahrzeug.
  • Um die Sicherheit von Personen im öffentlichen Raum und im privaten Umfeld zu verbessern, werden zunehmend Kamerasysteme eingesetzt. Videodaten werden zur Beweissicherung und zu Ermittlungszwecken sowie zur Echtzeitüberwachung eingesetzt. Dabei wird neben der direkten Beobachtung durch Personen auch zunehmend eine automatisierte Überwachung genutzt. Allerdings lassen sich mit den dabei eingesetzten Systemen meistens Notsituationen, wie zum Beispiel bei Gewaltverbrechen, nur im Nachhinein dokumentieren, wohingegen ein Alarmieren und rechtzeitiges Eingreifen, um das potentielle Opfer zu retten, oft nicht möglich ist.
  • Ein Ansatz zur automatisierten Überwachung im öffentlichen Raum mit Hilfe von Videodaten zielt auf die Erkennung spezieller Bewegungsmuster von Personen, welche mit Gefahrensituationen in Verbindung gebracht werden können, ab. Besondere Anforderungen stellt hierbei die Gefahrenerkennung in Zügen und Bussen. Denn hier besteht das Problem, die den Gefahrensituationen zuzuordnenden Bewegungsmuster von Personen von durch die Bewegung der Fahrzeuge selbst entstehenden Bewegungsmustern, welche durch Licht, Schatten und die Umgebung hervorgerufen werden, abzugrenzen.
  • Gegenwärtig findet eine Erkennung von Bewegungsmustern in Fahrzeugen kaum oder nur eingeschränkt statt, da das oben geschilderte Problem bisher nicht gelöst wurde. Üblicherweise werden im Inneren der Fahrzeuge die Videoströme lediglich aufgezeichnet und nach einer achtundvierzigstündigen Frist ungesehen vernichtet. Erst im Falle des Bekanntwerdens von Vorfällen, beispielsweise durch eine Anzeige oder im Rahmen von aus anderen Gründen stattfindenden polizeilichen Ermittlungen, werden die aufgezeichneten Bilddaten nachträglich gesichtet und für die Ermittlungsarbeit oder zur Beweissicherung im Umfeld von Straftaten herangezogen.
  • Eine Erkennung von Gefahrenquellen durch das Verhalten von Personen in Echtzeit, d.h. im Vorfeld oder zur unmittelbaren Tatzeit, mit entsprechenden Interventionsmöglichkeiten, findet nicht statt. Eine Intervention ist erst zu einem späteren Zeitpunkt nach Sichtung des erfassten Videomaterials möglich.
  • Es gibt zwar Ansätze für eine Bewegungserkennung in Fahrzeugen in Echtzeit, dabei wird jedoch nur eine erhöhte Geschwindigkeit von Bewegungen erkannt. Die Unterscheidung spezieller Bewegungsmuster lässt sich mit dieser Vorgehensweise jedoch nicht realisieren.
  • Es besteht also die Aufgabe, ein Verfahren und eine Vorrichtung zu entwickeln, mit denen eine Gefahrensituation in Echtzeit und zuverlässig erkannt werden kann.
  • Diese Aufgabe wird durch ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich gemäß Patentanspruch 1, ein Alarmierungsverfahren gemäß Patentanspruch 6, ein Überwachungssystem gemäß Patentanspruch 8, ein Alarmsystem gemäß Patentanspruch 9 und ein Personentransportfahrzeug gemäß Patentanspruch 10 gelöst.
  • Bei dem erfindungsgemäßen Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich werden Videodaten von dem Überwachungsbereich kontinuierlich erfasst. Anschließend werden die Videodaten in Optical-Flow-Daten umgewandelt. Die Optical-Flow-Daten repräsentieren den optischen Fluss einer Bildsequenz aus zeitlich aufeinanderfolgenden Einzelbildern, welche aus den aufgenommenen Videodaten gewonnen werden. Der optische Fluss umfasst ein Vektorfeld der in die Bildebene projizierten Geschwindigkeit von sichtbaren Punkten des Objektraumes im Bezugssystem der Abbildungsoptik der verwendeten Bildaufnahmeeinheit. Zur Ermittlung des optischen Flusses werden über die Positionsdifferenz markanter Punkte aus der Bildabfolge bzw. Bildsequenz Vektoren generiert. Diese Vektoren repräsentieren eine Bewegungsrichtung und eine Schrittweite. Auf die Optical-Flow-Daten wird in Echtzeit ein auf Basis relevanter Bewegungsmuster trainierter Klassifikator angewendet. Der Klassifikator umfasst die Definition der zu erkennenden Bewegungsmuster. Die Form des Klassifikators ist von der Art des Trainingsverfahrens abhängig und kann zum Beispiel Vektormatrizen umfassen. Das Training des Klassifikators kann vorzugsweise mit Hilfe von Referenzbilddaten erfolgen, denen unterschiedliche Situationen, darunter auch spezifische Gefahrensituationen, zugeordnet sind und die die jeweils zugeordneten Situationen kennzeichnende, relevante Bewegungsmuster umfassen. Der Klassifikator ist also das Ergebnis eines angewandten Trainingsprozesses.
  • Die "relevanten" Bewegungsmuster umfassen Bewegungsmuster, die typischen Bewegungen, welche mit spezifischen Situationen, insbesondere Gefahrensituationen, korreliert sind, zuzuordnen sind. Schließlich wird auf Basis eines Klassifikationsergebnisses ermittelt, ob eine Gefahrensituation vorliegt.
  • Für den Fall, dass eine Gefahrensituation ermittelt wird, kann auf Basis des Klassifikationsergebnisses auch ein Typ der Gefahrensituation ermittelt werden.
  • Vorteilhaft können Gefahrensituationen in Echtzeit und im Vergleich zu herkömmlichen Herangehensweisen deutlich zuverlässiger automatisiert detektiert werden. Aufgrund der Echtzeitdetektion kann gegebenenfalls rechtzeitig durch entsprechend dafür vorgesehenes Hilfspersonal eingegriffen werden, bevor eine Person zu Schaden kommt. Wird auch ein spezifischer Typ einer Gefahrensituation erkannt, so kann gezielt geeignetes Personal adressiert werden, welches besonders effektiv auf die spezifische Gefahrensituation reagieren kann. Aufgrund der höheren Zuverlässigkeit des Verfahrens kann die Zahl der Fehlalarme reduziert werden. Die Verfahrensschritte der Bildaufnahme, der Datenumwandlung, der Klassifizierung und der Gefahrenerkennung erfolgen vorteilhaft automatisiert, so dass kein Personal zur Gefahrenerkennung benötigt wird. Das Verfahren lässt sich besonders vorteilhaft für die Gefahrenerkennung im öffentlichen Raum, wie zum Beispiel in Zügen oder Bussen, anwenden, in denen aufgrund der Unübersichtlichkeit eine Gefahrenerkennung durch Personal erschwert ist oder zumindest sehr aufwändig wäre.
  • Bei dem erfindungsgemäßen Alarmierungsverfahren wird zunächst das erfindungsgemäße Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich durchgeführt. Überdies erfolgt ein automatisiertes Auslösen eines Alarms für den Fall, dass eine Gefahrensituation detektiert wurde. Die Art und Weise des Alarms und die von dem Alarm adressierten Hilfskräfte können zum Beispiel von dem Erkennungsergebnis abhängen. Als Reaktion auf eine Alarmierung kann beispielsweise ein optisches oder akustisches Signal, im einfachsten Fall ein Signallicht, erzeugt werden, das dem Opfer bestätigt, dass die Alarmierung stattgefunden hat, und das einen eventuell vorhandenen Täter zum Abbruch seiner Tat veranlasst, da diesem die Überwachung durch ein Überwachungssystem und das Auslösen des Alarms verdeutlicht wird. Das Alarmierungsverfahren teilt die Vorteile des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich.
  • Das erfindungsgemäße Überwachungssystem umfasst eine Videoaufnahmeeinheit zum kontinuierlichen Erfassen von Videodaten von einem Überwachungsbereich. Teil des erfindungsgemäßen Überwachungssystems ist eine Konversionseinheit zum Umwandeln der Videodaten in Optical-Flow-Daten. Das erfindungsgemäße Überwachungssystem umfasst eine Klassifizierungseinheit, welche dazu eingerichtet ist, einen auf Basis relevanter Bewegungsmuster trainierten Klassifikator auf die Optical-Flow-Daten in Echtzeit anzuwenden. Teil des erfindungsgemäßen Überwachungssystems ist auch eine Gefahrenermittlungseinheit zum Ermitteln einer Gefahrensituation auf Basis eines Klassifikationsergebnisses.
  • Das erfindungsgemäße Überwachungssystem teilt die Vorteile des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich.
  • Das erfindungsgemäße Alarmsystem umfasst das erfindungsgemäße Überwachungssystem sowie eine Alarmierungseinheit zum automatisierten Auslösen eines Alarms in Abhängigkeit von einer von dem Überwachungssystem detektierten Gefahrensituation. Das erfindungsgemäße Alarmsystem teilt die Vorteile des erfindungsgemäßen Überwachungssystems.
  • Das erfindungsgemäße Personentransportfahrzeug weist das erfindungsgemäße Alarmsystem auf. Insbesondere in Schienenverkehrsmitteln mit einer Vielzahl von Transportmodulen lassen sich Gefahrensituationen, beispielsweise im Zusammenhang mit Gewalttaten, nicht leicht erkennen. Vorteilhaft erfolgt die Gefahrenerkennung in dem erfindungsgemäßen Personentransportfahrzeug automatisiert und in Echtzeit, so dass rechtzeitig Gegenmaßnahmen eingeleitet werden können.
  • Einige Komponenten des erfindungsgemäßen Überwachungssystems können, eventuell nach Ergänzung gewisser Hardwareelemente, wie zum Beispiel einer Videokamera, zum überwiegenden Teil in Form von Softwarekomponenten ausgebildet sein. Dies betrifft insbesondere Teile der Konversionseinheit, der Klassifizierungseinheit und der Gefahrenermittlungseinheit.
  • Grundsätzlich können diese Komponenten aber auch zum Teil, insbesondere wenn es um besonders schnelle Berechnungen geht, in Form von softwareunterstützter Hardware, beispielsweise FPGAs oder dergleichen, realisiert sein. Ebenso können die benötigten Schnittstellen, beispielsweise wenn es nur um eine Übernahme von Daten aus anderen Softwarekomponenten geht, als Softwareschnittstellen ausgebildet sein. Sie können aber auch als hardwaremäßig aufgebaute Schnittstellen ausgebildet sein, die durch geeignete Software angesteuert werden.
  • Eine weitgehend softwaremäßige Realisierung hat den Vorteil, dass auch schon bisher zur Überwachung eines Bereichs vorhandene Rechnersysteme auf einfache Weise durch ein Software-Update nachgerüstet werden können, um auf die erfindungsgemäße Weise zu arbeiten. Insofern wird die Aufgabe auch durch ein entsprechendes Computerprogrammprodukt mit einem Computerprogramm gelöst, welches direkt in eine Speichereinrichtung eines solchen Rechnersystems ladbar ist, mit Programmabschnitten, um alle Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in dem Rechnersystem ausgeführt wird.
  • Ein solches Computerprogrammprodukt kann neben dem Computerprogramm gegebenenfalls zusätzliche Bestandteile, wie z.B. eine Dokumentation und/oder zusätzliche Komponenten, auch Hardware-Komponenten, wie z.B. Hardware-Schlüssel (Dongles etc.) zur Nutzung der Software, umfassen
  • Zum Transport zur Speichereinrichtung des Rechnersystems und/oder zur Speicherung an dem Rechnersystem kann ein computerlesbares Medium, beispielsweise ein Memorystick, eine Festplatte oder ein sonstiger transportabler oder fest eingebauter Datenträger dienen, auf welchem die von einem Rechnersystem einlesbaren und ausführbaren Programmabschnitte des Computerprogramms gespeichert sind. Das Rechnersystem kann z.B. hierzu einen oder mehrere zusammenarbeitende Mikroprozessoren oder dergleichen aufweisen.
  • Die abhängigen Ansprüche sowie die nachfolgende Beschreibung enthalten jeweils besonders vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung. Dabei können insbesondere die Ansprüche einer Anspruchskategorie auch analog zu den abhängigen Ansprüchen einer anderen Anspruchskategorie und deren Beschreibungsteilen weitergebildet sein. Zudem können im Rahmen der Erfindung auch die verschiedenen Merkmale unterschiedlicher Ausführungsbeispiele und Ansprüche auch zu neuen Ausführungsbeispielen kombiniert werden.
  • In einer Variante des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich wird der Klassifikator durch folgende Schritte trainiert:
    • Erfassen von Videodaten mit beispielhaften Bewegungsmustern,
    • Umwandeln der Videodaten in Optical-Flow-Daten,
    • Trainieren des Klassifikators mit Hilfe eines automatisierten Lernverfahrens auf Basis der mit beispielhaften Bewegungsmustern versehenen Optical-Flow-Daten.
  • Bei dem Trainingsvorgang wird aus einer Grundmenge von exemplarischen Bildfolgen ein Erkenner, welcher einen Klassifikator verwendet, trainiert, der in der Folge in der Lage ist, entsprechende Muster zu erkennen. Ein solcher Erkenner ist ein Programm oder eine Bibliothek, die den Klassifikator nutzt, um relevante Bewegungsmuster zu erkennen. Vorteilhaft kann der Klassifikator flexibel an individuelle Anwendungsbereiche angepasst werden, ohne auf ein starres, rechenaufwändiges Modell festgelegt zu sein.
  • In einer Ausgestaltung des erfindungsgemäßen Verfahrens zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich umfasst das automatisierte Lernverfahren ein maschinelles Lernverfahren. Solche maschinellen Lernverfahren lassen sich für das Trainieren von Klassifikationsverfahren zur Bewegungsmustererkennung anwenden. Beispiele für Klassifikationsverfahren zur Bewegungsmustererkennung sind svm oder Haarcascade-Einsatz. Bei dem Verfahren svm (support vector machine) handelt es sich um ein mathematisches Verfahren zur Mustererkennung auf Basis von Vektormatrizen.
  • Haarcascade umfasst ein Bildextraktionsverfahren, auch Haar-Feature-Verfahren genannt, welches Abstraktionsmuster, sogenannte Haar-Wavelets umfasst, mit denen Bilder in Einzelteile zerlegt werden und unterschiedlich aufgelöst werden.
  • Das automatisierte Lernverfahren kann auch ein Deep-Learning-Verfahren umfassen, welches als ein Spezialfall des maschinellen Lernens anzusehen ist. Deep-Learning betrifft eine Klasse von Optimierungsmethoden, welche auf der Anwendung neuronaler Netze beruhen. Die dabei verwendeten neuronalen Netze umfassen zahlreichen Zwischenlagen zwischen der Eingabeschicht und der Ausgabeschicht und weisen somit eine innere Struktur auf. Mittels Deep-Learning kann mit Unterstützung potenter Hardware und entsprechender Verfahrensweise eine größere Menge an Basisdaten verarbeitet werden, als es bei einfacheren Ansätzen der Fall ist.
  • Die Erfindung wird im Folgenden unter Hinweis auf die beigefügten Figuren anhand von Ausführungsbeispielen noch einmal näher erläutert. Es zeigen:
    • FIG 1
    ein Flussdiagramm, welches ein Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich und zum Auslösen eines Alarms gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht,
    FIG 2
    ein Flussdiagramm, welches Verfahrensschritte zum Trainieren eines Klassifikators veranschaulicht,
    FIG 3
    ein Blockdiagramm, welches ein Alarmsystem mit einem Überwachungssystem gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht.
  • In FIG 1 ist ein Flussdiagramm 100 gezeigt, welches ein Verfahren zum automatisierten Detektieren einer Gefahrensituation beschreibt. Der Überwachungsbereich ÜB kann zum Beispiel das Abteil eines Zugs umfassen, in dem sich Fahrgäste für eine gewisse Zeit aufhalten.
  • Bei dem Schritt 1.I werden kontinuierlich Videodaten VD von dem Überwachungsbereich ÜB erfasst. Die erfassten Videodaten VD werden bei dem Schritt 1.II in Optical-Flow-Daten OFD gewandelt. Nachfolgend wird bei dem Schritt 1.III ein auf Basis relevanter Bewegungsmuster trainierter Klassifikator K auf die Optical-Flow-Daten OFD in Echtzeit angewendet. Bei dem Schritt 1.IV wird dann ermittelt, ob eine Gefahrensituation GS vorliegt und gegebenenfalls, welcher Art diese Gefahrensituation ist. Diese Ermittlung erfolgt auf Basis eines Klassifikationsergebnisses KE. Für den Fall, dass bei dem Schritt 1.IV ermittelt wurde, dass eine Gefahrensituation GS vorliegt, was in FIG 1 mit "j" gekennzeichnet ist, so wird zu dem Schritt 1.V übergegangen, bei dem ein Alarm bei zuständigen Instanzen ausgelöst wird. Beispielsweise kann die Alarmmeldung AL an eine Hilfsmannschaft oder Hilfsinstanz, beispielsweise die Polizei oder private Wachdienste, übermittelt werden, welche zeitnah der betroffenen Person Hilfe leisten können. Falls bei dem Schritt 1.IV keine Gefahrensituation GS ermittelt wurde, was mit "n" gekennzeichnet ist, so wird zu dem Schritt 1.I übergegangen und es wird der Überwachungsprozess weiter in Echtzeit durchgeführt.
  • In FIG 2 wird ein Flussdiagramm 200 gezeigt, welches Verfahrensschritte zum Trainieren eines Klassifikators K veranschaulicht. Die genannten Schritte können zum Beispiel im Vorfeld eines Einsatzes des in FIG 1 veranschaulichten Verfahrens unter Berücksichtigung des speziellen Anwendungsgebiets bzw. eines bekannten Überwachungsbereichs durchgeführt werden. Bei dem Schritt 2.I werden zunächst Videodaten VDB mit beispielhaften Bewegungsmustern, welche einer bekannten Gefahrensituation GS zugeordnet sind, eingelesen. Die Videodaten VDB werden bei dem Schritt 2.II in Optical-Flow-Daten OFDB umgewandelt. Dann wird bei dem Schritt 2.III der Klassifikator K mit Hilfe eines automatisierten Lernverfahrens auf Basis der mit beispielhaften Bewegungsmustern versehenen Optical-Flow-Daten OFDB trainiert.
  • In FIG 3 ist ein Blockdiagramm gezeigt, welches ein Alarmsystem 1 mit einem Überwachungssystem 10 gemäß einem Ausführungsbeispiel der Erfindung veranschaulicht. Teil des Alarmsystems 1 ist neben dem erwähnten Überwachungssystem 10 auch eine Alarmierungseinheit 15, mit der Hilfskräfte von einer Gefahrensituation GS in einem Überwachungsbereich ÜB in Kenntnis gesetzt werden können.
  • Das Überwachungssystem 10 umfasst zudem eine Videoaufnahmeeinheit 11 mit einer Videokamera, welche dazu dient, kontinuierlich Videodaten VD von dem Überwachungsbereich ÜB aufzunehmen. Die Videodaten VD werden an eine Konversionseinheit 12 weitergeleitet, welche die empfangenen Videodaten VD in Optical-Flow-Daten OFD umwandelt. Die Optical-Flow-Daten OFD werden an eine Klassifizierungseinheit 13 übermittelt, die einen auf Basis relevanter Bewegungsmuster trainierten Klassifikator K auf die Optical-Flow-Daten OFD in Echtzeit anwendet und die Optical-Flow-Daten OFD gegebenenfalls vorbestimmten Bewegungsmustern zuordnet. Das Klassifikationsergebnis KE wird dann an eine Gefahrenermittlungseinheit 14 weiter übermittelt, welche auf Basis des Klassifikationsergebnisses KE gegebenenfalls eine Gefahrensituation GS ermittelt.
  • Für den Fall, dass eine Gefahrensituation GS ermittelt wurde, wird diese Nachricht an die Alarmierungseinheit 15 weitergeleitet, welche, wie bereits erwähnt, geeignete Hilfskräfte alarmiert.
  • Das Überwachungssystem 10 umfasst außerdem Einheiten 16, 17, 18 zum Trainieren der in der Klassifizierungseinheit 13 eingesetzten Klassifikatoren K. Eine Trainingsdatenbank 16 stellt im Rahmen eines Trainingsprozesses beispielhafte Videodaten VDB zur Verfügung, zu denen die Klassifikationsergebnisse KER bekannt sind. Die beispielhaften Videodaten VDB werden im Rahmen des Trainingsprozesses an die Konversionseinheit 12 weitergeleitet. Die Konversionseinheit 12 wandelt die beispielhaften Videodaten VDB in beispielhafte Optical-Flow-Daten OFDB um. Die beispielhaften Optical-Flow-Daten OFDB werden anschließend von der Klassifizierungseinheit 13 klassifiziert und das Klassifizierungsergebnis KE wird an eine Vergleichseinheit 17 übermittelt. Die Vergleichseinheit 17 vergleicht das Klassifizierungsergebnis KE mit einem von der Trainingsdatenbank 16 zur Verfügung gestellten Referenz-Klassifizierungsergebnis KER und ermittelt dabei ein Vergleichsergebnis VE. Auf Basis des Vergleichsergebnisses VE führt eine Korrektureinheit 18 eine Korrektur des Klassifikators K durch und übermittelt den geänderten Klassifikator K an die Klassifizierungseinheit 13. Der Trainingsprozess kann nun mit dem neuen Klassifikator K weitergeführt werden und der Vorgang kann zum Beispiel dann abgebrochen werden, wenn das Klassifizierungsergebnis KE von der entsprechenden Referenzgröße KER nur noch um eine vorgegebene Schwellengröße abweicht.
  • Es wird abschließend noch einmal darauf hingewiesen, dass es sich bei den vorbeschriebenen Verfahren und Vorrichtungen lediglich um bevorzugte Ausführungsbeispiele der Erfindung handelt und dass die Erfindung vom Fachmann variiert werden kann, ohne den Bereich der Erfindung zu verlassen, soweit er durch die Ansprüche vorgegeben ist. Es wird der Vollständigkeit halber auch darauf hingewiesen, dass die Verwendung der unbestimmten Artikel "ein" bzw. "eine" nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. Ebenso schließt der Begriff "Einheit" nicht aus, dass diese aus mehreren Komponenten besteht, die gegebenenfalls auch räumlich verteilt sein können.

Claims (12)

  1. Verfahren zum automatisierten Detektieren einer Gefahrensituation in einem Überwachungsbereich (ÜB), aufweisend die Schritte:
    - kontinuierliches Erfassen von Videodaten (VD) von dem Überwachungsbereich (ÜB),
    - Umwandeln der Videodaten (VD) in Optical-Flow-Daten (OFD),
    - Anwenden eines auf Basis relevanter Bewegungsmuster trainierten Klassifikators (K) auf die Optical-Flow-Daten (OFD) in Echtzeit,
    - Ermitteln auf Basis eines Klassifikationsergebnisses (KE), ob eine Gefahrensituation (GS) vorliegt.
  2. Verfahren nach Anspruch 1, wobei der Klassifikator (K) durch folgende Schritte trainiert wird:
    - Erfassen von Videodaten (VDB) mit beispielhaften Bewegungsmustern,
    - Umwandeln der Videodaten (VDB) in Optical-Flow-Daten (OFDB),
    - Trainieren des Klassifikators (K) mit Hilfe eines automatisierten Lernverfahrens auf Basis der mit beispielhaften Bewegungsmustern versehenen Optical-Flow-Daten (OFDB).
  3. Verfahren nach Anspruch 2, wobei das automatisierte Lernverfahren ein maschinelles Lernverfahren umfasst.
  4. Verfahren nach Anspruch 3, wobei das maschinelle Lernverfahren ein Deep-Learning-Verfahren umfasst.
  5. Verfahren nach einem der vorstehenden Ansprüche, wobei für den Fall, dass eine Gefahrensituation (GS) ermittelt wird, auf Basis des Klassifikationsergebnisses (KE) ein Typ der Gefahrensituation ermittelt wird.
  6. Alarmierungsverfahren, aufweisend die Schritte:
    - Durchführen des Verfahrens nach einem der Ansprüche 1 bis 5,
    - automatisiertes Auslösen eines Alarms (AL) für den Fall, dass eine Gefahrensituation (GS) detektiert wurde.
  7. Verfahren nach Anspruch 6, wobei die Art des auszulösenden Alarms (AL) und die Adressaten des Alarms in Abhängigkeit von dem ermittelten Typ der Gefahrensituation (GS) ausgewählt werden.
  8. Überwachungssystem (10), aufweisend:
    - eine Videoaufnahmeeinheit (11) zum kontinuierlichen Erfassen von Videodaten (VD) von dem Überwachungsbereich (ÜB),
    - eine Konversionseinheit (12) zum Umwandeln der Videodaten (VD) in Optical-Flow-Daten (OFD),
    - eine Klassifizierungseinheit (13) zum Anwenden eines auf Basis relevanter Bewegungsmuster trainierten Klassifikators (K) auf die Optical-Flow-Daten (OFD) in Echtzeit,
    - eine Gefahrenermittlungseinheit (14) zum Ermitteln einer Gefahrensituation (GS) auf Basis eines Klassifikationsergebnisses (KE).
  9. Alarmsystem (1), aufweisend:
    - ein Überwachungssystem (10) nach Anspruch 8 und
    - eine Alarmierungseinheit (15) zum automatisierten Auslösen eines Alarms (AL) in Abhängigkeit von einer von dem Überwachungssystem (10) detektierten Gefahrensituation (GS).
  10. Personentransportfahrzeug, aufweisend ein Alarmsystem (1) nach Anspruch 9.
  11. Computerprogrammprodukt mit einem Computerprogramm, welches direkt in eine Speichereinheit einer Rechnereinheit eines Überwachungssystems (10) ladbar ist, mit Programmabschnitten, um alle Schritte eines Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen, wenn das Computerprogramm in der Rechnereinheit ausgeführt wird.
  12. Computerlesbares Medium, auf welchem von einer Rechnereinheit ausführbare Programmabschnitte gespeichert sind, um alle Schritte des Verfahrens nach einem der Ansprüche 1 bis 5 auszuführen, wenn die Programmabschnitte von der Rechnereinheit ausgeführt werden.
EP18211299.5A 2017-12-15 2018-12-10 Automatisiertes detektieren von gefahrensituationen Withdrawn EP3499473A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017222898.9A DE102017222898A1 (de) 2017-12-15 2017-12-15 Automatisiertes Detektieren von Gefahrensituationen

Publications (1)

Publication Number Publication Date
EP3499473A1 true EP3499473A1 (de) 2019-06-19

Family

ID=64664136

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18211299.5A Withdrawn EP3499473A1 (de) 2017-12-15 2018-12-10 Automatisiertes detektieren von gefahrensituationen

Country Status (2)

Country Link
EP (1) EP3499473A1 (de)
DE (1) DE102017222898A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3101827A1 (fr) * 2019-10-15 2021-04-16 Transdev Group Innovation Dispositif électronique et procédé de génération d’un signal d’alerte, système de transport et programme d’ordinateur associés
CN113591711A (zh) * 2021-07-30 2021-11-02 沭阳县华源米业股份有限公司 一种基于人工智能的粮仓危险源安全监测方法及***
EP4112420A1 (de) * 2021-07-01 2023-01-04 Siemens Mobility GmbH Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021206618A1 (de) 2021-06-25 2022-12-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erhöhung der Erkennungsgenauigkeit eines Überwachungssystems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060045354A1 (en) * 2004-07-28 2006-03-02 Keith Hanna Method and apparatus for improved video surveillance through classification of detected objects
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
WO2010139495A1 (de) * 2009-06-05 2010-12-09 Siemens Aktiengesellschaft Verfahren und vorrichtung zum klassifizieren von situationen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060045354A1 (en) * 2004-07-28 2006-03-02 Keith Hanna Method and apparatus for improved video surveillance through classification of detected objects
DE102007031302A1 (de) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer Überwachungsszene, Verfahren sowie Computerprogramm
WO2010139495A1 (de) * 2009-06-05 2010-12-09 Siemens Aktiengesellschaft Verfahren und vorrichtung zum klassifizieren von situationen

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3101827A1 (fr) * 2019-10-15 2021-04-16 Transdev Group Innovation Dispositif électronique et procédé de génération d’un signal d’alerte, système de transport et programme d’ordinateur associés
EP3809382A1 (de) * 2019-10-15 2021-04-21 Transdev Group Innovation Elektronische vorrichtung und verfahren zur erzeugung eines alarmsignals, entsprechendes transportsystem und computerprogramm
EP4112420A1 (de) * 2021-07-01 2023-01-04 Siemens Mobility GmbH Verfahren zum erkennen eines sicherheitsrelevanten ereignisses innerhalb einer fahrgastkabine eines schienenfahrzeugs
CN113591711A (zh) * 2021-07-30 2021-11-02 沭阳县华源米业股份有限公司 一种基于人工智能的粮仓危险源安全监测方法及***
CN113591711B (zh) * 2021-07-30 2022-07-19 沭阳县华源米业股份有限公司 一种基于人工智能的粮仓危险源安全监测方法及***

Also Published As

Publication number Publication date
DE102017222898A1 (de) 2019-06-19

Similar Documents

Publication Publication Date Title
EP3499473A1 (de) Automatisiertes detektieren von gefahrensituationen
DE60005380T2 (de) Überwachungssystem
DE102012215544A1 (de) Überwachung einer Bahnstrecke
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102014225592A1 (de) Personenidentifikation für mehrstufige Personenkontrollen
DE102017122655A1 (de) Verfahren zum datenaustausch zwischen einer ip-videokamera und einem server (varianten)
DE102014215057A1 (de) Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers
DE102012218870A1 (de) Verbessertes Erkennen herrenloser Objekte unter Verwendung des Erfassens von Fussgängern
DE102020203473A1 (de) Anonymisierungseinrichtung, Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium
DE102020203475A1 (de) Anonymisierungseinrichtung, Überwachungsvorrichtung, Verfahren, Computerprogramm und Speichermedium
WO2020239540A1 (de) Verfahren und vorrichtung zur detektion von rauch
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
EP3493171A1 (de) Detektion von aggressivem verhalten in öffentlichen transportmitteln
DE102009024066A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Situationen
DE102009028212A1 (de) Verfahren zum Überwachen eines Bereichs
DE112017007247T5 (de) Bildverarbeitungsvorrichtung
DE102016222134A1 (de) Videoanalyseeinrichtung für eine Überwachungsvorrichtung und Verfahren zur Erzeugung eines Einzelbildes
EP3616858A2 (de) Verfahren und vorrichtung zur dokumentation eines status eines autonomen roboters
DE102019134813A1 (de) Ereignis-Überwachung in einem räumlichen Bereich
WO2021083463A1 (de) System zum erfassen eines mensch-über-bord-ereignisses
DE102009043080B4 (de) Verfahren zur Detektion von Rauch und/oder Flammen und Detektionssystem
DE102020004792A1 (de) Verfahren und Vorrichtung zur Erkennung und Meldung von Parkunfällen für Fahrzeuge
EP3759644B1 (de) Identifizieren unbesetzter sitzplätze auf basis der detektion einer sich wiederholenden textur
EP2031530A2 (de) Verfahren zur rechnergestützten Analyse eines Objekts
DE102012023473A1 (de) Verfahren und fahrzeugbasierte Vorrichtung zur fahrzeuggestützten Personenkontrolle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20191220