DE102021206914A1 - Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle - Google Patents

Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle Download PDF

Info

Publication number
DE102021206914A1
DE102021206914A1 DE102021206914.2A DE102021206914A DE102021206914A1 DE 102021206914 A1 DE102021206914 A1 DE 102021206914A1 DE 102021206914 A DE102021206914 A DE 102021206914A DE 102021206914 A1 DE102021206914 A1 DE 102021206914A1
Authority
DE
Germany
Prior art keywords
optical flow
safety
image data
passenger cabin
rail vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102021206914.2A
Other languages
German (de)
Inventor
Albi Sema
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to DE102021206914.2A priority Critical patent/DE102021206914A1/en
Priority to EP22173166.4A priority patent/EP4112420A1/en
Publication of DE102021206914A1 publication Critical patent/DE102021206914A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081—On-board diagnosis or maintenance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201), umfassend:- Empfangen (101) von Bilddaten (207) eines einen Innenraum (203) der Fahrgastkabine (202) des Schienenfahrzeugs (201) einsehenden Kamerasensors (205);- Bestimmen (103) eines optischen Flusses (217) von wenigstens einem Bildelement (215) der Bilddaten (207) für einen vorbestimmten Zeitraum;- Erkennen (105) eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch Ausführen einer Bewegungserkennung (211) auf den bestimmten optischen Fluss (217), wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) umfasst; und- Ausgeben (107) einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.The invention relates to a method (100) for detecting a safety-relevant event within a passenger cabin (202) of a rail vehicle (201), comprising: - receiving (101) image data (207) of an interior (203) of the passenger cabin (202) of the rail vehicle (201) viewing camera sensor (205);- determining (103) an optical flow (217) of at least one image element (215) of the image data (207) for a predetermined period of time;- recognizing (105) a safety-relevant event based on a characteristic speed pattern ( 218) the determined optical flow (217) by executing a motion detection (211) on the determined optical flow (217), wherein the safety-relevant event includes a safety-endangering movement of an object within the passenger cabin (202); and outputting (107) a warning message relating to the security-relevant event.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs.The invention relates to a method for detecting a safety-relevant event within a passenger cabin of a rail vehicle.

Die Zukunft von Mobilität in liegt im Betrieb intelligenter und autonomer Fahrzeuge. Die Sicherheit an Bord bildet hierbei eine Herausforderung, die gewährleistet werden muss, insbesondere für Schienenfahrzeuge im Personennahverkehr. Die Sicherheit für öffentliche Verkehrsmittel umfasst nicht nur das intelligente Fahren, sondern auch die Gewährleistung, dass jegliche gefährliche Situationen an Bord erkannt und in Echtzeit gemeldet werden.The future of mobility lies in the operation of intelligent and autonomous vehicles. Safety on board is a challenge that must be guaranteed, especially for rail vehicles in local passenger transport. Public transport safety involves not only intelligent driving, but also ensuring that any dangerous situations on board are detected and reported in real time.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitzustellen.The object of the invention is to provide an improved method for detecting a safety-relevant event within a passenger cabin of a rail vehicle.

Diese Aufgabe wird durch das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß dem unabhängigen Anspruch gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.This object is achieved by the method for detecting a safety-related event within a passenger cabin of a rail vehicle according to the independent claim. Advantageous configurations are the subject matter of the subordinate claims.

Nach einem Aspekt der Erfindung wird ein Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitgestellt, umfassend:

  • - Empfangen von Bilddaten eines einen Innenraum der Fahrgastkabine des Schienenfahrzeugs einsehenden Kamerasensors;
  • - Bestimmen eines optischen Flusses von wenigstens einem Bildelement der Bilddaten für einen vorbestimmten Zeitraum;
  • - Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters des bestimmten optischen Flusses durch Ausführen einer Bewegungserkennung auf den bestimmten optischen Fluss, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst; und
  • - Ausgeben einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.
According to one aspect of the invention, a method for detecting a safety-relevant event within a passenger cabin of a rail vehicle is provided, comprising:
  • - receiving image data from a camera sensor viewing an interior of the passenger cabin of the rail vehicle;
  • - determining an optical flow of at least one pixel of the image data for a predetermined period of time;
  • - Detecting a safety-related event based on a characteristic speed pattern of the determined optical flow by executing a motion detection on the determined optical flow, wherein the safety-related event includes a safety-endangering movement of an object within the passenger cabin; and
  • - Issuing a warning message relating to the security-related event.

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs bereitgestellt werden kann. Zum Erkennen der sicherheitsrelevanten Ereignisse basierend auf Bilddaten wenigstens eines Kamerasensors wird ein optischer Fluss der aufgenommenen Bilddaten ermittelt, um basierend auf dem optischen Fluss ein charakteristisches Geschwindigkeitsmuster eines sicherheitsrelevanten Ereignisses zu erkennen. Das sicherheitsrelevante Ereignis ist hierbei durch eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine charakterisiert. Durch die Berücksichtigung des optischen Flusses und durch das Erkennen des charakteristischen Geschwindigkeitsmusters zum Identifizieren des jeweiligen sicherheitsrelevanten Ereignisses kann erreicht werden, dass die Erkennung der sicherheitsrelevanten Ereignisse unabhängig von den jeweils aufgenommenen Bilddaten bzw. des jeweiligen Kamerasensors erfolgen kann. Darüber hinaus ist die Erkennung des sicherheitsrelevanten Ereignisses unabhängig von der jeweiligen Positionierung der Bewegung des Objekts innerhalb der Fahrgastkabine. Da die Erkennung des sicherheitsrelevanten Ereignisses nicht auf dem Erkennen der tatsächlichen Handlung oder der tatsächlichen Aktion basiert sondern lediglich indirekt über Ermittlung eines entsprechend charakteristischen Geschwindigkeitsmuster bewirkt wird, spielt die Position innerhalb der Bilddaten bzw. der Fahrgastkabine, in der das charakteristische Geschwindigkeitsmuster detektiert wird eine untergeordnete Rolle. Hierdurch kann eine erhöhte Flexibilität und Präzision der Erkennung der sicherheitsrelevanten Ereignisse erreicht werden.As a result, the technical advantage can be achieved that an improved method for detecting a safety-relevant event within a passenger cabin of a rail vehicle can be provided. In order to identify the safety-relevant events based on image data from at least one camera sensor, an optical flow of the recorded image data is determined in order to identify a characteristic speed pattern of a safety-relevant event based on the optical flow. The safety-relevant event is characterized here by a safety-endangering movement of an object within the passenger cabin. By considering the optical flow and by recognizing the characteristic speed pattern for identifying the respective safety-relevant event, it can be achieved that the safety-relevant events can be recognized independently of the respectively recorded image data or the respective camera sensor. In addition, the detection of the safety-relevant event is independent of the respective positioning of the movement of the object within the passenger cabin. Since the detection of the safety-relevant event is not based on the detection of the actual action or the actual action but is only brought about indirectly by determining a correspondingly characteristic speed pattern, the position within the image data or the passenger cabin in which the characteristic speed pattern is detected plays a subordinate role Role. This allows increased flexibility and precision in the detection of the security-related events to be achieved.

Eine Bildaufnahme ist im Sinne der Anmeldung eine Videoaufnahme einer entsprechenden Videokamera.An image recording is a video recording of a corresponding video camera within the meaning of the application.

Nach einer Ausführungsform umfasst das Bestimmen des optischen Flusses:

  • - Entzerren der Bilddaten des Kamerasensors und Erstellen einer entzerrten Bildaufnahme der Fahrgastkabine;
  • - Aufteilen der entzerrten Bildaufnahme in eine Mehrzahl von Bildelementen; und
  • - Bestimmen des optischen Flusses für jedes der Bildelemente.
According to one embodiment, determining the optical flow includes:
  • - Rectifying the image data from the camera sensor and creating a rectified image recording of the passenger cabin;
  • - Dividing the corrected image recording into a plurality of picture elements; and
  • - determining the optical flow for each of the picture elements.

Hierdurch kann der technische Vorteil erreicht werden, dass durch die präzise Bestimmung des optischen Flusses durch die Entzerrung der Bilddaten das Erstellen der entzerrten Bildaufnahme ermöglicht ist. Geschwindigkeitsverzerrungen von Bewegungen in Abhängigkeit von der Positionierung des sich jeweiligen bewegenden Objekts zum Kamerasensor können durch das Entzerren vermieden werden. Durch das Aufteilen der entzerrten Bildaufnahme in eine Mehrzahl von Bildelementen kann eine möglichst präzise Bestimmung des optischen Flusses für zweidimensionale entzerrte Bildaufnahmen erreicht werden.As a result, the technical advantage can be achieved that the creation of the rectified image recording is made possible by the precise determination of the optical flow by the rectification of the image data. Speed distortions of movements depending on the positioning of the respective moving object in relation to the camera sensor can be avoided by equalization. By dividing the corrected image recording into a plurality of picture elements, the optical can be determined as precisely as possible Flow can be achieved for two-dimensional rectified image recordings.

Nach einer Ausführungsform umfasst das Bestimmen des optischen Flusses:

  • - Ermitteln einer markanten Stelle innerhalb eines jeden Bildelements der entzerrten Bildaufnahme;
  • - Bestimmen des optischen Flusses für jeweils zwei zeitlich unmittelbar aufeinanderfolgender Frames der Bilddaten anhand der ermittelten markanten Stellen für jedes Bildelement; und
  • - Erstellen eines Histogramms des bestimmten optischen Flusses für die Frames der Bildaufnahme während des vorbestimmten Zeitraums.
According to one embodiment, determining the optical flow includes:
  • - Determining a distinctive point within each picture element of the equalized image recording;
  • - Determination of the optical flow for two immediately consecutive frames of the image data based on the determined distinctive points for each picture element; and
  • - creating a histogram of the determined optical flow for the frames of the image acquisition during the predetermined time period.

Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Bestimmung des optischen Flusses und damit verbunden eine möglichst präzise Erkennung der sicherheitsrelevanten Ereignisse ermöglicht ist. Durch das Ermitteln der markanten Stelle und das Berechnen des optischen Flusses für aufeinanderfolgende Frames der Bilddaten in Bezug auf die markanten Stellen ist eine präzise Ermittlung des optischen Flusses ermöglicht. Durch das Erstellen eines Histogramms kann eine effiziente Darstellung der optischen Flussdaten erreicht werden. Optische Flussdaten sind hierbei Daten, die zur Bestimmung des optischen Flusses generiert sind und entsprechende Information umfassen.In this way, the technical advantage can be achieved that the optical flow can be determined as precisely as possible and, associated therewith, the security-relevant events can be recognized as precisely as possible. By determining the salient point and calculating the optical flow for consecutive frames of the image data with respect to the salient points, a precise determination of the optical flow is made possible. By creating a histogram, an efficient representation of the optical flow data can be achieved. In this case, optical flow data are data that are generated to determine the optical flow and include corresponding information.

Nach einer Ausführungsform wird das Ermitteln von markanten Stellen innerhalb der Bildelemente durch Ausführen eines Interest-Operators bewirkt, wobei der Interest-Operator durch einen Harris Eckpunkt-Detektions-Algorithmus oder einen Shi-Tomasi-Algorithmus gegeben ist.According to one embodiment, the determination of salient points within the picture elements is effected by executing an interest operator, the interest operator being given by a Harris vertex detection algorithm or a Shi-Tomasi algorithm.

Hierdurch kann der technische Vorteil erreicht werden, dass eine effiziente und präzise Bestimmung markanter Stellen innerhalb der Bildelemente ermöglicht ist.As a result, the technical advantage can be achieved that an efficient and precise determination of distinctive points within the image elements is made possible.

Nach einer Ausführungsform umfasst der bestimmte optische Fluss eines Bildelements für jeweils zwei aufeinanderfolgende Frames wenigstens einen Geschwindigkeitsvektor mit einer Geschwindigkeitsrichtung und einem Geschwindigkeitswert, wobei im Histogramm Geschwindigkeitsvektoren einer Mehrzahl von optischen Flüssen für eine Mehrzahl zeitlich aufeinander folgender Frames dargestellt sind, und wobei im Histogramm die Geschwindigkeitsvektoren der optischen Flüsse der Mehrzahl von Frames auf vorbestimmte Raumrichtungen projiziert sind.According to one embodiment, the determined optical flow of a picture element for two consecutive frames comprises at least one speed vector with a speed direction and a speed value, the histogram showing speed vectors of a plurality of optical flows for a plurality of frames that follow each other in time, and the histogram showing the speed vectors of the optical flows of the plurality of frames are projected onto predetermined spatial directions.

Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Erkennung der sicherheitsrelevanten Ereignisse basierend auf den Geschwindigkeitsvektoren des optischen Flusses der erstellten Histogramme durch die Bewegungserkennung ermöglicht ist. Indem in den Histogrammen die Geschwindigkeitsvektoren des optischen Flusses für die jeweiligen Bildelemente auf vorbestimmte Raumrichtungen projiziert sind, kann eine Erkennung der sicherheitsrelevanten Ereignisse basierend auf den Geschwindigkeitsvektoren der Histogramme durch die entsprechend trainierte Bewegungserkennung erleichtert werden. Durch die Projektion auf die vorbestimmten Raumrichtungen können die möglichen Raumrichtungen der Geschwindigkeitsvektoren auf eine vorbestimmte Anzahl möglicher Raumrichtungen reduziert werden. Hierdurch kann die Bewegungserkennung effizient auf das Erkennen von sicherheitsrelevanten Ereignissen in Form charakteristischer Geschwindigkeitsmuster basierend auf den Geschwindigkeitsvektoren des optischen Flusses der jeweiligen Histogramme der entsprechenden Bildelemente trainiert werden. Die Projektion der Geschwindigkeitsvektoren auf die vorbestimmten Raumrichtungen erleichtert somit das Training der Bewegungserkennung, wodurch eine Präzision der Erkennung der sicherheitsrelevanten Ereignisse erhöht ist.As a result, the technical advantage can be achieved that the most precise possible detection of the security-relevant events based on the speed vectors of the optical flow of the histograms created is made possible by the motion detection. Since the speed vectors of the optical flow for the respective picture elements are projected onto predetermined spatial directions in the histograms, a detection of the safety-relevant events based on the speed vectors of the histograms can be facilitated by the correspondingly trained motion detection. The possible spatial directions of the velocity vectors can be reduced to a predetermined number of possible spatial directions by the projection onto the predetermined spatial directions. As a result, the motion detection can be efficiently trained to detect safety-relevant events in the form of characteristic speed patterns based on the speed vectors of the optical flow of the respective histograms of the corresponding picture elements. The projection of the speed vectors onto the predetermined spatial directions thus facilitates the training of the motion detection, as a result of which the precision of the detection of the security-relevant events is increased.

Nach einer Ausführungsform umfasst das Verfahren ferner:

  • - Bestimmen einer Lichtänderung innerhalb jedes Bildelements für den vorbestimmten Zeitraum; und/oder
  • - Ermitteln eines Fahrzustands des Schienenfahrzeugs; und/oder
  • - Zuweisen einer Identifikation zu jedem Bildelement; und
  • - Kombinieren des bestimmten optischen Flusses des jeweiligen Bildelements mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements, wobei das sicherheitsrelevante Ereignis basierend auf der kombinierten Information erkannt wird.
According to one embodiment, the method further comprises:
  • - determining a change in light within each pixel for the predetermined period of time; and or
  • - Determining a driving condition of the rail vehicle; and or
  • - assigning an identification to each pixel; and
  • - Combining the determined optical flow of the respective pixel with the information of the light change within a pixel and/or the information of the driving state of the train and/or the identification of a pixel, wherein the safety-relevant event is recognized based on the combined information.

Hierdurch kann der technische Vorteil erreicht werden, dass eine weitere Präzisionserhöhung der Erkennung der sicherheitsrelevanten Ereignisse erreicht wird. Indem die zusätzliche Information der Bewegungserkennung zugeführt wird, wie beispielsweise eine bestimmte Lichtänderung innerhalb eines Bildelements oder ein Fahrzustand des Schienenfahrzeugs, kann die Bewegungserkennung effizienter auf das Erkennen von sicherheitsrelevanten Ereignissen trainiert werden. Optische Flussdaten, die beispielsweise auf vergleichbare Bewegungsmuster führen, die jedoch nicht auf sicherheitsrelevanten Ereignissen basieren, sondern auf extremen Lichtänderungen oder Bewegungen des Schienenfahrzeugs zurückgeführt werden können, können somit bei der Erkennung von sicherheitsrelevanten Ereignissen ausgeschlossen werden.As a result, the technical advantage can be achieved that a further increase in the precision of the detection of the security-relevant events is achieved. By supplying the additional information to the motion detection, such as a specific light change within a picture element or a driving state of the rail vehicle, the motion detection can be trained more efficiently to detect safety-relevant events. Optical flow data that, for example, lead to comparable movement patterns that are not based on security-related events, but rather on extreme ones Light changes or movements of the rail vehicle can be traced back, can thus be excluded in the detection of safety-related events.

Nach einer Ausführungsform umfasst die sicherheitsgefährdende Bewegung:

  • eine sicherheitsgefährdende Handlung eines Fahrgasts gegenüber einem weiteren Fahrgast und/oder eine sicherheitsgefährdende unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung des Schienenfahrzeugs in Form eines Zerbrechens einer Scheibe.
According to one embodiment, the unsafe movement includes:
  • a safety endangering action by a passenger towards another passenger and/or an unforeseen opening of a door of the rail vehicle endangering safety and/or damage to the rail vehicle in the form of a window breaking.

Hierdurch kann der technische Vorteil erreicht werden, dass eine breite Anwendbarkeit des erfindungsgemäßen Verfahrens für die Erkennung von sicherheitsrelevanten Ereignissen, die bei einem typischen Betrieb eines Schienenfahrzeugs, beispielsweise im Personennahverkehr, auftreten können, ermöglicht ist.In this way, the technical advantage can be achieved that broad applicability of the method according to the invention for the detection of safety-relevant events that can occur during typical operation of a rail vehicle, for example in local passenger transport, is made possible.

Nach einer Ausführungsform sind Bilddaten Daten einer innerhalb der Fahrgastkabine des Schienenfahrzeugs installierten CCTV-Kamera.According to one embodiment, image data is data from a CCTV camera installed inside the passenger cabin of the rail vehicle.

Hierdurch kann der technische Vorteil erreicht werden, dass zur Ausführung der Erkennung von sicherheitsrelevanten Ereignissen, die bereits in der Fahrgastkabine installierten CCTV-Kameras verwendet werden können. Das Verbauen von zusätzlichen Hardwarekomponenten kann somit vermieden werden.In this way, the technical advantage can be achieved that the CCTV cameras already installed in the passenger cabin can be used to carry out the detection of safety-relevant events. The installation of additional hardware components can thus be avoided.

Nach einer Ausführungsform wird der optische Fluss durch Ausführen eines Lucas-Kanade-Algorithmus bestimmt.According to one embodiment, the optical flow is determined by running a Lucas-Kanade algorithm.

Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Berechnung des optischen Flusses ermöglicht ist.In this way, the technical advantage can be achieved that precise calculation of the optical flow is made possible.

Nach einer Ausführungsform ist die Bewegungserkennung als eine trainierte künstliche Intelligenz ausgebildet, wobei die künstliche Intelligenz darauf trainiert ist, basierend auf den charakteristischen Geschwindigkeitsmustern des bestimmten optischen Flusses, eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine zu ermitteln.According to one embodiment, the motion detection is designed as a trained artificial intelligence, the artificial intelligence being trained to determine a safety-endangering movement of an object within the passenger cabin based on the characteristic speed patterns of the determined optical flow.

Hierdurch kann der technische Vorteil erreicht werden, dass durch das Verwenden einer entsprechend trainierten künstlichen Intelligenz als Bewegungserkennung eine leistungsfähige, schnelle und präzise Erkennung von sicherheitsrelevanten Ereignissen ermöglicht ist. Durch das entsprechende Trainieren der künstlichen Intelligenz, die beispielsweise als ein entsprechendes neuronales Netz oder als eine Support Vector Machine ausgebildet sein kann, kann eine deterministische Erkennung von sicherheitsrelevanten Ereignissen basierend auf den optischen Flussdaten erreicht werden. Durch das Trainieren der künstlichen Intelligenz auf den optischen Flussdaten zum Erkennen der sicherheitsrelevanten Ereignisse, kann vermieden werden, dass ein entsprechendes Training unmittelbar basierend auf den Bilddaten der Kamerasensoren ausgeführt werden muss. Die entsprechend trainierte Bewegungserkennung ist somit unabhängig von den jeweils verwendeten Bilddaten bzw. den entsprechenden Kamerasensoren und kann somit für beliebige Kamerasensoren eingesetzt werden. Darüber hinaus ist die Erkennung der sicherheitsrelevanten Ereignisse durch Ausführung der entsprechend trainierten Bewegungserkennung auf die optischen Flussdaten unabhängig von Positionen bzw. Ausführungen der jeweiligen die sicherheitsrelevanten Bewegungen ausführenden Objekte innerhalb der Fahrgastkabine. Indem lediglich die charakteristischen Geschwindigkeitsmuster bzw. Bewegungsmuster erkannt bzw. ermittelt werden, spielt die Position, an der die jeweilige Bewegung bzw. das sicherheitsrelevante Ereignis innerhalb der Fahrgastkabine stattgefunden hat, eine untergeordnete Rolle. Solange das charakteristische Geschwindigkeitsmuster erkannt werden kann, können Ereignisse in beliebigen Positionen bzw. Stellen innerhalb der Fahrgastkabine ermittelt werden, unabhängig davon, ob in den Trainingsdaten Ereignisse an derartigen Stellen innerhalb der Fahrgastkabine berücksichtigt wurden. Hierdurch ist eine Vereinfachung des Trainings ermöglicht, indem die zu trainierende künstliche Intelligenz bzw. die zu trainierende Bewegungserkennung ausschließlich auf optischen Flussdaten trainiert werden muss, die auf beliebigen unterschiedlichen Bilddaten basieren können.As a result, the technical advantage can be achieved that by using a correspondingly trained artificial intelligence as motion detection, an efficient, fast and precise detection of security-relevant events is made possible. By appropriately training the artificial intelligence, which can be embodied, for example, as an appropriate neural network or as a support vector machine, a deterministic detection of safety-relevant events based on the optical flow data can be achieved. By training the artificial intelligence on the optical flow data to recognize the safety-relevant events, it can be avoided that a corresponding training has to be carried out directly based on the image data of the camera sensors. The correspondingly trained motion detection is thus independent of the image data used in each case or the corresponding camera sensors and can therefore be used for any camera sensors. In addition, the detection of the safety-relevant events by executing the correspondingly trained motion detection on the optical flow data is independent of the positions or executions of the respective objects executing the safety-relevant movements within the passenger cabin. Since only the characteristic speed patterns or movement patterns are recognized or determined, the position at which the respective movement or the safety-relevant event took place within the passenger cabin plays a subordinate role. As long as the characteristic speed pattern can be recognized, events can be determined in any position or location within the passenger cabin, regardless of whether events at such locations within the passenger cabin were taken into account in the training data. This allows a simplification of the training, in that the artificial intelligence to be trained or the motion detection to be trained has to be trained exclusively on optical flow data, which can be based on any different image data.

Nach einem zweiten Aspekt wird ein Verfahren zum Trainieren einer erfindungsgemäßen Bewegungserkennung bereitgesellt, umfassend:

  • - Erstellen eines Trainingsdatensatzes, wobei der Trainingsdatensatz Werte eines optischen Flusses für eine Mehrzahl von Bildelementen von Bilddaten wenigstens eines Innenraums wenigstens einer Fahrgastkabine wenigstens eines Schienenfahrzeugs umfasst;
  • - Ausführen der Bewegungserkennung auf den Trainingsdatensatz und Trainieren der Bewegungserkennung auf ein Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters des bestimmten optischen Flusses durch maschinelles Lernen, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst.
According to a second aspect, a method for training a motion detection according to the invention is provided, comprising:
  • - Creation of a training data record, wherein the training data record includes values of an optical flow for a plurality of image elements of image data of at least one interior of at least one passenger cabin of at least one rail vehicle;
  • - Executing the motion detection on the training data set and training the motion detection to detect a safety-related event based on a characteristic speed pattern of the specific optical flow through machine learning, the safety-related event including a safety-threatening movement of an object within the passenger cabin.

Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Trainieren einer Bewegungserkennung mit den oben genannten technischen Vorteilen bereitgestellt werden kann. Durch das Trainieren der Bewegungserkennung auf den optischen Flussdaten, die jeweils auf beliebigen unterschiedlichen Bilddaten basieren können, kann erreicht werden, dass eine erhöhte Flexibilität und eine Vereinfachung des Trainings der zu trainierenden Bewegungserkennung erreicht werden kann, indem eine Unabhängigkeit von den jeweils verwendeten Bilddaten ermöglicht ist.As a result, the technical advantage can be achieved that an improved method for training motion detection with the technical advantages mentioned above can be provided. By training the motion detection on the optical flow data, which can each be based on any different image data, it can be achieved that increased flexibility and simplification of the training of the motion detection to be trained can be achieved by enabling independence from the image data used in each case .

Nach einer Ausführungsform umfasst das Erstellen des Trainingsdatensatzes:

  • - Erstellen eines Satzes von Bilddaten wenigstens eines Innenraums einer Fahrgastkabine wenigstens eines Schienenfahrzeugs, wobei die Bilddaten sicherheitsrelevante Ereignisse abbilden;
  • - Berechnen des optischen Flusses für die Mehrzahl von Bilddaten, wobei der optische Fluss für eine Mehrzahl von Bildelementen der Bilddaten und für eine Mehrzahl von Frames der Bilddaten innerhalb eines vorbestimmten Zeitraums berechnet wird;
  • - Erstellen für jedes Bildelement für die Mehrzahl von Frames während des vorbestimmten Zeitraums eines Histogramms des optischen Flusses durch Projizieren von Geschwindigkeitsvektoren des optischen Flusses auf vorbestimmte Raumrichtungen; und
  • - Annotieren des Trainingsdatensatzes und Kennzeichen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen.
According to one embodiment, creating the training dataset includes:
  • - Creation of a set of image data of at least one interior of a passenger cabin of at least one rail vehicle, the image data depicting safety-related events;
  • - calculating the optical flow for the plurality of image data, wherein the optical flow is calculated for a plurality of picture elements of the image data and for a plurality of frames of the image data within a predetermined period of time;
  • - creating for each pixel for the plurality of frames during the predetermined time period an optical flow histogram by projecting optical flow velocity vectors onto predetermined spatial directions; and
  • - Annotation of the training data set and identification of the characteristic movement patterns of security-relevant events.

Hierdurch kann der technische Vorteil erreicht werden, dass eine möglichst präzise Bestimmung der optischen Flussdaten basierend auf den jeweils erstellten Bilddaten ermöglicht ist. Durch die präzise Bestimmung des optischen Flusses bzw. der jeweiligen optischen Flussdaten kann eine erhöhte Präzision des Trainings erreicht werden. Durch das Annotieren der Trainingsdaten und das Kennzeichnen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen innerhalb der Trainingsdaten ist wiederum eine erhöhte Präzision der Erkennung der sicherheitsrelevanten Ereignisse ermöglicht.In this way, the technical advantage can be achieved that the optical flow data can be determined as precisely as possible based on the image data created in each case. An increased precision of the training can be achieved by the precise determination of the optical flow or the respective optical flow data. By annotating the training data and identifying the characteristic movement patterns of safety-relevant events within the training data, an increased precision of the detection of the safety-relevant events is in turn made possible.

Nach einer Ausführungsform umfasst das Erstellen des Satzes von Bilddaten:

  • - Entzerren der Bilddaten und Erstellen von entzerrten Bildaufnahmen; und
  • - Aufteilen der entzerrten Bildaufnahmen in eine Mehrzahl von Bildelementen;
wobei das Erstellen des Trainingsdatensatzes ferner umfasst:
  • - Bestimmen einer Lichtänderung innerhalb jedes Bildelements für den vorbestimmten Zeitraum; und/oder
  • - Ermitteln eines Fahrzustands des jeweiligen Schienenfahrzeugs; und/oder
  • - Zuweisen einer Identifikation zu jedem Bildelement; und
  • - Kombinieren des bestimmten optischen Flusses des jeweiligen Bildelements mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements.
According to one embodiment, creating the set of image data includes:
  • - Rectifying the image data and creating rectified image recordings; and
  • - Dividing the corrected image recordings into a plurality of picture elements;
wherein the creation of the training data set further comprises:
  • - determining a change in light within each pixel for the predetermined period of time; and or
  • - Determining a driving condition of the respective rail vehicle; and or
  • - assigning an identification to each pixel; and
  • - Combining the determined optical flow of the respective pixel with the information of the light change within a pixel and/or the information of the driving condition of the train and/or the identification of a pixel.

Hierdurch kann der technische Vorteil erreicht werden, dass wiederum eine Verbesserung der Qualität der Trainingsdaten und damit verbunden des Trainings erreicht wird.As a result, the technical advantage can be achieved that in turn an improvement in the quality of the training data and the associated training is achieved.

Nach einem dritten Aspekt wird eine Recheneinheit bereitgesellt, wobei die Recheneinheit ausgebildet ist, das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einer der voranstehenden Ausführungsformen und/oder ein Verfahren zum Trainieren einer Bewegungserkennung nach einer der voranstehenden Ausführungsformen auszuführen.According to a third aspect, a computing unit is provided, the computing unit being designed to execute the method for detecting a safety-related event within a passenger cabin of a rail vehicle according to one of the preceding embodiments and/or a method for training motion detection according to one of the preceding embodiments.

Nach einem vierten Aspekt wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einer der voranstehenden Ausführungsformen und/oder ein Verfahren zum Trainieren einer Bewegungserkennung nach einer der voranstehenden Ausführungsformen auszuführen.According to a fourth aspect, a computer program product is provided comprising instructions which, when the program is executed by a data processing unit, cause the latter to use the method for detecting a safety-related event within a passenger cabin of a rail vehicle according to one of the preceding embodiments and/or a method for training motion detection to carry out one of the preceding embodiments.

Die oben beschriebenen Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen jeweils:

  • 1 eine schematische Darstellung eines Systems zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß einer Ausführungsform;
  • 2 ein Flussdiagramm eines Verfahrens zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs gemäß einer Ausführungsform;
  • 3 eine schematische Darstellung von Bilddaten und einer entzerrten Bildaufnahme eines Innenraums einer Fahrgastkabine eines Schienenfahrzeugs;
  • 4 eine weitere schematische Darstellung einer entzerrten Bildaufnahme eines Innenraums einer Fahrgastkabine eines Schienenfahrzeugs;
  • 5 eine schematische Darstellung eines Histogramms eines optischen Flusses;
  • 6 ein Flussdiagramm eines Verfahrens zum Trainieren einer Bewegungserkennung gemäß einer Ausführungsform; und
  • 7 eine schematische Darstellung eines Computerprogrammprodukts.
The above-described features and advantages of this invention, and the manner in which they are attained, will be more clearly and fully understood through the discussion of the following highly simplified schematic representations of preferred embodiments. Each show:
  • 1 a schematic representation of a system for detecting a safety-relevant event within a passenger cabin of a rail vehicle according to an embodiment;
  • 2 a flowchart of a method for detecting a security-related event ses within a passenger cabin of a rail vehicle according to one embodiment;
  • 3 a schematic representation of image data and a rectified image recording of an interior of a passenger cabin of a rail vehicle;
  • 4 a further schematic representation of a rectified image recording of an interior of a passenger cabin of a rail vehicle;
  • 5 a schematic representation of a histogram of an optical flow;
  • 6 a flow chart of a method for training a motion detection according to an embodiment; and
  • 7 a schematic representation of a computer program product.

1 zeigt eine schematische Darstellung eines Systems 200 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 gemäß einer Ausführungsform. 1 shows a schematic representation of a system 200 for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 according to an embodiment.

Das gezeigte System 200 ist eingerichtet, das erfindungsgemäße Verfahren zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 auszuführen. Hierzu umfasst das System 200 wenigstens einen Kamerasensor 205, der in einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 angeordnet und eingerichtet ist, einen Innenraum 203 der Fahrgastkabine 202 einzusehen. Das System 200 umfasst ferner eine Recheneinheit 209 mit einer Bewegungserkennung 211, die auf der Recheneinheit 209 ausführbar ist. Der Kamerasensor 205 kann als eine CCTV-Kamera ausgebildet sein und Bilddaten 207 des Innenraums 203 der Fahrgastkabine 202 des Schienenfahrzeugs 201 aufnehmen. Die Bilddaten 207 können beispielsweise als Videodaten ausgebildet sein.The system 200 shown is set up to carry out the method according to the invention for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 . For this purpose, the system 200 includes at least one camera sensor 205, which is arranged in a passenger cabin 202 of a rail vehicle 201 and set up to view an interior space 203 of the passenger cabin 202. The system 200 also includes a processing unit 209 with motion detection 211 that can be executed on the processing unit 209 . The camera sensor 205 can be designed as a CCTV camera and record image data 207 of the interior 203 of the passenger cabin 202 of the rail vehicle 201 . The image data 207 can be in the form of video data, for example.

Zum Erkennen eines sicherheitsrelevanten Ereignisses werden die Bilddaten 207 des Kamerasensors 205 über eine Datenübertragung 210 an die Recheneinheit 209 übertragen. Durch Ausführen der Bewegungserkennung 211 auf die übertragenen Bilddaten 207 ist die Bewegungserkennung 211 eingerichtet, entsprechende sicherheitsrelevante Ereignisse zu erkennen. Die Bewegungserkennung 211 kann hierzu als eine entsprechend trainierte künstliche Intelligenz ausgebildet sein. Die Bewegungserkennung 211 kann unter Berücksichtigung entsprechender Trainingsdatensätze 227 ferner gemäß dem erfindungsgemäßen Verfahren zum Trainieren einer Bewegungserkennung 211 auf das Erkennen von sicherheitsrelevanten Ereignissen trainiert sein.In order to detect a safety-relevant event, the image data 207 of the camera sensor 205 is transmitted to the processing unit 209 via a data transmission 210 . By performing the motion detection 211 on the transmitted image data 207, the motion detection 211 is set up to detect corresponding safety-related events. For this purpose, the motion detector 211 can be designed as an appropriately trained artificial intelligence. The motion detector 211 can also be trained to recognize safety-relevant events in accordance with the method according to the invention for training a motion detector 211, taking into account corresponding training data records 227.

2 zeigt ein Flussdiagramm eines Verfahrens 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 gemäß einer Ausführungsform. 2 shows a flowchart of a method 100 for detecting a safety-related event within a passenger cabin 202 of a rail vehicle 201 according to an embodiment.

Das erfindungsgemäße Verfahren 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine 202 eines Schienenfahrzeugs 201 kann durch ein System 200 gemäß der Ausführungsform in 1 ausgeführt werden.The method 100 according to the invention for detecting a safety-relevant event within a passenger cabin 202 of a rail vehicle 201 can be carried out by a system 200 according to the embodiment in 1 to be executed.

Zunächst werden in einem Verfahrensschritt 101 Bilddaten 207 wenigstens eines Kamerasensors 205 empfangen, wobei die Bilddaten 207 den Innenraum 203 der zu überwachenden Fahrgastkabine 202 des Schienenfahrzeugs 201 einsehen. Der Kamerasensor 205 kann beispielsweise als eine CCTV-Kamera und die Bilddaten 207 können als entsprechende Videodaten ausgebildet sein.First, in a method step 101, image data 207 from at least one camera sensor 205 is received, the image data 207 viewing the interior 203 of the passenger cabin 202 of the rail vehicle 201 to be monitored. The camera sensor 205 can be embodied as a CCTV camera, for example, and the image data 207 can be embodied as corresponding video data.

Darauffolgend wird in einem Verfahrensschritt 103 basierend auf den Bilddaten 207 ein optischer Fluss 217 von wenigstens einem Bildelement 215 der Bilddaten 207 für einen vorbestimmten Zeitraum bestimmt.Subsequently, in a method step 103, based on the image data 207, an optical flow 217 of at least one picture element 215 of the image data 207 is determined for a predetermined period of time.

Hierzu werden in einem Verfahrensschritt 109 zunächst die empfangenen Bilddaten 207 des Kamerasensors 205 entzerrt und entsprechend entzerrte Bildaufnahmen 213 des Innenraums 203 der Fahrgastkabine 202 erstellt. Ein Beispiel für eine entsprechende Entzerrung ist in 3 dargestellt. Üblicherweise können Bildaufnahmen 213 von Überwachungskameras, beispielsweise CCTV-Kameras, innerhalb von Fahrgastkabinen mittels eines Fischaugenobjektivs aufgenommen werden. Durch eine Entzerrung und eine entsprechende zweidimensionale Darstellung der Bildaufnahmen wird eine Berechnung des optischen Flusses von Bildelementen innerhalb der Bildaufnahmen erleichtert.For this purpose, in a method step 109, the image data 207 received from the camera sensor 205 are first rectified and correspondingly rectified image recordings 213 of the interior 203 of the passenger cabin 202 are created. An example of a corresponding equalization is in 3 shown. Images 213 can usually be recorded by surveillance cameras, for example CCTV cameras, inside passenger cabins using a fish-eye lens. A calculation of the optical flow of image elements within the image recordings is facilitated by rectification and a corresponding two-dimensional representation of the image recordings.

In einem weiteren Verfahrensschritt 111 wird die entzerrte Bildaufnahme 213 in eine Mehrzahl von Bildelementen 215 aufgeteilt. In 4 ist eine entsprechende Aufteilung der entzerrten Bildaufnahme 213 aus 3 in eine Vielzahl von Bildelementen 215 dargestellt. Die Bildelemente 215 können hierbei beispielsweise als rechteckige oder quadratische und regelmäßig ausgebildete Bildelemente ausgebildet sein.In a further method step 111, the rectified image recording 213 is divided into a plurality of image elements 215. In 4 a corresponding division of the rectified image recording 213 is made 3 into a plurality of pixels 215. The picture elements 215 can be formed here, for example, as rectangular or square and regular picture elements.

In einem weiteren Verfahrensschritt 113 wird für jedes der Bildelemente 215 ein entsprechender optischer Fluss 217 ermittelt.In a further method step 113, a corresponding optical flow 217 is determined for each of the image elements 215.

Hierzu wird in einem weiteren Verfahrensschritt 115 für jedes Bildelement 215 eine markante Stelle innerhalb des Bildelements 215 der entzerrten Bildaufnahme 213 ermittelt. Eine markante Stelle kann hierbei durch Ausführung eines Interest-Operators bewirkt werden, der beispielsweise durch einen Harris Eckpunkt-Detektions-Algorithmus oder durch einen Shi-Tomasi-Algorithmus gegeben sein kann.For this purpose, in a further method step 115, a distinctive point within the image element 215 of the rectified image recording 213 is determined for each image element 215. A prominent spot can be brought about here by executing an interest operator, which can be given, for example, by a Harris corner point detection algorithm or by a Shi-Tomasi algorithm.

In einem weiteren Verfahrensschritt 117 wird anhand der ermittelten markanten Stellen für jedes Bildelement 215 für jeweils zwei zeitlich unmittelbar aufeinanderfolgende Frames der Bilddaten 207 der entsprechende optische Fluss 217 ermittelt. Die als Videodaten ausgebildeten Bilddaten 207 werden hierzu in die einzelnen Frames der Videoaufnahmen des als CCTV-Kamera ausgebildeten Kamerasensors 205 aufgeteilt. Jeder Frame kann hierzu einzeln in eine entzerrte Bildaufnahme 213 umgewandelt sein. Zur Detektion bzw. Berechnung des optischen Flusses 217 wird hierzu gemäß dem üblichen und aus dem Stand der Technik bekannten Vorgehen für jedes Bildelement 215 eine Änderung einer Positionierung der jeweils ermittelten markanten Stelle des jeweiligen Bildelements 215 zwischen wenigstens zwei unmittelbar zeitlich aufeinanderfolgenden Frames der Bilddaten 207 bzw. der entzerrten Bildaufnahme 213 ermittelt.In a further method step 117, the corresponding optical flow 217 is determined on the basis of the determined prominent points for each image element 215 for two frames of the image data 207 that follow each other immediately in time. For this purpose, the image data 207 embodied as video data are divided into the individual frames of the video recordings of the camera sensor 205 embodied as a CCTV camera. For this purpose, each frame can be individually converted into a rectified image recording 213 . In order to detect or calculate the optical flow 217, in accordance with the usual procedure known from the prior art, for each image element 215 a change in the positioning of the respectively determined distinctive point of the respective image element 215 between at least two frames of the image data 207 or of the corrected image recording 213 is determined.

In einem weiteren Verfahrensschritt 119 wird für jedes Bildelement 215 ein Histogramm 219 des jeweils bestimmten optischen Flusses 217 für die zeitlich aufeinanderfolgenden Frames der Bildaufnahme 213 erstellt. Ein entsprechendes Histogramm 219 ist in 5 dargestellt. Das Histogramm 219 umfasst hierbei eine Mehrzahl von Geschwindigkeitsvektoren 221 des ermittelten optischen Flusses 217 für eine Mehrzahl zeitlich aufeinanderfolgender Frames der entzerrten Bildaufnahme 213. Erfindungsgemäß wird der optische Fluss 217 für jedes Bildelement 215 jeweils für einen vorbestimmten Zeitraum ermittelt. Der vorbestimmte Zeitraum kann beispielsweise im Sekundenbereich angeordnet sein und eine Anzahl von 1 bis beispielsweise 20 Sekunden umfassen. Die Frames der Bildaufnahme 213, die innerhalb des vorbestimmten Zeitraums zeitlich aufeinanderfolgen, werden jeweils in einem Histogramm 219 durch Berechnung der jeweiligen Geschwindigkeitsvektoren 221 des optischen Flusses 217 für das entsprechende Bildelement 215 berücksichtigt. Die Geschwindigkeitsvektoren 221, die jeweils einen Geschwindigkeitswert und eine Geschwindigkeitsrichtung des berechneten optischen Flusses 217 beschreiben, sind im Histogramm 219 auf vorbestimmte Raumrichtungen 223 projiziert. Die Anzahl der Geschwindigkeitsvektoren 221, die in den Histogrammen 219 berücksichtigt werden, richtet sich erfindungsgemäß nach der Länge des vorbestimmten Zeitraums, für den der optische Fluss 217 erfindungsgemäß zu berechnen ist, und der Anzahl der Frames pro Sekunde des Kamerasensors 205. Die Anzahl der in den Histogrammen 219 berücksichtigten Geschwindigkeitsvektoren 221 ist für die Mehrzahl verschiedener Bildelemente 215 identisch. Erfindungsgemäß wird für jeden berücksichtigten Frame der Bildaufnahme ein Geschwindigkeitsvektor 221 berechnet und im Histogramm 219 berücksichtigt. In a further method step 119, a histogram 219 of the respectively determined optical flow 217 for the temporally consecutive frames of the image recording 213 is created for each picture element 215. A corresponding histogram 219 is in 5 shown. The histogram 219 includes a plurality of speed vectors 221 of the determined optical flow 217 for a plurality of temporally consecutive frames of the rectified image recording 213. According to the invention, the optical flow 217 is determined for each pixel 215 for a predetermined time period. The predetermined period of time can be arranged, for example, in the range of seconds and can include a number of 1 to, for example, 20 seconds. The frames of the image recording 213, which follow one another in terms of time within the predetermined period of time, are each taken into account in a histogram 219 by calculating the respective speed vectors 221 of the optical flow 217 for the corresponding picture element 215. The speed vectors 221, which each describe a speed value and a speed direction of the calculated optical flow 217, are projected onto predetermined spatial directions 223 in the histogram 219. According to the invention, the number of speed vectors 221 that are taken into account in the histograms 219 depends on the length of the predetermined period of time for which the optical flow 217 is to be calculated according to the invention, and the number of frames per second of the camera sensor 205. The number of in The speed vectors 221 taken into account in the histograms 219 is identical for the plurality of different picture elements 215. According to the invention, a speed vector 221 is calculated for each frame of the image recording that is taken into account and is taken into account in the histogram 219 .

Die Berechnung des optischen Flusses 217 für jedes der Bildelemente 215 kann beispielsweise durch Ausführung eines aus dem Stand der Technik bekannten Lucas-Kanade-Algorithmus bewirkt werden.The calculation of the optical flow 217 for each of the picture elements 215 can be effected, for example, by executing a Lucas-Kanade algorithm known in the art.

Zusätzlich zur Bestimmung des optischen Flusses 217 im Verfahrensschritt 103 wird in der gezeigten Ausführungsform in einem weiteren Verfahrensschritt 121 eine Lichtänderung innerhalb eines jeden Bildelements 215 zwischen verschiedenen Frames der entzerrten Bildaufnahme 213 bestimmt.In addition to the determination of the optical flow 217 in method step 103, a change in light within each picture element 215 between different frames of the rectified image recording 213 is determined in a further method step 121 in the embodiment shown.

In einem weiteren Verfahrensschritt 123 wird ferner ein Fahrzustand des Schienenfahrzeugs 201 ermittelt. Der Fahrzustand des Schienenfahrzeugs 201 kann beispielsweise durch einen Standzustand des Schienenfahrzeugs 201 in einem Bahnhofsbereich oder durch einen Bewegungszustand des Schienenfahrzeugs 201, das entlang eines Schienenwegs verfahren wird, gegeben sein. Der Fahrzustand kann wenigstens für den vorbestimmten Zeitraum zur Ermittlung des optischen Flusses 217 bestimmt werden.In a further method step 123, a driving state of the rail vehicle 201 is also determined. The driving state of the rail vehicle 201 can be given, for example, by a stationary state of the rail vehicle 201 in a station area or by a movement state of the rail vehicle 201 that is being moved along a rail route. The driving state can be determined at least for the predetermined period of time for determining the optical flow 217 .

In einem weiteren Verfahrensschritt 125 kann ferner jedem Bildelement 215 eine Identifikation zugeschrieben werden. Über die Identifikation kann jedes der Bildelemente 215 der entzerrten Bildaufnahme 213 identifiziert und von anderen Bildelementen 215 unterschieden werden.In a further method step 125, an identification can also be assigned to each picture element 215. Each of the image elements 215 of the rectified image recording 213 can be identified and distinguished from other image elements 215 via the identification.

In einem weiteren Verfahrensschritt 127 werden die im Verfahrensschritt 103 bzw. im Verfahrensschritt 113 für jedes Bildelement 215 berechneten optischen Flussdaten des optischen Flusses 217 und die Informationen bezüglich der Lichtänderung, des Fahrzustands und der Identifikation bezüglich jedes Bildelements 215 miteinander kombiniert. Die Kombination kann hierbei beispielsweise durch einen entsprechenden Eigenschaftsvektor ausgebildet sein. Der Eigenschaftsvektor kann hierbei für jedes Bildelement 215 Information beziehungsweise Einträge bezüglich des optischen Flusses 217, der Lichtänderung, des Fahrzustands und der Identifikation umfassen.In a further method step 127, the optical flow data of the optical flow 217 calculated in method step 103 or in method step 113 for each pixel 215 and the information regarding the light change, the driving state and the identification with regard to each pixel 215 are combined with one another. In this case, the combination can be formed, for example, by a corresponding property vector. In this case, for each picture element 215, the property vector can include information or entries relating to the optical flow 217, the change in light, the driving state and the identification.

In einem weiteren Verfahrensschritt 105 wird durch Ausführung der Bewegungserkennung 211 auf die im Verfahrensschritt 127 generierten und die Information bezüglich des optischen Flusses 217, der Lichtänderung, des Fahrzustands und der Identifikation für jedes Bildelement 215 umfassenden Merkmalsvektoren ein sicherheitsrelevantes Ereignis anhand eines charakteristischen Geschwindigkeitsmusters 218 erkannt. Die Bewegungserkennung 211 kann hierbei wie bereits erwähnt als eine entsprechend trainierte künstliche Intelligenz, beispielsweise ein neuronales Netz oder eine Support Vector Machine, ausgebildet sein und darauf trainiert sein, basierend auf optischen Flussdaten charakteristische Geschwindigkeitsmuster 218 zu erkennen, die sicherheitsrelevanten Ereignissen zuzuordnen sind. Sicherheitsrelevante Ereignisse, die durch eine derartige Ausführung der Bewegungserkennung 211 auf den ermittelten optischen Flussdaten erkannt werden können, umfassen hierbei sicherheitsrelevante Bewegungen von Objekten innerhalb der Fahrgastkabine 202 des Schienenfahrzeugs 201. Derartige sicherheitsrelevante Ereignisse können beispielsweise sicherheitsgefährdende Handlungen eines Fahrgastes 225 gegenüber einem weiteren Fahrgast 225 innerhalb der Fahrgastkabine 202 umfassen. Alternativ oder zusätzlich können sicherheitsgefährdende Bewegungen und damit verbunden sicherheitsrelevante Ereignisse, beispielsweise eine unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung einer Scheibe des Schienenfahrzeugs oder eine unerlaubte Betätigung einer Notbremse des Schienenfahrzeugs umfassen.In a further method step 105, a safety-relevant event occurs by executing the motion detection 211 on the feature vectors generated in method step 127 and containing the information regarding the optical flow 217, the light change, the driving status and the identification for each picture element 215 nis recognized based on a characteristic speed pattern 218. As already mentioned, the motion detector 211 can be embodied as an appropriately trained artificial intelligence, for example a neural network or a support vector machine, and trained to recognize characteristic speed patterns 218 based on optical flow data, which can be assigned to safety-relevant events. Safety-relevant events, which can be recognized by such an execution of the movement detection 211 on the determined optical flow data, include safety-relevant movements of objects within the passenger cabin 202 of the rail vehicle 201. Such safety-relevant events can, for example, safety-endangering actions of a passenger 225 towards another passenger 225 inside of the passenger cabin 202 include. Alternatively or additionally, safety-endangering movements and associated safety-related events, for example an unforeseen opening of a door of the rail vehicle and/or damage to a window of the rail vehicle or unauthorized activation of an emergency brake of the rail vehicle.

Da die Bewegungserkennung 211 darauf trainiert ist, charakteristische Geschwindigkeitsmuster von Bewegungen von Objekten innerhalb der Fahrgastkabine 202, die entsprechend vordefinierten sicherheitsrelevanten Ereignissen zuzuordnen sind bzw. diesen entsprechen, zu ermitteln, ist die Bewegungserkennung 211 in der Lage, anhand der charakteristischen Geschwindigkeitsmuster entsprechend sicherheitsrelevante Ereignisse zu ermitteln, die an beliebigen Positionen oder Stellen innerhalb der Fahrgastkabine 202 auftreten. Die Bewegungserkennung 211 agiert somit positionsunabhängig.Since the motion detector 211 is trained to determine characteristic speed patterns of movements of objects within the passenger cabin 202, which are to be assigned according to predefined safety-relevant events or correspond to them, the motion detector 211 is able to use the characteristic speed patterns to determine safety-relevant events accordingly determine that occur at any position or location within the passenger cabin 202. The motion detection 211 thus acts independently of the position.

In einem weiteren Verfahrensschritt 107 wird bei Erkennung eines entsprechenden sicherheitsrelevanten Ereignisses eine entsprechende Warnmeldung ausgegeben. Die Warnmeldung kann beispielsweise als ein entsprechendes Warnsignal in Form eines optischen oder akustischen Signals ausgebildet sein.In a further method step 107, a corresponding warning message is output when a corresponding safety-relevant event is detected. The warning message can be designed, for example, as a corresponding warning signal in the form of an optical or acoustic signal.

Die Recheneinheit 209 kann beispielsweise in dem Schienenfahrzeug 201, beispielsweise in der Steuerkabine des Schienenfahrzeugs ausgebildet sein. Alternativ kann die Recheneinheit 209 in dem Kamerasensor 205 ausgebildet sein, wobei der Kamerasensor 205 in diesem Fall als ein Smart-Sensor ausgebildet ist. Alternativ kann die Recheneinheit 209 als eine externe Recheneinheit ausgebildet und in einer entsprechenden Überwachungszentrale, beispielsweise in einem Bahnhofsgelände, angeordnet sein.The processing unit 209 can, for example, be embodied in the rail vehicle 201, for example in the control cabin of the rail vehicle. Alternatively, the computing unit 209 can be embodied in the camera sensor 205, the camera sensor 205 being embodied as a smart sensor in this case. Alternatively, the processing unit 209 can be designed as an external processing unit and can be arranged in a corresponding monitoring center, for example in a station area.

3 zeigt eine schematische Darstellung von Bilddaten 207 und einer entzerrten Bildaufnahme 213 eines Innenraums 203 einer Fahrgastkabine 202 eines Schienenfahrzeugs 201. 3 shows a schematic representation of image data 207 and a rectified image recording 213 of an interior 203 of a passenger cabin 202 of a rail vehicle 201.

3 zeigt eine Bildaufnahme des Innenraums 203 einer Fahrgastkabine 202, die über einen Kamerasensor 205 mit einem Fisheye-Objektiv ausgenommen wurden. 3 zeigt ferner eine entzerrte Bildaufnahme 213 desselben Innenraums 203. In der entzerrten Bildaufnahme 213 sind die durch das Fischaugenobjektiv hervorgerufenen Verzerrungen der Bilddaten 207 behoben. 3 shows an image of the interior 203 of a passenger cabin 202, which was removed via a camera sensor 205 with a fisheye lens. 3 also shows a rectified image recording 213 of the same interior 203. In the rectified image recording 213, the distortions of the image data 207 caused by the fisheye lens are corrected.

4 zeigt eine weitere schematische Darstellung einer entzerrten Bildaufnahme 213 eines Innenraums 203 einer Fahrgastkabine 202 eines Schienenfahrzeugs 201. 4 shows a further schematic representation of a rectified image recording 213 of an interior 203 of a passenger cabin 202 of a rail vehicle 201.

4 zeigt eine entzerrte Bildaufnahme 213 des Innenraums 203 der Fahrgastkabine 202 aus 3. In 4 ist die entzerrte Bildaufnahme 213 ferner in eine Mehrzahl verschiedener Bildelemente 215 aufgeteilt. Für jedes Bildelement 215 wird ein entsprechender optischer Fluss 217 berechnet. Der optische Fluss 217 ist in 4 durch die in verschiedene Richtungen weisenden Geschwindigkeitsvektoren 221 beispielhaft dargestellt. In der gezeigten Bildaufnahme 213 sind neben Einrichtungsgegenständen der Fahrgastkabine 202 ferner zwei Fahrgäste 225 dargestellt. Durch die Ermittlung des optischen Flusses 217 für jedes Bildelement 215 und die Ausführung der entsprechend trainierten Bewegungserkennung 211 gemäß den oben beschriebenen Verfahrensschritten kann ein entsprechendes charakteristisches Geschwindigkeitsmuster 218 eines sicherheitsrelevanten Ereignisses ermittelt werden. In der gezeigten Ausführungsform betrifft das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Handlung eines der Fahrgäste 225 gegenüber dem jeweils anderen Fahrgast 225. Durch das entsprechende Training der Bewegungserkennung 211 ist die Bewegungserkennung 211 in der Lage, entsprechende sicherheitsgefährdende Bewegungen von Fahrgästen basierend auf den charakteristischen Geschwindigkeitsmustern 218, die derartige sicherheitsgefährdende Bewegungen mit sich bringen, und den damit verbundenen charakteristischen optischen Flussdaten zu erkennen. Durch die dargestellte Schraffierung können ferner die Bildelemente 215 gekennzeichnet werden, in denen die charakteristischen Geschwindigkeitsmuster 218 der jeweiligen bestimmten Werte des optischen Flusses 217 ein charakteristisches Geschwindigkeitsmuster 218 beschreiben. Hierdurch kann eine Lokalisierung der sicherheitsrelevanten Bewegung des sicherheitsrelevanten Ereignisses innerhalb der Fahrgastkabine 202 bewirkt werden. 4 shows a rectified image recording 213 of the interior 203 of the passenger cabin 202 3 . In 4 the corrected image recording 213 is further divided into a plurality of different picture elements 215 . For each pixel 215 a corresponding optical flow 217 is calculated. The optic flow 217 is in 4 exemplified by the velocity vectors 221 pointing in different directions. In addition to items of furniture in the passenger cabin 202 , two passengers 225 are also shown in the image recording 213 shown. A corresponding characteristic speed pattern 218 of a safety-relevant event can be determined by determining the optical flow 217 for each picture element 215 and executing the correspondingly trained motion detection 211 according to the method steps described above. In the embodiment shown, the safety-relevant event relates to a safety-endangering action by one of the passengers 225 in relation to the other passenger 225. Through the appropriate training of the motion detector 211, the motion detector 211 is able to detect corresponding safety-endangering movements of passengers based on the characteristic speed patterns 218, the entail such safety-endangering movements and to recognize the associated characteristic optical flow data. The hatching shown can also be used to identify the picture elements 215 in which the characteristic speed patterns 218 of the respective determined values of the optical flow 217 describe a characteristic speed pattern 218 . As a result, the safety-relevant movement of the safety-relevant event within the passenger cabin 202 can be localized.

Aufgrund der positionsunabhängigen Ermittlung der charakteristischen Geschwindigkeitsmuster 218 kann ein derartiges Ereignis durch die Bewegungserkennung 211 aber auch für jedes andere Bildelement 215 erkannt beziehungsweise ermittelt werden.Because of the position-independent determination of the characteristic speed pattern 218, such an event can be recognized or determined by the motion detector 211 but also for every other image element 215.

Durch die Berücksichtigung der Information bezüglich der Lichtänderung bzw. des Fahrzustands des Fahrzeugs kann die Bewegungserkennung 211 darauf trainiert werden, optische Flussdaten, die gegebenenfalls ein charakteristisches Geschwindigkeitsmuster 218 aufweisen, das jedoch lediglich auf die Lichtverhältnisse bzw. den Fahrzustand zurückzuführen ist, zur Detektion der sicherheitsrelevanten Ereignisse nicht zu berücksichtigen. Darüber hinaus kann durch die Identifikation der einzelnen Bildelemente 215 die Bewegungserkennung 211 darauf trainiert werden, verschiedene Bildelemente 215, in denen aufgrund der jeweiligen Position innerhalb der Fahrgastkabine 202 ein sicherheitsrelevantes Ereignis nicht zu erwarten ist, bei der Beurteilung bzw. Detektion der sicherheitsrelevanten Ereignisse mit geringerer Priorität zu berücksichtigen.By taking into account the information regarding the light change or the driving condition of the vehicle, the motion detector 211 can be trained to use optical flow data, which may have a characteristic speed pattern 218, but which is only due to the lighting conditions or the driving condition, to detect the safety-relevant events are not taken into account. In addition, by identifying the individual image elements 215, the motion detector 211 can be trained to detect various image elements 215, in which a safety-related event is not to be expected based on the respective position within the passenger cabin 202, when assessing or detecting the safety-related events with less priority to consider.

5 zeigt eine schematische Darstellung eines Histogramms 219 eines optischen Flusses 217. 5 shows a schematic representation of a histogram 219 of an optical flow 217.

Das gezeigte Histogramm 219 umfasst eine Mehrzahl von Geschwindigkeitsvektoren 221 des für ein Bildelement 215 und den vorbestimmten Zeitraum berechneten optischen Flusses 217. Die verschiedenen Geschwindigkeitsvektoren 221 des optischen Flusses 217 sind auf vorbestimmte Raumrichtungen 223 projiziert. Das gezeigte Histogramm 219 ist lediglich beispielhaft. Insbesondere kann die Anzahl verschiedener Raumrichtungen 223 von der hier gezeigten Anzahl abweichen.The histogram 219 shown includes a plurality of speed vectors 221 of the optical flow 217 calculated for a picture element 215 and the predetermined period of time. The histogram 219 shown is exemplary only. In particular, the number of different spatial directions 223 can deviate from the number shown here.

6 zeigt ein Flussdiagramm eines Verfahrens 300 zum Trainieren einer Bewegungserkennung 211 gemäß einer Ausführungsform. 6 FIG. 3 shows a flow diagram of a method 300 for training a motion detector 211 according to an embodiment.

Das erfindungsgemäße Verfahren 300 zum Trainieren einer Bewegungserkennung 211 kann beispielsweise durch eine Recheneinheit 209 gemäß der in 1 gezeigten Ausführungsform ausgeführt werden.The method 300 according to the invention for training a motion detector 211 can be implemented, for example, by a computing unit 209 according to 1 embodiment shown are executed.

Zum Trainieren der Bewegungserkennung 211 wird zunächst in einem Verfahrensschritt 301 ein Trainingsdaten erstellt, wobei der Trainingsdatensatz Werte eines optischen Flusses 217 für eine Mehrzahl von Bildelementen 215 von Bilddaten 207 wenigstens eines Innenraums 203 wenigstens einer Fahrgastkabine 202 wenigstens eines Schienenfahrzeugs 201 umfasst.To train motion detection 211, training data is first created in a method step 301, with the training data set comprising values of an optical flow 217 for a plurality of image elements 215 of image data 207 of at least one interior 203 of at least one passenger cabin 202 of at least one rail vehicle 201.

Hierzu wird zunächst in einem Verfahrensschritt 305 ein Satz von Bilddaten 207 erstellt. Die Bilddaten 207 können hierbei beliebige Fahrgastkabinen 202 von beliebigen Schienenfahrzeugen 201 abbilden und von unterschiedlichen Kamerasensoren 205 stammen. Die Bilddaten 207 sind bevorzugt Videodaten, die wenigstens einen Innenraum 203 einer entsprechenden Fahrgastkabine 202 abbilden. Die Bilddaten 207 umfassen hierbei jeweils sicherheitsrelevante Ereignisse gemäß den oben beschriebenen Ausführungsformen. In den Bilddaten können beispielsweise entsprechende Szenen eines gewalttätigen oder sichergefährdenden Verhalten von Personen bzw. Fahrgästen oder ein anderes sicherheitsrelevantes Ereignis nachgespielt bzw. simuliert sein. Da erfindungsgemäß nicht tatsächliche Aktionen der gefährdenden Handlungen sondern lediglich charakteristische Geschwindigkeitsmuster detektiert werden, können durch das Nachspielen bzw. Simulieren der tatsächlichen Aktionen aussagekräftige Trainingsdaten erstellt werden, auf deren Basis ein präzises Training der Bewegungserkennung 211 durchgeführt werden kann. Alternativ oder zusätzlich können die Trainingsdaten aber auch reale Bilddaten bzw. Videodaten von real aufgetretenen sicherheitsrelevanten Ereignissen, beispielsweise von gewalttätigen Übergriffen oder von Unfällen von Personen innerhalb der Fahrgastkabine oder von Unfallsituationen des Schienenfahrzeugs, umfassen. Der Trainingsdatensatz kann beispielsweise ein Kombination von Bilddaten von simulierten und realen sicherheitsrelevanten Ereignissen umfassen.For this purpose, a set of image data 207 is first created in a method step 305 . In this case, the image data 207 can depict any passenger cabins 202 of any rail vehicles 201 and originate from different camera sensors 205 . The image data 207 is preferably video data that depicts at least one interior space 203 of a corresponding passenger cabin 202 . In this case, the image data 207 each include safety-relevant events in accordance with the embodiments described above. In the image data, for example, corresponding scenes of violent or dangerous behavior by persons or passengers or another safety-relevant event can be replayed or simulated. Since according to the invention it is not the actual actions of the dangerous actions that are detected, but only characteristic speed patterns, meaningful training data can be created by replaying or simulating the actual actions, on the basis of which precise training of the motion detection 211 can be carried out. Alternatively or additionally, the training data can also include real image data or video data of safety-relevant events that have actually occurred, for example violent attacks or accidents involving people inside the passenger cabin or accident situations in the rail vehicle. The training data set can, for example, include a combination of image data from simulated and real safety-related events.

In einem Verfahrensschritt 313 werden die Bilddaten 207 entzerrt und eine entzerrte Bildaufnahme 213 aufgenommen. Die Entzerrung kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 109 ausgeführt werden.In a method step 313, the image data 207 is corrected and a corrected image recording 213 is recorded. In this case, the equalization can be carried out in accordance with method step 109 described above.

In einem weiteren Verfahrensschritt 315 wird die entzerrte Bildaufnahme 213 in eine Mehrzahl von Bildelementen 215 aufgeteilt. Die Aufteilung der entzerrten Bildaufnahme 213 kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 111 ausgeführt werden.In a further method step 315, the rectified image recording 213 is divided into a plurality of image elements 215. The division of the rectified image recording 213 can be carried out according to method step 111 described above.

Analog zu den obigen Ausführungen sind die Bilddaten 207 beispielsweise als Videodaten ausgebildet und umfassen eine Mehrzahl zeitlich aufeinanderfolgender Frames.Analogously to the above statements, the image data 207 is in the form of video data, for example, and includes a plurality of temporally consecutive frames.

In einem weiteren Verfahrensschritt 307 wird darauffolgend für jedes der Bildelemente 215 ein optischer Fluss 217 ermittelt. Die Bestimmung des optischen Flusses 217 kann hierbei analog zu den Verfahrensschritten 103 bzw. 113 ausgeführt werden.In a further method step 307, an optical flow 217 is then determined for each of the image elements 215. In this case, the determination of the optical flow 217 can be carried out analogously to the method steps 103 and 113, respectively.

In einem weiteren Verfahrensschritt 309 wird für jedes Bildelement 215 ein Histogramm 219 berechnet, wobei das Histogramm 219 gemäß den oben beschriebenen Ausführungen eine Mehrzahl von Geschwindigkeitsvektoren 221 des für das jeweilige Bildelement 215 bestimmten optischen Flusses 217 umfasst, wobei die Geschwindigkeitsvektoren 221 auf vorbestimmte Raumrichtungen 223 projiziert sind. Das Erstellen des Histogramms 219 kann analog zum oben beschriebenen Verfahrensschritt 119 ausgeführt werden.In a further method step 309, a histogram 219 is created for each picture element 215 calculated, wherein the histogram 219 according to the above-described embodiments includes a plurality of speed vectors 221 of the optical flow 217 determined for the respective picture element 215, the speed vectors 221 being projected onto predetermined spatial directions 223. The creation of the histogram 219 can be carried out analogously to the method step 119 described above.

Zusätzlich wird in einem Verfahrensschritt 317 für jedes Bildelement 215 eine Lichtänderung ermittelt. Die Lichtänderung kann hierbei gemäß dem oben beschriebenen Verfahrensschritt 121 bestimmt werden.In addition, in a method step 317 a light change is determined for each picture element 215 . In this case, the change in light can be determined in accordance with method step 121 described above.

In einem weiteren Verfahrensschritt 319 wird für jedes Bildelement 215 ein Fahrzustand des jeweiligen Schienenfahrzeugs 201 bestimmt. Der Fahrzustand kann analog zu dem oben beschriebenen Verfahrensschritt 123 ermittelt werden.In a further method step 319, a driving state of the respective rail vehicle 201 is determined for each image element 215. The driving state can be determined analogously to method step 123 described above.

In einem weiteren Verfahrensschritt 321 kann jedem Bildelement 215 eine entsprechende Identifikation zugeordnet werden.In a further method step 321, each picture element 215 can be assigned a corresponding identification.

In einem weiteren Verfahrensschritt 323 werden die Informationen bezüglich der Lichtänderung, des Fahrzustands bzw. der Identifikation für jedes Bildelement 215 mit den Informationen bezüglich des optischen Flusses 217 des jeweiligen Bildelements 215 kombiniert. Eine Kombination der Information kann beispielsweise in Form eines entsprechenden Eigenschaftsvektors bewirkt werden.In a further method step 323, the information relating to the light change, the driving state or the identification for each image element 215 is combined with the information relating to the optical flow 217 of the respective image element 215. A combination of the information can be effected, for example, in the form of a corresponding property vector.

In einem weiteren Verfahrensschritt 311 werden ferner die Informationen des Trainingsdatensatzes 227 annotiert und demzufolge die charakteristischen Geschwindigkeitsmuster 218, die in den jeweiligen optischen Flussdaten widergespiegelt sind, entsprechend als vorliegende sicherheitsrelevante Ereignisse gekennzeichnet.In a further method step 311, the information of the training data record 227 is also annotated and consequently the characteristic speed patterns 218, which are reflected in the respective optical flow data, are marked accordingly as present safety-relevant events.

Basierend auf einem derart erstellten Trainingsdatensatz 227 wird darauffolgend in einem Verfahrensschritt 303 die Bewegungserkennung 211 auf das Erkennen von sicherheitsrelevanten Ereignissen basierend auf den Informationen des optischen Flusses 217 der Bilddaten 207 trainiert. Das Training kann hierbei durch Ausführung von aus dem Stand der Technik bekannten Trainingsmethoden des maschinellen Lernens ausgeführt werden.Based on a training data record 227 created in this way, in a method step 303 the motion detection 211 is then trained to detect safety-relevant events based on the information of the optical flow 217 of the image data 207 . In this case, the training can be carried out by executing machine learning training methods known from the prior art.

7 zeigt eine schematische Darstellung eines Computerprogrammprodukts 400, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs und/oder das Verfahren 300 zum Trainieren einer Bewegungserkennung auszuführen. 7 shows a schematic representation of a computer program product 400, comprising instructions which, when the program is executed by a computing unit, cause it to carry out the method 100 for detecting a safety-related event within a passenger cabin of a rail vehicle and/or the method 300 for training motion detection.

Das Computerprogrammprodukt 400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert. Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.The computer program product 400 is stored on a storage medium 401 in the embodiment shown. The storage medium 401 can be any storage medium known from the prior art.

Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.Although the invention has been illustrated and described in detail by the preferred embodiment, the invention is not limited by the disclosed examples and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention.

Claims (15)

Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201), umfassend: - Empfangen (101) von Bilddaten (207) eines einen Innenraum (203) der Fahrgastkabine (202) des Schienenfahrzeugs (201) einsehenden Kamerasensors (205); - Bestimmen (103) eines optischen Flusses (217) von wenigstens einem Bildelement (215) der Bilddaten (207) für einen vorbestimmten Zeitraum; - Erkennen (105) eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch Ausführen einer Bewegungserkennung (211) auf den bestimmten optischen Fluss (217), wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) umfasst; und - Ausgeben (107) einer das sicherheitsrelevante Ereignis betreffenden Warnmeldung.Method (100) for detecting a safety-relevant event within a passenger cabin (202) of a rail vehicle (201), comprising: - Receiving (101) of image data (207) of an interior (203) of the passenger cabin (202) of the rail vehicle (201) seeing camera sensor (205); - determining (103) an optical flow (217) of at least one pixel (215) of the image data (207) for a predetermined period of time; - Recognition (105) of a safety-relevant event based on a characteristic speed pattern (218) of the determined optical flow (217) by executing a motion detection (211) on the determined optical flow (217), the safety-relevant event being a safety-threatening movement of an object within the passenger cabin (202) includes; and - Outputting (107) a warning message relating to the security-relevant event. Verfahren (100) nach Anspruch 1, wobei das Bestimmen (103) des optischen Flusses umfasst: - Entzerren (109) der Bilddaten (207) des Kamerasensors (205) und Erstellen einer entzerrten Bildaufnahme (213) der Fahrgastkabine (202); - Aufteilen (111) der entzerrten Bildaufnahme (213) in eine Mehrzahl von Bildelementen (215); und - Bestimmen (113) des optischen Flusses (217) für jedes der Bildelemente (215).Method (100) according to claim 1 , wherein the determination (103) of the optical flow comprises: - equalizing (109) the image data (207) of the camera sensor (205) and creating an equalized image recording (213) of the passenger cabin (202); - Dividing (111) the corrected image recording (213) into a plurality of picture elements (215); and - determining (113) the optical flow (217) for each of the picture elements (215). Verfahren (100) nach Anspruch 2, wobei das Bestimmen des optischen Flusses umfasst: - Ermitteln (115) einer markanten Stelle innerhalb eines jeden Bildelements (215) der entzerrten Bildaufnahme (213); - Bestimmen (117) des optischen Flusses (217) für jeweils zwei zeitlich unmittelbar aufeinanderfolgender Frames der Bilddaten anhand der ermittelten markanten Stellen für jedes Bildelement (215); und - Erstellen (119) eines Histogramms (219) des bestimmten optischen Flusses (217) für die Frames der Bildaufnahme während des vorbestimmten Zeitraums.Method (100) according to claim 2 , wherein the determination of the optical flow comprises: - determining (115) a prominent point within each picture element (215) of the corrected image recording (213); - Determination (117) of the optical flow (217) for two immediately consecutive frames of the image data based on the determined distinctive points for each picture element (215); and - creating (119) a histogram (219) of the determined optical flow (217) for the frames of the image acquisition during the predetermined time period. Verfahren (100) nach Anspruch 3, wobei das Ermitteln (115) von markanten Stellen innerhalb der Bildelemente (215) durch Ausführen eines Interest-Operators bewirkt wird, und wobei der Interest-Operator durch einen Harris Eckpunkt-Detektions-Algorithmus oder einen Shi-Tomasi-Algorithmus gegeben ist.Method (100) according to claim 3 , wherein the determination (115) of distinctive points within the pixels (215) is effected by executing an interest operator, and wherein the interest operator is given by a Harris vertex detection algorithm or a Shi-Tomasi algorithm. Verfahren (100) nach Anspruch 3 oder 4, wobei der bestimmte optische Fluss (217) eines Bildelements (215) für jeweils zwei aufeinanderfolgende Frames wenigstens einen Geschwindigkeitsvektor (221) mit einer Geschwindigkeitsrichtung und einem Geschwindigkeitswert umfasst, wobei im Histogramm (219) eine Mehrzahl von Geschwindigkeitsvektoren (221) des optischen Flusses (217) für eine Mehrzahl zeitlich aufeinander folgender Frames dargestellt ist, und wobei im Histogramm (219) die Geschwindigkeitsvektoren (221) des optischen Flusses der Mehrzahl von Frames auf vorbestimmte Raumrichtungen (223) projiziert sind.Method (100) according to claim 3 or 4 , wherein the determined optical flow (217) of a picture element (215) comprises at least one speed vector (221) with a speed direction and a speed value for two consecutive frames, wherein a plurality of speed vectors (221) of the optical flow ( 217) for a plurality of temporally consecutive frames, and wherein the speed vectors (221) of the optical flow of the plurality of frames are projected onto predetermined spatial directions (223) in the histogram (219). Verfahren (100) nach einem der voranstehenden Ansprüche, ferner umfassend: - Bestimmen (121) einer Lichtänderung innerhalb jedes Bildelements (215) für den vorbestimmten Zeitraum; und/oder - Ermitteln (123) eines Fahrzustands des Schienenfahrzeugs (201); und/oder - Zuweisen (125) einer Identifikation zu jedem Bildelement (215); und - Kombinieren (127) des bestimmten optischen Flusses (217) des jeweiligen Bildelements (215) mit der Information der Lichtänderung innerhalb eines Bildelements und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements, wobei das sicherheitsrelevante Ereignis basierend auf der kombinierten Information erkannt wird.Method (100) according to any one of the preceding claims, further comprising: - determining (121) a change in light within each pixel (215) for the predetermined period of time; and or - Determining (123) a driving condition of the rail vehicle (201); and or - assigning (125) an identification to each pixel (215); and - Combining (127) the determined optical flow (217) of the respective picture element (215) with the information on the light change within a picture element and/or the information on the driving status of the train and/or the identification of a picture element, the safety-relevant event being based on the combined information is detected. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die sicherheitsgefährdende Bewegung umfasst: eine sicherheitsgefährdende Handlung eines Fahrgasts (225) gegenüber einem weiteren Fahrgast und/oder eine sicherheitsgefährdende unvorhergesehene Öffnung einer Tür des Schienenfahrzeugs und/oder eine Beschädigung des Schienenfahrzeugs (201) in Form eines Zerbrechens einer Scheibe.Method (100) according to one of the preceding claims, wherein the security-endangering movement comprises: a safety-endangering action by a passenger (225) towards another passenger and/or an unforeseen opening of a door of the rail vehicle endangering safety and/or damage to the rail vehicle (201) in the form of a window breaking. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei Bilddaten (207) Daten einer innerhalb der Fahrgastkabine (202) des Schienenfahrzeugs (201) installierten CCTV-Kamera sind.Method (100) according to one of the preceding claims, wherein image data (207) are data from a CCTV camera installed inside the passenger cabin (202) of the rail vehicle (201). Verfahren (100) nach einem der voranstehenden Ansprüche, wobei der optische Fluss (217) durch Ausführen eines Lucas-Kanade-Algorithmus bestimmt wird.A method (100) according to any one of the preceding claims, wherein the optical flow (217) is determined by running a Lucas-Kanade algorithm. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die Bewegungserkennung (211) als eine trainierte künstliche Intelligenz ausgebildet ist, und wobei die künstliche Intelligenz darauf trainiert ist, basierend auf den charakteristischen Geschwindigkeitsmustern (218) des bestimmten optischen Flusses (217), eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine (202) zu ermitteln.Method (100) according to any one of the preceding claims, wherein the motion detection (211) is designed as a trained artificial intelligence, and wherein the artificial intelligence is trained based on the characteristic speed patterns (218) of the determined optical flow (217), a to determine unsafe movement of an object within the passenger cabin (202). Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 1 bis 10, umfassend: - Erstellen (301) eines Trainingsdatensatzes (227), wobei der Trainingsdatensatz (227) Werte eines optischen Flusses (217) für eine Mehrzahl von Bildelementen (215) von Bilddaten (207) wenigstens eines Innenraums (203) wenigstens einer Fahrgastkabine (202) wenigstens eines Schienenfahrzeugs (201) umfasst; - Ausführen (303) der Bewegungserkennung (211) auf den Trainingsdatensatz (227) und Trainieren der Bewegungserkennung (211) auf ein Erkennen eines sicherheitsrelevanten Ereignisses anhand eines charakteristischen Geschwindigkeitsmusters (218) des bestimmten optischen Flusses (217) durch maschinelles Lernen, wobei das sicherheitsrelevante Ereignis eine sicherheitsgefährdende Bewegung eines Objekts innerhalb der Fahrgastkabine umfasst.Method (300) for training a motion detection (211) according to one of the preceding Claims 1 until 10 , comprising: - creating (301) a training data set (227), the training data set (227) containing values of an optical flow (217) for a plurality of image elements (215) of image data (207) of at least one interior (203) of at least one passenger cabin ( 202) comprises at least one rail vehicle (201); - Executing (303) the motion detection (211) on the training data set (227) and training the motion detection (211) to detect a safety-relevant event using a characteristic speed pattern (218) of the determined optical flow (217) by machine learning, the safety-relevant Event includes a safety-endangering movement of an object within the passenger cabin. Verfahren (100) nach Anspruch 11, wobei das Erstellen (301) des Trainingsdatensatzes umfasst: - Erstellen (305) eines Satzes von Bilddaten (207) wenigstens eines Innenraums (203) einer Fahrgastkabine (202) wenigstens eines Schienenfahrzeugs (201), wobei die Bilddaten (207) sicherheitsrelevante Ereignisse abbilden; - Bestimmen (307) des optischen Flusses (217) für die Mehrzahl von Bilddaten (207), wobei der optische Fluss (217) für eine Mehrzahl von Bildelementen (215) der Bilddaten (207) und für eine Mehrzahl von Frames der Bilddaten (207) innerhalb eines vorbestimmten Zeitraums berechnet wird; - Erstellen (309) für jedes Bildelement (215) für die Mehrzahl von Frames während des vorbestimmten Zeitraums eines Histogramms (219) des optischen Flusses (217) durch Projizieren von Geschwindigkeitsvektoren (221) des optischen Flusses (217) auf vorbestimmte Raumrichtungen (223); und - Annotieren (311) des Trainingsdatensatzes (227) und Kennzeichen der charakteristischen Bewegungsmuster von sicherheitsrelevanten Ereignissen.Method (100) according to claim 11 , wherein the creation (301) of the training data set comprises: - creating (305) a set of image data (207) of at least one interior (203) of a passenger cabin (202) of at least one rail vehicle (201), the image data (207) depicting safety-related events ; - determining (307) the optical flow (217) for the plurality of image data (207), wherein the optical flow (217) for a plurality of picture elements (215) of the image data (207) and for a plurality of frames of the image data (207 ) is calculated within a predetermined period of time; - creating (309) for each picture element (215) for the plurality of frames during the predetermined period of time a histogram (219) of the optical flow (217) by projecting velocity vectors (221) of the optical flow (217) onto predetermined spatial directions (223) ; and - annotating (311) the training data set (227) and identifying the characteristic movement pattern of safety-relevant events. Verfahren (100) nach Anspruch 12, wobei das Erstellen des Satzes von Bilddaten (305) umfasst: - Entzerren (313) der Bilddaten (207) und Erstellen von entzerrten Bildaufnahmen (213); und - Aufteilen (315) der entzerrten Bildaufnahmen (213) in eine Mehrzahl von Bildelementen (215); wobei das Erstellen (301) des Trainingsdatensatzes ferner umfasst: - Bestimmen (317) einer Lichtänderung innerhalb jedes Bildelements (215) für den vorbestimmten Zeitraum; und/oder - Ermitteln (319) eines Fahrzustands des jeweiligen Schienenfahrzeugs; und/oder - Zuweisen (321) einer Identifikation zu jedem Bildelement; und - Kombinieren (323) des bestimmten optischen Flusses (217) des jeweiligen Bildelements (215) mit der Information der Lichtänderung innerhalb eines Bildelements (215) und/oder der Information des Fahrzustands des Zuges und/oder der Identifikation eines Bildelements (215).Method (100) according to claim 12 , wherein the creation of the set of image data (305) comprises: - rectifying (313) the image data (207) and creating rectified image recordings (213); and - dividing (315) the equalized recorded images (213) into a plurality of picture elements (215); wherein the creation (301) of the training data set further comprises: - determining (317) a light change within each pixel (215) for the predetermined period of time; and/or - determining (319) a driving condition of the respective rail vehicle; and/or - assigning (321) an identification to each pixel; and - combining (323) the determined optical flow (217) of the respective picture element (215) with the information on the light change within a picture element (215) and/or the information on the driving state of the train and/or the identification of a picture element (215). Recheneinheit (209), wobei die Recheneinheit (209) ausgebildet ist, das Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine (202) eines Schienenfahrzeugs (201) nach einem der voranstehenden Ansprüche 1 bis 10 und/oder ein Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 11 bis 13 auszuführen.Arithmetic unit (209), wherein the arithmetic unit (209) is designed, the method (100) for detecting a safety-related event within a passenger cabin (202) of a rail vehicle (201) according to one of the preceding Claims 1 until 10 and/or a method (300) for training motion detection (211) according to one of the preceding Claims 11 until 13 to execute. Computerprogrammprodukt (400) umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren (100) zum Erkennen eines sicherheitsrelevanten Ereignisses innerhalb einer Fahrgastkabine eines Schienenfahrzeugs nach einem der voranstehenden Ansprüche 1 bis 10 und/oder ein Verfahren (300) zum Trainieren einer Bewegungserkennung (211) nach einem der voranstehenden Ansprüche 11 bis 13 auszuführen.Computer program product (400) comprising instructions which, when the program is executed by a data processing unit, cause the latter to use the method (100) for detecting a safety-related event within a passenger cabin of a rail vehicle according to one of the preceding ones Claims 1 until 10 and/or a method (300) for training motion detection (211) according to one of the preceding Claims 11 until 13 to execute.
DE102021206914.2A 2021-07-01 2021-07-01 Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle Withdrawn DE102021206914A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021206914.2A DE102021206914A1 (en) 2021-07-01 2021-07-01 Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle
EP22173166.4A EP4112420A1 (en) 2021-07-01 2022-05-13 Method for detecting a safety-related event within a passenger cabin of a railway vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021206914.2A DE102021206914A1 (en) 2021-07-01 2021-07-01 Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle

Publications (1)

Publication Number Publication Date
DE102021206914A1 true DE102021206914A1 (en) 2023-01-05

Family

ID=81653705

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021206914.2A Withdrawn DE102021206914A1 (en) 2021-07-01 2021-07-01 Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle

Country Status (2)

Country Link
EP (1) EP4112420A1 (en)
DE (1) DE102021206914A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10341426A1 (en) 2003-09-09 2005-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Area e.g. railway station platform, monitoring method, monitors defined areas to detect situations which are then classified according to type and location by using video camera signal analysis
CN110765964A (en) 2019-10-30 2020-02-07 常熟理工学院 Method for detecting abnormal behaviors in elevator car based on computer vision
WO2020111932A1 (en) 2018-11-29 2020-06-04 Mimos Berhad A system and method for detecting aggressive behaviour
DE102019206233A1 (en) 2019-04-30 2020-11-05 Siemens Mobility GmbH Method for providing training data for adaptable situation recognition algorithms and methods for automated situation recognition of operating situations of a vehicle for public passenger transport

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007031302A1 (en) * 2007-07-05 2009-01-08 Robert Bosch Gmbh Device for detecting and / or classifying motion patterns in a sequence of images from a surveillance scene, method and computer program
DE102017222898A1 (en) * 2017-12-15 2019-06-19 Siemens Aktiengesellschaft Automated detection of dangerous situations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10341426A1 (en) 2003-09-09 2005-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Area e.g. railway station platform, monitoring method, monitors defined areas to detect situations which are then classified according to type and location by using video camera signal analysis
WO2020111932A1 (en) 2018-11-29 2020-06-04 Mimos Berhad A system and method for detecting aggressive behaviour
DE102019206233A1 (en) 2019-04-30 2020-11-05 Siemens Mobility GmbH Method for providing training data for adaptable situation recognition algorithms and methods for automated situation recognition of operating situations of a vehicle for public passenger transport
CN110765964A (en) 2019-10-30 2020-02-07 常熟理工学院 Method for detecting abnormal behaviors in elevator car based on computer vision

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Corner detection WIKIPEDIA https://en.wikipedia.org/w/index.php?title=Corner_detection&oldid=1071652029
Optical_flow WIKIPEDIA https://en.wikipedia.org/w/index.php?title=Optical_flow&oldid=1059399864

Also Published As

Publication number Publication date
EP4112420A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
DE602005003856T2 (en) Monitoring the environment of a mobile body
DE102012223481B4 (en) Apparatus and method for tracking the position of a peripheral vehicle
DE102008013366B4 (en) Method for providing information for driver assistance systems
DE102016119138A1 (en) Detection of filtering motorcycles
DE102014105351A1 (en) DETECTING PEOPLE FROM SEVERAL VIEWS USING A PARTIAL SEARCH
DE102007031302A1 (en) Device for detecting and / or classifying motion patterns in a sequence of images from a surveillance scene, method and computer program
DE102005034597A1 (en) Method and device for generating a depth map
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102007041893A1 (en) Method for detecting and / or tracking moving objects in a surveillance scene with interferers, apparatus and computer program
DE102009055127A1 (en) Apparatus and method for monitoring video objects
DE102020200169B3 (en) Method for merging several data sets for the generation of a current lane model of a roadway and device for data processing
DE102016223094A1 (en) Method and system for detecting a raised object located within a parking lot
DE102009024066A1 (en) Method and device for classifying situations
DE102021206914A1 (en) Method for detecting a safety-relevant event within a passenger cabin of a rail vehicle
EP2483834A1 (en) Method and apparatus for recognizing erroneous detection of an object in an image
EP3968213A1 (en) Method for determining a track-bound railway track in a track system and device for carrying out this method
DE102011079005B4 (en) Method for self-diagnosis of cameras and image recording system with at least one camera for carrying out the method
DE102020201939A1 (en) Method and device for evaluating an image classifier
DE102018222683A1 (en) Method for creating an environment representation map for monitoring a vehicle and / or a vehicle trailer using a camera system
WO2022122196A1 (en) Optical railway detection
DE102018121110A1 (en) Method and device for documenting a status of an autonomous robot
DE102021208423A1 (en) Method and computer program for protecting a perception system against contamination of an imaging sensor of the perception system and perception system of an automated driving system
DE102020207929A1 (en) Method, computer program and device for recognizing a violent act of a person against an object
DE112018007442T5 (en) DATA SYNCHRONIZATION DEVICE, DATA SYNCHRONIZATION METHOD AND DATA SYNCHRONIZATION PROGRAM
DE102019132012A1 (en) Method and system for the detection of small unclassified obstacles on a road surface

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009800000

Ipc: G06V0030200000

R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee