WO2020224853A1 - Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug - Google Patents

Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug Download PDF

Info

Publication number
WO2020224853A1
WO2020224853A1 PCT/EP2020/057999 EP2020057999W WO2020224853A1 WO 2020224853 A1 WO2020224853 A1 WO 2020224853A1 EP 2020057999 W EP2020057999 W EP 2020057999W WO 2020224853 A1 WO2020224853 A1 WO 2020224853A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
route
vehicle
sign
Prior art date
Application number
PCT/EP2020/057999
Other languages
English (en)
French (fr)
Inventor
Andreas Schönberger
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Priority to EP20718158.7A priority Critical patent/EP3938266A1/de
Publication of WO2020224853A1 publication Critical patent/WO2020224853A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/04—Automatic systems, e.g. controlled by train; Change-over to manual control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L2205/00—Communication or navigation systems for railway traffic
    • B61L2205/04—Satellite based navigation systems, e.g. global positioning system [GPS]

Definitions

  • the invention relates to a method for recognizing signal signs for traffic control of lane-bound vehicles according to the preamble of claim 1, a computer program product for recognizing signal signs for traffic control of lane-bound vehicles according to the preamble of claim 8, a signal sign recognition system according to the preamble of Claim 14 and a track-bound vehicle, in particular a rail vehicle, according to the preamble of claim 26.
  • Track-bound vehicles are part of a modern traffic infrastructure as a means of traffic and transport, for example rolling on or under one or two guardrails (tracks), floating over or under a magnetic field or hanging on steel cables.
  • track-bound means of transport rail vehicles are based on a wheel-rail system, which either have their own traction drive (railcar) or are pulled or pushed by a locomotive and where predominantly steel wheels with a flange on two Steel rails or tracks are guided, the most common.
  • train drivers are occasionally inattentive or make perceptual errors and therefore initiate life-threatening driving actions (accelerating the vehicle) or fail to do so (failure to brake the vehicle).
  • Train drivers may not always be available (e.g. due to illness, strike, unplanned additional volume of driving orders, etc.) so that trips may have to be canceled.
  • Relevant signals could not be reliably distinguished from irrelevant signals (e.g. a branch line or the opposite direction).
  • location-related reference information in the form of reference location information and reference signal status information, context and reference information obtained in the detection context, stored as reference data along a railway line in a railway network in relation to geographic environment and railway traffic signal control functions and, if necessary, additional related meta information as well as (ii) the comparison of operating location information and operating signal status information recorded in the signal detection mode based on position data with the stored reference data - to detect a signal and / or a signal status for controlling the rail traffic on the railway line
  • This is the case by evaluating the relevance and content of the information if, during the comparison, the detected operating signal status information for the signal detection is found that corresponds to the operating location information and that there corresponds to the reference location information to a reference signal status information contained in the reference data, taking into account the context and reference information contained in the reference data as well as the meta information that may also be present.
  • signal positions e.g. stop, travel, slow travel
  • route signs For autonomous rail vehicles, signal positions (e.g. stop, travel, slow travel) and route signs must be recognized automatically.
  • images are analyzed that are generated by devices for image acquisition, such as cameras of any type and any acquisition principle.
  • the image must be evaluated relative to a position, i.e. Depending on where the rail vehicle is located, a signal or a route sign must be recognized at different distances and, if necessary, an assessment must be made as to whether the respective signal is relevant, e.g. whether it applies to a different track than the track used
  • the object of the invention is to provide a method and a computer program product for recognizing signal signs for traffic control of lane-bound vehicles, as well as a signal sign recognition system and a lane-bound vehicle, in particular a rail vehicle, with which a si chere in a simple and resource-saving manner Signal character recognition can be achieved.
  • a route image path is formed at least on the basis of a route image acquired from a signal sign expected route area, at a vehicle position, vehicle position information, stored reference route images and route image metadata including the signal sign position and stored route and vehicle data,
  • an image corridor e.g. is obtained by calculation or measurement in which the signal to be recognized is expected or must be located
  • the image corridor is searched step by step, with each step evaluating for the corresponding image of the corridor how strong an image section to be viewed for the image analysis is in relation to the de signal sign deviates from a stored signal sign that is known visually,
  • the image sections are evaluated iteratively by performing the image calculation / image analysis several times, preferably at 200 ms intervals at a given vehicle speed based on the vehicle position for different corresponding ones and decreasing distances to Signal Lakepositi on, is carried out (claims 4, 11 and 20). Furthermore, it is expedient and advantageous for efficient signal sign recognition if the route image path and the image corridor are obtained through a semi-manual analysis of signal sign image material that has been recorded and correlated with position data, in particular during test drives along the route (claims 5 and 22) and the image corridor is also obtained by measuring or calculating (claims 6, 12 and 22).
  • abnormal signals e.g. can be processed automatically due to vandalism
  • FIGS. 1 to 4. show:
  • FIG. 1 Signal character recognition for a traffic control of a track-bound vehicle, in particular one Rail vehicle, in the ferry operation along a route of the track-bound vehicle located at a signal sign position;
  • FIG. 2 shows a basic structure of a signal character recognition system for the signal character recognition based on vehicle and driving operation according to FIG. 1;
  • FIG. 3 shows the generation of route image path and image corridor for straight-ahead travel of the lane-bound vehicle
  • FIG. 4 the generation of route image path and image corridor for a left-hand curve drive of the lane-bound vehicle.
  • FIG. 1 shows the signal sign recognition of a signal sign located for traffic control of a rail vehicle SFZ as a lane-bound vehicle FZ in ferry operation along a route FST of the lane-bound vehicle FZ, SFZ at a signal sign position SZP, in which a reliable signal sign recognition is achieved in a simple and resource-saving manner can be.
  • the rail vehicle SFZ, FZ - shown in FIGURE 1 is a motor vehicle TRW, which moves on the route FST, preferably automated according to a range of driver assistants, via partial automation, further via conditional automation and high automation up to full automation -
  • a signal sign recognition system SZES for signal sign recognition which is located in a driver's cab TFS with an integrated display device AZE for a vehicle driver FZF.
  • a vehicle position FZP determined by means of satellite-supported position determination methods, such as GPS, GALILEO or GLONASS, based on GPS, GALILEO and GLONASS coordinates and objected to the signal sign position SZP is equipped with an image acquisition unit BAE for capturing images of the signal sign recognition system SZES from the vehicle perspective, which essentially corresponds to the perspective of the vehicle driver FZF, of a signal sign waiting route area
  • the satellite-supported determination of the vehicle position FZP is subject to tolerances, so that there is a positive tolerance vehicle position FZP P and a negative tolerance vehicle position FZP N for the vehicle position FZP.
  • positions are determined by satellite with an inaccuracy of e.g. 20 meters and the vehicle position FZP is determined e.g. at a distance of 40 meters from the signal sign position SZP of the signal sign SZ, then with an even distribution of the tolerance-affected value of 20 m in front of and according to the vehicle position, the positive tolerance vehicle position FZP P at a distance of 50 meters and the negative tolerance vehicle position FZP N at a distance of 30 meters from the signal sign position SZP of the signal sign SZ.
  • the image acquisition unit BAE of the signal character recognition system SZES can be any device for acquiring and / or recording single or multiple images, such as an image or video camera, a laser sensor, a thermal imaging camera, an infrared camera or a radar device.
  • FIG. 2 shows a basic structure of the Signal Hiler identification system SZES for the signal character recognition of the Signalzei SZ based on the vehicle and driving operation according to FIG.
  • the signal character recognition system SZES contains, in addition to the image acquisition unit BAE already mentioned in connection with the description of FIG Images a position acquisition unit PAE for the acquisition of vehicle positions and a control unit STE.
  • the position acquisition unit PAE is the unit of the signal character recognition system SZES, which uses satellite-based GPS, GALILEO and GLONASS coordinates to determine the vehicle position FZP.
  • the control unit STE in turn contains a computer program product CPP for signal character recognition, which has a non-volatile, readable memory SP, in which the processor-readable control program commands of a program module PGM that is responsible for signal character recognition, and a processor PZ connected to the memory SP, which executes the control program commands of the program module PGM for signal character recognition.
  • the image acquisition unit BAE contains a correction component KOK, which includes weather and brightness data in the evaluation of the captured image material, a focal length change component BVK, which selects the correct recording angle depending on the distance from the signal symbol SZ In order to optimally support the multiple evaluation of the signal sign SZ, and a lighting component BLK, which is preferably designed as a headlight and which works inside or outside the human-visible area.
  • the image acquisition unit BAE is also designed to be pivotable in an advantageous manner in order to be able to compensate for the angle of the image acquisition unit BAE to the marking MK, SZ.
  • two or more of these image acquisition units BAE work in parallel in order to increase the confidence of the data obtained.
  • the position acquisition unit PAE, the image acquisition unit BAE and the control unit STE containing the computer program product CPP for signal character recognition form a common functional unit for image calculation / image analysis based recognition of the signal character SZ by means of a combination of image calculation and image analysis.
  • This functional unit is designed in such a way that in the image acquisition unit BAE according to the illustration in FIG. 1 and as already mentioned in its description, at the vehicle position FZP at a distance from the signal sign position SZP of the signal sign SZ, from the vehicle perspective the primary route image P- SB is acquired from the signal sign waiting route area.
  • the functional unit is designed such that in the control unit STE or in the processor PZ of the computer program product CPP
  • the vehicle position FZP obtained from the position acquisition unit PAE, from reference route images RSB and RSB stored in a first database DB1 and obtained from it
  • Route image metadata SBMD including the signal sign position SZP as well as route and vehicle data SFZD or SFZD stored in a second database DB2 and received from this
  • route image metadata SBMD in including the signal symbol position SZP, image path data BPFD and image corridor data BKOD as well as route and vehicle data SFZD stored in a second database DB2 and received from it - for the positive tolerance vehicle position FZP P in FIG. 1, a first secondary route image S-SB1 and for the negative tolerance vehicle position FZP N in FIG.
  • a second secondary route image S-SB2 is formed, the priority being mär route image P-SB and the two secondary route images S-SB1, S-SB2 form a route image path SBPF.
  • the formation of the first secondary route image S-SB1 and the second secondary route image S-SB2 is preferably carried out by means of image calculation.
  • the route image metadata SBMD preferably have the combination of image computation carried out for the signal character recognition for the comparison between the reference route images and the primary route image S-PB or the secondary route image S-SB1, S-SB2 calculated therefrom and image analysis by an expert marked and assessed image material including the image path and image corridor with possibly further metadata and calibration images in order to be able to recognize the signal sign SZ.
  • the experts' markings are used to define the relevant image section as precisely as possible and also to be able to differentiate between relevant and irrelevant signal signs (e.g. a branch line).
  • expert markings can also be replaced by standard information, e.g. Standard information on a so-called distant signal sign.
  • any distortions of the primary route image P-SB are avoided if the stored reference route images RSB were not recorded exactly at the same point as that in the ferry service recorded routes image SB taken into account by position compensation.
  • the control unit STE or the processor PZ accesses the first database DB1 and / or the second database DB2.
  • the first database DB1 and / or the second database DB2 are either part of the position determination system PBS (Op- tion "A” for DB1 or option “C” for DB2) or assigned to the position determination system PBS for these accesses (option "B” for DB1 or option “D” for DB2).
  • the first database DB1 contains the reference route images RSB including any calibration images, the route image metadata SBMD, such as With regard to the route images, the exact position of their recording including information about the route or the track, possibly the angle of the recording and the SZD signal sign data including metadata such as e.g. the type of signal sign. These data can preferably be recorded as follows:
  • the second database DB2 contains the route and vehicle data SFZD, which e.g. the exact data about the route FST, e.g. the exact position of the track, the position of the signal sign SZ, SZ ', the mounting position of the position acquisition unit PAE or the GPS / GALILEO / GLONASS receiver, the assembly positions and resolutions of the image acquisition unit BAE etc. in the vehicle FZ, SFZ include.
  • the route and vehicle data SFZD which e.g. the exact data about the route FST, e.g. the exact position of the track, the position of the signal sign SZ, SZ ', the mounting position of the position acquisition unit PAE or the GPS / GALILEO / GLONASS receiver, the assembly positions and resolutions of the image acquisition unit BAE etc. in the vehicle FZ, SFZ include.
  • the functional unit is designed such that in the control unit STE or in the processor PZ of the computer program product CPP
  • an image corridor BKO is obtained from the route image path SBPF using signal character data SZD stored in the first database DB1 and received from this and from the route and vehicle data SFZD stored in the second database DB2 and obtained from this, in which the signal character SZ to be recognized is to be expected or is located.
  • the image corridor BKO is preferably obtained by measuring or calculating.
  • FIG. 3 shows, for straight-ahead travel of the track-bound vehicle FZ, SFZ, the formation of the route image path SBPF with the acquired primary route image P-SB to the vehicle position FZP, for example at a distance of 40m from the signal sign position SZP, preferably by image calculation the first secondary route image S-SB1 for the positive tolerance vehicle position FZP PT , for example at a distance of 50 m from the signal sign position SZP and with the second secondary route image S-SB1, preferably also formed by image calculation, SB2 for the negative tolerance vehicle position FZP N , for example at a distance of 30 m from the signal symbol position SZP and the extraction of the image corridor BKO from the route image path SBPF, preferably by measurement or image calculation.
  • the dashed diagonal in the respective route diagram is merely an auxiliary line without any meaning that is relevant to the invention.
  • FIG. 4 shows the formation of the route image path SBPF with the acquired primary route image P-SB to the vehicle position FZP, for example at a distance of 40 m from the signal sign position SZP, for a left-hand curve drive of the lane-bound vehicle FZ, SFZ the first secondary route image S-SB1 for the positive tolerance vehicle position FZP PT , for example at a distance of 50 m from the signal sign position SZP and with the second secondary route image S-SB1, preferably also formed by image calculation, SB2 for the negative tolerance vehicle position FZP N , for example at a distance of 30 m from the signal symbol position SZP and the extraction of the image corridor BKO from the route image path SBPF, preferably by measurement or image calculation.
  • the dashed diagonal in the respective route diagram is again only an auxiliary line without any meaning that is relevant to the invention.
  • the formation / acquisition of the route image path SBPF and the image corridor BKO can preferably be carried out by means of a semi-manual analysis of, in particular on test drives along the Travel route FST, recorded and correlated with position data signal sign image material are carried out.
  • path corridors are to be obtained by semi-manual analysis of existing image material, images of signal signs along the route on which lane-bound vehicles e.g. should drive automatically, recorded and correlated with position data.
  • the data for the image corridor can also be obtained by measurement or calculation.
  • the functional unit is designed in such a way that in the control unit STE or in the processor PZ of the computer program product CPP
  • the embodiment of the invention sketched in FIGS. 1 to 4 can be described with others as follows: a. First, the approximate position of the track-bound vehicle is determined by a satellite-supported position determination (for example, often using GPS coordinates), ie accurate to several tens of meters. b. On the basis of this position, an image path and an image corridor are determined on which a signal character to be recognized must be located. For this purpose, a currently satellite-based measured or determined vehicle position is taken as the starting point (e.g. 40m before the signal sign) and then depending on an assumed inaccuracy (e.g. 20m) this inaccuracy is distributed before and after the vehicle position.
  • a satellite-supported position determination for example, often using GPS coordinates
  • an image path and an image corridor are determined on which a signal character to be recognized must be located.
  • a currently satellite-based measured or determined vehicle position is taken as the starting point (e.g. 40m before the signal sign) and then depending on an assumed inaccuracy (e.g. 20
  • the image corridor is then calculated on the basis of the assumed size of the signal symbol from the image path (as known). In particular, vibration and imprecise installation of the camera can also be taken into account by choosing a larger image corridor than the signal sign actually is. As a rule, "1.2-2" times the larger signal character is chosen.
  • this image corridor is searched step by step, i.e. first signal position with a measured distance of 50 m in front of the signal system, then the next possible signal position with a shift of e.g.
  • the functional unit is designed such that in the control unit STE or in the processor PZ of the computer program product CPP
  • weighting is carried out when evaluating the image section in order to prioritize the signal character comparison.
  • Such a prioritization can preferably be achieved by iteratively evaluating the image sections in the image corridor by performing the image calculation / image analysis multiple times, preferably at 200ms time intervals for a given vehicle speed, starting from the vehicle position FZP for corresponding, different and decreasing distances to the signal character position SZP.
  • a signal sign may appear in successive calculation / analysis steps. ten do not move; ie the signal sign should be in the same place, for example at a distance of 34 m in front of the signal sign position SZP.
  • the SZ signal sign determined in the course of the combination of image calculation and image analysis is passed on to an AFS autonomous / automated driving system to support or implement autonomous / automated driving.
  • the control unit STE or the processor PZ is also designed in such a way that the vehicle position FZP determined in the course of the combination of image calculation and image analysis is checked in the event of an inconsistent signal sign comparison in order to make a reliable, consistent decision with regard to the signal sign SZ to be recognized to hand over the Autonomous / Automated Driving System AFS.
  • Such safety checks are expedient, appropriate and sensible because it could well be that a rear light of a vehicle driving ahead can be confused with a red signal sign that is to be recognized. In this case, "Halt" can be output as a result for safety purposes in order to stay on the safe side.
  • the autonomous / automated driving system AFS is when, as shown in FIG. 1, the railcar TRW of the track-bound vehicle FZ, SFZ automatically moves on the route FST, like the signal character recognition system SZES in the driver's cab TFS of the track-bound vehicle FZ, SFZ arranged.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

Um Signalzeichen (SZ) zur Verkehrssteuerung spurgebundener Fahrzeuge (FZ, SFZ) auf eine einfache und ressourcenschonende Weise zu erkennen, wird es vorgeschlagen, für eine Bildberechnung/Bildanalyse-basierte Erkennung des Signalzeichens, das sich an einer Signalzeichenposition (SZP) entlang einer Fahrstrecke (FST) des spurgebundenen Fahrzeugs befindet, - zumindest auf der Basis eines von einem Signalzeichenerwartungsfahrstreckenbereich, an einer Fahrzeugposition (FZP) akquirierten Streckenbildes (P-SB), von Fahrzeug-PositIonsinformationen (FZPPT, FZPNT), von gespeicherten Referenz-Streckenbildern RSB) und Streckenbild-Metadaten (SBMD) inklusive der Signalzeichenposition sowie von gespeicherten Strecken- und Fahrzeugdaten (SFZD) ein Streckenbildpfad (SBPF) zu bilden, - aus dem Streckenbildpfad unter Heranziehung von gespeicherten Signalzeichendaten und der Strecken- und Fahrzeugdaten ein Bildkorridor (BKO) zu gewinnen, in dem das zu erkennende Signalzeichen erwartet wird oder sich befinden muss, - den Bildkorridor schrittweise zu durchsuchen, wobei bei jedem Schritt für das dazu korrespondierende Bild des Korridors bewertet wird, wie stark jeweils ein für die Bildanalyse zu betrachtender Bildausschnitt in Bezug auf das zu erkennende Signalzeichen von einem bildmäßig bekannten, gespeicherten Signalzeichen (SZ') abweicht, - zu bewerten, welche Bildausschnitte die geringsten Abweichungen enthalten, und gemäß dieser Bildausschnittbewertung das zu erkennende Signalzeichen durch einen konsistenten Vergleich der Signalzeichen (SZ, SZ') zu bestimmen.

Description

Beschreibung
Verfahren und Computer-Programm-Produkt zum Erkennen von Sig nalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge so wie Signalzeichenerkennungssystem und Spurgebundenes Fahr zeug, insbesondere Schienenfahrzeug
Die Erfindung bezieht sich auf ein Verfahren zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge gemäß dem Oberbegriff des Patentanspruches 1, ein Computer- Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrs steuerung spurgebundener Fahrzeuge gemäß dem Oberbegriff des Patentanspruches 8, ein Signalzeichenerkennungssystem gemäß dem Oberbegriff des Patentanspruches 14 und ein Spurgebunde nes Fahrzeug, insbesondere Schienenfahrzeug, gemäß dem Ober begriff des Patentanspruches 26.
Spurgebundene Fahrzeuge sind Bestandteil einer modernen Ver kehrsinfrastruktur als Verkehrs- und Transportmittel, die sich beispielsweise rollend auf oder unter von einer oder zwei Leitschienen (Gleisen) , schwebend über oder unter einem Magnetfeld oder hängend an Stahlseilen fortbewegen. Von den genannten spurgebundenen Verkehrs- und Transportmittel sind Schienenfahrzeuge, die auf einem Rad-Schiene-System basie ren, die entweder einen eigenen Fahrantrieb (Triebwagen) o- der von eine Lokomotive gezogen oder geschoben werden und bei denen überwiegend Stahlräder mit einem Spurkranz auf zwei Stahlschienen bzw. Gleisen geführt werden, am weitesten verbreitet .
Solche Schienenfahrzeuge im Regionalverkehr oder Fernverkehr sind im Gegensatz zu fahrerlosen U-Bahnen und Bahnen zur Verbindung von Flughafen-Terminals darauf angewiesen, dass ein Triebfahrzeugführer Vorsignale und Hauptsignale, wie z.B. Strecken-frei-Zeichen oder Strecken-belegt-Zeichen, auswertet und entsprechende Fahraktionen daraus ableitet. Dadurch kann es allgemein bei fahrergeführten Schienenfahr zeugen zu folgenden Szenarien kommen:
Szenario 1 :
Triebfahrzeugführer sind, wie alle anderen menschlichen Auf gabenträger, gelegentlich unachtsam oder machen Wahrneh mungsfehler und leiten deswegen gegebenenfalls lebensgefähr liche Fahraktionen ein (Beschleunigen des Fahrzeugs) oder unterlassen diese (Unterlassen eines Bremsvorgangs im Fahr zeug) .
Szenario 2 :
Triebfahrzeugführer sind gegebenenfalls nicht immer verfüg bar (z.B. wegen Krankheit, Streik, ungeplantes Mehraufkommen von Fahraufträgen, etc.), so dass Fahrten gegebenenfalls ausfallen müssen.
Das Auftreten dieser geschilderten Szenarien könnte durch eine automatische Signalerkennung behoben werden, die aber bisher an folgenden Problemen scheiterte:
A. Der Zustand von Signalen konnte nicht zuverlässig er
kannt werden, ohne eine Kommunikationseinrichtung zwi schen Strecke bzw. Stellwerk und dem Schienenfahrzeug herzustellen .
B. Abnorme Signale wie z.B. beschädigte Signale oder provi sorische Signale für Baustellen konnten nicht erkannt werden .
C. Relevante Signale konnten nicht zuverlässig von irrele vanten Signalen (z.B. einer Nebenstrecke oder der Gegen richtung) unterschieden werden.
Die aufgeführten Probleme bei der Umsetzung einer automati sierten Signalerkennung und einer entsprechenden Fahrbeein flussung des Schienenfahrzeuges wurden bisher versucht, durch aufwändige Zusatzinvestitionen in die Streckeninfra struktur, wie Induktionsschleifen, Rechner entlang der Stre cke und Kommunikationsanlagen zwischen Zug und Streckenkom- ponenten in den Griff zu kriegen. Entsprechende Lösungen sind daher nur auf Strecken überschaubarer Länge wirtschaft lich, wie zum Beispiel U-Bahnen oder Bahnen zwischen Flugha fenterminals .
Aus der WO 2017/174155 Al ist Verfahren, Vorrichtung und Bahnfahrzeug, insbesondere Schienenfahrzeug, zur Signaler kennung im Bahnverkehr, insbesondere Schienenverkehr be kannt, bei dem/der es, um Signale im Bahnverkehr, wenn Bahn fahrzeuge auf Bahnstrecken im Bahnnetz unterwegs sind, auto matisch zu erkennen, vorgeschlagen wird
- auf Basis (i) von als Referenzdaten gespeicherten, entlang einer Bahnstrecke in einem Bahnnetz in Bezug auf geografi sche Umgebung und Bahnverkehr-Signalsteuerung erfassten ortsbezogenen Referenz-Informationen in Form von Referenz- Ortsinformationen und Referenz-Signalzustandsinformationen, im Erfassungskontext gewonnenen Kontext- und Hinweisinforma tionen und gegebenenfalls zusätzlicher diesbezüglicher Me tainformationen sowie (ii) des Abgleichs von im Signalerken nungsbetrieb anhand von Positionsdaten erfassten Betrieb- Ortsinformationen und Betrieb-Signalzustandsinformationen mit den gespeicherten Referenzdaten - ein Signal und/oder ein Signalzustand zur Steuerung des Bahn verkehrs auf der Bahnstrecke zu erkennen, wobei dies durch Auswertung von Relevanz und Inhalt der Informationen dann der Fall ist, wenn bei dem Abgleich die erfasste Betrieb- Signalzustandsinformation für die Signalerkennung gefunden ist, die in Bezug auf die Betrieb-Ortsinformation und der da zu korrespondierenden Referenz-Ortsinformation zu einer in den Referenzdaten enthaltenen Referenz-Signalzustandsin- formation unter Berücksichtigung der in den Referenzdaten enthaltenen Kontext- und Hinweisinformationen sowie der gege benenfalls zusätzlich vorhandenen Metainformationen korres pondiert .
Für autonom fahrende Schienenfahrzeuge müssen Signalstellun gen (z.B. Halt, Fahrt, Langsam-Fahrt ) und Streckenzeichen au tomatisiert erkannt werden. Dafür werden insbesondere und auch gemäß der aus der der WO 2017/174155 Al bekannten tech nischen Lehre Bilder analysiert, die durch Geräte zur Bildak quise, wie z.B. Kameras jeglicher Art und jegliches Akquirie- rungsprinzips , erzeugt werden.
Dabei ergeben sich folgende Probleme:
I. Das Bild muss relativ zu einer Position ausgewertet wer den, d.h. es muss, je nachdem wo sich das Schienenfahrzeug befindet, eine Signalstellung oder ein Streckenzeichen in un terschiedlicher Entfernung erkannt werden und zusätzlich muss gegebenenfalls beurteilt werden, ob das jeweilige Signal re levant ist, so z.B. ob es für ein anderes Gleis als das be fahrene Gleis gilt
II. Positionierungsinformationen sind ungenau, was die Aus wertung unter Punkt I. erschwert.
III. Die Hardware-Ressourcen für Bildakquise, Bildübertra gung, Bildverarbeitung und Bildspeicherung sind begrenzt.
IV. Abnorme Signale, z.B. aufgrund von Beschädigungen, müssen erkannt werden.
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren und ein Computer-Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge sowie ein Signalzeichenerkennungssystem und ein Spurgebunde nes Fahrzeug, insbesondere Schienenfahrzeug, anzugeben, mit dem auf eine einfache und ressourcenschonende Weise eine si chere Signalzeichenerkennung erreicht werden kann.
Diese Aufgabe wird ausgehend von dem im Oberbegriff des Pa tentanspruchs 1 definierten Signalzeichenerkennungsverfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst. Darüber hinaus wird die Aufgabe ausgehend von dem im Oberbe griff des Patentanspruchs 8 definierten Computer-Programm- Produkt durch die im Kennzeichen des Patentanspruches 8 ange gebenen Merkmale gelöst.
Außerdem wird diese Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 14 definierten Signalzeichenerkennungs system durch die im Kennzeichen des Patentanspruches 14 ange gebenen Merkmale gelöst.
Weiterhin wird die Aufgabe ausgehend von dem im Oberbegriff des Patentanspruchs 26 definierten Spurgebundenen Fahrzeug durch die im Kennzeichen des Patentanspruches 26 angegebenen Merkmale gelöst.
Die der Erfindung gemäß den unabhängigen Ansprüchen 1, 8, 14 und 26 zugrunde liegenden Idee besteht darin, dass für eine Bildberechnung/Bildanalyse-basierte Erkennung eines Signal zeichens, das sich an einer Signalzeichenposition entlang ei ner Fahrstrecke eines spurgebundenen Fahrzeugs befindet, ins besondere wenn dieses auf der Fahrstrecke automatisiert fah ren soll,
- zumindest auf der Basis eines von einem Signalzeichenerwar tungsfahrstreckenbereich, an einer Fahrzeugposition akqui rierten Streckenbildes, von Fahrzeug-Positionsinformationen, von gespeicherten Referenz-Streckenbildern und Streckenbild- Metadaten inklusive der Signalzeichenposition sowie von ge speicherten Strecken- und Fahrzeugdaten ein Streckenbildpfad gebildet wird,
- aus dem Streckenbildpfad unter Heranziehung von gespeicher ten Signalzeichendaten und der Strecken- und Fahrzeugdaten ein Bildkorridor, z.B. durch Berechnung oder Vermessung, ge wonnen wird, in dem das zu erkennende Signalzeichen erwartet wird oder sich befinden muss,
- der Bildkorridor schrittweise durchsucht wird, wobei bei jedem Schritt für das dazu korrespondierende Bild des Korri dors bewertet wird, wie stark jeweils ein für die Bildanalyse zu betrachtender Bildausschnitt in Bezug auf das zu erkennen- de Signalzeichen von einem bildmäßig bekannten, gespeicherten Signalzeichen abweicht,
- bewertet wird, welche Bildausschnitte die geringsten Abwei chungen enthalten, und gemäß dieser Bildausschnittbewertung das zu erkennende Signalzeichen durch einen konsistenten Ver gleich der Signalzeichen bestimmt wird.
Darüber hinaus ist es bei dem gegebenen Aufwand für die er findungsgemäße Signalzeichenerkennung nützlich und auch zweckmäßig für die Weiterentwicklung für den Personen- und Güterverkehr mit spurgebundenen Fahrzeugen, wenn das im Zuge der Bildberechnung/Bildanalyse bestimmte Signalzeichen zur Unterstützung oder Umsetzung von Autonomen/Automatisierten Fahren an ein Autonomes/Automatisiertes Fahrsystem weiterge geben wird (Ansprüche 2, 9 und 17) .
In diesem Fall ist es jedoch aus Sicherheitsaspekten nicht nur von Vorteil, sondern auch geboten, das im Zuge der Bild berechnung/Bildanalyse bestimmte Signalzeichen bei einem in konsistenten Signalzeichenvergleich zu checken, um eine si chere konsistente Entscheidung bezüglich des zu erkennenden Signalzeichens an das Autonome/Automatisierte Fahrsystem zu übergeben (Ansprüche 7, 13 und 18) .
Ferner ist es für eine effiziente Signalzeichenerkennung zweckmäßig und vorteilhaft, wenn bei der Bildausschnittbewer tung eine Gewichtung vorgenommen wird, um den Signalzeichen vergleich zu priorisieren (Ansprüche 3, 10 und 19) .
Außerdem ist es von Vorteil, um eine relative Veränderung in den Bildausschnitten berücksichtigen zu können, dass die Bildausschnitte iterativ bewertet werden, indem die Bildbe rechnung/Bildanalyse mehrfach, vorzugsweise in 200ms Zeitab ständen bei gegebener Fahrzeuggeschwindigkeit ausgehend von der Fahrzeugposition für dazu korrespondierende, unterschied liche und kleiner werdende Abstände zur Signalzeichenpositi on, durchgeführt wird (Ansprüche 4, 11 und 20) . Ferner ist es für eine effiziente Signalzeichenerkennung zweckmäßig und vorteilhaft, wenn der Streckenbildpfad und der Bildkorridor durch eine semi-manuelle Analyse von, insbeson dere auf Erprobungsfahrten entlang der Fahrstrecke, erfassten und mit Positionsdaten korrelierten Signalzeichen- Bildmaterials gewonnen werden (Ansprüche 5 und 22) und der Bildkorridor darüber hinaus durch Vermessen oder Berechnen gewonnen wird (Ansprüche 6, 12 und 22) .
Durch den erfindungsgemäßen, intelligenten Abgleich von Posi- tions- und Streckenbilddaten - wie vorstehend skizziert, in dem nachfolgenden Ausführungsbeispiel beschrieben und in den Patentansprüchen angegeben - kann erreicht werden, dass:
- Signalzeichen entlang von Fahrstrecken spurgebundener Fahr zeuge ohne aufwändige Infrastrukturinvestitionen zuverlässig und automatisch erkannt werden;
- auch abnorme Signale, z.B. aufgrund von Vandalismus automa tisch verarbeitet werden können;
- die für das betreffende Fahrzeug relevanten Signalzeichen von den irrelevanten Signalzeichen unterschieden werden kön nen;
- Signalzeichen bei ungünstigen Sichtbedingungen zuverlässi ger erkannt werden können als durch Triebfahrzeugführer;
- Triebfahrzeugführer nicht mehr zum Fahren benötigt werden, so dass unabhängig von deren Verfügbarkeit gefahren werden kann;
- das Verfahren auch bei ungenauer Positionierung funktio niert ;
- das Verfahren mit begrenzten Hardware-Ressourcen zur Bild akquise/Bildübertragung/Bildverarbeitung/Bildspeicherung aus kommt .
Weitere Vorteile der Erfindung ergeben sich aus der nachfol genden Beschreibung eines Ausführungsbeispiels der Erfindung anhand der FIGUREN 1 bis 4. Diese zeigen:
FIGUR 1 Signalzeichenerkennung eines zur Verkehrssteuerung eines spurgebundenen Fahrzeugs, insbesondere eines Schienenfahrzeugs, im Fährbetrieb entlang einer Fahrstrecke des spurgebundenen Fahrzeugs an einer Signalzeichenposition befindlichen Signalzeichens;
FIGUR 2 einen prinzipiellen Aufbau eines Signalzeichener kennungssystem für die gemäß der FIGUR 1 fahrzeug- und fahrbetriebsbasierte Signalzeichenerkennung;
FIGUR 3 die Gewinnung von Streckenbildpfad und Bildkorridor für eine Geradeaus-Fahrt des spurgebundenen Fahr zeugs ;
FIGUR 4 die Gewinnung von Streckenbildpfad und Bildkorridor für eine Linkskurven-Fahrt des spurgebundenen Fahr zeugs .
FIGUR 1 zeigt die Signalzeichenerkennung eines zur Verkehrs steuerung eines Schienenfahrzeugs SFZ als spurgebundenes Fahrzeugs FZ im Fährbetrieb entlang einer Fahrstrecke FST des spurgebundenen Fahrzeugs FZ, SFZ an einer Signalzeichenposi tion SZP befindlichen Signalzeichens, bei der auf eine einfa che und ressourcenschonende Weise eine sichere Signalzeichen erkennung erreicht werden kann.
Das Schienenfahrzeug SFZ, FZ - dargestellt ist in der FIGUR 1 ein Triebwagen TRW, der sich auf der Fahrstrecke FST, vor zugsweise automatisiert gemäß einer Skala von Fahrerassisten zunterstützung, über Teilautomatisierung, weiter über Beding te Automatisierung und Hochautomatisierung bis hin zur Voll automatisierung, bewegt - enthält für die Signalzeichenerken nung ein Signalzeichenerkennungssystem SZES, das sich in ei nem Triebführerstand TFS mit einer integrierte Anzeigeein richtung AZE für einen Fahrzeugführer FZF angeordnet ist.
Ausgehend von einer mittels satellitengestützter Positionsbe stimmungsmethoden, wie z.B. GPS, GALILEO oder GLONASS, anhand von GPS-, GALILEO- und GLONASS-Koordinaten bestimmten, zu der Signalzeichenposition SZP beanstandeten Fahrzeugposition FZP wird mit einer Bildakquise-Einheit BAE zum Erfassen von Bil dern des Signalzeichenerkennungssystems SZES aus der Fahr zeugperspektive, die im Wesentlichen der Perspektive des Fahrzeugführers FZF entspricht, von einem Signalzeichenerwar- tungsfahrstreckenbereich
- d.h. einem Bereich der Fahrstrecke FST, in dem das Signal zeichen SZ an einer Signalzeichenposition SZP sein kann, er wartet wird - ein Primär-Streckenbild P-SB akquiriert.
Die satellitengestützte Bestimmung der Fahrzeugposition FZP ist jedoch toleranzbehaftet, so dass es zu der Fahrzeugposi tion FZP eine Positiv-Toleranz-Fahrzeugposition FZPP und ei ne Negativ-Toleranz-Fahrzeugposition FZPN gibt. Will heißen, wenn Positionen satellitengestützt mit einer Ungenauigkeit von z.B. 20 Meter bestimmt werden und die Fahrzeugposition FZP z.B. mit einem Abstand von 40 Meter zur Signalzeichenpo sition SZP des Signalzeichens SZ bestimmt wird, dann befinden sich bei gleichmäßiger Verteilung des toleranzbehafteten Wer tes von 20m vor und nach der Fahrzeugposition die Positiv- Toleranz-Fahrzeugposition FZPP in einem Abstand von 50 Meter und die Negativ-Toleranz-Fahrzeugposition FZPN in einem Ab stand von 30 Meter zur Signalzeichenposition SZP des Signal zeichens SZ.
Die Bildakquise-Einheit BAE des Signalzeichenerkennungssys tems SZES kann dabei ein beliebiges Gerät zur Akquirierung und/oder Aufzeichnung von Einzel- oder Mehrfachbildern (Vi deos) sein, wie z.B. eine Bild- oder Videokamera, eine La sersensor, eine Wärmebildkamera, eine Infrarotkamera oder ei ne Radar-Einrichtung.
FIGUR 2 zeigt einen prinzipiellen Aufbau des Signalzeichener kennungssystems SZES für die gemäß der FIGUR 1 fahrzeug- und fahrbetriebsbasierte Signalzeichenerkennung des Signalzei chens SZ. Das Signalzeichenerkennungssystem SZES enthält dazu neben der bereits im Zusammenhang mit der Beschreibung der FIGUR 1 erwähnten Bildakquise-Einheit BAE zum Erfassen von Bildern eine Positionsakquise-Einheit PAE zur Akquirierung von Fahrzeugpositionen und eine Steuereinheit STE.
Die Positionsakquise-Einheit PAE ist die Einheit des Signal zeichenerkennungssystems SZES, die satellitengestützt anhand der GPS-, GALILEO- und GLONASS-Koordinaten die Fahrzeugposi tion FZP bestimmt.
Die Steuereinheit STE wiederum enthält ein Computer-Programm- Produkt CPP zur Signalzeichenerkennung, das einen nicht flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines die Signalzeichenerkennung durch führenden Programm-Moduls PGM gespeichert sind, und einen mit dem Speicher SP verbundenen Prozessor PZ, der die Steuerpro grammbefehle des Programm-Moduls PGM zur Signalzeichenerken nung ausführt, aufweist.
Zum verbesserten und optimierten Erfassen von Bildern enthält die Bildakquise-Einheit BAE eine Korrekturkomponente KOK, die in die Auswertung des erfassten Bildmaterials Wetter- und Helligkeitsdaten mit einbezieht, eine Brennweiteveränderungs komponente BVK, die in Abhängigkeit vom Abstand zu dem Sig nalzeichen SZ den richtigen Aufnahmewinkel wählt, um so die mehrfache Auswertung des Signalzeichens SZ optimal zu unter stützen, und eine Beleuchtungskomponente BLK, die vorzugswei se als Scheinwerfer ausgebildet ist und die inner- oder au ßerhalb des menschlich sichtbaren Bereichs arbeitet.
Die Bildakquise-Einheit BAE ist zudem in vorteilhafter Weise schwenkbar ausgebildet, um den Winkel der Bildakquise-Einheit BAE zur Markierung MK, SZ ausgleichen zu können. Im Hinblick auf die Sicherheitsrelevanz der Bildakquise-Einheit BAE soll te diese redundant vorhanden sein, um bei Beschädigung, Aus fall oder Verschmutzung den Betrieb zumindest eingeschränkt zu ermöglichen. Zudem wäre es denkbar zwei oder mehrere die ser Bildakquise-Einheiten BAE parallel arbeiten zu lassen, um die Konfidenz der gewonnen Daten zu erhöhen. Die Positionsakquise-Einheit PAE, die Bildakquise-Einheit BAE und die das Computer-Programm-Produkt CPP zur Signalzeichen erkennung enthaltende Steuereinheit STE bilden eine gemeinsa me Funktionseinheit für eine Bildberechnung/Bildanalyse basierte Erkennung des Signalzeichens SZ mittels Kombination aus Bildberechnung und Bildanalyse. Diese Funktionseinheit ist derart ausgebildet, dass in der Bildakquise-Einheit BAE gemäß der Darstellung in der FIGUR 1 und wie bei deren Be schreibung schon erwähnt an der zu der Signalzeichenposition SZP des Signalzeichens SZ beabstandeten Fahrzeugposition FZP, aus der Fahrzeugperspektive das Primär-Streckenbild P-SB von dem Signalzeichenerwartungsfahrstreckenbereich akquiriert wird .
Weiterhin ist die Funktionseinheit derart ausgebildet, dass in der Steuereinheit STE bzw. in dem Prozessor PZ des Compu- ter-Programm-Produkts CPP
- entweder auf der Basis des von der Bildakquise-Einheit BAE erhaltenen Primär-Streckenbildes P-SB, der von der Positions- akquise-Einheit PAE erhaltenen Fahrzeugposition FZP, von in einer ersten Datenbank DB1 gespeicherten und von dieser er haltenen Referenz-Streckenbildern RSB und Streckenbild- Metadaten SBMD inklusive der Signalzeichenposition SZP sowie von in einer zweiten Datenbank DB2 gespeicherten und von die ser erhaltenen Strecken- und Fahrzeugdaten SFZD oder
auf der Basis des von der Bildakquise-Einheit BAE erhaltenen Primär-Streckenbildes P-SB, der von der Positionsakquise- Einheit PAE erhaltenen Fahrzeugposition FZP, von in einer ersten Datenbank DB1 gespeicherten und von dieser erhaltenen Referenz-Streckenbildern RSB, Streckenbild-Metadaten SBMD in klusive der Signalzeichenposition SZP, Bildpfaddaten BPFD und Bildkorridordaten BKOD sowie von in einer zweiten Datenbank DB2 gespeicherten und von dieser erhaltenen Strecken- und Fahrzeugdaten SFZD - zu der Positiv-Toleranz-Fahrzeugposition FZPP in der FIGUR 1 ein erstes Sekundär-Streckenbild S-SB1 und zu der Negativ- Toleranz-Fahrzeugposition FZPN in der FIGUR 1 ein zweites Sekundär-Streckenbild S-SB2 gebildet werden, wobei das Pri- mär-Streckenbild P-SB und die beiden Sekundär-Streckenbilder S-SB1, S-SB2 einen Streckenbildpfad SBPF bilden. Die Bildung des ersten Sekundär-Streckenbild S-SB1 und zweiten Sekundär- Streckenbild S-SB2 erfolgt vorzugsweise mittels Bildberech nung .
Die Streckenbild-Metadaten SBMD weisen dabei vorzugsweise für den Vergleich zwischen den Referenz-Streckenbildern und dem Primär-Streckenbild S-PB bzw. dem daraus jeweils berechneten Sekundär-Streckenbild S-SB1, S-SB2 der bei der zur Signalzei chenerkennung durchgeführten Kombination aus Bildberechnung und Bildanalyse durch einen Experten markiertes und bewerte tes Bildmaterial inklusive Bildpfad und Bildkorridor mit ge gebenenfalls weiteren Metadaten und Kalibrierungsbildern auf, um das Signalzeichen SZ erkennen zu können. Dabei wird die Markierung der Experten verwendet, um den relevanten Bildaus schnitt möglichst genau festzulegen und auch zwischen rele vanten und irrelevanten Signalzeichen (z.B. einer Nebenstre cke) unterscheiden zu können.
Gegebenenfalls können Expertenmarkierungen auch durch Stan dardangaben ersetzt werden, z.B. Standardangaben zu einem so genannten Vorsignalzeichen.
Bei der in der Steuereinheit STE bzw. in dem Prozessor PZ durchgeführten Kombination aus Bildberechnung und Bildanalyse werden eventuell auftretende Verzerrungen des Primär- Streckenbildes P-SB, falls die gespeicherte Referenz- Streckenbilder RSB nicht exakt an der gleichen Stelle aufge nommen wurden wie das im Fährbetrieb aufgenommenen Strecken bild SB durch Positionsausgleich berücksichtigt.
Für die in der Steuereinheit STE bzw. in dem Prozessor PZ durchgeführte Kombination aus Bildberechnung und Bildanalyse greift die Steuereinheit STE bzw. der Prozessor PZ auf die erste Datenbank DB1 und/oder die zweite Datenbank DB2 zu. Die erste Datenbank DB1 und/oder die zweite Datenbank DB2 sind entweder Bestandteil des Positionsbestimmungssystems PBS (Op- tion "A" für DB1 bzw. Option "C" für DB2) oder dem Positions bestimmungssystem PBS für diese Zugriffe zugeordnet (Option "B" für DB1 bzw. Option "D" für DB2) .
Die erste Datenbank DB1 enthält die Referenz-Streckenbilder RSB inklusive eventueller Kalibrierungsbilder, die Strecken bild-Metadaten SBMD, wie z.B. bezüglich der Streckenbilder die genaue Position deren Aufnahme inklusive Informationen über die Fahrstrecke bzw. das Gleis, gegebenenfalls den Win kel der Aufnahme und die Signalzeichendaten SZD inklusive Me tadaten wie z.B. den Typ des Signalzeichens. Diese Daten kön nen vorzugsweise wie folgt erfasst werden:
Zunächst statisch in Erprobungsfahrten oder durch gezielte Aufnahmen durch Aufnahmepersonal. Und danach in einer Erwei terung dynamisch, bei der das Bildmaterial in der ersten Da tenbank DB1 regelmäßig durch die während der Fahrten neu auf genommenen Streckenbilder SB ergänzt wird.
Die zweite Datenbank DB2 enthält die Strecken- und Fahrzeug daten SFZD, die z.B. die genauen Daten über die Fahrstrecke FST, z.B. die genaue Position des Gleises, die Position der des Signalzeichens SZ, SZ ' die Montageposition der Positions- akquise-Einheit PAE bzw. des GPS/GALILEO-/GLONASS-Empfängers , die Montagepositionen und Auflösungen der Bildakquise-Einheit BAE etc. in dem Fahrzeug FZ, SFZ umfassen.
Außerdem ist die Funktionseinheit derart ausgebildet, dass in der Steuereinheit STE bzw. in dem Prozessor PZ des Computer- Programm-Produkts CPP
aus dem Streckenbildpfad SBPF unter Heranziehung von in der ersten Datenbank DB1 gespeicherten und von dieser erhaltenen Signalzeichendaten SZD und von den in der zweiten Datenbank DB2 gespeicherten und von dieser erhaltenen Strecken- und Fahrzeugdaten SFZD ein Bildkorridor BKO gewonnen wird, in dem das zu erkennende Signalzeichen SZ zu erwarten ist oder sich befindet. Der Bildkorridor BKO wird dazu vorzugsweise durch Vermessen oder Berechnen gewonnen. FIGUR 3 zeigt für eine Geradeaus-Fahrt des spurgebundenen Fahrzeugs FZ, SFZ die, vorzugsweise durch Bildberechnung, Bildung des Streckenbildpfads SBPF mit dem akquirierten Pri- mär-Streckenbild P-SB zu der Fahrzeugposition FZP, z.B. im Abstand von 40m zur Signalzeichenposition SZP, mit dem, vor zugsweise durch Bildberechnung, gebildeten ersten Sekundär- Streckenbild S-SB1 zu der Positiv-Toleranz-Fahrzeugposition FZPPT, z.B. im Abstand von 50m zur Signalzeichenposition SZP und mit dem, vorzugsweise auch durch Bildberechnung, gebilde ten zweiten Sekundär-Streckenbild S-SB2 zu der Negativ- Toleranz-Fahrzeugposition FZPN , z.B. im Abstand von 30m zur Signalzeichenposition SZP sowie die, vorzugsweise durch Vermessung oder Bildberechnung, Gewinnung des Bildkorridors BKO aus dem Streckenbildpfads SBPF. Die gestrichelte Diagona le in dem jeweiligen Streckenbild ist lediglich eine Hilfsli nie ohne jegliche erfindungsrelevante Bedeutung.
FIGUR 4 zeigt für eine Linkskurven-Fahrt des spurgebundenen Fahrzeugs FZ, SFZ die, vorzugsweise durch Bildberechnung, Bildung des Streckenbildpfads SBPF mit dem akquirierten Pri- mär-Streckenbild P-SB zu der Fahrzeugposition FZP, z.B. im Abstand von 40m zur Signalzeichenposition SZP, mit dem, vor zugsweise durch Bildberechnung, gebildeten ersten Sekundär- Streckenbild S-SB1 zu der Positiv-Toleranz-Fahrzeugposition FZPPT, z.B. im Abstand von 50m zur Signalzeichenposition SZP und mit dem, vorzugsweise auch durch Bildberechnung, gebilde ten zweiten Sekundär-Streckenbild S-SB2 zu der Negativ- Toleranz-Fahrzeugposition FZPN , z.B. im Abstand von 30m zur Signalzeichenposition SZP sowie die, vorzugsweise durch Vermessung oder Bildberechnung, Gewinnung des Bildkorridors BKO aus dem Streckenbildpfads SBPF. Die gestrichelte Diagona le in dem jeweiligen Streckenbild ist auch hier wieder ledig lich eine Hilfslinie ohne jegliche erfindungsrelevante Bedeu tung .
Die Bildung/Gewinnung des Streckenbildpfads SBPF und des Bildkorridors BKO kann bevorzugt durch eine semi-manuelle Analyse von, insbesondere auf Erprobungsfahrten entlang der Fahrstrecke FST, erfassten und mit Positionsdaten korrelier ten Signalzeichen-Bildmaterials durchgeführt werden.
Falls Pfad-Korridore durch semi-manuelle Analyse vorhandenen Bildmaterials gewonnen werden sollen, so werden auf Erpro bungsfahrten oder durch andere geeignete Verfahren Bilder von Signalzeichen entlang der Strecke, auf den spurgebundene Fahrzeuge z.B. automatisiert fahren sollen, erfasst und mit Positionsdaten korreliert.
Danach kann man durch semi-manuelle Verfahren die Positionen der Signalzeichen erfassen markieren und damit die Bildpfade bestimmen .
Alternativ können die Daten für den Bildkorridor - wie be reits erwähnt - auch durch Vermessung oder Berechnung gewon nen werden.
Schließlich sollte man berücksichtigen, dass man die Bildpfa de und Bildkorridore für mehrere Bildakquise-Einheit bzw. Ka meras im gleichen Fahrzeug natürlich umrechnen könnte und dass natürlich diese Bildpfade für unterschiedliche Bildak quise-Einheit bzw. Kameras in anderen unterschiedlichen Fahr zeugen (z.B. einer anderen Flotte) umgerechnet werden könn ten .
Darüber hinaus ist die Funktionseinheit derart ausgebildet, dass in der Steuereinheit STE bzw. in dem Prozessor PZ des Computer-Programm-Produkts CPP
bewertet wird, welche Bildausschnitte die geringsten Abwei chungen enthalten, und gemäß dieser Bildausschnittbewertung das zu erkennende Signalzeichen SZ durch einen konsistenten Vergleich der Signalzeichen SZ, SZ ' bestimmt wird.
Das in den FIGUREN 1 bis 4 skizzierte Ausführungsbeispiel der Erfindung lässt sich mit anderen wie folgt beschreiben: a. Zunächst wird durch eine satellitengestützte Positionsbe stimmung (z.B. häufig durch GPS-Koordinaten) die ungefähre Position des spurgebundenen Fahrzeugs bestimmt, d.h. bis auf mehrere 10m genau. b. Auf Basis dieser Position wird ein Bildpfad und ein Bild korridor bestimmt, auf dem sich ein zu erkennendes Signalzei chen befinden muss. Dazu wird eine aktuell satellitengestützt gemessene oder bestimmte Fahrzeugposition als Ausgangspunkt genommen (z.B. 40m vor dem Signalzeichen) und dann abhängig von einer angenommenen Ungenauigkeit (z.B. 20m) diese Unge nauigkeit vor und nach der Fahrzeugposition verteilt.
Damit ergibt sich dann ein Bildpfad, der einer Entfernung von 40+10m bis 40-10m, d.h. von 50m bis 30m, vor dem Signalzei chen entspricht. c. Anschließend wird auf Basis der (als bekannt) angenommenen Größe des Signalzeichens aus dem Bildpfad der Bildkorridor berechnet. Dabei kann insbesondere auch Vibration und unge naue Montage der Kamera berücksichtigt werden, indem der Bildkorridor größer gewählt wird als das Signalzeichen tat sächlich ist. In der Regel wird "l,2-2"-mal größeres Signal zeichen gewählt. d. Dann wird dieser Bildkorridor schrittweise durchsucht, d.h. erste Signalposition mit einer gemessenen Entfernung von 50m vor der Signalanlage, dann nächste mögliche Signalpositi on mit einer Verschiebung von z.B. 5 Pixel (den Pixelwert kann man natürlich parametrieren) in Richtung 30m vor dem Signalzeichen usw. e. Dann wird für diese einzelnen Bilder des Korridors bewer tet wie weit der jeweils aktuelle Bildausschnitt von bekann ten Signalstellungen (z.B. Halt, Fahrt, Langsam-Fahrt- Signalzeichen) abweicht. Dazu können unterschiedliche Algorithmen benutzt werden, z.B. Vorkommen von Grünlichthäufungen für ein grünes Signal, rela tive Positionierung von Lichthäufungen bei Signalstellung mit mehr als einem Licht, 1 : 1-Bildvergleich etc. f. Dann wird bewertet, welche Bildausschnitte die geringsten Abweichungen enthalten und für diese dann bestimmt, mit wel chem bekannten Signalzeichen sie übereinstimmen.
Ferner ist die Funktionseinheit derart ausgebildet, dass in der Steuereinheit STE bzw. in dem Prozessor PZ des Computer- Programm-Produkts CPP
bei der Bildausschnittbewertung eine Gewichtung vorgenommen wird, um den Signalzeichenvergleich zu priorisieren .
So ist es sinnvoll, dass der zur aktuell gemessenen Position korrespondierende Bildausschnitt ein höheres Gewicht bekommt, als die Bildausschnitte am Rand des Bildkorridors.
Eine derartige Priorisierung kann bevorzugt dadurch erreicht werden, dass die Bildausschnitte in dem Bildkorridor iterativ bewertet werden, indem die Bildberechnung/Bildanalyse mehr fach, vorzugsweise in 200ms Zeitabständen bei gegebener Fahr zeuggeschwindigkeit ausgehend von der Fahrzeugposition FZP für dazu korrespondierende, unterschiedliche und kleiner wer dende Abstände zur Signalzeichenposition SZP, durchgeführt wird .
Dadurch kann insbesondere die relative Veränderung berück sichtigt werden.
Dies betrifft zum einen inhaltlich mögliche Signalzeichenän derungen. z.B. kein direkter Übergang von "Rot" nach "Grün" und andererseits aber auch eine sinnvollerweise, mögliche Än derung des Bildausschnitts zur Fahrzeuggeschwindigkeit.
Steht z.B. das spurgebundene Fahrzeug, so darf sich ein Sig nalzeichen in aufeinanderfolgenden Berechnung-/Analyseschrit- ten nicht bewegen; d.h. das Signalzeichen müsste sich an der gleichen Stelle, z.B. in einem Abstand von 34m vor der Sig nalzeichenposition SZP befinden.
Bewegt sich aber das Fahrzeug FZ, SFZ mit v=10m/s und man macht die Bildberechnung/Bildanalyse alle 200ms und man er kennt das Signalzeichen in der ersten Runde bei einem Abstand 34m vor der Signalzeichenposition SZP dann muss das Signal zeichen in der nächsten Runde 10m/s*0, 2s=2m also bei einem Abstand von 32m vor der Signalzeichenposition SZP gefunden werden .
Ist das nicht der Fall, so könnte es sich um das Rücklicht eines vorausfahrenden Fahrzeugs handeln. Auf diese Art und Weise passiert eine Gewichtung bei der Signalzeichenerken nung. Die auf diese Art und Weise vorgenommene Signalzeichen erkennung liefert die Gewichtung. Dazu ist natürlich die Be stimmung der Fahrzeuggeschwindigkeit notwendig, die entweder als gegeben angenommen wird oder aber typischer und geläufi ger Weise mittels der Positionsakquise-Einheit PAE zur Akqui- rierung von Fahrzeugpositionen gewonnen werden kann.
Abschließend ist die Funktionseinheit in vorteilhafter Weise noch derart ausgebildet, dass die Steuereinheit STE bzw. der Prozessor PZ des das Computer-Programm-Produkts CPP
die im Zuge der Kombination aus Bildberechnung und Bildanaly se bestimmte Signalzeichens SZ zur Unterstützung oder Umset zung von Autonomen/Automatisierten Fahren an ein Autono mes/Automatisiertes Fahrsystem AFS weitergegeben wird.
Dabei ist die Steuereinheit STE bzw. der Prozessor PZ noch zusätzlich derart ausgebildet, dass die im Zuge der Kombina tion aus Bildberechnung und Bildanalyse bestimmte Fahrzeugpo sition FZP bei einem inkonsistenten Signalzeichenvergleich gecheckt wird, um eine sichere konsistente Entscheidung be züglich des zu erkennenden Signalzeichens SZ an das Autono me/Automatisierte Fahrsystem AFS zu übergeben. Solche Sicherheitschecks sind zweckmäßig, angebracht und sinnvoll, weil es durchaus sein könnte, dass ein Rücklicht eines vorausfahrenden Fahrzeugs mit einem zu erkennenden ro ten Signalzeichen verwechselt werden kann. In diesem Fall kann zu Sicherheitszwecken "Halt" als Ergebnis ausgegeben werden, um auf der sicheren Seite zu bleiben.
Das Autonome/Automatisierte Fahrsystem AFS ist dabei, wenn, wie in der FIGUR 1 dargestellt, sich der Triebwagen TRW des spurgebundenen Fahrzeugs FZ, SFZ auf der Fahrstrecke FST au tomatisiert bewegt, wie das Signalzeichenerkennungssystem SZES in dem Triebführerstand TFS des spurgebundenen Fahrzeugs FZ, SFZ angeordnet.

Claims

Patentansprüche
1. Verfahren zum Erkennen von Signalzeichen zur Verkehrssteu erung eines spurgebundenen Fahrzeugs (FZ), insbesondere eines Schienenfahrzeugs (SFZ), bei dem ein entlang einer Fahrstre cke (FST) des spurgebundenen Fahrzeugs (FZ, SFZ), insbesonde re wenn dieses auf der Fahrstrecke (FST) automatisiert fahren soll, an einer Signalzeichenposition (SZP) befindliches, zu erkennendes Signalzeichen (SZ) durch eine Bildanalyse erkannt wird,
dadurch gekennzeichnet, dass
für eine Bildberechnung/Bildanalyse-basierte Erkennung des Signalzeichens (SZ)
a) an einer zu der Signalzeichenposition (SZP) beabstandeten, toleranzbehafteten, insbesondere satellitengestützt bestimm ten, Fahrzeugposition (FZP), aus der Fahrzeugperspektive ein Primär-Streckenbild (P-SB) von einem Signalzeichenerwartungs fahrstreckenbereich - d.h. einem Bereich der Fahrstrecke (FST), in dem das Signalzeichen (SZ) erwartet wird - akqui riert wird,
b) auf der Basis des Primär-Streckenbildes (P-SB) , der Fahr zeugposition (FZP), von gespeicherten Referenz-Streckenbil dern (RSB) und Streckenbild-Metadaten (SBMD) inklusive der Signalzeichenposition (SZP) sowie von gespeicherten Strecken- und Fahrzeugdaten (SFZD) oder
auf der Basis des Primär-Streckenbildes (P-SB) , der Fahrzeug position (FZP), von gespeicherten Referenz-Streckenbildern (RSB) , Streckenbild-Metadaten (SBMD) inklusive der Signalzei chenposition (SZP) , Bildpfaddaten (BPFD) und Bildkorridorda ten (BKOD) sowie von gespeicherten Strecken- und Fahrzeugda ten (SFZD),
zu einer Positiv-Toleranz-Fahrzeugposition (FZPP ) ein erstes Sekundär-Streckenbild (S-SB1) und zu einer Negativ-Toleranz- Fahrzeugposition (FZPN ) ein zweites Sekundär-Streckenbild (S-SB2) gebildet werden, wobei das Primär-Streckenbild (P-SB) und die beiden Sekundär-Streckenbilder (S-SB1, S-SB2) einen Streckenbildpfad (SBPF) bilden, c) aus dem Streckenbildpfad (SBPF) unter Heranziehung von ge speicherten Signalzeichendaten (SZD) und der Strecken- und Fahrzeugdaten (SFZD) ein Bildkorridor (BKO) gewonnen wird, in dem das zu erkennende Signalzeichen (SZ) erwartet wird oder sich befinden muss,
d) der Bildkorridor (BKO) schrittweise durchsucht wird, wobei bei jedem Schritt für das dazu korrespondierende Bild des Korridors bewertet wird, wie stark jeweils ein für die Bilda nalyse zu betrachtender Bildausschnitt in Bezug auf das zu erkennende Signalzeichen (SZ) von einem bildmäßig bekannten, gespeicherten Signalzeichen (SZ') abweicht,
e) bewertet wird, welche Bildausschnitte die geringsten Ab weichungen enthalten, und gemäß dieser Bildausschnittbewer tung das zu erkennende Signalzeichen (SZ) durch einen konsis tenten Vergleich der Signalzeichen (SZ, SZ') bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass
das im Zuge der Bildberechnung/Bildanalyse bestimmte Signal zeichen (SZ) zur Unterstützung oder Umsetzung von Autono men/Automatisierten Fahren an ein Autonomes/Automatisiertes Fahrsystem (AFS) weitergegeben wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekenn zeichnet, dass
bei der Bildausschnittbewertung eine Gewichtung vorgenommen wird, um den Signalzeichenvergleich zu priorisieren .
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekenn zeichnet, dass
die Bildausschnitte iterativ bewertet werden, indem die Bild berechnung/Bildanalyse mehrfach, vorzugsweise in 200ms Zeit abständen bei gegebener Fahrzeuggeschwindigkeit ausgehend von der Fahrzeugposition (FZP) für dazu korrespondierende, unter schiedliche und kleiner werdende Abstände zur Signalzeichen position (SZP) , durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass
der Streckenbildpfad (SBPF) und der Bildkorridor (BKO) durch eine semi-manuelle Analyse von, insbesondere auf Erprobungs fahrten entlang der Fahrstrecke (FST), erfassten und mit Po sitionsdaten korrelierten Signalzeichen-Bildmaterials gewon nen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass
der Bildkorridor (BKO) durch Vermessen oder Berechnen gewon nen wird.
7. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass
das im Zuge der Bildberechnung/Bildanalyse bestimmte Signal zeichen (SZ) bei einem inkonsistenten Signalzeichenvergleich gecheckt wird, um eine sichere konsistente Entscheidung be züglich des zu erkennenden Signalzeichens (SZ) an das Autono me/Automatisierte Fahrsystem (AFS) zu übergeben.
8. Computer-Programm-Produkt (CPP) zum Erkennen von Signal zeichen zur Verkehrssteuerung spurgebundener Fahrzeug (FZ), insbesondere Schienenfahrzeuge (SFZ), mit einem nicht
flüchtigen, lesbaren Speicher (SP) , in dem prozessorlesbare Steuerprogrammbefehle eines die Signalzeichenerkennung durch führenden Programm-Moduls (PGM) gespeichert sind, und ein mit dem Speicher (SP) verbundener Prozessor (PZ), der die Steuer programmbefehle des Programm-Moduls (PGM) zur Signalzeichen erkennung ausführt und dabei ein entlang einer Fahrstrecke (FST) eines spurgebundenen Fahrzeugs (FZ, SFZ), insbesondere wenn dieses auf der Fahrstrecke (FST) automatisiert fahren soll, an einer Signalzeichenposition (SZP) befindliches, zu erkennendes Signalzeichen (SZ) durch eine Bildanalyse erkannt wird,
dadurch gekennzeichnet, dass
der Prozessor (PZ) und das Programm-Modul (PGM) für eine Bildberechnung/Bildanalyse-basierte SignalZeichenerkennung derart ausgebildet sind und der Prozessor (PZ) die Steuerpro grammbefehle des Programm-Moduls (PGM) hierfür derart aus führt, dass
a) auf der Basis eines an einer zu der Signalzeichenposition (SZP) beabstandeten Fahrzeugposition (FZP), aus der Fahrzeug perspektive von einem Signalzeichenerwartungsfahrstreckenbe reich - d.h. einem Bereich der Fahrstrecke (FST), in dem das Signalzeichen (SZ) zu erwartet ist - akquirierten, dem Pro zessor (PZ) zugeführten Primär-Streckenbildes (P-SB) sowie zusätzlich auf der Basis
entweder von gespeicherten Referenz-Streckenbildern (RSB) und Streckenbild-Metadaten (SBMD) inklusive der Signalzeichenpo sition (SZP) sowie von gespeicherten Strecken- und Fahrzeug daten (SFZD) oder
von gespeicherten Referenz-Streckenbildern (RSB) , Strecken bild-Metadaten (SBMD) inklusive der Signalzeichenposition (SZP) , Bildpfaddaten (BPFD) und Bildkorridordaten (BKOD) so wie von gespeicherten Strecken- und Fahrzeugdaten (SFZD) , zu einer Positiv-Toleranz-Fahrzeugposition (FZPP ) ein erstes Sekundär-Streckenbild (S-SB1) und zu einer Negativ-Toleranz- Fahrzeugposition (FZPN ) ein zweites Sekundär-Streckenbild (S-SB2) gebildet werden, wobei das Primär-Streckenbild (P-SB) und die beiden Sekundär-Streckenbilder (S-SB1, S-SB2) einen Streckenbildpfad (SBPF) bilden,
b) aus dem Streckenbildpfad (SBPF) unter Heranziehung von ge speicherten Signalzeichendaten (SZD) und der Strecken- und Fahrzeugdaten (SFZD) ein Bildkorridor (BKO) gewonnen wird, in dem das zu erkennende Signalzeichen (SZ) erwartet wird oder sich befinden muss,
c) der Bildkorridor (BKO) schrittweise durchsucht wird, wobei bei jedem Schritt für das dazu korrespondierende Bild des Korridors bewertet wird, wie stark jeweils ein für die Bilda nalyse zu betrachtender Bildausschnitt in Bezug auf das zu erkennende Signalzeichen (SZ) von einem bildmäßig bekannten, gespeicherten Signalzeichen (SZ') abweicht,
d) bewertet wird, welche Bildausschnitte die geringsten Ab weichungen enthalten, und gemäß dieser Bildausschnittbewer- tung das zu erkennende Signalzeichen (SZ) durch einen konsis tenten Vergleich der Signalzeichen (SZ, SZ') bestimmt wird.
9. Computer-Programm-Produkt (CPP) nach Anspruch 8,
dadurch gekennzeichnet, dass
der Prozessor (PZ) und das Programm-Modul (PGM) derart ausge bildet sind, dass
das im Zuge der Bildberechnung/Bildanalyse bestimmte Signal zeichen (SZ) zur Unterstützung oder Umsetzung von Autono men/Automatisierten Fahren an ein Autonomes/Automatisiertes Fahrsystem (AFS) weitergegeben wird.
10. Computer-Programm-Produkt (CPP) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass
der Prozessor (PZ) und das Programm-Modul (PGM) derart ausge bildet sind, dass
bei der Bildausschnittbewertung eine Gewichtung vorgenommen wird, um den Signalzeichenvergleich zu priorisieren .
11. Computer-Programm-Produkt (CPP) nach Anspruch 8, 9 oder 10, dadurch gekennzeichnet, dass
der Prozessor (PZ) und das Programm-Modul (PGM) derart ausge bildet sind, dass die Bildausschnitte iterativ bewertet wer den, indem die Bildberechnung/Bildanalyse mehrfach, vorzugs weise in 200ms Zeitabständen bei gegebener Fahrzeuggeschwin digkeit ausgehend von der Fahrzeugposition (FZP) für dazu korrespondierende, unterschiedliche und kleiner werdende Ab stände zur Signalzeichenposition (SZP) , durchgeführt wird.
12. Computer-Programm-Produkt (CPP) nach einem der Ansprüche 8 bis 11, dadurch gekennzeichnet, dass
der Prozessor (PZ) und das Programm-Modul (PGM) derart ausge bildet sind, dass
der Bildkorridor (BKO) durch Berechnen gewonnen wird.
13. Computer-Programm-Produkt (CPP) nach Anspruch 9, dadurch gekennzeichnet, dass der Prozessor (PZ) und das Programm-Modul (PGM) derart ausge bildet sind, dass
das im Zuge der Bildberechnung/Bildanalyse bestimmte Signal zeichen (SZ) bei einem inkonsistenten Signalzeichenvergleich gecheckt wird, um eine sichere konsistente Entscheidung be züglich des zu erkennenden Signalzeichens (SZ) an das Autono me/Automatisierte Fahrsystem (AFS) zu übergeben.
14. Signalzeichenerkennungssystem (SZES) für ein spurgebunde nes Fahrzeug (FZ), insbesondere für ein Schienenfahrzeug (SFZ), bei dem ein entlang einer Fahrstrecke (FST) eines spurgebundenen Fahrzeugs (FZ, SFZ), insbesondere wenn dieses auf der Fahrstrecke (FST) automatisiert fahren soll, an einer Signalzeichenposition (SZP) befindliches, zu erkennendes Sig nalzeichen (SZ) durch eine Bildanalyse erkannt wird,
gekennzeichnet durch
eine Positionsakquise-Einheit (PAE) zur Akquirierung von Fahrzeugpositionen, eine Bildakquise-Einheit (BAE) zum Erfas sen von Bildern und eine Steuereinheit (STE) , die ein Compu- ter-Programm-Produkt (CPP) zur Signalzeichenerkennung mit ei nem nicht-flüchtigen, lesbaren Speicher (SP) , in dem prozes sorlesbare Steuerprogrammbefehle eines die Signalzeichener kennung durchführenden Programm-Moduls (PGM) gespeichert sind, und einem mit dem Speicher (SP) verbundenen Prozessor (PZ), der die Steuerprogrammbefehle des Programm-Moduls (PGM) zur Signalzeichenerkennung ausführt, enthält, wobei die Posi- tionsakquise-Einheit (PAE) , die Bildakquise-Einheit (BAE) und die Steuereinheit (STE) eine gemeinsame Funktionseinheit für eine Bildberechnung/Bildanalyse-basierte Signalzeichenerken nung derart bilden, dass
a) in der Bildakquise-Einheit (BAE) an einer zu der Signal zeichenposition (SZP) beabstandeten Fahrzeugposition (FZP), aus der Fahrzeugperspektive ein Primär-Streckenbild (P-SB) von einem Signalzeichenerwartungsfahrstreckenbereich - d.h. einem Bereich der Fahrstrecke (FST), in dem das Signalzeichen (SZ) erwartet wird - akquiriert wird,
b) in der Steuereinheit (STE) auf der Basis des Primär- Streckenbildes (P-SB), der Fahrzeugposition (FZP), von in ei- ner ersten Datenbank (DB1) gespeicherten Referenz-Strecken bildern (RSB) und Streckenbild-Metadaten (SBMD) inklusive der Signalzeichenposition (SZP) sowie von in einer zweiten Daten bank (DB2) gespeicherten Strecken- und Fahrzeugdaten (SFZD) oder
auf der Basis des Primär-Streckenbildes (P-SB) , der Fahrzeug position (FZP), von in einer ersten Datenbank (DB1) gespei cherten Referenz-Streckenbildern (RSB) , Streckenbild- Metadaten (SBMD) inklusive der Signalzeichenposition (SZP) , Bildpfaddaten (BPFD) und Bildkorridordaten (BKOD) sowie von in einer zweiten Datenbank (DB2) gespeicherten Strecken- und Fahrzeugdaten (SFZD) ,
zu einer Positiv-Toleranz-Fahrzeugposition (FZPP ) ein erstes Sekundär-Streckenbild (S-SB1) und zu einer Negativ-Toleranz- Fahrzeugposition (FZPN ) ein zweites Sekundär-Streckenbild (S-SB2) gebildet werden, wobei das Primär-Streckenbild (P-SB) und die beiden Sekundär-Streckenbilder (S-SB1, S-SB2) einen Streckenbildpfad (SBPF) bilden,
c) in der Steuereinheit (STE) aus dem Streckenbildpfad (SBPF) unter Heranziehung von in der ersten Datenbank (DB1) gespei cherten Signalzeichendaten (SZD) und in der zweiten Datenbank (DB2) gespeicherten Strecken- und Fahrzeugdaten (SFZD) ein Bildkorridor (BKO) gewonnen wird, in dem das zu erkennende Signalzeichen (SZ) zu erwarten ist oder sich befindet,
d) in der Steuereinheit (STE) der Bildkorridor (BKO) schritt weise durchsucht wird, wobei bei jedem Schritt für das dazu korrespondierende Bild des Korridors bewertet wird, wie stark jeweils ein für die Bildanalyse zu betrachtender Bildaus schnitt in Bezug auf das zu erkennende Signalzeichen (SZ) von einem bildmäßig bekannten, gespeicherten Signalzeichen (SZ') abweicht,
e) in der Steuereinheit (STE) bewertet wird, welche Bildaus schnitte die geringsten Abweichungen enthalten, und gemäß dieser Bildausschnittbewertung das zu erkennende Signalzei chen (SZ) durch einen konsistenten Vergleich der Signalzei chen (SZ, SZ') bestimmt wird.
15. Signalzeichenerkennungssystem (SZES) nach Anspruch 14, dadurch gekennzeichnet, dass
die erste Datenbank (DB1) und/oder die zweite Datenbank (DB2) entweder Bestandteil des Signalzeichenerkennungssystems
(SZES) oder dem Signalzeichenerkennungssystem (SZES) für Zu griffe zugeordnet sind/ist.
16. Signalzeichenerkennungssystem (SZES) nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass
die Positionsakquise-Einheit (PAE) derart ausgebildet ist, dass die Fahrzeugposition (FZP) satellitenunterstützt akqui riert wird.
17. Signalzeichenerkennungssystem (SZES) nach Anspruch 14, 15 oder 16, dadurch gekennzeichnet, dass
die Steuereinheit (STE) derart ausgebildet ist, dass das im Zuge der Bildberechnung/Bildanalyse bestimmte Signalzeichen (SZ) zur Unterstützung oder Umsetzung von Autono
men/Automatisierten Fahren an ein Autonomes/Automatisiertes Fahrsystem (AFS) weitergegeben wird.
18. Signalzeichenerkennungssystem (SZES) nach Anspruch 17, dadurch gekennzeichnet, dass
die Steuereinheit (STE) derart ausgebildet ist, dass das im Zuge der Bildberechnung/Bildanalyse bestimmte Signalzeichen (SZ) bei einem inkonsistenten Signalzeichenvergleich gecheckt wird, um eine sichere konsistente Entscheidung bezüglich des zu erkennenden Signalzeichens (SZ) an das Autono
me/Automatisierte Fahrsystem (AFS) zu übergeben.
19. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 18, dadurch gekennzeichnet, dass die Steuereinheit (STE) derart ausgebildet ist, dass bei der Bildausschnittbewertung eine Gewichtung vorgenommen wird, um den Signalzeichenvergleich zu priorisieren .
20. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 19, dadurch gekennzeichnet, dass die Steuereinheit (STE) derart ausgebildet ist, dass die Bildausschnitte iterativ bewertet werden, indem die Bildbe rechnung/Bildanalyse mehrfach, vorzugsweise in 200ms Zeitab ständen bei gegebener Fahrzeuggeschwindigkeit ausgehend von der Fahrzeugposition (FZP) für dazu korrespondierende, unter schiedliche und kleiner werdende Abstände zur Signalzeichen position (SZP) , durchgeführt wird.
21. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 20, dadurch gekennzeichnet, dass der Streckenbildpfad (SBPF) und der Bildkorridor (BKO) durch eine semi-manuelle Analyse von, insbesondere auf Erprobungs fahrten entlang der Fahrstrecke (FST), erfassten und mit Po sitionsdaten korrelierten Signalzeichen-Bildmaterials gewinn bar ist.
22. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 21, dadurch gekennzeichnet, dass der Bildkorridor (BKO) durch Vermessen oder Berechnen gewinn bar ist.
23. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 22, dadurch gekennzeichnet, dass die Bildakquise-Einheit (BAE) eine Korrekturkomponente (KOK) aufweist, die in die Auswertung des Bildmaterials Wetter- und Helligkeitsdaten mit einbezieht.
24. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 23, dadurch gekennzeichnet, dass die Bildakquise-Einheit (BAE) eine Brennweiteveränderungskom ponente (BVK) aufweist, die in Abhängigkeit vom Abstand zu dem Signalzeichen (SZ) den richtigen Aufnahmewinkel wählt, um so die mehrfache Auswertung des Signalzeichens (SZ) optimal zu unterstützen.
25. Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 24, dadurch gekennzeichnet, dass die Bildakquise-Einheit (BAE) eine Beleuchtungskomponente (BLK) , insbesondere einen Scheinwerfer, die inner- oder au ßerhalb des menschlich sichtbaren Bereichs arbeitet, auf weist.
26. Spurgebundenes Fahrzeug (FZ), insbesondere Schienenfahr zeug (SFZ), insbesondere mit einem Autonomen/Automatisierten Fahrsystem (AFS) zur Unterstützung oder Umsetzung des Autono men/Automatisierten Fahrens,
gekennzeichnet durch
ein Signalzeichenerkennungssystem (SZES) nach einem der An sprüche 14 bis 25 zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7.
PCT/EP2020/057999 2019-05-03 2020-03-23 Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug WO2020224853A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20718158.7A EP3938266A1 (de) 2019-05-03 2020-03-23 Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206349.7 2019-05-03
DE102019206349.7A DE102019206349A1 (de) 2019-05-03 2019-05-03 Verfahren und Computer-Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge sowie Signalzeichenerkennungssystem und Spurgebundenes Fahrzeug, insbesondere Schienenfahrzeug

Publications (1)

Publication Number Publication Date
WO2020224853A1 true WO2020224853A1 (de) 2020-11-12

Family

ID=70277323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/057999 WO2020224853A1 (de) 2019-05-03 2020-03-23 Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug

Country Status (3)

Country Link
EP (1) EP3938266A1 (de)
DE (1) DE102019206349A1 (de)
WO (1) WO2020224853A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2768694C1 (ru) * 2021-08-17 2022-03-24 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» (АО «НИИАС») Устройство считывания сигнала светофора
RU2770068C1 (ru) * 2021-05-20 2022-04-14 Общество с ограниченной ответственностью "Когнитив Роботикс" Способ распознавания сигналов светофора в ночное время суток

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020216014A1 (de) 2020-12-16 2022-06-23 Siemens Mobility GmbH Verfahren zum Steuern einer Vorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19538022C1 (de) * 1995-10-12 1997-01-09 Schaltbau Ag Vorrichtung zur Steuerung eines Schienenfahrzeugs
EP1981748A1 (de) * 2006-02-07 2008-10-22 Richard Shenton System zum messen der geschwindigkeit und/oder der position eines zuges
US20100027009A1 (en) * 2008-07-31 2010-02-04 General Electric Company Method and system for detecting signal color from a moving video platform
WO2017174155A1 (de) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
US10086857B2 (en) * 2013-11-27 2018-10-02 Shanmukha Sravan Puttagunta Real time machine vision system for train control and protection

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978718A (en) * 1997-07-22 1999-11-02 Westinghouse Air Brake Company Rail vision system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19538022C1 (de) * 1995-10-12 1997-01-09 Schaltbau Ag Vorrichtung zur Steuerung eines Schienenfahrzeugs
EP1981748A1 (de) * 2006-02-07 2008-10-22 Richard Shenton System zum messen der geschwindigkeit und/oder der position eines zuges
US20100027009A1 (en) * 2008-07-31 2010-02-04 General Electric Company Method and system for detecting signal color from a moving video platform
US10086857B2 (en) * 2013-11-27 2018-10-02 Shanmukha Sravan Puttagunta Real time machine vision system for train control and protection
WO2017174155A1 (de) 2016-04-08 2017-10-12 Siemens Aktiengesellschaft Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2770068C1 (ru) * 2021-05-20 2022-04-14 Общество с ограниченной ответственностью "Когнитив Роботикс" Способ распознавания сигналов светофора в ночное время суток
RU2768694C1 (ru) * 2021-08-17 2022-03-24 Акционерное общество «Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте» (АО «НИИАС») Устройство считывания сигнала светофора

Also Published As

Publication number Publication date
EP3938266A1 (de) 2022-01-19
DE102019206349A1 (de) 2020-11-05

Similar Documents

Publication Publication Date Title
WO2018104454A2 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur hinderniserkennung im bahnverkehr, insbesondere im schienenverkehr
EP3491339B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur bestimmung der lateralen position eines fahrzeuges relativ zu den fahrstreifen einer fahrbahn
WO2020224853A1 (de) Verfahren und computer-programm-produkt zum erkennen von signalzeichen zur verkehrssteuerung spurgebundener fahrzeuge sowie signalzeichenerkennungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
WO2018197122A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
EP3526097A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur fahrspurerkennung im bahnverkehr, insbesondere zur gleiserkennung im schienenverkehr
WO2017174155A1 (de) Verfahren, vorrichtung und bahnfahrzeug, insbesondere schienenfahrzeug, zur signalerkennung im bahnverkehr, insbesondere schienenverkehr
DE102020118629B4 (de) Computerimplementiertes Verfahren zum Bestimmen der Validität einer geschätzten Position eines Fahrzeugs
DE102016224212A1 (de) Automatisierte Freiraumerkennung mittels Differenzanalyse für Fahrzeuge
EP3475876A1 (de) Steuergerät, system mit solch einem steuergerät und verfahren zum betrieb solch eines systems
WO2021139974A1 (de) Verfahren zur zusammenführung mehrerer datensätze für die erzeugung eines aktuellen spurmodells einer fahrbahn und vorrichtung zur datenverarbeitung
DE102019217144B4 (de) Ampelspurzuordnung aus Schwarmdaten
DE102018000016B4 (de) Verfahren und System zum Abschätzen von Verkehrsfluss
DE102019132967A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Fahrspur-Hypothese
WO2019211293A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines egofahrzeugs mit wenigstens einem umfeldsensor zum erfassen eines umfelds des egofahrzeugs, computer-lesbares medium, system, und fahrzeug
WO2018104427A1 (de) Verfahren, vorrichtung und schienenfahrzeug zur positionsbestimmung im schienenverkehr
DE102005008360A1 (de) Verfahren und System zur Ermittlung von Positionsdaten eines Objekts
DE102021207609A1 (de) Verfahren zur Kennzeichnung eines Bewegungsweges
DE102019206348A1 (de) Verfahren und Computer-Programm-Produkt zum Erkennen von Signalzeichen zur Verkehrssteuerung spurgebundener Fahrzeuge sowie Signalzeichenerkennungssystem und Spurgebundenes Fahrzeug, insbesondere Schienenfahrzeug
DE102022103324A1 (de) System und Verfahren zur Erkennung von Inkonsistenzen in Wahrnehmungssystemen von automatisierten Fahrzeugen.
EP3947101A1 (de) Verfahren und computer-programm-produkt zur positionsbestimmung spurgebundener fahrzeuge sowie positionsbestimmungssystem und spurgebundenes fahrzeug, insbesondere schienenfahrzeug
DE102020118640A1 (de) Verfahren und Fahrzeugsystem zur Ermittlung eines Fahr-Korridors für ein Fahrzeug
DE102017218932B4 (de) Verfahren zur Bewertung einer Trajektorie eines Fortbewegungsmittels
EP3969846A1 (de) Verfahren zum validieren einer kartenaktualität
DE102017210131A1 (de) Verfahren, Computer-Programm-Produkt und Bahnfahrzeug, insbesondere Schienenfahrzeug, zur Fahrspurerkennung im Bahnverkehr, insbesondere zur Gleiserkennung im Schienenverkehr
DE102019216732A1 (de) Verfahren sowie System zum Plausibilisieren von Kartendaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20718158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020718158

Country of ref document: EP

Effective date: 20211012

NENP Non-entry into the national phase

Ref country code: DE