DE102020208620A1

DE102020208620A1 - Method and device for operating a line-bound transport system using methods of artificial intelligence

Info

Publication number: DE102020208620A1
Application number: DE102020208620.6A
Authority: DE
Inventors: Csaba Domokos; Kay Rottmann; Felix Jaegle; Andreas Steimer; Felix Milo Richter
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2022-01-13

Abstract

Die Erfindung betrifft ein computer-implementiertes Verfahren zum Ermitteln eines Aktionsplans für eine Transporteinheit (5) in einem Streckennetz (1) eines On-Demand-Transportsystems, mit folgenden Schritten:- Bestimmen eines aktuellen Streckennetzzustands eines Streckennetzes (1) abhängig von in dem Streckennetz befindlichen Transporteinheiten (5);- Bestimmen (S3) einer Aktion der Transporteinheit (5) abhängig von dem Streckennetzzustand mithilfe eines datenbasierten Aktionsmodells, wobei das Aktionsmodell trainiert ist, um abhängig von einem vorgegebenen Streckennetzzustand eine bevorzugte Aktion der Transporteinheit (5) anzugeben;- Ausführen (S4) der Aktion durch die Transporteinheit (5).The invention relates to a computer-implemented method for determining an action plan for a transport unit (5) in a route network (1) of an on-demand transport system, with the following steps: - Determining a current route network status of a route network (1) depending on in the route network located transport units (5);- determining (S3) an action of the transport unit (5) depending on the route network state using a data-based action model, wherein the action model is trained to indicate a preferred action of the transport unit (5) depending on a predetermined route network state;- Execution (S4) of the action by the transport unit (5).

Description

Technisches Gebiettechnical field

Die Erfindung betrifft ein On-Demand-Transportsystem, insbesondere für den schnellen Personenverkehr (PRT: Personal Rapid Transit). Insbesondere betrifft diese Erfindung ein öffentliches Transportsystem mit autonomen Fahrzeugen auf einem vorgegebenen Streckennetz.The invention relates to an on-demand transport system, in particular for rapid passenger transport (PRT: Personal Rapid Transit). In particular, this invention relates to a public transportation system with autonomous vehicles on a given route network.

Technischer HintergrundTechnical background

Streckennetzgebundene On-Demand-Transportsysteme für den Personenverkehr können eine Vielzahl autonome, insbesondere schienengebundene Fahrzeuge vorsehen, die sich entlang eines vorgegebenen Streckennetzes, wie z.B. eines Schienennetzes, bewegen. Das Streckennetz kann örtlich festgelegte Haltestellen zum Ein- und Aussteigen aufweisen, die über entsprechende Verbindungsstrecken ggfs. mit Verzweigungen/Weichen miteinander verbunden sind.Route network-bound on-demand transport systems for passenger transport can provide a large number of autonomous, in particular rail-bound vehicles that move along a predetermined route network, such as a rail network. The route network can have locally defined stops for boarding and alighting, which are connected to one another via corresponding connecting routes, if necessary with junctions/points.

Streckennetze können durch einen Graphen mit Knoten und die Knoten verbindenden Kanten dargestellt werden, wobei der Graph an eine geographische Karte angepasst ist, so dass zumindest die Knoten geografisch einem Stadtplan mit den Positionen der Haltestellen zugeordnet sind.Route networks can be represented by a graph with nodes and edges connecting the nodes, the graph being adapted to a geographic map so that at least the nodes are assigned geographically to a city map with the positions of the stops.

Zur Optimierung der Transporteffizienz zwischen den einzelnen Haltestellen sind vielfältige Verfahren bekannt, die für ein bestehendes Streckennetz einen optimalen Fahrplan für einzelne Transporteinheiten ermitteln. Dabei wird im Wesentlichen eine Vorhersage der zeitabhängigen Nachfrage berücksichtigt.Various methods are known for optimizing the transport efficiency between the individual stops, which determine an optimal timetable for individual transport units for an existing route network. Essentially, a forecast of the time-dependent demand is taken into account.

Aktuelle On-Demand-Transportsysteme weisen in der Regel einfache Streckennetze auf, wie eine Reihe von schleifenförmigen Strecken, so dass der Betrieb des On-Demand-Transportsystems durch einfache Ad-hoc-Regeln vorgenommen werden kann. Beispielsweise können leere Transporteinheiten zur nächstgelegenen oder zu der am stärksten frequentierten Haltestelle zurückkehren, um dort als Reserve vorgehalten zu werden. Als weiteres Beispiel kann der erste Passagier, der eine Transporteinheit ruft, die Wegführung der Transporteinheit vorsehen, und Passagiere, die entlang der Strecke, die die Transporteinheit geplant hat, einsteigen lassen, wenn sie sich zu einem Zielort entlang der Strecke bewegen wollen.Current on-demand transportation systems typically have simple route networks, such as a series of looped routes, such that operation of the on-demand transportation system can be performed by simple ad hoc rules. For example, empty transport units can return to the nearest or busiest stop to be kept there as a reserve. As another example, the first passenger who calls a transport unit can provide the routing of the transport unit and board passengers along the route that the transport unit has planned when they want to move to a destination along the route.

Offenbarung der ErfindungDisclosure of Invention

Erfindungsgemäß sind ein Verfahren zum Betreiben eines On-Demand-Transportsystems gemäß Anspruch 1 sowie eine entsprechende Vorrichtung und ein On-Demand-Transportsystem gemäß den nebengeordneten Ansprüchen vorgesehen.According to the invention, a method for operating an on-demand transport system according to claim 1 and a corresponding device and an on-demand transport system according to the independent claims are provided.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further developments are specified in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Ermitteln eines Aktionsplans für eine Transporteinheit in einem Streckennetz eines On-Demand-Transportsystems vorgesehen, mit folgenden Schritten:

- Bestimmen eines aktuellen Streckennetzzustands eines Streckennetzes abhängig von in dem Streckennetz befindlichen Transporteinheiten;
- Bestimmen einer Aktion der Transporteinheit abhängig von dem Streckennetzzustand mithilfe eines datenbasierten Aktionsmodells, wobei das Aktionsmodell trainiert ist, um abhängig von einem vorgegebenen Streckennetzzustand eine bevorzugte Aktion der Transporteinheit anzugeben;
- Ausführen der Aktion durch die Transporteinheit.

According to a first aspect, a method for determining an action plan for a transport unit in a route network of an on-demand transport system is provided, with the following steps:

- determining a current route network status of a route network depending on transport units located in the route network;
- Determining an action of the transport unit depending on the route network state using a data-based action model, the action model being trained to indicate a preferred action of the transport unit depending on a predetermined route network state;
- Execution of the action by the transport unit.

On-Demand-Transportsysteme weisen in der Regel ein festgelegtes Streckennetz auf, auf dem sich autonome Transporteinheiten bewegen können. Die Transporteinheiten können festgelegte Haltestellen anfahren, wobei diese sich entlang vorgegebener Wegstrecken bewegen. In einem On-Demand-Transportsystem können die Transporteinheiten zu Haltestellen geführt werden, an denen beispielsweise Personen einsteigen oder aussteigen können. Die Steuerung der Transporteinheiten erfordert in der Regel eine Optimierung, um die Kosten, d. h. z.B. die Gesamtreisezeit, für alle zu transportierenden Personen zu minimieren. Solche Verfahren sind jedoch in der Regel sehr aufwendig.On-demand transport systems usually have a fixed route network on which autonomous transport units can move. The transport units can approach fixed stops, which move along predetermined routes. In an on-demand transport system, the transport units can be guided to stops where, for example, people can get on or off. The control of the transport units usually requires optimization in order to reduce costs, i. H. e.g. to minimize the total travel time for all people to be transported. However, such methods are usually very expensive.

Daher schlägt obiges Verfahren vor, Aktionspläne für mindestens eine Transporteinheit mithilfe eines Machine-Learning-Modells (Aktionsmodell) zu ermitteln. Das Machine-Learning-Modell kann dazu ausgebildet sein, um ausgehend von einem aktuellen Streckennetzzustand eine Aktion für eine mindestens eine Transporteinheit für den nächsten Zeitschritt zu ermitteln. Durch iterative Anwendung des Machine-Learning-Modells können für eine Anzahl von vorausliegenden Zeitschritten die Aktionen der mindestens einen Transporteinheit entlang eines Bewegungspfades angegeben werden.The above method therefore proposes determining action plans for at least one transport unit using a machine learning model (action model). The machine learning model can be designed to determine an action for at least one transport unit for the next time step based on a current route network status. By iteratively applying the machine learning model, the actions of the at least one transport unit along a movement path can be specified for a number of time steps ahead.

Insbesondere kann ein Aktionsplan für die Transporteinheit ermittelt werden, indem das datenbasierte Aktionsmodell auf den für den letzten Zeitschritt ermittelten Streckennetzzustand angewendet wird. Somit können durch mehrfache Anwendung des Aktionsmodells Aktionspläne mit mehreren Aktionen erstellt werden. Insbesondere kann der Transporteinheit eine Aktion nur zugeordnet wird, wenn die höchste Aktionswahrscheinlichkeit bzw. der höchste Qualitätswert einen vorgegebenen Schwellenwert übersteigt.In particular, an action plan for the transport unit can be determined by applying the data-based action model to the state of the route network determined for the last time step. Thus, through multiple use of the action model, action plans with several actions can be created. In particular, an action can only be assigned to the transport unit if the highest action probability or the highest quality value exceeds a predetermined threshold value.

Weiterhin können zu jedem Zeitschritt Aktionspläne für mehrere Transporteinheiten ermittelt werden, denen jeweils eine Aktion zuordenbar ist.Furthermore, action plans for several transport units can be determined for each time step, each of which can be assigned an action.

Gemäß einer Ausführungsform kann das Aktionsmodell trainiert sein, um abhängig von dem vorgegebenen Streckennetzzustand Aktionswahrscheinlichkeiten oder Qualitätswerte für jede der Aktionen anzugeben. Der Qualitätswert einer Aktion entspricht einer Qualität einer Aktion im Sinne der Zielfunktion, z.B. Gesamtwartezeit der Passagiere. Die dem bestimmten Zeitschritt zugeordnete Aktion wird der Aktion mit der höchsten Aktionswahrscheinlichkeit bzw. dem höchsten Qualitätswert zugeordnet. Somit kann das Aktionsmodell für jede mögliche Aktion einer Transporteinheit eine Aktionswahrscheinlichkeit bzw. einen Qualitätswert ausgeben. Aus den Aktionswahrscheinlichkeiten bzw. den Qualitätswerten kann die betreffende Aktion der betreffenden Transporteinheit ermittelt werden, die einem optimierten Aktionsplan für die betreffende Transporteinheit entspricht. Die Aktion mit der höchsten Aktionswahrscheinlichkeit bzw. dem höchsten Qualitätswert kann ausgeführt werden.According to one embodiment, the action model can be trained to specify action probabilities or quality values for each of the actions depending on the specified route network state. The quality value of an action corresponds to the quality of an action in terms of the target function, e.g. the total waiting time of the passengers. The action assigned to the specific time step is assigned to the action with the highest action probability or the highest quality value. The action model can thus output an action probability or a quality value for every possible action of a transport unit. From the action probabilities or the quality values, the relevant action of the relevant transport unit can be determined, which corresponds to an optimized action plan for the relevant transport unit. The action with the highest action probability or the highest quality value can be carried out.

Es kann vorgesehen sein, dass ein Betriebszustand der Transporteinheit durch den aktuellen Streckennetzzustand angegeben wird. Somit kann auch eine eingeschränkte Betriebsfähigkeit der Transporteinheit, wie z.B. ein Teildefekt, reduzierte Bewegungsgeschwindigkeit oder dergleichen, berücksichtigt werden.Provision can be made for an operating state of the transport unit to be indicated by the current route network state. A limited operational capability of the transport unit, such as a partial defect, reduced movement speed or the like, can thus also be taken into account.

Es kann vorgesehen sein, dass eine Aktion einer Transporteinheit ein Parken, ein Stoppen, ein Halten an einer Haltestelle zum Einsteigen einer vorbestimmten Person oder zum Beladen eines bestimmten Transportguts, ein Halten an einer Haltestelle zum Aussteigen einer vorbestimmten Person oder zum Entladen eines bestimmten Transportguts und eine Bewegung einer Transporteinheit entlang einer bestimmten Wegstrecke umfasst.It can be provided that an action of a transport unit is parking, stopping, stopping at a stop for boarding a predetermined person or for loading a specific item to be transported, stopping at a stop for a predetermined person to get off or for unloading a specific item to be transported and comprises a movement of a transport unit along a specific route.

Das zugrundeliegende datenbasierte Aktionsmodell kann ein Machine-Learning-Modell in Form eines neuronalen Graphennetzwerks (GNN: Graph neural network) aufweisen, das trainiert ist, um von dem aktuellen Streckennetzzustand eine Aktion für eine Transporteinheit anzugeben.The underlying data-based action model can have a machine learning model in the form of a neural graph network (GNN: Graph neural network), which is trained to indicate an action for a transport unit from the current route network state.

Es kann vorgesehen sein, dass der Streckennetzzustand als ein Streckennetzzustandsgraph angegeben wird, wobei der Streckennetzzustandsgraph Haltestellen des Streckennetzes Knoten und Wegstrecken Kanten zuweist, wobei die Streckennetzzustände als Attribute der Knoten und Kanten des Streckennetzzustandsgraphen und eine Information angibt, für welche der Transporteinheiten eine Aktion ermittelt werden soll.Provision can be made for the route network status to be specified as a route network status graph, with the route network status graph assigning stops in the route network to nodes and routes to edges, with the route network statuses as attributes of the nodes and edges of the route network status graph and information indicating for which of the transport units an action is determined target.

Insbesondere kann das Aktionsmodell einen Aktionsgraphen ausgeben, dessen Knoten und Kanten jeweils eine Aktionswahrscheinlichkeit bzw. ein Qualitätswert zugeordnet werden, wobei sich die Aktion für die Transporteinheit abhängig von den Aktionswahrscheinlichkeiten bzw. Qualitätswerten der Knoten und Kanten, insbesondere von den Aktionswahrscheinlichkeiten bzw. Qualitätswerten der Knoten und Kanten, die zu dem Knoten, dem die Position der Transporteinheit zugeordnet ist, benachbart ist, ergibt.In particular, the action model can output an action graph whose nodes and edges are each assigned an action probability or quality value, with the action for the transport unit depending on the action probabilities or quality values of the nodes and edges, in particular on the action probabilities or quality values of the nodes and edges adjacent to the node to which the position of the transport unit is associated.

Diese Vorgehensweise wird für jede der Transporteinheiten oder für jede der Transporteinheiten, die sich momentan an einer Position befinden, der ein Knoten des Graphen zugeordnet ist für den aktuell betrachteten Zeitschritt ausgeführt.This procedure is carried out for each of the transport units or for each of the transport units that are currently in a position to which a node of the graph is assigned for the time step currently under consideration.

Ein nächster Streckennetzzustand wird ermittelt, indem die ausgewählten Aktionen für jede der Transporteinheiten als ausgeführt angenommen werden, so dass die Positionen der Transporteinheiten entsprechend aktualisiert werden. Dies kann für eine vorbestimmte Anzahl von Zeitschritten durchgeführt werden, um einen Verlauf der prädizierten Streckennetzzustände zu erhalten. Anschließend werden die ermittelten Aktionen für jede Transporteinheit für einen oder mehrere Zeitschritte ausgeführt.A next route network state is determined by assuming the selected actions have been carried out for each of the transport units, so that the positions of the transport units are updated accordingly. This can be carried out for a predetermined number of time steps in order to obtain a history of the predicted road network states. The determined actions are then carried out for each transport unit for one or more time steps.

Ein alternatives Verfahren zum Auswerten des neuronalen Graphennetzwerk kann einer Baumsuche-Prozedur, wie z. B. einer Monte-Carlo-Baumsuche, entsprechen. Beispielsweise kann das Graphennetzwerk als eine Suchheuristik innerhalb eines PUCT-Algorithmus verwendet werden, ähnlich dem AlphaGo-Algorithmus.An alternative method for evaluating the graph neural network can be a tree search procedure such as e.g. a Monte Carlo tree search. For example, the graph network can be used as a search heuristic within a PUCT algorithm, similar to the AlphaGo algorithm.

Das trainierte neuronale Graphennetzwerk kann auf Vorgaben für Streckennetzzustände für unterschiedliche Streckennetzgrößen und - komplexitäten angewendet werden. Insbesondere kann das trainierte Graphennetzwerk auf eine Vorgabe mit unterschiedlicher Anzahl von Transporteinheiten oder einer unterschiedlichen Anzahl von Knoten/Haltestellen in dem Streckennetz angewendet werden. Insbesondere kann das neuronale Graphennetzwerk auf Streckennetze geringer Größe trainiert werden und auf größere Graphennetzwerke für größere Streckennetze angewendet werden.The trained neural graph network can be applied to specifications for route network states for different route network sizes and complexity. In particular, the trained graph network can be applied to a specification with a different number of transport units or a different number of nodes/stops in the route network. In particular, the graph neural network can be trained on small scale networks and applied to larger graph networks for larger network sizes.

Zudem können gesperrte Wegstrecken berücksichtigt werden, indem die Auswahl der entsprechenden Wegstrecke im oben skizzierten Verfahren unterbunden wird. Suchverfahren, wie PUCT, sind geeignet für Anytime-Suchen, so dass jederzeit im Laufe des Optimierungsverfahrens Aktionen für die Transporteinheiten zur Verfügung stehen und die bis dahin gefundene beste Lösung bei einem Abbruch des Verfahrens bereitstellen können. So kann beispielsweise das Optimierungsverfahren immer dann ausgeführt werden, wenn eine der Transporteinheiten nach einer Bewegung in einer Haltestelle ankommt.In addition, blocked routes can be taken into account by selecting the appropriate route in the ver driving is prohibited. Search methods such as PUCT are suitable for anytime searches, so that actions for the transport units are available at any time during the optimization method and the best solution found up to that point can be provided if the method is aborted. For example, the optimization process can always be carried out when one of the transport units arrives at a stop after a movement.

Gemäß einem weiteren Aspekt ist ein Verfahren zum Trainieren eines datenbasierten Aktionsmodells, das als neuronales Graphennetzwerk, das ein zugrundeliegendes Streckennetz eines Transportsystems abbildet, ausgebildet ist, wobei das Aktionsmodell abhängig von Trainingsdatensätzen trainiert wird, die jeweils einen Streckennetzzustandsgraphen, der einen aktuellen Streckennetzzustand und einen Zustand einer Transporteinheit angibt, einen Aktionsgraphen zuordnet, der eine bevorzugte Aktion der betreffenden Transporteinheit in einem Streckennetz angibt.According to a further aspect, a method for training a data-based action model, which is designed as a neural graph network that maps an underlying route network of a transport system, the action model being trained depending on training data sets, each of which has a route network status graph, which has a current route network status and a status indicates a transport unit, assigns an action graph which indicates a preferred action of the relevant transport unit in a route network.

Gemäß einem weiteren Aspekt ist ein Transportsystem mit einem Streckennetz, mindestens einer Transporteinheit, die ausgebildet ist, sich entlang von Strecken des Streckennetzes zu bewegen, und der obigen Vorrichtung vorgesehen.According to a further aspect, a transport system with a route network, at least one transport unit which is designed to move along routes of the route network, and the above device is provided.

Figurenlistecharacter list

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 ein beispielhaftes Streckennetz für ein On-Demand-Transportsystem und einen repräsentierenden Graphen;
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des On-Demand-Transportsystems; und

Embodiments are explained in more detail below with reference to the accompanying drawings. Show it:

1 an exemplary route network for an on-demand transport system and a graph representing it;
2 a flowchart to illustrate a method for operating the on-demand transport system; and

Beschreibung von AusführungsformenDescription of Embodiments

1 zeigt beispielhaft ein Streckennetz 1 eines On-Demand-Transportsystems, das Haltestellen 2 und ggfs. Streckenverzweigungen 3 und Wegstrecken 4 aufweist, entlang denen sich die Transporteinheiten 5 bewegen können. Das Streckennetz 1 kann ein Streckennetz für schienen- oder straßengebundene Transporteinheiten 5 darstellen. Entlang der Wegstrecken 4 können sich, insbesondere autonom, Transporteinheiten 5 bewegen. Die Transporteinheiten 5 können jegliche Art von Fahrzeugen sein, die autonom anhand von Instruktionen, die in Form von Aktionen vorgegeben werden, entlang des Streckennetzes 1 bewegt werden können. 1 shows an example of a route network 1 of an on-demand transport system, which has stops 2 and possibly route branches 3 and routes 4 along which the transport units 5 can move. The route network 1 can represent a route network for rail or road transport units 5 . Transport units 5 can move along the routes 4, in particular autonomously. The transport units 5 can be any type of vehicle that can be moved autonomously along the route network 1 on the basis of instructions that are specified in the form of actions.

Eine Anzahl von Transporteinheiten 5 sind auf dem Streckennetz 1 verteilt angeordnet. Die Transporteinheiten 5 stehen mit einer Zentraleinheit 10 in Kommunikationsverbindung, die den Transporteinheiten 5 Instruktionen in Form von Aktionsplänen, die jeweils eine oder mehrere auszuführende Aktionen angeben, übermittelt. Die Transporteinheiten 5 stehen mit der Zentraleinheit 10 so in Verbindung, dass der aktuelle Transporteinheitenzustand, d.h. deren Position und ggfs. deren Geschwindigkeit, an die Zentraleinheit 10 übermittelt wird. Der Transporteinheitzustand entspricht somit dessen Betriebszustand, dessen Position und der der momentan von der Transporteinheit 5 ausgeführten Aktion.A number of transport units 5 are distributed over the route network 1 . The transport units 5 communicate with a central unit 10, which transmits instructions to the transport units 5 in the form of action plans, each specifying one or more actions to be carried out. The transport units 5 are connected to the central unit 10 in such a way that the current status of the transport units, i.e. their position and possibly their speed, is transmitted to the central unit 10. The transport unit status thus corresponds to its operating status, its position and the action currently being carried out by the transport unit 5 .

Die Zentraleinheit 10 weist eine Kommunikationseinheit 11, die mit den Transporteinheiten 5 in Verbindung steht und Zustandsinformation von den Transporteinheiten 5 empfängt und Aktionen an die Transporteinheiten 5 zur Ausführung übermittelt, und eine Verarbeitungseinheit 12 auf.The central unit 10 has a communication unit 11 which is connected to the transport units 5 and receives status information from the transport units 5 and transmits actions to the transport units 5 for execution, and a processing unit 12 .

Als mögliche Aktionen für Transporteinheiten 5 können ein Stopp, ein Haltestellenstopp zum Einsteigen, ein Haltestellenstopp zum Aussteigen und eine Bewegung entlang einer bestimmten Wegstrecke 4 vorgesehen sein.A stop, a stop at a bus stop for boarding, a stop at a bus stop for alighting and a movement along a specific route 4 can be provided as possible actions for transport units 5 .

Das Streckennetz 1 kann durch einen Streckennetzzustandsgraphen repräsentiert werden, bei dem Haltestellen 2 und die Streckenverzweigungen 3 durch Knoten K und die Wegstrecken durch Kanten S repräsentiert werden. Den Knoten und Kanten des Streckennetzzustandsgraphen können jeweils Attribute zugeordnet sein.The route network 1 can be represented by a route network status graph in which stops 2 and the route branches 3 are represented by nodes K and the routes are represented by edges S. Attributes can each be assigned to the nodes and edges of the route network status graph.

Dieser Streckennetzzustandsgraph kann einem Aktionsmodell, das als trainiertes neuronales Graphennetzwerk in der Verarbeitungseinheit 12 vorgesehen ist, als Eingabe angegeben werden. Das neuronale Graphennetzwerk erzeugt abhängig von dem Streckennetzzustandsgraph als Ausgabe einen Aktionsgraphen mit der gleichen Struktur, d.h. gleich vielen Knoten und Kanten. Den Knoten und Kanten sind jeweils eine Aktionswahrscheinlichkeit bzw. ein Qualitätswert zugeordnet. Das Graphennetzwerk kann somit als neuronales Netzwerk datenbasiert trainiert werden und zur Ermittlung von Aktionsplänen für die Transporteinheiten 5 verwendet werden.This route network state graph can be given as input to an action model that is provided as a trained neural graph network in the processing unit 12 . Depending on the route network state graph, the neural graph network generates an action graph with the same structure as output, i.e. the same number of nodes and edges. An action probability or a quality value is assigned to the nodes and edges. The graph network can thus be trained based on data as a neural network and used to determine action plans for the transport units 5 .

Der Aktionsgraph kann als Aktion eine Bewegung einer Transporteinheit, die sich an einem Knoten befindet, entsprechend einem Maximum der Aktionswahrscheinlichkeiten bzw. Qualitätswerten an den der Position der Transporteinheit angrenzenden Knoten angeben. Bei der Auswahl der entsprechenden Aktion wird dann nur über die angrenzenden Knoten maximiert, die nicht angrenzenden werden maskiert. Wenn analog die Bewegungsaktionen durch Kanten dargestellt werden, maximiert man über die Aktionswahrscheinlichkeiten bzw. Qualitätswerten der vom aktuellen Knoten ausgehende Kanten.As an action, the action graph can indicate a movement of a transport unit that is located at a node, corresponding to a maximum of the action probabilities or quality values at the nodes adjacent to the position of the transport unit. When selecting the corresponding action, only the adjacent nodes are maximized, the non-adjacent ones are masked. If analog the movement action ns are represented by edges, one maximizes the action probabilities or quality values of the edges emanating from the current node.

Graphennetzwerke erlauben die Ausgabe eines „globalen“ Aktionsvektors, dessen Einträge die auszuführende Aktion angeben können. Die Einträge dieses Aktionsvektors können damit gemeinsam mit den Aktionswahrscheinlichkeiten bzw. Qualitätswerten an den der Position der Transporteinheit angrenzenden Knoten für die Bestimmung der auszuwählenden Aktion verwendet werden. Insbesondere kann sich die auszuführende Aktion aus einer Maximumauswahl der Aktionswahrscheinlichkeiten bzw. Qualitätswerten an den der Position der Transporteinheit angrenzenden Knoten und der Werte des „globalen“ Aktionsvektors ergeben.Graph networks allow the output of a "global" action vector whose entries can specify the action to be performed. The entries of this action vector can thus be used together with the action probabilities or quality values at the nodes adjacent to the position of the transport unit to determine the action to be selected. In particular, the action to be carried out can result from a maximum selection of the action probabilities or quality values at the nodes adjacent to the position of the transport unit and the values of the “global” action vector.

In 2 ist ein Flussdiagramm gezeigt, das das Verfahren zum Ermitteln von Aktionsplänen für die Transporteinheiten 5 in dem On-Demand-Transportsystem darstellt. Das Verfahren kann in der Zentraleinheit 10 in Software und/oder Hardware implementiert sein.In 2 a flow chart is shown which represents the method for determining action plans for the transport units 5 in the on-demand transport system. The method can be implemented in the central unit 10 in software and/or hardware.

In Schritt S1 werden Zustände der Transporteinheiten 5 in dem Streckennetz 1 erfasst. Diese umfassen deren Position und ggfs. Geschwindigkeiten sowie deren gerade ausgeführte Aktionen.In step S1, states of the transport units 5 in the route network 1 are recorded. These include their position and, if applicable, speeds as well as the actions they have just carried out.

In Schritt S2 wird der Streckennetzzustand in einem aktuellen Zeitschritt abhängig von den erfassten Zuständen der Transporteinheiten 5 ermittelt. Der Streckennetzzustand wird als Streckennetzzustandsgraph angegeben und bestimmt die Position der Transporteinheiten 5, deren aktuell ausgeführte Aktion, deren aktuelle etwaige Beladung (Anzahl der transportierten Passagiere bzw. Menge der transportierten Transportgüter) mit Zielort sowie Angaben über die Haltestellen, an denen Transporteinheiten 5 angefragt werden (Haltestellenposition, Anzahl insbesondere von wartenden Passagieren angefragter Transporteinheiten bzw. Menge und Art der zu transportierenden Transportgüter an einer Haltestelle). Somit kann der Streckennetzzustand als Graphen angegeben werden, wobei für jede Transporteinheit 5 in dem Streckennetz die Position, die momentan ausgeführte Aktion, der Zielort (als der Knoten, der der Zielhaltestelle zugeordnet ist) oder ggfs. die Information, dass der Transporteinheit 5 kein Zielort zugeordnet ist), sowie ein Ego-Marker, der angibt, das ein Aktionsplan für die betreffende Transporteinheit 5 ermittelt werden soll. Die übrigen Transporteinheiten 5 werden entsprechend mit einem Other-Marker versehen, der angibt, dass die zu ermittelnde Aktion diesen nicht zuzuordnen ist.In step S2 the status of the route network is determined in a current time step depending on the detected statuses of the transport units 5 . The route network status is specified as a route network status graph and determines the position of the transport units 5, their current action, their current possible loading (number of transported passengers or quantity of transported goods) with destination and information about the stops at which transport units 5 are requested ( Stop position, number of transport units requested in particular by waiting passengers or quantity and type of transport goods to be transported at a stop). The route network status can thus be specified as graphs, with the position, the currently performed action, the destination (as the node assigned to the destination stop) or, if necessary, the information that the transport unit 5 has no destination, for each transport unit 5 in the route network is assigned), and an ego marker that indicates that an action plan for the relevant transport unit 5 is to be determined. The other transport units 5 are correspondingly provided with an Other marker, which indicates that the action to be determined cannot be assigned to them.

Mit den Streckennetzzuständen ist es somit möglich ein typisches Zielfunktional, wie z.B. die gesamte Transportzeit als Summe der bereits akkumulierten Wartezeit und der bis zum Ende des Transports zu erwartenden Zeit für alle Passagiere, auswerten zu können.With the route network states, it is therefore possible to evaluate a typical target function, such as the total transport time as the sum of the already accumulated waiting time and the time expected until the end of the transport for all passengers.

Weiterhin kann der Streckennetzzustand eine Repräsentation des Streckennetzes als Graph angeben.Furthermore, the route network state can indicate a representation of the route network as a graph.

Im Schritt S3 wird ein prädizierter Streckennetzzustand für den nächsten Zeitschritt oder alternativ prädizierte Streckennetzzustände für eine vorbestimmte Anzahl von künftigen Zeitschritten ermittelt, die zueinander einen gleichen oder verschiedenen zeitlichen Abstand aufweisen können. Die Zeitschritte können auch durch den Zeitpunkt des Erreichens einer Haltestelle durch eine oder mehrere Transporteinheiten angegeben sein.In step S3, a predicted route network status for the next time step or alternatively predicted route network statuses for a predetermined number of future time steps are determined, which can have the same or different time intervals from one another. The time steps can also be specified by the time at which one or more transport units reach a stop.

Die Zeitschritte können auch auf Basis von erwartetem (oder mit einer geeigneten Methode vorhergesagten) Aktivitätsgrad dichter oder weniger dicht gewählt werden (Bsp: peak hours = dichte Zeitschritte, off-peak = wenige Zeitschritte). Optional kann ein Betriebsmodus des Streckennetzes angegeben werden, beispielsweise ein Notfallmodus, bei dem alle Transporteinheiten an einer sicheren, d. h. leicht zu evakuierenden Position abgestellt werden.The time steps can also be chosen to be denser or less dense on the basis of the expected (or predicted using a suitable method) level of activity (e.g. peak hours = dense time steps, off-peak = few time steps). Optionally, an operating mode of the route network can be specified, for example an emergency mode, in which all transport units are transported to a safe, i. H. be parked in a position that is easy to evacuate.

Die prädizierten Streckennetzzustände können beispielsweise ermittelt werden, indem für jede zu dem aktuellen Zeitschritt zu betrachteten Transporteinheit ein Aktionsplan von einer oder mehreren Aktionen bestimmt wird. Zusätzlich können hierzu historische Streckennetzzustände, externe Statistikdatenquellen und dergleichen berücksichtigt werden. Sind für einen nächsten Zeitschritt die Aktionen aller Transporteinheiten bestimmt, so kann ein Streckennetzzustand für diesen Zeitschritt bestimmt werden, indem die zugeordneten Aktionen als ausgeführt bzw. als gerade in Ausführung begriffen angenommen werden. Dies kann für eine Anzahl von vorausliegenden Zeitschritten durchgeführt werden, indem der jeweils zuletzt bestimmte prädizierte Streckennetzzustand als aktueller Streckennetzzustand angenommen wird.The predicted route network states can be determined, for example, by determining an action plan of one or more actions for each transport unit to be considered at the current time step. In addition, historical route network states, external statistical data sources and the like can be taken into account. If the actions of all transport units are determined for a next time step, then a route network status can be determined for this time step by assuming that the assigned actions have been carried out or are currently being carried out. This can be carried out for a number of time steps ahead by assuming the respectively last determined predicted route network state as the current route network state.

Zum Ermitteln einer Aktion für eine Transporteinheit in einem Zeitschritt wird ein datenbasiertes Aktionsmodell genutzt. Das Aktionsmodell ist als neuronales Graphennetzwerk ausgebildet und trainiert, um abhängig von dem Streckennetzzustandsgraphen Aktionswahrscheinlichkeiten bzw. bzw. Qualitätswerte als Attribute eines Aktionsgraphen für alle möglichen Aktionen zu ermitteln. Die möglichen Aktionen umfassen einen Stopp, ein Parken, einen Haltezustand an einer Haltestelle zum Einsteigen oder zum Aussteigen von jeweils bestimmten Passagieren (mit jeweils zugeordneter laufender Wartezeit), die eine Transporteinheit angefordert haben, ein Bewegen jeweils entlang einer bestimmten Wegstrecke.A data-based action model is used to determine an action for a transport unit in a time step. The action model is designed and trained as a neural graph network in order to determine action probabilities or quality values as attributes of an action graph for all possible actions depending on the route network state graph. The possible actions include a stop, a parking, a holding state at a stop for boarding or alighting of specific passengers in each case (with each associated ongoing waiting time) that requests a transport unit have, a movement along a certain path.

Sollen für eine bestimmte Transporteinheit die Aktionswahrscheinlichkeiten bzw. bzw. Qualitätswerte bestimmt werden, so wird für die ausgewählte Transporteinheit der Ego-Marker gesetzt und für die übrigen Transporteinheiten der Ego-Marker nicht gesetzt. Dadurch kann einer der zu betrachtenden Transporteinheiten als ausgewählte Transporteinheit angenommen werden. Als Ergebnis der Anwendung des Aktionsmodells ergibt sich für die betrachteten Transporteinheiten ein für den betrachteten Zeitschritt resultierende Aktionswahrscheinlichkeiten bzw. Qualitätswerte für jede mögliche Aktion der Transporteinheit.If the action probabilities or quality values are to be determined for a specific transport unit, the ego marker is set for the selected transport unit and the ego marker is not set for the other transport units. As a result, one of the transport units to be considered can be accepted as the selected transport unit. As a result of the application of the action model, action probabilities or quality values result for the considered transport units for the considered time step for each possible action of the transport unit.

Die zu wählende Aktion ergibt sich aus den Aktionswahrscheinlichkeiten bzw. den Qualitätswerten, indem die Aktion mit der höchsten Aktionswahrscheinlichkeit bzw. dem höchsten Qualitätswert ausgewählt wird. Es kann vorgesehen sein, dass die Aktion für den nächsten Zeitschritt nur dann ausgewählt wird, wenn die Aktionswahrscheinlichkeit bzw. der Qualitätswert einen vorgegebenen Schwellenwert überschreitet. Betrifft die Aktion eine Bewegung, so wird die Wegstrecke bzw. die Kante oder die benachbarte Haltestelle bzw. der benachbarte Knoten mit der höchsten Aktionswahrscheinlichkeit bzw. dem höchsten Qualitätswert ausgewählt.The action to be selected results from the action probabilities or the quality values by selecting the action with the highest action probability or the highest quality value. It can be provided that the action for the next time step is only selected if the action probability or the quality value exceeds a predetermined threshold value. If the action relates to a movement, then the route or the edge or the neighboring stop or the neighboring node with the highest action probability or the highest quality value is selected.

In Schritt S4 wird für jede der Transporteinheiten 5 die zugeordnete Aktion ausgeführt.In step S4, the assigned action is carried out for each of the transport units 5.

In Schritt S5 wird überprüft, ob eine neue Ermittlung der Aktionspläne durchgeführt werden soll. Dies kann z.B. festgestellt werden, wenn ein vorgegebener Zeitpunkt erreicht ist oder getriggert durch das Erreichen einer Haltestelle durch eine oder mehrere Transporteinheiten.In step S5 it is checked whether a new determination of the action plans should be carried out. This can be determined, for example, when a specified time is reached or triggered when one or more transport units reach a stop.

Wird in Schritt S5 festgestellt, dass eine neue Ermittlung von Aktionsplänen durchgeführt werden soll, wird das Verfahren mit Schritt S3 fortgesetzt. Andernfalls (Alternative: Nein) wird zu Schritt S4 zurückgesprungen.If it is determined in step S5 that a new determination of action plans is to be carried out, the method continues with step S3. Otherwise (alternative: no), the process jumps back to step S4.

Als datenbasiertes Aktionsmodell kann ein neuronales Graphennetzwerk verwendet werden. Der Streckennetzzustandgraph ist eine Repräsentation des Zustands des Streckennetzes als Graph zu einem Zeitschritt. Dieser Streckennetzzustandsgraph wird dem trainierten Aktionsmodell (neuronales Graphennetzwerk) als Eingabe gegeben. Das Aktionsmodell erzeugt dann als Ausgabe einen Aktionsgraphen mit der gleichen Struktur, d.h. gleich vielen Konten und Kanten, wobei die Attribute für die Knoten und Kanten die möglichen Aktionen angeben, wobei die Attribute der Konten/Kanten des Aktionsgraphs den Aktionswahrscheinlichkeiten bzw. Qualitätswerten für die Aktionen entsprechen.A neural graph network can be used as a data-based action model. The route network status graph is a representation of the status of the route network as a graph at a time step. This route network state graph is given as input to the trained action model (neural graph network). The action model then generates an action graph as an output with the same structure, i.e. the same number of nodes and edges, with the attributes for the nodes and edges specifying the possible actions, with the attributes of the nodes/edges of the action graph representing the action probabilities or quality values for the actions correspond.

Als Beispiel befindet sich eine Transporteinheit an einer Haltestelle von der aus sie zu zwei weiteren Haltestellen fahren kann. Der Eingabegraph für diesen Zustand enthält einen Knoten n_1 für die aktuelle Haltestelle, zwei Knoten n_2, n_3 für die weiteren Haltestellen, und zwei Kanten e_1 (n1 -> n2) und e_2 (n_1 -> n_3). Die Attribute der Konten und Kanten repräsentieren die Zielhaltestelle der Transporteinheit und weitere Parameter. Die Ausgabe des Aktionsmodells hat die gleichen Konten und Kanten, und die Attribute der beiden Kanten repräsentieren die Wahrscheinlichkeiten bzw. Qualitätswerte, in die jeweilige Richtung zu fahren.As an example, a transport unit is at a stop from which it can travel to two further stops. The input graph for this state contains a node n_1 for the current stop, two nodes n_2, n_3 for the further stops, and two edges e_1 (n1 -> n2) and e_2 (n_1 -> n_3). The attributes of the nodes and connections represent the destination stop of the transport unit and other parameters. The output of the action model has the same nodes and edges, and the attributes of the two edges represent the probabilities or quality values, respectively, of going in each direction.

Das obige Verfahren kann auf Streckennetze 1 unterschiedlicher Größe angewendet werden. Das gleiche trainierte Graphennetzwerk kann auf einer Problemstellung mit unterschiedlicher Anzahl von Transporteinheiten oder einer unterschiedlichen Anzahl von Haltestellen (entspricht Knoten im Graphennetzwerk) angewendet werden.The above method can be applied to route networks 1 of different sizes. The same trained graph network can be applied to a problem with a different number of transport units or a different number of stops (corresponds to nodes in the graph network).

Insbesondere kann das Graphennetzwerk auf Graphennetzwerke mit einer geringeren Anzahl von Knoten trainiert werden und in an sich bekannter Weise für größere Streckennetze verwendet werden. Das Graphennetzwerk gibt Graphen aus, die genauso groß sind wie die Eingabegraphen. Wenn man es auf größere Eingabegraphen anwendet kommen also automatisch größere Ausgabegraphen raus. Dazu sind keine Anpassungen des Netzwerks nötig.In particular, the graph network can be trained on graph networks with a smaller number of nodes and used in a manner known per se for larger route networks. The graph network outputs graphs that are the same size as the input graphs. If you apply it to larger input graphs, larger output graphs will come out automatically. No adjustments to the network are required for this.

Durch das Unberücksichtigtlassen von bestimmten Wegstrecken, d. h. Kanten des Graphennetzwerkes bei Erstellen von Aktionsplänen, für eine Bewegungsaktion können auch gesperrte Wegstrecken beim Ermitteln des Aktionsplans berücksichtigt (d.h. vermieden) werden.By ignoring certain stretches of the road, i. H. Edges of the graph network when creating action plans, for a movement action, blocked routes can also be taken into account (i.e. avoided) when determining the action plan.

Zum Erstellen des Aktionsplans können ausgehend von dem Streckennetzzustandsgraphen alternativ auch Baumsuchverfahren, wie etwa die Monte-Carlo-Baumsuche (MCTS), verwendet werden.Alternatively, tree search methods such as the Monte Carlo tree search (MCTS) can also be used to create the action plan, starting from the route network status graph.

MCTS ist ein rundenbasiertes anytime Suchverfahren, das iterativ eine Repräsentation des Suchraums als Baum erstellt. In jeder Runde findet ein sog. „Rollout“ statt, bei dem ausgehend von einem initialen Zustand (hier: der aktuelle Steckennetzzustand), nach und nach Aktionen angewendet werden, bis zu einem Abbruchkriterium (z.B. eine maximale Anzahl von Aktionen oder maximaler zeitlicher Horizont). Jeder Rollout besteht aus zwei Phasen, in denen die Aktionen unterschiedlich ausgewählt werden. In der ersten Phase werden die bereits im Baum repräsentieren Informationen über die Zustände und Aktionen zur Aktionsauswahl verwendet. Wenn der Rand des Baums erreicht wird, d.h. der erreichte Zustand nicht mehr im Baum repräsentiert ist, kommt eine Heuristik zum Einsatz, die die Aktionen bis zum Eintreten des Abbruchkriteriums auswählt. Diese Rolle übernimmt hier das Aktionsmodell, das auf den erreichten Zustand angewendet wird, und die Aktion wird gemäß den vom Aktionsmodell ausgegebenen Aktionswahrscheinlichkeiten bzw. Qualitätswerten ausgewählt.MCTS is a round-based anytime search method that iteratively creates a representation of the search space as a tree. A so-called "rollout" takes place in each round, in which, starting from an initial state (here: the current network state), actions are gradually applied until a termination criterion (e.g. a maximum number of actions or maximum time horizon) is reached. . Each rollout consists of two phases in which the actions are selected differently. In the first phase they will already in the tree represent information about the states and actions used for action selection. When the edge of the tree is reached, ie the state reached is no longer represented in the tree, a heuristic is used that selects the actions up until the termination criterion occurs. The action model, which is applied to the state reached, assumes this role here, and the action is selected according to the action probabilities or quality values output by the action model.

MCTS kann auch ohne Heuristik verwendet werden, dann werden die Aktionen in der zweiten Phase gleichverteilt zufällig ausgewählt.MCTS can also be used without heuristics, in which case the actions in the second phase are randomly selected with equal distribution.

Der Vorteil von MCTS in Verbindung mit dem Aktionsmodell als Graphennetzwerk ist, dass dieses zuverlässig zur optimalen Lösung konvergiert und auch empirisch oft zu besseren Ergebnissen führt.The advantage of MCTS in connection with the action model as a graph network is that it reliably converges to the optimal solution and often leads to better empirical results.

Beispielsweise kann das Graphennetzwerk als eine Suchheuristik innerhalb des PUCT-Algorithmus verwendet werden. Bei PUCT, einer speziellen Variante von MCTS, werden die Aktionswahrscheinlichkeiten bzw. Qualitätswerten zusätzlich in Phase 1 verwendet.For example, the graph network can be used as a search heuristic within the PUCT algorithm. With PUCT, a special variant of MCTS, the action probabilities or quality values are also used in phase 1.

Solche Suchverfahren sind anytime-fähig, das bedeutet, dass sie jederzeit ein Optimierungsergebnis, d. h. einen Aktionsplan, bereitstellen können, auch wenn die Optimierung noch nicht beendet ist.Such search methods are anytime-capable, which means that they always produce an optimization result, i. H. an action plan, even if the optimization is not yet finished.

Das Graphennetzwerk kann basierend auf Streckennetzsimulationen für vorgegebene Streckennetzszenarien, z. B. mithilfe einer linearen Programmierung, simuliert werden, um Trainingsdatensätze zu erhalten. Dazu wird das Graphennetzwerk basierend auf Imitation-Learning auf Streckennetzszenarien für kleinere Streckennetze trainiert. Dazu können die Aktionspläne für die einzelnen Transporteinheiten als Ergebnis einer linearen Programmierung ermittelt und optimiert werden. Das Graphennetzwerk wird dann mit so erhaltenen Trainingsdatensätzen trainiert.The graph network can be based on route network simulations for given route network scenarios, e.g. B. using a linear programming can be simulated to obtain training data sets. For this purpose, the graph network is trained based on imitation learning on route network scenarios for smaller route networks. In addition, the action plans for the individual transport units can be determined and optimized as a result of linear programming. The graph network is then trained with the training data sets obtained in this way.

Ein Trainingsdatensatz besteht aus einem Streckennetzzustand und einer Aktion einer bestimmten Transporteinheit für einen bestimmten Zeitschritt. Die Aktion wird entsprechend als Attribut einer Kante oder eines Knotens des Graphennetzwerks kodiert, wobei das Attribut einer Aktionswahrscheinlichkeit bzw. einem Qualitätswert einer Aktion entspricht, die sich auf die Kante bzw. den betreffenden Knoten bezieht. Für das Training wird einem Attribut einer Kante oder eines Knotens, auf den sich eine Aktion bezieht, eine Aktionswahrscheinlichkeit bzw. ein Qualitätswert von „1“ zugeordnet wird und den übrigen Attributen einer Kante oder eines Knotens, die andere Aktionen betreffen, jeweils eine „0“ zugeordnet. Gibt die Streckennetzsimulation bei einer bestimmten Position einer Transporteinheit eine Bewegung zu einem bestimmten benachbarten Knoten vor, so wird diesem bestimmten Knoten das Attribut „1“ zugeordnet und allen anderen Knoten das Attribut „0“. Alternativ können bei einer Halteaktion an einer Haltestelle alle benachbarten Knoten das Attribut „0“ erhalten und das Attribut an dem Knoten, der der Haltestelle entspricht, an der sich die Transporteinheit befindet, auf einen Wert ungleich „0“ gesetzt werden, der eine entsprechende Aktion an der Haltestelle codiert, wie z.B. Halten zum Einsteigen, Parken, Warten auf einen bestimmten Benutzer oder dergleichen.A training data record consists of a route network state and an action of a specific transport unit for a specific time step. The action is correspondingly encoded as an attribute of an edge or a node of the graph network, the attribute corresponding to an action probability or a quality value of an action which relates to the edge or the relevant node. For the training, an action probability or a quality value of "1" is assigned to an attribute of an edge or node to which an action refers, and a "0" is assigned to the other attributes of an edge or node that relate to other actions “ assigned. If the route network simulation specifies a movement to a specific neighboring node at a specific position of a transport unit, this specific node is assigned the attribute "1" and all other nodes the attribute "0". Alternatively, in the case of a stopping action at a stop, all neighboring nodes can be given the attribute "0" and the attribute at the node corresponding to the stop at which the transport unit is located can be set to a value other than "0", which triggers a corresponding action coded at the stop, such as stopping to board, parking, waiting for a specific user, or the like.

Das Aktionsmodell kann in an sich bekannter Weise mit den Trainingsdatensätzen trainiert werden, insbesondere ist für das Trainingsverfahren die Berücksichtigung des Cross-Entropie-Loss sinnvoll.The action model can be trained in a manner known per se using the training data records; in particular, it makes sense to take the cross-entropy loss into account for the training method.

Claims

Computer-implementiertes Verfahren zum Ermitteln eines Aktionsplans für eine Transporteinheit (5) in einem Streckennetz (1) eines On-Demand-Transportsystems, mit folgenden Schritten: - Bestimmen eines aktuellen Streckennetzzustands eines Streckennetzes (1) abhängig von in dem Streckennetz befindlichen Transporteinheiten (5); - Bestimmen (S3) einer Aktion der Transporteinheit (5) abhängig von dem Streckennetzzustand mithilfe eines datenbasierten Aktionsmodells, wobei das Aktionsmodell trainiert ist, um abhängig von einem vorgegebenen Streckennetzzustand eine bevorzugte Aktion der Transporteinheit (5) anzugeben; - Ausführen (S4) der Aktion durch die Transporteinheit (5).Computer-implemented method for determining an action plan for a transport unit (5) in a route network (1) of an on-demand transport system, with the following steps: - Determining a current route network status of a route network (1) as a function of transport units (5) located in the route network; - Determining (S3) an action of the transport unit (5) depending on the route network state using a data-based action model, wherein the action model is trained to indicate a preferred action of the transport unit (5) depending on a predetermined route network state; - Execution (S4) of the action by the transport unit (5).

Verfahren nach Anspruch 1, wobei ein Aktionsplan für die Transporteinheit (5) ermittelt wird, in dem das datenbasierte Aktionsmodell auf den für den letzten Zeitschritt ermittelten Streckennetzzustand angewendet wird.procedure after claim 1 , An action plan for the transport unit (5) being determined, in which the data-based action model is applied to the route network state determined for the last time step.

Verfahren nach Anspruch 2, wobei zu jedem Zeitschritt Aktionspläne für mehrere Transporteinheiten (5) ermittelt werden, denen jeweils eine Aktion zuordenbar ist.procedure after claim 2 , where action plans for several transport units (5) are determined for each time step, each of which an action can be assigned.

Verfahren nach einem der Ansprüche 1-3, wobei das datenbasierte Aktionsmodell trainiert ist, um abhängig von dem vorgegebenen Streckennetzzustand Aktionswahrscheinlichkeiten bzw. Qualitätswerte anzugeben, wobei die dem bestimmten Zeitschritt zugeordnete Aktion der Aktion mit der höchsten Aktionswahrscheinlichkeit bzw. mit dem höchsten Qualitätswert zugeordnet wird.Procedure according to one of Claims 1 - 3 , wherein the data-based action model is trained to specify action probabilities or quality values depending on the specified route network state, the action associated with the specific time step being associated with the action with the highest action probability or with the highest quality value.

Verfahren nach einem der Ansprüche 1-4, wobei ein Betriebszustand der Transporteinheit (5) durch den aktuellen Streckennetzzustand angegeben wird.Procedure according to one of Claims 1 - 4 , wherein an operating state of the transport unit (5) is indicated by the current route network status.

Verfahren nach einem der Ansprüche 1-5, wobei eine Aktion einer Transporteinheit (5) ein Parken, ein Stoppen, ein Halten an einer Haltestelle zum Einsteigen einer vorbestimmten Person oder zum Beladen eines bestimmten Transportguts, ein Halten an einer Haltestelle (2) zum Aussteigen einer vorbestimmten Person oder zum Entladen eines bestimmten Transportguts und eine Bewegung einer Transporteinheit (5) entlang einer bestimmten Wegstrecke (4) umfasst.Procedure according to one of Claims 1 - 5 , wherein an action of a transport unit (5) is parking, stopping, stopping at a stop for boarding a predetermined person or for loading a specific item to be transported, stopping at a stop (2) for getting off a predetermined person or for unloading a specific Goods to be transported and a movement of a transport unit (5) along a certain route (4).

Verfahren nach einem der Ansprüche 1 bis 6, wobei der Streckennetzzustand als ein Streckennetzzustandsgraph und das Aktionsmodell als Graphennetzwerk angegeben wird, wobei der Streckennetzzustandsgraph Haltestellen (2) des Streckennetzes Knoten und Wegstrecken (4) Kanten zuweist, wobei die Streckennetzzustände als Attribute der Knoten und Kanten des Streckennetzzustandsgraphen angegeben werden, wobei insbesondere der Streckennetzzustandsgraph weiterhin eine Information angibt, für welche der Transporteinheiten (5) eine Aktion ermittelt werden soll.Procedure according to one of Claims 1 until 6 , the route network state being specified as a route network state graph and the action model as a graph network, the route network state graph assigning stops (2) of the route network to nodes and routes (4) to edges, the route network states being specified as attributes of the nodes and edges of the route network state graph, with in particular the Route network status graph also indicates information for which of the transport units (5) an action is to be determined.

Verfahren nach Anspruch 7, wobei das Aktionsmodell einen Aktionsgraphen ausgibt, dessen Knoten und Kanten jeweils eine Aktionswahrscheinlichkeit bzw. ein Qualitätswert zugeordnet werden, wobei sich die Aktion für die Transporteinheit (5) abhängig von den Aktionswahrscheinlichkeiten bzw. Qualitätswerten der Knoten und Kanten, insbesondere von den Aktionswahrscheinlichkeiten bzw. Qualitätswerten der Knoten und Kanten, die zu dem Knoten, dem die Position der Transporteinheit (5) zugeordnet ist, benachbart sind, ergibt.procedure after claim 7 , wherein the action model outputs an action graph whose nodes and edges are each assigned an action probability or a quality value, the action for the transport unit (5) depending on the action probabilities or quality values of the nodes and edges, in particular on the action probabilities or quality values of the nodes and edges that are adjacent to the node to which the position of the transport unit (5) is assigned.

Verfahren zum Trainieren eines datenbasierten Aktionsmodells, das als neuronales Graphennetzwerk, das ein zugrundeliegendes Streckennetz eines Transportsystems abbildet, ausgebildet ist, wobei das Aktionsmodell abhängig von Trainingsdatensätzen trainiert wird, die jeweils einen Streckennetzzustandsgraphen, der einen aktuellen Streckennetzzustand und einen Zustand einer Transporteinheit angibt, einen Aktionsgraphen zuordnet, der eine bevorzugte Aktion der betreffenden Transporteinheit in einem Streckennetz angibt.A method for training a data-based action model, which is designed as a neural graph network that maps an underlying route network of a transport system, the action model being trained depending on training data sets, each of which has a route network state graph that indicates a current route network state and a state of a transport unit, an action graph assigned, which indicates a preferred action of the relevant transport unit in a route network.

Vorrichtung (10) zum Ermitteln eines Aktionsplans für eine Transporteinheit (5) in einem Streckennetz (1) eines On-Demand-Transportsystems, wobei die Vorrichtung ausgebildet ist zum: - Bestimmen eines aktuellen Streckennetzzustands des Streckennetzes (1) abhängig von in dem Streckennetz (1) befindlichen Transporteinheiten (5); - Bestimmen einer Aktion der Transporteinheit (5) abhängig von dem Streckennetzzustand mithilfe eines datenbasierten Aktionsmodells, wobei das Aktionsmodell trainiert ist, um abhängig von einem vorgegebenen Streckennetzzustand eine bevorzugte Aktion der Transporteinheit (5) anzugeben; - Ausführen der Aktion durch die Transporteinheit (5).Device (10) for determining an action plan for a transport unit (5) in a route network (1) of an on-demand transport system, the device being designed for: - Determining a current route network status of the route network (1) as a function of transport units (5) located in the route network (1); - Determining an action of the transport unit (5) depending on the route network state using a data-based action model, the action model being trained to indicate a preferred action of the transport unit (5) depending on a predetermined route network state; - Execution of the action by the transport unit (5).

Transportsystem mit einem Streckennetz (1), mindestens einer Transporteinheit (5), die ausgebildet ist, sich entlang von Strecken des Streckennetzes (1) zu bewegen, und einer Vorrichtung (10) nach Anspruch 10.Transport system with a route network (1), at least one transport unit (5) which is designed to move along routes of the route network (1), and a device (10). claim 10 .

Computerprogramm mit Programmcodemitteln, das dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen, wenn das Computerprogramm auf einer Datenverarbeitungseinrichtung ausgeführt wird.Computer program with program code means that is set up to implement a method according to one of Claims 1 until 9 to be carried out when the computer program is executed on a data processing device.

Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 12.Machine-readable storage medium with a computer program stored on it claim 12 .