EP3655934B1 - Konzept zum überwachen eines parkraums - Google Patents

Konzept zum überwachen eines parkraums Download PDF

Info

Publication number
EP3655934B1
EP3655934B1 EP18731017.2A EP18731017A EP3655934B1 EP 3655934 B1 EP3655934 B1 EP 3655934B1 EP 18731017 A EP18731017 A EP 18731017A EP 3655934 B1 EP3655934 B1 EP 3655934B1
Authority
EP
European Patent Office
Prior art keywords
motor vehicle
region
environmental sensor
area
freely used
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18731017.2A
Other languages
English (en)
French (fr)
Other versions
EP3655934A1 (de
Inventor
Stefan Nordbruch
Andreas Lehn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3655934A1 publication Critical patent/EP3655934A1/de
Application granted granted Critical
Publication of EP3655934B1 publication Critical patent/EP3655934B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/042—Detecting movement of traffic to be counted or controlled using inductive or magnetic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/147—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is within an open public zone, e.g. city centre

Definitions

  • the invention relates to a method and a device for monitoring a parking space.
  • the invention also relates to a parking space.
  • the invention also relates to a computer program.
  • Parking spaces in which motor vehicles drive in a highly automated manner are usually monitored by environment sensors in order, for example, to determine whether there are obstacles on a planned target trajectory for the motor vehicles.
  • the disclosure document DE 10 2015 208 058 A1 discloses a method for determining a position of a motor vehicle on a traffic area of a parking lot.
  • the object on which the invention is based is to be seen in providing a concept for the efficient monitoring of a parking space.
  • a parking space comprising the device for monitoring a parking space, the plurality of surroundings sensor devices being arranged in a stationary manner within the parking space in order to monitor a common area of the parking space.
  • a computer program which comprises program code for performing the method for monitoring a parking space when the computer program is executed on a computer, for example on the processor of the device for monitoring a parking space.
  • the invention is based on the knowledge that the above object can be achieved by stipulating that the area cannot be freely driven by a motor vehicle if all of the environment sensor devices monitoring the area recognize that the area cannot be freely driven by a motor vehicle is.
  • the environment sensor devices available today have a high detection quality, so that it can be assumed with a high degree of probability that the area is only occupied, i.e. not freely accessible by a motor vehicle, if all the environment sensor devices recognize the area as occupied.
  • the technical advantage is brought about that a number of false positive free space detections can be kept small.
  • Positive means that there is free space, that is, that the area is freely accessible for a motor vehicle.
  • false-positive means that there is free space, but the environment sensor device has incorrectly recognized no free space.
  • the technical advantage is brought about that a concept for efficient monitoring of a parking space is provided.
  • the determination based on the respective environment sensor data as to whether the area is freely drivable by a motor vehicle comprises a search for a free space within the area that is drivable by the motor vehicle.
  • a result of the corresponding determination includes, for example, the information that a free space is present or that a free space is not present.
  • the determination based on the respective environment sensor data as to whether the area is freely accessible by a motor vehicle includes a search for a potential collision object within the area.
  • one or more objects that are located or are located within the area are searched for.
  • a corresponding result of the determination includes, for example, that one or more objects were found or that no objects or no objects were found.
  • a result therefore includes, in particular, the information that one or more objects are present within the area or that there are no or no objects with which a motor vehicle could collide within the area.
  • steps a) and b), for example steps a) to c), are repeated several times in succession, it being determined whether there were respective different results for each repetition, and if so, it is determined that an error has occurred.
  • the area is blocked from driving motor vehicles if it is determined that an error has occurred.
  • motor vehicles that drive within the parking space in the direction of the area or that are already driving within the area are stopped or that a stop signal is output to these motor vehicles if it is determined that an error has occurred.
  • an at least partially automated, for example highly automated, in particular autonomous, motor vehicle is switched on Remote control command sent, wherein the remote control command specifies that the motor vehicle should stop.
  • the remote control command is sent to the motor vehicle, for example, via a wireless communication network, for example a WLAN communication network and / or a cellular network.
  • a first environment sensor device of the plurality of environment sensor devices comprises a lidar sensor, so that the respective environment sensor data of the first environment sensor device are lidar data, and wherein a second environment sensor device of the plurality of environment sensor devices is a stereo camera or a mono camera, so that the respective environment sensor data is stereo image data or Are mono image data.
  • the multiple environment sensor devices each include one or more of the following environment sensors: radar sensor, lidar sensor, video sensor, in particular video sensor of a stereo camera or a mono camera, ultrasonic sensor, infrared sensor and magnetic sensor.
  • the multiple surroundings sensor devices are each designed differently.
  • the plurality of surroundings sensor devices are designed identically.
  • the device for monitoring a parking space is designed or set up to execute or carry out the method for monitoring a parking space.
  • the method for monitoring a parking space is implemented or executed by means of the device for monitoring a parking space.
  • the plurality of surroundings sensor devices are arranged in a stationary manner within the parking space.
  • the multiple surroundings sensor devices are statically arranged within the parking space.
  • the multiple surroundings sensor devices monitor a common area of the parking space.
  • the multiple surroundings sensor devices are each arranged on an infrastructure element of the parking space.
  • An infrastructure element is, for example, one of the following infrastructure elements: wall, ceiling, floor, archway, column, door, barrier, roadway.
  • FIG. 8 shows a flowchart of a method for monitoring a parking space using multiple surroundings sensor devices, the multiple surroundings sensor devices being arranged in a stationary manner within the parking space and monitoring a common area of the parking space.
  • exactly two environment sensor devices are provided for monitoring the area, which are referred to below as a first and a second environment sensor device.
  • the concept can, however, also be expanded to include more than two surroundings sensor devices.
  • the method starts at block 100.
  • the method then ends at block 115.
  • the method starts again at block 100 after block 115 has been reached.
  • the extension includes stipulating that the area cannot be freely driven by a motor vehicle only if all the respective results indicate that the area is not freely driven by a motor vehicle so that in the case of different results or if all of the results specify that the area is freely drivable by a motor vehicle, it is established that the area is freely drivable by a motor vehicle.
  • Fig. 2 shows a device 201 for monitoring a parking space.
  • Fig. 3 shows a parking space 301.
  • the parking space 301 comprises the device 201 according to FIG Fig. 2 .
  • the multiple surroundings sensor devices 203, 205 are arranged in a stationary manner within the parking space 301 in order to monitor a common area of the parking space 301.
  • the parking space 301 comprises, for example, several parking spaces for motor vehicles.
  • the multiple surroundings sensor devices 203, 205 are each arranged on an infrastructure element of the parking space 301.
  • An infrastructure element is, for example, one of the following infrastructure elements: wall, ceiling, floor, archway, column, door, barrier, roadway.
  • the concept according to the invention is based, among other things, on the use of the following algorithm: If one of the plurality of surroundings sensor devices already recognizes that the area is freely drivable for a motor vehicle, then the overall result established is that the area is freely drivable for a motor vehicle. This also applies if the remaining surroundings sensor devices do not recognize any free space.
  • the high detection quality is due, among other things, to the fact that the environment sensor devices are arranged in a stationary manner within the parking space, so that they always detect or monitor a known and manageable environment. For example, the environment sensor devices monitor an area with a maximum area of 10 m ⁇ 10 m.
  • the empty area is measured once, that is to say precisely when it is known that there are no motor vehicles within the area.
  • the surroundings sensor data corresponding to this detection are used, for example, as a reference, which is compared with the surroundings sensor data then obtained during operation of the parking space in order to identify whether the area is free or not.
  • the detection areas for example what and how do the environment sensor devices look, and the changes in the environment, for example due to light or motor vehicle movements, mostly known.
  • the surroundings sensor devices are therefore, in particular, statically attached within the parking space.
  • a search is made for objects within the area with which motor vehicles could potentially collide. If no object can be recognized here, this means, conversely, that the area can be freely driven into by a motor vehicle.
  • the determined results are provided with a measurement error.
  • the measurement error is, for example, a probability or inaccuracy.
  • probabilities or inaccuracies are, for example, the following: “perhaps free”, “80% free”, “60% not free”, “unknown”, “free with a predetermined percentage”, “not free with a predetermined percentage”.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Überwachen eines Parkraums. Die Erfindung betrifft ferner einen Parkraum. Die Erfindung betrifft des Weiteren ein Computerprogramm.
    • Stand der Technik
  • Parkräume, innerhalb welchen Kraftfahrzeuge hochautomatisiert fahren, werden in der Regel durch Umfeldsensoren überwacht, um beispielsweise zu ermitteln, ob es Hindernisse auf einer geplanten Soll-Trajektorie für die Kraftfahrzeuge gibt.
  • Es besteht ein Bedarf für eine zuverlässige Erkennung, ob ein Fahrweg für die Kraftfahrzeuge frei sind, bei gleichzeitiger hoher Verfügbarkeit. Das heißt, die Anzahl der falsch-negativen Objektdetektionen sollte möglichst kleingehalten werden. Negativ bedeutet hier, dass kein Objekt vorhanden ist. Falsch-negativ bedeutet insofern, dass kein Objekt vorhanden ist, aber der Umfeldsensor fälschlicherweise ein Objekt erkannt hat.
  • Die Offenlegungsschrift DE 10 2015 208 058 A1 offenbart ein Verfahren zum Bestimmen einer Position eines Kraftfahrzeugs auf einer Verkehrsfläche eines Parkplatzes.
  • Die Patentschrift US 5 173 692 A offenbart ein Verfahren zum Detektieren von Fahrzeugen unter Verwendung von zwei Ultraschallsensoren.
    • Offenbarung der Erfindung
  • Die der Erfindung zugrunde liegende Aufgabe ist darin zu sehen, ein Konzept zum effizienten Überwachen eines Parkraums bereitzustellen.
  • Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
  • Nach einem Aspekt wird ein Verfahren zum Überwachen eines Parkraums unter Verwendung von mehreren Umfeldsensoreinrichtungen, wobei die mehreren Umfeldsensoreinrichtungen innerhalb des Parkraums stationär angeordnet sind und einen gemeinsamen Bereich des Parkraums überwachen, umfassend die folgenden Schritte:
    1. a) jeweiliges Erfassen des Bereichs mittels der mehreren Umfeldsensoreinrichtungen, um jeweilige Umfeldsensordaten zu ermitteln,
    2. b) jeweiliges Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein jeweiliges Ergebnis zu erhalten,
    3. c) Festlegen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, so dass bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festgelegt wird, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Gemäß einem weiteren Aspekt wird eine Vorrichtung zum Überwachen eines Parkraums, umfassend:
    • mehrere Umfeldsensoreinrichtungen zum jeweiligen Erfassen eines Bereichs des Parkraums, um jeweilige Umfeldsensordaten zu ermitteln,
    • einen Prozessor zum Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein jeweiliges Ergebnis zu erhalten, und
    • wobei der Prozessor ausgebildet ist, festzulegen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist,
    • wobei der Prozessor ausgebildet ist, bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festzulegen, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Nach einem anderen Aspekt wird ein Parkraum bereitgestellt, umfassend die Vorrichtung zum Überwachen eines Parkraums, wobei die mehreren Umfeldsensoreinrichtungen innerhalb des Parkraums stationär angeordnet sind, um einen gemeinsamen Bereich des Parkraums zu überwachen.
  • Nach einem anderen Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode zur Durchführung des Verfahrens zum Überwachen eines Parkraums umfasst, wenn das Computerprogramm auf einem Computer, beispielsweise auf dem Prozessor der Vorrichtung zum Überwachen eines Parkraums, ausgeführt wird.
  • Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe dadurch gelöst werden kann, dass nur dann festgelegt wird, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, wenn alle den Bereich überwachende Umfeldsensoreinrichtungen erkennen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist.
  • Das heißt also, dass, wenn nur eine der Umfeldsensoreinrichtungen erkennt, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, weiter davon ausgegangen wird, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Üblicherweise ist es so, dass heute verfügbare Umfeldsensoreinrichtungen eine hohe Detektionsgüte aufweisen, sodass mit hoher Wahrscheinlichkeit davon ausgegangen werden kann, dass der Bereich nur dann belegt ist, also nicht durch ein Kraftfahrzeug frei befahrbar ist, wenn alle Umfeldsensoreinrichtungen den Bereich als belegt erkennen.
  • Dadurch wird also beispielsweise der technische Vorteil bewirkt, dass eine Anzahl an falsch-negativen Objektdetektionen kleingehalten werden kann. Negativ bedeutet hier, dass kein Objekt vorhanden ist. Falsch-negativ bedeutet insofern, dass kein Objekt vorhanden ist, aber die Umfeldsensoreinrichtung fälschlicherweise ein Objekt erkannt hat.
  • Beispielsweise wird der technische Vorteil bewirkt, dass eine Anzahl an falschpositiven Freiraumdetektionen kleingehalten werden kann. Positiv bedeutet hier, dass ein Freiraum vorhanden ist, also, dass der Bereich für ein Kraftfahrzeug frei befahrbar ist. Falsch-positiv bedeutet insofern, dass ein Freiraum vorhanden ist, aber die Umfeldsensoreinrichtung hat fälschlicherweise keinen Freiraum erkannt.
  • Somit wird also insbesondere der technische Vorteil bewirkt, ein Konzept zum effizienten Überwachen eines Parkraums bereitgestellt wird.
  • Nach einer Ausführungsform ist vorgesehen, dass das Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, ein Suchen nach einem freien Raum innerhalb des Bereichs umfasst, der durch das Kraftfahrzeug befahrbar ist.
  • Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Ermitteln, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, effizient durchgeführt werden kann.
  • Gemäß dieser Ausführungsform ist also vorgesehen, dass nach einem freien Raum (Freiraum) gesucht wird. Ein Ergebnis des entsprechenden Ermitteins umfasst beispielsweise die Angabe, dass ein Freiraum vorhanden ist respektive dass ein Freiraum nicht vorhanden ist.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, ein Suchen nach einem potentiellen Kollisionsobjekt innerhalb des Bereichs umfasst.
  • Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass das Ermitteln, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, effizient durchgeführt werden kann.
  • Gemäß dieser Ausführungsform ist also vorgesehen, dass nach einem oder mehreren Objekten (Kollisionsobjekt), das respektive die sich innerhalb des Bereichs befindet respektive befinden, gesucht wird. Ein entsprechendes Ergebnis des Ermitteins umfasst beispielsweise, dass ein oder mehrere Objekte gefunden wurden respektive dass kein oder keine Objekte gefunden wurden. Ein Ergebnis umfasst also insbesondere die Angabe, dass innerhalb des Bereichs ein oder mehrere Objekte vorhanden sind respektive dass innerhalb des Bereichs kein oder keine Objekte vorhanden sind, mit denen ein Kraftfahrzeug kollidieren könnte.
  • Gemäß einer weiteren Ausführungsform ist vorgesehen, dass die Schritte a) und b), beispielsweise die Schritte a) bis c), nacheinander mehrmals wiederholt werden, wobei ermittelt wird, ob es je Wiederholung jeweilige unterschiedliche Ergebnisse gab, wobei, wenn ja, festgelegt wird, dass ein Fehler aufgetreten ist.
  • Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass effizient ermittelt werden kann, ob beispielsweise eine der mehreren Umfeldsensoreinrichtungen eine Fehlfunktion aufweist. Dies deshalb, da die Wahrscheinlichkeit, dass fehlerfrei funktionierende Umfeldsensoreinrichtungen mehrmals unterschiedliche Ergebnisse liefern, gering ist. Wenn also mehrmals unterschiedliche Ergebnisse seitens der Umfeldsensoreinrichtungen vorliegen, so ist dies ein starkes Indiz dafür, dass ein Fehler aufgetreten ist.
  • Beispielsweise ist gemäß einer Ausführungsform vorgesehen, dass der Bereich für ein Befahren von Kraftfahrzeugen gesperrt wird, wenn festgelegt wird, dass ein Fehler aufgetreten ist.
  • Gemäß einer Ausführungsform ist vorgesehen, dass Kraftfahrzeuge, die innerhalb des Parkraums in Richtung des Bereichs fahren respektive die bereits innerhalb des Bereichs fahren, angehalten werden respektive diesen Kraftfahrzeugen ein Haltesignal ausgegeben wird, wenn festgelegt wird, dass ein Fehler aufgetreten ist.
  • Beispielsweise wird an ein zumindest teilautomatisiert, beispielsweise hochautomatisiert, insbesondere autonom, fahrendes Kraftfahrzeug ein Fernsteuerungsbefehl gesendet, wobei der Fernsteuerungsbefehl vorgibt, dass das Kraftfahrzeug anhalten soll. Der Fernsteuerungsbefehl wird zum Beispiel über ein drahtloses Kommunikationsnetzwerk, zum Beispiel ein WLAN-Kommunikationsnetzwerk und/oder ein Mobilfunknetz, an das Kraftfahrzeug gesendet.
  • In einer Ausführungsform ist vorgesehen, dass eine erste Umfeldsensoreinrichtung der mehreren Umfeldsensoreinrichtungen einen Lidarsensor umfasst, so dass die jeweiligen Umfeldsensordaten der ersten Umfeldsensoreinrichtung Lidardaten sind, und wobei eine zweite Umfeldsensoreinrichtung der mehreren Umfeldsensoreinrichtungen eine Stereokamera oder eine Monokamera ist, so dass die jeweiligen Umfeldsensordaten Stereobilddaten oder Monobilddaten sind.
  • Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass eine effiziente Überwachung des Bereichs ermöglicht ist.
  • Gemäß einer anderen Ausführungsform ist vorgesehen, dass die mehreren Umfeldsensoreinrichtungen jeweils einen oder mehrere der folgenden Umfeldsensoren umfasst: Radarsensor, Lidarsensor, Videosensor, insbesondere Videosensor einer Stereokamera oder einer Monokamera, Ultraschallsensor, Infrarotsensor und Magnetsensor.
  • Gemäß einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen jeweils unterschiedlich ausgebildet.
  • Gemäß einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen gleich ausgebildet.
  • In einer Ausführungsform ist vorgesehen, dass die Vorrichtung zum Überwachen eines Parkraums ausgebildet oder eingerichtet ist, das Verfahren zum Überwachen eines Parkraums auszuführen oder durchzuführen.
  • Gemäß einer Ausführungsform ist vorgesehen, dass das Verfahren zum Überwachen eines Parkraums mittels der Vorrichtung zum Überwachen eines Parkraums aus- oder durchgeführt wird.
  • Technische Funktionalitäten der Vorrichtung zum Überwachen eines Parkraums ergeben sich analog aus entsprechenden technischen Funktionalitäten des Verfahrens zum Überwachen eines Parkraums.
  • Das heißt also, dass sich Vorrichtungsmerkmale unmittelbar aus entsprechenden Verfahrensmerkmalen und umgekehrt ergeben.
  • Nach einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen innerhalb des Parkraums stationär angeordnet.
  • In einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen innerhalb des Parkraums statisch angeordnet.
  • Nach einer Ausführungsform überwachen die mehreren Umfeldsensoreinrichtungen einen gemeinsamen Bereich des Parkraums.
  • In einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen jeweils an einem Infrastrukturelement des Parkraums angeordnet.
  • Ein Infrastrukturelement ist beispielsweise eines der folgenden Infrastrukturelemente: Wand, Decke, Boden, Torbogen, Säule, Tür, Schranke, Fahrbahn.
  • Die Formulierung "respektive" umfasst insbesondere die Formulierung "und/oder".
  • Die Erfindung wird im Folgenden anhand von bevorzugten Ausführungsbeispielen näher erläutert. Hierbei zeigen
    • Fig. 1
    ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Parkraums,
    Fig. 2
    eine Vorrichtung zum Überwachen eines Parkraums und
    Fig. 3
    einen Parkraum.
  • Fig. 1 zeigt ein Ablaufdiagramm eines Verfahrens zum Überwachen eines Parkraums unter Verwendung von mehreren Umfeldsensoreinrichtungen, wobei die mehreren Umfeldsensoreinrichtungen innerhalb des Parkraums stationär angeordnet sind und einen gemeinsamen Bereich des Parkraums überwachen.
  • Gemäß diesem Ausführungsbeispiel sind genau zwei Umfeldsensoreinrichtungen zur Überwachung des Bereichs vorgesehen, die nachfolgend als eine erste und als eine zweite Umfeldsensoreinrichtung bezeichnet werden. Das Konzept kann aber auch auf mehr als zwei Umfeldsensoreinrichtungen erweitert werden.
  • Das Verfahren startet beim Block 100.
  • Es folgen dann die folgenden Schritte:
    • Erfassen 101 des Bereichs mittels der ersten Umfeldsensoreinrichtung, um erste Umfeldsensordaten zu ermitteln,
    • Erfassen 103 des Bereichs mittels der zweiten Umfeldsensoreinrichtung, um zweite Umfeldsensordaten zu ermitteln,
    • Ermitteln 105 basierend auf den ersten Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein erstes Ergebnis zu erhalten,
    • Ermitteln 107 basierend auf den zweiten Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein zweites Ergebnis zu erhalten, Prüfen 109, ob beide Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug befahrbar ist,
    • Festlegen 111, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn beide Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, so dass bei unterschiedlichen Ergebnissen oder wenn beide Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festgelegt 113 wird, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Das Verfahren endet dann beim Block 115.
  • In einer Ausführungsform ist vorgesehen, dass das Verfahren nach Erreichen des Blocks 115 wieder beim Block 100 startet.
  • Sofern mehr als zwei Umfeldsensoreinrichtungen zur Überwachung des Bereichs vorgesehen sind, so umfasst die Erweiterung, ein Festlegen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, so dass bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festgelegt wird, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Fig. 2 zeigt eine Vorrichtung 201 zum Überwachen eines Parkraums.
  • Die Vorrichtung 201 umfasst:
    • mehrere Umfeldsensoreinrichtungen 203, 205 (Im vorliegenden Ausführungsbeispiel sind eine erste Umfeldsensoreinrichtung 203 und eine zweite Umfeldsensoreinrichtung 205 schematisch dargestellt.) zum jeweiligen Erfassen eines Bereichs des Parkraums, um jeweilige Umfeldsensordaten zu ermitteln,
    • einen Prozessor 207 zum Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein jeweiliges Ergebnis zu erhalten, und
    • wobei der Prozessor 207 ausgebildet ist, festzulegen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist,
    • wobei der Prozessor 207 ausgebildet ist, bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festzulegen, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Fig. 3 zeigt einen Parkraum 301.
  • Der Parkraum 301 umfasst die Vorrichtung 201 gemäß Fig. 2.
  • Die mehreren Umfeldsensoreinrichtungen 203, 205 sind innerhalb des Parkraums 301 stationär angeordnet, um einen gemeinsamen Bereich des Parkraums 301 zu überwachen.
  • Der Parkraum 301 umfasst beispielsweise mehrere Stellplätze für Kraftfahrzeuge.
  • In einer Ausführungsform sind die mehreren Umfeldsensoreinrichtungen 203, 205 jeweils an einem Infrastrukturelement des Parkraums 301 angeordnet.
  • Ein Infrastrukturelement ist beispielsweise eines der folgenden Infrastrukturelemente: Wand, Decke, Boden, Torbogen, Säule, Tür, Schranke, Fahrbahn.
  • Zusammenfassend basiert das erfindungsgemäße Konzept unter anderem auf der Verwendung von folgendem Algorithmus:
    Wenn bereits eine der mehreren Umfeldsensoreinrichtungen erkennt, dass der Bereich für ein Kraftfahrzeug frei befahrbar ist, dann wird als Gesamtergebnis festgelegt, dass der Bereich für ein Kraftfahrzeug frei befahrbar ist. Dies gilt auch dann, wenn die restlichen Umfeldsensoreinrichtungen keinen Freiraum erkennen.
  • Wenn alle Umfeldsensoreinrichtung erkennen, dass der Bereich für ein Kraftfahrzeug frei befahrbar ist, dann wird als Gesamtergebnis festgelegt, dass der Bereich für ein Kraftfahrzeug frei befahrbar ist.
  • Nur wenn alle Umfeldsensoreinrichtungen erkennen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, dann wird als Gesamtergebnis festgelegt, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist.
  • Dadurch wird also in vorteilhafter Weise eine hohe Sicherheit bei gleichzeitiger hoher Verfügbarkeit für zumindest teilautomatisiert, insbesondere hochautomatisiert, beispielsweise autonom, fahrende Kraftfahrzeuge gewährleistet.
  • Das heißt also, dass ein Gesamtergebnis nur dann vorgibt, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, wenn alle Umfeldsensoreinrichtungen, die den Bereich überwachen, ein "nicht frei" zurückgeben oder zurückmelden, also wenn alle Umfeldsensoreinrichtungen keinen Freiraum erkennen.
  • Hier wird davon ausgegangen, dass aufgrund der hohen Detektionsgüte jeder einzelnen Umfeldsensoreinrichtung davon ausgegangen werden kann, dass der Bereich nur dann belegt ist, also nicht durch ein Kraftfahrzeug frei befahrbar ist, wenn alle Umfeldsensoreinrichtungen erkennen oder zurückmelden, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist.
  • Die hohe Detektionsgüte liegt unter anderem darin begründet, dass die Umfeldsensoreinrichtungen stationär innerhalb des Parkraums angeordnet sind, sodass sie stets ein bekanntes und überschaubares Umfeld erfassen respektive überwachen. Beispielsweise überwachen die Umfeldsensoreinrichtungen einen Bereich mit einer Fläche von maximal 10 m x 10 m.
  • Beispielsweise ist vorgesehen, dass der leere Bereich einmal vermessen wird, also genau dann, wenn bekannt ist, dass sich innerhalb des Bereichs keine Kraftfahrzeuge befinden.
  • Die dieser Erfassung entsprechenden Umfeldsensordaten werden beispielsweise als Referenz verwendet werden, die im Betrieb des Parkraums mit dann erhaltenen Umfeldsensordaten verglichen wird, um zu erkennen, ob der Bereich frei oder nicht ist.
  • Das heißt also, dass die Erfassungsbereiche, also beispielsweise auf was und wie blicken die Umfeldsensoreinrichtungen, und die Veränderungen der Umgebung, beispielsweise durch Licht oder Kraftfahrzeugbewegungen, größtenteils bekannt sind. Dies beispielsweise durch Referenzmessungen, also durch Messungen, die durchgeführt werden, wenn der Bereich des Parkraums nicht durch Kraftfahrzeuge befahren wird, wenn der Bereich also frei ist.
  • Es ist also beispielsweise bekannt, wie der Bereich aussieht, wenn sich innerhalb des Bereichs keine Kraftfahrzeuge befinden. Beispielsweise ist bekannt, wie sich der Bereich im Laufe des Tages respektive des Jahres ändert, wobei diese Veränderungen beispielsweise durch unterschiedliche Beleuchtungen resultieren können.
  • Dies ist deshalb möglich, da die Umfeldsensoreinrichtungen innerhalb des Parkraums stationär angeordnet sind und somit stets einen festen Bereich erfassen.
  • Die Umfeldsensoreinrichtungen sind also insbesondere statisch innerhalb des Parkraums befestigt.
  • Nach einer Ausführungsform ist vorgesehen, dass zusätzlich oder anstelle zu einer Suche nach einem Freiraum nach Objekten innerhalb des Bereichs gesucht wird, mit denen Kraftfahrzeuge potenziell kollidieren könnten. Wenn hier kein Objekt erkannt werden kann, so bedeutet dies im Umkehrschluss, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  • Die ermittelten Ergebnisse werden gemäß einer Ausführungsform mit einem Messfehler versehen. Der Messfehler ist beispielsweise eine Wahrscheinlichkeit respektive Ungenauigkeit. Solche Wahrscheinlichkeiten respektive Ungenauigkeiten sind beispielsweise die folgenden: "vielleicht frei", "zu 80% frei", "zu 60% nicht frei", "unbekannt", "frei mit einem vorbestimmten Prozentwert", "nicht frei mit einem vorbestimmten Prozentwert".
  • In einer Ausführungsform ist vorgesehen, dass bei Wiederholungen von nicht gleichen Ergebnissen festgelegt wird, dass ein Fehler aufgetreten ist.
  • Dadurch wird zum Beispiel der technische Vorteil bewirkt, dass auf eine solche Situation effizient reagiert werden kann. Das heißt also insbesondere, dass beispielsweise ein nicht nachvollziehbares Ergebnis vorliegen kann.
  • Als Maßnahmen, wenn ein solcher Fehler auftritt, ist beispielsweise vorgesehen, dass ein Servicepersonal respektive ein Mitarbeiter des Parkraums zu den Umfeldsensoreinrichtungen geschickt wird, damit er diese kontrollieren kann respektive damit er die Situation kontrollieren kann.
  • Beispielsweise ist vorgesehen, dass, wenn ein solcher Fehler aufgetreten ist, Kraftfahrzeuge gehindert werden, weiterzufahren, respektive Kraftfahrzeuge angehalten werden, beispielsweise mittels eines Sendes des vorstehend beschriebenen Fernsteuerungsbefehls.

Claims (8)

  1. Verfahren zum Überwachen eines Parkraums (301) unter Verwendung von mehreren Umfeldsensoreinrichtungen (203, 205), wobei die mehreren Umfeldsensoreinrichtungen (203, 205) innerhalb des Parkraums (301) stationär angeordnet sind und einen gemeinsamen Bereich des Parkraums (301) überwachen, umfassend die folgenden Schritte:
    a) jeweiliges Erfassen (101, 103) des Bereichs mittels der mehreren Umfeldsensoreinrichtungen (203, 205), um jeweilige Umfeldsensordaten zu ermitteln,
    b) jeweiliges Ermitteln (105, 107) basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein jeweiliges Ergebnis zu erhalten,
    c) Festlegen (111), dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, so dass bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festgelegt (113) wird, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  2. Verfahren nach Anspruch 1, wobei das Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, ein Suchen nach einem freien Raum innerhalb des Bereichs umfasst, der durch das Kraftfahrzeug befahrbar ist.
  3. Verfahren nach Anspruch 1 oder 2, wobei das Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, ein Suchen nach einem potentiellen Kollisionsobjekt innerhalb des Bereichs umfasst.
  4. Verfahren nach einem der vorherigen Ansprüche, wobei die Schritte a) und b) nacheinander mehrmals wiederholt werden, wobei ermittelt wird, ob es je Wiederholung jeweilige unterschiedliche Ergebnisse gab, wobei, wenn ja, festgelegt wird, dass ein Fehler aufgetreten ist.
  5. Verfahren nach einem der vorherigen Ansprüche, wobei eine erste Umfeldsensoreinrichtung (203) der mehreren Umfeldsensoreinrichtungen (203, 205) einen Lidarsensor umfasst, so dass die jeweiligen Umfeldsensordaten der ersten Umfeldsensoreinrichtung (203) Lidardaten sind, und wobei eine zweite Umfeldsensoreinrichtung (205) der mehreren Umfeldsensoreinrichtungen (203, 205) eine Stereokamera oder eine Monokamera ist, so dass die jeweiligen Umfeldsensordaten Stereobilddaten oder Monobilddaten sind.
  6. Vorrichtung (201) zum Überwachen eines Parkraums (301), umfassend:
    - mehrere Umfeldsensoreinrichtungen (203, 205) zum jeweiligen Erfassen eines Bereichs des Parkraums (301), um jeweilige Umfeldsensordaten zu ermitteln,
    - einen Prozessor (207) zum Ermitteln basierend auf den jeweiligen Umfeldsensordaten, ob der Bereich durch ein Kraftfahrzeug frei befahrbar ist, um ein jeweiliges Ergebnis zu erhalten, und
    - wobei der Prozessor (207) ausgebildet ist, festzulegen, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist, nur dann, wenn alle jeweiligen Ergebnisse vorgeben, dass der Bereich nicht durch ein Kraftfahrzeug frei befahrbar ist,
    - wobei der Prozessor (207) ausgebildet ist, bei unterschiedlichen Ergebnissen oder wenn alle Ergebnisse jeweils vorgeben, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist, festzulegen, dass der Bereich durch ein Kraftfahrzeug frei befahrbar ist.
  7. Parkraum, umfassend die Vorrichtung nach Anspruch 6, wobei die mehreren Umfeldsensoreinrichtungen (203, 205) innerhalb des Parkraums (301) stationär angeordnet sind, um einen gemeinsamen Bereich des Parkraums (301) zu überwachen.
  8. Computerprogramm, umfassend Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, wenn das Computerprogramm auf einem Computer ausgeführt wird.
EP18731017.2A 2017-07-19 2018-06-06 Konzept zum überwachen eines parkraums Active EP3655934B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017212374.5A DE102017212374A1 (de) 2017-07-19 2017-07-19 Konzept zum Überwachen eines Parkraums
PCT/EP2018/064887 WO2019015849A1 (de) 2017-07-19 2018-06-06 Konzept zum überwachen eines parkraums

Publications (2)

Publication Number Publication Date
EP3655934A1 EP3655934A1 (de) 2020-05-27
EP3655934B1 true EP3655934B1 (de) 2021-12-22

Family

ID=62599565

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18731017.2A Active EP3655934B1 (de) 2017-07-19 2018-06-06 Konzept zum überwachen eines parkraums

Country Status (3)

Country Link
EP (1) EP3655934B1 (de)
DE (1) DE102017212374A1 (de)
WO (1) WO2019015849A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114512019B (zh) * 2021-12-30 2023-06-27 浙江创泰科技有限公司 一种智能停车识别群控方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5173692A (en) * 1990-08-13 1992-12-22 Ai Computer Services, Inc. System and method of vehicle detection
US6426708B1 (en) * 2001-06-30 2002-07-30 Koninklijke Philips Electronics N.V. Smart parking advisor
DE102006044002A1 (de) * 2006-09-19 2008-03-27 Siemens Ag Parkleitsystem
DE102010013878A1 (de) * 2010-02-16 2011-08-18 Niechoj electronic GmbH, 88085 Fahrbahnintegrierter Radarsensor
DE102011075412A1 (de) * 2011-05-06 2012-11-08 Deutsche Telekom Ag Verfahren und System zum Erfassen einer statischen Szene, zum Bestimmen von Rohereignissen und zum Erkennen von freien Flächen in einem Beobachtungsgebiet
US9852629B2 (en) * 2013-07-09 2017-12-26 Philips Lighting Holding B.V. Methods and systems for tracking a vehicle's position using a plurality of light sensors
DE102015201810A1 (de) * 2015-02-03 2016-08-04 Siemens Aktiengesellschaft Verkehrsüberwachungssystem zur Überwachung einer Verkehrsfläche
DE102015208058B4 (de) * 2015-04-30 2017-06-29 Robert Bosch Gmbh Automatisiertes Parksystem

Also Published As

Publication number Publication date
EP3655934A1 (de) 2020-05-27
WO2019015849A1 (de) 2019-01-24
DE102017212374A1 (de) 2019-01-24

Similar Documents

Publication Publication Date Title
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
WO2020200792A1 (de) Verfahren zur überprüfung eines umfelderfassungssensors eines fahrzeugs und verfahren zum betrieb eines fahrzeugs
WO2018145951A1 (de) Verfahren zum koordinieren eines verkehrs mehrerer kraftfahrzeuge innerhalb eines vorbestimmten infrastrukturbereichs sowie servervorrichtung, kraftfahrzeug und system
EP3545507B1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
WO2021121695A1 (de) Verfahren, vorrichtung und system zur detektion von anomalen betriebszuständen eines geräts
EP3271231A1 (de) Verfahren und vorrichtung zum überwachen einer von einem fahrzeug abzufahrenden soll-trajektorie auf kollisionsfreiheit
DE102016224351A1 (de) Konzept zum Prüfen eines Sensorsystems zum Erfassen eines Belegungszustands eines Stellplatzes auf Fehler
DE102015211053A1 (de) Steuerung eines Parkplatzsensors
DE102014210752A1 (de) Verfahren und Vorrichtung zum Überwachen einer Solltrajektorie eines Fahrzeugs
EP3511920B1 (de) Parkassistenzsystem mit entfernter konfiguration eines lokalen neuronalen netzes
DE102015217385B4 (de) Verfahren und Vorrichtung zum Bestimmen, ob sich im Umfeld eines innerhalb eines Parkplatzes befindlichen Kraftfahrzeugs ein Objekt befindet
EP3655934B1 (de) Konzept zum überwachen eines parkraums
DE102018201111B4 (de) Verfahren zur Überwachung zumindest eines Parkplatzes auf Verfügbarkeit sowie System zum Durchführen des Verfahrens
EP3802257A1 (de) Steuerung eines kraftfahrzeugs
DE102019218078B4 (de) Bestimmung eines Sachverhalts im Umfeld eines Kraftfahrzeugs
DE102019211459B4 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
DE102016009199B4 (de) Verfahren zum Betreiben einer Datenerfassungseinheit zum Erfassen von mindestens einem Steuerungsereignis einer Steuerungvorrichtung eines Kraftfahrzeugs sowie eine Datenerfassungseinheit und eine Datenverarbeitungseinheit
EP3847592B1 (de) Anordnung und verfahren zur steuerung einer vorrichtung
EP3425610B1 (de) Verfahren und system zur erfassung von fahrzeugen auf einer parkplatzfläche
EP3644582B1 (de) Verfahren, vorrichtung und zentraleinrichtung zum erkennen einer verteilungsverschiebung in einer daten- und/oder merkmalsverteilung von eingangsdaten
DE102016224304A1 (de) Verfahren und Vorrichtung zur Ansteuerung eines Lidar-Sensors
EP3258454B1 (de) Konzept zum überwachen eines umfelds eines innerhalb eines parkplatzes fahrenden kraftfahrzeugs
DE102016223144A1 (de) Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102020210637A1 (de) Computerprogramm, Verfahren und Vorrichtung zum Überwachen einer Umgebung
DE102023204821A1 (de) Unregelmässigkeitsbestimmungsvorrichtung, unregelmässigkeitsbestimmungssystem, unregelmässigkeitsbestimmungsverfahren und unregelmässigkeitsbestimmungsprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200219

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAJ Information related to disapproval of communication of intention to grant by the applicant or resumption of examination proceedings by the epo deleted

Free format text: ORIGINAL CODE: EPIDOSDIGR1

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20211013

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

INTG Intention to grant announced

Effective date: 20211013

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

INTG Intention to grant announced

Effective date: 20211027

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502018008281

Country of ref document: DE

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1457575

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220115

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220322

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20211222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220322

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220323

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220422

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502018008281

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220422

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

26N No opposition filed

Effective date: 20220923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20220606

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220606

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220606

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220606

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230620

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20230817

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211222

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180606