DE102016119729A1

DE102016119729A1 - Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem

Info

Publication number: DE102016119729A1
Application number: DE102016119729.7A
Authority: DE
Inventors: Swaroop Kaggere Shivamurthy
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-10-17
Filing date: 2016-10-17
Publication date: 2018-04-19
Also published as: WO2018072908A1

Abstract

Selbstfahrende Personenbeförderungsfahrzeuge sollen in ihrer Umgebung sicherer zurechtkommen. Daher wird ein Kameraerfassungssystem zum Steuern eines Personenbeförderungsfahrzeugs mit einer ersten Kamera (8) zum Gewinnen eines ersten Bildsignals und einer Auswerteeinrichtung zum Detektieren eines Objekts und zum Bereitstellen eines entsprechenden Steuersignals für das Personenbeförderungsfahrzeug (1) bereitgestellt. Mindestens eine zweite Kamera (9) ist zum Gewinnen mindestens eines zweiten Bildsignals in dem Kameraerfassungssystem enthalten. Die erste Kamera (8) und die mindestens eine zweite Kamera (9) sowie die Auswerteeinrichtung sind dazu ausgebildet, anhand der Bildsignale eine Rundumsicht zu erstellen. Schließlich ist die Auswerteeinrichtung auch dazu ausgebildet, das Objekt in der Rundumsicht zu detektieren und davon abhängig das Steuersignal zu erzeugen.

Description

Die vorliegende Erfindung betrifft ein Kameraerfassungssystem zum Steuern eines Personenbeförderungsfahrzeugs mit einer Kamera zum Gewinnen eines Bildsignals und einer Auswerteeinrichtung zum Detektieren eines Objekts und zum Bereitstellen eines entsprechenden Steuersignals für das Personenbeförderungsfahrzeug. Darüber hinaus betrifft die vorliegende Erfindung ein entsprechendes Personenbeförderungsfahrzeug mit einem solchen Kameraerfassungssystem. Ferner betrifft die vorliegende Erfindung ein Verfahren zum Steuern eines Personenbeförderungsfahrzeugs durch Gewinnen eines Bildsignals mit einer Kamera und Detektieren eines Objekts und Bereitstellen eines entsprechenden Steuersignals für das Personenbeförderungsfahrzeug.
Autonome Fahrzeuge detektieren Hindernisse in ihrer Umgebung meist mittels Radar und Lidar sowie basierend auf GPS, Odometrie und computergestützten Abbildungssystemen. Moderne Steuersysteme interpretieren Sensorinformationen, um geeignete Navigationsrouten zu identifizieren, ebenso wie Hindernisse und relevante Verkehrszeichen. Oftmals besitzen diese Fahrzeuge jedoch keine Ausstattung dafür, die beförderte Person selbst zu schützen. Es ist jedoch äußerst wichtig, einen derartigen Schutz für die jeweilige Person bereitzustellen.
Es sind zahlreiche Arten von Personenbeförderungsfahrzeugen bekannt. Die vorliegende Anmeldung zielt jedoch hauptsächlich auf Einpersonen-Transportmittel, die einachsig oder mehrachsig sein können. Beispiele für derartige Einpersonen-Transportmittel sind „Segways“, „Hoverboards“, aber auch Rollstühle.
Ein „Segway“ ist ein selbstbalancierendes, einachsiges Motorfahrzeug, das Gyroskope nutzt, um die Balance zu halten. Es dient in erster Linie dazu, um Personen von einem Ort zum anderen zu transportieren. Segways sind elektrische Zweiräder, die umweltschonende Transportmittel darstellen und einen geringen Energieverbrauch besitzen. Während Segways in der Regel in der Mitte eine Haltestange besitzen, stellen die sogenannten „Hoverboards“ Zweiräder dar, welche lediglich eine geteilte Standfläche besitzen. Letztere zählen aber ebenfalls zu den selbstbalancierenden Personentransportmitteln.
Die Probleme der Sicherheit der transportierten Personen bestehen auch beispielsweise in Krankenhäusern mit elektrischen Rollstühlen. Derartige elektrische Rollstühle werden nämlich in Krankenhäusern benutzt, um automatisch bzw. automatisiert Patienten von einem Ort zum anderen zu transportieren.
Aus der Druckschrift KR 2015 0027987 ist ein autonomes Kontrollverfahren umfassend eine Kamera und Ultraschallsensoren für einen elektrischen Rollstuhl bekannt. Der Rollstuhl empfängt Abstandsinformationen und Bildinformationen von den Sensoren und der Kamera bezüglich Objekten, welche sich vor dem Rollstuhl befinden.
Darüber hinaus beschreibt die Druckschrift WO 15192610 ein Verfahren, bei dem ein Rollstuhl mit Hilfe eines Gehirn-Computer-Interface gesteuert werden kann. Mit einer Webcam werden Objekte zwischen einer Startposition und einer Zielposition des Rollstuhls erfasst. Eine Route von der Startposition zur Zielposition wird berechnet und der Rollstuhl folgt der Route.
Die Aufgabe der vorliegenden Erfindung besteht darin, die Sicherheit von Personenbeförderungsfahrzeugen zu erhöhen.
Erfindungsgemäß wird diese Aufgabe durch ein Kameraerfassungssystem nach Anspruch 1 gelöst. Darüber hinaus wird ein entsprechendes Personenbeförderungsfahrzeug gemäß Anspruch 8 bereitgestellt. Ferner wird obige Aufgabe gelöst durch das Verfahren nach Patentanspruch 12. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Gemäß der vorliegenden Erfindung wird demnach ein Kameraerfassungssystem zum Steuern eines Personenbeförderungsfahrzeugs mit einer ersten Kamera zum Gewinnen eines ersten Bildsignals und einer Auswerteeinrichtung zum Detektieren eines Objekts und zum Bereitstellen eines entsprechenden Steuersignals für das Personenbeförderungsfahrzeug bereitgestellt. Das System weist also eine Kamera zur optischen Aufnahme der Umgebung, aber auch eine Auswerteeinrichtung zum Auswerten des Bildsignals der Kamera auf. Dabei ist die Auswerteeinrichtung dazu bestimmt, eines oder mehrere vorgegebene Objekte bzw. Objekttypen zu detektieren. Wird dann ein Objekt eines vorgegebenen Objekttyps detektiert, so kann für das Personenbeförderungsfahrzeug ein Steuersignal bereitgestellt werden, das das detektierte Objekt berücksichtigt. Insbesondere kann dadurch beispielsweise das Personenbeförderungsfahrzeug so gesteuert (gelenkt, gebremst bzw. beschleunigt) werden, dass es nicht mit dem Objekt kollidiert.
Das Kameraerfassungssystem weist mindestens eine zweite Kamera zum Gewinnen mindestens eines zweiten Bildsignals auf. Dies bedeutet, dass die Umgebung des Kameraerfassungssystems mit mindestens zwei Kameras beobachtet werden kann. Das Kameraerfassungssystem kann also eine dritte Kamera zum Gewinnen eines dritten Bildsignals, eine vierte Kamera zum Gewinnen eines vierten Bildsignals usw. enthalten.
Die erste Kamera und die mindestens eine zweite Kamera sowie die Auswerteeinrichtung sind dazu ausgebildet, anhand der Bildsignale eine Rundumsicht zu erstellen. Es wird also auf der Basis der Bildsignale der mehreren Kameras des Kameraerfassungssystems eine vollständige Rundumsicht mit 360°erzeugt. Entsprechend kann das Kameraerfassungssystem auch als Surround-View-Kamerasystem bezeichnet werden.
Die Auswerteeinrichtung ist außerdem dazu ausgebildet, das Objekt in der Rundumsicht zu detektieren und davon abhängig das Steuersignal zu erzeugen. Es wird also die gewonnene Rundumsicht dazu genutzt, um dort beispielsweise mittels Bildverarbeitung nach dem bzw. den vorgegebenen Objekttypen zu suchen. Falls dann ein entsprechendes Objekt des gesuchten Objekttyps detektiert wird, wird das Steuersignal entsprechend gestaltet. In vorteilhafter Weise kann damit das Personenbeförderungsfahrzeug so gesteuert werden, dass Objekte im gesamten Umfeld des Kameraerfassungssystems bzw. des Personenbeförderungsfahrzeugs berücksichtigt werden. Hierdurch lässt sich die Sicherheit für die zu transportierenden Personen erheblich erhöhen.
In einer Ausgestaltung des Kameraerfassungssystems ist es möglich mit der Auswerteeinrichtung einen Bordstein oder eine Straßenkante als das Objekt zu detektieren. Dies bedeutet, dass der vorgegebene Objekttyp beispielsweise ein Bordstein oder eine Straßenkante ist. Um einen solchen Bordstein oder eine Straßenkante zu detektieren, weist die Auswerteeinrichtung beispielsweise einen Kantendetektor oder dergleichen auf. Wird dann konkret ein Bordstein oder eine Straßenkante detektiert, können diese als Grenzen eines befahrbaren Bereichs (z.B. Straße) interpretiert werden. Das Steuersignal kann damit so gestaltet werden, dass mit dem Personenbeförderungsfahrzeug lediglich der befahrbare Bereich befahrbar ist.
In einer spezifischen Weiterbildung ist mit der Auswerteeinrichtung anhand eines oder mehrerer detektierter Bordsteine oder Straßenkanten in der Rundumsicht eine von einer Straße abweichende Seitenstraße erkennbar. Damit kann eine Navigation beispielsweise vereinfacht auf der Basis registrierter Seitenstraßen durchgeführt werden.
In einer weiteren Ausgestaltung ist die Auswerteeinrichtung so ausgebildet, dass ein Fußgängerüberweg oder ein Fußweg als das Objekt detektiert werden kann. Der Objekttyp lautet demnach „Fußgängerüberweg“ oder „Fußweg“. Einer solchen Detektion kann eine komplexere Bildverarbeitung zugrunde liegen. Auch hier können Kantendetektoren zum Einsatz kommen. Falls die Auswerteeinrichtung derartige Fußgängerüberwege oder Fußwege detektieren kann, schließt dies natürlich nicht aus, dass sie auch Bordsteine oder Straßenkanten detektieren kann. Gegebenenfalls kann die Auswerteeinrichtung also auch mehrere, insbesondere mehrere unterschiedliche Objekte bzw. Objekttypen detektieren und für das Steuersignal verwerten.
Eine weitere Ausführungsvariante sieht vor, dass das Kameraerfassungssystem ein GPS-Modul aufweist, dessen Signal die Auswerteeinrichtung zum Erzeugen des Steuersignals nutzt. Somit können satellitengestützt Positionsdaten des Kameraerfassungssystems ermittelt werden, welche sich dann für eine Routenplanung nutzen lassen. Das Personenbeförderungsfahrzeug kann so in die Lage versetzt werden, aufgrund der eigenen detektierten Position und einer vorgegebenen bzw. vorgebbaren Zielposition den Weg zur Zielposition selbständig zu finden bzw. dorthin automatisch zu fahren. Hierzu kann das Kameraerfassungssystem bzw. die Auswerteeinrichtung eine spezielle Fahrstreckenplanungseinheit aufweisen, mit der eine Route zu einem vorgegebenen Ziel ermittelbar ist, wobei das Steuersignal entsprechend der Route erzeugt wird.
Vorzugsweise ist mit der Auswerteeinrichtung in der Rundumsicht ein befahrbarer Untergrund in Sektoren einteilbar, jeder Sektor für das Erzeugen des Steuersignals nach einem oder mehreren Kriterien klassierbar und das Steuersignal in Abhängigkeit von der Klassierung erzeugbar. Dies bedeutet, dass das von der Umgebung erzeugte Bild, das einer Rundumsicht bzw. einem Surround-View entspricht, in einzelne Sektoren zerlegt wird. Beispielsweise wird der gesamte Winkelbereich von 360°in 10, 20, 30 oder mehr Sektoren zerlegt. Auch jede andere beliebige Zahl dazwischen ist denkbar. Die einzelnen Sektoren müssen auch nicht identischen Öffnungswinkel besitzen. Beispielsweise könnte der Winkel davon abhängig gemacht werden, wie lang der Sektor in radialer Richtung ist. Dabei kann die Länge durch ein Objekt begrenzt sein, welches das Kameraerfassungssystem in dem jeweiligen Sektor registriert.
Die Sektoren können klassiert werden, d.h. sie werden vorgegebenen Klassen zugeordnet. Beispielsweise kann eine Klasse für Sektoren darin bestehen, dass sie ein oder mehrere Hindernisse enthält. Ein so klassierter Sektor sollte nicht befahren werden. Ein Steuersignal für das Personenbeförderungsfahrzeug bzw. seine Antriebseinheit könnte entsprechend erzeugt werden. Eine andere Klasse von Sektoren könnte dadurch gekennzeichnet sein, dass der jeweilige Sektor zumindest über eine vorgegebene Grenze hinaus befahrbar ist. Ein solcher Sektor ist entsprechend der Auswertung der Auswerteeinrichtung leer und sicher befahrbar. Eine weitere Klasse von Sektoren könnte diejenigen Sektoren enthalten, die in etwa bzw. mit einer vorgegebenen Bandbreite in Richtung einer für ein vorgegebenes Ziel berechneten Route liegen. Derart klassierte Sektoren sollten dann vorzugsweise befahren werden.
Es wurde bereits angedeutet, dass ein Personenbeförderungsfahrzeug vorteilhafterweise mit dem genannten Kameraerfassungssystem ausgestattet sein kann. Somit lässt sich das Kameraerfassungssystem mit Rundumsicht zur sicheren Steuerung des Personenbeförderungsfahrzeugs nutzen.
Bei dem Personenbeförderungsfahrzeug kann es sich beispielsweise um ein einachsiges, selbstbalancierendes Personentransportmittel oder einen Rollstuhl handeln. Speziell kann das einachsige, selbstbalancierende Personentransportmittel ein Segway oder ein Hoverboard sein. Bei dem Rollstuhl kann es sich um einen einfachen elektrischen Rollstuhl handeln, einen Rollstuhl, der innerhalb eines Krankenhauses zum automatischen Transport genutzt wird oder um einen Rollstuhl mit einer Gehirn-Computer-Schnittstelle und Autopilot-Technologie.
Falls es sich bei dem Personenbeförderungsfahrzeug um ein einachsiges, selbstbalancierendes Personentransportmittel handelt, welches zwei Räder mit jeweils einem Spritzschutz aufweist, kann jede der Kameras an einem Spritzschutze befestigt sein. Ein derartiger Spritzschutz ist in der Regel sehr stabil und gegenüber dem Schwerpunkt des Personenbeförderungsfahrzeugs statisch. Es kann damit zuverlässig eine Rundumsicht gewonnen werden.
In einer speziellen Ausgestaltung sind die erste Kamera als Frontkamera, die zweite Kamera als Rückkamera und eine dritte Kamera bzw. eine vierte Kamera jeweils als Seitenkameras ausgebildet. Damit kann die Rundumsicht mit vier Kameras gewonnen werden, die jeweils beispielsweise mit (etwa) 90°z ueinander ausgerichtet sind. Somit lässt sich eine hoch qualitative Rundumsicht gewinnen.
Die oben gestellte Aufgabe kann erfindungsgemäß auch gelöst werden durch ein Verfahren zum Steuern eines Personenbeförderungsfahrzeugs durch

- Gewinnen eines ersten Bildsignals mit einer ersten Kamera,
- Detektieren eines Objekts und Bereitstellen eines entsprechenden Steuersignals für das Personenbeförderungsfahrzeug,
- Gewinnen mindestens eines zweiten Bildsignals mit mindestens einer zweiten Kamera,
- Erstellen einer Rundumsicht anhand der Bildsignale und
- Detektieren des Objekts in der Rundumsicht, wobei davon abhängig das Steuersignal erzeugt wird.

Dieses Verfahren kann mit entsprechenden funktionellen Merkmalen des obigen Kameraerfassungssystems bzw. des obigen Personenbeförderungsfahrzeugs weitergebildet werden. Es gelten dann auch für die so entstehenden Verfahren die entsprechenden Vorteile wie bei den korrespondierenden Vorrichtungen.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von ihnen abweichen.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:

1 eine Ansicht eines Segway mit einem Rundumsicht-Kamerasystem;
2 ein Spritzschutz eines Segway mit mehreren Kameras;
3 ein Softwaredesign für eine Auswerteeinrichtung eines Kameraerfassungssystems;
4 ein Flussdiagramm zum Steuern eines Personenbeförderungsfahrzeugs mit einem Kameraerfassungssystem;
5 eine Draufsicht auf eine reelle Situation mit Straßen- bzw. Bordsteinerkennung, Fußwegerkennung und Freiraumermittlung; und
6 ein Teil einer Rundumsicht mit Seitenstraßenerkennung.

Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte Ausführungsformen der vorliegenden Erfindung dar.
1 zeigt als Beispiel für ein Personenbeförderungsfahrzeug einen Segway 1. Der Segway 1 ist ein einachsiges Transportmittel, welches selbstbalancierend ist. Zwischen zwei Rädern 2 und 3, die auf der einen Achse angeordnet sind, befindet sich eine Standfläche 4. Auf der Standfläche 4 ist auch eine Haltestange 5 befestigt. Die beiden Räder 2 und 3 sind jeweils von einem Spritzschutz 6 bzw. 7 umgeben. Dadurch wird die Standfläche 4 gegen Schmutz und Spritzwasser geschützt, der/das von den Rädern 2 und 3 aufgewirbelt werden kann. Bei dem Spritzschutz 6 bzw. 7 handelt es sich in der Regel um ein Spritzgussteil aus Kunststoff, welches fest an der Standfläche befestigt ist.
Der Segway 1 ist mit einem Rundumsichtkamerasystem ausgestattet. Im vorliegenden Beispiel besitzt dieses Rundumsichtkamerasystem vier Einzelkameras: Eine Frontkamera 8, eine Rückkamera 9, eine erste Seitenkamera 10 und eine zweite Seitenkamera 11. Die Frontkamera 8 ist in Vorwärtsfahrtrichtung des Segway 1 nach vorne gerichtet und die Rückkamera 9 hierzu entgegengesetzt in Rückwärtsrichtung. Sowohl die Frontkamera 8 als auch die Rückkamera 9 sind fest mit dem Spritzschutz 7 verbunden. Sie sind dort an Positionen angeordnet, die entsprechende Ausrichtungen nach vorne und hinten erlauben. Darüber hinaus befindet sich an dem Spritzschutz 7 die zweite Seitenkamera 11, die im Wesentlichen in axialer Richtung der Achse des Segway 1 ausgerichtet ist.
An dem gegenüberliegenden Spritzschutz 6 für das Rad 2 befindet sich die erste Seitenkamera 10. Sie ist ebenfalls parallel zu der Achse des Segway 1 ausgerichtet. Ihre Ausrichtung ist entgegengesetzt zu der Ausrichtung der zweiten Seitenkamera 11.
In 2 ist der Spritzschutz 7 einschließlich der Kameras separat dargestellt. Dabei ist angedeutet, dass sich die Frontkamera 8 an dem Vorderende des Spritzschutzes 7 und die Rückkamera 9 an dem Rückende des Spritzschutzes 7 befinden kann. Die zweite Seitenkamera 11 befindet sich in der Mitte des Spritzschutzes 7 vorzugsweise an der höchsten Stelle. Bei Bedarf können natürlich auch andere Positionen der Kameras 8, 9, 11 gewählt werden. Ähnliches gilt für die Kamera 10 des Spritzschutzes 6.
In dem Beispiel der 1 und 2 besteht das Rundumsichtkamerasystem aus vier Kameras 8 bis 11. Die Anzahl der Kameras kann natürlich auch variieren. Mindestens sollten jedoch zwei Kameras vorhanden sein, um Abschattungen zu vermeiden. So können beispielsweise auch drei oder mehr als vier Kameras verwendet werden.
Das Kameraerfassungssystem des Segway 1 umfasst hier das Rundumsichtkamerasystem mit den einzelnen Kameras 8 bis 11 sowie eine Auswerteeinrichtung, die in die Bodenplatte bzw. Standfläche 4 integriert sein kann und die Bildsignale der einzelnen Kameras aufnimmt. Die Auswerteeinrichtung erzeugt aus diesen einzelnen Bildsignalen die entsprechende Rundumsicht und detektiert Objekte vorgegebenen Typs in der Rundumsicht. Außerdem stellt sie ein entsprechendes Steuersignal in Abhängigkeit von den detektierten Objekten für die Antriebe der Räder 2 und 3 des Segway 1 bereit. Dabei können für die einzelnen Antriebe jeweilige Teilsteuersignale erzeugt werden.
In 3 ist eine prinzipielle Softwarearchitektur zumindest eines Teils der Auswerteeinrichtung zum autonomen Fahren dargestellt. Ein Selbstfahrsteuermodul 12 (SDM) besitzt ein Streckenplanungsmodul 13 (PPM). Dieses wiederum enthält einen Freiraumszenariodeskriptor 14 (FSSD). Außerdem enthält das Streckenplanungsmodul 13 ein GPS-Modul 15 (GPS). Das Selbstfahrsteuermodul 12 besitzt ferner einen Freiraumdetektor 16 (FSD) und einen Fußwegdetektor 17 (PWD).
Das Selbstfahrsteuermodul 12 erhält von außen ein Eingangssignal 18 (IP). Dieses wird sowohl an den Freiraumdetektor 16 als auch an den Fußwegdetektor 17 in dem Selbstfahrsteuermodul 12 geliefert. Das Eingangssignal 18 kann Videobilder bzw. Bildsignale und/oder Karteninformationen enthalten. Insbesondere kann das Eingangssignal 18 eine Rundumsicht von der Umgebung des Personenbeförderungsfahrzeugs und speziell des Segway 1 beinhalten.
Der Freiraumdetektor 16 detektiert beispielweise Straßenränder und/oder Bordsteine. Gegebenenfalls liefert er entsprechende Signale auch an den Fußwegdetektor 17. Letzterer detektiert beispielsweise Fußgängerüberwege und/oder Fußwege. Die Ausgangssignale des Freiraumdetektors 16, des Fußwegdetektors 17 und des GPS-Navigators 15 werden dem Freiraumszenariodeskriptor 14 zugeführt, um entsprechend dem festgestellten Szenario in der Umgebung des Personenbeförderungsfahrzeugs ein oder mehrere Ausgangssignale 19 für eine oder mehrere Antriebe des Personenbeförderungsfahrzeugs zur Verfügung zu stellen. Das Ausgangssignal 19 (OP) kann Befehle zum Bremsen, Beschleunigen, Ändern der Richtung und dergleichen umfassen.
Ein entsprechendes Verfahren zum Ermitteln von freiem Raum bzw. frei befahrbarem Raum könnte entsprechend dem Flussdiagramm von 4 gestaltet sein. In einem Schritt S1 erfolgt hier der Start des Ablaufs. In einem anschließenden Schritt S2 kann beispielsweise das Selbstfahrsteuermodul 12 von 3 notwendige Ressourcen wie Speicherpuffer, Datenstrukturen und dergleichen vergeben und initialisieren. In dem anschließenden Schritt S3 kann die Funktionalität des Selbstfahrsteuermoduls 12 durch einen Satz von Konfigurationsparametern definiert werden. Dementsprechend sind beim Start des Prozesses die Konfigurationsparameter zu initialisieren. Die Schritte S2 und S3 können gegebenenfalls auch vertauscht sein.
In einem weiteren Schritt S4 erfolgt eine Analyse des Freiraums auf der Straße bzw. dem befahrbaren Untergrund. Das Selbstfahrsteuermodul 12 kann hierzu beispielsweise einen gewünschten Straßenbereich bestimmen und dabei aus dem Eingangssignal bzw. den Eingangssignalen 18 Grenzen des Straßenbereichs (z.B. Straßenränder oder Bordsteine) auffinden. Ebenso kann das Selbstfahrsteuermodul 12 gemäß Schritt S5 Fußgängerüberwege und Fußwege aus dem Eingangssignal 18 (z.B. Rundumsicht) bestimmen. Mit Hilfe dieser gewonnen Informationen und gegebenenfalls der Information eines GPS-Moduls 15 (z.B. GPS-Tracker), welches ständig Richtungsaktualisierungen für eine Bewegung von einem Startpunkt zu einem Endpunkt liefern kann, wird beispielsweise der Freiraumszenariodeskriptor 14 gemäß Schritt S6 eine Wegstrecke planen. Dabei kann der Freiraumszenariodeskriptor 14 die Daten zeitlich analysieren und ein Freiraumszenario konstruieren. Dieses Freiraumszenario stellt in der aktuellen Situation aus der Sicht des Personenbeförderungsfahrzeugs den momentan befahrbaren Bereich dar. In diesem Freiraumszenario können beispielsweise sichere Sektoren ermittelt werden, in denen der Segway bzw. das Personenbeförderungsfahrzeug fahren kann. Entsprechende Steuersignale lassen sich dann an das Motorsteuergerät des Fahrzeugs geben. In Schritt S7 endet die Freiraumanalyse mit der Rückmeldung eines Steuersignals bzw. mehrerer Steuersignale an das Antriebssystem.
Im Zusammenhang mit 5 wird nun die Wirkungsweise des Selbstfahrsteuermoduls 12 bzw. des soeben geschilderten Verfahrens näher erläutert. Mit dem Freiraumdetektor soll der befahrbare Raum bzw. der befahrbare Untergrund für das Personenbeförderungsfahrzeug ermittelt werden. Ziel ist es also z.B. in der Rundumsicht einen befahrbaren Freiraum zu finden. Dazu kann im Detail in folgenden Schritten vorgegangen werden:

a) Die in der Rundumsicht erfasste Szene wird in Bereich unterschiedlicher Intensitäten und Texturen klassiert.
b) Vor dem Segway bzw. dem Personenbeförderungsfahrzeug wird ein Bereich ermittelt, welcher mit höchster Wahrscheinlichkeit eine Straßenoberfläche ist.
c) Es werden andere Bereiche verbunden, die auf der Basis von Intensitäts- und Texturbeziehungen als Untergrundflächen klassiert sind.
d) Es werden Grenz- und Bordsteinpixelpositionen des Straßenbereichs ermittelt.
e) Auf der Basis der Straßenranddetektion wird der Freiraumdetektor den freien Raum z.B. in Weltkoordinaten analysieren und den freien Raum in Metern vor der Kamera ausdrücken. Schließlich wird das konsolidierte Freiraumszenario dem Antriebssystem bereitgestellt.

In 5 ist ein solches Freiraumszenario in der Vogelperspektive dargestellt. Ein Segwayfahrer 20 befindet sich auf einer abbiegenden Straße 21. Der Freiraumdetektor des Kameraerfassungssystems, welches eine Rundumsicht bereitstellen kann, hat Straßenränder bzw. Bordsteine 22 erkannt. Diese stellen Objekte dar, die den befahrbaren Raum begrenzen. Außerdem werden mit der Auswerteeinrichtung weitere Objekte wie parkende oder fahrende Fahrzeuge 23 erfasst. Auch sie stellen eine Begrenzung des befahrbaren Bereichs, d.h. des Freiraumszenarios dar. Auch andere Objekte in der Rundumsicht, wie beispielsweise ein Container 24, werden erfasst, um den befahrbaren Bereich exakt zu definieren. Sind die Grenzen des befahrbaren Bereichs bekannt, so teilt die Auswerteeinrichtung bzw. der Freiraumdetektor den ermittelten befahrbaren Raum in Sektoren 25 ein. Diese Sektoren können für die weitere Analyse genutzt werden.
Im vorliegenden Beispiel besitzt das Kameraerfassungssystem bzw. das Selbstfahrsteuermodul auch einen Fußwegdetektor, um in der Rundumsicht Fußwege 29 oder Fußgängerübergänge zu erkennen. Hierzu können folgende Schritte notwendig sein.

a) Eine Analyse der Bereiche jenseits der Bordsteine und Straßenränder 22.
b) Eine Detektion homogener Bereiche parallel zu den Bordsteinen, die auf potentielle Fußwege 29 hinweisen.
c) Untersuchung von Bordsteinen, die mit diesen homogenen Bereichen assoziiert sind, hinsichtlich ihrer Parallelität zu Bordsteinen, die mit dem Straßenbereich assoziiert sind.
d) Ein Fußgängerübergang kann bestimmt werden, wenn parallele weiße Streifen auf einer Fahrbahn ermittelt werden.
e) Bei hohem Verkehrsaufkommen wird das Personenbeförderungsfahrzeug bzw. der Segway automatisch auf einen sicheren Fußweg gefahren und die Fahrgeschwindigkeit begrenzt.

Schließlich kommt in dem vorliegenden Beispiel der Freiraumszenariodeskriptor 14 zum Einsatz. Dessen Ziel ist es auf der Basis der Signale des Freiraumdetektors 16, des GPS-Moduls 15 und des Fußwegdetektors 17 das Freiraumszenario genau zu ermitteln. Damit kann ein Steuersignal für einen sicheren Fahrpfad bzw. eine sichere Route erstellt werden. Hierzu sind folgende Schritte notwendig bzw. optional:

a) Eine zeitliche Analyse des freien Raums in jedem Sektor, um die jeweiligen Ereignisse zu beschreiben. Die fortlaufende Abnahme des freien Raums in einem Sektor wird eine Annäherung an ein Hindernis andeuten. Ein solcher Sektor 26 mit dem Container 24 als Hindernis ist in 5 eingezeichnet. Die Auswerteeinheit wird ferner Sektoren 27 kennzeichnen, in denen sich (zumindest bis zu einer vorgegebenen Mindestgrenze) keine Hindernisse befinden und die eventuell bis zum Rand 22 der Straße 21 befahrbar sind. Gegebenenfalls soll der Segway in den entsprechenden Sektor wechseln, der einen größeren Freiraum andeutet.
b) Ein Wegstreckenplaner kann fortlaufend von dem GPS-Modul Signale erhalten, um zwischen verschiedenen Orten autonome Bewegungen zu ermöglichen. In 5 ist eine GPS-Richtung 28 eingezeichnet, der der Segwayfahrer 20 laut seinem Routenplaner bzw. Wegstreckenplaner folgen soll. Entsprechend dieser GPS-Richtung 28 werden dann die möglichen freien Sektoren zur Verfügung gestellt bzw. einer davon ausgewählt für die Fortbewegung des Segway.
c) Eine Echtzeitsteuerung bezüglich Beschleunigungen, Bremsverzögerungen und Richtungswechsel wird für das Segway-Steuergerät genutzt.
d) In Kollisionsszenarien kann der Segway aus Sicherheitsgründen auf der Basis einer Änderungsgeschwindigkeit der Freiraumsektoren intelligent die Route wechseln.

An Stelle eines GPS-Moduls kann beispielsweise auch ein VSLAM-Modul (Visual Simultaneously Localization and Mapping) verwendet werden. Darüber hinaus kann eine Weiterbildung darin bestehen, dass das Kameraerfassungssystem einschließlich der Auswerteeinrichtung einen Trainingsmodus anbietet, der beispielsweise die ersten paar Male benutzt wird, wenn der Fahrer manuell beispielsweise von zu Hause ins Büro, auf den Marktplatz oder zum Spielplatz fährt. Das System wird mit den entsprechenden Informationen lernen und den Pfad gegebenenfalls mit Abweichungen simulieren.
Eine Weiterbildung des Systems bzw. des Verfahrens kann darin bestehen, dass zusätzlich Seitenstraßen erfasst werden, um das Steuersignal für das Personenbeförderungsfahrzeug zu gewinnen. Eine Straße 30 einschließlich Seitenstraße 31 ist in dem Bild einer Frontkamera gemäß 6 erkennbar. Um die Seitenstraße 31 erkennen zu können, werden die horizontalen Straßenränder 32 auf der linken und rechten Seite der Straße 30 ermittelt. Anschließend wird nach ungewöhnlichen Ausbuchtungen am linken und rechten Rand der Straße gesucht, um Seitenstraßen 31 zu detektieren. Eine Unterbrechung des gradlinigen Verlaufs des Straßenrands, wie in 6, deutet auf eine Nebenstraße hin.
Die Erfassung von Seitenstraßen kann auch für Trainingszwecke benutzt werden. So kann der Algorithmus beispielsweise die Anzahl an linken und rechten Seitenstraßen detektieren, bevor eine tatsächliche Abzweigung genommen wird. Dies kann auch als Referenz für autonomes Fahren dienen.
Das Kameraerfassungssystem mit der Rundumsicht kann auch dazu genutzt werden, Kollisionen zu vermeiden. Dies kann nicht nur dadurch erfolgen, dass freie Sektoren für das Fahren ermittelt werden, sondern auch dadurch, dass Trajektorien von sich bewegenden Hindernissen auf das Personenbeförderungsfahrzeug hin detektiert werden. Daraus wird ein entsprechendes Steuersignal generiert, um eine etwaige Kollision zu vermeiden.
Derartige Kameraerfassungssysteme können nicht nur für Segways, Hoverboards und dergleichen genutzt werden, sondern auch für autonom gesteuerte Rollstühle, aber auch für andere Personenbeförderungsfahrzeuge.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

KR 20150027987 [0006]
WO 15192610 [0007]

Claims

Kameraerfassungssystem zum Steuern eines Personenbeförderungsfahrzeugs (1) mit - einer ersten Kamera (8) zum Gewinnen eines ersten Bildsignals und - einer Auswerteeinrichtung (12) zum Detektieren eines Objekts (22, 23, 24) und zum Bereitstellen eines entsprechenden Steuersignals (19) für das Personenbeförderungsfahrzeug (1), dadurch gekennzeichnet, dass - mindestens eine zweite Kamera (9, 10, 11) zum Gewinnen mindestens eines zweiten Bildsignals in dem Kameraerfassungssystem enthalten ist, - die erste Kamera (8) und die mindestens eine zweite Kamera (9, 10, 11) sowie die Auswerteeinrichtung (12) zusammen dazu ausgebildet sind, anhand der Bildsignale eine Rundumsicht zu erstellen, und - die Auswerteeinrichtung (12) außerdem dazu ausgebildet ist, das Objekt (22, 23, 24) in der Rundumsicht zu detektieren und davon abhängig das Steuersignal (19) zu erzeugen.
Kameraerfassungssystem nach Anspruch 1, dadurch gekennzeichnet, dass mit der Auswerteeinrichtung (12) ein Bordstein oder eine Straßenkante (22) als das Objekt (22, 23, 24) detektierbar ist.
Kameraerfassungssystem nach Anspruch 2, dadurch gekennzeichnet, dass mit der Auswerteeinrichtung (12) anhand eines oder mehrerer detektierter Bordsteine oder Straßenkanten (22) in der Rundumsicht eine von einer Straße (30) abzweigende Seitenstraße (31) erkennbar ist.
Kameraerfassungssystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass mit der Auswerteeinrichtung (12) ein Fußgängerüberweg oder ein Fußweg (29) als das Objekt (22, 23, 24) detektierbar ist.
Kameraerfassungssystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass es ein GPS-Modul (15) aufweist, dessen Signal die Auswerteeinrichtung (12) zum Erzeugen des Steuersignals (19) nutzt.
Kameraerfassungssystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die Auswerteeinrichtung (12) eine Fahrstreckenplanungseinheit aufweist, mit der eine Route zu einem vorgegebenen Ziel ermittelbar ist, und das Steuersignal (19) entsprechend der Route erzeugt.
Kameraerfassungssystem nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass mit der Auswerteeinrichtung (12) in der Rundumsicht ein befahrbarer Untergrund in Sektoren (25, 26, 27) einteilbar, jeder Sektor (25, 26, 27) für das Erzeugen des Steuersignals (19) nach einem oder mehreren Kriterien klassierbar und das Steuersignal (19) in Abhängigkeit von der Klassierung erzeugbar ist.
Personenbeförderungsfahrzeug (1) mit einem Kameraerfassungssystem nach einem der vorhergehenden Ansprüche.
Personenbeförderungsfahrzeug (1) nach Anspruch 8, das als einachsiges, selbstbalancierendes Personentransportmittel oder als Rollstuhl realisiert ist.
Personenbeförderungsfahrzeug (1) nach Anspruch 8, das als das einachsige, selbstbalancierende Personentransportmittel realisiert ist, welches zwei Räder (2, 3) mit jeweils einem Spritzschutz (6, 7) aufweist, wobei jede der Kameras (8 bis 11) an einem der Spritzschutze (6, 7) befestigt ist.
Personenbeförderungsfahrzeug (1) nach Anspruch 8, wobei die erste Kamera (8) eine Frontkamera, die zweite Kamera (9) eine Rückkamera und eine dritte Kamera (10) sowie eine vierte Kamera (11) jeweils eine Seitenkamera sind.
Verfahren zum Steuern eines Personenbeförderungsfahrzeugs (1) durch - Gewinnen eines ersten Bildsignals mit einer ersten Kamera (8) und - Detektieren eines Objekts (22, 23, 24) und Bereitstellen eines entsprechenden Steuersignals (19) für das Personenbeförderungsfahrzeug (1), gekennzeichnet durch - Gewinnen mindestens eines zweiten Bildsignals mit mindestens einer zweiten Kamera (9, 10, 11), - Erstellen einer Rundumsicht anhand der Bildsignale und - Detektieren des Objekts (22, 23, 24) in der Rundumsicht, wobei davon abhängig das Steuersignal (19) erzeugt wird.