DE102020127049B4

DE102020127049B4 - Optikbasiertes Hände-dran/weg Ermitteln und handgestenbasierte Funktionsauswahl für einen menschlichen Fahrer

Info

Publication number: DE102020127049B4
Application number: DE102020127049.6A
Authority: DE
Inventors: Omkar Karve
Original assignee: Steering Solutions IP Holding Corp; Continental Automotive Systems Inc
Current assignee: Steering Solutions IP Holding Corp; Continental Automotive Systems Inc
Priority date: 2019-10-14
Filing date: 2020-10-14
Publication date: 2023-08-24
Anticipated expiration: 2040-10-15
Also published as: DE102020127049A1

Abstract

Produkt aufweisend:• ein autonomes Lenksystem, welches eine Lenkschnittstelle aufweist und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingegebenen werden und autonome Lenkanweisungen eines autonomen Lenksystems zu akzeptieren und zu interpretieren, wobei• das autonome Lenksystem in der Lage ist, wenigstens zwischen einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln,• der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis autonomer Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden,• der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über die Betätigung der wenigstens einen Lenkschnittstelle erzeugt werden,• das Produkt darüber hinaus wenigstens eine Kamera oder einen optischen Sensor aufweist, welche(r) eingerichtet ist, eine Position und/oder Haltung einer menschlichen Gliedmaße zu verfolgen,• das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße,• der wenigstens eine optische Sensor oder die Kamera zum Verfolgen der Position oder der Haltung der wenigstens einen menschlichen Gliedmaße wenigstens eine Kamera aufweist, welche derart positioniert ist, dass sie Bilder wenigstens einer der Hände des menschlichen Fahrers an oder in der Nähe eines Lenkrades erfasst, und• das autonome Lenksystem eingerichtet ist, ein Bildanalysesystem zu verwenden, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde und die Lenkmodi basierend wenigstens auf diesem Ermitteln zu ändern.

Description

Technisches Gebiet
Das Gebiet, auf welches sich die Offenbarung allgemein bezieht, umfasst Produkte und Verfahren für autonome Lenksysteme, welche insbesondere für einen Wechsel zwischen unterschiedlichen Lenkmodi vorgesehen sind.
Hintergrund
Fahrzeuge umfassen typischerweise Lenksysteme. Die Verbreitung einer kamerabasierten Handerkennung zusammen mit weiteren Sensoren in einem Lenksystem oder einem anderen Überwachungssystem zur Interpretierung einer Absicht eines Fahrers ist bekannt. Es sind kapazitive Streifen bekannt, die an einem Lenkrad installiert werden können, welche eine verbesserte Leistungsfähigkeit bereitstellen können, aber diese können auch von einer physikalischen Berührung abhängen und eine Interpretation einer Absicht eines Fahrers ist unter deren Verwendung schwierig. Eine Absicht des Fahrers rein auf Basis eines Berührungsmomentes zu interpretieren stellt keine notwendige Eingabe bereit, um autonome Fahrassistenzsysteme derart zu initialisieren oder vorzubereiten, dass diese auf zuverlässige Art und Weise funktionieren.
„https://www.valeo.com/en/valeo-lays-the-ground-for-the-autonomous-commercial-vehiclesrevolution“ offenbart eine kamerabasierte Hände-dran/weg Überwachung für ein Lenkrad eines Fahrzeugs.
„https://www.elektroniknet.de/automotive/haende-am-lenker. 110699.html“ beschreibt Handerkennungssysteme für ein Lenkrad auf Basis kapazitiver oder resistiver Sensoren.
DE 10 2016 210 452 A1 offenbart ein Verfahren und eine Vorrichtung für ein Fahrzeug, das autonom und manuell betrieben werden kann, wobei ein Übergang zwischen einem autonomen oder manuellen Fahrbetrieb erfolgt, wenn ein Fahrer ein Mittel zur Lenkung des Fahrzeugs loslässt bzw. wieder in die Hand nimmt, und wenn zudem eine Fahrerabsicht zum Wechsel des Fahrbetriebs plausibilisiert wird. Hierfür wird beispielsweise eine Haltung von Händen des Fahrers mittels einer Innenraumkamera überwacht.
DE 11 2017 005 199 T5 offenbart eine Fahrmodus-Umschaltsteuerung, ein Fahrmodus-Umschaltsteuerverfahren und ein Fahrmodus-Steuerprogramm zum Umschalten des Fahrmodus eines Fahrzeugs zwischen einem manuellen Fahrmodus und einem automatischen Fahrmodus und insbesondere zum angemessenen Steuern der Umschaltung des Fahrmodus trotz eines Versagens einer Überwachung eines Fahrerzustands.
DE 10 2014 107 194 A1 offenbart u. a. ein Verfahren zum Betreiben eines Lenksystems eines Kraftfahrzeugs, wobei ein Lenkmittel über eine Überlagerungslenkung mit einem Lenkgetriebe verbunden ist, dadurch gekennzeichnet, dass während eines autonomen Fahrbetriebs des Kraftfahrzeugs ein Fahrereingriff des Fahrers in das Lenkmittel ermittelt wird, und dass die Überlagerungslenkung derart betrieben wird, dass eine Kopplung zwischen einem Lenkmittelwinkel und einem in das Lenkgetriebe eingebrachten Winkel in Abhängigkeit von dem ermittelten Fahrereingriff eingestellt wird.
DE 10 2011 111 897 A1 offenbart u. a. ein Kraftfahrzeug mit wenigstens einem Fahrerassistenzsystem und einem Navigationsmittel, das wenigstens mit einem Sensor zur Erfassung von Druckkräften, Zugkräften oder Torsionskräften versehen ist, der mit einer Auswerteeinheit zur Auswertung seiner Signale verbunden ist, die bei Über- oder Unterschreiten eines Schwellenwertes der Signale das Fahrerassistenzsystem in Betrieb nimmt oder außer Betrieb setzt.
US 2017/0344838 A1 offenbart u. a. eine Objekterkennung auf Basis eines computerimplementierten Verfahrens, bei welchem Bilddaten von einem oder mehreren Sensoren empfangen werden und ein oder mehrere Objekte anhand der Bilddaten detektiert werden. Das Objekt repräsentiert potentiell Extremitäten eines Benutzers einer sich bewegenden Plattform. Das Verfahren verarbeitet die Objekte auf Basis von Prozessoren, wobei wenigstens zwei Konfidenzwerte für jedes der Objekte ermittelt werden.
Ausgehend von dem vorstehend genannten Stand der Technik ist es eine Aufgabe der vorliegenden Erfindung, einen besonders zuverlässigen Wechsel zwischen einem manuellen und einem autonomen Fahrmodus für ein Fahrzeug zu erzielen.
Die Lösung der Aufgabe erfolgt durch ein Produkt mit den Merkmalen des Anspruchs 1, durch ein Verfahren mit den Merkmalen des Anspruchs 10, durch ein Produkt mit den Merkmalen des Anspruchs 16 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 18. Vorteilhafte Weiterbildungen ergeben sich aus den Unteransprüchen.
Übersicht über veranschaulichende Variationen
Einige veranschaulichende Variationen können ein Verfahren oder ein Produkt zum Erfassen eines Fahrereingriffs in ein autonomes Lenksystem aufweisen.
Weitere veranschaulichende Variationen innerhalb des Schutzbereichs der Erfindung werden anhand der nachfolgend bereitgestellten detaillierten Beschreibung deutlicher. Es sollte verstanden werden, dass die detaillierte Beschreibung und konkrete Beispiele, während diese Variationen der Erfindung offenbaren, lediglich zum Zweck der Veranschaulichung gedacht sind und nicht dazu gedacht sind, den Schutzbereich der Erfindung einzuschränken.
Figurenliste
Variationen innerhalb des Schutzbereichs der Erfindung werden anhand der detaillierten Beschreibung und der begleitenden Figuren umfassender verstanden, wobei:

1 eine veranschaulichende Variation darstellt, in der ein Bild, welches ein Bild einer Kamera oder Daten eines optischen Sensors repräsentiert, welches einen menschlichen Fahrer darstellt, der mit einer Lenkschnittstelle eines autonomen Lenksystems interagiert, mittels eines Verfolgungsmoduls für eine menschliche Gliedmaße analysiert und markiert wird. In dieser veranschaulichenden Variation verwendet das Verfolgungsmodul für eine menschliche Gliedmaße Daten von wenigstens einem optischen Sensor oder einem Bild von wenigstens einer Kamera, um zu ermitteln, dass ein menschlicher Fahrer wünscht, die Kontrolle einer Lenkschnittstelle zu übernehmen, basierend wenigstens auf wenigstens einer Handposition oder Handhaltungscharakteristik des menschlichen Fahrers, gemäß einigen Variationen.
2 eine veranschaulichende Variation darstellt, in der ein Bild, welches ein Bild einer Kamera oder Daten eines optischen Sensors repräsentiert, welches einen menschlichen Fahrer darstellt, der mit einer Lenkschnittstelle eines autonomen Lenksystems interagiert, mittels eines Verfolgungsmoduls für eine menschliche Gliedmaße analysiert und markiert wird. In dieser veranschaulichenden Variation verwendet das Verfolgungsmodul für eine menschliche Gliedmaße Daten von wenigstens einem optischen Sensor oder ein Bild von wenigstens einer Kamera um zu ermitteln, dass ein menschlicher Fahrer wünscht, die Kontrolle über eine Lenkschnittstelle abzugeben, basierend wenigstens auf einer Handposition oder einer Handhaltungscharakteristik des menschlichen Fahrers, gemäß einigen Variationen.
3A eine Veranschaulichung einer Hand des Fahrers an einem Lenkrad ist, während eine Mehrzahl von Fingern um das Lenkrad gelegt ist und/oder diese greift, gemäß einigen Variationen.
3B die Hand des Fahrers veranschaulicht, wie zum Beispiel in 3A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er eine vordere Fläche 200 des Lenkrades sieht, gemäß einigen Variationen.
3C die Hand des Fahrers veranschaulicht, wie zum Beispiel in 3A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, gemäß einigen Variationen.
4A eine Veranschaulichung einer Hand eines Fahrers im Sichtfeld eines optischen Sensors ist, welcher derart positioniert ist, dass er eine vordere Fläche des Lenkrades sieht, wobei der Fahrer eine Handgeste ausführt, welche die Absicht des Fahrers anzeigt, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem eine Mehrzahl von Fingern der Hand des Fahrers bewegt wird, wobei die Mehrzahl von Fingern gestreckt ist und nicht um das Lenkrad gelegt ist oder das Lenkrad greift, gemäß einigen Variationen.
4B die Hand des Fahrers veranschaulicht, wie zum Beispiel in 4A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er eine vordere Fläche des Lenkrades sieht, gemäß einigen Variationen.
4C eine Veranschaulichung einer Hand des Fahrers im Sichtfeld eines optischen Sensors ist, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei der Fahrer eine Handgeste ausführt, welche die Absicht des Fahrers anzeigt, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs abzugeben, indem eine Mehrzahl von Fingern des Fahrers bewegt wird, wobei die Mehrzahl von Fingern gestreckt ist und nicht um das Lenkrad gelegt ist oder das Lenkrad greift, gemäß einigen Variationen.
4D Daten veranschaulicht, die ein optischer Sensor bezüglich einer Hand eines Fahrers im Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei der Fahrer eine Handgeste ausführt, welche die Absicht des Fahrers anzeigt, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem eine Mehrzahl von Fingern des Fahrers bewegt wird, wobei die Mehrzahl von Fingern gestreckt ist und nicht um das Lenkrad gelegt ist oder das Lenkrad greift, gemäß einigen Variationen.
4E eine Veranschaulichung eines Fahrers ist, welche die Absicht des Fahrers anzeigt, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem die Hände des Fahrers vollständig vom Lenkrad entfernt werden, gemäß einigen Variationen.
5A eine Hand eines Fahrers im Sichtfeld eines optischen Sensors veranschaulicht, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei die Mehrzahl von Fingern einer Hand des Fahrers um das Lenkrad gelegt ist, was anzeigt, dass es die Absicht des Fahrers ist, die Kontrolle über das Lenksystem des Fahrzeugs zu übernehmen, gemäß einigen Variationen.
5B Daten veranschaulicht, die ein optischer Sensor bezüglich einer Hand des Fahrers im Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei eine Mehrzahl von Fingern einer Hand des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Kontrolle über das Lenksystem des Fahrzeugs zu übernehmen.
6 eine Hand eines Fahrers im Sichtfeld eines optischen Sensors veranschaulicht, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei eine Mehrzahl von Fingern der Hände des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Kontrolle über das Lenksystem des Fahrzeugs zu übernehmen, gemäß einigen Variationen.
6B Daten veranschaulicht, die ein optischer Sensor bezüglich einer Hand des Fahrers im Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei eine Mehrzahl von Fingern jeder der Hände des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Kontrolle über das Lenksystem des Fahrzeugs zu übernehmen, gemäß einigen Variationen.
7 das Sichtfeld eines optischen Sensors veranschaulicht, welcher derart positioniert ist, dass er eine vordere Fläche des Lenkrades sieht und eine Detektierungszone zeigt, in welcher der Fahrer seine Hände platziert hat, was die Absicht des Fahrers anzeigt, die Kontrolle über das Lenksystem des Fahrzeugs zu übernehmen.
8 das Sichtfeld eines optischen Sensors gemäß einigen Variationen veranschaulicht.

Detaillierte Beschreibung veranschaulichender Variationen
Die nachfolgende Beschreibung der Variationen ist ausschließlich veranschaulichender Natur und ist in keiner Weise dazu gedacht, den Schutzbereich der Erfindung, ihre Anwendung, oder Verwendungen zu beschränken.
In einigen veranschaulichenden Variationen kann ein Fahrzeug für Fracht oder Passagiere durch eine Kraftfahrzeugkraft vorwärts bewegt werden, welche von einem Motor bezogen wird, der eine Quelle einer gespeicherten Energie in eine Antriebskraft für das Fahrzeug umwandelt, wie, aber nicht beschränkt auf einen Verbrennungsmotor, einen batteriebetriebenen Motor, einen brennstoffzellenbetriebenen Motor, oder einen beliebigen anderen bekannten Motor zum Bereitstellen einer Kraftfahrzeugantriebskraft für ein Passagier- oder ein Frachtfahrzeug. Die Antriebskraft, welche aus der Umwandlung der gespeicherten Energie durch den Motor resultiert, kann vom Motor auf ein Fahrmedium übertragen werden, entlang dessen sich das Fahrzeug fortbewegt, wie, aber nicht beschränkt auf ein Gelände, eine Straße, einen Wasserweg, einen Luftweg, oder ein beliebiges anderes Medium, welches dafür bekannt ist, dass sich Fahrzeuge entlang dessen durch den Raum bewegen. Die Übertragung der Antriebskraft vom Motor auf das Fahrmedium kann über beliebige Mittel einer angetriebenen Kraftfahrzeugbewegung erfolgen, wie, aber nicht beschränkt auf Straßenräder, Laufflächen, Laufrollen, Rollen, Propeller, Gastriebwerke, Flüssigkeitstriebwerke, ionengetriebene Triebwerke, oder beliebige andere Mittel einer angetriebenen Kraftfahrzeugbewegung.
Wie hier verwendet, können sich „Räder“ oder „Rad“ selbst dann auf ein traditionelles Straßenrad oder eine Reifenanordnung beziehen, wenn diese durch ein beschreibendes Adjektiv modifiziert werden wie, aber nicht beschränkt auf die Nennung von „lenkbaren Straßenrädern“, „lenkbaren Rädern“, oder „Antriebsrädern“, sie können sich aber auch auf eine beliebige Modifikation der traditionellen Straßenräder oder Reifenanordnungen beziehen wie, aber nicht beschränkt auf randlose Maglev-Reifen, Kugelreifen, oder beliebige andere Mittel zur Kraftfahrzeugbewegung wie, aber nicht beschränkt auf, Laufflächen, Laufrollen, Rollen, Propeller, Gastriebwerke, Flüssigkeitstriebwerke, oder ionengetriebene Triebwerke.
Wie hier verwendet, kann sich „Straße“ selbst bei einer Modifizierung durch ein beschreibendes Adjektiv auf eine traditionelle Fahrbahnoberfläche wie, aber nicht beschränkt auf eine Beton- oder eine Asphaltstraße beziehen, sie kann sich aber auch auf eine beliebige Oberfläche oder ein Medium beziehen, entlang derer oder dessen ein Fahrzeug für Fracht oder Passagiere fährt, wie, aber nicht beschränkt auf Wasser, Eis, Schnee, Schmutz, Luft oder andere Gase, oder ein Raum im Allgemeinen.
Wie hier verwendet, kann sich „Gliedmaße“ selbst bei einer Modifizierung durch ein beschreibendes Adjektiv auf eine Hand, einen Finger, einen Unterarm, einen Ellbogen, einen Arm, eine Schulter, einen Hals, einen Kopf, einen Oberschenkel, ein Knie, einen Unterschenkel, einen Fuß, einen Zeh, oder einen beliebigen weiteren Körperteil beziehen.
Wie hier verwendet, kann sich die „Beobachtungszone“ auf einen Punkt, einen Bereich, oder eine Zone beziehen, bezüglich dessen/derer wenigstens ein Sensor oder eine Kamera eingerichtet ist, von diesem/dieser Daten zu akquirieren. Als nicht einschränkendes Beispiel kann sich, falls eine Kamera allgemein dazu bestimmt ist, Bilder eines Handrades zu erfassen, „Beobachtungszone“ auf das Handrad beziehen, sie kann sich aber auch auf einen beliebigen Ort beziehen, welcher in dem Bild erfasst ist. Als weiteres nicht einschränkendes Beispiel kann, falls ein Sensor eingerichtet ist, Daten am Ort des Sensors oder Daten an einem vom Sensor entfernten Ort zu erfassen, der Ort, bezüglich dessen die Daten erfasst werden, als „Beobachtungszone“ bezeichnet werden. Wie hier verwendet, kann sich „Beobachtungszone“ auch auf den Bereich eines Bildes beziehen, für welchen wenigstens ein Modul eingerichtet ist, diesen zu analysieren, oder auf den Datensatz, welcher von Sensoren erfasst wird, für den wenigstens ein Modul eingerichtet ist, diesen zu analysieren. Hierfür kann sich wie hier verwendet „beobachten“ auf die Verwendung einer Kamera oder die Fähigkeit eines Sensors beziehen, Daten am Ort des Sensors oder an einem vom Sensoren entfernten Ort zu erfassen.
Wie hier verwendet, kann sich „Geste“ selbst bei einer Modifizierung durch ein beschreibendes Adjektiv auf die Haltung oder Position wenigstens einer Gliedmaße eines menschlichen Fahrers beziehen.
In einigen veranschaulichenden Variationen kann ein Fahrzeug ein Lenksystem aufweisen, welches einem Fahrer ermöglicht, eine Richtung des Fahrzeugs zu ändern oder dieses von einem Pfad abzulenken, auf welchem es sich bewegt. Dieses Lenksystem kann in Verbindung mit einer Quelle einer Bewegung eines angetriebenen Kraftfahrzeugs wie einem Paar angetriebener Straßenräder arbeiten. Als nicht einschränkendes Beispiel kann ein Fahrzeug mit einem Verbrennungsmotor ausgestattet sein, welcher ein Paar hinterer Straßenräder mechanisch antreibt, um das Fahrzeug entlang einer Straße nach vorne zu bewegen. In einem solchen Beispiel kann das Fahrzeug zusätzlich mit einem Satz lenkbarer vorderer Straßenräder ausgestattet sein, welcher mittels des Lenksystems über eine Lenkschnittstelle wie, aber nicht beschränkt auf ein Handrad betätigt werden kann, um das Fahrzeug nach links und nach rechts zu lenken, während sich das Fahrzeug entlang der Straße bewegt. In solch einem Beispiel dienen die angetriebenen hinteren Straßenräder als Mittel zur Bewegung eines angetriebenen Kraftfahrzeugs, und das lenkbare Paar vorderer Straßenräder, welches über die Lenkschnittstelle betätigt wird, dient als das Lenksystem. Es ist wichtig, dass dies nicht das einzige Mittel ist, durch welches ein Fahrzeug in dieser Offenbarung als angetrieben oder gelenkt betrachtet wird. Tatsächlich können in einigen veranschaulichenden Variationen die vorderen Straßenräder sowohl die angetriebenen Straßenräder, als auch die lenkbaren Straßenräder sein. Ebenso muss das Mittel der angetriebenen Kraftfahrzeugbewegung nicht von der derselben Art sein, wie das Mittel zur Lenkung. Das heißt, falls das Mittel zur angetriebenen Kraftfahrzeugbewegung Straßenräder aufweist, muss das Lenkmittel nicht ebenfalls Straßenräder aufweisen. Hierzu wird als nicht einschränkendes Beispiel in Betracht gezogen, dass ein Schneemobil durch einen Satz von Laufflächen in Richtung des Hecks des Fahrzeugs angetrieben wird und durch einen Satz von lenkbaren Skiern in Richtung der Vorderseite des Fahrzeugs gelenkt werden kann. Zusätzlich kann in Betracht gezogen werden, dass das Mittel der angetriebenen Kraftfahrzeugbewegung wie, aber nicht beschränkt auf angetriebene Straßenräder, und das Lenkmittel wie, aber nicht beschränkt auf lenkbare Straßenräder, im Betrieb eine Funktion ändern kann oder bezüglich der Funktion wechseln kann. Als nicht einschränkendes Beispiel kann ein Fahrzeug, welches ein Paar angetriebener Straßenräder in der Nähe des Hecks des Fahrzeugs aufweist und darüber hinaus ein Paar lenkbarer Straßenräder in der Nähe der Front des Fahrzeugs aufweist, Fahrmodi ändern und damit beginnen, jedes verfügbare Straßenrad, einschließlich der vorderen lenkbaren Straßenräder, als angetriebene Straßenräder einzusetzen, während die Eigenschaft der Lenkbarkeit und die Lenkfunktion der vorderen lenkbaren Straßenräder aufrechterhalten wird. Auf ähnliche Weise kann in einigen Fällen in Betracht gezogen werden, dass angetriebene Straßenräder mit Unterbrechungen oder optional als lenkbare Straßenräder verwendet werden.
In einigen veranschaulichenden Variationen kann ein Lenksystem eines Fahrzeugs auch dahingehend autonom sein, dass das Fahrzeug sich selbst in Richtung eines vordefinierten Ortes lenkt, welcher an dieses ohne eine Unterstützung oder einen Eingriff eines Fahrers kommuniziert wurde. Das Fahrzeug kann ein Hindernisvermeidungssystem aufweisen, welches dem Fahrzeug ermöglicht, Objekte auf dessen Pfad zu erfassen und diese zu vermeiden. In einigen Fällen kann ein menschlicher Fahrer des Fahrzeugs wünschen, das Fahrzeug beim Vermeiden eines Objektes zu unterstützten, oder die Bewegungsrichtung des Fahrzeugs zu ändern. In einem solchen Fall kann der Fahrer die Kontrolle über wenigstens eine fahrerseitige Lenksystemsteuerung oder wenigstens eine Lenkschnittstelle übernehmen und das autonome Lenksystem unterstützen. Wenn der Fahrer sich bewegt, um wenigstens eine Gliedmaße des menschlichen Fahrers auf der Lenkschnittstelle zu platzieren, kann ein optisches Erfassungssystem oder ein Bildgebungssystem, welches wenigstens einen optischen Sensor oder eine Kamera aufweist, Bilder oder optische Daten erfassen, welche durch ein Verfolgungsmodul für eine menschliche Gliedmaße analysiert werden, um zu ermitteln, ob der menschliche Fahrer beabsichtigt, die Aufgabe des Lenkens oder Fahrens vom autonomen Lenksystem zu übernehmen. Falls das Verfolgungsmodul für eine menschliche Gliedmaße allein nicht in der Lage ist, die Absicht des Fahrers zu ermitteln, kann das Verfolgungsmodul für eine menschliche Gliedmaße die analysierten Bilder oder optischen Daten mit Sensordaten von Sensoren korrelieren, die in eine beliebige Lenkschnittstelle eingebettet oder mit dieser verbunden sind, welche der Fahrer offensichtlich versucht zu übernehmen, ausgehend von der Analyse der optischen Sensor- oder Bilddaten. In einigen solcher Fälle können die Sensordaten von Sensoren, welche eingebettet sind in oder verbunden sind mit einer beliebigen Lenkschnittstelle, welche der menschliche Fahrer offensichtlich versucht zu übernehmen, Sensordaten umfassen wie, aber nicht beschränkt auf Druckdaten von einem Drucksensor, welcher in einer Lenkschnittstelle eingebettet ist, Berührungsdaten von einem Berührungssensor, welcher in einer Lenkschnittstelle eingebettet ist, Drehmomentdaten von beliebigen Drehmomentsensoren, welche mit einer Lenkschnittstelle verbunden sind wie, aber nicht beschränkt auf einen Drehmomentsensor, der eingebettet ist oder verbunden ist mit einer Lenksäule für ein Handrad, einen Positionssensor, welcher mit einer Lenkschnittstelle verbunden ist wie, aber nicht beschränkt auf einen Positionssensor, welcher eingebettet ist oder verbunden ist mit einer Lenksäule für ein Handrad, oder einen beliebigen anderen Sensor von dem bekannt ist, dass er verwendet wird, um geeignete Daten bezüglich der Betätigung einer Lenkschnittstelle durch einen menschlichen Benutzer bereitzustellen.
In einigen veranschaulichenden Variationen kann ein optisches Erfassungssystem oder Bildgebungssystem, welches wenigstens einen optischen Sensor oder eine Kamera aufweist, oberhalb oder hinter einem menschlichen Fahrer innerhalb der Fahrzeugkabine positioniert sein. In einigen Fällen kann ein optisches Erfassungssystem oder Bildgebungssystem auf einer der Seiten des menschlichen Fahrers oder vor dem menschlichen Fahrer an der Decke der Fahrzeugkabine positioniert sein, so lange die Beobachtungszone für das optische Erfassungssystem oder Bildgebungssystem immer noch ordnungsgemäß eingerichtet ist, Gesten einer menschlichen Gliedmaße durch einen menschlichen Fahrer oder Interaktionen mit einer Lenkschnittstelle durch einen menschlichen Fahrer zu beobachten. In einigen Fällen muss das optische Erfassungssystem oder Bildgebungssystem nicht direkt auf eine verbundene Beobachtungszone fokussiert sein, sondern kann durch die Verwendung wenigstens eines Spiegels indirekt fokussiert sein. Als nicht einschränkendes Beispiel kann ein optisches Erfassungssystem oder ein Bildgebungssystem in der Nähe des rückwärtigen Bereichs der Fahrzeugkabine positioniert und auf einen Spiegel ausgerichtet sein, welcher an der Decke des Fahrzeugs positioniert ist. In einem solchen Fall kann der Spiegel derart positioniert sein, dass es dem optischen Erfassungssystem oder dem Bildgebungssystem möglich ist, eine verbundene Beobachtungszone zu beobachten.
Um ein kooperatives Lenksystem zu unterstützen, können die Sensoren eines autonomen Lenksystems in einigen veranschaulichenden Variationen eingerichtet sein, eine Lenkeingabe als eine Fahrereingabe zu detektieren und zu identifizieren. Eine genaue Identifikation einer Fahrereingabe kann die Verwendung eines neuronalen Netzes zur Bildanalyse beinhalten, um eine Bewegung, Positionen, Haltungen, und Gesten, wie hier beschrieben, einer Gliedmaße eines menschlichen Fahrers zu identifizieren und zu verfolgen, in Kombination mit der Verwendung einfacherer Erfassungsmethoden wie das Detektieren eines Griffs eines menschlichen Fahrers an einer Lenkschnittstelle oder eine von einem menschlichen Fahrer stammende Kraft, Betätigung, oder Berührung an einer Lenkschnittstelle durch die Verwendung dedizierter Sensoren, welche in die Lenkschnittstelle eingebettet sind oder indirekt mit der Lenkschnittstelle verbunden sind. Eine Korrelation der Bildanalyse mit Daten der vorgenannten einfacheren Erfassungsmethoden, ergibt eine vorteilhaft verbesserte Methode zum Ermitteln einer Absicht des menschlichen Fahrers zur Verwendung bei einer genauen Interpretation der Eingabe des menschlichen Fahrers innerhalb eines autonomen Lenksystems.
In einigen veranschaulichenden Variationen kann die Logik eines beliebigen autonomen Lenkmoduls sowohl auf eine autonome Eingabe, als auch auf eine Fahrereingabe reagieren. Die Eingabe des menschlichen Fahrers kann mit einer Absicht des menschlichen Fahrers in Verbindung gebracht werden. In einigen Fällen kann die volle Lenkkontrolle an den menschlichen Fahrer übergeben werden, falls die Absicht des menschlichen Fahrers eine bestimmte Schwelle erreicht. In einigen Fällen kann die volle Lenkkontrolle ausschließlich für die autonome Eingabe reserviert sein, wenn das Lenksystem oder ein anderes System, welches über das Lenksystem herrscht, ermittelt, dass der Fahrereingabe kein Vorrang erteilt werden sollte oder entscheidet, dass die Absicht des menschlichen Fahrers gering oder nicht anwesend ist. Als nicht einschränkendes Beispiel kann der autonomen Eingabe unter Ausschluss der Eingabe durch den menschlichen Fahrer, die alleinige Kontrolle des Lenksystems übertragen werden, in einer Situation, in welcher durch das autonome Lenkmodul ermittelt wurde, dass der menschliche Fahrer mit hoher Wahrscheinlichkeit versehentlich mit einer Lenkschnittstelle interagiert hat oder versehentlich eine erkannte Geste ausgeführt hat.
In einigen veranschaulichenden Variationen kann ein Fahrzeug ein Lenksystem umfassen, welches eine Lenkschnittstelle aufweist, und einen Satz lenkbarer Straßenräder. Das Lenksystem kann vom Typ einer elektrischen Servolenkung sein, wobei physikalische Verbindungen eine Betätigung der Lenkschnittstelle mechanisch an die lenkbaren Räder übertragen. Das Lenksystem kann vom „steer-by-wire“-Typ sein, wobei physikalische Mechanismen eine Betätigung der Lenkschnittstelle nicht mechanisch an die lenkbaren Straßenräder übertragen und wobei eine Betätigung der Lenkschnittstelle eine verbundene Betätigung der lenkbaren Straßenräder über die Kommunikation elektronischer Vorrichtungen beeinflusst, wie, aber nicht beschränkt auf Sensoren, Transceiver und elektronisch angeregte Aktoren. In einem solchen System kann ein Lenkschnittstellenbetätigungssystem Aktoren oder Elektromagneten oder dergleichen aufweisen, um wenigstens in dem Fall eine visuelle Lenkrückkopplung zu erzeugen, in dem die betätigte Lenkschnittstelle eine mechanisch betätigbare Lenkschnittstelle ist wie, aber nicht beschränkt auf ein Handrad. In einem Lenksystem mit einer digitalen Lenkschnittstelle, kann ein Lenkschnittstellenbetätigungssystem beliebige Logikmodule aufweisen, welche verwendet werden beim Ermitteln, wie beliebige digitale Daten in einem beliebigen digitalen Display für die digitale Lenkschnittstelle aktualisiert werden. Falls der Fahrer wünscht, mit der autonomen Lenkung zu kooperieren oder in diese einzugreifen, kann der Fahrer dementsprechend weniger desorientiert sein beim Versuch, eine Lenkschnittstelle zu übernehmen, da die Lenkschnittstelle in einer Weise autonom betätigt wurde, welche proportional zum tatsächlichen Lenkmanöver des Fahrzeugs ist.
In einigen veranschaulichenden Variationen weist ein Fahrzeug ein elektronisches Servolenksystem auf. In einem solchen Fall kommuniziert die Lenkschnittstelle mechanisch mit einem beliebigen Mechanismus, der verwendet wird, um das Fahrzeug in Übereinstimmung mit einer Lenkübersetzung zu lenken. Falls ein Fahrzeug, welches ein elektronisches Servolenksystem aufweist, eine vollautonome Lenkung oder eine halbautonome Lenkung aufweist, welche eine Kooperation oder einen Eingriff des Fahrers erlaubt, kann das Lenksystem dementsprechend eine visuelle Rückkopplung von der Lenkung an eine beliebige Schnittstelle kommunizieren, durch welche der Fahrer das Fahrzeug lenken kann. Wenn sich ein Fahrzeug in einem nicht einschränkenden Beispiel im vollautonomen Lenkbetrieb befindet, kann es ein Handrad des Fahrzeugs automatisch drehen in Verbindung mit dem autonomen Lenksystem, welches die lenkbaren Straßenräder des Fahrzeugs derart dreht, dass ein nicht eingreifender oder nicht kooperierender Fahrer das automatische Drehen des Handrades des Fahrzeugs mit dem Drehen der lenkbaren Straßenräder des Fahrzeugs in Verbindung bringt und die Lenkbefehle des autonomen Lenksystems intuitiv erkennt, vermutet oder abschätzt. Falls der Fahrer wünscht, mit der automatisierten Lenkung zu kooperieren oder in diese einzugreifen, ist es folglich möglich, dass der Fahrer weniger desorientiert ist, als beim Versuch eine Lenkschnittstelle zu übernehmen, die mit den Straßenrädern des Fahrzeugs nicht verbunden oder fehlausgerichtet zu sein scheint.
In einigen veranschaulichenden Variationen ist eine Lenkübersetzung definiert als das Verhältnis, welches eine Beziehung zwischen der Beeinflussung einer Lenkschnittstelle zu einer Beeinflussung einer Lenkvorrichtung beschreibt. Als nicht einschränkendes Beispiel kann eine Lenkübersetzung für ein Boot als das Verhältnis definiert sein, welches sich darauf bezieht, wie weit sich ein Ruder des Boots im Ansprechen auf eine Drehung eines Steuers dreht. Als weiteres nicht einschränkendes Beispiel kann eine Lenkübersetzung für ein Luftfahrzeug definiert sein als ein Verhältnis, welches sich darauf bezieht, wie weit sich ein Querruder des Luftfahrzeugs im Ansprechen auf eine Drehung eines Steuerrades des Piloten anhebt oder absenkt. Als noch weiteres nicht einschränkendes Beispiel kann eine Lenkübersetzung für ein Radfahrzeug definiert sein als ein Verhältnis, welches sich darauf bezieht, wie weit sich ein lenkbares Straßenrad des Fahrzeugs im Ansprechen auf eine Drehung eines Handrades dreht.
In einigen veranschaulichenden Variationen kann ein beliebiges autonomes Betätigen einer beliebigen Lenkschnittstelle durch das autonome Lenksystem gesteuert werden, um die Fahr- und Mitfahrerfahrung für einen Fahrer während eines Übergangs von oder zu einem autonomen Fahren, einem kooperativen Fahren, oder einem vollständig fahrergesteuerten Fahren komfortabler und intuitiver zu machen. In solchen veranschaulichenden Variationen kann ein autonomes Betätigen der Lenkschnittstelle als eine visuelle Lenkrückkopplung fungieren, welche es dem Fahrer erlaubt, die Lenkanweisungen, welche an das autonome Lenksystem übertragen und durch dieses interpretiert werden und wie diese Anweisungen die Lenkung des Fahrzeugs über ein gleichzeitiges, verbundenes, autonomes Betätigen der Lenkschnittstelle beeinflussen, intuitiv zu erkennen oder zu erahnen. Um die intuitive Fahr- und Mitfahrerfahrung für den Fahrer weiter zu vereinfachen, können autonome Lenkanweisungen durch die Systeme interpretiert werden, welche die autonome Betätigung der Lenkschnittstelle in einer Weise beeinflussen, die dazu gedacht ist, für einen menschlichen Fahrer besonders zugänglich, angenehm, oder ergonomisch zu sein. Als nicht einschränkendes Beispiel kann ein Dämpfungsfaktor auf eine beliebige Rohanweisung der Lenkschnittstelle angewendet werden, um eine beliebige Betätigung der Lenkschnittstelle zu verlangsamen, wenn eine Betätigung der Lenkschnittstelle durch den Fahrer beendet wird, sowie einen Zeitpunkt der Anpassung der Position und der Kraft, welche durch das Lenksystem auf die Lenkschnittstelle über eine Lenkschnittstellenbetätigungsvorrichtung einwirkt zu steuern, so dass die Betätigung der Lenkschnittstelle synchron mit der Bewegung des Fahrzeugs erfolgt. Auf diese Weise kann es wahrscheinlicher sein, dass der Fahrer in einem autonom gelenkten Fahrzeug Komfort findet, wenn die visuelle Lenkrückkopplung, welche der Lenkschnittstelle durch das autonome Lenksystem bereitgestellt wird, weniger ruckartig, roboterhaft, oder unmenschlich erscheint und folglich weniger befremdlich für einen menschlichen Beobachter ist, insbesondere, beim Versuch die Lenkschnittstelle zu übernehmen.
Falls ein Fahrzeug in einigen veranschaulichenden Variationen ein steer-by-wire-Lenksystem aufweist, kann es für die visuelle Rückkopplung von der Lenkung erforderlich sein, für den Fahrer simuliert zu werden, um eine intuitive halbautonome Lenkerfahrung für den Fahrer bereitzustellen. Falls ein Fahrzeug ein steer-by-wire-Lenksystem aufweist, welches eine vollautonome Lenkung oder eine halbautonome Lenkung aufweist, welche eine Kooperation oder ein Eingreifen eines Fahrers erlaubt, kann das Lenksystem eine visuelle Rückkopplung von der Lenkung an einer beliebigen Schnittstelle simulieren, durch welche der Fahrer das Fahrzeug lenken kann. Wenn sich das Fahrzeug als nicht einschränkendes Beispiel im vollautonomen Lenkbetrieb befindet, kann es ein Handrad des Fahrzeugs automatisch drehen in Verbindung mit dem autonomen Lenksystem, welches die lenkbaren Straßenräder des Fahrzeugs derart dreht, dass ein nicht eingreifender oder nicht kooperierender Fahrer das automatische Drehen des Handrades des Fahrzeugs mit dem Drehen der lenkbaren Straßenräder des Fahrzeugs in Verbindung bringt und eine Lenkübersetzung intuitiv erkennt, vermutet oder abschätzt. Falls der Fahrer wünscht, mit der automatisierten Lenkung zu kooperieren oder in diese einzugreifen, ist es folglich möglich, dass der Fahrer weniger desorientiert ist, als beim Versuch eine Lenkschnittstelle zu übernehmen, die mit den Straßenrädern des Fahrzeugs nicht verbunden oder fehlausgerichtet zu sein scheint. Dieses Konzept kann bei jedem Ermitteln einer Absicht eines Fahrers durch das Verfolgungsmodul für eine menschliche Gliedmaße berücksichtigt werden.
In einigen veranschaulichenden Variationen kann ein autonomes Lenksystem wenigstens eine Lenkschnittstelle, wenigstens einen Sensor oder eine Kamera, welche eingerichtet ist, optische Daten zu messen oder zu erfassen, sowie wenigstens ein Logikmodul zum Ermitteln auf Basis beliebiger Roh- oder verarbeiteter, erfasster oder akquirierter optischer Daten, ob ein menschlicher Fahrer wünscht, die Kontrolle der wenigstens einen Lenkschnittstelle zu übernehmen, aufweisen. Solche Daten können Daten umfassen wie, aber nicht beschränkt auf eine Bewegungsgeschwindigkeit (engl. „movement velocity“), eine Bewegungsgeschwindigkeit (engl. „movement speed“), eine Bewegungsrichtung, eine Bewegungsbeschleunigung einer menschlichen Gliedmaße, eine Gliedmaßenposition, eine Gliedmaßenhaltung, eine Gliedmaßenform, oder beliebige andere Daten, welche die Erscheinung, Bewegung, oder Position einer Gliedmaße betreffen. In einigen Fällen kann eine beliebige verfolgte menschliche Gliedmaße als eine bestimmte menschliche Gliedmaße wie, aber nicht beschränkt auf eine Hand, ein Knie, einen Finger, einen Ellbogen, oder eine beliebige andere menschliche Gliedmaße identifiziert und klassifiziert werden, indem ein neuronales Netz oder eine Datenbasis wie eine lokale oder eine Cloud-Datenbasis verwendet wird. Eine beliebige derartige Identifizierung oder Klassifizierung kann mit beliebigen Erscheinungs-, Bewegungs-, oder Positionsdaten einer Gliedmaße korreliert werden, um einen genauen Kontext für Daten bereitzustellen, welche durch Kameras oder Sensoren erhoben wurden. Beliebige Logikmodule, die einen Kontext oder eine Analyse für Daten bereitstellen, welche durch beliebige solche Kameras oder Sensoren erfasst wurden, können als Verfolgungsmodul für eine menschliche Gliedmaße bezeichnet werden.
Um ein kooperatives Lenksystem zu unterstützen, können die Sensoren eines autonomen Lenksystems in einigen veranschaulichenden Variationen eingerichtet sein, eine Lenkeingabe als eine Fahrereingabe zu detektieren und zu identifizieren. In einigen Fällen kann das Detektieren einer Eingabe eines menschlichen Fahrers bewirken, dass das autonome Lenksystem sämtliche Fahraufgaben an einen menschlichen Fahrer abgibt, wie, aber nicht beschränkt auf ein Beschleunigen, Bremsen, und Lenken. In einigen Fällen kann das autonome Lenksystem nur eine oder mehrere, aber nicht sämtliche Fahraufgaben im Ansprechen auf eine Eingabe eines menschlichen Fahrers abgeben. In einigen Fällen kann das Detektieren einer Eingabe eines menschlichen Fahrers bewirken, dass die Lenkschnittstelle ihre Position oder Orientierung anpasst. In Fällen, in denen wenigstens eine Lenkschnittstelle ein Handrad aufweist, kann das Handrad als nicht einschränkendes Beispiel seine Teleskop- oder Neigungskonfiguration automatisch anpassen, um für den menschlichen Fahrer beim Detektieren einer Eingabe des menschlichen Fahrers zugänglicher zu sein. Es kann auch erwogen werden, dass eine beliebige Veränderung der Steuerung oder der Übergabe der Steuerung bezüglich des autonomen Lenksystems von Veränderungen der Steuerung oder einer weiteren Übergabe in anderen Fahrzeugsystemen begleitet werden kann, wie, aber nicht beschränkt auf Motorsteuerungssysteme, Bremssteuerungssysteme, oder Antriebsstrangsysteme.
In einigen veranschaulichenden Variationen kann ein autonomes Fahrzeug wenigstens ein Verfolgungsmodul für eine menschliche Gliedmaße aufweisen, um auf Basis beliebiger Roh-, oder verarbeiteter, erfasster oder erhobener optischer Daten zu ermitteln, ob ein menschlicher Fahrer wünscht, die Kontrolle über die Lenkschnittstelle zu übernehmen. In einigen solcher Fälle kann das Logikmodul wenigstens eine Handposition oder eine Handgestencharakteristik eines menschlichen Fahrers ermitteln und auf deren Basis ermitteln, ob der menschliche Fahrer beabsichtigt, die Kontrolle über die Lenkschnittstelle zu übernehmen. In einigen veranschaulichenden Variationen können beliebige optische Daten zusammen mit beliebigen verfügbaren Daten über einen ausgeübten Druck auf eine Lenkschnittstelle, kapazitive Berührungsdaten von der Lenkschnittstelle, Lenkschnittstellendrehmomentdaten, Lenkschnittstellenpositionsdaten, Lenkschnittstellenbewegungsdaten, oder mit beliebigen weiteren Daten bezüglich der Bewegung oder Position einer Lenkschnittstelle verarbeitet oder mit diesen korreliert werden.
In einigen veranschaulichenden Variationen kann ein neuronales Netz verwendet werden, um eine Bibliothek über Positionen oder Haltungen von Gliedmaßen eines menschlichen Fahrers, welche eine Fahrerabsicht anzeigen, zu trainieren und aufzubauen. In solchen Fällen kann das neuronale Netz mit der Aufgabe zur Bildanalyse betraut werden, mit dem Ziel der Identifizierung und Markierung wenigstens einer menschlichen Hand innerhalb des Bildes. Ebenso kann das neuronale Netz darüber hinaus mit der Aufgabe betraut werden, die Haltung der identifizierten und markierten menschlichen Hand zu klassifizieren, sowie mit dem Ermitteln der Position der menschlichen Hand bezüglich einer Lenkschnittstelle. Solch ein neuronales Netz kann trainiert werden, indem tausende Bilder vieler unterschiedlicher menschlicher Fahrer gesammelt werden und indem in jedem der Bilder jeweils die Hand des menschlichen Fahrers manuell markiert wird. Die markierten Bilder können anschließend verwendet werden, um das neuronale Netz zu trainieren, um die Hände eines menschlichen Fahrers zu erkennen und um die Haltung und Position einer beliebigen Hand des menschlichen Fahrers bezüglich der Lenkschnittstelle zu erkennen. Ein beliebiges System oder Modul, welches mit einem solchen neuronalen Netz in Kommunikation steht, kann die Identifizierungen, Klassifizierungen, und Bestimmungen anhand der Bildanalyse überwachen und kann eine Betriebslogik verwenden, um eine Absicht eines Fahrers zu ermitteln und um diese an das autonome Fahrsystem zu kommunizieren. Ebenso kann das neuronale Netz selbst trainiert werden, um diese Kommunikation durchzuführen. Als nicht einschränkendes Beispiel kann eine Bewegung aller fünf Finger an einer Hand oder an beiden Händen eine Geste sein, welche als eine Geste erkannt werden soll, die eine Absicht eines menschlichen Fahrers kennzeichnet, die Aufgabe des Lenkens an ein autonomes Lenksystem abzugeben. In einem solchen nicht einschränkenden Beispiel kann ein neuronales Netz verwendet werden, um eine bestimmte Handgeste, sowie auch andere, innerhalb eines Satzes akquirierter optischer Daten zu erkennen und um über ein Logikmodul an das autonome Lenksystem zu kommunizieren, dass der menschliche Fahrer die Aufgabe des Lenksystems zum exklusiven Ausführen des Lenkens an das autonome Lenksystem abgeben möchte. Beim Empfangen einer solchen Kommunikation kann das autonome Lenksystem eine exklusive Kontrolle bezüglich der Aufgabe des Lenkens des Fahrzeugs durchsetzen. Es kann darüber hinaus in Betracht gezogen werden, dass ein neuronales Netz trainiert werden kann, um die Position oder Haltung einer beliebigen anderen Gliedmaße eines menschlichen Fahrers zu identifizieren und zu verfolgen wie, aber nicht beschränkt auf ein Knie, einen Ellbogen, oder einen Unterarm. In einigen Variationen kann das Lenksystem mit Drehmomentdaten kombiniert werden, um die Zuverlässigkeit der Hände-dran/-weg-Erkennung weiter zu verbessern. Die Position der Hände kann zusammen mit weiteren Sensoren im Lenksystem oder weiteren Überwachungssystemen verwendet werden, um die Absicht des Fahrers zu verstehen und ein Agieren von Funktionen eines autonomem Fahrassistenzsystems (ADAS) vor einem physikalischen Kontakt mit der Lenkschnittstelle vorzubereiten, um eine Latenzzeit zu reduzieren. Eine Sensorfusion der Handdetektion mittels anderer Fahrerüberwachungstechniken kann ebenfalls eingesetzt werden, um die Absichten des Fahrers zu verstehen, um eine bessere Aufnahme von ADAS-Funktionen zu unterstützten. Das Hinzunehmen einer Handdetektion auf Basis ihrer Position bezüglich der Lenkschnittstelle wie einem Lenkrad, und da diese mit weiteren physikalischen Lenksensoren und Fahrerüberwachungssystemen fusioniert wird, stellt einen viel besseren Stellvertreter für die Absicht des Fahrers bereit. Solch ein System stellt einen frühen Hinweis vor dem physikalischen Kontakt mit dem Lenkrad bereit. Der aktuelle Fahrer oder die Demonstration welche Ihre Bedürfnisse zum Vornehmen zusätzlicher Handlungen wie einem Drücken von Tasten auf einer graphischen Benutzerschnittstelle oder einer physikalischen Taste aufnimmt, zum Starten des autonomen Modus' in einem selbstfahrenden Fahrzeug. Dies ist nicht sehr intuitiv und verursacht Verzögerungen zwischen dem Zeitpunkt, zu dem der Fahrer die Hände vom Lenkrad nimmt bis das Fahrzeug autonom fährt. Einige Variationen und Gesten, welche sehr ähnlich oder identisch sein können zu einem Wegnehmen der Hände von der Lenkschnittstelle und in einigen Variationen kann das System ein Auftreten dieser Geste verwenden, um in den autonomen Modus zu wechseln.
Um in einigen Variationen die Absichten des Fahrers zu interpretieren, kann die Position der Hand des Fahrers bezüglich der Lenkschnittstelle, wie einem Lenkrad, verfolgt werden. Die Zone der Lenkschnittstelle wird ebenfalls durch ein ähnlich vortrainiertes neuronales Netz erfasst und die Zone bewegt sich mit der Neigung und dem Ineinanderschieben des Lenksystems. Falls sich die Hände des Fahrers für eine bestimmte Zeitdauer und/oder mit einer bestimmten Geste innerhalb der Zone befinden, kann dies als die Absicht des Fahrers interpretiert werden, die Kontrolle des Fahrzeugs umfassend das Lenksystem zu übernehmen oder abzugeben. Dies Signal kann sensorfusioniert werden mit physikalischen Sensoren wie einem Drehmoment, um die Fahrerübergabe mittels eines Drehmomentstoßes vorzubereiten, wird eliminiert, um eine sanfte Übergabe an den Fahrer zu ermöglichen. Durch das Detektieren der Absicht des Fahrers auf Basis ihrer Lage bezüglich des Lenkrades, können schnellere Reaktionen durch ADAS-Funktionen erreicht werden, indem bestimmte Funktionen basierend auf der Interpretation der Absicht des Fahrers vorverarbeitet werden.
In einigen veranschaulichenden Variationen kann ein Verfolgungsmodul für eine menschliche Gliedmaße in der Lage sein, optische Daten zu analysieren und zu ermitteln, dass ein menschlicher Fahrer wünscht, die Kontrolle über eine Lenkschnittstelle zu übernehmen, indem eine andere Erweiterung des Körpers des menschlichen Fahrers wie, aber nicht beschränkt auf ein Knie oder einen Oberschenkel, verwendet wird. In einigen solcher Fälle kann das Verfolgungsmodul für eine menschliche Gliedmaße ein neuronales Netz aufweisen, welches trainiert wurde, um die Haltung oder Position wenigstens einer Gliedmaße eines menschlichen Fahrers zu verfolgen, oder welches in der Lage ist, trainiert zu werden, um die Haltung oder Position wenigstens einer Gliedmaße des menschlichen Fahrers zu verfolgen. Solch ein Verfolgungsmodul für eine menschliche Gliedmaße kann eingerichtet sein, wenigstens eine Gliedmaße eines menschlichen Fahrers bezüglich einer konkreten Beobachtungszone innerhalb der Kabine des Fahrzeugs zu verfolgen. Als nicht einschränkendes Beispiel können die Haltung und die Position wenigstens einer Gliedmaße eines menschlichen Fahrers in Bezug auf den Mittelpunkt eines Handrades oder bezüglich eines Emblems des Handrades verfolgt werden. Auf diese Weise kann das Verfolgungsmodul für eine menschliche Gliedmaße eingerichtet sein zu ermitteln, dass wenigstens eine verfolgte Gliedmaße eines menschlichen Fahrers ihre Position verändert hat und den Mittelpunkt des Handrades überquert hat. Das Verfolgungsmodul für eine menschliche Gliedmaße kann diese Bewegung der Gliedmaße des menschlichen Fahrers als eine für das Verfolgungsmodul für eine menschliche Gliedmaße beabsichtigte Geste identifizieren, welche als eine Anforderung durch den menschlichen Fahrer an ein autonomes Lenksystem interpretiert werden sollte, eine Aktion autonom auszuführen, wie, aber nicht beschränkt auf ein autonomes Wechseln der Spuren. In einigen solcher Fälle kann, falls das Ineinanderschieben, Neigen, oder falls die Position des Mittelpunktes eines Handrades oder Emblems bewegt oder angepasst wird, die Beobachtungszone durch wenigstens einen optischen Sensor oder eine Kamera zum Zwecke der Bild- oder Datenakquise und Analyse eingesetzt werden und auch mit dem Handrad bewegt werden. Gegebenenfalls kann die Notwendigkeit oder der Wunsch an einen solchen Sensor oder eine Kamera zur Anpassung der Perspektive oder des Fokus' zur Unterstützung einer angepassten Beobachtungszone durch das Verfolgungsmodul für eine menschliche Gliedmaße an einen beliebigen geeigneten Mechanismus, ein System oder ein Modul zur Anpassung solch einer Kamera oder eines Sensors kommuniziert werden.
In einigen veranschaulichenden Variationen können die Geschwindigkeit und die Richtung der Bewegung der Gliedmaße des menschlichen Fahrers durch ein Verfolgungsmodul für eine menschliche Gliedmaße verfolgt werden. In einigen solcher veranschaulichende Variationen kann wenigstens eines der Verfahren der Verfolgungsmodule für eine menschliche Gliedmaße einen Verfolgungsalgorithmus aufweisen, der Gegenstände berücksichtigt, welche die verfolgte Gliedmaße teilweise oder vollständig überdecken wie, aber nicht beschränkt auf Handschuhe, Uhren, Hosen, Schuhe, oder ein beliebiges anderes Kleidungsstück, ein Accessoire, ein Werkzeug, oder ein Objekt, welches eine vollständige Sicht eines optischen Erfassungssystems oder Bildgebungssystems auf eine menschliche Gliedmaße vollständig oder teilweise verdeckt.
In einigen veranschaulichenden Variationen kann ein optisches Erfassungssystem oder Bildgebungssystem wie, aber nicht beschränkt auf ein Kamerasystem, ein Infraroterfassungs- oder Bildgebungssystem, ein Schallerfassungs- oder Bildgebungssystem, ein Lasererfassungs- oder Bildgebungssystem, oder ein beliebiges anderes optisches Erfassungs- oder Bildgebungssystem verwendet werden, um wenigstens eine Gliedmaße eines menschlichen Fahrers wie, aber nicht beschränkt auf Hände, Unterarme, Ellbogen, Arme, Schultern, einen Hals, einen Kopf, Oberschenkel, Knie, Unterschenkel, Füße, oder einen beliebigen anderen Körperteil zu verfolgen. Ein Bildverarbeitungsalgorithmus kann verwendet werden, um Rauschen aus beliebigen erfassten Bildern oder optischen Daten zu entfernen, wie, aber nicht beschränkt auf Beleuchtungsunterschiede, Farbunterschiede, oder beliebiges weiteres Bildrauschen, welches eine Fähigkeit eines Verfolgungsmoduls für eine menschliche Gliedmaße zur Erkennung, Klassifizierung, oder Verfolgung einer menschlichen Gliedmaße beeinflusst.
In einigen veranschaulichenden Variationen kann, während das Fahrzeug autonom lenkt, der Fahrer durch Interagieren mit wenigstens einer Lenkschnittstelle versuchen, mit der Lenkung des Fahrzeugs zu kooperieren oder in diese einzugreifen. Beim Ermitteln der Absicht des Fahrers auf Basis wenigstens einer hier offenbarten Bild- oder optischen Datenanalyse, kann das Lenksystem dem Fahrer in einigen Fällen ermöglichen, in das Lenken des Fahrzeugs vorübergehend einzugreifen oder mit diesem zu kooperieren. Dieses vorübergehende Eingreifen kann ermöglicht werden auf Basis eines Ermittelns durch ein Verfolgungsmodul für eine menschliche Gliedmaße, in Kombination mit weiteren Sensoren, welche die wenigstens eine Lenkschnittstelle betreffen, dass ein Fahrer nur vorübergehend beabsichtigt, in die Aufgabe des Lenkens einzugreifen. In solchen Fällen kann das autonome Lenksystem auch die Abweichung zur Bewegungsrichtung oder zum Pfad des Fahrzeugs berechnen und kann kontinuierlich neue Bewegungsrichtungen oder Pfade des Fahrzeugs berechnen, wenn der Fahrer eingreift, so dass, wenn der Fahrer das Eingreifen beendet, das Fahrzeug autonom mit dem Lenken gemäß einer der neuen Bewegungsrichtungen oder einem der Pfade beginnen kann.
In einigen veranschaulichenden Variationen dient ein Handrad als die Lenkschnittstelle für ein autonomes Lenksystem für ein Fahrzeug, welches lenkbare Straßenräder aufweist. Falls der Fahrer in einigen solcher Variationen in die Lenkung eingreift oder mit dieser kooperiert, kann ein beliebiger Mechanismus, welcher verwendet wird, um das Handrad des Fahrzeugs automatisch zu drehen in Verbindung mit dem autonomen Lenksystem, welches die lenkbaren Straßenräder des Fahrzeugs dreht, erfordern, dass der Fahrer eine Lenkanstrengung mit oder gegen diesen ausführt, während das autonome Lenksystem zeitgleich mit dem Lenken des Fahrzeugs fortfährt. In einigen Fällen kann das autonome Lenksystem die Fahrereingabe und eine autonome Lenkeingabe aushandeln, um eine Netto-Lenkeingabe zu ermitteln und kann die Netto-Lenkeingabe als Steuersignal für ein beliebiges Drehen der lenkbaren Straßenräder und eine verbundene Kraftrückkopplung für die Lenkschnittstelle verwenden, wie, aber nicht beschränkt auf ein automatisches Drehen eines Handrades. Falls ein Fahrer in einem nicht einschränkenden Beispiel beginnt, ein Handrad eines Fahrzeugs locker zu greifen, während sich das Fahrzeug im autonomen Lenkmodus befindet, kann das autonome Lenksystem mit dem autonomen Lenken des Fahrzeugs fortfahren und kann dem Fahrer seine Absicht nach rechts zu lenken andeuten, indem das Handrad nach rechts gedreht wird, in Verbindung mit einem Drehen der lenkbaren Straßenräder des Fahrzeugs nach rechts, während der Fahrer das Lenkrad jedoch nach wie vor locker greift, kann der Fahrer diese Absicht des autonomen Lenksystems nach rechts zu fahren spüren und kann entscheiden, einzugreifen, indem das Handrad vor dem dem Erhöhen des Ausmaßes des Lenkens fester gegriffen wird. Falls der Fahrer in einigen solcher Fälle versucht, das Handrad daran zu hindern sich nach rechts zu drehen, kann das autonome Lenksystem dies erfassen und eine Absicht des Fahrers auf Basis dessen ermitteln, indem die Absicht des Fahrers, welche durch eine Analyse von Bilddaten oder optischen Daten ermittelt wurde, welche den Griff des Fahrers am Handrad betreffen, die innerhalb der Fahrzeugkabine erfasst wurden, mit anderen Sensordaten korreliert wird, welche für ein Ermitteln einer Absicht des Fahrers geeignet sind, wie, aber nicht beschränkt auf Druckdaten von einem beliebigen Drucksensor, der in das Handrad eingebettet ist, oder von einem beliebigen ähnlichen eingebetteten oder verbundenen Berührungssensor einer beliebigen Art, oder Drehmomentsensoren, welche trainiert sind auf, verbunden sind mit, oder eingebettet sind in eine mit dem Handrad verbundene Lenksäule. In einigen solcher Fälle kann das autonome Lenksystem als nicht einschränkendes Beispiel das Ausmaß einer Kraft, welche es auf das Handrad als eine Komponente des autonomen Lenksystems ausübt, deutlich reduzieren aber nicht eliminieren, wodurch es dem Fahrer erleichtert wird, das Fahrzeug zu übernehmen, ohne dem Fahrer den Eindruck zu vermitteln, dass das autonome Lenksystem die Kontrolle vollständig an den Fahrer abgegeben hat. Auf diese Weise kann dem Fahrer versichert werden, dass das autonome Lenksystem nach wie vor versucht das Fahrzeug zu steuern und zur Steuerung des Fahrzeugs zurückkehren wird, nachdem der Fahrer das Handrad losgelassen hat. Als weiteres nicht einschränkendes Beispiel kann das autonome System in einigen solcher Fälle das Ausmaß der Kraft, welche es auf das Handrad als eine Komponente des autonomen Lenksystems ausübt, vollständig eliminieren, wodurch es dem Fahrer erleichtert wird, das Fahrzeug zu übernehmen und um dem Fahrer zusätzlich anzuzeigen, dass das autonome Lenksystem die Kontrolle vollständig an den Fahrer abgegeben hat. In einigen solcher Fälle kann der Fahrer dadurch mittels einer hörbaren oder sichtbaren Warnung informiert werden, dass das autonome Lenksystem deaktiviert ist und nicht länger versucht, das Fahrzeug zu steuern. In solchen Fällen kann der Fahrer dadurch zusätzlich darüber informiert werden, dass das Lenksystem nicht zur Steuerung des Fahrzeugs zurückkehren wird, nachdem der Fahrer das Handrad losgelassen hat, bis die autonome Lenkung wieder aktiviert wird. In einigen solcher Fälle kann das Reaktivieren der autonomen Lenkung oder des Fahrens durchgeführt werden durch eine Verwendung einer erkannten Bewegung oder Haltung einer Gliedmaße durch einen menschlichen Fahrer. In einigen solcher Fälle kann der menschliche Fahrer zum Beispiel eine erkannte Handgeste einsetzen wie, aber nicht beschränkt auf eine Geste, in welcher jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde. Diese fünf-Finger-Bewegung kann durch ein Verfolgungssystem für eine menschliche Gliedmaße verfolgt werden und kann durch ein trainiertes neuronales Netz erkannt werden, sowie mit weiteren Sensordaten korreliert werden, um die Absicht des Fahrers zu ermitteln, das autonome Fahren oder Lenken ausgehend von dieser Geste zu reaktivieren.
Falls das Fahrzeug in einigen veranschaulichenden Variationen autonom lenkt und kein Eingriff oder keine Kooperation des Fahrers vorliegt, und der Fahrer versucht, in die Lenkung einzugreifen oder mit dieser zu kooperieren, kann das Lenksystem ermitteln, dass die Absicht des Fahrers gering oder nicht vorhanden ist, das Lenksystem kann beliebige unbeabsichtigte Eingaben des Fahrers bezüglich des Lenkens ignorieren und das Fahrzeug stattdessen durch Ignorieren der unbeabsichtigten Fahrereingabe lenken. Im Falle eines nicht einschränkenden Beispiels eines steer-by-wire-Systems kann das Fahrzeug, in dem Fall, in dem die Fahrzeugsensoren und -systeme, oder ein beliebiges anderes das Fahrzeug informierendes System ermitteln, dass ein Lenkmanöver aus Sicherheitsgründen erforderlich ist, jegliche unbeabsichtigte Fahrereingabe ignorieren und das Lenkmanöver autonom ausführen, unabhängig von einer beliebigen unbeabsichtigten Fahrereingabe.
In einigen veranschaulichenden Variationen kann das Verfolgungssystem für eine menschliche Gliedmaße einer verfolgten Gliedmaße wenigstens ein Konfidenzniveau zuweisen. Dieses Konfidenzniveau kann die Konfidenz des Verfolgungssystems für eine menschliche Gliedmaße betreffen, dass die verfolgte Gliedmaße eine erkannte Geste ausführt oder diese ausgeführt hat. In einem solchen Fall ist es möglich eine Geste nur dann zu registrieren, wenn das Konfidenzniveau für diese bestimmte Geste einer bestimmten Gliedmaße einen bestimmten Schwellenwert überschreitet. Andere Sensordaten wie, aber nicht beschränkt auf Sensordaten, welche die Lenkschnittstelle betreffen oder von Sensoren, die in die Lenkschnittstelle eingebettet sind, können mit Bild- oder optischen Daten korreliert werden, welche durch das Verfolgungssystem für eine menschliche Gliedmaße analysiert wurden und darüber hinaus über wenigstens ein Konfidenzniveau informieren. Als nicht einschränkendes Beispiel kann der Fall vorliegen, dass eine Spurwechselgeste nur erkannt wird, wenn die Konfidenz in diese Geste 90% überschreitet. In diesen Fällen sind einige Gliedmaßenbewegungen, die einer Hand-Wischbewegung-über-die-Mitte-des-Handrades Spurwechselgeste sehr ähnlich sind, aber nicht durch einen menschlichen Fahrer durchgeführt wurden, um einen Spurwechselwunsch anzuzeigen, wie wenn ein menschlicher Fahrer über seinen eigenen Körper hinweggreift, um ein Getränk aus der Mittelkonsole zu greifen, aber nicht beabsichtigt eine Spurwechselgeste auszuführen. In einigen Fällen kann mehr als eine menschliche Gliedmaße gleichzeitig verfolgen werden. In einigen solcher Fälle, wenn mehr als eine menschliche Gliedmaße verfolgt wird und durch das Verfolgungsmodul für eine menschliche Gliedmaße ermittelt wird, dass im Widerspruch stehende Gesten oder dieselbe Geste mit abweichenden Konfidenz-Niveaus ausgeführt wurden, kann das Lenksystem oder das Verfolgungssystem für eine menschliche Gliedmaße einen Priorisierungsalgorithmus oder einen Entscheidungsbaum verwenden, um zu ermitteln, welche Geste als Eingabe gewertet werden soll, falls überhaupt, und in welcher Reihenfolge die Gesteneingabe zu adressieren ist.
In einigen veranschaulichenden Variationen kann die Lenkschnittstelle einen Joystick, einen Trackball, einen Schieberegler, eine Drossel, einen Drucktaster, einen Kippschalter, einen Hebel, einen Touchscreen, eine Maus oder ein beliebiges weiteres Mittel für eine Benutzereingabe aufweisen. In Fällen, in denen eine Fahrereingabe über eine Fahrerschnittstelle stattfindet, welche keine offensichtliche Möglichkeit für eine mechanisch angetriebene visuelle oder Kraftrückkopplung bietet, wie, aber nicht beschränkt auf Variationen, welche eine Maus oder einen Touchscreen als primäres Mittel für eine Fahrereingabe beinhalten, kann das automatische Lenksystem eine Reaktion auf eine Fahrereingabe über visuelle Hinweise wie, aber nicht beschränkt auf ein Aufleuchten oder eine Animation in einem Display, Audiohinweise wie, aber nicht beschränkt auf Klickgeräusche, Pieptöne, oder eine instruierende Stimmaufnahme, eine erzeugte Stimme, oder eine Live-Stimme, oder haptische Hinweise wie, aber nicht beschränkt auf eine Vibration eines Bildschirms, oder einen beliebigen anderen Hinweis, der dem Fahrer anzeigen kann wie einer Fahrereingabe - welche gleichzeitig mit einer autonomen Eingabe auftreten kann - durch das Lenksystem entgegnet wird, wie mit ihr kooperiert wird, wie diese integriert oder gehandhabt wird.
Es wird nun Bezug genommen auf 1, welche eine veranschaulichende Variation ist, in der ein autonomes Lenksystem 101 ein Fahrzeug 102 entlang eines ersten autonomen Pfades 103 lenkt. In dieser veranschaulichenden Variation kann ein Verfolgungsmodul für eine menschliche Gliedmaße 115 Bilder oder optische Daten 116 analysieren oder markieren, welche durch ein optisches Erfassungssystem oder Bildgebungssystem 104 erfasst wurden, das in einem Rückspiegel 105 eingebettet ist. Das optische Erfassungssystem oder Bildgebungssystem 104 kann Bilder oder optische Daten 116 einer Beobachtungszone 106 kontinuierlich über einen Spiegel (nicht gezeigt) erfassen, welcher hinter einem menschlichen Fahrer 107 angeordnet ist. Wenn der menschliche Fahrer 107 versucht, in die Lenkung des Fahrzeugs 102 einzugreifen, indem eine Lenkschnittstelle 108 betätigt wird, kann das optische Erfassungssystem oder das Bildgebungssystem 104 Bilder oder optische Daten 116 dieses Versuchs beim Eingreifen durch den menschlichen Fahrer 107 erfassen, indem Bilder oder optische Daten 116 der Hände 109, 110 des menschlichen Fahrers 107 erfasst werden. Das Verfolgungsmodul für eine menschliche Gliedmaße 115 kann die Bilder oder optischen Daten 116 hinsichtlich erkennbarer Gliedmaßen und erkennbarer Positionen oder Haltungen bezüglich der Lenkschnittstelle 108 analysieren. In dieser veranschaulichenden Variation hat das Verfolgungsmodul für eine menschliche Gliedmaße 115 die Hände 109, 110 des menschlichen Fahrers 107 erkannt und diese mit Markierungen 111, 112 markiert und diesen Gestenkonfidenzbewertungen 113, 114 zugewiesen, indem die Bilder oder optischen Daten 116 mit dem Wissen eines neuronalen Netzes 117 korreliert werden, welches Bilder oder optische Daten erkennbarer menschlicher Handgesten im Zusammenhang mit dem Lenken eines Fahrzeugs über ein Handrad mittels menschlicher Hände betrachtet. Das Verfolgungsmodul für eine menschliche Gliedmaße 115 kann diese Gestenkonfidenzbewertungen 113, 114 mit Berührungs- oder Druckdaten 118, 119 korrelieren, welche von Berührungs- oder Drucksensoren 121, 122 erfasst wurden, die zum Zwecke des Ermittelns der Absicht 120 des menschlichen Fahrers 107 in die Lenkschnittstelle 108 eingebettet sind, während die Lenkschnittstelle 108 auf diese Weise betätigt wird. In dieser veranschaulichenden Variation kann das Verfolgungsmodul für eine menschliche Gliedmaße 115 durch Korrelieren der Gestenkonfidenzbewertungen 113, 114 mit den Berührungs- oder Druckdaten 118, 119 von den Berührungs- oder Drucksensoren 121, 122 ermitteln, dass es die Absicht 120 des menschlichen Fahrers 107 ist, in die Lenkung einzugreifen. Diese Absicht 120 kann durch das Verfolgungsmodul für eine menschliche Gliedmaße 115 an das autonome Lenksystem 101 kommuniziert werden, welches dann die Lenkkontrolle des Fahrzeugs an den menschlichen Fahrer 107 abgeben kann. Der menschliche Fahrer 107 kann anschließend das Fahrzeug 102 über die Lenkschnittstelle 108 manuell lenken, frei von dem Einfluss des autonomen Lenksystems 101.
Bezugnehmend auf 2 ist eine veranschaulichende Variation gezeigt, in welcher ein menschlicher Fahrer 207 ein Fahrzeug 202, das ein autonomes Lenksystem 201 aufweist, zunächst manuell lenkt. In dieser veranschaulichenden Variation kann ein Verfolgungsmodul für eine menschliche Gliedmaße 215 Bilder oder optische Daten 216 analysieren oder markieren, welche durch ein optisches Erfassungssystem oder Bildgebungssystem 204 erfasst wurden, das in einem Rückspiegel 205 eingebettet ist. Das optische Erfassungssystem oder Bildgebungssystem 204 kann Bilder oder optische Daten 216 einer Beobachtungszone 206 kontinuierlich über einen Spiegel (nicht gezeigt) erfassen, welcher hinter einem menschlichen Fahrer 207 angeordnet ist. Der menschliche Fahrer 207 kann damit beginnen, die Lenkschnittstelle 108 loszulassen, indem der Griff an der Lenkschnittstelle 208 gelöst wird. Das optische Erfassungssystem oder Bildgebungssystem 204 kann Bilder oder optische Daten 216 dieses Loslassens durch den menschlichen Fahrer 207 erfassen, indem Bilder oder optische Daten 216 der Hände 209, 210 des menschlichen Fahrers 207 erfasst werden. Das Verfolgungsmodul für eine menschliche Gliedmaße 215 kann die Bilder oder optischen Daten 216 hinsichtlich erkennbarer Gliedmaßen und erkennbarer Positionen oder Haltungen bezüglich der Lenkschnittstelle 208 analysieren. In dieser veranschaulichenden Variation hat das Verfolgungsmodul für eine menschliche Gliedmaße 215 die Hände 209, 210 des menschlichen Fahrers 207 erkannt und diese mit Markierungen 211, 212 markiert und diesen Gestenkonfidenzbewertungen 213, 214 zugewiesen, indem die Bilder oder optischen Daten 116 mit dem Wissen eines neuronalen Netzes 217 korreliert werden, welches Bilder oder optische Daten erkennbarer menschlicher Handgesten im Zusammenhang mit dem Lenken eines Fahrzeugs über ein Handrad mittels menschlicher Hände betrachtet. Das Verfolgungsmodul für eine menschliche Gliedmaße 215 kann diese Gestenkonfidenzbewertungen 213, 214 mit Berührungs- oder Druckdaten 218, 219 korrelieren, welche von Berührungs- oder Drucksensoren 221, 222 erfasst wurden, die zum Zwecke des Ermittelns der Absicht 220 des menschlichen Fahrers 207 in die Lenkschnittstelle 208 eingebettet sind, wenn die Lenkschnittstelle 208 auf diese Weise nicht mehr betätigt wird. In dieser veranschaulichenden Variation kann das Verfolgungsmodul für eine menschliche Gliedmaße 215 durch Korrelieren der Gestenkonfidenzbewertungen 213, 214 mit den Berührungs- oder Druckdaten 218, 219 von den Berührungs- oder Drucksensoren 221, 222 ermitteln, dass es die Absicht 220 des menschlichen Fahrers 207 ist, die Lenkschnittstelle 208 nicht mehr zu betätigen und die Aufgabe des Lenkens des Fahrzeugs 202 an das autonome Lenksystem 201 abzugeben. Diese Absicht 220 kann durch das Verfolgungsmodul für eine menschliche Gliedmaße 215 an das autonome Lenksystem 201 kommuniziert werden, welches anschließend die alleinige Kontrolle bezüglich der Aufgabe des Lenkens des Fahrzeugs 207 übernimmt. Das autonome Lenksystem 201 kann anschließend damit beginnen, das Fahrzeug 202 autonom entlang eines autonomen Pfades 203 zu lenken und jegliche Lenkeingaben durch den menschlichen Fahrer 207 ausschließen, für die bestimmt wurde, dass sie unbeabsichtigt sind.
3A ist eine Veranschaulichung einer Hand 110 eines Fahrers an einem Lenkrad 108 mit einer Mehrzahl von Fingern 123, welche um das Lenkrad 108 gelegt sind und/oder dieses fassen, gemäß einigen veranschaulichenden Variationen.
3B veranschaulicht die Hand 110 des Fahrers, wie zum Beispiel in 3A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher gemäß einigen Variationen derart positioniert ist, dass er eine vordere Fläche 200 des Lenkrades sieht.
3C veranschaulicht die Hand 110 des Fahrers, wie zum Beispiel in 3A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher gemäß einigen Variationen derart positioniert ist, dass er einen seitlichen Rand 201 des Lenkrades 110 sieht.
4A ist eine Veranschaulichung einer Hand 110 des Fahrers im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er eine vordere Fläche 200 des Lenkrades 108 sieht, wobei der Fahrer eine Handgeste ausführt, die anzeigt, dass es die Absicht des Fahrers ist, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem eine Mehrzahl von Fingern 123 der Hand des Fahrers bewegt wird, wobei die Mehrzahl von Fingern 123 gestreckt ist und nicht um das Lenkrad gelegt ist oder das Lenkrad greift, gemäß einigen Variationen.
4B veranschaulicht die Hand 110 des Fahrers, wie zum Beispiel in 4A veranschaulicht, im Sichtfeld eines optischen Sensors, welcher gemäß einigen Variationen derart positioniert ist, dass er eine vordere Fläche des Lenkrades 200 sieht.
4C ist eine Veranschaulichung einer Hand 110 einer Fahrers im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er einen seitlichen Rand 201 des Lenkrades 108 sieht, wobei der Fahrer eine Handgeste ausführt, die anzeigt, dass es die Absicht des Fahrers ist, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem eine Mehrzahl von Fingern 123 des Fahrers bewegt wird, wobei die Mehrzahl von Fingern 123 gestreckt ist und nicht zum Greifen des Lenkrades um das Lenkrad 108 gelegt ist, gemäß einigen Variationen.
4D veranschaulicht Daten, die ein optischer Sensor bezüglich einer Hand 110 des Fahrers in einem Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei der Fahrer eine Handgeste ausführt, die anzeigt, dass es die Absicht des Fahrers ist, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übergeben, indem eine Mehrzahl von Fingern 123 des Fahrers bewegt wird, wobei die Mehrzahl von Fingern gestreckt ist und nicht um das Lenkrad gelegt ist oder das Lenkrad greift, gemäß einigen Variationen.
4E ist eine Veranschaulichung eines Fahrers, welche anzeigt, dass es die Absicht des Fahrers ist, die Lenkkontrolle an das autonome Fahrsystem des Fahrzeugs zu übertragen, indem die Hand des Fahrers vollständig vom Lenkrad 108 entfernt wird, gemäß einigen Variationen.
5A veranschaulicht eine Hand 110 eines Fahrers im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er einen seitlichen Rand 201 des Lenkrades 108 sieht, wobei eine Mehrzahl von Fingern 123 einer Hand 110 des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Lenkkontrolle vom Lenksystem des Fahrzeugs zu übernehmen, gemäß einigen Variationen.
5B veranschaulicht Daten, die ein optischer Sensor bezüglich einer Hand 110 eines Fahrers im Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei eine Mehrzahl von Fingern 123 einer Hand 110 des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Lenkkontrolle vom Lenksystem des Fahrzeugs zu übernehmen.
6A veranschaulicht eine Hand 109, 110 eines Fahrers im Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er einen seitlichen Rand 201 des Lenkrades 108 sieht, wobei eine Mehrzahl von Fingern 123 jeder Hand 109, 110 des Fahrers um das Lenkrad 108 gelegt ist, was die Absicht des Fahrers anzeigt, die Kontrolle vom Lenksystem des Fahrzeugs zu übernehmen, gemäß einigen Variationen.
6B veranschaulicht Daten, die ein optischer Sensor bezüglich einer Hand 109, 110 des Fahrers im Sichtfeld eines optischen Sensors erzeugen kann, welcher derart positioniert ist, dass er einen seitlichen Rand des Lenkrades sieht, wobei eine Mehrzahl von Fingern 123 jeder Hand 109, 110 des Fahrers um das Lenkrad gelegt ist, was die Absicht des Fahrers anzeigt, die Kontrolle vom Lenksystem des Fahrzeugs zu übernehmen.
7 veranschaulicht das Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er eine vordere Fläche 200 des Lenkrades 108 sieht und zeigt eine Detektierungszone 210, in welcher der Fahrer seine Hände 109, 110 platziert hat, was anzeigt, dass es die Absicht des Fahrers ist, die Kontrolle vom Lenksystem des Fahrzeugs zu übernehmen. Wie in 7 veranschaulicht, kann eine Objekterkennungs-Software eingesetzt werden, um innerhalb eines vordefinierten Niveaus einer Zulässigkeit/Konfidenz, zum Beispiel innerhalb eines 99% Konfidenz-Niveaus, zu ermitteln, dass sich die Hände 109, 110 des Fahrers innerhalb der Detektierungszone 210 befinden. Wie in den 7 und 8 gezeigt, kann die Detektierungszone 210 im Allgemeinen oval sein, sie kann aber auch rund, quadratisch, rechteckig, rhombenförmig oder von beliebiger anderer Form sein, welche ausreichend groß genug ist, dass ein vordefinierter Abschnitt oder ein ausreichender Abschnitt eines Ortes wenigstens einer Hand des Fahrers an einer Lenkschnittstelle innerhalb der Detektierungszone 210 liegt, was die Absicht des Fahrers anzeigt, die Kontrolle vom Lenksystem des Fahrzeugs zu übernehmen.
8 veranschaulicht das Sichtfeld eines optischen Sensors, welcher derart positioniert ist, dass er eine vordere Fläche des Lenkrades sieht und zeigt eine Detektierungszone, in welcher der Fahrer seine Hände nach außerhalb bewegt hat, was die Absicht des Fahrers anzeigt, die Kontrolle des Lenksystems des Fahrzeugs an das autonome Fahrsystem abzugeben, gemäß einigen Variationen. Wie in 8 veranschaulicht, kann eine Objekterkennungs-Software eingesetzt werden, um innerhalb eines vordefinierten Niveaus einer Zulässigkeit/Konfidenz, zum Beispiel innerhalb eines 99% Konfidenzniveaus, zu ermitteln, dass sich ein vordefinierter Abschnitt oder ein ausreichender Abschnitt jeder der Hände 109, 110 des Fahrers außerhalb der Detektierungszone 210 befindet, was die Absicht des Fahrers anzeigt, die Kontrolle des Lenksystems des Fahrzeugs an das autonome Fahrsystem abzugeben.
In einigen veranschaulichenden Variationen kann eine beliebige Anzahl von Modulen miteinander kombiniert werden oder in kleinere Module unterteilt werden.
Die nachfolgende Beschreibung von Varianten ist lediglich veranschaulichend für Komponenten, Elemente, Vorgänge, Produkte und Verfahren, welche als sich innerhalb des Schutzbereichs der Erfindung befindend betrachtet werden und ist keineswegs dazu gedacht, einen solchen Schutzbereich durch das zu beschränken, was konkret offenbart oder nicht ausdrücklich ausgeführt ist. Die wie hier beschriebenen Komponenten, Elemente, Vorgänge, Produkte und Verfahren können abweichend von der hier ausdrücklichen Beschreibung kombiniert und neu angeordnet werden und werden nach wie vor als sich innerhalb des Schutzbereichs der Erfindung befindend angesehen.
Variation 1 kann ein Produkt beinhalten, welches aufweist: ein autonomes Lenksystem, welches eine Lenkschnittstelle aufweist und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingeben werden und autonome Lenkanweisungen eines autonomen Lenksystems zu akzeptieren und zu interpretieren, wobei das autonome Lenksystem in der Lage ist, wenigstens zwischen einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, wobei der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf Basis autonomer Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden und wobei der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über die Betätigung der wenigstens eine Lenkschnittstelle erzeugt werden, wobei das Produkt darüber hinaus wenigstens eine Kamera oder einen optischen Sensor aufweist, welche(r) eingerichtet ist, wenigstens eines aus der Position oder der Haltung einer menschlichen Gliedmaße zu verfolgen und wobei das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einer menschlichen Gliedmaße, wobei der wenigstens eine optische Sensor oder die Kamera zum Verfolgen der Position oder der Haltung der wenigstens einen menschlichen Gliedmaße wenigstens eine Kamera aufweist, welche derart positioniert ist, dass sie Bilder wenigstens einer der Hände des menschlichen Fahrers an oder in der Nähe eines Lenkrades erfasst, und wobei das autonome Lenksystem eingerichtet ist, ein Bildanalysesystem zu verwenden, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde und die Lenkmodi basierend wenigstens auf diesem Ermitteln zu ändern.
Variation 2 kann das Produkt einer der Variationen 1, oder 3-11 aufweisen, wobei das autonome Lenksystem darüber hinaus in der Lage ist, in einen dritten Lenkmodus zu wechseln, in welchem die wenigstens eine Lenkschnittstelle sowohl durch den menschlichen Fahrer, als auch durch das autonome Lenksystem betätigt wird.
Variation 3 kann das Produkt aus einer der Variationen 1-2, oder 4-11 aufweisen, wobei die wenigstens eine Kamera oder der optische Sensor eine Stereokameraanordnung aufweist.
Variation 4 kann das Produkt einer der Variationen 1-3, oder 5-11 aufweisen, wobei das Produkt, wobei die wenigstens eine Kamera oder der optische Sensor eingerichtet ist, die Bewegungsgeschwindigkeit der wenigstens einen menschlichen Gliedmaße zu verfolgen.
Variation 5 kann das Produkt einer der Variationen 1-4, oder 6-11 aufweisen, wobei die wenigstens eine Kamera oder der optische Sensor eingerichtet ist, die Nähe der wenigstens einen menschlichen Gliedmaße bezüglich der wenigstens einen Lenkschnittstelle zu verfolgen.
Variation 6 kann das Produkt einer der Variationen 1-5, oder 7-11 aufweisen, wobei das Produkt darüber hinaus wenigstens einen Drehmomentsensor zum Erfassen einer Drehmomenteingabe durch einen menschlichen Fahrer bezüglich der Lenkschnittstelle umfasst.
Variation 7 kann das Produkt der Variation 6 aufweisen, wobei die Drehmomenteingabe durch ein Drehmoment an der Lenksäule erfasst wird.
Variation 8 kann das Produkt einer der Variationen 1-7, oder 9-11 aufweisen, wobei das Produkt darüber hinaus wenigstens einen Drucksensor aufweist, welcher mit der Lenkschnittstelle gekoppelt ist, um einen durch den menschlichen Fahrer auf die Lenkschnittstelle ausgeübten Druck zu erfassen.
Variation 9 kann das Produkt aus einer der Variationen 1-8, oder 10 aufweisen, wobei das Produkt darüber hinaus wenigstens einen kapazitiven Berührungssensor aufweist, welcher mit der Lenkschnittstelle gekoppelt ist, um eine Änderung bezüglich der Kapazität zu erfassen, die am kapazitiven Berührungssensor vorliegt, wenn der menschliche Fahrer die Lenkschnittstelle berührt.
Variation 10 kann ein Verfahren enthalten, welches aufweist: Verwenden wenigstens einer Kamera oder eines optischen Sensors zum Verfolgen wenigstens eines aus der Position oder Haltung wenigstens einer Gliedmaße, nämlich einer Hand, eines menschlichen Fahrers, wobei der wenigstens eine optische Sensor oder die Kamera wenigstens eine Kamera aufweist, welche derart positioniert ist, dass sie Bilder wenigstens einer der Hände des menschlichen Fahrers an oder in der Nähe eines Lenkrades erfasst; Erzeugen von Korrelationsdaten durch Korrelieren des wenigstens einen aus der Position oder der Haltung der wenigstens einen Gliedmaße des menschlichen Fahrers mit Daten, welche von wenigstens einer Lenkschnittstelle oder von wenigstens einem Sensor akquiriert wurden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen; Ändern eines Lenkmodus' eines autonomen Lenksystems basierend wenigstens auf den korrelierten Daten; Verwenden eines Bildanalysesystems, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde; und Ändern der Lenkmodi des autonomen Lenksystems basierend wenigstens auf diesem Ermitteln.
Variation 11 kann das Verfahren der Variation 10, oder 12-15 aufweisen, wobei die wenigstens eine Kamera oder der optische Sensor eine Stereokameraanordnung aufweist.
Variation 12 kann das Verfahren einer der Variationen 10-11, oder 13-15 aufweisen, wobei die Daten, welche von wenigstens einer Lenkschnittstelle oder von wenigstens einem Sensor akquiriert wurden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, Daten von wenigstens einem kapazitiven Berührungssensor umfassen, welcher in die wenigstens eine Lenkschnittstelle eingebettet ist.
Variation 13 kann das Verfahren einer der Variationen 10-12 oder 14-15 aufweisen, wobei die Daten, welche von wenigstens einer Lenkschnittstelle oder von wenigstens einem Sensor akquiriert wurden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, wenigstens einen Drehmomentsensor zum Erfassen einer Drehmomenteingabe in die Lenkschnittstelle durch den menschlichen Fahrer umfassen.
Variation 14 kann das Verfahren der Variation 13 beinhalten, wobei die Drehmomenteingabe ein Drehmoment ist, welches an einer Lenksäule erfasst wird.
Variation 15 kann das Verfahren einer der Variationen 10-14 aufweisen, wobei die Daten, welche von wenigstens einer Lenkschnittstelle oder von wenigstens einem Sensor akquiriert wurden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, wenigstens einen Drucksensor aufweisen, zum Erfassen eines auf die Lenkschnittstelle ausgeübten Druckes durch den menschlichen Fahrer.
Variation 16 kann ein Produkt enthalten, welches aufweist: ein autonomes Lenksystem aufweisend eine Lenkschnittstelle und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingegeben werden und autonome Lenkeingaben, welche durch ein autonomes Lenksystem eingegeben werden zu akzeptieren und zu interpretieren, wobei das autonome Lenksystem in der Lage ist, zwischen wenigstens einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, wobei der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf Basis autonomer Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden und wobei der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über die Betätigung der wenigstens einen Lenkschnittstelle erzeugt werden, wobei das Produkt darüber hinaus wenigstens eine Kamera oder einen optischen Sensor aufweist, welche(r) eingerichtet ist, wenigstens eines aus der Position oder Haltung einer menschlichen Gliedmaße zu verfolgen und wobei das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße, wobei die wenigstens eine Kamera oder der optische Sensor positioniert ist, um eine vordere Fläche der Lenkschnittstelle zu sehen, und wobei das autonome Lenksystem eingerichtet ist, ein Bildanalysesystem zu verwenden, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde und die Lenkmodi basierend wenigstens auf diesem Ermitteln zu ändern.
Variation 17 kann ein Produkt enthalten, wie es in Variation 16 dargelegt ist, wobei die menschliche Gliedmaße eine menschliche Hand aufweist.
Variation 18 kann ein Verfahren beinhalten, welches aufweist: Bereitstellen eines autonomen Lenksystems umfassend eine Lenkschnittstelle und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingegeben werden und Lenkanweisungen eines autonomen Lenksystems zu akzeptieren und zu interpretieren, welche durch ein autonomes Lenksystem eingegeben werden, wobei das autonome Lenksystem in der Lage ist, zwischen wenigstens einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, wobei der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf Basis der autonomen Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden und der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf Basis der Lenkanweisungen des menschlichen Fahrers erfolgt, welche durch den menschlichen Fahrer über die Betätigung der wenigstens einen Lenkschnittstelle erzeugt werden, Verwenden wenigstens einer Kamera oder eines optischen Sensors, um wenigstens eines aus der Position oder der Haltung der menschlichen Gliedmaße zu verfolgen und wobei das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße, wobei die wenigstens eine Kamera oder der optische Sensor positioniert ist, um eine vordere Fläche der Lenkschnittstelle zu sehen, Verwenden eines Bildanalysesystems, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde, und Ändern der Lenkmodi des autonomen Lenksystems basierend wenigstens auf diesem Ermitteln.
Variation 19 kann ein Verfahren enthalten, wie es in Variation 18 dargelegt ist, wobei die menschliche Gliedmaße eine menschliche Hand aufweist.
Die obige Beschreibung ausgewählter Variationen innerhalb des Schutzbereichs der Erfindung ist lediglich veranschaulichender Natur und, folglich sind Variationen oder Varianten davon nicht als eine Abkehr vom Geist und Schutzbereich der Erfindung anzusehen.

Claims

Produkt aufweisend: • ein autonomes Lenksystem, welches eine Lenkschnittstelle aufweist und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingegebenen werden und autonome Lenkanweisungen eines autonomen Lenksystems zu akzeptieren und zu interpretieren, wobei • das autonome Lenksystem in der Lage ist, wenigstens zwischen einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, • der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis autonomer Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden, • der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über die Betätigung der wenigstens einen Lenkschnittstelle erzeugt werden, • das Produkt darüber hinaus wenigstens eine Kamera oder einen optischen Sensor aufweist, welche(r) eingerichtet ist, eine Position und/oder Haltung einer menschlichen Gliedmaße zu verfolgen, • das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße, • der wenigstens eine optische Sensor oder die Kamera zum Verfolgen der Position oder der Haltung der wenigstens einen menschlichen Gliedmaße wenigstens eine Kamera aufweist, welche derart positioniert ist, dass sie Bilder wenigstens einer der Hände des menschlichen Fahrers an oder in der Nähe eines Lenkrades erfasst, und • das autonome Lenksystem eingerichtet ist, ein Bildanalysesystem zu verwenden, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde und die Lenkmodi basierend wenigstens auf diesem Ermitteln zu ändern.
Produkt nach Anspruch 1, wobei das autonome Lenksystem darüber hinaus in der Lage ist, in einen dritten Lenkmodus zu wechseln, wobei die wenigstens eine Lenkschnittstelle sowohl durch den menschlichen Fahrer, als auch durch das autonome Lenksystem betätigt wird.
Produkt nach Anspruch 1 oder 2, wobei die wenigstens eine Kamera oder der optische Sensor eine Stereokameraanordnung aufweist.
Produkt nach einem der vorstehenden Ansprüche, wobei die wenigstens eine Kamera oder der optische Sensor eingerichtet ist, die Bewegungsgeschwindigkeit der wenigstens einen menschlichen Gliedmaße zu erfassen.
Produkt nach einem der vorstehenden Ansprüche, wobei die wenigstens eine Kamera oder der optische Sensor eingerichtet ist, die Nähe der wenigstens einen menschlichen Gliedmaße bezüglich der wenigstens einen Lenkschnittstelle zu verfolgen.
Produkt nach einem der vorstehenden Ansprüche, wobei das Produkt ferner wenigstens einen Drehmomentsensor zum Erfassen einer Drehmomenteingabe durch den menschlichen Fahrer in die Lenkschnittstelle aufweist.
Produkt nach Anspruch 6, wobei die Drehmomenteingabe durch ein Drehmoment an der Lenksäule erfasst wird.
Produkt nach einem der vorstehenden Ansprüche, wobei das Produkt ferner wenigstens einen Drucksensor aufweist, welcher mit der Lenkschnittstelle gekoppelt ist, um einen durch den menschlichen Fahrer auf die Lenkschnittstelle ausgeübten Druck zu erfassen.
Produkt nach einem der vorstehenden Ansprüche, wobei das Produkt ferner wenigstens einen kapazitiven Berührungssensor aufweist, welcher mit der Lenkschnittstelle gekoppelt ist, um eine Änderung der Kapazität zu erfassen, die am kapazitiven Berührungssensor vorliegt, wenn der menschliche Fahrer die Lenkschnittstelle berührt.
Verfahren aufweisend: • Verwenden wenigstens einer Kamera und/oder eines optischen Sensors, um wenigstens eines aus der Position und/oder der Haltung wenigstens einer Gliedmaße, nämlich eine Hand, eines menschlichen Fahrers zu erfassen, wobei der wenigstens eine optische Sensor oder die Kamera wenigstens eine Kamera aufweist, welche derart positioniert ist, dass sie Bilder wenigstens einer der Hände des menschlichen Fahrers an oder in der Nähe eines Lenkrades erfasst, • Erzeugen von Korrelationsdaten durch Korrelieren wenigstens eines aus der Position oder der Haltung der wenigstens einen Gliedmaße des menschlichen Fahrers mit Daten, welche von wenigstens einer Lenkschnittstelle oder von wenigstens einem Sensor akquiriert wurden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen; und • Ändern eines Lenkmodus' eines autonomen Lenksystems basierend wenigstens auf den Korrelationsdaten, • Verwenden eines Bildanalysesystems, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde, und • Ändern der Lenkmodi des autonomen Lenksystems basierend wenigstens auf diesem Ermitteln.
Verfahren nach Anspruch 10, wobei die wenigstens eine Kamera und/oder der optische Sensor eine Stereokameraanordnung aufweist.
Verfahren nach Anspruch 10 oder 11, wobei die Daten, welche von der wenigstens einen Lenkschnittstelle oder dem wenigstens einen Sensors akquiriert werden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, Daten von wenigstens einem kapazitiven Berührungssensor aufweisen, welcher in die wenigstens einen Lenkschnittstelle eingebettet ist.
Verfahren nach einem der Ansprüche 10 bis 12, wobei die Daten, welche von der wenigstens einen Lenkschnittstelle oder von dem wenigstens einen Sensor akquiriert werden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, wenigstens einen Drehmomentsensor zum Erfassen einer Drehmomenteingabe in die Lenkschnittstelle durch den menschlichen Fahrer aufweisen.
Verfahren nach einem der Ansprüche 10 bis 13, wobei die Drehmomenteingabe durch ein Drehmoment an einer Lenksäule erfasst wird.
Verfahren nach einem der Ansprüche 10 bis 14, wobei die Daten, welche von der wenigstens einen Lenkschnittstelle oder von dem wenigstens einen Sensor akquiriert werden, welcher eingerichtet ist, eine Interaktion mit der wenigstens einen Lenkschnittstelle durch den menschlichen Fahrer zu erfassen, wenigstens einen Drucksensor aufweisen, welcher mit der Lenkschnittstelle gekoppelt ist, um einen auf die Lenkschnittstelle ausgeübten Druck durch den menschlichen Fahrer zu erfassen.
Produkt aufweisend: • ein autonomes Lenksystem aufweisend eine Lenkschnittstelle und welches konstruiert und eingerichtet ist, um gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingegeben werden und Lenkanweisungen einer autonomen Lenkung zu akzeptieren und zu interpretieren, welche durch ein autonomes Lenksystem eingegeben werden, wobei • das autonome Lenksystem in der Lage ist, wenigstens zwischen einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, • der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden, • der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über eine Betätigung der wenigstens einen Lenkschnittstelle erzeugt werden, • das Produkt darüber hinaus wenigstens eine Kamera oder einen optischen Sensor aufweist, welche(r) eingerichtet ist, eine Position und/oder Haltung einer menschlichen Gliedmaße zu verfolgen, • das autonome Lenksystem eingerichtet ist, zwischen den Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße, • die wenigstens eine Kamera oder der optische Sensor positioniert ist, um eine vordere Fläche der Lenkschnittstelle zu sehen, und • das autonome Lenksystem eingerichtet ist, ein Bildanalysesystem zu verwenden, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde und die Lenkmodi basierend wenigstens auf diesem Ermitteln zu ändern.
Produkt nach Anspruch 16, wobei die menschliche Gliedmaße eine menschliche Hand aufweist.
Verfahren aufweisend: • Bereitstellen eines autonomen Lenksystems aufweisend eine Lenkschnittstelle und welches konstruiert und eingerichtet ist, gleichzeitig Lenkanweisungen eines menschlichen Fahrers, welche durch einen menschlichen Fahrer über wenigstens eine Lenkschnittstelle eingebebenen werden und autonome Lenkanweisungen, welche durch ein autonomes Lenksystem eingegeben werden zu akzeptieren und zu interpretieren, wobei das autonome Lenksystem in der Lage ist, wenigstens zwischen einem ersten Lenkmodus und einem zweiten Lenkmodus zu wechseln, wobei der erste Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis autonomer Lenkanweisungen erfolgt, welche durch das autonome Lenksystem erzeugt werden und wobei der zweite Lenkmodus ein Lenkmodus ist, in welchem das Lenken exklusiv auf der Basis von Lenkanweisungen eines menschlichen Fahrers erfolgt, welche durch einen menschlichen Fahrer über die Betätigung wenigstens einer Lenkschnittstelle erzeugt werden, • Verwenden wenigstens einer Kamera oder eines optischen Sensors, um wenigstens eine Position und/oder eine Haltung einer menschlichen Gliedmaße zu verfolgen und wobei das autonome Lenksystem eingerichtet ist, zwischen Lenkmodi zu wechseln, basierend wenigstens auf der verfolgten Position oder Haltung der wenigstens einen menschlichen Gliedmaße, wobei die wenigstens eine Kamera oder der optische Sensor positioniert ist, um eine vordere Fläche der Lenkschnittstelle zu sehen, • Verwenden eines Bildanalysesystems, um zu ermitteln, dass jeder Finger der wenigstens einen Hand des menschlichen Fahrers von einer umgreifenden oder umklammernden Haltung in eine vollständig gestreckte Position bewegt wurde, und • Ändern der Lenkmodi des autonomen Lenksystems basierend wenigstens auf • diesem Ermitteln. •
Verfahren nach Anspruch 18, wobei die menschliche Gliedmaße eine menschliche Hand umfasst.