-
Querverweis auf verwandte Anmeldungen
-
Diese Anmeldung beansprucht Priorität für die am 4. April 2019 eingereichte vorläufige US-Patentanmeldung mit der Nummer 62/829,475 mit dem Titel „Detection and Monitoring of Active Optical Retroreflectors“ und bezieht diese vollständig mit ein.
-
Technischer Bereich
-
Die hier vorgestellte Offenbarung bezieht sich auf bildgebende Systeme in einer Fahrzeugkabine und ist auf die Lokalisierung, Identifizierung und Hervorhebung von Statusänderungen von Insassen und Strukturen in der Fahrzeugkabine gerichtet.
-
Hintergrund
-
Sitzgurte gehören zur Standardausrüstung fast aller Fahrzeuge, in denen in den heutigen Verkehrssystemen Insassen befördert werden. Die Erstausrüster (OEM) müssen nicht nur strenge Normen für die Konstruktion und den Einbau von Sitzgurten einhalten, sondern in vielen Fällen sind die Fahrzeuginsassen auch gesetzlich verpflichtet, Sitzgurte anzulegen. Doch selbst wenn es Herstellungs- und Benutzungsvorschriften gibt, hängt die Sicherheit des Fahrzeugs insgesamt davon ab, dass die Fahrzeuginsassen die Sitzgurte richtig anlegen. Da der Innenraum eines Fahrzeugs von außen nur teilweise einsehbar ist, sind Sichtkontrollen durch externe Stellen nicht völlig zuverlässig. Personen, die versuchen, die Vorschriften zur Verwendung von Sitzgurten zu umgehen, legen die Sitzgurte im Fahrzeuginnenraum auch so an, dass der Anschein erweckt wird, dass der Sitzgurt verwendet wird, der Fahrzeuginsasse jedoch mehr Bewegungsfreiheit hat (d. h. der Sitzgurt wird hinter dem Rücken des Benutzers befestigt oder nur teilweise über den Körper des Benutzers gezogen, und die Gurtspule wird so manipuliert, dass der Sitzgurt in einer verlängerten Position bleibt, ohne dass eine feste Verriegelung erforderlich ist).
-
Der Missbrauch von Sitzgurten und/oder die unzuverlässige Überwachung von Sitzgurten kann andere Probleme als den einfachen Schutz des Körpers durch das Zurückhalten eines Insassen während eines Unfalls mit sich bringen. Die Erkennung und Verfolgung der Benutzung von Sitzgurten durch Insassen wurde bisher hauptsächlich durch die Verwendung von Ein-/Aus-Schaltern als Sensoren erreicht, die als Teil der Datenerfassung eines Fahrzeugsteuerungssystems entsprechende Datensignale an einen zentralen Prozessor übermitteln, wenn der Gurt angelegt oder nicht angelegt ist. Der Sensorzustand der Sitzgurtschalter kann zur Bestimmung der Rückhalteeinstellungen verwendet werden und beispielsweise zur Entscheidung über die Unterdrückung oder Entfaltung von Airbags herangezogen werden. Motorisierte Sitzgurte können auch Gurtauslösesensoren und/oder Gurtspannungssensoren verwenden, wobei diese Sensoren zur Erkennung und/oder Verfolgung der korrekten Gurtanlegung sowie der dynamischen Änderungen des Gurtauszugs bei Bewegung des Insassen verwendet werden können. Solche Sensoren können zur statischen und/oderdynamischen Steuerung der Rückhalteeinrichtungen verwendet werden.
-
Frühere Methoden der Sitzgurtüberwachung können wirksam sein, aber auch manipuliert werden. Wie bereits erwähnt, werden Sitzgurte nach wie vor unsachgemäß hinter oder unter dem Insassen angelegt, Schlossersatzteile angebracht, ohne den Sitzgurt zu benutzen, und man manövriert sich selbst mit der Hand aus dem Sitzgurt, insbesondere aus dem Schultergurt. Außerdem gibt es auf vielen Rücksitzen derzeit keine Gurtschalter, Gurtauslösesensoren oder Gurtspannungssensoren. Es kann schwierig sein, die notwendige Elektronik in verstellbaren und beweglichen Sitzen zu installieren, um Gurtschlossschalter, Gurtauszugssensoren oder Gurtspannungssensoren als Nachrüstteile zu unterstützen.
-
Eine Sitzgurtüberwachung mit einem auf dem Sitzgurt aufgebrachten Muster und einer das Muster erkennenden Kamera ist beispielsweise in
DE 11 2004 001 341 B4 offenbart. Die
DE 11 2018 002 494 T5 offenbart darauf aufbauend eine Sitzgurtüberwachung mit einer Lichtquelle und einem lichtreflektierenden Muster auf dem Sitzgurt, dessen reflektiertes Licht durch eine Kamera erfasst wird. Die
DE 10 2016 219 517 A1 offenbart einen auf einen mit radarreflektierendem Material bezogenen Sitz gerichteten Radarsensor zur Ermittlung von Insasseninformationen. Ein ähnliche Vorrichtung, die einen lichtreflektierenden Sitzbezug und eine Bilderfassungseinheit, die das vom Sitzbezug reflektierte Licht erfasst, zeigt die
DE 10 2015 010 282 A1 . In der
DE 10 2004 028 090 A1 ist ein Verfahren zur Kalibrierung einer Sensorik zur Überwachung eines Fahrzeuginnenraums aufgezeigt, die den Abstand aktuell gemessener 3D-Messpunkte mit abgelegten 3D-Oberflächendaten ausgewählter Objekte des Fahrzeuginnenraums ermittelt.
-
Auf dem Fahrzeugmarkt besteht nach wie vor Bedarf an Kontrollsystemen, welche die ordnungsgemäße Verwendung der Sitzgurte durch die Fahrzeuginsassen überwachen und dem Kontrollsystem Daten über die Verwendung und Position der Sitzgurte zur Verfügung stellen, um zusätzliche Sicherheitsvorkehrungen, wie hier beschrieben, zu treffen.
-
Zusammenfassung der Offenbarung
-
Ein Fahrzeugkabinen-Überwachungssystem umfasst einen Bildsensor, der mit einem Computerprozessor und einem Computerspeicher verbunden ist, der Software umfasst, die den Bildsensor steuert, wobei der Bildsensor so positioniert ist, dass er Bilder von mindestens einem Teil eines Fahrzeuginnenraums erfasst. Mindestens eine Referenzstruktur ist in der Fahrzeugkabine innerhalb des Sichtfeldes des Bildsensors angeordnet. Eine optisch aktive Komponente ist auf der Referenzstruktur positioniert, so dass die Referenzstruktur eine beleuchtete Oberfläche aufweist, die in mindestens einem der Bilder enthalten ist. Eine Sequenz der Bilder zeigt Unterschiede in Bezug auf die beleuchtete Oberfläche der Referenzstruktur, wobei die Unterschiede mindestens eine Zustandsänderung von mindestens einem Gegenstand im Fahrzeuginnenraum anzeigen. Die Referenzstruktur umfasst erfindungsgemäße ferner eine optisch dämpfende Schicht, die das Reflexionsvermögen der Referenzstruktur in einem solchen Ausmaß einstellt, dass das von der Referenzstruktur reflektierte Licht den Bildsensor mit einer Intensität erreicht, für die der Prozessor das reflektierte Licht in ein Messsignal umwandelt, das innerhalb des dynamischen Bereichs des Bildsensors liegt. Die Intensität ist durch die optisch dämpfende Schicht in Verbindung mit dem Einfallswinkel des einfallenden Lichts eingestellt.
-
Ein Fahrzeugkabinen-Überwachungssystem umfasst eine Lichtquelle, die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum liefert. Ein Bildsensor ist mit einem Prozessor und einem Computerspeicher verbunden, wobei der Bildsensor so positioniert ist, dass er entweder das projizierte Licht von der Lichtquelle oder das vom Fahrzeuginnenraum zurückreflektierte Licht empfängt. Mindestens eine Referenzstruktur ist in der Fahrzeugkabine innerhalb des Projektionsweges und innerhalb des Sichtfeldes des Bildsensors angeordnet. Eine optisch aktive Komponente, die auf der Referenzstruktur angeordnet ist, lenkt das reflektierte Licht zurück auf den Bildsensor. Die optisch aktive Komponente umfasst erfindungsgemäß eine retroreflektierende Oberfläche umfassend ein erstes Gewebe und eine optisch dämpfende Schicht umfassend ein Maschengewebe mit einer Grobheit von blockierenden Strukturen, die das Reflexionsvermögen des ersten Gewebes verringern. Die optisch dämpfende Schicht passt das Reflexionsvermögen der optisch aktiven Komponente so an, dass das reflektierte Licht von der Referenzstruktur mit einer Intensität auf den Bildsensor trifft, für die der Prozessor das reflektierte Licht in ein Messsignal umwandelt, das innerhalb eines dynamischen Bereichs des optischen Sensors liegt. Der Bildsensor, der Prozessor und der Computerspeicher verwenden eine Vielzahl von Messsignalen innerhalb des dynamischen Bereichs, um ein Punktwolkenbild zu erzeugen, das reflektierte Intensitätsdaten und Entfernungsdaten umfasst. Die Lichtquelle hat eine Frequenz, die größer ist als eine erfasste Frequenz von Änderungen in dem Punktwolkenbild, die aus der Bewegung der Gegenstände resultiert.
-
Ein Fahrzeugkabinen-Überwachungssystem umfasst eine Lichtquelle, die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum liefert. Ein optischer 3D-Flugzeitsensor ist mit einem Prozessor und einem Computerspeicher verbunden, wobei der optische Sensor so positioniert ist, dass er vom Fahrzeuginnenraum zurückreflektiertes Licht empfängt. Eine Vielzahl von Objekten ist im Fahrzeuginnenraum innerhalb des Projektionspfades und innerhalb des Sichtfeldes des optischen Sensors angeordnet, wobei mindestens eines der Objekte eine Referenzstruktur ist, die eine retroreflektierende Oberfläche und eine optisch dämpfende Schicht auf der retroreflektierenden Oberfläche umfasst. Die optisch dämpfende Schicht umfasst eine blockierende Struktur, die das Reflexionsvermögen der Referenzstruktur so einstellt, dass das von der Referenzstruktur zum optischen Sensor übertragene reflektierte Licht eine eingestellte Intensität aufweist, welche die Position der Referenzstruktur relativ zum Bildsensor berücksichtigt. Der 3D-Flugzeitbildsensor und der Prozessor erzeugen ein Punktwolkenbild, das eine dreidimensionale Darstellung der Objekte relativ zur Referenzstruktur innerhalb des Sichtfelds des Sensors enthält.
-
Ein Verfahren zur Überwachung einer Fahrzeugkabine umfasst die Positionierung mindestens einer Referenzstruktur im Fahrzeuginnenraum und die Positionierung mindestens einer Quelle für projiziertes Licht und mindestens eines optischen Sensors im Fahrzeuginnenraum an entsprechenden Stellen, so dass ein Sichtfeld des optischen Sensors mindestens einen Teil des projizierten Lichts oder einen entsprechenden Teil einer Reflexion des projizierten Lichts umfasst. Das Anbringen einer retroreflektierenden Oberfläche auf der mindestens einen Referenzstruktur ermöglicht die Auswahl eines Dämpfungsgrades des reflektierten Lichts in Abhängigkeit von der Position der Referenzstruktur in Bezug auf die Quelle des projizierten Lichts und den optischen Sensor. Dementsprechend umfasst das Verfahren dieser nicht einschränkenden Ausführungsform die Auswahl einer optisch dämpfenden Schicht, die den ausgewählten Dämpfungsgrad für das von der retroreflektierenden Schicht reflektierte Licht bietet. Durch Aufbringen der optisch dämpfenden Schicht auf die retroreflektierende Oberfläche wird eine Intensität des reflektierten Lichts eingestellt.
-
Figurenliste
-
- 1 ist eine Draufsicht auf einen Fahrzeuginnenraum mit Sitzen, die in den jeweiligen Sichtfeldern der Kameras im Fahrzeug installiert sind.
- 2 ist eine perspektivische Ansicht einer Sitzgurtanordnung mit reflektierenden Mustern, wie hier beschrieben ist.
- 3 ist eine perspektivische Ansicht eines Sitzgurtschlosses in geschlossener Position mit einer daran befestigten Sitzgurtzunge.
- 4 ist ein repräsentatives 3-D-Bild, das von den Kameras in 1 aufgenommen wurde.
- 5 ist ein Ausschnitt aus dem Bild von 4, der für eine bestimmte Region von Interesse zugeschnitten ist.
- 6 ist eine schematische Darstellung von retroreflektierenden Oberflächen und der damit verbundenen Lichtreflexion, wie sie in dieser Offenbarung beschrieben wird.
- 7A ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die beleuchtet wird und wie hier offenbart in einer Kopfausrichtung abgebildet ist.
- 7B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die beleuchtet und in einer schrägen Ausrichtung, wie hier offenbart, abgebildet wird.
- 8 ist eine schematische Darstellung von retroreflektierenden Oberflächen mit blockierenden Strukturen, die infrarotes Beleuchtungslicht absorbieren, wie hierin offenbart, zusammen mit der damit verbundenen Lichtreflexion, wie in dieser Offenbarung dargelegt.
- 9A ist eine perspektivische Ansicht einer Art von blockierender Struktur in Form eines Netzes zur Positionierung über einer hierin offenbarten retroreflektierenden Oberfläche.
- 9B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Netzstruktur versehen ist, welche die Beleuchtung blockiert, und die wie hier offenbart in einer Kopfausrichtung abgebildet ist.
- 9C ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Netzblockierungsstruktur, wie hier offenbart, versehen ist, welche die Beleuchtung blockiert, und in einer schrägen Ausrichtung abgebildet ist.
- 10 ist eine Draufsicht auf eine Netzblockierungsstruktur mit unterschiedlicher Zelldichte, wie sie hier offenbart wird.
- 11 ist eine schematische Darstellung von retroreflektierenden Oberflächen, die mit Dünnfilm modifizierte Oberflächen enthalten, die beleuchtetes Licht, wie hier offenbart, zusammen mit der zugehörigen Lichtreflexion, wie in dieser Offenbarung dargelegt, empfangen.
- 12A ist eine Darstellung möglicher Konstruktionen für Dünnschichtmodifikationen an retroreflektierenden Oberflächen, wie sie hier offenbart werden.
- 12B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation unterzogen wurde.
- 12C ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit mehreren Schichten einer Dünnschichtmodifikation versehen ist.
- 12D ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Mylar™ -Schicht modifiziert wurde.
- 12E ist eine perspektivische Ansicht jeder retroreflektierenden Oberfläche mit den jeweiligen Modifikationen der 12A-12D, die wie hier offenbart frontal beleuchtet wird.
- 12F ist eine perspektivische Ansicht jeder retroreflektierenden Oberfläche mit den jeweiligen Modifikationen der 12A-12D, die einer schrägen Beleuchtung, wie hier offenbart, ausgesetzt ist.
- 13A ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation und einer Beleuchtung in einer Kopfausrichtung, wie hierin offenbart, unterzogen wurde.
- 13B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation und einer Beleuchtung in einer schrägen Ausrichtung, wie hier offenbart, unterzogen wurde.
- 14A ist eine perspektivische Ansicht zur vergleichenden Analyse von 13A und zeigt eine retroreflektierende Oberfläche, die nicht mit einer Dünnschichtmodifikation versehen ist und wie hierin offenbart in einer Kopfausrichtung beleuchtet wird.
- 14B ist eine perspektivische Ansicht zur vergleichenden Analyse von 13B und zeigt eine retroreflektierende Oberfläche, die nicht mit einer Dünnschichtmodifikation versehen ist und in einer schrägen Ausrichtung, wie hier offenbart, beleuchtet wird.
- 15 ist eine perspektivische Ansicht eines Fahrzeuginnenraums von oben, wie er von einem Sensor mit dem hier beschriebenen Sichtfeld abgebildet wird.
- 16 ist eine Seitenansicht des Fahrzeuginnenraums von 15.
- 17 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T0 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 18 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T1 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 19 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T2 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 20 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T3 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 21 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T4 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 22 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T5 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 23 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T6 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 24 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T7 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 25 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T8 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 26 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T9 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 27 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T10 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
- 28 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T11 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
-
Detaillierte Beschreibung
-
Übersicht
-
Diese Offenbarung verwendet elektromagnetische Sensoren wie Bildsensoren, Bildkameras und dergleichen, um Positionen zahlreicher Komponenten eines Fahrzeuginnenraums zu erkennen und zu verfolgen. In einer Ausführungsform ist der Sensor ein aktives optisches 3D-Flugzeit-Bildgebungssystem, das eine bekannte Wellenform (zum Beispiel sinusförmig, pseudozufällig und dergleichen) elektromagnetischer Lichtwellenlänge(n) aussendet, die mit einer Bilddetektoranordnung kollokiert und/oder synchronisiert sind, wobei die Amplitude des erfassten Signals proportional zu dem reflektierten Licht bei der/den Lichtwellenlänge(n) ist. Ein solcher Sensor kann sowohl die reflektierte Lichtintensität von Oberflächen im Sichtfeld des Bildgebers als auch den Abstand der Oberfläche vom Bildgeberdetektor erfassen.
-
Das Licht wird ausgestrahlt und trifft auf die Oberfläche aller Objekte innerhalb einer Sichtlinie. In Abhängigkeit von der geometrischen Anordnung und der Materialzusammensetzung des Objekts wird ein Teil des Lichts zu einer Detektoranordnung des Bildgebers zurückreflektiert. Die Signalverarbeitung der erfassten Signale kann zur Rekonstruktion von 3-D-Informationen (Intensitäts- und Tiefenbild) verwendet werden, die in Bildverarbeitungsalgorithmen zur Erkennung und/oder Klassifizierung und/oder Verfolgung von Informationen über die Objekte in der Szene eingesetzt werden können. In einem nicht einschränkenden Ausführungsbeispiel kann die Wellenlänge der Lichtquelle im Bereich von etwa 850 bis 950 nm gewählt werden, und die Quelle des ausgewählten Lichts könnte ein LED-Array oder ein oder mehrere VCSEL-Laser mit Dispersions-/Filteroptik(en) sein, um das Licht innerhalb eines bekannten räumlichen Bereichs zu streuen.
-
Ohne diese Offenbarung auf eine bestimmte Art von Ausrüstung zu beschränken, kann die Bildgeberanordnung beispielsweise eine Silizium-Multipixelanordnung sein, die auf das oben beschriebene Licht von 850-950 nm, das von einer entsprechenden Lichtquelle ausgesandt wird, synchronisiert und empfindlich ist. Der Sensor und die zugehörigen Quellen und Detektoren könnten jedoch auch auf anderen elektromagnetischen Methoden basieren, wie zum Beispiel passiven optischen Bildgebern (2-D, unter Verwendung von Umgebungslicht), Radar, Ultraschall, Mikrowellen und zahlreichen Detektionstechnologien.
-
In Ausführungsbeispielen erfassen und verfolgen die Bildsensoren Komponenten eines Fahrzeuginnenraums, einschließlich, aber nicht beschränkt auf ein Sitzgurtmaterial, die mechanische Befestigung der Sitzgurte (zum Beispiel die Gurtauswurföffnung) und/oder mechanische Merkmale am Sitzgurt (zum Beispiel den Gurt selbst, D-Ringe, Schlossbeschläge, Halteknöpfe usw.). Diese Komponenten können aus Materialien bestehen und/oder mit einem geeigneten Muster versehen sein, so dass die Merkmale innerhalb des Musters ein kontrolliertes, deterministisches Reflexionsvermögen in dem/den Wellenlängenbereich(en) des Sensors aufweisen. Zu den anderen Fahrzeugkomponenten, die mit den unten beschriebenen bildgebenden Geräten erfasst und verfolgt werden können, gehören Teile der Türinnenseiten, Teile der Fahrzeugsitze und Kopfstützen, Ablagefächer auf den Vorder- oder Rücksitzen und sogar Insassen und/oder Gegenstände im Fahrzeug.
-
In einer nicht einschränkenden Ausführungsform kann zum Beispiel das Material des Sitzgurts oder des Gurts die Zielstruktur für die Verfolgung sein. Das Gurt kann gewebt, beschichtet, genäht oder anderweitig mit einem sich abwechselnden Muster aus Materialien mit hohem und niedrigem Reflexionsvermögen bei der/den ausgewählten Sensorwellenlänge(n) verziert sein. Das Muster kann so gewählt werden, dass Informationen über den Sitzgurt entweder durch visuelle Inspektion oder durch Bilderkennung in einem automatischen Computer-Vision-System besser erkannt und verfolgt werden können. Bildverarbeitungsmethoden können optimiert werden, um diese Muster zu erkennen, zu klassifizieren und zu verfolgen. Die Mustermerkmale können so ausgewählt werden, dass sie einen optimalen Kontrast aufweisen, um das Ausmaß des Gurtauswurfs aus einer Gurtauswurföffnung, die Tiefe des Gurtes relativ zu einem Sensor oder einer Kamera und andere Vergleichsdatensätze zu erkennen/zu verfolgen, wie zum Beispiel die Gurtposition, die der Kamera am nächsten liegt (zum Beispiel um die Brust des Insassen zu identifizieren). Die hier beschriebenen Ausführungsformen erkennen, überwachen und/oder verfolgen Gurtauswurföffnungen und Gurtmuster, wo auch immer sie sich in einem Bild befinden, das von einem Kamerablickfeld erzeugt wird. Beispielsweise können diese Muster lokalisiert und ihre relativen Positionen im Vergleich zu Sitzen, Dächern oder seitlichen Fahrzeugstrukturen bestimmt werden, um die Position von Sitzgurten oder Teilen davon zu erkennen. In Fällen, in denen der Gurt verdeckt sein kann, können Gegenstände, die vom Insassen in das Fahrzeug gebracht werden, wie Kleidung, Decken, Gepäck, Ladung oder alles, was der Insasse über den erwarteten Bereich für den Sitzgurt legt, in diesem System berücksichtigt werden.
-
Das hier beschriebene System und die Methoden identifizieren Referenzpunkte innerhalb eines Raums, die in einem Fahrzeug mit deutlich geringerer Wahrscheinlichkeit verdeckt werden, und stellen bekannte Strukturen bereit, anhand derer Sicherheitsfaktoren, wie zum Beispiel das Anlegen des Sitzgurts, und Fahrzeugbetriebsbedingungen, wie zum Beispiel die Sitzposition und die Position der Insassen, bewertet werden können. Durch die Identifizierung von Referenzstrukturen, die in einem Fahrzeug immer sichtbar sind, nutzen das hier offenbarte System und die Methoden teilweise sichtbare Teile eines Fahrzeuginnenraums zusammen mit Methoden zur Klassifizierung von Insassen, um einen ordnungsgemäßen oder unsachgemäßen Fahrzeugbetrieb vorherzusagen. Wie bereits erwähnt, ist eine Sitzgurtanordnung nur ein Beispiel für eine Art von Struktur innerhalb einer Fahrzeugkabine, die für die Überwachung durch einen Bildsensor, wie hier beschrieben, nützlich sein kann. In der nachstehenden detaillierten Beschreibung werden weitere Ausführungsformen der Verfahren und Systeme zur Überwachung gemäß den darin erwähnten Figuren erläutert.
-
Aktive optische Sensorsysteme arbeiten mit einer bestimmten Lichtquelle und einem Detektor, die synchron zueinander arbeiten. Die Lichtquelle ist so eingestellt, dass sie Licht eines bestimmten Wellenlängenbereichs, einer bestimmten Intensität und eines bestimmten Tastverhältnisses aussendet, so dass ein Teil des ausgesandten Lichts von den Objekten im Sichtfeld des Detektors reflektiert wird. Die Intensität und Phase des Lichts, das den Bildsensor oder Bilddetektor erreicht, kann verwendet werden, um ein Bild der reflektierten Intensität und auch ein Entfernungsbild zu erzeugen. Die Kombination dieser beiden Daten wird häufig als „Punktwolkenbild“ bezeichnet, das zur Unterscheidung von Objekten innerhalb des Sichtfelds des Bildsensors verwendet werden kann. In einer Ausführungsform hat der Bildsensor einen festen dynamischen Bereich (oft beschrieben als einen Spannungsbereich wie 0,5-5 Volt benutzend), wobei Spannungen, die den Maximalwert überschreiten, „Sättigung“ und Spannungen, die unter den Minimalwert des Bereichs fallen, „Rauschen“ oder den elektrischen Rauschpegel des Sensors darstellen. In den meisten Fällen ist der Bildsensor so konzipiert, dass die Informationen, die von der im Sensor konfigurierten Software erkannt und verwendet werden können, maximiert werden. Die beabsichtigte Anwendung des Sensors bestimmt auch den vorgesehenen Sensorbereich. Durch das Anbringen eines Filters auf einem Bildsensor, der einen gewünschten Wellenlängenbereich durchlässt und alle anderen blockiert, kann das Signal-Rausch-Verhältnis des Sensors weiter verbessert werden. Durch die Erzeugung aufeinander folgender „Punktwolkenbilder“ in Abhängigkeit von der Zeit kann auch die Bewegung von Objekten innerhalb des Sichtfelds (FOV) des Sensors geschätzt und verfolgt werden.
-
Ein nicht einschränkendes Beispiel für einen aktiven optischen Bildsensor im Sinne dieser Offenbarung ist eine 3D-Flugzeitkamera, die sinusförmiges Licht unter Verwendung von LED(s) oder Laserdioden mit einer zentralen Wellenlänge von etwa 850 nm und einem Bereich von +/- 50 nm emittieren kann. Die Kamera enthält einen Bildsensor mit einem Durchlassfilter, der die gleiche zentrale Wellenlänge von 850 nm (oder eine andere gewählte Wellenlänge) und den entsprechenden Bereich verwendet, so dass der Bildsensor zu zwei oder mehr gleichmäßig beabstandeten Zeitpunkten während der Sinuswelle der Lichtquelle (DT1, DT2, ...) abgetastet wird. Durch die Verwendung einer sehr schnellen Sinuswelle, verglichen mit der schnellstmöglichen Bewegung von Objekten, stellt das erfasste „Punktwolkenbild“ eine dreidimensionale Momentaufnahme des Bildsensor-Sichtfelds dar. Die Dauer, für welche die Kamera das gesammelte Licht zu diesen Abtastzeiten integriert (zum Beispiel Integrationszeiten), kann ebenfalls im Bildsensor gesteuert werden. Die Intensität des Lichts, das den Bildsensor erreicht, ist eine Funktion des Wellenlängenbereichs, der Intensität und der Phase des emittierten Lichts, der Position (Entfernung) der Objekte im Sichtfeld, der Größe und Ausrichtung der Objekte und anderer Faktoren wie der Oberflächeneigenschaften der Objekte (zum Beispiel Materialreflexionsvermögen im Wellenlängenbereich des Sensordetektors, makroskopische/mikroskopische Oberflächennormale, zum Beispiel rau oder glatt).
-
Wenn sich Objekte sehr nahe am Bildsensor befinden und/oder stark reflektieren, kann das erfasste Licht den maximalen Dynamikbereich des Bildsensors überschreiten (d. h., der Sensor wird „gesättigt“). Durch Verkürzung der Integrationszeit kann das erfasste Licht so weit reduziert werden, dass es in den dynamischen Bereich des Bildsensors fällt. Wenn die Objekte sehr weit vom Bildsensor entfernt sind und/oder nicht reflektieren, kann es sein, dass der Bildsensor nicht genügend reflektiertes Licht empfängt, um es innerhalb des dynamischen Bereichs des Detektors zu registrieren (d. h., es kommt zu „Rauschen“). Durch eine Verlängerung der Integrationszeit in diesem verrauschten Szenario kann das erfasste Licht erhöht werden, so dass es in den dynamischen Bereich des Detektors fällt.
-
Um die Informationen des Sensors für die vorgesehene Anwendung zu optimieren, sollte der volle Dynamikbereich des 3-D TOF-Sensors genutzt werden, wobei „Sättigungs-“ und „Rausch“-Bedingungen minimiert werden sollten.
-
Für die Zwecke dieser Offenbarung wird eine Beispielanwendung als Kabinenüberwachungssystem (CMS) definiert. In diesem nicht einschränkenden Beispiel wird ein 3-D-TOF-Sensor in einem Fahrzeug befestigt und sammelt sequentielle Punktwolkenbilder, die von Computeralgorithmen verwendet werden, um die gesamte Kabine diskret oder kontinuierlich zu überwachen, soweit das Sichtfeld und die Reichweite der Kamera die vollständige Sicht auf die Kabine ermöglichen. Das CMS erfasst auch die menschlichen Insassen und Objekte in der Kabine.
-
Um beispielsweise die Tiefe und Intensität von Fahrzeugsitzen bei Materialien mit geringem Reflexionsvermögen (zum Beispiel schwarzer Stoff) zu erfassen und darüber hinaus die Position von Fahrzeugkomponenten in der Kabine zu erkennen, kann der Bildsensor lange Integrationszeiten benötigen oder möglicherweise überhaupt nicht in der Lage sein, die Zielmaterialien zu erkennen. Andererseits können manche Sitzmaterialien extrem reflektierend sein, was zu einer Sättigung bei sehr niedrigen Integrationszeiten führt. Um diesen Szenarien Rechnung zu tragen, kann es von Vorteil sein, Materialien in ein oder mehrere Referenzobjekte mit einer kontrollierten, bestimmten Lambert'schen Oberfläche mit einer kontrollierten bidirektionalen Reflexionsverteilungsfunktion (BRDF) einzubringen, so dass ein gesammeltes Bild eine konsistente Referenz für den aktiven optischen Sensor darstellt.
-
Die BRDF ist ein Fachbegriff aus dem Bereich der Optik und bezieht sich im Allgemeinen auf eine Funktion von vier Parametern, die sich auf die Merkmale des reflektierten Lichts beziehen, wie zum Beispiel die Streueigenschaften einer Oberfläche, auf die Licht einfällt. In einer Hinsicht nimmt die BRDF eine Richtung des einfallenden Lichts (w
i) und eine Richtung des ausfallenden Lichts (w
r) und gibt das Verhältnis der reflektierten Strahldichte zur auf die Oberfläche einfallenden Bestrahlungsstärke wieder. Jede Richtung ist ihrerseits durch den Azimutwinkel ϕ und den Zenitwinkel θ parametrisiert, so dass die BRDF eine Funktion von 4 Variablen ist, wie unten dargelegt:
Siehe, Nicodemus, Fred (1965). „Directional Reflectance and Emissivity of an Opaque Surface". Angewandte Optik. 4 (7): 767-775, zitiert von Wikipedia.org.
-
Während der CMS-Entwicklung für Ausführungsformen dieser Offenbarung wurden mehrere deterministische BRDF-Referenzobjekte entlang der Innenseite einer Fahrzeugkabine und auf Fahrzeugsitzen angebracht. Zu Testzwecken wurden die Referenzobjekte mit herkömmlichen reflektierenden Materialien, wie den oben beschriebenen, installiert, die sorgfältig auf die Betriebsparameter einer zugehörigen Kamera/eines Sensors abgestimmt werden müssen, um wirksam zu sein. Die Testbedingungen wären in einer Produktionsumgebung schwer zu handhaben und umzusetzen. Nach dem Nachweis des Konzepts, wie hier gezeigt, umfasst diese Offenbarung auch zahlreiche strukturelle Merkmale für Komponenten innerhalb einer Fahrzeugkabine, die abgebildet werden sollen, und entsprechende Kamerafunktionen, die eine qualitativ hochwertige Abbildung zumindest eines Teils einer Fahrzeugkabine ermöglichen.
-
Viele Objekte in einer Fahrzeugkabine haben deterministische Eigenschaften in Bezug auf einen Bildsensor in einer in der Fahrzeugkabine installierten Kamera. Beispielsweise sind in einem Fahrzeug, das von einem Erstausrüster geliefert wird, das Dach, die Seiten, die Türen, die Sitze, die Fenster, die Positionen der Beschläge, die mechanischen Freiheitsgrade für dynamische Strukturen wie die Sitzposition und der Neigungswinkel zusammen mit den zugehörigen Fertigungsmaterialien im Kabinendesign spezifiziert und festgelegt. Dementsprechend können diese Objekte vorhergesagt, gemessen und als Referenzstrukturen innerhalb eines Punktwolkenbildes (deterministische Intensität und Entfernung) verwendet werden. Gegenwärtig verwenden die Hersteller von Bauteilen für Fahrzeuge und/oder Fahrzeugkomponenten ausgewählte Materialien für die oben genannten Referenzobjekte, ohne die Erkennbarkeit der Komponenten durch aktive optische Bildsensoren zu berücksichtigen.
-
Elektrische Systeme mit aktiven optischen Elementen wurden für Fahrzeuganwendungen entwickelt, darunter die folgenden:
- • Integrierte Mikrofone und Sensoren im Sitzgurt
- • Schalter für Sitzgurtschlösser, Präsenter und Beleuchtungen
- • In das Lenkrad integrierte sichtbare Lichtleisten
- • Infrarotscheinwerfer für Fahrerüberwachungssysteme
-
Bildgebende Verfahren innerhalb eines Fahrzeuginnenraums können auch Bilder berücksichtigen, welche die oben erwähnte Elektronik enthalten, die darin angezeigt wird. Für jede elektronisch angeschlossene Komponente in einem Fahrzeuginnenraum besteht die Möglichkeit, Komponenten und/oder Betriebsmodi einzubeziehen, in denen eine aktive optische Beleuchtung (zum Beispiel LED) integriert und aktiviert ist, so dass die Beleuchtung für einen aktiven optischen 2D- oder 3D-Sensor sichtbar ist, wie in dieser Offenbarung beschrieben. Die Beleuchtungseigenschaften (Wellenlänge, zum Beispiel Infrarot, Intensität, Dauer, Muster) sind je nach Fahrzeug- und/oder Insassenzustand steuerbar.
-
So kann der aktive optische 2D- oder 3D-Sensor Beleuchtungen aus mehreren Quellen für eine Vielzahl von Zwecken erkennen, klassifizieren und überwachen, indem er eine Beleuchtungseinrichtung in einem Sensorbild (2D) oder einer Punktwolke (3D) auf der Grundlage der Intensität, der räumlichen Position und/oder des zeitlichen Musters (zum Beispiel Blinken mit einer bekannten Rate) lokalisiert. Ohne die Offenbarung auf bestimmte Ausführungsformen zu beschränken, kann es sich bei der hier verwendeten Beleuchtung um eine passive Beleuchtung handeln, die einfallendes Licht reflektiert, oder um eine aktive Beleuchtung, die eine aktive Lichtquelle ist. Beispielsweise kann eine Kamera ein Bild aufnehmen, welches das Einschalten einer Beleuchtung zeigt, wenn sich der Zustand eines Fahrzeugs ändert, und dies durch die Änderung des Beleuchtungszustands in einem oder mehreren Pixeln innerhalb des aktiven optischen Sensorbilds erkennen. Andere Arten von Beleuchtungen, die unter dieses Beispiel fallen, sind zum Beispiel eine Lichtkuppel, die bei geöffneter Tür „an“ und bei geschlossener Tür „aus“ geht, so dass die Position der Lichtkuppel relativ zu einem Bildsensor in der Kamera feststeht (oder zumindest auf eine vorgegebene Anzahl von Freiheitsgraden beschränkt ist). Die Erkennung und Verfolgung des Lichts kann als Kalibrierungsreferenz oder als redundantes Maß für den Zustand der offenen/geschlossenen Tür (unabhängig von einem Türschalter) verwendet werden, um die funktionale Sicherheit zu erhöhen.
-
Weitere Beispiele für Beleuchtungseinrichtungen in einem Fahrzeug, die von einem Bildsensor erfasst werden können, sind:
- i. Lichter an einer Fahrzeugtür können sich in einem bestimmten Muster durch den Sensorbildraum bewegen, um die Bewegung und den Positionszustand der Tür anzuzeigen
- ii. Die Beleuchtungseinrichtung(en) für die Sitzschnalle oder den D-Ring sind für den Sensor sichtbar, wenn die Sitze unbesetzt sind, und diese Leuchten werden während des Ein- und Aussteigens von Insassen oder Gegenständen verdeckt, was eine Änderung des Sitzzustands bestätigt.
- iii. Die Beleuchtungseinrichtung(en) des Sitzschlosses oder des D-Rings ist (sind) beim Einstellen und Schließen des Insassengurts nicht sichtbar, jedoch sichtbar, wenn der Gurt ordnungsgemäß eingerastet ist.
- v. Die Beleuchtung(en) im Sitzgurt wird/werden eingeschaltet, wenn die Sitzgurte eingerastet sind, und kann/können dazu verwendet werden, festzustellen, ob sie getragen werden (vom Sensor sichtbar) und/oder die Statur des Insassen (Position/Entfernung vom Sensor) relativ zu einem Sitzgurt zu bestimmen.
- vi. Lenkradbeleuchtungen zur Bestimmung der Lenkradposition/des Neigungszustands, des Zustands der Handabtastung (verdeckt, nicht verdeckt) und möglicherweise des Lenkradwinkels (Positionen der Beleuchtungen relativ zur Kamera).
-
Jede sichtbare und steuerbare Beleuchtungseinrichtung innerhalb des Sichtfelds des Sensors kann auf diese Weise verwendet und gesteuert werden, um den Zustand des Fahrzeugs und/oder der Insassen zu ermitteln. Wie oben erwähnt, umfasst die Beleuchtungseinrichtung reflektierende Beleuchtungsvorrichtungen und aktive Lichtquellen, die in einigen Ausführungsformen eine Stromquelle nutzen können. In jedem Fall weist eine Beleuchtungseinrichtung optische Qualitäten und Eigenschaften auf, die mit den Zielen dieser Offenbarung übereinstimmen.
-
Vorheriges Wissen über die Position der Beleuchtungseinrichtung(en) in Bezug auf den Sensor, die Beleuchtungsintensität und das Beleuchtungsmuster kann als Kalibrierungsreferenz verwendet werden, um die Genauigkeit und Auflösung von Algorithmen zur Erkennung, Klassifizierung und Verfolgung durch maschinelles Sehen zu verbessern.
-
Diese und andere Ausführungsformen dieser Offenbarung werden im Folgenden in der detaillierten Beschreibung und den Figuren beschrieben.
-
1 ist eine schematische Übersichtsdarstellung eines Fahrzeugs gemäß dieser Offenbarung umfassend Sitzreihen (13A, 13B, 13C) innerhalb des Fahrzeuginnenraums (10) oder der Fahrzeugkabine eines Fahrzeugs. Der Begriff „Fahrzeug“, wie er hier verwendet wird, umfasst alle weitestgehenden Bedeutungen des Begriffs im Zusammenhang mit dem Transportwesen (das heißt alle Verweise auf ein Automobil dienen nur als Beispiel und beschränken diese Offenbarung nicht auf eine bestimmte Ausführungsform). Das Fahrzeug in 1 verfügt über einen Fahrersitz (13A) neben einem Lenkrad (19) und einem gemeinsamen Fahrerbedienfeld (17) (möglicherweise mit einem Bildschirm). Das Fahrzeugsteuersystem ist nicht gesondert dargestellt, würde aber in einer Computerbank implementiert, die Prozessoren (28), Speicher (27), elektronische Schaltungen und mindestens einen Sensor, der zur Schaffung einer sicheren Fahrumgebung im Fahrzeuginnenraum (10) erforderlich ist, umfasst. Die Computer (11) im Fahrzeug können mit Insassen-Klassifizierungssystemen (21) kommunizieren, die zur Bestimmung des Ein- und Ausstiegsortes, der Anatomie, des Alters, des Erwachsenen/Kindes/Kleinkind-Status und anderer quantitativer/qualitativer Merkmale jedes Insassen im Fahrzeug verwendet werden. Das Fahrzeug in 1 verfügt in der Regel über die Standardausrüstung der Erstausrüster (OEM), wie zum Beispiel die Sitzgurte, die in anderen Figuren ausführlicher dargestellt sind. Das Fahrzeug in 1 zeigt jedoch die Installation von Kameras (12A, 12B, 12C) mit entsprechenden Lichtquellen (16A, 16B, 16C), die im Fahrzeuginnenraum (10) positioniert sind, um entsprechende Sichtfelder (225) von Insassen, Sitzen (13), Sitzgurt-Baugruppen (20A, 20B) und anderen Strukturen im Fahrzeug zu erstellen. In diesem nicht einschränkenden Beispiel sind die Kameras/Bildsensoren (12) (auch als optische Sensoren (12) bezeichnet) an der Decke (15) des Fahrzeugs und auf dem Fahrerbedienfeld (17) installiert. Das Fahrzeug umfasst die zugehörigen Schaltungen, um die Kameras (12), die mit Lichtquellen (16) und zugehörigen Arrays/Sensoren (im Folgenden „Bildsensoren“ (14)) zusammenarbeiten, mit einem Fahrzeugsteuerungssystem zu verbinden, das über eine Computerbank von Computern (11) betrieben wird.
-
2 zeigt weitere Details des Fahrzeuginnenraums (10) und der Sitze (13A, 13B, 13C) mit darin arbeitenden Sitzgurtanordnungen (20A, 20B). Ein nicht einschränkender Aspekt dieser Offenbarung umfasst die Verwendung von Komponenten im Fahrzeuginnenraum (10), wie zum Beispiel, aber nicht beschränkt auf eine Sitzgurtanordnung (20A, 20B), in einer Weise, welche die Überwachungsmöglichkeiten maximiert. Zu den Komponenten im Fahrzeuginnenraum (10), die gemäß den Ausführungsformen dieser Offenbarung erfasst und verfolgt werden können, gehören unter anderem eine Sitzgurtaufrollvorrichtung (das heißt, eine Spule, die den Sitzgurt abwickelt und wieder in einen Gurtauswurfabschnitt (44) aufwickelt), eine Auswurfsöffnung (30), durch die sich ein Sitzgurt erstreckt, einen Teil einer Sitzgurtanordnung, der als Schultergurt (48) konfiguriert ist, einen Beckengurt (36), einen Beckengurtanker (32A, 32B, 32C), Gurtlängeneinstellbeschläge (34), ein Schloss (40), Schlossbeschläge (35), eine Sitzgurtzunge (42), mindestens eine Fläche (46) des Sitzgurtschlosses (40) und periphere Beschläge, die zum Installieren oder Aktivieren der Funktionen der Sitzgurtanordnung verwendet werden (zum Beispiel D-Ringe, Halteknöpfe). Der Begriff „Sitzgurtteile“ soll diese Offenbarung nicht einschränken und umfasst jede Struktur der Sitzgurtanordnung, die irgendeine Art von Verbindungs-, Installations- oder Betriebsfunktion in Bezug auf den in 2 gezeigten Becken- und Schultergurt bietet.
-
Zumindest diese Komponenten und andere Objekte und Gegenstände, die in einem Fahrzeuginnenraum (10) identifizierbar sind, können Muster enthalten, die mit einer entsprechenden Komponente integriert, auf sie aufgebracht oder mit ihr hergestellt sind. Die Muster bestehen aus Materialien mit einem bekannten Reflexionsvermögen, so dass das Muster in einem Intensitäts- und/oder Entfernungsbild, das vom Fahrzeuginnenraum (10) aufgenommen wird, erkennbar ist. Ein Muster, das aufgrund seiner Materialzusammensetzung ein vorbestimmtes Reflexionsvermögen aufweist, erscheint mit einer unterscheidbaren Leuchtdichte (oder sichtbaren Intensität), die ausreicht, um in einem Bild das Muster von anderen Strukturen zu unterscheiden. Das Muster kann in einem Bild je nach Wunsch des Designers entweder als Bereich mit geringerer oder mit höherer Leuchtdichte erscheinen und weiterhin zur Unterscheidung von Komponenten der Sitzgurtbaugruppe nützlich sein. In 2 zeigen die Komponenten der Sitzgurtanordnung (20) entsprechende Schultergurtmuster (38), Beckengurtmuster (50), Gurtauswurfabschnittsmuster (52), Verschlussöffnungsmuster (53), Verschlussmuster (56) und unterschiedliche Muster auf gegenüberliegenden Seiten der Komponenten (d. h. gegenüberliegende Seiten des Beckengurtes und des Schultergurtes mit unterschiedlichen Mustern können eine verdrehte Position für einen Sitzgurt in einem zugehörigen Bild identifizieren).
-
2 zeigt bestimmte Komponenten, die im Fahrzeuginnenraum (10) immer deutlich sichtbar sein können, selbst wenn ein Insasse oder dessen Habseligkeiten andere Teile der Sitzgurtanordnung in dem Sichtfeld der Kamera verdecken. Zum Beispiel kann ein Gurtauswurfsabschnitt (44), wie zum Beispiel ein Bereich, der in einer B-Säule in einem Fahrzeug definiert ist, an mehreren Stellen im Fahrzeuginnenraum installiert werden, um einen Auslass eines zugehörigen Sitzgurtes für einen Insassen zu ermöglichen. Die zugehörige Auswurföffnung (30) ist in der Regel für eine richtig positionierte Kamera sichtbar. Zu den anderen Komponenten, die weniger wahrscheinlich von der Ladung verdeckt werden und normalerweise im Sichtfeld eines Sensors oder einer Kamera sichtbar sind, gehört das Gurtschloss (40), das einen bekannten Bewegungsbereich hat.
-
3 zeigt eine vergrößerte Ansicht eines Sitzgurtschlosses mit entsprechenden Mustern auf bestimmten Unterkomponenten des Schlosses. So weist beispielsweise ein Schultergurt (48) auf einer Seite ein erstes Schultergurtmuster (38) auf, das als Streifen erkennbar ist, und auf der gegenüberliegenden Seite ein zweites Schultergurtmuster (57). Im Beispiel von 3 ist die gegenüberliegende Seite des Schultergurts auch als Beckengurtmuster (50) für einen zugehörigen Beckengurt (36) sichtbar. Die Schnalle (40), die Zunge (42), die Schnallenflächen (46) und die Beschläge (34) zur Einstellung der Gurtlänge sind allesamt geeignete Kandidaten für ein erkennbares Muster darauf.
-
4 zeigt ein Ausführungsbeispiel von mindestens drei Sitzgurtbaugruppen (20), die in einem Fahrzeuginnenraum (10) verwendet werden, wobei jede Sitzgurtbaugruppe mit einem entsprechenden Sitz (13A, 13B, 13C) mit einem anderen Insassen betrieben werden kann. Wie in den meisten Fällen unterscheiden sich die Insassen in Größe, Form und Abmessungen, was die richtige Gurtposition für jeden Insassen beeinflussen kann. Das Bild in 4 zeigt ein Beispiel für eine Art von Bild (80), das eine Fahrzeugkamera (12) (oder ein entsprechendes System aus mehreren Kameras) von einer richtig abgestimmten Lichtquelle (16) erzeugen kann, die den Fahrzeuginnenraum (10) mit einer Wellenlänge elektromagnetischer Strahlung/Lichtwellen beleuchtet, die so ausgewählt wurde, dass sie der Aufnahmeempfindlichkeit und Auflösung eines Bildsensors (14) entspricht, der von Materialien und Objekten innerhalb des Kameragesichtsfeldes reflektiertes Licht empfängt.
-
Das vom Bildsensor (14) aufgenommene und verarbeitete Bild kann je nach Kamera, computergestützter Bildanordnung und den zugehörigen Computerprozessoren entweder ein zweidimensionales oder ein dreidimensionales Bild sein, aber die Muster auf den Sitzgurten, Verankerungspunkten und Aufrollern sind darin sichtbar. Die Auswurföffnung (30) in jedem Gurtauswurfabschnitt (44) ist mit einem deutlich hervorstehenden Auswurfabschnittsmuster (52) dargestellt, das die Öffnung umgibt, so dass der Ursprung des Gurtauswurfs im Bild erkennbar ist. Die Gurtauswurfsabschnitte (44A, 44B, 44C), die als jeweils montierte Gehäuse dargestellt sind, können ein anderes Muster (45A, 45B, 45C) aufweisen, um die Struktur der Aufrolleinrichtung weiter zu verdeutlichen. Die übrigen Strukturen in 4 zeigen die Verwendung entsprechender Muster auf der Sitzgurtanordnung, wie oben beschrieben. Die Bauteile können unter anderem eine Aufrollvorrichtung für Sitzgurte umfassen (d. h., eine Spule, die den Sitzgurt abwickelt und wieder in einen Gurtauswurfsabschnitt (44) aufwickelt), eine Auswurfsöffnung (30), durch die sich ein Sitzgurt erstreckt, einen Teil einer Sitzgurtanordnung, der als Schultergurt (48) konfiguriert ist, einen Beckengurt (36), einen Beckengurtanker (32), Gurtlängenverstellungsausstattung (34), ein Schloss (40), Schlossbeschläge (35), eine Sitzgurtzunge (42), mindestens eine Fläche (46) des Sitzgurtschlosses (40) und periphere Beschläge, die zum Installieren oder Aktivieren der Funktionen der Sitzgurtanordnung verwendet werden (zum Beispiel D-Ringe, Halteknöpfe). Ein Schultergurt (48) hat auf einer Seite ein erstes Schultergurtmuster (38), das als Streifen zu erkennen ist, und auf der gegenüberliegenden Seite ein zweites Schultergurtmuster (57). Im Beispiel von 3 ist die gegenüberliegende Seite des Schultergurts auch als Beckengurtmuster (50) für einen zugehörigen Beckengurt (36) sichtbar. Die Schnalle (40), die Zunge (42), die Schnallenflächen (46) und die Beschläge zur Einstellung der Gurtlänge (34) sind allesamt geeignete Kandidaten für ein erkennbares Muster auf ihnen. Die Strukturen im Bild und die zugehörigen Muster liefern Daten zur Erfüllung mehrerer Funktionen - insbesondere zur Klassifizierung von Insassen gemäß einem zugehörigen Insassenklassifizierungssystem („OCS“) (21), zur Berechnung räumlicher Messungen in Bezug auf bekannte Referenzen innerhalb des Fahrzeugs und zur Verfolgung von Bewegungen innerhalb des Fahrzeugs. Ein Ziel ist es, zu erkennen, dass ein Beckengurt und ein Schultergurt für die Sitzgurtanordnung einen Insassen an den richtigen Stellen des Rumpfes (65) kreuzen, um mit Hilfe von Sensoren im Gurtschloss einen korrekten Anschnall-/Abschnallzustand zu erreichen.
-
Das Insassenklassifizierungssystem („OCS“) (21) kann zahlreiche Arten von Hardware, Positionssensoren, Drucksensoren, Gewichtssensoren und dergleichen umfassen, um einen Fahrzeuginsassen zu identifizieren, damit ein Fahrzeug die gesetzlichen Anforderungen erfüllt. Viele Merkmale eines Insassen werden derzeit von einem OCS identifiziert, um die Auslösung von Airbags und anderen Rückhaltesystemen, Warnungen und Betriebskontrollsignalen zu steuern. In nicht einschränkenden Ausführungsformen dieser Offenbarung können Bilder, die gemäß den hier beschriebenen Methoden und Systemen erfasst wurden, in Verbindung mit einem OCS verwendet werden, um die richtige Gurtanlegung für viele verschiedene menschliche Entwicklungsstufen (zum Beispiel Erwachsene, Kinder, Säuglinge) sowie anatomische Strukturen (große Männer, durchschnittliche Männer oder Frauen, kleine Frauen) zu erkennen. Die optimale Gurtanlegung für diese verschiedenen Insassen ist für jeden von ihnen sehr unterschiedlich. Ein OCS kann Daten von den hier beschriebenen computergestützten Bildgebungssystemen empfangen, um Kantenanalysen zur Erkennung von Insassenformen, 3D-Tiefenanalysen für die Position des Rumpfes und anatomische Bemessungen für die Gurtbestätigung relativ zum Körper des Insassen durchzuführen. Einzel- und Mehrkamerasysteme zur Gurtüberwachung und Insassenklassifizierung fallen durchaus in den Anwendungsbereich dieser Offenbarung.
-
5 zeigt ein Beispiel für eine dreidimensionale Analyse eines Fahrzeuginsassen auf einem Fahrzeugsitz (13) und verwendet die oben genannten Komponenten der Sitzgurtanordnung (20). Ein Bild, wie es hier gezeigt wird, kann mit ausreichender Detailgenauigkeit erstellt werden, um Muster auf zahlreichen Komponenten der Sitzgurtanordnung zu erkennen, wie zum Beispiel das Muster der Schultergurte (38) und/oder das Muster des Beckengurts (50). Die Komponenten der Sitzgurtanordnung sowie der Körper des Insassen werden mit ausreichender Klarheit dargestellt, um den Innenraum des Fahrzeugs an diesem Sitzplatz (d. h. in diesem Bereich von Interesse) in einem dreidimensionalen Koordinatensystem zu modellieren. Eine solche Zuordnung zu einem Koordinatensystem ermöglicht es der Computersoftware, räumliche Messungen für jedes Bild zu berechnen und die Bewegung über Bildpaare hinweg zu verfolgen. In dem nicht einschränkenden Beispiel von 5 berechnet ein computergestütztes Verfahren, das durch das hier offenbarte System implementiert wird, zahlreiche Winkel, die bei der Identifizierung der ordnungsgemäßen oder nicht ordnungsgemäßen Verwendung des Sitzgurts nützlich sind. Die räumlichen Messungen können Entfernungen von einer Kamera (12) zu einem Teil des Körpers des Insassen (das heißt dem Rumpf, der einen Schultergurt aufnimmt), Entfernungen zwischen Komponenten der Sitzgurtanordnung (20) und Teilen des Körpers des Insassen sowie Winkel zwischen Strukturen im Fahrzeug, dem Körper des Insassen und der Sitzgurtanordnung umfassen.
-
Ohne diese Offenbarung einzuschränken, zeigt 5 beispielsweise ein Verfahren zur Berechnung eines ersten Winkels (Theta 1) zwischen der Schulter eines Insassen und einer Längsachse entlang des Sitzgurtes, eines zweiten Winkels (Theta 2) zwischen der Längsachse des Sitzgurtes und einer referenzierten horizontalen Achse für das Koordinatensystem und eines dritten Winkels (Theta 3), der zwischen einem Teil des Kopfes des Insassen und der Längsachse des Sitzgurtes berechnet wird. Diese Art von statischen Messungen sind nur Beispiele dafür, dass das System Datenpunkte sammelt, die zur Bestimmung der Anfangs-, Zwischen- und Endpositionen von Sitzgurtkomponenten in einem bestimmten Fahrzeug verwendet werden können. Diese Daten können dann verwendet werden, um entsprechende Warnungen für die Insassen vorzubereiten und auszugeben, Airbags und andere Rückhaltesysteme zu steuern und Daten zu aktualisieren, die einem OCS helfen, die Klassifizierung der Insassen im Fahrzeug zu überprüfen.
-
Die oben beschriebene Offenbarung hat Vorrichtungen und Techniken beschrieben, um (i) identifizierbare Muster zu erstellen, die mit einer Sitzgurtanordnung und entsprechenden Fahrzeugstrukturen verbunden sind, und (ii) bildgebende Verfahren bereitzustellen, die bekannte Referenzwerte unter zahlreichen Bedingungen in Bezug auf sowohl feste als auch dynamische Strukturen innerhalb eines Fahrzeugs einbeziehen.
-
Strukturen in einem Fahrzeug können zu verschiedenen Zeiten entweder fest oder dynamisch sein. In einem Sinne umfassen bestimmte Komponenten, die als fest in einem Fahrzeug betrachtet werden, die festen Komponenten der Sitzgurtbaugruppe (20), wie zum Beispiel mindestens einen Gurtauswurfsabschnitt (44), der eine Sitzgurtauswurfsöffnung (30) definiert, ein Sitzgurtschloss (40), einen ersten Verankerungspunkt (32A) und Schlossbeschläge (35), die mit den festen Komponenten verbunden sind. Zu den dynamischen Bauteilen kann mindestens einer der folgenden gehören: ein Sitzgurt, der sich von einer Öffnung (30) in einem Gurtauswurfsabschnitt (44) aus erstreckt, ein Schultergurtteil (48) des Sitzgurtes, ein Beckengurtteil (36) des Sitzgurtes und eine Sitzgurtzunge (42), da sich diese Teile während der Benutzung wahrscheinlich bewegen und sich von einem Insassen zum anderen in unterschiedlichen Positionen befinden. Andere Bauteile können, wie oben beschrieben, einen begrenzten Bewegungsbereich haben (zum Beispiel ein Sitz (13) oder ein Gurtschloss (40)), so dass dieses Bauteil zwar in einem dynamischen Sinne verstellbar ist, aber als fester Bezugspunkt dienen kann, wenn eine ausgewählte Position bekannt ist.
-
Die Verwendung mehrerer Kameras, mehrerer Bezugspunkte und richtig platzierter Muster unterschiedlicher Reflektivität ermöglicht ein System, das nicht nur statische räumliche Messungen von Entfernungen und Winkeln liefert, sondern auch Bewegungsinformationen für einen Insassen oder eine Fahrzeugstruktur relativ zu einem bekannten oder berechneten Bezugspunkt.
-
Die iterativen Abzüge der 18-28, die weiter unten im Detail besprochen werden, veranschaulichen die Verwendung dieser Techniken für eine Zeitserien-Bewegungsanalyse eines Insassen, der mit einer Sitzgurtanordnung 20 interagiert (von einem Referenzpunkt aus, wie zum Beispiel einer Sitzgurtauswurföffnung (30)), wobei der Gurtauswurf (zum Beispiel Schultergurt (48A, 48B) und Beckengurt (36A, 36B) jeweils mindestens ein vorbestimmtes Muster (38, 50) aufweisen). Mit diesen Bezugspunkten und den zugehörigen Messungen und Bildern ist das System in der Lage, zahlreiche Insassenpositionen zu berücksichtigen (zum Beispiel liegend oder normal sitzend, beim Einsteigen in das Fahrzeug und beim Aussteigen aus dem Fahrzeug sowie die richtige Position des Sitzgurtes relativ zum Körper des Insassen während der Benutzung). Das System ist außerdem so konfiguriert, dass es die Berechnungen für die korrekte Benutzung des Sitzgurts entsprechend anpasst. In einer Ausführungsform können die Referenzpunkte zusammen mit der Bildanalyse verwendet werden, um ein Gurtmuster zu identifizieren, das einen Gurtdurchhang über einem Insassen anzeigt, der für eine ordnungsgemäße und sichere Gurtanlegung nicht geeignet ist.
-
Aufeinanderfolgende Bilder von der mindestens einen Kamera (12) werden analysiert, um die Bewegung des Insassen innerhalb eines Bereichs von Interesse zu verfolgen, wobei die Bewegung relativ zu mindestens einer der festen Komponenten im Fahrzeug erfolgt. Die aus den Bildern abgeleiteten Bewegungsdaten des Insassen werden vom Prozessor (28) verwendet, um die physiologischen Prozesse des Insassen zu verfolgen, einschließlich, aber nicht beschränkt auf mindestens eines der folgenden Elemente: Atmung, Atemfrequenz, Herzfrequenz, Öffnen und Schließen des Mundes, Blinzeln und Sprachmuster. Einige dieser Messungen können durch den Prozessor (28) in Verbindung mit einer computerimplementierten Software validiert werden, die in einem zugehörigen Speicher (27) gespeichert ist und ferner eine Sitzposition innerhalb des Bereichs von Interesse relativ zur Referenzmessung der festen Komponente berechnet. Der Prozessor (28) und der Speicher (27) können sich im Fahrzeug befinden oder aus der Ferne über ein drahtloses Netzwerk zugänglich sein.
-
Unter Bezugnahme auf 15 als ein erstes Beispiel dieser Offenbarung, wie sie in einem Fahrzeug installiert ist, umfasst ein Aspekt dieser Offenbarung, der in den beigefügten Figuren gezeigt ist, die oben genannten Vorrichtungen, Systeme und Verfahren zur Steuerung des Reflexionsgrads und der Integrationszeit für einen bestimmten Bildsensor (14), der Bilddaten von einer beleuchteten Oberfläche (85) oder einer Beleuchtungsvorrichtung (185) innerhalb eines Sichtfelds (225) erfasst. In diesem Beispiel kann die beleuchtete Fläche eine retroreflektierende Schicht sein, die auf ein Fahrzeugbauteil aufgebracht wird, oder eine retroreflektierende Fläche, die fest mit dem Fahrzeugbauteil verbunden ist. Wie in 15 gezeigt, kann beispielsweise ein Gurtauswurfsabschnitt (244B) eine retroreflektierende Oberfläche (85) aufweisen, und die Beleuchtungsvorrichtungen (185A, 185B, 185C) können entsprechende Lichtquellen sein, die jeweils innerhalb des Sichtfelds an einem anderen Fahrzeugbauteil, zum Beispiel an einem Sitzgurtschloss (235A, 235B, 235C), angebracht sind.
-
Zurück zu 6: Diese Fig. veranschaulicht, dass eines der in dieser Offenbarung enthaltenen Konzepte darin besteht, dass retroreflektierende Materialien, wie zum Beispiel eine retroreflektierende Applikation, ein retroreflektierendes Gewebe oder sogar retroreflektierende Fasern und Fäden, einen Teil einer Fahrzeugkomponente wie der in 15 gezeigten beleuchteten Oberfläche (85) ausmachen können, ohne darauf beschränkt zu sein. Wie in 6 dargestellt, wird eine retroreflektierende Oberfläche (135A-135n) mit Licht beleuchtet, das einfallende Strahlen (138A-138D) projiziert, die von der retroreflektierenden Oberfläche parallel zum einfallenden Strahl reflektierte Strahlen (148A-148D) erzeugen. Wie in den 7A und 7B dargestellt, besteht eine retroreflektierende Oberfläche (135) aus einem Material, das auch bei großen Winkeln noch hoch reflektierend ist. Im Beispiel von 7B ist die retroreflektierende Oberfläche (135) bei schrägen Winkeln (etwa 10 bis etwa 20 Grad über der Normale), die sich der Normalen annähern, stark reflektierend.
-
Wie bereits erwähnt, werden bei bestimmten Fahrzeugkomponenten reflektierende Bereiche verwendet, um sicherzustellen, dass physische Merkmale einer bestimmten Fahrzeugkomponente in einem Bild, das aus dem hier beschriebenen System resultiert, erkennbar sind. Die retroreflektierenden Bereiche können nach der Konstruktion des Fahrzeugs durch Aufbringen separater retroreflektierender Schichten (140) auf eine Fahrzeugkomponente erzeugt werden, wie zum Beispiel durch eine retroreflektierende Schicht (140), die auf das Sitzgurtschloss von 3 aufgebracht wird. In anderen Ausführungsformen können die retroreflektierenden Bereiche retroreflektierende Oberflächen (135) sein, die mit dem Körper des betreffenden Fahrzeugteils fest verbunden sind, wie die Fasern bildende retroreflektierende Oberfläche (135) in 6. Entweder eine retroreflektierende Schicht oder eine retroreflektierende Oberfläche kann in bestimmten Ausführungsformen ein Problem mit der Sättigung eines Bildsensors oder dem Einbringen von Rauschen in die Bilddaten darstellen, je nach Reflexionsgrad und Position des Bauteils relativ zu einem Bildsensor (14). 8 zeigt eine nicht beschränkende Lösung für das Sättigungsproblem, indem eine lichtabsorbierende Struktur (158A-158D) über oder auf einer retroreflektierenden Oberfläche (135) positioniert werden kann, um das reflektierte Licht (148A-148D) zu steuern. Die absorbierende Struktur kann so beschaffen sein, dass sie bestimmte Wellenlängen des Lichts absorbiert oder zumindest teilweise absorbiert und bestimmte Wellenlängen mit einer bekannten Lichtmenge mit vorbestimmten Eigenschaften in einem reflektierten Strahl (148A-148D) reflektiert. Der reflektierte Strahl (148A-148D) ist so konfiguriert, dass er in einen gewünschten Intensitäts- und Wellenlängenbereich für einen gegebenen Bildsensor (14) fällt, um ein qualitativ hochwertiges Bild von darauf einfallendem Licht zu liefern.
-
Um die Vorteile von Lichteigenschaften zu nutzen, die für einen bestimmten reflektierten Strahl (148A-148D) konfiguriert werden können, enthält diese Offenbarung die oben erwähnten absorbierenden Strukturen (158A-158D) in Materialien, die mit retroreflektierenden Oberflächen (135) und retroreflektierenden Schichten (140) verwendet werden können, um zahlreiche Eigenschaften des reflektierten Lichts (zum Beispiel Intensität und Wellenlänge) zu steuern, das auf einen Bildsensor (14) gerichtet sind. Wie in 9A gezeigt, kann beispielsweise ein retroreflektierendes Material (190) in Form einer Folie mit einer vorgefertigten blockierenden Struktur (158) in Form einer Netzschicht (210) modifiziert werden, um einen gewünschten reflektierten Lichtstrahl (148) zurück zu einem Bildsensor (14) zu leiten. Wie in 9B dargestellt, erzeugt ein frontal gerichteter Lichtstrahl einer bestimmten Wellenlänge und Intensität einen abgeschwächten reflektierten Strahl (215) von der modifizierten retroreflektierenden Oberfläche, nachdem das Netz (210) auf das retroreflektierende Material (190) gelegt und die modifizierte retroreflektierende Oberfläche (145) mit Licht beaufschlagt wurde, das senkrecht auf die retroreflektierende Oberfläche trifft. Beispielsweise kann die Netzschicht (210) so konfiguriert sein, dass sie bestimmte Wellenlängen im Infrarotbereich des Lichtspektrums absorbiert (siehe 8). Durch die Modifizierung der retroreflektierenden Oberfläche (135) mit einer blockierenden Struktur, wie zum Beispiel einem Netz (210), erreicht ein reflektierter Lichtstrahl (148A-148D), der aus einem einfallenden Lichtstrahl (138A-138D) resultiert, einen Bildsensor (14) mit einer bevorzugten Intensität, Phase und/oder Wellenlänge. Wie in den 9B und 9C gezeigt, kann ein abgeschwächter reflektierter Strahl (215) je nach Lichteinfallswinkel eingestellt werden, um ein bekanntes Ergebnis in Bezug auf den Rückstrahlwert und die von der retroreflektierenden Oberfläche verarbeiteten Bilddaten zu erhalten. Das „frontal“ einfallende Licht (9B) und das in einem schrägen Winkel einfallende Licht (9C) können so gestaltet werden, dass sie Bilddaten liefern, die geeignet sind, Sättigung und Rauschpegel für einen Bildsensor (14) zu vermeiden.
-
10 veranschaulicht, dass eine Möglichkeit zur Entwicklung und Steuerung der Retroreflexion mit einer blockierenden Struktur in der Steuerung der Absorptionsmerkmale dieser Struktur besteht, wie zum Beispiel die Maschen unterschiedlicher Dichte (210A, 21 0B, 21 0C), von denen jede so zugeschnitten werden kann, dass sie eine bekannte Absorptionsrate für eine bestimmte Lichtwellenlänge bietet. In anderen Ausführungsformen können die blockierenden Strukturen als optisch dämpfende Gewebe betrachtet werden. In diesem Sinne ist die blockierende Struktur eine optisch dämpfende Schicht, die eine erste und eine zweite Gewebeschicht mit jeweils definierten optischen Dämpfungsfaktoren umfasst. 11 und 12 veranschaulichen bestimmte physikalische Eigenschaften des reflektierten Lichts (148A-148D) in einer modifizierten retroreflektierenden Oberfläche (145A-145D), die ein vorgegebenes und zuvor entwickeltes Gesamtreflexionsmuster (147) aufweist, wenn eine spiegelnde Folie (193) auf einen retroreflektierenden Bereich gelegt wird. In Gegenwart von einfallendem Licht (138) erzeugt die Folie (193) auch gestreutes reflektiertes Licht (153A-153D) bei bevorzugten Wellenlängen. In einem nicht einschränkenden Beispiel wird das bevorzugte Reflexionsmuster durch Modifizierung einer retroreflektierenden Oberfläche (135) mit einer dünnen Schicht gebildet. 12A zeigt, dass ein rein retroreflektierendes Material (190) so modifiziert werden kann, dass es eine dünne Schicht (193) über dem retroreflektierenden Material (190) enthält, und die dünne Schicht kann eine Deckschicht mit bekannten Absorptionseigenschaften sein, wie zum Beispiel ein durchsichtiges Band (196). Wie in 12D dargestellt, kann die obere Schicht eine Mylarschicht (199) sein. 12E zeigt, dass verschiedene Dünnschichtmodifikationen (193, 196 und 199) des retroreflektierenden Materials (190) jeweils ein vorgefertigtes Reflexionsverhalten aufweisen können, wie in 12E für einen einfallenden Strahl (138), der „frontal“ oder senkrecht zur darunter liegenden Komponentenoberfläche (200) eintrifft, sowie für einfallende Strahlen (138), die in einem schrägen Winkel eintreffen, wie in 12F dargestellt. In Bezug auf den schrägen Winkel von 12F weist das retroreflektierende Material (190) mit der obersten Dünnschicht (193) nahezu Nullreflexion auf, während eine Modifikation der Dünnschicht (193) mit einem durchsichtigen Band (196) und einer Mylarschicht (199) unterschiedliche Absorptionsgrade aufweist, wenn der Winkel schräg zum Lichteinfallswinkel ist. Die Auswirkung auf die Retroreflexion kann von einer geringfügigen Veränderung bis zur völligen Beseitigung des retroreflektierenden Verhaltens des Materials reichen. Die in den 12A-12F dargestellten Materialien sind nicht-beschränkende Beispiele für Testzwecke. Andere Materialien, Absorptionseigenschaften und Retroreflexionseigenschaften fallen in den Anwendungsbereich dieser Offenbarung. Insgesamt zeigt ein Konzept in dieser Offenbarung, dass die Retroreflexion einer bestimmten Oberfläche dazu verwendet werden kann, die Eigenschaften des reflektierten Lichts mit den Betriebsparametern des Bildsensors zu synchronisieren, um die Qualität der erfassten Bilddaten zu maximieren und Probleme mit Sättigung und Rauschen zu minimieren.
-
In den 13A, 13B, 14A und 14B sind die Testergebnisse zusammengefasst. In den 14A und 14B zeigt ein nicht modifizierter Retroreflektor sowohl bei einem „frontalen“ Lichteinfallswinkel als auch bei einem schrägen Winkel, der parallel zum entgegenkommenden Licht verläuft, eine echte Retroreflexion. Die 13A und 13B zeigen die Ergebnisse für frontale und schräge Einfallswinkel für modifizierte Retroreflektoren, wie sie hier beschrieben sind. Diese Materialien zeigen die Bandbreite der Möglichkeiten, retroreflektierende Schichten (140) und retroreflektierende Oberflächen (135) mit retroreflektierenden Materialien (190) zu verwenden, um die Retroreflexion und die Reflexionseigenschaften für Fahrzeugkomponenten im Fahrzeuginnenraum wie hier beschrieben anzupassen.
-
Die 15-28 veranschaulichen, wie Retroreflexion zur Verbesserung von Bilddaten verwendet werden kann, um Fahrzeugkomponenten und Insassen innerhalb eines Fahrzeugs zu verfolgen, indem Ausführungsformen dieser Offenbarung verwendet werden. 15 zeigt eine Draufsicht auf den Fahrzeuginnenraum (10) und beschreibt ein Sichtfeld (225), das von einer Kamera (12) mit einem Bildsensor (14) dargestellt werden kann. Regionen des Fahrzeuginnenraums können in Volumen von Sensorpunktwolkenregionen (252A, 252B, 252C) unterteilt werden, um die Verwendung von Sitzgurten oder andere dynamische Komponenten und statische Komponenten zu erkennen, zu klassifizieren und zu verfolgen. Diese Regionen umfassen beispielhafte Fahrzeugkomponenten, die durch Bildgebung verfolgt werden können, wie zum Beispiel Sitzgurtschloss-Hardware (235A, 235B, 235C) und Gurtauswurfsabschnitte (244A, 244B, 244C) mit Gurtauswurfsöffnungen (230). Die Komponenten können Muster enthalten, die retroreflektierende Oberflächen, retroreflektierende Schichten, modifizierte retroreflektierende Schichten und Oberflächen sowie blockierende Strukturen wie die oben erwähnten Netze nutzen. Die Komponenten können auch Beleuchtungseinrichtungen (185) verwenden, die von einem Fahrzeugbauteil ausgehendes Licht liefern, das vom Bildsensor (14) erfasst werden kann. Zahlreiche Ausführungsformen dieser Offenbarung enthalten Merkmale, die oben in Bezug auf die 2-5 zusätzlich zu den 15-28 erläutert wurden, die hier nur als Beispiele und ohne Einschränkung des Umfangs der Offenbarung aufgeführt sind. Fahrzeugkomponenten können Muster enthalten, die einen Bildsensor (14) bei der Erkennung, Identifizierung und Verfolgung von Positionen für Sitze (13), Lichtquellen (16), Lenkräder (19), Sitzgurtbaugruppen (20), Gurtauswurfsabschnitte (44), Gurtlängeneinstellungsbeschläge (34), Schlossbeschläge (35), Beckengurte (36), Schultergurte (48), Sitzgurtschloss (40), Sitzgurtzunge (42) unterstützen. Jede dieser Komponenten kann, neben anderen in einem Fahrzeuginnenraum (10), Referenzstrukturen wie Sitze (13), Sitzgurtbaugruppen (20) und eine andere der oben erwähnten Komponenten sein. Das hier offenbarte System kann entsprechende optisch aktive Komponenten wie Muster aus reflektierenden und/oder retroreflektierenden Oberflächen (135) und/oder modifizierten retroreflektierenden Oberflächen (145) und/oder Beleuchtungsvorrichtungen (185) enthalten, die in Bilddaten zur Verarbeitung durch eine Bildverarbeitungssoftware sichtbar werden. Die Bilddatensoftware rekonstruiert mindestens eine Ansicht aus dem Sichtfeld (225) als Bild des Fahrzeuginnenraums (10) einschließlich der oben genannten Referenzstrukturen und -muster.
-
16 zeigt eine andere Perspektive eines Fahrzeuginnenraums (210) mit einer Kamera (212) mit einem Bildsensor (214), der auf einem Dach (217) oder einer Decke des Fahrzeuginnenraums positioniert ist. In dieser Seitenansicht von 16 kann das Sichtfeld (225) als ein dreieckiger Bereich für die Entwicklung eines Punktwolkenbildes betrachtet werden, das einen Fahrzeugsitz (213), Teile einer Sitzlehne (218A, 218B), die oben erwähnte Sitzgurtauswurfsöffnung (230) und die hier erwähnte Sitzgurtschloss-Hardware (235) umfasst. In dem nicht einschränkenden Beispiel von 16 zeigt der schematische Kreis (252D) ein Volumen einer Sensorpunktwolkenregion zur Erkennung, Klassifizierung und Verfolgung der Gurtnutzung mit einem Bild des Bildsensors (214).
-
Die 17-28 zeigen Beispielbilder, die in verschiedenen Bereichen aufgenommen wurden, darunter Amplitudenbilder des reflektierten Lichts, Tiefenbilder, Bewegungsbilder, die im Zeitbereich aufgenommen wurden, und Objekterkennung für ein bestimmtes Muster, eine bestimmte Phase oder Wellenlänge des reflektierten Lichts. In Bezug auf das Beispiel von 17 zeigt die Amplitude des reflektierten Lichts, das von einem Bildsensor (14) empfangen wird, Komponenten und Referenzstrukturen wie die Gurtschlossbeschläge (235B, 235C) für das linke bzw. rechte Gurtschloss und Bilder der jeweiligen Gurtauswurfabschnitte (244B, 244C) des Fahrzeuginnenraums (10). In der Tiefenaufnahme von 17 ist auch der Boden (275) des Fahrzeugs als Referenz aus den Bildern ersichtlich. Da es sich hier um den Zeitpunkt T0 in einer Serie von Bildern des Sensors handelt, wurde die linksseitige Gurtauswurfsöffnung (230B) im Erfassungsbild aufgrund einer zuvor festgelegten Wellenlänge der Reflexions- oder Retroreflexionseigenschaften identifiziert. In den 18-28 werden die gleichen Konzepte verwendet, um einen menschlichen Insassen (280) zu identifizieren, der sich durch eine Zeitreihe von Bildern bewegt. 18 beginnt mit Bildern, die auf dem Eindringen von Arm, Schulter, Oberkörper und Bein des Insassen in den Fahrzeuginnenraum (10) nach dem Öffnen einer Fahrzeugtür basieren. 19 veranschaulicht, dass der Bildsensor (14) den gesamten Körper des Insassen im Fahrzeug identifizieren kann. Wie in 20 gezeigt und oben besprochen, kann eine der Referenzstrukturen, die hier identifiziert und verfolgt werden, der Sitzgurt sein, der von dem Insassen (280) benutzt wird, insbesondere wenn der Sitzgurt reflektierende und retroreflektierende Eigenschaften hat, die so abgestimmt wurden, dass sie hochwertige Bilder von einem zugehörigen Bildsensor (14) liefern. 21 zeigt die reflektierenden und retroreflektierenden Schichten und Oberflächen eines Fahrzeuginnenraums, zusätzlich zu den reflektierenden Eigenschaften der üblicherweise von den Insassen getragenen Kleidung, und veranschaulicht, wie das System dieser Offenbarung den Insassen (280) verfolgen kann, wenn er den Sitzgurt über seine Schulter und Brust zieht. Wie bereits erwähnt, können die Muster der reflektierenden, retroreflektierenden und modifizierten retroreflektierenden Schichten und Oberflächen so abgestimmt werden, dass Teile der Referenzstrukturen in einem bestimmten Bild sichtbar sind. In den 22-23 wird der Sitzgurt durch einen Teil des Sitzgurtes verfolgt, der sowohl eine retroreflektierende Oberfläche (135) auf dem Sitzgurt für eine bestimmte Wellenlänge der Reflexion aufweist, die von einem entsprechenden Bildsensor erfasst wird. Der Sitzgurt verfügt außerdem über eine Antireflexionsfläche (348), die dazu verwendet werden kann, die Qualität des reflektierten Lichts, das auf einen Bildsensor trifft, abzustimmen. Beispielsweise kann eine Antireflexionsbeschichtung die Reflexion unerwünschter Wellenlängen verhindern, die zu verrauschten oder gesättigten Bereichen in einem Bild führen könnten. Stattdessen wird das reflektierte Licht innerhalb des dynamischen Bereichs des Bildsensors mit einer bestimmten Intensitätsamplitude (338) in der Bildserie angezeigt. Die entsprechenden Tiefenbilder in den 22-23 nutzen eine Vollspektrumsanalyse aller von den Bauteilen und Insassen des Fahrzeugs reflektierten Wellenlängen, so dass die Antireflexionsfläche (348) in einer Vollspektrumsbildanalyse innerhalb des Sichtfelds für Tiefenberechnungen noch deutlicher als nicht reflektierter Bereich (d. h. als dunkler Fleck) erkennbar ist. Da die Bildserie im Zeitbereich fortgesetzt wird, können die Bilder Bild für Bild analysiert werden, um zahlreiche Insassen (280) sowie Referenzstrukturen zu erkennen, zu identifizieren und zu verfolgen, unabhängig davon, ob die Referenzstrukturen fest/statisch oder verstellbar/dynamisch sind. 24 zeigt beispielsweise, wie das Aufrollen des Sitzgurts mit retroreflektierenden Oberflächen (135) zusätzlich zu den antireflektierenden Oberflächen (348) am Sitzgurt überwacht werden kann. 25 zeigt repräsentative Bilder, in denen das Aufrollen des Sitzgurts abgeschlossen ist und von den hier beschriebenen Bildsensoren vollständig verfolgt wird. Diese Verfolgung kann, wie in 26 dargestellt, während des Aussteigens der Insassen bei geöffneter Fahrzeugtür und nach Abschluss des Aussteigens in den 27 und 28 fortgesetzt werden.
-
Bezugszeichenliste
-
- 10
- Fahrzeuginnenraum
- 11
- Computer
- 12
- Kamera
- 13
- Sitz
- 14
- Bildsensor
- 15
- Decke
- 16
- Lichtquelle
- 17
- Fahrerbedienfeld
- 19
- Lenkrad
- 20
- Sitzgurtanordnung / Sitzgurtbaugruppe
- 21
- Insassenklassifizierungssystem (OCS)
- 27
- Speicher
- 30
- (Sitzgurt-)Auswurföffnung
- 32
- Beckengurtanker
- 34
- Gurtlängeneinstellbeschläge / Gurtlängenverstellungsausstattung
- 35
- Schlossbeschläge
- 36
- Beckengurt
- 38
- Schultergurtmuster
- 40
- Schloss
- 42
- Sitzgurtzunge
- 44
- Gurtauswurfabschnitt
- 45
- Muster
- 46
- Fläche
- 48
- Schultergurt
- 50
- Beckengurtmuster
- 52
- Gurtauswurfsabschnittsmuster
- 53
- Verschlussöffnungsmuster
- 56
- Verschlussmuster
- 57
- Zweites Schultergurtmuster
- 65
- Rumpf
- 80
- Bild
- 85
- Beleuchtete Oberfläche
- 135
- Retroreflektierende Oberfläche
- 138
- Einfallender (Licht-)Strahl
- 140
- Retroreflektierende Schicht
- 145
- Modifizierte retroreflektierende Schicht
- 147
- Gesamtreflexionsmuster
- 148
- Reflektiertes Licht / Reflektierter Strahl
- 153
- Gestreutes reflektiertes Licht
- 158
- Lichtabsorbierende Struktur
- 185
- Beleuchtungsvorrichtung
- 190
- Retroreflektierendes Material
- 193
- Folie / Dünnschicht
- 196
- Durchsichtiges Band
- 199
- Mylarschicht
- 200
- Komponentenoberfläche
- 210
- Netz(-schicht)
- 210A, 210B, 210C
- Maschen unterschiedlicher Dichte
- 212
- Kamera
- 213
- Fahrzeugsitz
- 214
- Bildsensor
- 215
- Abgeschwächter reflektierter Strahl
- 217
- Dach
- 218A, 218B
- Teil einer Sitzlehne
- 225
- Sichtfeld
- 230
- Gurtauswurföffnung
- 235
- Sitzgurtschloss
- 244
- Gurtauswurfabschnitt
- 252A, 252B, 252C
- Sensorpunktwolkenregion
- 252D
- Schematischer Kreis
- 275
- Boden
- 280
- Menschlicher Insasse
- 338
- Intensitätsamplitude
- 348
- Antireflexionsfläche
- Θ
- Zenitwinkel