DE112020001011B4 - Erkennung und Überwachung von aktiven optischen Retroreflektoren - Google Patents

Erkennung und Überwachung von aktiven optischen Retroreflektoren Download PDF

Info

Publication number
DE112020001011B4
DE112020001011B4 DE112020001011.2T DE112020001011T DE112020001011B4 DE 112020001011 B4 DE112020001011 B4 DE 112020001011B4 DE 112020001011 T DE112020001011 T DE 112020001011T DE 112020001011 B4 DE112020001011 B4 DE 112020001011B4
Authority
DE
Germany
Prior art keywords
light
reference structure
vehicle
vehicle cabin
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112020001011.2T
Other languages
English (en)
Other versions
DE112020001011T5 (de
Inventor
Joshua Ramaglia
Len Cech
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyson Safety Systems Acquisition LLC
Original Assignee
Joyson Safety Systems Acquisition LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joyson Safety Systems Acquisition LLC filed Critical Joyson Safety Systems Acquisition LLC
Publication of DE112020001011T5 publication Critical patent/DE112020001011T5/de
Application granted granted Critical
Publication of DE112020001011B4 publication Critical patent/DE112020001011B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • B60Q3/242Safety belts; Body harnesses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Air Bags (AREA)

Abstract

Ein Fahrzeugkabinen-Überwachungssystem, umfassend:einen Bildsensor (14), der mit einem Computerprozessor und einem Computerspeicher, der Software enthält, die den Bildsensor (14) steuert, verbunden ist, wobei der Bildsensor (14) so positioniert ist, dass er Bilder von mindestens einem Teil eines Fahrzeuginnenraums (10) erfasst;mindestens eine Referenzstruktur, die in der Fahrzeugkabine innerhalb des Sichtfelds (225) des Bildsensors (14) positioniert ist;eine optisch aktive Komponente, die auf der Referenzstruktur angeordnet ist, so dass die Referenzstruktur eine beleuchtete Oberfläche (85) aufweist, die in mindestens einem der Bilder (80) enthalten ist; undwobei eine Sequenz der Bilder (80) Unterschiede in Bezug auf die beleuchtete Oberfläche (85) der Referenzstruktur umfasst, wobei die besagten Unterschiede mindestens eine Zustandsänderung von mindestens einem Gegenstand im Fahrzeuginnenraum (10) anzeigen; dadurch gekennzeichnet, dassdie Referenzstruktur ferner eine optisch dämpfende Schicht umfasst, die das Reflexionsvermögen der Referenzstruktur in einem solchen Ausmaß einstellt, dass das von der Referenzstruktur reflektierte Licht (148) den Bildsensor (14) mit einer Intensität erreicht,für die der Prozessor das reflektierte Licht (148) in ein Messsignal umwandelt, das innerhalb eines dynamischen Bereichs des Bildsensors (14) liegt; undwobei die Intensität durch die optisch dämpfende Schicht in Verbindung mit dem Einfallswinkel des einfallenden Lichts (138) eingestellt ist.

Description

  • Querverweis auf verwandte Anmeldungen
  • Diese Anmeldung beansprucht Priorität für die am 4. April 2019 eingereichte vorläufige US-Patentanmeldung mit der Nummer 62/829,475 mit dem Titel „Detection and Monitoring of Active Optical Retroreflectors“ und bezieht diese vollständig mit ein.
  • Technischer Bereich
  • Die hier vorgestellte Offenbarung bezieht sich auf bildgebende Systeme in einer Fahrzeugkabine und ist auf die Lokalisierung, Identifizierung und Hervorhebung von Statusänderungen von Insassen und Strukturen in der Fahrzeugkabine gerichtet.
  • Hintergrund
  • Sitzgurte gehören zur Standardausrüstung fast aller Fahrzeuge, in denen in den heutigen Verkehrssystemen Insassen befördert werden. Die Erstausrüster (OEM) müssen nicht nur strenge Normen für die Konstruktion und den Einbau von Sitzgurten einhalten, sondern in vielen Fällen sind die Fahrzeuginsassen auch gesetzlich verpflichtet, Sitzgurte anzulegen. Doch selbst wenn es Herstellungs- und Benutzungsvorschriften gibt, hängt die Sicherheit des Fahrzeugs insgesamt davon ab, dass die Fahrzeuginsassen die Sitzgurte richtig anlegen. Da der Innenraum eines Fahrzeugs von außen nur teilweise einsehbar ist, sind Sichtkontrollen durch externe Stellen nicht völlig zuverlässig. Personen, die versuchen, die Vorschriften zur Verwendung von Sitzgurten zu umgehen, legen die Sitzgurte im Fahrzeuginnenraum auch so an, dass der Anschein erweckt wird, dass der Sitzgurt verwendet wird, der Fahrzeuginsasse jedoch mehr Bewegungsfreiheit hat (d. h. der Sitzgurt wird hinter dem Rücken des Benutzers befestigt oder nur teilweise über den Körper des Benutzers gezogen, und die Gurtspule wird so manipuliert, dass der Sitzgurt in einer verlängerten Position bleibt, ohne dass eine feste Verriegelung erforderlich ist).
  • Der Missbrauch von Sitzgurten und/oder die unzuverlässige Überwachung von Sitzgurten kann andere Probleme als den einfachen Schutz des Körpers durch das Zurückhalten eines Insassen während eines Unfalls mit sich bringen. Die Erkennung und Verfolgung der Benutzung von Sitzgurten durch Insassen wurde bisher hauptsächlich durch die Verwendung von Ein-/Aus-Schaltern als Sensoren erreicht, die als Teil der Datenerfassung eines Fahrzeugsteuerungssystems entsprechende Datensignale an einen zentralen Prozessor übermitteln, wenn der Gurt angelegt oder nicht angelegt ist. Der Sensorzustand der Sitzgurtschalter kann zur Bestimmung der Rückhalteeinstellungen verwendet werden und beispielsweise zur Entscheidung über die Unterdrückung oder Entfaltung von Airbags herangezogen werden. Motorisierte Sitzgurte können auch Gurtauslösesensoren und/oder Gurtspannungssensoren verwenden, wobei diese Sensoren zur Erkennung und/oder Verfolgung der korrekten Gurtanlegung sowie der dynamischen Änderungen des Gurtauszugs bei Bewegung des Insassen verwendet werden können. Solche Sensoren können zur statischen und/oderdynamischen Steuerung der Rückhalteeinrichtungen verwendet werden.
  • Frühere Methoden der Sitzgurtüberwachung können wirksam sein, aber auch manipuliert werden. Wie bereits erwähnt, werden Sitzgurte nach wie vor unsachgemäß hinter oder unter dem Insassen angelegt, Schlossersatzteile angebracht, ohne den Sitzgurt zu benutzen, und man manövriert sich selbst mit der Hand aus dem Sitzgurt, insbesondere aus dem Schultergurt. Außerdem gibt es auf vielen Rücksitzen derzeit keine Gurtschalter, Gurtauslösesensoren oder Gurtspannungssensoren. Es kann schwierig sein, die notwendige Elektronik in verstellbaren und beweglichen Sitzen zu installieren, um Gurtschlossschalter, Gurtauszugssensoren oder Gurtspannungssensoren als Nachrüstteile zu unterstützen.
  • Eine Sitzgurtüberwachung mit einem auf dem Sitzgurt aufgebrachten Muster und einer das Muster erkennenden Kamera ist beispielsweise in DE 11 2004 001 341 B4 offenbart. Die DE 11 2018 002 494 T5 offenbart darauf aufbauend eine Sitzgurtüberwachung mit einer Lichtquelle und einem lichtreflektierenden Muster auf dem Sitzgurt, dessen reflektiertes Licht durch eine Kamera erfasst wird. Die DE 10 2016 219 517 A1 offenbart einen auf einen mit radarreflektierendem Material bezogenen Sitz gerichteten Radarsensor zur Ermittlung von Insasseninformationen. Ein ähnliche Vorrichtung, die einen lichtreflektierenden Sitzbezug und eine Bilderfassungseinheit, die das vom Sitzbezug reflektierte Licht erfasst, zeigt die DE 10 2015 010 282 A1 . In der DE 10 2004 028 090 A1 ist ein Verfahren zur Kalibrierung einer Sensorik zur Überwachung eines Fahrzeuginnenraums aufgezeigt, die den Abstand aktuell gemessener 3D-Messpunkte mit abgelegten 3D-Oberflächendaten ausgewählter Objekte des Fahrzeuginnenraums ermittelt.
  • Auf dem Fahrzeugmarkt besteht nach wie vor Bedarf an Kontrollsystemen, welche die ordnungsgemäße Verwendung der Sitzgurte durch die Fahrzeuginsassen überwachen und dem Kontrollsystem Daten über die Verwendung und Position der Sitzgurte zur Verfügung stellen, um zusätzliche Sicherheitsvorkehrungen, wie hier beschrieben, zu treffen.
  • Zusammenfassung der Offenbarung
  • Ein Fahrzeugkabinen-Überwachungssystem umfasst einen Bildsensor, der mit einem Computerprozessor und einem Computerspeicher verbunden ist, der Software umfasst, die den Bildsensor steuert, wobei der Bildsensor so positioniert ist, dass er Bilder von mindestens einem Teil eines Fahrzeuginnenraums erfasst. Mindestens eine Referenzstruktur ist in der Fahrzeugkabine innerhalb des Sichtfeldes des Bildsensors angeordnet. Eine optisch aktive Komponente ist auf der Referenzstruktur positioniert, so dass die Referenzstruktur eine beleuchtete Oberfläche aufweist, die in mindestens einem der Bilder enthalten ist. Eine Sequenz der Bilder zeigt Unterschiede in Bezug auf die beleuchtete Oberfläche der Referenzstruktur, wobei die Unterschiede mindestens eine Zustandsänderung von mindestens einem Gegenstand im Fahrzeuginnenraum anzeigen. Die Referenzstruktur umfasst erfindungsgemäße ferner eine optisch dämpfende Schicht, die das Reflexionsvermögen der Referenzstruktur in einem solchen Ausmaß einstellt, dass das von der Referenzstruktur reflektierte Licht den Bildsensor mit einer Intensität erreicht, für die der Prozessor das reflektierte Licht in ein Messsignal umwandelt, das innerhalb des dynamischen Bereichs des Bildsensors liegt. Die Intensität ist durch die optisch dämpfende Schicht in Verbindung mit dem Einfallswinkel des einfallenden Lichts eingestellt.
  • Ein Fahrzeugkabinen-Überwachungssystem umfasst eine Lichtquelle, die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum liefert. Ein Bildsensor ist mit einem Prozessor und einem Computerspeicher verbunden, wobei der Bildsensor so positioniert ist, dass er entweder das projizierte Licht von der Lichtquelle oder das vom Fahrzeuginnenraum zurückreflektierte Licht empfängt. Mindestens eine Referenzstruktur ist in der Fahrzeugkabine innerhalb des Projektionsweges und innerhalb des Sichtfeldes des Bildsensors angeordnet. Eine optisch aktive Komponente, die auf der Referenzstruktur angeordnet ist, lenkt das reflektierte Licht zurück auf den Bildsensor. Die optisch aktive Komponente umfasst erfindungsgemäß eine retroreflektierende Oberfläche umfassend ein erstes Gewebe und eine optisch dämpfende Schicht umfassend ein Maschengewebe mit einer Grobheit von blockierenden Strukturen, die das Reflexionsvermögen des ersten Gewebes verringern. Die optisch dämpfende Schicht passt das Reflexionsvermögen der optisch aktiven Komponente so an, dass das reflektierte Licht von der Referenzstruktur mit einer Intensität auf den Bildsensor trifft, für die der Prozessor das reflektierte Licht in ein Messsignal umwandelt, das innerhalb eines dynamischen Bereichs des optischen Sensors liegt. Der Bildsensor, der Prozessor und der Computerspeicher verwenden eine Vielzahl von Messsignalen innerhalb des dynamischen Bereichs, um ein Punktwolkenbild zu erzeugen, das reflektierte Intensitätsdaten und Entfernungsdaten umfasst. Die Lichtquelle hat eine Frequenz, die größer ist als eine erfasste Frequenz von Änderungen in dem Punktwolkenbild, die aus der Bewegung der Gegenstände resultiert.
  • Ein Fahrzeugkabinen-Überwachungssystem umfasst eine Lichtquelle, die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum liefert. Ein optischer 3D-Flugzeitsensor ist mit einem Prozessor und einem Computerspeicher verbunden, wobei der optische Sensor so positioniert ist, dass er vom Fahrzeuginnenraum zurückreflektiertes Licht empfängt. Eine Vielzahl von Objekten ist im Fahrzeuginnenraum innerhalb des Projektionspfades und innerhalb des Sichtfeldes des optischen Sensors angeordnet, wobei mindestens eines der Objekte eine Referenzstruktur ist, die eine retroreflektierende Oberfläche und eine optisch dämpfende Schicht auf der retroreflektierenden Oberfläche umfasst. Die optisch dämpfende Schicht umfasst eine blockierende Struktur, die das Reflexionsvermögen der Referenzstruktur so einstellt, dass das von der Referenzstruktur zum optischen Sensor übertragene reflektierte Licht eine eingestellte Intensität aufweist, welche die Position der Referenzstruktur relativ zum Bildsensor berücksichtigt. Der 3D-Flugzeitbildsensor und der Prozessor erzeugen ein Punktwolkenbild, das eine dreidimensionale Darstellung der Objekte relativ zur Referenzstruktur innerhalb des Sichtfelds des Sensors enthält.
  • Ein Verfahren zur Überwachung einer Fahrzeugkabine umfasst die Positionierung mindestens einer Referenzstruktur im Fahrzeuginnenraum und die Positionierung mindestens einer Quelle für projiziertes Licht und mindestens eines optischen Sensors im Fahrzeuginnenraum an entsprechenden Stellen, so dass ein Sichtfeld des optischen Sensors mindestens einen Teil des projizierten Lichts oder einen entsprechenden Teil einer Reflexion des projizierten Lichts umfasst. Das Anbringen einer retroreflektierenden Oberfläche auf der mindestens einen Referenzstruktur ermöglicht die Auswahl eines Dämpfungsgrades des reflektierten Lichts in Abhängigkeit von der Position der Referenzstruktur in Bezug auf die Quelle des projizierten Lichts und den optischen Sensor. Dementsprechend umfasst das Verfahren dieser nicht einschränkenden Ausführungsform die Auswahl einer optisch dämpfenden Schicht, die den ausgewählten Dämpfungsgrad für das von der retroreflektierenden Schicht reflektierte Licht bietet. Durch Aufbringen der optisch dämpfenden Schicht auf die retroreflektierende Oberfläche wird eine Intensität des reflektierten Lichts eingestellt.
  • Figurenliste
    • 1 ist eine Draufsicht auf einen Fahrzeuginnenraum mit Sitzen, die in den jeweiligen Sichtfeldern der Kameras im Fahrzeug installiert sind.
    • 2 ist eine perspektivische Ansicht einer Sitzgurtanordnung mit reflektierenden Mustern, wie hier beschrieben ist.
    • 3 ist eine perspektivische Ansicht eines Sitzgurtschlosses in geschlossener Position mit einer daran befestigten Sitzgurtzunge.
    • 4 ist ein repräsentatives 3-D-Bild, das von den Kameras in 1 aufgenommen wurde.
    • 5 ist ein Ausschnitt aus dem Bild von 4, der für eine bestimmte Region von Interesse zugeschnitten ist.
    • 6 ist eine schematische Darstellung von retroreflektierenden Oberflächen und der damit verbundenen Lichtreflexion, wie sie in dieser Offenbarung beschrieben wird.
    • 7A ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die beleuchtet wird und wie hier offenbart in einer Kopfausrichtung abgebildet ist.
    • 7B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die beleuchtet und in einer schrägen Ausrichtung, wie hier offenbart, abgebildet wird.
    • 8 ist eine schematische Darstellung von retroreflektierenden Oberflächen mit blockierenden Strukturen, die infrarotes Beleuchtungslicht absorbieren, wie hierin offenbart, zusammen mit der damit verbundenen Lichtreflexion, wie in dieser Offenbarung dargelegt.
    • 9A ist eine perspektivische Ansicht einer Art von blockierender Struktur in Form eines Netzes zur Positionierung über einer hierin offenbarten retroreflektierenden Oberfläche.
    • 9B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Netzstruktur versehen ist, welche die Beleuchtung blockiert, und die wie hier offenbart in einer Kopfausrichtung abgebildet ist.
    • 9C ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Netzblockierungsstruktur, wie hier offenbart, versehen ist, welche die Beleuchtung blockiert, und in einer schrägen Ausrichtung abgebildet ist.
    • 10 ist eine Draufsicht auf eine Netzblockierungsstruktur mit unterschiedlicher Zelldichte, wie sie hier offenbart wird.
    • 11 ist eine schematische Darstellung von retroreflektierenden Oberflächen, die mit Dünnfilm modifizierte Oberflächen enthalten, die beleuchtetes Licht, wie hier offenbart, zusammen mit der zugehörigen Lichtreflexion, wie in dieser Offenbarung dargelegt, empfangen.
    • 12A ist eine Darstellung möglicher Konstruktionen für Dünnschichtmodifikationen an retroreflektierenden Oberflächen, wie sie hier offenbart werden.
    • 12B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation unterzogen wurde.
    • 12C ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit mehreren Schichten einer Dünnschichtmodifikation versehen ist.
    • 12D ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die mit einer Mylar™ -Schicht modifiziert wurde.
    • 12E ist eine perspektivische Ansicht jeder retroreflektierenden Oberfläche mit den jeweiligen Modifikationen der 12A-12D, die wie hier offenbart frontal beleuchtet wird.
    • 12F ist eine perspektivische Ansicht jeder retroreflektierenden Oberfläche mit den jeweiligen Modifikationen der 12A-12D, die einer schrägen Beleuchtung, wie hier offenbart, ausgesetzt ist.
    • 13A ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation und einer Beleuchtung in einer Kopfausrichtung, wie hierin offenbart, unterzogen wurde.
    • 13B ist eine perspektivische Ansicht einer retroreflektierenden Oberfläche, die einer Dünnschichtmodifikation und einer Beleuchtung in einer schrägen Ausrichtung, wie hier offenbart, unterzogen wurde.
    • 14A ist eine perspektivische Ansicht zur vergleichenden Analyse von 13A und zeigt eine retroreflektierende Oberfläche, die nicht mit einer Dünnschichtmodifikation versehen ist und wie hierin offenbart in einer Kopfausrichtung beleuchtet wird.
    • 14B ist eine perspektivische Ansicht zur vergleichenden Analyse von 13B und zeigt eine retroreflektierende Oberfläche, die nicht mit einer Dünnschichtmodifikation versehen ist und in einer schrägen Ausrichtung, wie hier offenbart, beleuchtet wird.
    • 15 ist eine perspektivische Ansicht eines Fahrzeuginnenraums von oben, wie er von einem Sensor mit dem hier beschriebenen Sichtfeld abgebildet wird.
    • 16 ist eine Seitenansicht des Fahrzeuginnenraums von 15.
    • 17 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T0 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 18 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T1 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 19 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T2 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 20 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T3 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 21 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T4 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 22 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T5 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 23 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T6 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 24 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T7 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 25 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T8 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 26 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T9 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 27 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T10 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
    • 28 zeigt eine Serie von Bildern in den jeweiligen Bereichen zum Zeitpunkt T11 eines Fahrzeuginnenraums, wie er in 15 dargestellt ist.
  • Detaillierte Beschreibung
  • Übersicht
  • Diese Offenbarung verwendet elektromagnetische Sensoren wie Bildsensoren, Bildkameras und dergleichen, um Positionen zahlreicher Komponenten eines Fahrzeuginnenraums zu erkennen und zu verfolgen. In einer Ausführungsform ist der Sensor ein aktives optisches 3D-Flugzeit-Bildgebungssystem, das eine bekannte Wellenform (zum Beispiel sinusförmig, pseudozufällig und dergleichen) elektromagnetischer Lichtwellenlänge(n) aussendet, die mit einer Bilddetektoranordnung kollokiert und/oder synchronisiert sind, wobei die Amplitude des erfassten Signals proportional zu dem reflektierten Licht bei der/den Lichtwellenlänge(n) ist. Ein solcher Sensor kann sowohl die reflektierte Lichtintensität von Oberflächen im Sichtfeld des Bildgebers als auch den Abstand der Oberfläche vom Bildgeberdetektor erfassen.
  • Das Licht wird ausgestrahlt und trifft auf die Oberfläche aller Objekte innerhalb einer Sichtlinie. In Abhängigkeit von der geometrischen Anordnung und der Materialzusammensetzung des Objekts wird ein Teil des Lichts zu einer Detektoranordnung des Bildgebers zurückreflektiert. Die Signalverarbeitung der erfassten Signale kann zur Rekonstruktion von 3-D-Informationen (Intensitäts- und Tiefenbild) verwendet werden, die in Bildverarbeitungsalgorithmen zur Erkennung und/oder Klassifizierung und/oder Verfolgung von Informationen über die Objekte in der Szene eingesetzt werden können. In einem nicht einschränkenden Ausführungsbeispiel kann die Wellenlänge der Lichtquelle im Bereich von etwa 850 bis 950 nm gewählt werden, und die Quelle des ausgewählten Lichts könnte ein LED-Array oder ein oder mehrere VCSEL-Laser mit Dispersions-/Filteroptik(en) sein, um das Licht innerhalb eines bekannten räumlichen Bereichs zu streuen.
  • Ohne diese Offenbarung auf eine bestimmte Art von Ausrüstung zu beschränken, kann die Bildgeberanordnung beispielsweise eine Silizium-Multipixelanordnung sein, die auf das oben beschriebene Licht von 850-950 nm, das von einer entsprechenden Lichtquelle ausgesandt wird, synchronisiert und empfindlich ist. Der Sensor und die zugehörigen Quellen und Detektoren könnten jedoch auch auf anderen elektromagnetischen Methoden basieren, wie zum Beispiel passiven optischen Bildgebern (2-D, unter Verwendung von Umgebungslicht), Radar, Ultraschall, Mikrowellen und zahlreichen Detektionstechnologien.
  • In Ausführungsbeispielen erfassen und verfolgen die Bildsensoren Komponenten eines Fahrzeuginnenraums, einschließlich, aber nicht beschränkt auf ein Sitzgurtmaterial, die mechanische Befestigung der Sitzgurte (zum Beispiel die Gurtauswurföffnung) und/oder mechanische Merkmale am Sitzgurt (zum Beispiel den Gurt selbst, D-Ringe, Schlossbeschläge, Halteknöpfe usw.). Diese Komponenten können aus Materialien bestehen und/oder mit einem geeigneten Muster versehen sein, so dass die Merkmale innerhalb des Musters ein kontrolliertes, deterministisches Reflexionsvermögen in dem/den Wellenlängenbereich(en) des Sensors aufweisen. Zu den anderen Fahrzeugkomponenten, die mit den unten beschriebenen bildgebenden Geräten erfasst und verfolgt werden können, gehören Teile der Türinnenseiten, Teile der Fahrzeugsitze und Kopfstützen, Ablagefächer auf den Vorder- oder Rücksitzen und sogar Insassen und/oder Gegenstände im Fahrzeug.
  • In einer nicht einschränkenden Ausführungsform kann zum Beispiel das Material des Sitzgurts oder des Gurts die Zielstruktur für die Verfolgung sein. Das Gurt kann gewebt, beschichtet, genäht oder anderweitig mit einem sich abwechselnden Muster aus Materialien mit hohem und niedrigem Reflexionsvermögen bei der/den ausgewählten Sensorwellenlänge(n) verziert sein. Das Muster kann so gewählt werden, dass Informationen über den Sitzgurt entweder durch visuelle Inspektion oder durch Bilderkennung in einem automatischen Computer-Vision-System besser erkannt und verfolgt werden können. Bildverarbeitungsmethoden können optimiert werden, um diese Muster zu erkennen, zu klassifizieren und zu verfolgen. Die Mustermerkmale können so ausgewählt werden, dass sie einen optimalen Kontrast aufweisen, um das Ausmaß des Gurtauswurfs aus einer Gurtauswurföffnung, die Tiefe des Gurtes relativ zu einem Sensor oder einer Kamera und andere Vergleichsdatensätze zu erkennen/zu verfolgen, wie zum Beispiel die Gurtposition, die der Kamera am nächsten liegt (zum Beispiel um die Brust des Insassen zu identifizieren). Die hier beschriebenen Ausführungsformen erkennen, überwachen und/oder verfolgen Gurtauswurföffnungen und Gurtmuster, wo auch immer sie sich in einem Bild befinden, das von einem Kamerablickfeld erzeugt wird. Beispielsweise können diese Muster lokalisiert und ihre relativen Positionen im Vergleich zu Sitzen, Dächern oder seitlichen Fahrzeugstrukturen bestimmt werden, um die Position von Sitzgurten oder Teilen davon zu erkennen. In Fällen, in denen der Gurt verdeckt sein kann, können Gegenstände, die vom Insassen in das Fahrzeug gebracht werden, wie Kleidung, Decken, Gepäck, Ladung oder alles, was der Insasse über den erwarteten Bereich für den Sitzgurt legt, in diesem System berücksichtigt werden.
  • Das hier beschriebene System und die Methoden identifizieren Referenzpunkte innerhalb eines Raums, die in einem Fahrzeug mit deutlich geringerer Wahrscheinlichkeit verdeckt werden, und stellen bekannte Strukturen bereit, anhand derer Sicherheitsfaktoren, wie zum Beispiel das Anlegen des Sitzgurts, und Fahrzeugbetriebsbedingungen, wie zum Beispiel die Sitzposition und die Position der Insassen, bewertet werden können. Durch die Identifizierung von Referenzstrukturen, die in einem Fahrzeug immer sichtbar sind, nutzen das hier offenbarte System und die Methoden teilweise sichtbare Teile eines Fahrzeuginnenraums zusammen mit Methoden zur Klassifizierung von Insassen, um einen ordnungsgemäßen oder unsachgemäßen Fahrzeugbetrieb vorherzusagen. Wie bereits erwähnt, ist eine Sitzgurtanordnung nur ein Beispiel für eine Art von Struktur innerhalb einer Fahrzeugkabine, die für die Überwachung durch einen Bildsensor, wie hier beschrieben, nützlich sein kann. In der nachstehenden detaillierten Beschreibung werden weitere Ausführungsformen der Verfahren und Systeme zur Überwachung gemäß den darin erwähnten Figuren erläutert.
  • Aktive optische Sensorsysteme arbeiten mit einer bestimmten Lichtquelle und einem Detektor, die synchron zueinander arbeiten. Die Lichtquelle ist so eingestellt, dass sie Licht eines bestimmten Wellenlängenbereichs, einer bestimmten Intensität und eines bestimmten Tastverhältnisses aussendet, so dass ein Teil des ausgesandten Lichts von den Objekten im Sichtfeld des Detektors reflektiert wird. Die Intensität und Phase des Lichts, das den Bildsensor oder Bilddetektor erreicht, kann verwendet werden, um ein Bild der reflektierten Intensität und auch ein Entfernungsbild zu erzeugen. Die Kombination dieser beiden Daten wird häufig als „Punktwolkenbild“ bezeichnet, das zur Unterscheidung von Objekten innerhalb des Sichtfelds des Bildsensors verwendet werden kann. In einer Ausführungsform hat der Bildsensor einen festen dynamischen Bereich (oft beschrieben als einen Spannungsbereich wie 0,5-5 Volt benutzend), wobei Spannungen, die den Maximalwert überschreiten, „Sättigung“ und Spannungen, die unter den Minimalwert des Bereichs fallen, „Rauschen“ oder den elektrischen Rauschpegel des Sensors darstellen. In den meisten Fällen ist der Bildsensor so konzipiert, dass die Informationen, die von der im Sensor konfigurierten Software erkannt und verwendet werden können, maximiert werden. Die beabsichtigte Anwendung des Sensors bestimmt auch den vorgesehenen Sensorbereich. Durch das Anbringen eines Filters auf einem Bildsensor, der einen gewünschten Wellenlängenbereich durchlässt und alle anderen blockiert, kann das Signal-Rausch-Verhältnis des Sensors weiter verbessert werden. Durch die Erzeugung aufeinander folgender „Punktwolkenbilder“ in Abhängigkeit von der Zeit kann auch die Bewegung von Objekten innerhalb des Sichtfelds (FOV) des Sensors geschätzt und verfolgt werden.
  • Ein nicht einschränkendes Beispiel für einen aktiven optischen Bildsensor im Sinne dieser Offenbarung ist eine 3D-Flugzeitkamera, die sinusförmiges Licht unter Verwendung von LED(s) oder Laserdioden mit einer zentralen Wellenlänge von etwa 850 nm und einem Bereich von +/- 50 nm emittieren kann. Die Kamera enthält einen Bildsensor mit einem Durchlassfilter, der die gleiche zentrale Wellenlänge von 850 nm (oder eine andere gewählte Wellenlänge) und den entsprechenden Bereich verwendet, so dass der Bildsensor zu zwei oder mehr gleichmäßig beabstandeten Zeitpunkten während der Sinuswelle der Lichtquelle (DT1, DT2, ...) abgetastet wird. Durch die Verwendung einer sehr schnellen Sinuswelle, verglichen mit der schnellstmöglichen Bewegung von Objekten, stellt das erfasste „Punktwolkenbild“ eine dreidimensionale Momentaufnahme des Bildsensor-Sichtfelds dar. Die Dauer, für welche die Kamera das gesammelte Licht zu diesen Abtastzeiten integriert (zum Beispiel Integrationszeiten), kann ebenfalls im Bildsensor gesteuert werden. Die Intensität des Lichts, das den Bildsensor erreicht, ist eine Funktion des Wellenlängenbereichs, der Intensität und der Phase des emittierten Lichts, der Position (Entfernung) der Objekte im Sichtfeld, der Größe und Ausrichtung der Objekte und anderer Faktoren wie der Oberflächeneigenschaften der Objekte (zum Beispiel Materialreflexionsvermögen im Wellenlängenbereich des Sensordetektors, makroskopische/mikroskopische Oberflächennormale, zum Beispiel rau oder glatt).
  • Wenn sich Objekte sehr nahe am Bildsensor befinden und/oder stark reflektieren, kann das erfasste Licht den maximalen Dynamikbereich des Bildsensors überschreiten (d. h., der Sensor wird „gesättigt“). Durch Verkürzung der Integrationszeit kann das erfasste Licht so weit reduziert werden, dass es in den dynamischen Bereich des Bildsensors fällt. Wenn die Objekte sehr weit vom Bildsensor entfernt sind und/oder nicht reflektieren, kann es sein, dass der Bildsensor nicht genügend reflektiertes Licht empfängt, um es innerhalb des dynamischen Bereichs des Detektors zu registrieren (d. h., es kommt zu „Rauschen“). Durch eine Verlängerung der Integrationszeit in diesem verrauschten Szenario kann das erfasste Licht erhöht werden, so dass es in den dynamischen Bereich des Detektors fällt.
  • Um die Informationen des Sensors für die vorgesehene Anwendung zu optimieren, sollte der volle Dynamikbereich des 3-D TOF-Sensors genutzt werden, wobei „Sättigungs-“ und „Rausch“-Bedingungen minimiert werden sollten.
  • Für die Zwecke dieser Offenbarung wird eine Beispielanwendung als Kabinenüberwachungssystem (CMS) definiert. In diesem nicht einschränkenden Beispiel wird ein 3-D-TOF-Sensor in einem Fahrzeug befestigt und sammelt sequentielle Punktwolkenbilder, die von Computeralgorithmen verwendet werden, um die gesamte Kabine diskret oder kontinuierlich zu überwachen, soweit das Sichtfeld und die Reichweite der Kamera die vollständige Sicht auf die Kabine ermöglichen. Das CMS erfasst auch die menschlichen Insassen und Objekte in der Kabine.
  • Um beispielsweise die Tiefe und Intensität von Fahrzeugsitzen bei Materialien mit geringem Reflexionsvermögen (zum Beispiel schwarzer Stoff) zu erfassen und darüber hinaus die Position von Fahrzeugkomponenten in der Kabine zu erkennen, kann der Bildsensor lange Integrationszeiten benötigen oder möglicherweise überhaupt nicht in der Lage sein, die Zielmaterialien zu erkennen. Andererseits können manche Sitzmaterialien extrem reflektierend sein, was zu einer Sättigung bei sehr niedrigen Integrationszeiten führt. Um diesen Szenarien Rechnung zu tragen, kann es von Vorteil sein, Materialien in ein oder mehrere Referenzobjekte mit einer kontrollierten, bestimmten Lambert'schen Oberfläche mit einer kontrollierten bidirektionalen Reflexionsverteilungsfunktion (BRDF) einzubringen, so dass ein gesammeltes Bild eine konsistente Referenz für den aktiven optischen Sensor darstellt.
  • Die BRDF ist ein Fachbegriff aus dem Bereich der Optik und bezieht sich im Allgemeinen auf eine Funktion von vier Parametern, die sich auf die Merkmale des reflektierten Lichts beziehen, wie zum Beispiel die Streueigenschaften einer Oberfläche, auf die Licht einfällt. In einer Hinsicht nimmt die BRDF eine Richtung des einfallenden Lichts (wi) und eine Richtung des ausfallenden Lichts (wr) und gibt das Verhältnis der reflektierten Strahldichte zur auf die Oberfläche einfallenden Bestrahlungsstärke wieder. Jede Richtung ist ihrerseits durch den Azimutwinkel ϕ und den Zenitwinkel θ parametrisiert, so dass die BRDF eine Funktion von 4 Variablen ist, wie unten dargelegt: f r ( ω i , ω r ) = d L r ( ω r ) d E i ( ω i ) = d L r ( ω r ) L i ( ω i ) cos θ i d ω i
    Figure DE112020001011B4_0001
    Siehe, Nicodemus, Fred (1965). „Directional Reflectance and Emissivity of an Opaque Surface". Angewandte Optik. 4 (7): 767-775, zitiert von Wikipedia.org.
  • Während der CMS-Entwicklung für Ausführungsformen dieser Offenbarung wurden mehrere deterministische BRDF-Referenzobjekte entlang der Innenseite einer Fahrzeugkabine und auf Fahrzeugsitzen angebracht. Zu Testzwecken wurden die Referenzobjekte mit herkömmlichen reflektierenden Materialien, wie den oben beschriebenen, installiert, die sorgfältig auf die Betriebsparameter einer zugehörigen Kamera/eines Sensors abgestimmt werden müssen, um wirksam zu sein. Die Testbedingungen wären in einer Produktionsumgebung schwer zu handhaben und umzusetzen. Nach dem Nachweis des Konzepts, wie hier gezeigt, umfasst diese Offenbarung auch zahlreiche strukturelle Merkmale für Komponenten innerhalb einer Fahrzeugkabine, die abgebildet werden sollen, und entsprechende Kamerafunktionen, die eine qualitativ hochwertige Abbildung zumindest eines Teils einer Fahrzeugkabine ermöglichen.
  • Viele Objekte in einer Fahrzeugkabine haben deterministische Eigenschaften in Bezug auf einen Bildsensor in einer in der Fahrzeugkabine installierten Kamera. Beispielsweise sind in einem Fahrzeug, das von einem Erstausrüster geliefert wird, das Dach, die Seiten, die Türen, die Sitze, die Fenster, die Positionen der Beschläge, die mechanischen Freiheitsgrade für dynamische Strukturen wie die Sitzposition und der Neigungswinkel zusammen mit den zugehörigen Fertigungsmaterialien im Kabinendesign spezifiziert und festgelegt. Dementsprechend können diese Objekte vorhergesagt, gemessen und als Referenzstrukturen innerhalb eines Punktwolkenbildes (deterministische Intensität und Entfernung) verwendet werden. Gegenwärtig verwenden die Hersteller von Bauteilen für Fahrzeuge und/oder Fahrzeugkomponenten ausgewählte Materialien für die oben genannten Referenzobjekte, ohne die Erkennbarkeit der Komponenten durch aktive optische Bildsensoren zu berücksichtigen.
  • Elektrische Systeme mit aktiven optischen Elementen wurden für Fahrzeuganwendungen entwickelt, darunter die folgenden:
    • • Integrierte Mikrofone und Sensoren im Sitzgurt
    • • Schalter für Sitzgurtschlösser, Präsenter und Beleuchtungen
    • • In das Lenkrad integrierte sichtbare Lichtleisten
    • • Infrarotscheinwerfer für Fahrerüberwachungssysteme
  • Bildgebende Verfahren innerhalb eines Fahrzeuginnenraums können auch Bilder berücksichtigen, welche die oben erwähnte Elektronik enthalten, die darin angezeigt wird. Für jede elektronisch angeschlossene Komponente in einem Fahrzeuginnenraum besteht die Möglichkeit, Komponenten und/oder Betriebsmodi einzubeziehen, in denen eine aktive optische Beleuchtung (zum Beispiel LED) integriert und aktiviert ist, so dass die Beleuchtung für einen aktiven optischen 2D- oder 3D-Sensor sichtbar ist, wie in dieser Offenbarung beschrieben. Die Beleuchtungseigenschaften (Wellenlänge, zum Beispiel Infrarot, Intensität, Dauer, Muster) sind je nach Fahrzeug- und/oder Insassenzustand steuerbar.
  • So kann der aktive optische 2D- oder 3D-Sensor Beleuchtungen aus mehreren Quellen für eine Vielzahl von Zwecken erkennen, klassifizieren und überwachen, indem er eine Beleuchtungseinrichtung in einem Sensorbild (2D) oder einer Punktwolke (3D) auf der Grundlage der Intensität, der räumlichen Position und/oder des zeitlichen Musters (zum Beispiel Blinken mit einer bekannten Rate) lokalisiert. Ohne die Offenbarung auf bestimmte Ausführungsformen zu beschränken, kann es sich bei der hier verwendeten Beleuchtung um eine passive Beleuchtung handeln, die einfallendes Licht reflektiert, oder um eine aktive Beleuchtung, die eine aktive Lichtquelle ist. Beispielsweise kann eine Kamera ein Bild aufnehmen, welches das Einschalten einer Beleuchtung zeigt, wenn sich der Zustand eines Fahrzeugs ändert, und dies durch die Änderung des Beleuchtungszustands in einem oder mehreren Pixeln innerhalb des aktiven optischen Sensorbilds erkennen. Andere Arten von Beleuchtungen, die unter dieses Beispiel fallen, sind zum Beispiel eine Lichtkuppel, die bei geöffneter Tür „an“ und bei geschlossener Tür „aus“ geht, so dass die Position der Lichtkuppel relativ zu einem Bildsensor in der Kamera feststeht (oder zumindest auf eine vorgegebene Anzahl von Freiheitsgraden beschränkt ist). Die Erkennung und Verfolgung des Lichts kann als Kalibrierungsreferenz oder als redundantes Maß für den Zustand der offenen/geschlossenen Tür (unabhängig von einem Türschalter) verwendet werden, um die funktionale Sicherheit zu erhöhen.
  • Weitere Beispiele für Beleuchtungseinrichtungen in einem Fahrzeug, die von einem Bildsensor erfasst werden können, sind:
    1. i. Lichter an einer Fahrzeugtür können sich in einem bestimmten Muster durch den Sensorbildraum bewegen, um die Bewegung und den Positionszustand der Tür anzuzeigen
    2. ii. Die Beleuchtungseinrichtung(en) für die Sitzschnalle oder den D-Ring sind für den Sensor sichtbar, wenn die Sitze unbesetzt sind, und diese Leuchten werden während des Ein- und Aussteigens von Insassen oder Gegenständen verdeckt, was eine Änderung des Sitzzustands bestätigt.
    3. iii. Die Beleuchtungseinrichtung(en) des Sitzschlosses oder des D-Rings ist (sind) beim Einstellen und Schließen des Insassengurts nicht sichtbar, jedoch sichtbar, wenn der Gurt ordnungsgemäß eingerastet ist.
    4. v. Die Beleuchtung(en) im Sitzgurt wird/werden eingeschaltet, wenn die Sitzgurte eingerastet sind, und kann/können dazu verwendet werden, festzustellen, ob sie getragen werden (vom Sensor sichtbar) und/oder die Statur des Insassen (Position/Entfernung vom Sensor) relativ zu einem Sitzgurt zu bestimmen.
    5. vi. Lenkradbeleuchtungen zur Bestimmung der Lenkradposition/des Neigungszustands, des Zustands der Handabtastung (verdeckt, nicht verdeckt) und möglicherweise des Lenkradwinkels (Positionen der Beleuchtungen relativ zur Kamera).
  • Jede sichtbare und steuerbare Beleuchtungseinrichtung innerhalb des Sichtfelds des Sensors kann auf diese Weise verwendet und gesteuert werden, um den Zustand des Fahrzeugs und/oder der Insassen zu ermitteln. Wie oben erwähnt, umfasst die Beleuchtungseinrichtung reflektierende Beleuchtungsvorrichtungen und aktive Lichtquellen, die in einigen Ausführungsformen eine Stromquelle nutzen können. In jedem Fall weist eine Beleuchtungseinrichtung optische Qualitäten und Eigenschaften auf, die mit den Zielen dieser Offenbarung übereinstimmen.
  • Vorheriges Wissen über die Position der Beleuchtungseinrichtung(en) in Bezug auf den Sensor, die Beleuchtungsintensität und das Beleuchtungsmuster kann als Kalibrierungsreferenz verwendet werden, um die Genauigkeit und Auflösung von Algorithmen zur Erkennung, Klassifizierung und Verfolgung durch maschinelles Sehen zu verbessern.
  • Diese und andere Ausführungsformen dieser Offenbarung werden im Folgenden in der detaillierten Beschreibung und den Figuren beschrieben.
  • 1 ist eine schematische Übersichtsdarstellung eines Fahrzeugs gemäß dieser Offenbarung umfassend Sitzreihen (13A, 13B, 13C) innerhalb des Fahrzeuginnenraums (10) oder der Fahrzeugkabine eines Fahrzeugs. Der Begriff „Fahrzeug“, wie er hier verwendet wird, umfasst alle weitestgehenden Bedeutungen des Begriffs im Zusammenhang mit dem Transportwesen (das heißt alle Verweise auf ein Automobil dienen nur als Beispiel und beschränken diese Offenbarung nicht auf eine bestimmte Ausführungsform). Das Fahrzeug in 1 verfügt über einen Fahrersitz (13A) neben einem Lenkrad (19) und einem gemeinsamen Fahrerbedienfeld (17) (möglicherweise mit einem Bildschirm). Das Fahrzeugsteuersystem ist nicht gesondert dargestellt, würde aber in einer Computerbank implementiert, die Prozessoren (28), Speicher (27), elektronische Schaltungen und mindestens einen Sensor, der zur Schaffung einer sicheren Fahrumgebung im Fahrzeuginnenraum (10) erforderlich ist, umfasst. Die Computer (11) im Fahrzeug können mit Insassen-Klassifizierungssystemen (21) kommunizieren, die zur Bestimmung des Ein- und Ausstiegsortes, der Anatomie, des Alters, des Erwachsenen/Kindes/Kleinkind-Status und anderer quantitativer/qualitativer Merkmale jedes Insassen im Fahrzeug verwendet werden. Das Fahrzeug in 1 verfügt in der Regel über die Standardausrüstung der Erstausrüster (OEM), wie zum Beispiel die Sitzgurte, die in anderen Figuren ausführlicher dargestellt sind. Das Fahrzeug in 1 zeigt jedoch die Installation von Kameras (12A, 12B, 12C) mit entsprechenden Lichtquellen (16A, 16B, 16C), die im Fahrzeuginnenraum (10) positioniert sind, um entsprechende Sichtfelder (225) von Insassen, Sitzen (13), Sitzgurt-Baugruppen (20A, 20B) und anderen Strukturen im Fahrzeug zu erstellen. In diesem nicht einschränkenden Beispiel sind die Kameras/Bildsensoren (12) (auch als optische Sensoren (12) bezeichnet) an der Decke (15) des Fahrzeugs und auf dem Fahrerbedienfeld (17) installiert. Das Fahrzeug umfasst die zugehörigen Schaltungen, um die Kameras (12), die mit Lichtquellen (16) und zugehörigen Arrays/Sensoren (im Folgenden „Bildsensoren“ (14)) zusammenarbeiten, mit einem Fahrzeugsteuerungssystem zu verbinden, das über eine Computerbank von Computern (11) betrieben wird.
  • 2 zeigt weitere Details des Fahrzeuginnenraums (10) und der Sitze (13A, 13B, 13C) mit darin arbeitenden Sitzgurtanordnungen (20A, 20B). Ein nicht einschränkender Aspekt dieser Offenbarung umfasst die Verwendung von Komponenten im Fahrzeuginnenraum (10), wie zum Beispiel, aber nicht beschränkt auf eine Sitzgurtanordnung (20A, 20B), in einer Weise, welche die Überwachungsmöglichkeiten maximiert. Zu den Komponenten im Fahrzeuginnenraum (10), die gemäß den Ausführungsformen dieser Offenbarung erfasst und verfolgt werden können, gehören unter anderem eine Sitzgurtaufrollvorrichtung (das heißt, eine Spule, die den Sitzgurt abwickelt und wieder in einen Gurtauswurfabschnitt (44) aufwickelt), eine Auswurfsöffnung (30), durch die sich ein Sitzgurt erstreckt, einen Teil einer Sitzgurtanordnung, der als Schultergurt (48) konfiguriert ist, einen Beckengurt (36), einen Beckengurtanker (32A, 32B, 32C), Gurtlängeneinstellbeschläge (34), ein Schloss (40), Schlossbeschläge (35), eine Sitzgurtzunge (42), mindestens eine Fläche (46) des Sitzgurtschlosses (40) und periphere Beschläge, die zum Installieren oder Aktivieren der Funktionen der Sitzgurtanordnung verwendet werden (zum Beispiel D-Ringe, Halteknöpfe). Der Begriff „Sitzgurtteile“ soll diese Offenbarung nicht einschränken und umfasst jede Struktur der Sitzgurtanordnung, die irgendeine Art von Verbindungs-, Installations- oder Betriebsfunktion in Bezug auf den in 2 gezeigten Becken- und Schultergurt bietet.
  • Zumindest diese Komponenten und andere Objekte und Gegenstände, die in einem Fahrzeuginnenraum (10) identifizierbar sind, können Muster enthalten, die mit einer entsprechenden Komponente integriert, auf sie aufgebracht oder mit ihr hergestellt sind. Die Muster bestehen aus Materialien mit einem bekannten Reflexionsvermögen, so dass das Muster in einem Intensitäts- und/oder Entfernungsbild, das vom Fahrzeuginnenraum (10) aufgenommen wird, erkennbar ist. Ein Muster, das aufgrund seiner Materialzusammensetzung ein vorbestimmtes Reflexionsvermögen aufweist, erscheint mit einer unterscheidbaren Leuchtdichte (oder sichtbaren Intensität), die ausreicht, um in einem Bild das Muster von anderen Strukturen zu unterscheiden. Das Muster kann in einem Bild je nach Wunsch des Designers entweder als Bereich mit geringerer oder mit höherer Leuchtdichte erscheinen und weiterhin zur Unterscheidung von Komponenten der Sitzgurtbaugruppe nützlich sein. In 2 zeigen die Komponenten der Sitzgurtanordnung (20) entsprechende Schultergurtmuster (38), Beckengurtmuster (50), Gurtauswurfabschnittsmuster (52), Verschlussöffnungsmuster (53), Verschlussmuster (56) und unterschiedliche Muster auf gegenüberliegenden Seiten der Komponenten (d. h. gegenüberliegende Seiten des Beckengurtes und des Schultergurtes mit unterschiedlichen Mustern können eine verdrehte Position für einen Sitzgurt in einem zugehörigen Bild identifizieren).
  • 2 zeigt bestimmte Komponenten, die im Fahrzeuginnenraum (10) immer deutlich sichtbar sein können, selbst wenn ein Insasse oder dessen Habseligkeiten andere Teile der Sitzgurtanordnung in dem Sichtfeld der Kamera verdecken. Zum Beispiel kann ein Gurtauswurfsabschnitt (44), wie zum Beispiel ein Bereich, der in einer B-Säule in einem Fahrzeug definiert ist, an mehreren Stellen im Fahrzeuginnenraum installiert werden, um einen Auslass eines zugehörigen Sitzgurtes für einen Insassen zu ermöglichen. Die zugehörige Auswurföffnung (30) ist in der Regel für eine richtig positionierte Kamera sichtbar. Zu den anderen Komponenten, die weniger wahrscheinlich von der Ladung verdeckt werden und normalerweise im Sichtfeld eines Sensors oder einer Kamera sichtbar sind, gehört das Gurtschloss (40), das einen bekannten Bewegungsbereich hat.
  • 3 zeigt eine vergrößerte Ansicht eines Sitzgurtschlosses mit entsprechenden Mustern auf bestimmten Unterkomponenten des Schlosses. So weist beispielsweise ein Schultergurt (48) auf einer Seite ein erstes Schultergurtmuster (38) auf, das als Streifen erkennbar ist, und auf der gegenüberliegenden Seite ein zweites Schultergurtmuster (57). Im Beispiel von 3 ist die gegenüberliegende Seite des Schultergurts auch als Beckengurtmuster (50) für einen zugehörigen Beckengurt (36) sichtbar. Die Schnalle (40), die Zunge (42), die Schnallenflächen (46) und die Beschläge (34) zur Einstellung der Gurtlänge sind allesamt geeignete Kandidaten für ein erkennbares Muster darauf.
  • 4 zeigt ein Ausführungsbeispiel von mindestens drei Sitzgurtbaugruppen (20), die in einem Fahrzeuginnenraum (10) verwendet werden, wobei jede Sitzgurtbaugruppe mit einem entsprechenden Sitz (13A, 13B, 13C) mit einem anderen Insassen betrieben werden kann. Wie in den meisten Fällen unterscheiden sich die Insassen in Größe, Form und Abmessungen, was die richtige Gurtposition für jeden Insassen beeinflussen kann. Das Bild in 4 zeigt ein Beispiel für eine Art von Bild (80), das eine Fahrzeugkamera (12) (oder ein entsprechendes System aus mehreren Kameras) von einer richtig abgestimmten Lichtquelle (16) erzeugen kann, die den Fahrzeuginnenraum (10) mit einer Wellenlänge elektromagnetischer Strahlung/Lichtwellen beleuchtet, die so ausgewählt wurde, dass sie der Aufnahmeempfindlichkeit und Auflösung eines Bildsensors (14) entspricht, der von Materialien und Objekten innerhalb des Kameragesichtsfeldes reflektiertes Licht empfängt.
  • Das vom Bildsensor (14) aufgenommene und verarbeitete Bild kann je nach Kamera, computergestützter Bildanordnung und den zugehörigen Computerprozessoren entweder ein zweidimensionales oder ein dreidimensionales Bild sein, aber die Muster auf den Sitzgurten, Verankerungspunkten und Aufrollern sind darin sichtbar. Die Auswurföffnung (30) in jedem Gurtauswurfabschnitt (44) ist mit einem deutlich hervorstehenden Auswurfabschnittsmuster (52) dargestellt, das die Öffnung umgibt, so dass der Ursprung des Gurtauswurfs im Bild erkennbar ist. Die Gurtauswurfsabschnitte (44A, 44B, 44C), die als jeweils montierte Gehäuse dargestellt sind, können ein anderes Muster (45A, 45B, 45C) aufweisen, um die Struktur der Aufrolleinrichtung weiter zu verdeutlichen. Die übrigen Strukturen in 4 zeigen die Verwendung entsprechender Muster auf der Sitzgurtanordnung, wie oben beschrieben. Die Bauteile können unter anderem eine Aufrollvorrichtung für Sitzgurte umfassen (d. h., eine Spule, die den Sitzgurt abwickelt und wieder in einen Gurtauswurfsabschnitt (44) aufwickelt), eine Auswurfsöffnung (30), durch die sich ein Sitzgurt erstreckt, einen Teil einer Sitzgurtanordnung, der als Schultergurt (48) konfiguriert ist, einen Beckengurt (36), einen Beckengurtanker (32), Gurtlängenverstellungsausstattung (34), ein Schloss (40), Schlossbeschläge (35), eine Sitzgurtzunge (42), mindestens eine Fläche (46) des Sitzgurtschlosses (40) und periphere Beschläge, die zum Installieren oder Aktivieren der Funktionen der Sitzgurtanordnung verwendet werden (zum Beispiel D-Ringe, Halteknöpfe). Ein Schultergurt (48) hat auf einer Seite ein erstes Schultergurtmuster (38), das als Streifen zu erkennen ist, und auf der gegenüberliegenden Seite ein zweites Schultergurtmuster (57). Im Beispiel von 3 ist die gegenüberliegende Seite des Schultergurts auch als Beckengurtmuster (50) für einen zugehörigen Beckengurt (36) sichtbar. Die Schnalle (40), die Zunge (42), die Schnallenflächen (46) und die Beschläge zur Einstellung der Gurtlänge (34) sind allesamt geeignete Kandidaten für ein erkennbares Muster auf ihnen. Die Strukturen im Bild und die zugehörigen Muster liefern Daten zur Erfüllung mehrerer Funktionen - insbesondere zur Klassifizierung von Insassen gemäß einem zugehörigen Insassenklassifizierungssystem („OCS“) (21), zur Berechnung räumlicher Messungen in Bezug auf bekannte Referenzen innerhalb des Fahrzeugs und zur Verfolgung von Bewegungen innerhalb des Fahrzeugs. Ein Ziel ist es, zu erkennen, dass ein Beckengurt und ein Schultergurt für die Sitzgurtanordnung einen Insassen an den richtigen Stellen des Rumpfes (65) kreuzen, um mit Hilfe von Sensoren im Gurtschloss einen korrekten Anschnall-/Abschnallzustand zu erreichen.
  • Das Insassenklassifizierungssystem („OCS“) (21) kann zahlreiche Arten von Hardware, Positionssensoren, Drucksensoren, Gewichtssensoren und dergleichen umfassen, um einen Fahrzeuginsassen zu identifizieren, damit ein Fahrzeug die gesetzlichen Anforderungen erfüllt. Viele Merkmale eines Insassen werden derzeit von einem OCS identifiziert, um die Auslösung von Airbags und anderen Rückhaltesystemen, Warnungen und Betriebskontrollsignalen zu steuern. In nicht einschränkenden Ausführungsformen dieser Offenbarung können Bilder, die gemäß den hier beschriebenen Methoden und Systemen erfasst wurden, in Verbindung mit einem OCS verwendet werden, um die richtige Gurtanlegung für viele verschiedene menschliche Entwicklungsstufen (zum Beispiel Erwachsene, Kinder, Säuglinge) sowie anatomische Strukturen (große Männer, durchschnittliche Männer oder Frauen, kleine Frauen) zu erkennen. Die optimale Gurtanlegung für diese verschiedenen Insassen ist für jeden von ihnen sehr unterschiedlich. Ein OCS kann Daten von den hier beschriebenen computergestützten Bildgebungssystemen empfangen, um Kantenanalysen zur Erkennung von Insassenformen, 3D-Tiefenanalysen für die Position des Rumpfes und anatomische Bemessungen für die Gurtbestätigung relativ zum Körper des Insassen durchzuführen. Einzel- und Mehrkamerasysteme zur Gurtüberwachung und Insassenklassifizierung fallen durchaus in den Anwendungsbereich dieser Offenbarung.
  • 5 zeigt ein Beispiel für eine dreidimensionale Analyse eines Fahrzeuginsassen auf einem Fahrzeugsitz (13) und verwendet die oben genannten Komponenten der Sitzgurtanordnung (20). Ein Bild, wie es hier gezeigt wird, kann mit ausreichender Detailgenauigkeit erstellt werden, um Muster auf zahlreichen Komponenten der Sitzgurtanordnung zu erkennen, wie zum Beispiel das Muster der Schultergurte (38) und/oder das Muster des Beckengurts (50). Die Komponenten der Sitzgurtanordnung sowie der Körper des Insassen werden mit ausreichender Klarheit dargestellt, um den Innenraum des Fahrzeugs an diesem Sitzplatz (d. h. in diesem Bereich von Interesse) in einem dreidimensionalen Koordinatensystem zu modellieren. Eine solche Zuordnung zu einem Koordinatensystem ermöglicht es der Computersoftware, räumliche Messungen für jedes Bild zu berechnen und die Bewegung über Bildpaare hinweg zu verfolgen. In dem nicht einschränkenden Beispiel von 5 berechnet ein computergestütztes Verfahren, das durch das hier offenbarte System implementiert wird, zahlreiche Winkel, die bei der Identifizierung der ordnungsgemäßen oder nicht ordnungsgemäßen Verwendung des Sitzgurts nützlich sind. Die räumlichen Messungen können Entfernungen von einer Kamera (12) zu einem Teil des Körpers des Insassen (das heißt dem Rumpf, der einen Schultergurt aufnimmt), Entfernungen zwischen Komponenten der Sitzgurtanordnung (20) und Teilen des Körpers des Insassen sowie Winkel zwischen Strukturen im Fahrzeug, dem Körper des Insassen und der Sitzgurtanordnung umfassen.
  • Ohne diese Offenbarung einzuschränken, zeigt 5 beispielsweise ein Verfahren zur Berechnung eines ersten Winkels (Theta 1) zwischen der Schulter eines Insassen und einer Längsachse entlang des Sitzgurtes, eines zweiten Winkels (Theta 2) zwischen der Längsachse des Sitzgurtes und einer referenzierten horizontalen Achse für das Koordinatensystem und eines dritten Winkels (Theta 3), der zwischen einem Teil des Kopfes des Insassen und der Längsachse des Sitzgurtes berechnet wird. Diese Art von statischen Messungen sind nur Beispiele dafür, dass das System Datenpunkte sammelt, die zur Bestimmung der Anfangs-, Zwischen- und Endpositionen von Sitzgurtkomponenten in einem bestimmten Fahrzeug verwendet werden können. Diese Daten können dann verwendet werden, um entsprechende Warnungen für die Insassen vorzubereiten und auszugeben, Airbags und andere Rückhaltesysteme zu steuern und Daten zu aktualisieren, die einem OCS helfen, die Klassifizierung der Insassen im Fahrzeug zu überprüfen.
  • Die oben beschriebene Offenbarung hat Vorrichtungen und Techniken beschrieben, um (i) identifizierbare Muster zu erstellen, die mit einer Sitzgurtanordnung und entsprechenden Fahrzeugstrukturen verbunden sind, und (ii) bildgebende Verfahren bereitzustellen, die bekannte Referenzwerte unter zahlreichen Bedingungen in Bezug auf sowohl feste als auch dynamische Strukturen innerhalb eines Fahrzeugs einbeziehen.
  • Strukturen in einem Fahrzeug können zu verschiedenen Zeiten entweder fest oder dynamisch sein. In einem Sinne umfassen bestimmte Komponenten, die als fest in einem Fahrzeug betrachtet werden, die festen Komponenten der Sitzgurtbaugruppe (20), wie zum Beispiel mindestens einen Gurtauswurfsabschnitt (44), der eine Sitzgurtauswurfsöffnung (30) definiert, ein Sitzgurtschloss (40), einen ersten Verankerungspunkt (32A) und Schlossbeschläge (35), die mit den festen Komponenten verbunden sind. Zu den dynamischen Bauteilen kann mindestens einer der folgenden gehören: ein Sitzgurt, der sich von einer Öffnung (30) in einem Gurtauswurfsabschnitt (44) aus erstreckt, ein Schultergurtteil (48) des Sitzgurtes, ein Beckengurtteil (36) des Sitzgurtes und eine Sitzgurtzunge (42), da sich diese Teile während der Benutzung wahrscheinlich bewegen und sich von einem Insassen zum anderen in unterschiedlichen Positionen befinden. Andere Bauteile können, wie oben beschrieben, einen begrenzten Bewegungsbereich haben (zum Beispiel ein Sitz (13) oder ein Gurtschloss (40)), so dass dieses Bauteil zwar in einem dynamischen Sinne verstellbar ist, aber als fester Bezugspunkt dienen kann, wenn eine ausgewählte Position bekannt ist.
  • Die Verwendung mehrerer Kameras, mehrerer Bezugspunkte und richtig platzierter Muster unterschiedlicher Reflektivität ermöglicht ein System, das nicht nur statische räumliche Messungen von Entfernungen und Winkeln liefert, sondern auch Bewegungsinformationen für einen Insassen oder eine Fahrzeugstruktur relativ zu einem bekannten oder berechneten Bezugspunkt.
  • Die iterativen Abzüge der 18-28, die weiter unten im Detail besprochen werden, veranschaulichen die Verwendung dieser Techniken für eine Zeitserien-Bewegungsanalyse eines Insassen, der mit einer Sitzgurtanordnung 20 interagiert (von einem Referenzpunkt aus, wie zum Beispiel einer Sitzgurtauswurföffnung (30)), wobei der Gurtauswurf (zum Beispiel Schultergurt (48A, 48B) und Beckengurt (36A, 36B) jeweils mindestens ein vorbestimmtes Muster (38, 50) aufweisen). Mit diesen Bezugspunkten und den zugehörigen Messungen und Bildern ist das System in der Lage, zahlreiche Insassenpositionen zu berücksichtigen (zum Beispiel liegend oder normal sitzend, beim Einsteigen in das Fahrzeug und beim Aussteigen aus dem Fahrzeug sowie die richtige Position des Sitzgurtes relativ zum Körper des Insassen während der Benutzung). Das System ist außerdem so konfiguriert, dass es die Berechnungen für die korrekte Benutzung des Sitzgurts entsprechend anpasst. In einer Ausführungsform können die Referenzpunkte zusammen mit der Bildanalyse verwendet werden, um ein Gurtmuster zu identifizieren, das einen Gurtdurchhang über einem Insassen anzeigt, der für eine ordnungsgemäße und sichere Gurtanlegung nicht geeignet ist.
  • Aufeinanderfolgende Bilder von der mindestens einen Kamera (12) werden analysiert, um die Bewegung des Insassen innerhalb eines Bereichs von Interesse zu verfolgen, wobei die Bewegung relativ zu mindestens einer der festen Komponenten im Fahrzeug erfolgt. Die aus den Bildern abgeleiteten Bewegungsdaten des Insassen werden vom Prozessor (28) verwendet, um die physiologischen Prozesse des Insassen zu verfolgen, einschließlich, aber nicht beschränkt auf mindestens eines der folgenden Elemente: Atmung, Atemfrequenz, Herzfrequenz, Öffnen und Schließen des Mundes, Blinzeln und Sprachmuster. Einige dieser Messungen können durch den Prozessor (28) in Verbindung mit einer computerimplementierten Software validiert werden, die in einem zugehörigen Speicher (27) gespeichert ist und ferner eine Sitzposition innerhalb des Bereichs von Interesse relativ zur Referenzmessung der festen Komponente berechnet. Der Prozessor (28) und der Speicher (27) können sich im Fahrzeug befinden oder aus der Ferne über ein drahtloses Netzwerk zugänglich sein.
  • Unter Bezugnahme auf 15 als ein erstes Beispiel dieser Offenbarung, wie sie in einem Fahrzeug installiert ist, umfasst ein Aspekt dieser Offenbarung, der in den beigefügten Figuren gezeigt ist, die oben genannten Vorrichtungen, Systeme und Verfahren zur Steuerung des Reflexionsgrads und der Integrationszeit für einen bestimmten Bildsensor (14), der Bilddaten von einer beleuchteten Oberfläche (85) oder einer Beleuchtungsvorrichtung (185) innerhalb eines Sichtfelds (225) erfasst. In diesem Beispiel kann die beleuchtete Fläche eine retroreflektierende Schicht sein, die auf ein Fahrzeugbauteil aufgebracht wird, oder eine retroreflektierende Fläche, die fest mit dem Fahrzeugbauteil verbunden ist. Wie in 15 gezeigt, kann beispielsweise ein Gurtauswurfsabschnitt (244B) eine retroreflektierende Oberfläche (85) aufweisen, und die Beleuchtungsvorrichtungen (185A, 185B, 185C) können entsprechende Lichtquellen sein, die jeweils innerhalb des Sichtfelds an einem anderen Fahrzeugbauteil, zum Beispiel an einem Sitzgurtschloss (235A, 235B, 235C), angebracht sind.
  • Zurück zu 6: Diese Fig. veranschaulicht, dass eines der in dieser Offenbarung enthaltenen Konzepte darin besteht, dass retroreflektierende Materialien, wie zum Beispiel eine retroreflektierende Applikation, ein retroreflektierendes Gewebe oder sogar retroreflektierende Fasern und Fäden, einen Teil einer Fahrzeugkomponente wie der in 15 gezeigten beleuchteten Oberfläche (85) ausmachen können, ohne darauf beschränkt zu sein. Wie in 6 dargestellt, wird eine retroreflektierende Oberfläche (135A-135n) mit Licht beleuchtet, das einfallende Strahlen (138A-138D) projiziert, die von der retroreflektierenden Oberfläche parallel zum einfallenden Strahl reflektierte Strahlen (148A-148D) erzeugen. Wie in den 7A und 7B dargestellt, besteht eine retroreflektierende Oberfläche (135) aus einem Material, das auch bei großen Winkeln noch hoch reflektierend ist. Im Beispiel von 7B ist die retroreflektierende Oberfläche (135) bei schrägen Winkeln (etwa 10 bis etwa 20 Grad über der Normale), die sich der Normalen annähern, stark reflektierend.
  • Wie bereits erwähnt, werden bei bestimmten Fahrzeugkomponenten reflektierende Bereiche verwendet, um sicherzustellen, dass physische Merkmale einer bestimmten Fahrzeugkomponente in einem Bild, das aus dem hier beschriebenen System resultiert, erkennbar sind. Die retroreflektierenden Bereiche können nach der Konstruktion des Fahrzeugs durch Aufbringen separater retroreflektierender Schichten (140) auf eine Fahrzeugkomponente erzeugt werden, wie zum Beispiel durch eine retroreflektierende Schicht (140), die auf das Sitzgurtschloss von 3 aufgebracht wird. In anderen Ausführungsformen können die retroreflektierenden Bereiche retroreflektierende Oberflächen (135) sein, die mit dem Körper des betreffenden Fahrzeugteils fest verbunden sind, wie die Fasern bildende retroreflektierende Oberfläche (135) in 6. Entweder eine retroreflektierende Schicht oder eine retroreflektierende Oberfläche kann in bestimmten Ausführungsformen ein Problem mit der Sättigung eines Bildsensors oder dem Einbringen von Rauschen in die Bilddaten darstellen, je nach Reflexionsgrad und Position des Bauteils relativ zu einem Bildsensor (14). 8 zeigt eine nicht beschränkende Lösung für das Sättigungsproblem, indem eine lichtabsorbierende Struktur (158A-158D) über oder auf einer retroreflektierenden Oberfläche (135) positioniert werden kann, um das reflektierte Licht (148A-148D) zu steuern. Die absorbierende Struktur kann so beschaffen sein, dass sie bestimmte Wellenlängen des Lichts absorbiert oder zumindest teilweise absorbiert und bestimmte Wellenlängen mit einer bekannten Lichtmenge mit vorbestimmten Eigenschaften in einem reflektierten Strahl (148A-148D) reflektiert. Der reflektierte Strahl (148A-148D) ist so konfiguriert, dass er in einen gewünschten Intensitäts- und Wellenlängenbereich für einen gegebenen Bildsensor (14) fällt, um ein qualitativ hochwertiges Bild von darauf einfallendem Licht zu liefern.
  • Um die Vorteile von Lichteigenschaften zu nutzen, die für einen bestimmten reflektierten Strahl (148A-148D) konfiguriert werden können, enthält diese Offenbarung die oben erwähnten absorbierenden Strukturen (158A-158D) in Materialien, die mit retroreflektierenden Oberflächen (135) und retroreflektierenden Schichten (140) verwendet werden können, um zahlreiche Eigenschaften des reflektierten Lichts (zum Beispiel Intensität und Wellenlänge) zu steuern, das auf einen Bildsensor (14) gerichtet sind. Wie in 9A gezeigt, kann beispielsweise ein retroreflektierendes Material (190) in Form einer Folie mit einer vorgefertigten blockierenden Struktur (158) in Form einer Netzschicht (210) modifiziert werden, um einen gewünschten reflektierten Lichtstrahl (148) zurück zu einem Bildsensor (14) zu leiten. Wie in 9B dargestellt, erzeugt ein frontal gerichteter Lichtstrahl einer bestimmten Wellenlänge und Intensität einen abgeschwächten reflektierten Strahl (215) von der modifizierten retroreflektierenden Oberfläche, nachdem das Netz (210) auf das retroreflektierende Material (190) gelegt und die modifizierte retroreflektierende Oberfläche (145) mit Licht beaufschlagt wurde, das senkrecht auf die retroreflektierende Oberfläche trifft. Beispielsweise kann die Netzschicht (210) so konfiguriert sein, dass sie bestimmte Wellenlängen im Infrarotbereich des Lichtspektrums absorbiert (siehe 8). Durch die Modifizierung der retroreflektierenden Oberfläche (135) mit einer blockierenden Struktur, wie zum Beispiel einem Netz (210), erreicht ein reflektierter Lichtstrahl (148A-148D), der aus einem einfallenden Lichtstrahl (138A-138D) resultiert, einen Bildsensor (14) mit einer bevorzugten Intensität, Phase und/oder Wellenlänge. Wie in den 9B und 9C gezeigt, kann ein abgeschwächter reflektierter Strahl (215) je nach Lichteinfallswinkel eingestellt werden, um ein bekanntes Ergebnis in Bezug auf den Rückstrahlwert und die von der retroreflektierenden Oberfläche verarbeiteten Bilddaten zu erhalten. Das „frontal“ einfallende Licht (9B) und das in einem schrägen Winkel einfallende Licht (9C) können so gestaltet werden, dass sie Bilddaten liefern, die geeignet sind, Sättigung und Rauschpegel für einen Bildsensor (14) zu vermeiden.
  • 10 veranschaulicht, dass eine Möglichkeit zur Entwicklung und Steuerung der Retroreflexion mit einer blockierenden Struktur in der Steuerung der Absorptionsmerkmale dieser Struktur besteht, wie zum Beispiel die Maschen unterschiedlicher Dichte (210A, 21 0B, 21 0C), von denen jede so zugeschnitten werden kann, dass sie eine bekannte Absorptionsrate für eine bestimmte Lichtwellenlänge bietet. In anderen Ausführungsformen können die blockierenden Strukturen als optisch dämpfende Gewebe betrachtet werden. In diesem Sinne ist die blockierende Struktur eine optisch dämpfende Schicht, die eine erste und eine zweite Gewebeschicht mit jeweils definierten optischen Dämpfungsfaktoren umfasst. 11 und 12 veranschaulichen bestimmte physikalische Eigenschaften des reflektierten Lichts (148A-148D) in einer modifizierten retroreflektierenden Oberfläche (145A-145D), die ein vorgegebenes und zuvor entwickeltes Gesamtreflexionsmuster (147) aufweist, wenn eine spiegelnde Folie (193) auf einen retroreflektierenden Bereich gelegt wird. In Gegenwart von einfallendem Licht (138) erzeugt die Folie (193) auch gestreutes reflektiertes Licht (153A-153D) bei bevorzugten Wellenlängen. In einem nicht einschränkenden Beispiel wird das bevorzugte Reflexionsmuster durch Modifizierung einer retroreflektierenden Oberfläche (135) mit einer dünnen Schicht gebildet. 12A zeigt, dass ein rein retroreflektierendes Material (190) so modifiziert werden kann, dass es eine dünne Schicht (193) über dem retroreflektierenden Material (190) enthält, und die dünne Schicht kann eine Deckschicht mit bekannten Absorptionseigenschaften sein, wie zum Beispiel ein durchsichtiges Band (196). Wie in 12D dargestellt, kann die obere Schicht eine Mylarschicht (199) sein. 12E zeigt, dass verschiedene Dünnschichtmodifikationen (193, 196 und 199) des retroreflektierenden Materials (190) jeweils ein vorgefertigtes Reflexionsverhalten aufweisen können, wie in 12E für einen einfallenden Strahl (138), der „frontal“ oder senkrecht zur darunter liegenden Komponentenoberfläche (200) eintrifft, sowie für einfallende Strahlen (138), die in einem schrägen Winkel eintreffen, wie in 12F dargestellt. In Bezug auf den schrägen Winkel von 12F weist das retroreflektierende Material (190) mit der obersten Dünnschicht (193) nahezu Nullreflexion auf, während eine Modifikation der Dünnschicht (193) mit einem durchsichtigen Band (196) und einer Mylarschicht (199) unterschiedliche Absorptionsgrade aufweist, wenn der Winkel schräg zum Lichteinfallswinkel ist. Die Auswirkung auf die Retroreflexion kann von einer geringfügigen Veränderung bis zur völligen Beseitigung des retroreflektierenden Verhaltens des Materials reichen. Die in den 12A-12F dargestellten Materialien sind nicht-beschränkende Beispiele für Testzwecke. Andere Materialien, Absorptionseigenschaften und Retroreflexionseigenschaften fallen in den Anwendungsbereich dieser Offenbarung. Insgesamt zeigt ein Konzept in dieser Offenbarung, dass die Retroreflexion einer bestimmten Oberfläche dazu verwendet werden kann, die Eigenschaften des reflektierten Lichts mit den Betriebsparametern des Bildsensors zu synchronisieren, um die Qualität der erfassten Bilddaten zu maximieren und Probleme mit Sättigung und Rauschen zu minimieren.
  • In den 13A, 13B, 14A und 14B sind die Testergebnisse zusammengefasst. In den 14A und 14B zeigt ein nicht modifizierter Retroreflektor sowohl bei einem „frontalen“ Lichteinfallswinkel als auch bei einem schrägen Winkel, der parallel zum entgegenkommenden Licht verläuft, eine echte Retroreflexion. Die 13A und 13B zeigen die Ergebnisse für frontale und schräge Einfallswinkel für modifizierte Retroreflektoren, wie sie hier beschrieben sind. Diese Materialien zeigen die Bandbreite der Möglichkeiten, retroreflektierende Schichten (140) und retroreflektierende Oberflächen (135) mit retroreflektierenden Materialien (190) zu verwenden, um die Retroreflexion und die Reflexionseigenschaften für Fahrzeugkomponenten im Fahrzeuginnenraum wie hier beschrieben anzupassen.
  • Die 15-28 veranschaulichen, wie Retroreflexion zur Verbesserung von Bilddaten verwendet werden kann, um Fahrzeugkomponenten und Insassen innerhalb eines Fahrzeugs zu verfolgen, indem Ausführungsformen dieser Offenbarung verwendet werden. 15 zeigt eine Draufsicht auf den Fahrzeuginnenraum (10) und beschreibt ein Sichtfeld (225), das von einer Kamera (12) mit einem Bildsensor (14) dargestellt werden kann. Regionen des Fahrzeuginnenraums können in Volumen von Sensorpunktwolkenregionen (252A, 252B, 252C) unterteilt werden, um die Verwendung von Sitzgurten oder andere dynamische Komponenten und statische Komponenten zu erkennen, zu klassifizieren und zu verfolgen. Diese Regionen umfassen beispielhafte Fahrzeugkomponenten, die durch Bildgebung verfolgt werden können, wie zum Beispiel Sitzgurtschloss-Hardware (235A, 235B, 235C) und Gurtauswurfsabschnitte (244A, 244B, 244C) mit Gurtauswurfsöffnungen (230). Die Komponenten können Muster enthalten, die retroreflektierende Oberflächen, retroreflektierende Schichten, modifizierte retroreflektierende Schichten und Oberflächen sowie blockierende Strukturen wie die oben erwähnten Netze nutzen. Die Komponenten können auch Beleuchtungseinrichtungen (185) verwenden, die von einem Fahrzeugbauteil ausgehendes Licht liefern, das vom Bildsensor (14) erfasst werden kann. Zahlreiche Ausführungsformen dieser Offenbarung enthalten Merkmale, die oben in Bezug auf die 2-5 zusätzlich zu den 15-28 erläutert wurden, die hier nur als Beispiele und ohne Einschränkung des Umfangs der Offenbarung aufgeführt sind. Fahrzeugkomponenten können Muster enthalten, die einen Bildsensor (14) bei der Erkennung, Identifizierung und Verfolgung von Positionen für Sitze (13), Lichtquellen (16), Lenkräder (19), Sitzgurtbaugruppen (20), Gurtauswurfsabschnitte (44), Gurtlängeneinstellungsbeschläge (34), Schlossbeschläge (35), Beckengurte (36), Schultergurte (48), Sitzgurtschloss (40), Sitzgurtzunge (42) unterstützen. Jede dieser Komponenten kann, neben anderen in einem Fahrzeuginnenraum (10), Referenzstrukturen wie Sitze (13), Sitzgurtbaugruppen (20) und eine andere der oben erwähnten Komponenten sein. Das hier offenbarte System kann entsprechende optisch aktive Komponenten wie Muster aus reflektierenden und/oder retroreflektierenden Oberflächen (135) und/oder modifizierten retroreflektierenden Oberflächen (145) und/oder Beleuchtungsvorrichtungen (185) enthalten, die in Bilddaten zur Verarbeitung durch eine Bildverarbeitungssoftware sichtbar werden. Die Bilddatensoftware rekonstruiert mindestens eine Ansicht aus dem Sichtfeld (225) als Bild des Fahrzeuginnenraums (10) einschließlich der oben genannten Referenzstrukturen und -muster.
  • 16 zeigt eine andere Perspektive eines Fahrzeuginnenraums (210) mit einer Kamera (212) mit einem Bildsensor (214), der auf einem Dach (217) oder einer Decke des Fahrzeuginnenraums positioniert ist. In dieser Seitenansicht von 16 kann das Sichtfeld (225) als ein dreieckiger Bereich für die Entwicklung eines Punktwolkenbildes betrachtet werden, das einen Fahrzeugsitz (213), Teile einer Sitzlehne (218A, 218B), die oben erwähnte Sitzgurtauswurfsöffnung (230) und die hier erwähnte Sitzgurtschloss-Hardware (235) umfasst. In dem nicht einschränkenden Beispiel von 16 zeigt der schematische Kreis (252D) ein Volumen einer Sensorpunktwolkenregion zur Erkennung, Klassifizierung und Verfolgung der Gurtnutzung mit einem Bild des Bildsensors (214).
  • Die 17-28 zeigen Beispielbilder, die in verschiedenen Bereichen aufgenommen wurden, darunter Amplitudenbilder des reflektierten Lichts, Tiefenbilder, Bewegungsbilder, die im Zeitbereich aufgenommen wurden, und Objekterkennung für ein bestimmtes Muster, eine bestimmte Phase oder Wellenlänge des reflektierten Lichts. In Bezug auf das Beispiel von 17 zeigt die Amplitude des reflektierten Lichts, das von einem Bildsensor (14) empfangen wird, Komponenten und Referenzstrukturen wie die Gurtschlossbeschläge (235B, 235C) für das linke bzw. rechte Gurtschloss und Bilder der jeweiligen Gurtauswurfabschnitte (244B, 244C) des Fahrzeuginnenraums (10). In der Tiefenaufnahme von 17 ist auch der Boden (275) des Fahrzeugs als Referenz aus den Bildern ersichtlich. Da es sich hier um den Zeitpunkt T0 in einer Serie von Bildern des Sensors handelt, wurde die linksseitige Gurtauswurfsöffnung (230B) im Erfassungsbild aufgrund einer zuvor festgelegten Wellenlänge der Reflexions- oder Retroreflexionseigenschaften identifiziert. In den 18-28 werden die gleichen Konzepte verwendet, um einen menschlichen Insassen (280) zu identifizieren, der sich durch eine Zeitreihe von Bildern bewegt. 18 beginnt mit Bildern, die auf dem Eindringen von Arm, Schulter, Oberkörper und Bein des Insassen in den Fahrzeuginnenraum (10) nach dem Öffnen einer Fahrzeugtür basieren. 19 veranschaulicht, dass der Bildsensor (14) den gesamten Körper des Insassen im Fahrzeug identifizieren kann. Wie in 20 gezeigt und oben besprochen, kann eine der Referenzstrukturen, die hier identifiziert und verfolgt werden, der Sitzgurt sein, der von dem Insassen (280) benutzt wird, insbesondere wenn der Sitzgurt reflektierende und retroreflektierende Eigenschaften hat, die so abgestimmt wurden, dass sie hochwertige Bilder von einem zugehörigen Bildsensor (14) liefern. 21 zeigt die reflektierenden und retroreflektierenden Schichten und Oberflächen eines Fahrzeuginnenraums, zusätzlich zu den reflektierenden Eigenschaften der üblicherweise von den Insassen getragenen Kleidung, und veranschaulicht, wie das System dieser Offenbarung den Insassen (280) verfolgen kann, wenn er den Sitzgurt über seine Schulter und Brust zieht. Wie bereits erwähnt, können die Muster der reflektierenden, retroreflektierenden und modifizierten retroreflektierenden Schichten und Oberflächen so abgestimmt werden, dass Teile der Referenzstrukturen in einem bestimmten Bild sichtbar sind. In den 22-23 wird der Sitzgurt durch einen Teil des Sitzgurtes verfolgt, der sowohl eine retroreflektierende Oberfläche (135) auf dem Sitzgurt für eine bestimmte Wellenlänge der Reflexion aufweist, die von einem entsprechenden Bildsensor erfasst wird. Der Sitzgurt verfügt außerdem über eine Antireflexionsfläche (348), die dazu verwendet werden kann, die Qualität des reflektierten Lichts, das auf einen Bildsensor trifft, abzustimmen. Beispielsweise kann eine Antireflexionsbeschichtung die Reflexion unerwünschter Wellenlängen verhindern, die zu verrauschten oder gesättigten Bereichen in einem Bild führen könnten. Stattdessen wird das reflektierte Licht innerhalb des dynamischen Bereichs des Bildsensors mit einer bestimmten Intensitätsamplitude (338) in der Bildserie angezeigt. Die entsprechenden Tiefenbilder in den 22-23 nutzen eine Vollspektrumsanalyse aller von den Bauteilen und Insassen des Fahrzeugs reflektierten Wellenlängen, so dass die Antireflexionsfläche (348) in einer Vollspektrumsbildanalyse innerhalb des Sichtfelds für Tiefenberechnungen noch deutlicher als nicht reflektierter Bereich (d. h. als dunkler Fleck) erkennbar ist. Da die Bildserie im Zeitbereich fortgesetzt wird, können die Bilder Bild für Bild analysiert werden, um zahlreiche Insassen (280) sowie Referenzstrukturen zu erkennen, zu identifizieren und zu verfolgen, unabhängig davon, ob die Referenzstrukturen fest/statisch oder verstellbar/dynamisch sind. 24 zeigt beispielsweise, wie das Aufrollen des Sitzgurts mit retroreflektierenden Oberflächen (135) zusätzlich zu den antireflektierenden Oberflächen (348) am Sitzgurt überwacht werden kann. 25 zeigt repräsentative Bilder, in denen das Aufrollen des Sitzgurts abgeschlossen ist und von den hier beschriebenen Bildsensoren vollständig verfolgt wird. Diese Verfolgung kann, wie in 26 dargestellt, während des Aussteigens der Insassen bei geöffneter Fahrzeugtür und nach Abschluss des Aussteigens in den 27 und 28 fortgesetzt werden.
  • Bezugszeichenliste
  • 10
    Fahrzeuginnenraum
    11
    Computer
    12
    Kamera
    13
    Sitz
    14
    Bildsensor
    15
    Decke
    16
    Lichtquelle
    17
    Fahrerbedienfeld
    19
    Lenkrad
    20
    Sitzgurtanordnung / Sitzgurtbaugruppe
    21
    Insassenklassifizierungssystem (OCS)
    27
    Speicher
    30
    (Sitzgurt-)Auswurföffnung
    32
    Beckengurtanker
    34
    Gurtlängeneinstellbeschläge / Gurtlängenverstellungsausstattung
    35
    Schlossbeschläge
    36
    Beckengurt
    38
    Schultergurtmuster
    40
    Schloss
    42
    Sitzgurtzunge
    44
    Gurtauswurfabschnitt
    45
    Muster
    46
    Fläche
    48
    Schultergurt
    50
    Beckengurtmuster
    52
    Gurtauswurfsabschnittsmuster
    53
    Verschlussöffnungsmuster
    56
    Verschlussmuster
    57
    Zweites Schultergurtmuster
    65
    Rumpf
    80
    Bild
    85
    Beleuchtete Oberfläche
    135
    Retroreflektierende Oberfläche
    138
    Einfallender (Licht-)Strahl
    140
    Retroreflektierende Schicht
    145
    Modifizierte retroreflektierende Schicht
    147
    Gesamtreflexionsmuster
    148
    Reflektiertes Licht / Reflektierter Strahl
    153
    Gestreutes reflektiertes Licht
    158
    Lichtabsorbierende Struktur
    185
    Beleuchtungsvorrichtung
    190
    Retroreflektierendes Material
    193
    Folie / Dünnschicht
    196
    Durchsichtiges Band
    199
    Mylarschicht
    200
    Komponentenoberfläche
    210
    Netz(-schicht)
    210A, 210B, 210C
    Maschen unterschiedlicher Dichte
    212
    Kamera
    213
    Fahrzeugsitz
    214
    Bildsensor
    215
    Abgeschwächter reflektierter Strahl
    217
    Dach
    218A, 218B
    Teil einer Sitzlehne
    225
    Sichtfeld
    230
    Gurtauswurföffnung
    235
    Sitzgurtschloss
    244
    Gurtauswurfabschnitt
    252A, 252B, 252C
    Sensorpunktwolkenregion
    252D
    Schematischer Kreis
    275
    Boden
    280
    Menschlicher Insasse
    338
    Intensitätsamplitude
    348
    Antireflexionsfläche
    Θ
    Zenitwinkel

Claims (22)

  1. Ein Fahrzeugkabinen-Überwachungssystem, umfassend: einen Bildsensor (14), der mit einem Computerprozessor und einem Computerspeicher, der Software enthält, die den Bildsensor (14) steuert, verbunden ist, wobei der Bildsensor (14) so positioniert ist, dass er Bilder von mindestens einem Teil eines Fahrzeuginnenraums (10) erfasst; mindestens eine Referenzstruktur, die in der Fahrzeugkabine innerhalb des Sichtfelds (225) des Bildsensors (14) positioniert ist; eine optisch aktive Komponente, die auf der Referenzstruktur angeordnet ist, so dass die Referenzstruktur eine beleuchtete Oberfläche (85) aufweist, die in mindestens einem der Bilder (80) enthalten ist; und wobei eine Sequenz der Bilder (80) Unterschiede in Bezug auf die beleuchtete Oberfläche (85) der Referenzstruktur umfasst, wobei die besagten Unterschiede mindestens eine Zustandsänderung von mindestens einem Gegenstand im Fahrzeuginnenraum (10) anzeigen; dadurch gekennzeichnet, dass die Referenzstruktur ferner eine optisch dämpfende Schicht umfasst, die das Reflexionsvermögen der Referenzstruktur in einem solchen Ausmaß einstellt, dass das von der Referenzstruktur reflektierte Licht (148) den Bildsensor (14) mit einer Intensität erreicht, für die der Prozessor das reflektierte Licht (148) in ein Messsignal umwandelt, das innerhalb eines dynamischen Bereichs des Bildsensors (14) liegt; und wobei die Intensität durch die optisch dämpfende Schicht in Verbindung mit dem Einfallswinkel des einfallenden Lichts (138) eingestellt ist.
  2. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 1, wobei die optisch aktive Komponente eine Lichtquelle (16) ist, die von einem Computer (11) elektrisch so gesteuert wird, dass sie Licht mit einem von der Referenzstruktur ausgehenden optischen Pfad aussendet.
  3. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 1, wobei die optisch aktive Komponente eine beleuchtete Oberfläche (85) ist, die auf die Referenzstruktur gerichtetes Licht reflektiert.
  4. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 3, ferner umfassend ein Muster (45) auf der beleuchteten Oberfläche (85), wobei das Muster (45) eine Vielzahl optischer Eigenschaften der beleuchteten Oberfläche (85) definiert.
  5. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 3, wobei die beleuchtete Oberfläche (85) eine retroreflektierende Oberfläche (135) umfasst.
  6. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 1, wobei die Referenzstruktur innerhalb des Fahrzeugs eine statische Komponente mit einer festen Position, die sich im Fahrzeuginnenraum (10) nicht ändert, oder eine dynamische Komponente mit einer einstellbaren Position im Fahrzeuginnenraum (10) ist.
  7. Ein Fahrzeugkabinen-Überwachungssystem, umfassend: eine Lichtquelle (16), die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum (10) liefert; einen Bildsensor (14), der mit einem Prozessor und einem Computerspeicher verbunden ist, wobei der Bildsensor (14) so positioniert ist, dass er entweder das projizierte Licht von der Lichtquelle (16) oder das vom Fahrzeuginnenraum (10) zurückreflektierte Licht empfängt; mindestens eine Referenzstruktur, die im Fahrzeuginnenraum (10) innerhalb des Lichtprojektionspfades und innerhalb des Sichtfeldes (225) des Bildsensors (14) positioniert ist; eine optisch aktive Komponente, die auf der Referenzstruktur positioniert ist, um das reflektierte Licht (148) zurück auf den Bildsensor (14) zu lenken; dadurch gekennzeichnet, dass die optisch aktive Komponente eine retroreflektierende Oberfläche (135) umfassend ein erstes Gewebe und eine optisch dämpfende Schicht umfassend ein Maschengewebe mit einer Grobheit von blockierenden Strukturen, die das Reflexionsvermögen des ersten Gewebes verringern, umfasst; und wobei die optisch dämpfende Schicht das Reflexionsvermögen der optisch aktiven Komponente in einem solchen Ausmaß einstellt, dass das reflektierte Licht (148) von der Referenzstruktur mit einer Intensität auf den Bildsensor (14) trifft, für die der Prozessor das reflektierte Licht (148) in ein Messsignal umwandelt, das innerhalb eines dynamischen Bereichs des Bildsensors (14) liegt; wobei der Bildsensor (14), der Prozessor und der Computerspeicher eine Vielzahl von Messsignalen innerhalb des dynamischen Bereichs verwenden, um ein Punktwolkenbild zu erzeugen, das reflektierte Intensitätsdaten und Entfernungsdaten umfasst; und wobei die Lichtquelle (16) eine Frequenz hat, die größer ist als eine erfasste Frequenz von Änderungen in dem Punktwolkenbild, die aus der Bewegung der Gegenstände resultiert.
  8. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 7, ferner umfassend mindestens einen Filter in einer Position innerhalb der Fahrzeugkabine (10), der es ermöglicht, dass reflektiertes Licht (148) innerhalb eines Filter-Wellenlängenbereichs zum Bildsensor (14) gelangt.
  9. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 7, wobei die optisch dämpfende Schicht mindestens eine Oberflächeneigenschaft aufweist, die das Reflexionsvermögen der retroreflektierenden Oberfläche (135) einstellt.
  10. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 9, wobei die Oberflächencharakteristik mindestens eine blockierende Struktur definiert, welche die Intensität des von der retroreflektierenden Oberfläche (135) reflektierten Lichts (148) verringert.
  11. Ein Fahrzeugkabinen-Überwachungssystem, umfassend: eine Lichtquelle (16), die entlang eines Lichtprojektionspfades projiziertes Licht in einem Fahrzeuginnenraum (10) liefert; einen optischen 3D-Flugzeitsensor, der mit einem Prozessor und einem Computerspeicher verbunden ist, wobei der optische Sensor so positioniert ist, dass er vom Fahrzeuginnenraum (10) zurückreflektiertes Licht empfängt; eine Vielzahl von Objekten, die im Fahrzeuginnenraum (10) innerhalb des Lichtprojektionsweges und innerhalb des Sichtfeldes (225) des optischen Sensors angeordnet sind, wobei mindestens eines der Objekte eine Referenzstruktur ist, die eine retroreflektierende Oberfläche (135) und eine optisch dämpfende Schicht auf der retroreflektierenden Oberfläche (135) umfasst; wobei die optisch dämpfende Schicht eine blockierende Struktur umfasst, die das Reflexionsvermögen der Referenzstruktur so einstellt, dass das von der Referenzstruktur zu dem optischen Sensor übertragene reflektierte Licht (148) eine eingestellte Intensität aufweist, die eine Position der Referenzstruktur relativ zu dem optischen Sensor berücksichtigt; und wobei der optische 3D-Flugzeitsensor und der Prozessor ein Punktwolkenbild erzeugen, das eine dreidimensionale Darstellung der Gegenstände in Bezug auf die Referenzstruktur innerhalb des Sichtfelds (225) des optischen Sensors umfasst.
  12. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 11, wobei das projizierte Licht Infrarotlicht ist und die blockierende Struktur in der optisch dämpfenden Schicht Infrarotlicht absorbiert.
  13. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 11, wobei das Reflexionsvermögen der Referenzstruktur so abgestimmt ist, dass mindestens eine der folgenden Größen berücksichtigt wird: die Größe der Referenzstruktur, der Abstand zwischen dem optischen Sensor und der Referenzstruktur, der Winkel, unter dem das projizierte Licht auf die Referenzstruktur gerichtet wird, und der dynamische Bereich des optischen Sensors.
  14. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 11, wobei ein Winkel des projizierten Lichts und eine Dichte der blockierenden Struktur einen Grad bestimmen, bei dem die blockierende Struktur die eingestellte Intensität des am Sensor empfangenen reflektierten Lichts (148) verringert.
  15. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 11, wobei die Referenzstruktur mindestens ein Gewebe mit einem Reflexionsvermögen relativ zum optischen Sensor umfasst, das dem Prozessor bei der Berechnung von Messsignalen, die dem reflektierten Licht (148) entsprechen, innerhalb eines dynamischen Bereichs des Bildsensors (14) entgegenkommt.
  16. Ein Fahrzeugkabinen-Überwachungssystem nach Anspruch 11, wobei die optisch dämpfende Schicht eine gemusterte Oberfläche mit einer Vielzahl von blockierenden Formationen und definierten Öffnungen umfasst, welche die retroreflektierende Oberfläche (135) freilegen.
  17. Ein Verfahren zur Überwachung einer Fahrzeugkabine, umfassend: Positionieren mindestens einer Referenzstruktur im Fahrzeuginnenraum (10); Positionieren mindestens einer Quelle für projiziertes Licht und mindestens eines optischen Sensors in der Fahrzeugkabine an entsprechenden Stellen, so dass ein Sichtfeld (225) des optischen Sensors mindestens einen Teil des projizierten Lichts oder einen entsprechenden Teil einer Reflexion des projizierten Lichts umfasst; Anbringen einer retroreflektierenden Oberfläche (135) auf der mindestens einen Referenzstruktur; Auswählen eines Dämpfungsgrads des reflektierten Lichts (148) in Abhängigkeit von der Position der Referenzstruktur in Bezug auf die Quelle des projizierten Lichts und den optischen Sensor; Auswählen einer optisch dämpfenden Schicht, die den ausgewählten Grad der Dämpfung des von der retroreflektierenden Oberfläche (135) reflektierten Lichts bewirkt; und Aufbringen der optisch dämpfenden Schicht auf die retroreflektierende Oberfläche (135), wobei die optisch dämpfende Schicht eine Intensität des reflektierten Lichts (148) einstellt.
  18. Ein Verfahren zur Überwachung einer Fahrzeugkabine nach Anspruch 17, wobei die Auswahl eines Dämpfungsgrads des reflektierten Lichts (148) das Modellieren der retroreflektierenden Oberfläche (135) und der optisch dämpfenden Schicht gemäß einer bidirektionalen Reflexionsverteilungsfunktion umfasst, die eine Position der Referenzstruktur relativ zum optischen Sensor berücksichtigt.
  19. Ein Verfahren zur Überwachung einer Fahrzeugkabine nach Anspruch 18, wobei die bidirektionale Reflexionsverteilungsfunktion mindestens eine der folgenden Größen berücksichtigt: die Größe der Referenzstruktur, den Abstand zwischen dem optischen Sensor und der Referenzstruktur, den Winkel, unter dem das projizierte Licht auf die Referenzstruktur gerichtet wird, und den Reflexionswinkel.
  20. Ein Verfahren zur Überwachung einer Fahrzeugkabine nach Anspruch 18, ferner umfassend die Berechnung eines dynamischen Bereichs des optischen Sensors und die Auswahl eines Dämpfungsgrads des von der Referenzstruktur ausgehenden reflektierten Lichts, so dass der optische Sensor ein dem reflektierten Licht (148) entsprechendes Messsignal innerhalb des dynamischen Bereichs des optischen Sensors konfiguriert.
  21. Ein Verfahren zur Überwachung einer Fahrzeugkabine nach Anspruch 18, ferner umfassend die Steuerung der computergesteuerten Integrationszeiten von Messsignalen, die durch ein optisches Signal erzeugt werden, um das Reflexionsvermögen der Referenzstruktur zu berücksichtigen.
  22. Ein Verfahren zur Überwachung einer Fahrzeugkabine nach Anspruch 19, ferner umfassend die Erzeugung eines Punktwolkenbildes, das eine dreidimensionale Darstellung von Objekten in Bezug auf die Referenzstruktur innerhalb des Sichtfeldes (225) des Sensors umfasst.
DE112020001011.2T 2019-04-04 2020-04-06 Erkennung und Überwachung von aktiven optischen Retroreflektoren Active DE112020001011B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962829475P 2019-04-04 2019-04-04
US62/829,475 2019-04-04
PCT/US2020/026938 WO2020206456A1 (en) 2019-04-04 2020-04-06 Detection and monitoring of active optical retroreflectors

Publications (2)

Publication Number Publication Date
DE112020001011T5 DE112020001011T5 (de) 2021-12-09
DE112020001011B4 true DE112020001011B4 (de) 2023-07-13

Family

ID=72661893

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020001011.2T Active DE112020001011B4 (de) 2019-04-04 2020-04-06 Erkennung und Überwachung von aktiven optischen Retroreflektoren

Country Status (4)

Country Link
US (1) US11210539B2 (de)
CN (1) CN113874259B (de)
DE (1) DE112020001011B4 (de)
WO (1) WO2020206456A1 (de)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018002494B4 (de) 2017-05-15 2024-02-08 Joyson Safety Systems Acquisition Llc Erkennung und Überwachung eines Sicherheitsgurtes für Insassen
DE102018129267A1 (de) * 2018-11-21 2020-05-28 Trw Automotive Gmbh Verfahren zur Herstellung eines Gurtbandes für ein Sicherheitsgurtsystem in einem Fahrzeug, Gurtband sowie Fahrzeug mit Gurtband
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
US11443517B1 (en) * 2019-08-19 2022-09-13 Alarm.Com Incorporated Video-based parking garage monitoring
US11833993B2 (en) 2020-12-31 2023-12-05 Joyson Safety Systems Acquisition Llc Postprocessing of seat belts for adding dye
US11565626B2 (en) 2020-12-31 2023-01-31 Joyson Safety Systems Acquisitions LLC Systems and methods for child presence detection with driver warning alerts and bypass option
US20220398404A1 (en) * 2021-06-09 2022-12-15 Veoneer Us, Inc. System and method to detect proper seatbelt usage and distance
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant
US11447093B1 (en) * 2021-08-25 2022-09-20 Ford Global Technologies, Llc Safety belt D-ring positioning
US11904801B2 (en) * 2021-12-16 2024-02-20 Gm Cruise Holdings Llc Seatbelt buckle detection
GB202217942D0 (en) * 2022-11-29 2023-01-11 I R Kinetics Ltd Position sensing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004028090A1 (de) 2004-06-09 2005-12-29 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Sensorik zur Fahrzeuginnenraumüberwachung
DE112004001341B4 (de) 2003-07-22 2008-12-24 Trw Automotive U.S. Llc, Livonia Vorrichtung und Verfahren zum Steuern eines Insassenschutzsystems
DE102015010282A1 (de) 2015-08-08 2016-03-24 Daimler Ag Vorrichtung zur Sitzbelegungserkennung
DE102016219517A1 (de) 2016-10-07 2018-04-12 Audi Ag Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
DE112018002494T5 (de) 2017-05-15 2020-02-13 Joyson Safety Systems Acquisition Llc Erkennung und Überwachung eines Sicherheitsgurtes für Insassen

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4063472B2 (ja) 2000-04-10 2008-03-19 日本カーバイド工業株式会社 印刷された再帰反射シート
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US6553296B2 (en) 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US4885566A (en) 1986-12-22 1989-12-05 Aisin Seiki Kabushiki Kaisha Apparatus for detecting the wearing of a seat belt assembly
US5187465A (en) 1990-09-27 1993-02-16 Trw Inc. Method and apparatus for testing a dual airbag passive restraint system
JP3426295B2 (ja) 1992-09-25 2003-07-14 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 電子装置を検査する方法および装置
US5330226A (en) 1992-12-04 1994-07-19 Trw Vehicle Safety Systems Inc. Method and apparatus for detecting an out of position occupant
US5472235A (en) * 1994-05-05 1995-12-05 Dubay; Eugene L. Night-visible occupant restraint for vehicles
DE4424020A1 (de) 1994-07-08 1996-01-11 Telefunken Microelectron Prüfverfahren für eine passive Sicherheitseinrichtung in Kraftfahrzeugen
US6139158A (en) 1995-07-26 2000-10-31 Reflexite Corporation Retroreflective articles with multiple size prisms in multiple locations
US5785347A (en) 1996-10-21 1998-07-28 Siemens Automotive Corporation Occupant sensing and crash behavior system
US5927752A (en) 1997-05-19 1999-07-27 Brandin; Boerje A. Apparatus and methods for determining seat occupant parameters prior to deployment of an automobile airbag
DE19815181C2 (de) 1998-04-04 2000-04-27 Daimler Chrysler Ag Verfahren zur Funktionsprüfung eines Insassenschutzsystems sowie Prüfschaltung zur Durchführung des Verfahrens
US6302438B1 (en) 1998-04-21 2001-10-16 Automotive Systems Laboratory, Inc. Occupant detection system
US6203059B1 (en) 1999-01-29 2001-03-20 Breed Automotive Technologies, Inc. Seat belt usage indicating system
US6598900B2 (en) 1999-04-19 2003-07-29 Automotive Systems Laboratory, Inc. Occupant detection system
US6151540A (en) 1999-05-11 2000-11-21 Delphi Technologies, Inc. Dynamic occupant position detection system and method for a motor vehicle
US6628390B1 (en) 2000-01-24 2003-09-30 Kenneth C. Johnson Wafer alignment sensor using a phase-shifted microlens array
US6325515B1 (en) 2000-03-21 2001-12-04 3M Innovative Properties Company Cube corner retroreflective article with enhanced pigmentation
US6260650B1 (en) 2000-03-24 2001-07-17 Volvo Lastvagnar Ab Apparatus and method for inducing seat belt usage by the driver of a vehicle
WO2001096147A2 (en) 2000-06-15 2001-12-20 Automotive Systems Laboratory, Inc. Occupant sensor
IT1321041B1 (it) 2000-11-03 2003-12-30 St Microelectronics Srl Sensore ottico intelligente per sistemi air-bag.
US6778337B2 (en) * 2000-12-12 2004-08-17 The Furukawa Electric Co., Ltd. Optical attenuator and optical attenuator module
US6781676B2 (en) 2002-03-22 2004-08-24 Trw Inc. Structured lighting detection of vehicle occupant type and position
US6771175B1 (en) 2002-12-06 2004-08-03 Daimlerchrysler Corporation Method for demonstrating reliability of occupant classification systems
DE10308881B3 (de) 2003-02-28 2004-09-02 Siemens Ag Steueranordnung und Verfahren zur Funktionsüberprüfung einer derartigen Steueranordnung für Insassenschutzmittel in einem Kraftfahrzeug
EP1498328A1 (de) 2003-07-15 2005-01-19 IEE International Electronics & Engineering S.A.R.L. Sicherheitsgurt-Warnvorrichtung
TW593971B (en) 2003-07-18 2004-06-21 Su-Ching Chien Optics method for detecting object
JP4029290B2 (ja) 2003-08-29 2008-01-09 三菱自動車工業株式会社 シートベルト非装着警告装置
DE602004016185D1 (de) 2003-10-03 2008-10-09 Automotive Systems Lab Insassenerfassungssystem
US6985077B2 (en) 2003-12-30 2006-01-10 Lear Corporation Method of tuning a sensor array for occupancy sensing in a vehicle seat
US7095002B2 (en) 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
US7329447B2 (en) 2004-04-01 2008-02-12 3M Innovative Properties Company Retroreflective sheeting with controlled cap-Y
JP4403102B2 (ja) 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
KR101115944B1 (ko) 2004-09-06 2012-02-13 바이에리셰 모토렌 베르케 악티엔게젤샤프트 차 시트 상의 물체를 검출하기 위한 장치
EP1794026B1 (de) 2004-09-08 2019-08-07 Aptiv Technologies Limited Kinderrückhaltesystem mit gurtzustandsüberwachung bei bewegung
US20060092401A1 (en) 2004-10-28 2006-05-04 Troxell John R Actively-illuminating optical sensing system for an automobile
FR2877279B1 (fr) 2004-11-03 2008-06-27 Faurecia Sieges Automobile Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme
US7472007B2 (en) 2005-09-02 2008-12-30 Delphi Technologies, Inc. Method of classifying vehicle occupants
US20070195990A1 (en) 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
US7791476B2 (en) 2006-02-21 2010-09-07 Elesys North America, Inc. Occupant sensor and method for seat belt or other monitoring
US7511610B2 (en) 2006-03-24 2009-03-31 Nissan Technical Center North America, Inc. Multiple passenger vehicle seat belt notification system with force feedback
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
JP4658899B2 (ja) 2006-10-24 2011-03-23 本田技研工業株式会社 車両の乗員検知装置
JP4420081B2 (ja) 2007-08-03 2010-02-24 株式会社デンソー 行動推定装置
US20090058061A1 (en) * 2007-08-30 2009-03-05 Fuisz Richard C System for providing an indication indicative of whether or not a seat belt of a vehicle occupant is fastened
US20090096200A1 (en) * 2007-10-15 2009-04-16 Elaine Jamison Reflective seatbelts for increasing safety for patrol officers and motorists
DE102008034943A1 (de) 2008-07-26 2010-01-28 Manroland Ag Verfahren zum Betreiben einer Rollendruckmaschine
US8036795B2 (en) 2008-10-08 2011-10-11 Honda Motor Company, Ltd. Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
US9148649B2 (en) 2011-10-07 2015-09-29 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
KR101709282B1 (ko) 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
US9902340B2 (en) * 2011-12-29 2018-02-27 Intel Corporation Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
WO2013101047A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
CN104520747A (zh) * 2012-08-03 2015-04-15 夏普株式会社 反射型成像元件和光学***、以及反射型成像元件的制造方法
JP6338369B2 (ja) 2013-12-26 2018-06-06 キヤノン株式会社 情報処理装置および情報処理方法
US9637083B2 (en) 2014-04-03 2017-05-02 Audi Ag Method for operating a seat belt system in a motor vehicle and motor vehicle
KR101509087B1 (ko) * 2014-04-21 2015-04-08 아엠아이테크 주식회사 차량 안전벨트 검출 장치
GB201418731D0 (en) 2014-10-20 2014-12-03 Univ Heriot Watt Viewing and tracking of hidden objects in a scene
US9650016B2 (en) * 2014-12-04 2017-05-16 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
KR102630381B1 (ko) 2015-07-13 2024-01-29 웨이브프론트 테크놀로지, 인코퍼레이티드 광학 제품, 광학 제품을 제작하기 위한 마스터, 그리고 마스터 및 광학 제품을 제조하기 위한 방법
JP2017056877A (ja) * 2015-09-18 2017-03-23 株式会社デンソー シートベルト装置
EP3508385B1 (de) * 2016-08-31 2021-07-14 Toshiba Digital Solutions Corporation Vorrichtung zur gurttrageerkennung, bildaufnahmevorrichtung, rückhaltevorrichtung und programm zur gurttrageerkennung
CN110114246B (zh) 2016-12-07 2022-03-01 乔伊森安全***收购有限责任公司 3d飞行时间有源反射感测***和方法
US20180211123A1 (en) * 2017-01-25 2018-07-26 Toyota Research Institute, Inc. Occupant detection system in a vehicle
WO2019188060A1 (ja) * 2018-03-30 2019-10-03 株式会社フジクラ 検知装置および検知方法
JP7081315B2 (ja) * 2018-06-07 2022-06-07 トヨタ自動車株式会社 シートベルト装着状態判定装置
US11155226B2 (en) * 2018-08-17 2021-10-26 Veoneer Us, Inc. Vehicle cabin monitoring system
US10864826B2 (en) * 2019-01-30 2020-12-15 Ford Global Technologies, Llc Seat including infrared-indicator material in a pattern
US10850702B2 (en) * 2019-03-18 2020-12-01 Pony Ai Inc. Vehicle seat belt monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112004001341B4 (de) 2003-07-22 2008-12-24 Trw Automotive U.S. Llc, Livonia Vorrichtung und Verfahren zum Steuern eines Insassenschutzsystems
DE102004028090A1 (de) 2004-06-09 2005-12-29 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Sensorik zur Fahrzeuginnenraumüberwachung
DE102015010282A1 (de) 2015-08-08 2016-03-24 Daimler Ag Vorrichtung zur Sitzbelegungserkennung
DE102016219517A1 (de) 2016-10-07 2018-04-12 Audi Ag Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
DE112018002494T5 (de) 2017-05-15 2020-02-13 Joyson Safety Systems Acquisition Llc Erkennung und Überwachung eines Sicherheitsgurtes für Insassen

Also Published As

Publication number Publication date
CN113874259A (zh) 2021-12-31
DE112020001011T5 (de) 2021-12-09
CN113874259B (zh) 2023-11-03
US20200320318A1 (en) 2020-10-08
WO2020206456A1 (en) 2020-10-08
US11210539B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
DE112020001011B4 (de) Erkennung und Überwachung von aktiven optischen Retroreflektoren
DE112018002494B4 (de) Erkennung und Überwachung eines Sicherheitsgurtes für Insassen
DE60106134T2 (de) Gesichtsaufnahmesensor zur Personenerkennung, -identifizierung und -beobachtung für Airbagsteuerung
DE102006061006B4 (de) Vorrichtung zur schnellen Inspektion eines zu untersuchenden beweglichen Gegenstandes anhand einer Abbildung
DE102016219517B4 (de) Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
DE19741393A1 (de) Vorrichtung zur Erfassung der Haltung eines Fahrzeuginsassen in einem Automobil
EP2917075B1 (de) Detektionsvorrichtung zur detektion eines gegenstands in einem detektionsbereich an einem innenverkleidungsteil eines kraftfahrzeugs, kraftfahrzeug und entsprechendes verfahren
EP1606147B1 (de) System und verfahren zum erkennen der sitzbelegung in einem fahrzeug
EP1185442B1 (de) Vorrichtung und verfahren zur sitzüberwachung mittels einer optoelektronischen triangulationstechnik
EP1031476B1 (de) Verfahren und Vorrichtung zum Erzeugen eines Positionsbildes eines Strahlung reflektierenden oder Strahlung streuenden Objekts oder einer Strahlung reflektierenden oder Strahlung streuenden Person
EP3790768A1 (de) Vorrichtung und verfahren zum betreiben einer objekterkennung für den innenraum eines kraftfahrzeugs sowie ein kraftfahrzeug
DE102016000769A1 (de) Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
DE102018213626A1 (de) Verfahren zur Identifikation einer Person in einer Umgebung um ein Kraftfahrzeug und Kraftfahrzeug
DE60202375T2 (de) Einrichtung zum erkennen der anwesenheit von objekten in einem toten winkel eines kraftfahrzeugs
DE102021102309B3 (de) Überwachungseinheit für einen Fahrzeuginnenraum
DE102018217869A1 (de) Innenraumerfassungssystem
EP1562795A1 (de) System und verfahren zum erkennen der sitzbelegung in einem fahrzeug
DE19547333A1 (de) Insassenschutzsystem für Fahrzeuge zur Personenbeförderung
EP1562796A1 (de) System und verfahren zum erkennen der sitzbelegung in einem fahrzeug
DE102017222258A1 (de) Verfahren für eine LIDAR-Vorrichtung zur Erfassung eines verdeckten Objekts
DE10035531B4 (de) Vorrichtung zur Erfassung eines Raumes in einem Fahrzeuginnenraum
DE10018652A1 (de) System und Verfahren zur Überwachung des Innenraums eines Kraftfahrzeuges
DE19906418B4 (de) Insassenschutzvorrichtung für Kraftfahrzeuge
DE102007029407B4 (de) Vorrichtung zur Unterscheidung zwischen einem rückwärts angeordneten Kindersitz und einem erwachsenen Insassen in einem Kraftfahrzeug
DE102004032473B4 (de) Auswerteverfahren und Auswertevorrichtung für ein System zur Sitzbelegungserkennung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final