-
Die Erfindung betrifft eine Innenraumkamera nach der im Oberbegriff von Anspruch 1 näher definierten Art.
-
Innenraumkameras zur Überwachung eines Fahrzeuginnenraums sind soweit aus dem Stand der Technik bekannt. Die Innenraumkameras werden für verschiedene Zwecke eingesetzt, beispielsweise um die Anwesenheit von Personen im Innenraum des Fahrzeugs zu erkennen oder ihre Zuordnung zu bestimmten Sitzplätzen. Daneben werden die Innenraumkameras auch von Fahrzeugassistenzsystemen verwendet, welche beispielsweise den Aufmerksamkeitszustand einer das Fahrzeug fahrenden Person überwachen oder Gesten erfassen, welche zur Steuerung von Funktionen in dem Fahrzeug dienen können.
-
Wie immer bei Fahrzeuganwendungen spielt dabei der von den Innenraumkameras benötigte Bauraum eine nicht unerhebliche Rolle. Die
DE 10 2020 132 427 A1 beschreibt in diesem Zusammenhang eine Fahrzeugkameraeinheit für den Innenraum eines Fahrzeugs. Der Schwerpunkt liegt hier auf einer möglichst geringen Baugröße, weshalb anstelle von herkömmlichen optischen Elementen wenigstens ein diffraktives optisches Element eingesetzt wird. Hierdurch lässt sich der Bauraum in Richtung der einfallenden Strahlung minimieren. Eine weitere Minimierung ist möglich, indem sogenannte Metamaterialien zum Einsatz kommen, um das diffraktive optische Element auszubilden oder zu ergänzen.
-
Neben dieser fahrzeugtypischen Bauraumanforderung ist es ferner so, dass ein weiteres Problem in der Wahrung der Privatsphäre der in dem Fahrzeug befindlichen Personen liegt. Die Kamerabilder werden in dem Fahrzeug aufgezeichnet und ausgewertet sowie gegebenenfalls gespeichert und in einigen Fällen auch zur Auswertung an fahrzeugexterne Server, wie beispielsweise den Backendserver eines Fahrzeugherstellers, übermittelt. Eine effiziente Möglichkeit, die Privatsphäre der in dem Fahrzeug befindlichen Personen sicherzustellen, ohne auf die Qualität der Funktionen, an denen Bilder der Innenraumkamera des Fahrzeugs beteiligt sind, verzichten zu müssen, wäre daher wünschenswert.
-
Die
DE 10 2020 204 362 A1 offenbart ein Verfahren zum Bewerten einer Geste eines Fahrzeuginsassen in einem Innenraum eines Fahrzeugs, bei welchem ein Erfassen der Geste mit einer TOF (Time-of Flight)-Kamera im Innenraum durchgeführt wird.
-
Aus der
DE 10 2021 101 805 A1 ist ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes bekannt, das ausgestaltet ist, um den Aufmerksamkeitsgrad eines Fahrers eines Kraftfahrzeugs zu bestimmen.
-
Aus der US 2019 / 0 361 222 A1 ist ein optisches System bekannt, das eine ultradünne flache Metalllinse nutzt, um die Systemfunktionalität zu erhöhen. Das optische System ist eingerichtet ein aufgenommenes Bild modifizieren und zu verändern. Dementsprechend liegt die Aufgabe der hier vorliegenden Erfindung darin, eine verbesserte Innenraumkamera zur Überwachung eines Fahrzeuginnenraums anzugeben, welche eine hohe Funktionalität mit einem effizienten Schutz der Privatsphäre verbinden kann.
-
Erfindungsgemäß wird diese Aufgabe durch eine Innenraumkamera mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemäßen Innenraumkamera ergeben sich aus den hiervon abhängigen Unteransprüchen.
-
Die erfindungsgemäße Innenraumkamera zur Überwachung eines Fahrzeuginnenraums umfasst einen Bildsensor sowie eine mit diesem Bildsensor zusammenwirkende Metalinse zur Beeinflussung der optischen Abbildung, ähnlich wie im eingangs genannten Stand der Technik. Die von dem Bildsensor erfassten Daten werden dann über einen Bildprozessor weiterverarbeitet.
-
Bei der Innenraumkamera ist es nun so, dass die Metalinse dazu eingerichtet ist, optische Frequenzen zu verändern, sodass ein über die Metalinse von dem Bildsensor erfasstes Bild durch Ausfiltern, Verschieben und/oder Verzerren in der Art verfälscht wird, dass es für ein menschliches Auge und/oder eine maschinelle Leseeinrichtung, z.B. zu automatisierten Personenidentifikation, unkenntlich ist.
-
Unter einer Metalinse ist dabei ein optisches Element zu verstehen, dessen Brechungseigenschaften nicht, wie bei klassischen Linsen, durch den Übergang des Lichts von einem Medium in ein anderes bestimmt wird, sondern durch elektromagnetische Resonanzen an einem künstlich erzeugten Gitter aus elektrisch leitfähigen und dielektrischen Elementen. Dieses Gitter lässt sich in der Entwicklung exakt zur Erzielung eines bestimmten optischen Effekts auslegen. Eine Auslegungsvariante einer solchen Metalinse kann beispielsweise das gezielte Herausfiltern von Kanten (Hochpassfilter) sein. Eine andere Ausführungsvariante kann das gezielte Herausfiltern von Schattierungen in dem Bild (Tiefpassfilter) zum Gegenstand haben. Dazu werden dann jeweils die Resonanzen der Elemente der Metalinse auf die entsprechenden optischen Frequenzen verschoben.
-
Eine solche Metalinse wird also eingesetzt um das von dem Bildsensor erfasste Bild so zu verändern, dass durch eine Veränderung des Bildes die Privatsphäre der in dem Innenraum des Fahrzeugs befindlichen Personen gewährleistet bleibt. Durch ein Ausfiltern, Verschieben oder Verzerren des Bildes wird dieses nämlich so weit verfälscht, dass Personen nicht mehr identifizierbar sind.
-
Besonders günstig und effizient wird die Innenraumkamera gemäß der Erfindung, wenn ihr Bildprozessor gemäß einer sehr vorteilhaften Weiterbildung dazu eingerichtet ist, ein verfälscht erfasstes Bild mittels einer in dem Bildprozessor hinterlegten, sowie gegebenenfalls der Stufe der Verfälschung zugeordneten Übertragungsfunktion der Metalinse durch Entfaltung in einen unverfälschten Zustand umzurechnen und auszugeben. Dem liegt die Überlegung zugrunde, dass die Verfälschung über die Metalinse beispielsweise über einen Filter erfolgt, welcher nur hohe Frequenzen, also letztlich Kanten, oder niedrige Frequenzen, also letztlich Schattierungen, passieren lässt. Alternativ dazu könnte auch eine entsprechende optische Funktionalität in der Metalinse hinterlegt sein, welche das unverfälschte Bild mit einer in die Metalinse implementierten Funktion überlagert. Ist die Filtereigenschaft oder diese Überlagerung, also letztlich die mit der Metalinse bzw. der gewählten Stufe der Verfälschung erfolgende Übertragung bekannt, lässt sich diese durch Entfaltung aus dem verfälscht erfassten Bild in dem Bildprozessor herausrechnen, sodass der Bildprozessor ein unverfälschtes Bild vorliegen hat. Anhand eines solchen unverfälschten oder gegebenenfalls auch nur minimal verfälschten Bildes lassen sich dann auch komplexe Bildinhalte zuverlässig bestimmen, um so beispielsweise die Aufmerksamkeitsüberwachung einer das Fahrzeug fahrenden Person zu ermöglichen oder komplexe Gesten zur Steuerung von Fahrzeugfunktionen zuverlässig zu erfassen.
-
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung der erfindungsgemäßen Innenraumkamera kann es nun ferner vorgesehen sein, dass die Metalinse zwischen mindestens einem ersten Zustand und mindestens einem zweiten Zustand umschaltbar ausgebildet ist. Im ersten Zustand wird das erfasste Bild wie eingangs beschrieben verfälscht, in dem zweiten Zustand wird das erfasste Bild nicht verfälscht. Hierdurch ist es möglich die Wirkungsweise der Innenraumkamera an verschiedene Funktionen anzupassen. So kann beispielsweise im Standardbetrieb der erste Zustand vorliegen, sodass die Bilder entsprechend verfälscht werden, um im regulären Betrieb des Fahrzeugs die Privatsphäre der in dem Fahrzeuginnenraum befindlichen Personen ausreichend zu schützen. In bestimmten Situationen kann dies jedoch unerwünscht sein, beispielsweise wenn eine Unterhaltung über Videotelefonie erfolgen soll. In diesem Fall kann dann die Metalinse in den zweiten Zustand umgeschaltet werden, sodass für die Videotelefonie ein klares Bild des Innenraums bzw. der von der Innenraumkamera erfassten Person vorliegt und im Rahmen der Videotelefonie wie gewohnt übertragen werden kann. Hierdurch ist der Schutz der Personen im regulären Betrieb ebenso gewährleistet, wie die gewohnte Funktionalität in Situationen, in denen die Bilder unverfälscht übertragen werden sollen.
-
Die umschaltbare Metalinse kann dabei gemäß einer sehr vorteilhaften Weiterbildung der Innenraumkamera gemäß der Erfindung in der Art ausgebildet sein, dass sie durch eine thermische Beeinflussung, das Anlegen eines elektrischen Feldes und/oder das Einbringen eines vorgelagerten Lichtmodulators umschaltbar ist. Über derartige Möglichkeiten der Beeinflussung lässt sich also zwischen dem ersten und dem zweiten Zustand entsprechend umschalten, je nach gewünschter Funktionalität.
-
Eine weitere vorteilhafte Ausgestaltung kann es ferner vorsehen, dass der erste Zustand mehrere Stufen der Verfälschung umfasst. Es lassen sich also unterschiedlich starke Verfälschungen der Bilder einsetzen, welche beispielsweise in Abhängigkeit der Funktion der Kamera vorgewählt werden können, um bestimmten Funktionalitäten zuverlässig sicherzustellen und andererseits die Privatsphäre der Personen in dem Fahrzeuginnenraum bestmöglich zu schützen. Daneben kann es auch so sein, dass die Stufe der Verfälschung und damit letztlich der Grad des Schutzes der Privatsphäre durch den Nutzer vorgegeben wird. Stellt dieser den höchsten Grad der Datensicherheit ein, kann dies gegebenenfalls bei einzelnen Funktionen zu Beeinträchtigungen führen, welche er dann jedoch bereit ist in Kauf zu nehmen.
-
Die Übertragungsfunktion kann dabei gemäß einer sehr vorteilhaften Weiterbildung dieser Ausgestaltung in dem Bildprozessor oder einem mit diesem verbundenen Speicherbaustein verschlüsselt abgelegt sein. Damit ist sichergestellt, dass diese Übertragungsfunktion nicht einfach ausgelesen werden kann, um damit die geschützten verfälschten Bilder unrechtmäßig in unverfälschte Bilder umzurechnen. Die verschlüsselte Übertragungsfunktion kann beispielsweise in einem sicheren Speicherbereich des Bildprozessors abgelegt sein, um sie so vor einem Zugriff durch Dritte abzusichern.
-
Bei der erfindungsgemäßen Innenraumkamera kann es nun ferner vorgesehen sein, dass die Metalinse in einem Deckglas der Innenraumkamera ausgebildet ist. Eine solche Ausbildung der Metalinse im Deckglas erlaubt einen sehr kompakten Aufbau der Innenraumkamera insbesondere in Einfallsrichtung des Lichts, da auf eine zusätzliche herkömmliche Linse, welche beispielsweise hinter einem Deckglas angebracht ist, entsprechend verzichtet werden kann. Die Metalinse kann vorzugsweise in das Deckglas eingeätzt oder auf dem Deckglas aufgedampft sein.
-
Gemäß einer weiteren sehr vorteilhaften Ausgestaltung kann die Metalinse außerdem mit einem Metafilter kombiniert sein, der jeweils nur eine Farbe des einfallenden Lichts auf jeden Pixel des monochromen Bildsensors durchlässt. Vorzugsweise kann dabei die Metalinse auf der Vorderseite eines Linsenblocks aufgebracht sein, beispielsweise eingeätzt oder aufgedampft. Auf der Rückseite kann dann der Metafilter angeordnet werden. Über ihn kann das Licht dann in die einzelnen Farben Rot, Grün, Blau und Infrarot gefiltert werden. Der Metafilter hat dabei bezüglich der Charakteristik und insbesondere bezüglich der Transmission deutlich bessere Eigenschaften als es Polymer-Filter haben, die typischerweise auf Bildsensoren aufgebracht werden.
-
Indem der Metafilter und die Metalinse auf einen gemeinsamen Linsenblock aufgebracht werden, können signifikante Mehrkosten eingespart werden und es entsteht der physikalische Vorteil, dass diese beiden Elemente optimal zueinander ausgerichtet sind, ohne dass bei der Montage eine erneute Ausrichtung erfolgen müsste.
-
Die Metalinse selbst kann dabei wie oben bereits erwähnt in einem Deckglas ausgebildet ein, in dem sie eingeätzt oder aufgedampft wird. Alternativ dazu wäre auch die Ausbildung als Metaspiegel oder Teil eines Metaspiegels denkbar, welcher einen zu erfassenden Bildbereich auf den Bildsensor lenkt. Der Spiegel könnte beispielsweise transparent für sichtbares Licht und reflektierend für Infrarotlicht ausgebildet sein. Er kann beispielsweise auf der Windschutzscheibe angeordnet werden, um so ohne zusätzlichen Bauraum und ohne eine Beeinträchtigung der Sicht für eine das Fahrzeug nutzende Person zum Einsatz zu kommen. Der Bildsensor könnte dann beispielsweise unterhalb der Windschutzscheibe positioniert werden, insbesondere zusammen mit einer Anzeigeeinrichtung für ein Overheaddisplay ausgebildet oder in diese integriert sein. Somit ist es möglich ein Bild des Innenraums des Fahrzeugs zu erzeugen, ohne eine für die Personen in dem Fahrzeug sichtbare Kamera positionieren zu müssen.
-
Um die Ausleuchtung zu verbessern kann auch Licht einer Ausleuchtungsquelle in den Erfassungsbereich der Kamera projiziert werden. Auch hier kann eine Metalinse zum Einsatz kommen, um das Licht entsprechend den gewollten späteren Abbildungseigenschaften zu beeinflussen. Eine solche weitere Metalinse für die Beleuchtung erlaubt es, das Licht, beispielsweise das Licht eines Lasers oder einer lichtemittierenden Diode, durch die Metalinse genau in den Bereich des Fahrzeuginnenraums zu projizieren, der beleuchtet werden soll. Im Vergleich zum Einsatz von Diffusoren zur Ausleuchtung kann mit der Metalinse die Strahlung entsprechend konzentriert auf den relevanten Bereich gelenkt werden. Dadurch werden Kosten und Energie eingespart. Beispielsweise soll der Kopf von Fahrer und Beifahrer sehr viel stärker beleuchtet werden als der Raum zwischen den Sitzen, um die Beobachtung des Fahrers bei Nacht zu ermöglichen. Hierfür eingesetzte Infrarotlaser oder LEDs können dann entsprechend einfacher und energieeffizienter realisiert werden, als wenn der gesamte Fahrzeuginnenraum gleichmäßig ausgeleuchtet werden müsste, wie es beim Einsatz von Diffusoren der Fall ist.
-
Eine außerordentlich günstige Ausgestaltung der Innenraumkamera gemäß der Erfindung sieht es nun vor, dass in dem Bildprozessor ein trainierbares neuronales Netzwerk für eine Erkennung von Gesten darstellenden erfassten Bildern implementiert ist. Ein solches trainierbares neuronales Netzwerk kann also in den Bildern entsprechende Gesten identifizieren, um diese dann beispielsweise für eine Gestensteuerung von bestimmten Fahrzeugfunktionen zur Verfügung zu stellen. Das trainierbare neuronale Netzwerk hat dabei den Vorteil, dass es bereits vor der Implementierung in das Fahrzeug entsprechend vortrainiert werden kann, um so bereits einen gewissen Trainingsstand zu haben, um die entsprechenden Gesten zu erkennen. In einer vorteilhaften Ausgestaltung wird dieses im Laufe der Nutzung weiter trainiert und „gewöhnt“ sich an die Ausführung der entsprechenden Gesten durch diejenigen Personen, welche das Fahrzeug primär nutzen.
-
Das neuronale Netzwerk kann gemäß einer sehr vorteilhaften Weiterbildung dazu eingerichtet sein, Gesten in verfälscht dargestellten Bildern zu erkennen, wobei das neuronale Netzwerk mit Daten verfälschter Bilder trainiert bzw. im oben beschriebenen Sinne vortrainiert ist. Diese verfälschten Bilder können aus unverfälschten Bildern vorzugsweise mit der Übertragungsfunktion der Metalinse erzeugt werden, indem diese aus den unverfälschten Bildern durch Faltung berechnet werden. Hier wird also zum Trainieren bzw. zum Vortrainieren des neuronalen Netzwerks der umgekehrte Weg gegangen, indem die tatsächlich erfassten Bilder von unverfälschten Gesten künstlich mit der Übertragungsfunktion der Metalinse verfälscht werden, um dann durch das neuronale Netzwerk direkt in den verfälschten Bildern im späteren Betrieb derartige Gesten erkennen zu können. Dies erspart, zumindest für die betroffene Gestensteuerung, das Zurückrechnen von den verfälschten erfassten Bildern zu ihrem unverfälschten Inhalt. Neben dem Rechenaufwand, welcher hierdurch eingespart werden kann, erhöht es außerdem die Sicherheit, da die Übertragungsfunktionen nun nicht mehr in dem Bildprozessor, vorzugsweise verschlüsselt und gesichert, abgelegt werden müssen, sodass die Gefahr eines unberechtigten Auslesens durch Dritte weiter minimiert werden kann.
-
Für den Fall, dass die Metalinse zwischen dem ersten und dem zweiten Zustand im oben beschriebenen Sinne umschaltbar ist, kann es auch vorgesehen sein, dass ein erstes neuronales Netzwerk mit Daten aus verfälschten Bildern und ein zweites neuronales Netzwerk mit Daten aus unverfälschten Bildern trainiert bzw. vortrainiert ist, sodass im ersten Zustand der Metalinse das erste neuronale Netzwerk und im zweiten Zustand der Metalinse das zweite neuronale Netzwerk aktiv geschaltet ist. Je nach Zustand der Metalinse liegt dann also ein eigenes neuronales Netzwerk vor, welches zur Erfassung von Gesten optimal eingerichtet ist, egal ob verfälschte oder unverfälschte Bilder beim Bildprozessor ankommen.
-
Alternativ dazu kann selbstverständlich auch bei der oben beschriebenen Ausgestaltung mit einer Entfaltung der verfälschten Bilder in den unverfälschten Zustand operiert werden, sodass der Bildprozessor die verfälschten Bilder jeweils entfaltet, um dann die in den unverfälschten Zustand umgerechneten Bilder einem neuronalen Netzwerk zuzuleiten, welches mit derartigen unverfälschten Bildern entsprechend trainiert ist.
-
Weitere vorteilhafte Ausgestaltungen der Innenraumkamera gemäß der Erfindung sowie ihres Einsatzes ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben ist.
-
Dabei zeigen:
- 1 eine schematische Anordnung einer Innenraumkamera in einer möglichen Ausführungsform gemäß der Erfindung;
- 2 einen Vergleich von zwei Bilderfassungseinrichtungen einer Innenraumkamera gemäß dem Stand der Technik und einer Innenraumkamera gemäß der Erfindung bezüglich des Bauraums;
- 3 einen Vergleich von zwei Bilderfassungseinrichtungen einer Innenraumkamera gemäß dem Stand der Technik und einer Innenraumkamera gemäß der Erfindung bezüglich der Durchtrittshöhe durch das Deckglas; und
- 4 eine alternative Ausgestaltung der Bilderfassungseinrichtung der Innenraumkamera gemäß der Erfindung.
-
In der Darstellung der 1 ist ein in seiner Gesamtheit als Innenraumkamera 1 bezeichnetes System dargestellt, welches zur Erfassung eines nicht explizit dargestellten Fahrzeuginnenraums 2 ausgebildet ist. In diesem Fahrzeuginnenraum 2 ist eine mit 3 bezeichnete Person schematisch angedeutet. Eine Bilderfassungseinrichtung 4, rein beispielhaft mit einer Optik 5 und einem Bildsensor 6, dient nun dazu, den Fahrzeuginnenraum 2 bzw. die Person 3 entsprechend zu erfassen. Die Daten des Bildsensors 6 werden dazu zu einem mit dem Bildsensor 6 verbundenen Bildprozessor 7 übertragen. Dieser Bildprozessor 7 kann dann die von ihm erkannten Bildinhalte bei Bedarf an eine hier mit 8 bezeichnete Fahrzeugsteuerung übergeben, welche diese Bilddaten bzw. in den Bilddaten erkannte Inhalte, beispielsweise erkannte Gesten zur Steuerung von Fahrzeugfunktionen, entsprechend weiterverarbeitet.
-
Die Innenraumkamera 1 gemäß der Erfindung umfasst nun eine mit 9 bezeichnete Metalinse, welche mit einer klassischen Optik 5 kombiniert sein kann, oder welche, wie es später noch gezeigt werden wird, diese auch ersetzen kann. Die Metalinse 9 ist nun im oben beschriebenen Sinne ausgestaltet und so ausgelegt, dass beispielsweise nur die Kanten von Objekten, hier also der Person 3, in dem Fahrzeuginnenraum 2 erhalten bleiben. Jegliche alternative Filterfunktion, welche das über den Bildsensor 6 erfasste Bild des Fahrzeuginnenraums 2 soweit unkenntlich macht, dass dieses für das menschliche Auge oder eine herkömmliche maschinelle Personenerkennung nicht mehr nutzbringend erkennbar ist, wäre jedoch ebenso denkbar. Über die Metalinse 9 wird also letztlich das Bild des Fahrzeuginnenraums 2 und damit der Person 3 so weit verfälscht, dass die Privatsphäre der Person 3 gewahrt ist und diese in den erfassten Bildern beispielsweise nicht durch andere Personen erkannt werden kann. Damit ist ein Missbrauch der erfassten Bilder durch Dritte stark erschwert.
-
Vorzugsweise ist es dabei so, dass über eine Kontrollelektronik 10 die Transmissionseigenschaften der Metalinse 9 entsprechend umgeschaltet werden können. Die Kontrollelektronik 10 kann die Metalinse 9 also beispielsweise zwischen einem ersten Zustand, in dem das erfasste Bild des Bildsensors 6 entsprechend verfälscht ist, und einem zweiten Zustand, in welchem dies nicht der Fall ist, umschalten. Hierfür wird beispielsweise ein elektrisches Steuersignal a von der Kontrollelektronik 10 an die Metalinse 9 übermittelt. Grundsätzlich sind dabei verschiedene Möglichkeiten zum Umschalten denkbar. Einerseits kann durch das Anlegen eines elektrischen und/oder magnetischen Feldes eine Veränderung der Transmissionseigenschaften der Metalinse 9 erreicht werden. Eine weitere Ausführungsvariante wäre die Kombination der Metalinse 9 mit einem hier nicht gezeigten Lichtmodulator oder eine Beeinflussung durch Temperatur, beispielsweise durch einen PTC-Element im Randbereich des Metamaterials. Die Umschaltung erfolgt dann im Wesentlichen durch einen temperaturabhängigen Phasenübergang des verwendeten Materials, welches auf dem Metamaterialelement der Metalinse 9 für die elektromagnetische Resonanz zuständig ist.
-
Egal, welche dieser Möglichkeiten die Übertragungsfunktion der Metalinse 9 zu beeinflussen nun eingesetzt wird, lässt sich so ein Effekt erreichen, bei dem das Bild, welches durch den Bildsensor 6 von dem Fahrzeuginnenraum 2 und damit der Person 3 erfasst wird, verfälscht ist. Dies kann auch in einzelnen Stufen erfolgen. Soll das Bild nicht verfälscht werden, beispielsweise während eines Anrufs mit Videotelefonie, dann kann auch dies entsprechend einer Anforderung der Fahrzeugsteuerung 8 an die Kontrollelektronik 10 erfolgen. Ist die Videotelefonie beendet, wird wieder von dem unverfälschten klaren Bild auf das durch die Metalinse 9 verfälschte Bild zurückgeschaltet und diese Information entsprechend des hier eingezeichneten Signals b an den Bildprozessor 7 übermittelt.
-
Beim Bildprozessor 7 gibt es nun verschiedene Möglichkeiten. Dieser kann das Bild auf die unverfälschte Darstellung zurückrechnen, man spricht hier von einem Entfalten, wenn ihm die Übertragungsfunktion bekannt ist. Bei einer konstruktiv vorgegebenen Übertragungsfunktion kann so beispielsweise diese Übertragungsfunktion in dem Bildprozessor, vorzugsweise verschlüsselt und an einem sicheren Speicherort, abgelegt sein. Basierend auf dieser Übertragungsfunktion lässt sich dann aus dem verfälschten Bild ein unverfälschtes Bild zurückrechnen, in welchem beispielsweise Gesten erfasst oder die Aufmerksamkeit einer das Fahrzeug fahrenden Person auf das Verkehrsgeschehen ermittelt werden kann.
-
Alternativ dazu wäre es grundsätzlich auch denkbar über ein neuronales Netzwerk in dem Bildprozessor die Inhalte direkt in den verfälschten Bildinhalten zu erkennen. Hierfür könnte beispielsweise zur Erfassung von Gesten das neuronale Netzwerk mit verfälschten Bildern vortrainiert werden. Diese lassen sich aus unverfälschten Bildern bei bekannter Übertragungsfunktion künstlich verfälschen bzw. falten, um so die unkenntlich gemachten Bilder zur Verfügung zu stellen. Das neuronale Netzwerk ist dann in der Lage, durch ein Vortrainieren vor dem Einsatz im Fahrzeug und ein späteres Weitertrainieren im Fahrzeug auf Basis der verfälschten Bilder die Gesten der das Fahrzeug nutzenden Personen zu erkennen und auch individuelle Anpassungen einzelner Personen an die Gesten immer besser zu erkennen, um so die Funktionalität einer Gestensteuerung beispielsweise auch ohne ein vorheriges Entfalten der verfälschten Bilder gewährleisten zu können.
-
Bei einer Umschaltung zwischen verfälschten und nicht verfälschten Bildinhalten, wie sie oben beschrieben worden ist, könnten dann beispielsweise zwei neuronale Netzwerke eingesetzt werden, eines für den ersten Zustand mit verfälschten Bildern und ein zweites für den zweiten Zustand mit unverfälschten Bildern. Kommen verschiedene Stufen der Verfälschung innerhalb des ersten Zustandes zum Einsatz, wäre es prinzipiell auch denkbar, hierfür weitere verschiede neuronale Netzwerke vorzuhalten.
-
Alternativ dazu kann über die Übertragungsfunktion immer auch das verfälschte Bild entsprechend entfaltet und in ein unverfälschtes Bild umgewandelt werden, welches dann durch ein neuronales Netzwerk erkannt werden kann, welches mit unverfälschten Bildern entsprechend trainiert bzw. vortrainiert ist.
-
Insbesondere beim Einsatz von verschiedenen Stufen der Verfälschung können auch Zwischenlösungen gewählt werden. Beispielsweise kann ein neuronales Netzwerk vergleichsweise einfach auf eine relativ geringe Stufe der Verfälschung trainiert werden. Nutzt die das Fahrzeug bedienende Person nun einen sehr hohen Grad der Verfälschung, um ihre Privatsphäre maximal zu schützen, dann könnte über die bekannte Übertragungsfunktion von einer Verfälschung beispielsweise der relativ hohen und sicheren Stufe auf eine Verfälschung einer geringeren Stufe entfaltet werden. Beispielsweise könnte eine Verfälschung einer Stufe 3 eines dreistufigen Prozess zu einer Verfälschung der Stufe 1 reduziert werden, welche dann das Erkennen von Gesten in den gemäß Stufe 1 verfälschten Bildern über ein neuronales Netzwerk einfacher und damit zuverlässiger macht, als wenn diese in der sehr stark verfälschten Stufe 3 erkannt werden müssten. Dennoch gibt es in keinem Bereich des Fahrzeugs vollständig unverfälschte Bilder, außer wenn dies beispielsweise für die Videotelefonie explizit gewünscht ist, sodass der Schutz der Privatsphäre der Person immer noch relativ hoch bleibt.
-
In der Darstellung der 2 ist nun links und mit a) bezeichnet ein Aufbau gemäß dem Stand der Technik zu erkennen. Dabei ist die Bilderfassungseinrichtung 4 der Innenraumkamera 1 in eine Anzeigeeinrichtung 11 integriert. Die Anzeigeeinrichtung 11 besteht im Wesentlichen aus einem Displaypanel 12, einem Backlight 13 sowie einem Deckglas 14, welches neben dem Displaypanel 12 auch die Bilderfassungseinrichtung 4 abdeckt. Diese umfasst die herkömmliche Optik 5 sowie einen Bildsensor 6. In Richtung des einfallenden Lichts, in der Darstellung der 2 also von links nach rechts, erstreckt sich dabei der Aufbau dieser Bilderfassungseinrichtung 4 deutlich über den der restlichen Anzeigevorrichtung 11 hinaus, sodass insgesamt ein sehr großer bzw. tiefer Aufbau entsteht.
-
In der Darstellung der 2 rechts und mit b) bezeichnet ist nun der alternative Aufbau mit der Metalinse 9 zu erkennen. Diese liegt in dem hier dargestellten Ausführungsbeispiel direkt unter dem Deckglas 14. An sie schließt sich dann der Bildsensor 6 direkt an, sodass die Bilderfassungseinrichtung 4 durch die Metalinse 9 nicht nur die oben beschriebenen Eigenschaften ermöglicht sondern auch auf die herkömmliche Optik 5 verzichten kann, um so einen sehr kompakten Aufbau zu realisieren.
-
Der Aufbau gemäß der 2 b) ließe sich noch kompakter gestalten, wenn die Metalinse 9 beispielsweise in das Deckglas 4 eingebracht oder unmittelbar auf dieses aufgebracht werden würde. Dies könnte beispielsweise durch Ätzen und/oder Bedampfen erfolgen, sodass lediglich die Dicke des Deckglases 14 benötigt wird, beispielsweise mit der Metalinse 9 auf der hinsichtlich des einfallenden Lichts vorderen Seite und einem Metafilter auf der anderen Seite unmittelbar vor dem sich dann an die Deckscheibe 14 sowie gegebenenfalls dem Filter anschießenden Bildsensor 6. Wenn bei dem den Anzeigeelement 11, beispielsweise durch Nutzung einer selbstleuchtenden Anzeigetechnologie wie OLED oder micro-LED, außerdem auf das Backlight 13 verzichtet werden kann, entsteht ein außerordentlich dünner, also in Richtung des einfallenden Lichts sehr kompakter Aufbau.
-
In 3 ist die Darstellung aus 2 nochmals aufgegriffen. Auch hier zeigt die links dargestellte Abbildung a) den Aufbau gemäß dem Stand der Technik und die rechts dargestellte Abbildung b) den entsprechenden Aufbau in einer Ausführungsform gemäß der Erfindung. Die herkömmliche Optik 5 in der Darstellung der 3a) benötigt dabei zur Erfassung eines vorgegebenen Sichtwinkels, welcher hier durch ein Dreieck eingezeichnet ist, eine gewisse Durchtrittshöhe D durch das Deckglas 14. Diese Durchtrittshöhe D ist für den Aufbau der in die Anzeigeeinrichtung 11 integrierten Kamera 4 von entscheidender Bedeutung. Im Bereich dieser Durchtrittshöhe D wird durchgehend das Deckglas 14 benötigt und die gesamte Durchtrittshöhe D bzw. in der Fläche betrachtet eine kreisförmige Durchtrittsöffnung mit dem Durchmesser der Durchtrittshöhe D muss frei von weiteren Komponenten sein. Je größer die Durchtrittshöhe D für einen vorgegebenen Sichtwinkel ist, desto teurer wird also der Aufbau des Anzeigeelements 11.
-
Lässt sich nun durch den Einsatz der Metalinse 9 im dargestellten Ausführungsbeispiel direkt hinter dem Deckglas 14 der Aufbau in Richtung des einfallenden Lichts verkürzen, so kommt es auch zu einer Verschiebung der Spitze des Sichtwinkels weg vom Zentrum der herkömmlichen Optik 5 in das Zentrum der Metalinse 9. Die in der 3b) eingezeichnete Durchtrittshöhe d ist damit deutlich geringer als die Durchtrittshöhe D in dem Aufbau gemäß dem Stand der Technik. Über die Metalinse 9 lässt sich also eine Kosteneinsparung bei dem Anzeigeelement 11 realisieren.
-
In der Darstellung der 4 ist eine weitere alternative Ausführungsform der Bilderfassungseinrichtung 4 der Innenraumkamera 1 zu erkennen. Die schematische Ansicht ist dabei eine Seitenansicht, welche die Person 3 bzw. ihren Kopf mit Blick in Richtung einer Windschutzscheibe 15 des in seiner Gesamtheit nicht dargestellten Fahrzeugs zeigt. Im Bereich dieser Windschutzscheibe 15 befindet sich nun die Metalinse 9, welche hier in Form eines Spiegels ausgebildet ist. Dieser Metaspiegel 9 erfasst die Person 3, wie es durch den gestrichelt eingezeichneten Lichtverlauf dargestellt ist und spiegelt diese Abbildung zu dem Bildsensor 6, welcher hier beispielsweise auf einem nicht dargestellten Armaturenbrett positioniert ist. Die Metalinse 9, auch wenn sie als Metaspiegel 9 ausgebildet ist, versieht dabei die Abbildung mit der vorgesehenen Verfälschung entweder dauerhaft oder bei einem schaltbaren Metaspiegel 9 im ersten Zustand.
-
Der Metaspiegel 9 kann dabei so gestaltet werden, dass er transparent für sichtbares Licht aber reflektierend für Infrarotlicht ist. Die Person 3 lässt sich so im Infrarotbereich erfassen und beobachten, während der Metaspiegel 9 im sichtbaren Licht keine Sichtbehinderung im Bereich der Windschutzscheibe 15 erzeugt. Durch die Umlenkung des Lichts über den Metaspiegel 9 kann dieses außerdem zu dem Bildsensor 6 unterhalb der Windschutzscheibe umgelenkt werden, sodass keine Kamera für die Person 3 sichtbar ist. Vielmehr lässt sich der Bildsensor 6 beispielsweise in die Projektionseinheit eines Overheaddisplays integrieren, um so einfach und effizient die Innenraumkamera 1 gemäß der Erfindung und eine Anzeigeeinheit für ein häufig ohnehin vorhandenes Overheaddisplay zu einer kompakten und effizienten Baueinheit zu kombinieren.
