DE102017111215A1

DE102017111215A1 - Vorrichtung und Verfahren zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten

Info

Publication number: DE102017111215A1
Application number: DE102017111215.4A
Authority: DE
Inventors: Jan Otterstedt
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2017-05-23
Filing date: 2017-05-23
Publication date: 2018-11-29
Anticipated expiration: 2037-05-24
Also published as: DE102017111215B4; US11620507B2; US20180341858A1

Abstract

Eine Vorrichtung umfasst ein Sensormodul. Das Sensormodul umfasst einen elektromagnetischen Strahlungssensor, der ausgebildet ist, um elektromagnetische Strahlungssensordaten bereitzustellen. Das Sensormodul umfasst ferner eine codierte Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Die Vorrichtung umfasst ferner ein Rechenmodul, das zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor ausgebildet ist. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang ausgebildet.

Description

Gebiet
Beispiele beziehen sich auf eine Vorrichtung und ein Verfahren zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten und ein Verfahren zum Herstellen einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten, wobei die Eigenschaft genauer gesagt aber nicht ausschließlich unter Verwendung eines künstlichen neuronalen Netzes detektiert wird.
Hintergrund
Die Detektion von Eigenschaften elektromagnetischer Strahlung, z. B. visueller Eigenschaften zur Bewegungs- und Gesten-Detektion, ist ein interessantes Thema in Forschung und Entwicklung. Zum Beispiel können mobile Vorrichtungen, wie beispielsweise Smartphones oder Spielekonsolen, basierend auf einer solchen detektierten Bewegung und Gesten gesteuert werden.
Zusammenfassung
Es kann ein Bedarf bestehen für ein verbessertes Konzept für elektromagnetische Strahlungssensor-Vorrichtungen, die ein dünneres Profil der Sensorvorrichtung ermöglichen können.
Ein solcher Bedarf kann durch den Gegenstand der angehängten Ansprüche erfüllt sein.
Ein Beispiel bezieht sich auf eine Vorrichtung umfassend ein Sensormodul. Das Sensormodul umfasst einen elektromagnetischen Strahlungssensor, der ausgebildet ist, um elektromagnetische Strahlungssensordaten bereitzustellen. Das Sensormodul umfasst ferner eine codierte Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Die Vorrichtung umfasst ferner ein Rechenmodul, das zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor ausgebildet ist. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang ausgebildet.
Ein Beispiel bezieht sich auf ein Verfahren. Das Verfahren umfasst ein Erfassen einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten. Das Verfahren umfasst ferner ein Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes. Das Verfahren umfasst ferner ein Ausgeben von Informationen bezogen auf die detektierte Eigenschaft.
Ein Beispiel bezieht sich auf ein Verfahren zum Herstellen einer Vorrichtung. Das Verfahren umfasst ein Bilden eines Sensormoduls durch Bilden eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und ein Bilden einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Das Verfahren umfasst ferner das Bilden eines Rechenmoduls, das ein künstliches neuronales Netz aufweist (oder ausgebildet ist, dieses zu emulieren und betreiben). Das Rechenmodul ist ausgebildet zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft ausgebildet.
Figurenliste
Nachfolgend werden einige Beispiele von Vorrichtungen und/oder Verfahren ausschließlich beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen

1a ein Blockdiagramm einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt;
1b ein Blockdiagramm einer Vorrichtung zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt, die ferner ein Filter aufweist;
1c ein Flussdiagramm eines Verfahrens zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten zeigt;
2 ein Flussdiagramm eines Verfahrens zum Herstellen einer Vorrichtung zeigt;
3 eine schematische Draufsicht einer Apertur-codierten Maske zeigt;
4 ein schematisches Diagramm einer Gitter-codierten Maske zeigt; und
5 ein schematisches Diagramm eines abstimmbaren Fabry-Pérot Filters zeigt.

Detaillierte Beschreibung
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren können die Dickenabmessungen von Linien, Schichten und/oder Regionen um der Deutlichkeit Willen übertrieben dargestellt sein.
Während sich weitere Beispiele für verschiedene Modifikationen und alternative Formen eignen, sind dementsprechend einige bestimmte Beispiele derselben in den Figuren gezeigt und werden nachfolgend ausführlich beschrieben. Allerdings beschränkt diese detaillierte Beschreibung weitere Beispiele nicht auf die beschriebenen bestimmten Formen. Weitere Beispiele können alle Modifikationen, Entsprechungen und Alternativen abdecken, die in den Rahmen der Offenbarung fallen. Gleiche Bezugszeichen beziehen sich in der gesamten Beschreibung der Figuren auf gleiche oder ähnliche Elemente, die bei einem Vergleich miteinander identisch oder in modifizierter Form implementiert sein können, während sie die gleiche oder eine ähnliche Funktion bereitstellen.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, die Elemente direkt, oder über ein oder mehrere Zwischenelemente, verbunden oder gekoppelt sein können. Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B. Eine alternative Formulierung für die gleichen Kombinationen ist „zumindest eines von A und B“. Das Gleiche gilt für Kombinationen von mehr als 2 Elementen.
Die Terminologie, die hier zum Beschreiben bestimmter Beispiele verwendet wird, soll nicht begrenzend für weitere Beispiele sein. Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch Pluralelemente verwenden, um die gleiche Funktion zu implementieren. Wenn eine Funktion nachfolgend als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich weiterhin, dass die Begriffe „umfasst“, „umfassend“, „aufweist“ und/oder „aufweisend“ bei Gebrauch das Vorhandensein der angegebenen Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente und/oder Komponenten derselben präzisieren, aber nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe derselben ausschließen.
Sofern nicht anderweitig definiert, werden alle Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) hier in ihrer üblichen Bedeutung des Gebiets verwendet, zu dem Beispiele gehören.
1 zeigt ein Blockdiagramm einer Vorrichtung 10. Die Vorrichtung 10 ist geeignet zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten. Die Vorrichtung 10 umfasst ein Sensormodul 12. Das Sensormodul umfasst einen elektromagnetischen Strahlungssensor 12a, der ausgebildet ist, um elektromagnetische Strahlungssensordaten bereitzustellen. Das Sensormodul 12 umfasst ferner eine codierte Maske 12b, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor 12a auftrifft (z.B. um modulierte, elektromagnetische Strahlung zu erhalten). Die Vorrichtung 10 umfasst ferner ein Rechenmodul 14, das zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor 12a ausgebildet ist. Das Rechenmodul 14 ist ferner zum Detektieren der Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul 14 ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang 16 ausgebildet.
Das Verwenden eines linsenlosen Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer Apertur-codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können, z.B. innerhalb einer kleineren Distanz als es bei einem Linsen-basierten Kamerasystem möglich ist. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der Apertur-codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann.
Zum Beispiel kann das Sensormodul 12 ein Kamera-Sensormodul sein. Das Steuerungsmodul 12 kann zum Erfassen einer optischen Information ausgebildet sein, z.B. innerhalb von zumindest einem eines ultravioletten Lichtspektrums, eines sichtbaren Lichtspektrums und eines Infrarot-Lichtspektrums. Bei einigen Ausführungsbeispielen kann das Sensormodul 12 ein linsenloses Sensormodul 12 sein. Dies kann ein dünneres Profil des Sensormoduls ermöglichen. Die codierte Maske 12b kann direkt benachbart zu dem elektromagnetischen Strahlungssensor 12a angeordnet sein.
Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a ein optischer Sensor sein. Der elektromagnetische Strahlungssensor 12a kann zum Erfassen von sichtbarem Licht (elektromagnetischer (EM) Strahlung innerhalb eines sichtbaren Lichtspektrums) ausgebildet sein. Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a ausgebildet sein, um Infrarotlicht zu erfassen (EM-Strahlung innerhalb eines Infrarot-Lichtspektrums). Bei anderen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a kann zum Erfassen von ultraviolettem Licht (EM Strahlung innerhalb eines ultravioletten Lichtspektrums) ausgebildet sein. Das Erfassen von Licht (z.B. ultraviolettem, sichtbarem oder Infrarot-Licht) ist eine übliche Anwendung bei der Detektion von Gesten oder Bewegung und bei der Gesichtserkennung. Der elektromagnetische Strahlungssensor 12a kann ein Aktiv-Pixel-Sensor sein. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a einer eines CMOS-Sensors (Complementary Metal-Oxide-Semiconductor; komplementärer Metall-Oxid-Halbleiter) und eines CCD-Sensors (Charge-Coupled Device; ladungsgekoppelte Vorrichtung) sein.
Der elektromagnetische Strahlungssensor 12a kann zum Bereitstellen der elektromagnetischen Strahlungssensordaten als rohe oder unverarbeitete elektromagnetische Strahlungssensordaten ausgebildet sein. Die rohen elektromagnetischen Strahlungssensordaten können optische Sensordaten sein, die nicht in ein Bildformat umgewandelt sind. Zum Beispiel können die rohen elektromagnetischen Strahlungssensordaten digitalen Werten von analogen Werten entsprechen, die durch ein oder mehrere Sensorelemente des elektromagnetischen Strahlungssensors 12a erfasst werden und in einem vordefinierten Format angeordnet sind, ohne weitere Verarbeitung der digitalen Werte. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a zum Bereitstellen der elektromagnetischen Strahlungssensordaten als digitale Werte ausgebildet sein, die Strömen, Kapazitäten oder Spannungen entsprechen, die durch den elektromagnetischen Strahlungssensor 12a erfasst werden. Bei einigen Ausführungsbeispielen kann der elektromagnetische Strahlungssensor 12a zum Bereitstellen der elektromagnetischen Strahlungssensordaten als digitale Werte oder als analoge Ströme oder Spannungen an das Rechenmodul 14 ausgebildet sein.
Zum Beispiel kann die elektromagnetische Strahlung zumindest eines aus ultraviolettem Licht, sichtbarem Licht oder Infrarotlicht sein oder dies umfassen. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a kann ausgebildet sein zum Erfassen von zumindest einem aus ultraviolettem Licht, sichtbarem Licht und Infrarotlicht. Zum Beispiel kann das Sensormodul 12 ferner ein Bandpassfilter aufweisen (z.B. Filter 18 aus 1C), das ausgebildet ist, um elektromagnetische Strahlung, die auf dem elektromagnetischen Strahlungssensor 12a auftrifft, auf einen gewünschten Frequenzbereich einzuschränken.
Bei einigen Ausführungsbeispielen, wie in 1b gezeigt ist, kann das Sensormodul ferner ein Filter 18 aufweisen, das ausgebildet ist, um elektromagnetische Strahlung außerhalb eines vordefinierten Frequenzbereichs zu blockieren (z.B. um gefilterte, elektromagnetische Strahlung zu erhalten). Das Filter 18 kann zwischen dem elektromagnetischen Strahlungssensor 12a und der codierten Maske 12b angeordnet sein. Alternativ kann die codierte Maske 12b zwischen dem Filter 18 und dem elektromagnetischen Strahlungssensor 12a angeordnet sein. Alternativ kann das Filter 18 in der codierten Maske 12b integriert sein, z.B. innerhalb einer Mehrzahl von Löchern, die einen Körper der codierten Maske queren. Das Filter kann die elektromagnetische Strahlung, die auf den elektromagnetischen Strahlungssensor auftrifft, auf einen Frequenzbereich einschränken, der die zu detektierende Eigenschaft aufweist. Der vordefinierte Frequenzbereich kann basierend auf der Eigenschaft definiert sein, die detektiert werden soll. Der vordefinierte Frequenzbereich kann zumindest eines abdecken aus einem ultravioletten Lichtfrequenzbereich, einem sichtbaren Lichtfrequenzbereich und einem Infrarot-Lichtfrequenzbereich. Das Sensormodul 12 kann ferner ein optisches Filter 18a aufweisen, das ausgebildet ist, um Licht außerhalb von zumindest einem eines sichtbaren Lichtfrequenzbereichs, eines Infrarotlicht-Frequenzbereichs und eines ultravioletten Lichtfrequenzbereichs zu blockieren. Bei zumindest einigen Ausführungsbeispielen kann das Sensormodul 12 ferner ein abstimmbares Farbfilter 18b aufweisen, das ausgebildet ist, um Licht außerhalb eines einstellbaren Frequenzbereichs zu blockieren. Das abstimmbare Farbfilter kann auf einem abstimmbaren Fabry-Pérot Filter basieren, z.B. auf zwei Bragg-Spiegeln basieren (z.B. wie in 5 gezeigt ist). Ein abstimmbares Farbfilter kann eine Einstellung des Filters basierend auf der Eigenschaft ermöglichen, die detektiert werden soll, oder basierend auf einer elektromagnetischen Umgebungs- oder Hintergrund-Strahlung. Das Rechenmodul 14 kann ausgebildet sein zum Einstellen des abstimmbaren Farbfilters 18b basierend auf der Eigenschaft der zu detektierenden, elektromagnetischen Strahlung und/oder basierend auf einer elektromagnetischen Umgebungs-/Hintergrund-Strahlung.
Bei einigen Ausführungsbeispielen kann die codierte Maske 12b eine Apertur-codierte, optische Maske sein. Zum Beispiel kann die Apertur-codierte Maske 12b eine optische Maske mit einem festen Körper sein (z.B. einem Körper, der zumindest 90% der elektromagnetischen Strahlung blockiert, die auf den Körper bei einer gewünschten Wellenlänge auftrifft, z.B. bei einer Wellenlänge, die die zu detektierende Eigenschaft umfasst) und einem oder einer Mehrzahl von Löchern innerhalb des festen Körpers. Zum Beispiel kann die Apertur-codierte Maske 12b eine Mehrzahl von Löchern aufweisen, die in einem codierten Muster angeordnet und dimensioniert sind. Die Mehrzahl von Löchern kann den Körper der codierten Maske vertikal queren. Die Mehrzahl von Löchern kann von jeglicher Form in einer lateralen Richtung sein, z.B. rund, quadratisch, rechteckig, länglich, polygonal etc. Die Mehrzahl von Löchern kann zumindest 10% (oder zumindest 20%, zumindest 30%, zumindest 40%, zumindest 50%) einer Oberfläche des Körpers der Apertur-codierten Maske 12b belegen. Zum Beispiel kann die Apertur-codierte Maske 12b eines aus einem modifizierten, einheitlich redundanten Array (Modified Uniformly Redundant Array), einem hexagonalen einheitlich redundanten Array (Hexagonal Uniformly Redundant Array), einem Stiftloch, einer Apertur-codierten Maske mit einem Pseudozufallsmuster, einer Apertur-codierten Maske mit einem Zufallsmuster, einer Apertur-codierten Maske mit einem Chip-spezifischen oder Chip-individuellen Muster und einer Apertur-codierte Maske mit einem annähernd flachen Fourier-Spektrum sein. Zum Beispiel kann ein Muster (der Mehrzahl von Löchern) der codierten Maske 12b individuell für jedes Sensormodul 12 erzeugt werden. Dies kann ein Herstellen der codierten Maske mit höheren Herstellungstoleranzen ermöglichen. Zum Beispiel kann ein Muster (der Mehrzahl von Löchern) der codierten Maske 12b ein Zufalls- oder Pseudozufalls-Ergebnis eines Bildens der codierten Maske 12b sein. Zum Beispiel kann die Apertur-codierte Maske 12b eine codierte, binäre (z.B. ist es elektromagnetischer Strahlung erlaubt, die Apertur-codierte Maske 12b zu passieren oder nicht zu passieren, basierend auf dem Muster) optische Maske sein.
Alternativ kann die codierte Maske 12b eine Gitter-codierte Maske sein. Die Gitter-codierte Maske kann eine Mehrzahl von lateralen Abschnitten aufweisen. Laterale Abschnitte einer ersten Teilmenge der Mehrzahl von lateralen Abschnitten umfassen eine erste vertikale Dicke, und laterale Abschnitte einer zweiten Teilmenge der Mehrzahl von lateralen Abschnitten umfassen eine zweite vertikale Dicke. Die erste vertikale Dicke kann ungefähr eine halbe Wellenlänge (z.B. zwischen 40% und 60% einer Wellenlänge) einer elektromagnetischen Strahlung umfassend die zu detektierende Eigenschaft größer sein als die zweite vertikale Dicke. Laterale Abschnitte der ersten Teilmenge und laterale Abschnitte der zweiten Teilmenge können abwechselnd angeordnet sein, z.B. außerhalb einer lateralen Randregion der Gitter-codierten Maske, ein lateraler Abschnitt der ersten Teilmenge kann lateral direkt benachbart zu zwei lateralen Abschnitten der zweiten Teilmenge sein, und ein lateraler Abschnitt der zweiten Teilmenge kann lateral direkt benachbart zu zwei lateralen Abschnitten der ersten Teilmenge sein. Ferner weisen die lateralen Abschnitte der Mehrzahl von lateralen Abschnitten zwei oder mehr laterale Breiten auf. Ein erster lateraler Abschnitt der ersten Teilmenge mit einer lateralen Breite und ein zweiter lateraler Abschnitt der zweiten Teilmenge mit derselben Breite können in derselben Distanz von einem Mittelpunkt oder einer Mittellinie der Gitter-codierten Maske (oder eines Feldes der Gitter-codierten Maske) so angeordnet sein, dass die Mehrzahl von lateralen Abschnitten anti-symmetrisch (laterale Abschnitte mit derselben Breite aber unterschiedlichen Dicken haben dieselbe laterale Distanz von dem Mittelpunkt/Mittellinie) um den Mittelpunkt oder die Mittellinie verteilt sind. Die Mehrzahl von lateralen Abschnitten kann in einem Muster angeordnet sein, z.B. in einem anti-symmetrischen Muster. Die Mehrzahl von lateralen Abschnitten kann dasselbe Material aufweisen. 4 zeigt eine beispielhafte Gitter-codierte Maske.
Gemäß einigen Ausführungsbeispielen kann eine Distanz zwischen dem elektromagnetischen Strahlungssensor 12a und dem Körper der codierten Maske 12b kleiner sein als 5 mm (oder kleiner als 4 mm, kleiner als 3 mm, kleiner als 2 mm, kleiner als 1 mm, kleiner als 800 µm, kleiner als 600 µm, kleiner als 400 µm). Dies kann ein dünneres Profil des Sensormoduls (und der Vorrichtung 10) ermöglichen. Zum Beispiel kann der elektromagnetische Strahlungssensor 12a (direkt) benachbart zu der codierten Maske 12b angeordnet sein, z.B. ohne dass eine Linse zwischen dem elektromagnetischen Strahlungssensor 12a und der codierten Maske 12b angeordnet ist.
Bei zumindest einigen Ausführungsbeispielen kann die codierte Maske die elektromagnetische Strahlung (z.B. das ultraviolette, sichtbare und/oder Infrarot-Licht, das auf den elektromagnetischen Strahlungssensor 12a auftrifft) basierend auf dem Muster der (Mehrzahl von Löchern der) codierten Maske modulieren. Die Apertur-codierte Maske kann die elektromagnetische Strahlung (die auf den elektromagnetischen Strahlungssensor 12a auftrifft) basierend auf einer Punktverteilungsfunktion des Musters der codierten Maske 12b modulieren.
Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 zum direkten Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor 12a ausgebildet sein. Zum Beispiel können die elektromagnetischen Strahlungssensordaten rohen oder unverarbeiteten elektromagnetischen Strahlungssensordaten entsprechen. Dies kann die Rechenkomplexität der Detektion der Eigenschaft reduzieren, da künstliche neuronale Netze basierend auf den rohen oder unverarbeiteten elektromagnetischen Strahlungssensordaten trainiert sein können. Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um die elektromagnetischen Strahlungssensordaten als digitale Daten zu empfangen. Alternativ kann das Rechenmodul 14 ausgebildet sein, um analoge Werte zu erhalten, die elektromagnetischen Strahlungssensordaten repräsentieren, und um die erhaltenen analogen Werte in digitale, elektromagnetische Strahlungssensordaten umzuwandeln.
Bei zumindest einigen Ausführungsbeispielen ist die Eigenschaft eine Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung 10. Zum Beispiel kann die Eigenschaft eine Dichteverteilung der modulierten, elektromagnetischen Strahlung über den elektromagnetischen Strahlungssensor 12a sein oder darauf basieren. Zum Beispiel kann die elektromagnetische Strahlung durch das Objekt beeinflusst werden, das in der Nähe der Vorrichtung 10 angeordnet ist. Das zumindest eine Objekt kann einen Menschen umfassen, z.B. eine Hand eines Menschen, einen Finger eines Menschen, ein Gesicht eines Menschen. Alternativ oder zusätzlich kann das zumindest eine Objekt ein Objekt sein, das durch einen Menschen getragen oder manipuliert wird, z.B. ein Etikett oder ein Identifizierer. Alternativ oder zusätzlich kann das zumindest eine Objekt einige oder alle Objekte in der Nähe der Vorrichtung 10 umfassen.
Bei verschiedenen Beispielen kann die Eigenschaft der elektromagnetischen Strahlung eine optische Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung 10 sein, wobei die elektromagnetische Strahlung durch das zumindest eine Objekt beeinflusst wird. Zum Beispiel kann die optische Eigenschaft der elektromagnetischen Strahlung zumindest eines einer Geste, einer Handgeste, einer Fingergeste, einer Gesichtsgeste, einer Körpergeste eines Menschen, ein Gesichtsmuster, eine Bewegung eines Objekts, das verfolgt werden soll und einer Bilddarstellung der elektromagnetischen Strahlung sein. Das Rechenmodul kann ausgebildet sein, um die optische Eigenschaft von zumindest einem Objekt zu klassifizieren, das die elektromagnetischen Strahlungssensordaten beeinflusst, unter Verwendung des künstlichen neuronalen Netzes. Das Klassifizieren der optischen Eigenschaft kann das Auslösen von Aktionen basierend auf der optischen Eigenschaft ermöglichen, da Aktionen, die ausgelöst werden sollen, mit Klassifikationen verknüpft sein können. Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um ein Muster (z.B. eine Geste, ein Gesicht oder eine Bewegung) basierend auf den elektromagnetischen Strahlungssensordaten zu detektieren, um die Eigenschaft zu detektieren. Das Rechenmodul 14 kann ausgebildet sein, um die optische Eigenschaft basierend auf zumindest einem von einer Mehrzahl von erlernten optischen Eigenschaften innerhalb der elektromagnetischen Strahlungssensordaten zu klassifizieren. Zusätzlich oder alternativ kann das Rechenmodul 14 ausgebildet sein, um eine Gesichtserkennung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann die Gesichtserkennung innerhalb der Vorrichtung ermöglichen, was eine Privatsphäre innerhalb des Systems erhöhen kann, da die Vorrichtung möglicherweise nicht zugreifbar ist, um externen Zugriff auf Gesichtserkennungsdaten zu verhindern. Das künstliche neuronale Netz kann basierend auf einem oder mehreren Gesichtern oder Gesichtskonturen eines Menschen trainiert werden. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um visuelle Etiketten zu identifizieren, z.B. visuelle Muster, die Objekte identifizieren. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um eine menschliche Gesten-Detektion oder Gesten-Interpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann eine schnelle und rechentechnisch kostengünstige Gesten-Detektion oder Gesten-Interpretation ermöglichen, ohne die Beteiligung eines Host-Systems. Bei zumindest einigen Ausführungsbeispielen kann das künstliche neuronale Netz auf einer oder mehreren Gesten basieren, die detektiert werden sollen. Die eine oder die mehreren Gesten können zumindest ein Element der Gruppe aus Handgesten, Körpergesten, Gesichtsgesten, Fingergesten, Lichtgesten und Zeichengesten umfassen. Alternativ oder zusätzlich kann das Rechenmodul 14 ausgebildet sein, um eine Bewegungsdetektion oder Bewegungsinterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Dies kann eine schnelle und rechentechnisch kostengünstige Bewegungsdetektion oder Bewegungsinterpretation ermöglichen, ohne die Beteiligung eines Host-Systems. Die Bewegung kann eine Bewegung eines menschlichen Körpers oder eine Bewegung eines bewegbaren Objekts sein.
Bei einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um eine Bilddarstellung der elektromagnetischen Strahlung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen. Zum Beispiel kann die Bilddarstellung die detektierte Eigenschaft repräsentieren. Die Bilddarstellung der elektromagnetischen Strahlung kann eine zumindest teilweise Dekonvolution der modulierten, elektromagnetischen Strahlung umfassen, die durch den elektromagnetischen Strahlungssensor 12a erfasst wird. Die Bilddarstellung der elektromagnetischen Strahlung kann eine Repräsentation von sichtbarem, Infrarot- oder ultraviolettem Licht sein, das auf das Sensormodul 12 auftrifft. Zum Beispiel kann innerhalb der Bilddarstellung ein Konvolutionseffekt der Apertur-codierten Maske 12b auf die elektromagnetische Strahlung, die durch den elektromagnetischen Strahlungssensor 12a erfasst wird, zumindest teilweise durch das künstliche neuronale Netz umgekehrt werden.
Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne Berechnen einer Bilddarstellung der elektromagnetischen Strahlungssensordaten. Das künstliche neuronale Netz kann ausgebildet sein, um die Eigenschaft basierend auf den rohen oder unverarbeiteten, elektromagnetischen Strahlungssensordaten zu detektieren.
Das künstliche neuronale Netz kann ein trainiertes oder vortrainiertes, künstliches neuronales Netz sein. Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz basierend auf der Apertur-codierten Maske und basierend auf der Eigenschaft, die detektiert werden soll, trainiert sein. Zum Beispiel kann das künstliche neuronale Netz innerhalb des Rechenmoduls 14 trainiert werden. Dies kann das Herstellen der Apertur-codierten Maske mit hohen Herstellungstoleranzen ermöglichen. Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 ausgebildet sein, um das künstliche neuronale Netz zumindest teilweise basierend auf der Apertur-codierten Maske zu trainieren. Ein teilweise trainiertes, künstliches neuronales Netz kann in das Rechenmodul 14 geladen werden (z.B. trainiert basierend auf der Eigenschaft, die detektiert werden soll), und das Rechenmodul 14 kann ausgebildet sein, um das Trainieren des künstlichen neuronalen Netzes basierend auf der codierten Maske 12b zu erweitern. Alternativ (oder zusätzlich) kann ein zumindest teilweise trainiertes, künstliches neuronales Netz in das Rechenmodul 14 geladen werden. Bei einigen Ausführungsbeispielen kann das zumindest teilweise trainierte, künstliche neuronale Netz basierend auf den elektromagnetischen Strahlungssensordaten des elektromagnetischen Strahlungssensors 12a trainiert werden, zum Beispiel innerhalb einer externen Vorrichtung (z.B. einer Arbeitsstation oder einem Server). Dies kann ein zeitintensives Training des künstlichen neuronalen Netzes auf dem Chip eliminieren oder reduzieren. Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz ein vortrainiertes, künstliches neuronales Netz sein.
Bei verschiedenen Ausführungsbeispielen kann das Rechenmodul 14 eine Allzweck-Verarbeitungseinheit aufweisen, die ausgebildet ist, um das künstliche neuronale Netz zu emulieren oder auszuführen. Dies kann eine Implementierung des künstlichen neuronalen Netzes unter Verwendung einer existierenden Prozessortechnik ermöglichen. Alternativ kann das künstliche neuronale Netz unter Verwendung einer dedizierten Hardware für Knoten und Zwischenverbindungen (z.B. gewichtete Zwischenverbindungen) zwischen Knoten implementiert sein. Zum Beispiel kann das künstliche neuronale Netz unter Verwendung resistiver Direktzugriffsspeicher-Elemente implementiert sein, um seine Funktion zu konfigurieren. Dies kann eine Implementierung des künstlichen neuronalen Netzes mit einer reduzierten Größe auf dem Chip bereitstellen. Künstliche neuronale Netze, z.B. das künstliche neuronale Netz, das durch das Rechenmodul 14 verwendet wird, können unter Verwendung unterschiedlicher Architekturen realisiert werden, z.B. Architekturen, die zumindest einem Element der Gruppe eines neuronalen Feedforward-Netzes, eines rekurrierenden neuronalen Netzes, eines probabilistischen neuronalen Netzes, eines neuronalen Zeitverzögerungs-Netzes, eines regulatorischen neuronalen Netzes und eines neuronalen Spiking-Netzes (Anreicherung) entsprechen. Künstliche neuronale Netze können eine unterschiedliche Anzahl von verdeckten Schichten einsetzen (z.B. Schichten von Neuronen, die nicht direkt mit Eingängen oder Ausgängen verbunden sind), wobei mehr verdeckte Schichten das realisieren komplexerer Funktionen ermöglichen können aber das Trainieren des künstlichen neuronalen Netzes komplizieren können (z.B. tiefe neuronale Netze versus flache neuronale Netze). Bei einigen Ausführungsbeispielen kann das künstliche neuronale Netz zumindest zwei verdeckte Schichten aufweisen. Bei anderen Ausführungsbeispielen kann das künstliche neuronale Netz zumindest drei oder zumindest vier verdeckte Schichten aufweisen. Die Verwendung von mehr verdeckten Schichten kann eine Qualität der Detektion der Eigenschaft verbessern.
Bei zumindest einigen Ausführungsbeispielen kann das Rechenmodul 14 eine Allzweck-Verarbeitungseinheit aufweisen, die ausgebildet ist, um die detektierte Eigenschaft zu verarbeiten, um ein Steuerungssignal zu erzeugen, um eine externe Entität zu steuern. Dies kann das Verwenden der Vorrichtung ohne einen Host zum Steuern der externen Entität ermöglichen. Das Rechenmodul 14 kann unter Verwendung von einer oder mehreren Verarbeitungseinheiten, einem oder mehreren Verarbeitungsgeräten, jeglichem Mittel zum Verarbeiten, z. B. einem Prozessor, einem Computer oder einer programmierbaren Hardwarekomponente, die mit entsprechend adaptierter Software betriebsfähig ist, implementiert sein. Anders ausgedrückt, die beschriebene Funktion des Rechenmoduls 14 kann auch in Software implementiert sein, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können einen Allzweckprozessor, einen digitalen Signalprozessor (DSP), einen Mikrocontroller etc. umfassen. Die Allzweck-Verarbeitungseinheit kann ferner ausgebildet sein, um das künstliche neuronale Netz zu trainieren, zu emulieren oder zu betreiben. Das Steuerungsmodul 14 kann ausgebildet sein, um das Steuerungssignal bereitzustellen, um ein mobiles Gerät basierend auf Gesten eines Benutzers des mobilen Geräts zu steuern, die durch elektromagnetische Strahlung repräsentiert werden. Zum Beispiel kann die externe Entität eines sein aus einem Roboter, einem Maschinenwerkzeug, einem Fahrzeug, einer elektronischen Verriegelung, einem Monitor, einem TV-Set, einem elektronischen Spiel, einer Spielesteuerung, einer Küchenausrüstung, einem Haushaltsgerät, einer Vorrichtung, die ausgebildet ist, um aktiv gesteuert zu werden und einer Vorrichtung, die ausgebildet ist, um auf ihre Umgebung zu reagieren.
Die Informationen bezogen auf die detektierte Eigenschaft können eine digitale oder analoge Darstellung der detektierten Eigenschaft umfassen. Bei verschiedenen Ausführungsbeispielen können die Informationen, die sich auf die detektierte Eigenschaft beziehen, auf einem Paketformat basieren, das einen Bitcode oder eine Bitsequenz umfasst, die die detektierte Eigenschaft repräsentieren. Die Informationen bezogen auf die detektierte Eigenschaft können eine digitale Repräsentation einer Klassifizierung der detektierten Eigenschaft aufweisen, z.B. eine detektierte Geste gemäß einer Klassifizierung von Gesten oder eine detektierte Bewegung gemäß einer Klassifizierung einer Bewegung. Zum Beispiel können die Informationen bezogen auf die detektierte Eigenschaft anzeigen, dass ein bekanntes Gesicht detektiert wurde.
Bei einigen Ausführungsbeispielen können das Sensormodul 12 und das Rechenmodul 14 auf einem einzelnen Chip implementiert sein. Zum Beispiel können sowohl das das Sensormodul 12 als auch das Rechenmodul 14 innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sein. Bei zumindest einigen Ausführungsbeispielen können das Rechenmodul 14 und der elektromagnetische Strahlungssensor 12a innerhalb desselben Halbleitersubstrats implementiert sein und die codierte Maske 12b kann innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sein. Alternativ können das Sensormodul 12 und das Rechenmodul 14 unter Verwendung eines Chipstapels implementiert sein. Bei einigen anderen Ausführungsbeispielen kann das Sensormodul 12 innerhalb eines ersten Chips des Chipstapels implementiert sein und das Rechenmodul 14 kann innerhalb eines zweiten Chips des Chipstapels implementiert sein. Alternativ kann der elektromagnetische Strahlungssensor 12a innerhalb des ersten Chips implementiert sein und die codierte Maske 12b kann auf dem ersten Chip angeordnet sein. Alternativ oder zusätzlich können das Sensormodul 12 und das Rechenmodul 14 innerhalb des gleichen Halbleitergehäuses implementiert sein. Das Bilden des Sensormoduls und des Rechenmoduls auf demselben Chip/Substrat/Gehäuse kann eine Größe einer Vorrichtung reduzieren, während Herstellungskosten der Vorrichtung reduziert werden, da eine Anzahl von Schritten reduziert werden kann, die zum Herstellen der Vorrichtung erforderlich sind.
Die vertikale Richtung und eine vertikale Abmessung oder Dicken von Schichten können orthogonal zu einer Vorderseitenoberfläche des elektromagnetischen Strahlungssensors 12a gemessen werden und eine laterale Richtung und laterale Abmessungen können parallel zu der Vorderseitenoberfläche des elektromagnetischen Strahlungssensors 12a gemessen werden.
Der Ausgang 16 kann einer Schnittstelle zum Senden von Information entsprechen, die durch digitale (Bit-)Werte gemäß einem spezifizierten Code oder Protokoll, innerhalb eines Moduls, zwischen Modulen, oder zwischen Modulen unterschiedlicher Entitäten repräsentiert sein kann.
1C zeigt ein Flussdiagramm eines (entsprechenden) Verfahrens zum Detektieren einer Eigenschaft aus elektromagnetischen Strahlungssensordaten. Das Verfahren umfasst ein Erfassen 110 einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten. Das Verfahren umfasst ferner ein Detektieren 120 einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes. Das Verfahren umfasst ferner ein Ausgeben 130 von Informationen bezogen auf die detektierte Eigenschaft.
Das Verwenden eines (linsenlosen) Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann. Das Verwenden eines künstlichen neuronalen Netzes zum lokalen Detektieren der Eigenschaft innerhalb der elektromagnetischen Strahlungssensordaten kann eine leistungseffiziente Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht an einen entfernten Server übertragen werden müssen, damit der Server die Eigenschaft detektiert.
Weitere Details und Aspekte des Verfahrens werden in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1a bis 1b) beschriebenen Beispielen erwähnt. Das Verfahren kann ein oder mehrere zusätzliche optionale Merkmale aufweisen, die einem oder mehreren Aspekten des vorgeschlagenen Konzepts oder einem oder mehreren, vorstehend oder nachstehend beschriebenen Beispielen entsprechen.
2 zeigt ein Flussdiagramm eines Verfahrens zum Herstellen oder Bilden einer Vorrichtung, z.B. zum Bilden der Vorrichtung 10 von la-lb. Die Vorrichtung kann ähnlich zu der Vorrichtung 10 von Fig. la-lb implementiert sein. Das Verfahren umfasst ein Bilden 210 eines Sensormoduls (z.B. des Sensormoduls 12 von 1a-1b) durch Bilden 212 eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und Bilden 214 einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft. Das Verfahren umfasst ferner das Bilden 220 eines Rechenmoduls (z.B. des Rechenmoduls 14 aus 1a-1b), das ein künstliches neuronales Netz aufweist (oder ausgebildet ist, dieses zu emulieren und betreiben). Das Rechenmodul ist ausgebildet zum Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor. Das Rechenmodul ist ferner zum Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes ausgebildet. Das Rechenmodul ist ferner zum Ausgeben von Informationen bezogen auf die detektierte Eigenschaft ausgebildet.
Das Verwenden eines linsenlosen Sensormoduls mit einem elektromagnetischen Strahlungssensor und einer codierten Maske kann ein dünneres Profil des Sensormoduls erlauben, da der elektromagnetische Strahlungssensor und eine codierte Maske innerhalb einer sehr kleinen Distanz angeordnet sein können. Das Verwenden eines künstlichen neuronalen Netzes zum Detektieren der Eigenschaft aus den elektromagnetischen Strahlungssensordaten kann eine schnelle und rechentechnisch günstige Detektion der Eigenschaft ermöglichen, da die elektromagnetischen Strahlungssensordaten möglicherweise nicht in ein Zwischenformat umgewandelt werden müssen (z.B. basierend auf einer komplexen Dekonvolutionsberechnung, die erforderlich ist, um die Effekte der codierten Maske aufzuheben), damit das künstliche neuronale Netz die Eigenschaft detektieren kann.
Das Bilden des Rechenmoduls kann ferner das zumindest teilweise Trainieren des künstlichen neuronalen Netzes unter Verwendung des Rechenmoduls basierend auf der codierten Maske aufweisen. Dies kann eine Anpassung des künstlichen neuronalen Netzes an die (z.B. Vorrichtungs-/Chip-individuelle) codierte Maske ermöglichen. Zum Beispiel kann das Trainieren des künstlichen neuronalen Netzes unter Verwendung des Rechenmoduls auf einer Mehrzahl von elektromagnetischen Strahlungs-Trainings-Abtastwerten, die in Richtung des Sensormoduls emittiert werden, und einer Mehrzahl von erwünschten Ausgaben für die Mehrzahl von elektromagnetischen Strahlungs-Trainings-Abtastwerten basieren. Das Sensormodul kann zum Erfassen der Mehrzahl von elektromagnetischen Strahlungs-Trainings-Abtastwerten ausgebildet sein, und das künstliche neuronale Netz kann ausgebildet sein, um sich basierend auf der Mehrzahl von elektromagnetischen Strahlungs-Trainings-Abtastwerten und basierend auf der Mehrzahl von gewünschten Ausgaben anzupassen. Bei einigen Ausführungsbeispielen kann das Training des künstlichen neuronalen Netzes innerhalb einer externen Vorrichtung basierend auf den elektromagnetischen Strahlungssensordaten der Vorrichtung ausgeführt werden. Alternativ kann das Training des künstlichen neuronalen Netzes innerhalb des Rechenmoduls ausgeführt werden.
Alternativ oder zusätzlich kann das Bilden des Rechenmoduls möglicherweise ferner das Laden von Informationen bezogen auf ein vortrainiertes, künstliches neuronales Netz in das Rechenmodul aufweisen um das künstliche neuronale Netz zu erhalten. Dies kann eine schnellere Herstellung der Vorrichtung im Vergleich zum Trainieren des künstlichen neuronalen Netzes unter Verwendung des Rechenmoduls ermöglichen. Das Bilden des Rechenmoduls kann ferner das Einstellen des vortrainierten, künstlichen neuronalen Netzes basierend auf der codierten Maske aufweisen, z.B. durch Erweitern eines Trainings des vortrainierten, künstlichen neuronalen Netzes unter Verwendung der Mehrzahl von elektromagnetischen Strahlungs-Trainings-Abtastwerten und der Mehrzahl von gewünschten Ausgaben.
Bei zumindest einigen Ausführungsbeispielen kann das Bilden 210 des Sensormoduls das Bilden 212a des elektromagnetischen Strahlungssensors innerhalb eines Halbleitersubstrats eines Halbleiterbauelements umfassend die Vorrichtung umfassen. Das Bilden 210 des Sensormoduls kann ferner das Bilden 214a der codierten Maske auf oder innerhalb des Halbleitersubstrats aufweisen. Zum Beispiel kann das Bilden 210 ferner das Bilden einer Zwischenschicht auf zumindest Teilen des Sensormoduls vor dem Bilden 214 der codierten Maske aufweisen. Das Bilden 210 des Sensormoduls kann ferner das Bilden 216 eines Hohlraums zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske aufweisen. Das Bilden 216 des Hohlraums kann das Entfernen der Zwischenschicht aufweisen. Eine vertikale Distanz zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske innerhalb des Hohlraums kann kleiner sein als 1 mm (oder kleiner als 800 µm, kleiner als 600 µm, kleiner als 500 µm, kleiner als 400 µm, kleiner als 300 µm, kleiner als 200 µm, kleiner als 100 µm). Dies kann ein dünneres Profil des Sensormoduls ermöglichen.
Weitere Details und Aspekte des Verfahrens werden in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1a bis 1c) beschriebenen Beispielen erwähnt. Das Verfahren kann ein oder mehrere zusätzliche optionale Merkmale aufweisen, die einem oder mehreren Aspekten des vorgeschlagenen Konzepts oder einem oder mehreren, vorstehend oder nachstehend beschriebenen Beispielen entsprechen.
Zumindest einige Ausführungsbeispiele beziehen sich auf einen linsenlosen, intelligenten optischen Sensor mit einem künstlichen neuronalen Netz (aNN; artificial neural network). Zumindest einige Ausführungsbeispiele können sich auf ein integriertes System auf einem Chip beziehen, das ein Realisieren intelligenter, optischer Sensoren mit niedrigem Profil, niedrigen Kosten und niedriger Leistung erlaubt, z.B. zur Gesten-Detektion und -Interpretation, Bewegungs-Detektion und -Interpretation und/oder für andere ähnliche Aufgaben zum Klassifizieren optischer Informationen.
Zumindest einige Ausführungsbeispiele können ein linsenloses Kamerasystem (umfassend eine Apertur-codierte Maske und einen optischen Sensor), z.B. das Sensormodul 12 von 1A-1b, mit einem künstlichen neuronalen Netz (aNN) (z.B. des Rechenmoduls 14 von 1A-1b), das die Ausgabe der Kamera direkt analysiert, kombinieren, z.B. um ein dünnes (d.h. Niedrigprofil-) System zu erreichen, das viel teurere und leistungshungrigere Einrichtungen bei Anwendungen ersetzen kann, wo optische (sichtbares Licht, IR, UV,...) Informationen (üblicherweise ein Bild oder eine Sequenz aus Bildern) klassifiziert werden können. Zumindest einige Ausführungsbeispiele können darauf basieren, eine „codierte Maske“ mit einem „aNN“ zur Bildanalyse zu kombinieren.
Im Vergleich zu anderen Systemen, die eine Linse und einen Sensor umfassen, die verwendet werden, um ein Bild zu erzeugen, und wo das Bild durch eine zentrale Verarbeitungseinheit (CPU; central processing unit) analysiert wird, können verschiedene Ausführungsbeispiele kostengünstiger (keine Linse) und dünner (weniger Distanz von Maske zu Sensor) sein.
Im Vergleich zu Systemen, die eine (Apertur-) codierte Maske und einen Sensor aufweisen, deren Ausgabe durch Dekonvolution in ein Bild rekonstruiert wird, und wo das Bild dann durch eine CPU analysiert wird, können zumindest einige Ausführungsbeispiele sogar kostengünstiger sein, weniger Leistung verbrauchen und Bedenken betreffend Privatsphäre vermeiden. Das aNN kann spezifisch trainiert werden.
Bei zumindest einigen Ausführungsbeispielen können Apertur-codierte Masken wie Kameras mit mehreren Löchern funktionieren. Die spezielle Struktur der Maske kann das Ausführen der Dekonvolution nach dem Aufzeichnen des Bildes erlauben, das durch die Apertur-codierte Maske moduliert wurde. 3 zeigt ein Muster einer exemplarischen Apertur-codierten Maske umfassend ein modifiziertes, einheitlich redundantes Array (MURA; modified uniformly redundant array).
4 zeigt ein Muster einer anderen codierten Maske mit einem antisymmetrischen Phasengitter. Bei zumindest einigen Ausführungsbeispielen kann die codierte Maske aus 4 anstelle der Apertur-codierten Masken verwendet werden. 4 zeigt eine Gitterstruktur 402 umfassend ein antisymmetrisches Gitter. Die Gitterstruktur 402 umfasst eine Mehrzahl von lateralen Abschnitten. Eine erste Teilmenge der Mehrzahl von lateralen Abschnitten mit einer oberen Oberfläche, die bei 402a endet, umfasst einer erste größere Dicke t1 in vertikaler Richtung, und eine zweite Teilmenge der Mehrzahl von lateralen Abschnitten mit einer oberen Oberfläche, die bei 402b endet, umfasst einer zweite kleinere Dicke t2 in der vertikalen Richtung. Die Mehrzahl von Abschnitten weist unterschiedliche Breiten w0, w1 und w2 auf, die antisymmetrisch um einen Vorhang 404 angeordnet sind. Ein Sensor 406 ist vertikal unter der Gitterstruktur 402 angeordnet.
Einige Ausführungsbeispiele können auf einer „codierten Maske“ mit einem „aNN“ zur Bildanalyse basieren. Wenn zum Beispiel eine präzise hergestellte, integrierte, codierte Maske verwendet wird, kann ein vortrainiertes aNN in den Chip geladen werden und es besteht möglicherweise nicht die Notwendigkeit zum Online-Lernen (was eine unflexible aber einfache und kostengünstige Implementierung des aNN sein kann). Alternativ kann eine unpräzise codierte Maske oder eine zufällig codierte Maske (integriert oder angeordnet) verwendet werden, wobei zumindest ein Chip-für-Chip-Training des aNN notwendig sein kann. Zum Beispiel kann ein Auslesen einer Sensordatenausgabe für ein Testobjekt ausgeführt werden, und ein aNN kann unter Verwendung eine Computers (z.B. eines Personal-Computers) mit tatsächlichen Chip-individuellen Sensordaten trainiert werden und das individuell trainierte aNN kann in den Chip geladen werden.
Bei zumindest einigen Ausführungsbeispielen kann eine Szene durch einen Sensor hinter einer Maske erfasst werden. Eine Beabstandung (oder Dicke) zwischen dem Sensor und der Maske kann zum Beispiel ca. 0,5 mm sein. Die Sensormessungen können an ein aNN mit einer Eingangsschicht, einer oder mehreren (z.B. drei) verdeckten Schichten und einer Ausgangsschicht bereitgestellt werden und das aNN kann eine Merkmals-Detektion signalisieren. Der Sensor und die Maske können auf einer einzelnen Masken-Sensor-Anordnung implementiert sein, zum Beispiel auf demselben Chip oder innerhalb desselben Chipgehäuses.
Zumindest einige Ausführungsbeispiele können auf dem Einsetzen künstlicher Intelligenz am Rand des Netzwerks basieren, da es verbesserte Sicherheit, Privatsphäre und Wirtschaftlichkeit ermöglichen kann, was die Industrie auffordert, Daten an dem Endknoten zu verarbeiten. Daten können so früh wie möglich umgewandelt werden. Wenn nicht alle Bilder übertragen werden, die von (mehreren) Kameras gesammelt werden, um eine Aktion auszulösen, können Leistung, Kosten und Datengröße reduziert werden.
Zumindest einige Ausführungsbeispiele können eine Erweiterung, ein Filter wie beispielsweise ein Farbfilter vor oder hinter der Apertur-codierten Maske, aufweisen. Das Farbfilter kann ein zusätzliches Farbfilter sein oder ein Farbfilter kombiniert mit der Apertur-codierten Maske, und kann das Einschränken eines Farbbereichs (d.h. Wellenlänge) der Eingabe (z.B. der elektromagnetischen Strahlung) ermöglichen.
Eine Kombination von zumindest einem Ausführungsbeispiel mit einem integrierten, abstimmbaren Fabry-Pérot-Wellenlängen-Filter kann das dynamische Auswählen eines Farbbereichs ermöglichen; die ausgewählte Farbe kann mit einer Spannung abstimmbar sein. 5 zeigt ein beispielhaftes, abstimmbares Fabry-Pérot-Wellenlängen-Filter basierend auf zwei Bragg-Spiegeln 502, 504, die zum Weiterleiten von elektromagnetischer Strahlung, die rotem Licht 510, orangem Licht 520, grünem Licht 530 und blauem Licht 540 entspricht, durch Einstellen einer Spannung 506, ausgebildet sein können.
Zumindest einige Ausführungsbeispiele der Vorrichtung können eine Apertur-codierte Maske, einen Sensor, ein aNN und einen Ausgang aufweisen (alle z.B. integriert auf einem Chip oder innerhalb eines Gehäuses). Unterschiedliche Maskentypen der Apertur-codierten Maske können MURA, hexagonal (HURA), Pseudozufalls-, Zufalls- oder Chip-individuelle (Masken) sein. Eine Distanz der (codierten) Maske zu dem Sensor kann klein sein, die Maske kann im Wesentlichen direkt auf dem Sensor sein. Zum Beispiel kann die Vorrichtung linsenslos sein. Der Sensor kann ein Sensor für sichtbares Licht oder einen Teil seines Spektrums sein (z.B. mit einem extra Filter, das elektromagnetische Strahlung außerhalb des sichtbaren Lichtspektrums blockiert). Alternativ oder zusätzlich kann der Sensor ein Sensor für IR (Infrarot) Licht oder thermische Emission oder einen Teil seines Spektrums sein, zum Beispiel mit einem extra Filter, das elektromagnetische Strahlung außerhalb des Infrarotspektrums blockiert. Alternativ oder zusätzlich kann der Sensor ein Sensor für UV (ultraviolettes) Licht oder einen Teil seines Spektrums sein (z.B. mit einem extra Filter, das elektromagnetische Strahlung außerhalb des ultravioletten Lichtspektrums blockiert).
Bei verschiedenen Ausführungsbeispielen kann die Vorrichtung unterschiedliche aNN-Typen aufweisen, z.B. mit oder ohne Selbstlernen (z.B. vortrainiert). Zum Beispiel kann das aNN unter Verwendung eines RRAM implementiert sein.
Zum Beispiel kann ein Farbfilter für einfallende, elektromagnetische Strahlung zu der Vorrichtung addiert werden. Zum Beispiel kann ein abstimmbares Farbfilter addiert werden, z.B. ein abstimmbares Fabry-Pérot-Wellenlängen-Filter. Zum Beispiel kann das aNN und der Sensor z.B. innerhalb desselben Halbleiter- (z.B. Silizium-) Substrats oder unter Verwendung gestapelter Chips unter Verwendung von Silizium-Durchkontaktierungen integriert sein. Z.B. kann die Vorrichtung einen integrierten Mikrocontroller für sogar noch intelligentere Sensor-Anwendungen aufweisen. Zum Beispiel kann die Vorrichtung ausgebildet sein, um eine Gesichtserkennung, Gesten-Detektion und/oder Bewegungsdetektion auszuführen.
Weitere Details und Aspekte des linsenlosen, intelligenten optischen Sensors werden in Verbindung mit dem vorgeschlagenen Konzept oder einem oder mehreren vorstehend (z. B. 1a bis 2) beschriebenen Beispielen erwähnt. Der linsenlose, intelligente optische Sensor kann ein oder mehrere zusätzliche optionale Merkmale aufweisen, die einem oder mehreren Aspekten des vorgeschlagenen Konzepts oder einem oder mehreren vor- oder nachstehend beschriebenen Beispielen entsprechen.
Die Aspekte und Merkmale, die zusammen mit einem oder mehreren der vorher detaillierten Beispiele und Figuren beschrieben sind, können auch mit einem oder mehreren der anderen Beispiele kombiniert werden, um ein gleiches Merkmal des anderen Beispiels zu ersetzen oder um das Merkmal in das andere Beispiel zusätzlich einzuführen.
Beispiele können weiterhin ein Computerprogramm mit einem Programmcode zum Ausführen eines oder mehrerer der obigen Verfahren bereitstellen, wenn das Computerprogramm auf einem Computer oder Prozessor ausgeführt wird. Schritte, Operationen oder Prozesse von verschiedenen, oben beschriebenen Verfahren können durch programmierte Computer oder Prozessoren ausgeführt werden. Beispiele können auch Programmspeichervorrichtungen, z. B. Digitaldatenspeichermedien, abdecken, die maschinen-, prozessor- oder computerlesbar sind und maschinenausführbare, prozessorausführbare oder computerausführbare Programme von Anweisungen codieren. Die Anweisungen führen einige oder alle der Schritte der oben beschriebenen Verfahren aus oder verursachen deren Ausführung. Die Programmspeichervorrichtungen können z. B. Digitalspeicher, magnetische Speichermedien wie beispielsweise Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare Digitaldatenspeichermedien umfassen oder sein. Weitere Beispiele können auch Computer, Prozessoren oder Steuereinheiten, die zum Ausführen der Schritte der oben beschriebenen Verfahren programmiert sind, oder (feld-)programmierbare Logik-Arrays ((F)PLAs = (Field) Programmable Logic Arrays) oder (feld-)programmierbare Gate-Arrays ((F)PGA = (Field) Programmable Gate Arrays), die zum Ausführen der Schritte der oben beschriebenen Verfahren programmiert sind, abdecken.
Durch die Beschreibung und Zeichnungen werden nur die Grundsätze der Offenbarung dargestellt. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich ausdrücklich nur Lehrzwecken dienen, um den Leser beim Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen. Alle hiesigen Aussagen über Grundsätze, Aspekte und Beispiele der Offenbarung sowie konkrete Beispiele derselben sollen deren Entsprechungen umfassen.
Ein als „Mittel für...“ bezeichneter Funktionsblock, der eine bestimmte Funktion ausführt, kann sich auf eine Schaltung beziehen, die zum Durchführen einer bestimmten Funktion ausgebildet ist. Somit kann ein „Mittel für etwas“ als ein „Mittel ausgebildet für oder geeignet für etwas“ implementiert sein, z. B. eine Vorrichtung oder eine Schaltung, die ausgebildet ist für oder geeignet ist für die jeweilige Aufgabe.
Funktionen verschiedener in den Figuren gezeigter Elemente einschließlich jeder als „Mittel“, „Mittel zum Bereitstellen eines Sensorsignals“, „Mittel zum Erzeugen eines Sendesignals“, etc. bezeichneter Funktionsblöcke kann in Form dedizierter Hardware, z. B „eines Signalanbieters“, „einer Signalverarbeitungseinheit“, „eines Prozessors“, „einer Steuerung“ etc. sowie als Hardware fähig zum Ausführen von Software in Verbindung mit zugehöriger Software implementiert sein. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzelnen dedizierten Prozessor, durch einen einzelnen gemeinschaftlich verwendeten Prozessor oder durch eine Mehrzahl von individuellen Prozessoren bereitgestellt sein, von denen einige oder von denen alle gemeinschaftlich verwendet werden können. Allerdings ist der Begriff „Prozessor“ oder „Steuerung“ bei Weitem nicht auf ausschließlich zur Ausführung von Software fähige Hardware begrenzt, sondern kann Digitalsignalprozessor-Hardware (DSP-Hardware; DSP = Digital Signal Processor), Netzprozessor, anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit), feldprogrammierbares Logik-Array (FPGA = Field Programmable Gate Array), Nurlesespeicher (ROM = Read Only Memory) zum Speichern von Software, Direktzugriffsspeicher (RAM = Random Access Memory) und nichtflüchtige Speichervorrichtung (storage) umfassen. Sonstige Hardware, herkömmliche und/oder kundenspezifische, kann auch eingeschlossen sein.
Ein Blockdiagramm kann zum Beispiel ein detailliertes Schaltdiagramm darstellen, das die Grundsätze der Offenbarung implementiert. Auf ähnliche Weise können ein Flussdiagramm, ein Ablaufdiagramm, ein Zustandsübergangsdiagramm, ein Pseudocode und dergleichen verschiedene Prozesse, Operationen oder Schritte repräsentieren, die zum Beispiel im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor explizit gezeigt ist. In der Beschreibung oder in den Patentansprüchen offenbarte Verfahren können durch eine Vorrichtung implementiert werden, die ein Mittel zum Ausführen eines jeden der jeweiligen Schritte dieser Verfahren aufweist.
Es versteht sich, dass die Offenbarung mehrerer, in der Beschreibung oder den Ansprüchen offenbarter Schritte, Prozesse, Operationen oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden soll, sofern dies nicht explizit oder implizit anderweitig, z. B. aus technischen Gründen, angegeben ist. Daher werden diese durch die Offenbarung von mehreren Schritten oder Funktionen nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind. Ferner kann bei einigen Beispielen ein einzelner Schritt, Funktion, Prozess oder Operation mehrere Teilschritte, -funktionen, -prozesse oder -operationen einschließen und/oder in dieselben aufgebrochen werden. Solche Teilschritte können eingeschlossen sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht explizit ausgeschlossen sind.
Weiterhin sind die folgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Während jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs umfassen können. Solche Kombinationen werden hier explizit vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Ferner sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.

Claims

Eine Vorrichtung (10), umfassend: ein Sensormodul (12), umfassend: ein elektromagnetischer Strahlungssensor (12a), der zum Bereitstellen elektromagnetischer Strahlungssensordaten ausgebildet ist, und eine codierte Maske (12b), die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor (12a) auftrifft; und ein Rechenmodul (14), das ausgebildet ist zum: Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor (12a), Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, und Ausgeben von Informationen bezogen auf die detektierte Eigenschaft über einen Ausgang (16).
Die Vorrichtung (10) gemäß Anspruch 1, wobei die elektromagnetischen Strahlungssensordaten rohen elektromagnetischen Strahlungssensordaten entsprechen, und/oder wobei die elektromagnetischen Strahlungssensordaten unverarbeiteten elektromagnetischen Strahlungssensordaten entsprechen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um die Eigenschaft unter Verwendung des künstlichen neuronalen Netzes zu detektieren, ohne eine Bilddarstellung der elektromagnetischen Strahlungssensordaten zu berechnen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) ein linsenloses Sensormodul (12) ist.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) und das Rechenmodul (14) auf einem einzelnen Chip implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) innerhalb oder auf dem gleichen Halbleitersubstrat implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) innerhalb des gleichen Halbleitergehäuses implementiert sind, und/oder wobei das Sensormodul (12) und das Rechenmodul (14) unter Verwendung eines Chipstapels implementiert sind.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei die codierte Maske (12b) eine Apertur-codierte Maske ist, und wobei die Apertur-codierte Maske einem Element der Gruppe von einem modifizierten einheitlich redundanten Array, einem hexagonalen einheitlich redundanten Array, einem Stiftloch, einer Apertur-codierten Maske mit einem Pseudozufallsmuster, einer Apertur-codierten Maske mit einem Zufallsmuster, einer Apertur-codierten Maske mit einem Chip-spezifischen oder Chip-individuellen Muster und einer Apertur-codierten Maske mit einem annähernd flachen Fourier-Spektrum entspricht, und/oder wobei die Apertur-codierte Maske eine Apertur-codierte, optische Maske ist.
Die Vorrichtung (10) gemäß einem der Ansprüche 1-4, wobei die codierte Maske (12b) eine Gitter-codierte Maske ist.
Die Vorrichtung (100) gemäß einem der vorangehenden Ansprüche, wobei eine Distanz zwischen dem elektromagnetischen Strahlungssensor (12a) und der codierten Maske (12b) weniger als 5mm ist, und/oder wobei die elektromagnetische Strahlung zumindest eines ist aus ultraviolettem Licht, sichtbarem Licht und Infrarotlicht, und/oder wobei die Eigenschaft eine optische Eigenschaft von zumindest einem Objekt in der Nähe der Vorrichtung (10) ist, wobei die elektromagnetische Strahlung durch das zumindest eine Objekt beeinflusst wird.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um sichtbares Licht zu erfassen, und/oder wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um Infrarotlicht zu erfassen, und/oder wobei der elektromagnetische Strahlungssensor (12a) ausgebildet ist, um ultraviolettes Licht zu erfassen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul ferner ein Filter aufweist, das ausgebildet ist, um elektromagnetische Strahlung außerhalb eines vordefinierten Frequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß Anspruch 9, wobei das Sensormodul (12) ferner ein optisches Filter aufweist, das ausgebildet ist, um Licht außerhalb von zumindest einem eines sichtbaren Lichtfrequenzbereichs, eines Infrarotlicht-Frequenzbereichs und eines ultravioletten Lichtfrequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Sensormodul (12) ferner ein abstimmbares Farbfilter aufweist, das ausgebildet ist, um Licht außerhalb eines einstellbaren Frequenzbereichs zu blockieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netz unter Verwendung resistiver Direktzugriffsspeicher-Elemente implementiert ist, um seine Funktion zu konfigurieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ferner eine Allzweck-Verarbeitungseinheit aufweist, die ausgebildet ist, um die detektierte Eigenschaft zu verarbeiten, um ein Steuerungssignal zu erzeugen, um eine externe Entität zu steuern, und/oder wobei das Rechenmodul (14) ferner eine Allzweck-Verarbeitungseinheit aufweist, die ausgebildet ist, um das künstliche neuronale Netz zu emulieren.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ausgebildet ist, um eine optische Eigenschaft von zumindest einem Objekt zu klassifizieren, die die elektromagnetische Strahlung beeinflusst, unter Verwendung des künstlichen neuronalen Netzes, wobei das Rechenmodul (14) ausgebildet ist, um eine Gesichtserkennung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Gestendetektion oder Gesteninterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Bewegungsdetektion oder Bewegungsinterpretation basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen, und/oder wobei das Rechenmodul (14) ausgebildet ist, um eine Bilddarstellung der elektromagnetischen Strahlung basierend auf den elektromagnetischen Strahlungssensordaten unter Verwendung des künstlichen neuronalen Netzes auszuführen.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das künstliche neuronale Netz zumindest zwei verdeckte Schichten aufweist.
Die Vorrichtung (10) gemäß einem der vorangehenden Ansprüche, wobei das Rechenmodul (14) ausgebildet ist, um das künstliche neuronale Netz zumindest teilweise basierend auf der codierten Maske zu trainieren, oder wobei das künstliche neuronale Netz einem vortrainierten künstlichen neuronalen Netz entspricht.
Ein Verfahren, umfassend: Erfassen (110) einer elektromagnetischen Strahlung, die durch eine codierte Maske moduliert ist, um elektromagnetische Strahlungssensordaten zu erhalten; Detektieren (120) einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes; Ausgeben (130) von Informationen bezogen auf die detektierte Eigenschaft.
Ein Verfahren zum Herstellen einer Vorrichtung, das Verfahren umfassend: Bilden (210) eines Sensormoduls durch Bilden (212) eines elektromagnetischen Strahlungssensors, der ausgebildet ist, um die elektromagnetischen Strahlungssensordaten bereitzustellen, und Bilden (214) einer codierten Maske, die ausgebildet ist, um elektromagnetische Strahlung zu modulieren, die auf den elektromagnetischen Strahlungssensor auftrifft; Bilden (220) eines Rechenmoduls, das ein künstliches neuronales Netz aufweist, wobei das Rechenmodul ausgebildet ist zum: Erhalten der elektromagnetischen Strahlungssensordaten von dem elektromagnetischen Strahlungssensor; Detektieren einer Eigenschaft aus den elektromagnetischen Strahlungssensordaten unter Verwendung eines künstlichen neuronalen Netzes, und Ausgeben von Informationen bezogen auf die detektierte Eigenschaft.
Das Verfahren gemäß Anspruch 18, wobei das Bilden (220) des Rechenmoduls ferner das zumindest teilweise Trainieren des künstlichen neuronalen Netzes unter Verwendung des Rechenmoduls basierend auf der codierten Maske aufweist, und/oder wobei das Bilden (220) des Rechenmoduls ferner das Laden von Informationen bezogen auf ein vortrainiertes künstliches neuronales Netz in das Rechenmodul aufweist, um das künstliche neuronale Netz zu erhalten.
Das Verfahren gemäß einem der Ansprüche 18 oder 19, wobei das Bilden (210) des Sensormoduls folgendes umfasst: Bilden (212a) des elektromagnetischen Strahlungssensors innerhalb eines Halbleitersubstrats eines Halbleiterbauelements, umfassend die Vorrichtung; Bilden (214a) der codierten Maske auf oder innerhalb des Halbleitersubstrats; und Bilden (216) eines Hohlraums zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske, wobei eine vertikale Distanz zwischen dem elektromagnetischen Strahlungssensor und der codierten Maske innerhalb des Hohlraums kleiner ist als 1 mm.