DE112015001704T5

DE112015001704T5 - Bildsensor mit hoher Auflösung, Frame-Rate und niedrigem Stromverbrauch

Info

Publication number: DE112015001704T5
Application number: DE112015001704.6T
Authority: DE
Inventors: Peter Deane
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2014-04-07
Filing date: 2015-04-07
Publication date: 2016-12-29
Also published as: US9952323B2; CN106165399A; US10295669B2; JP2017520134A; US20180231660A1; JP6483725B2; US10605922B2; US20190277970A1; CN106165399B; KR102409952B1; WO2015157341A1; KR20160142839A; US20150285625A1

Abstract

Offenbart werden eine Vorrichtung und ein Verfahren zur Ermittlung eines Abstandes zu einem Objekt unter der Verwendung eines binären, ereignisbasierten Bildsensors. Gemäß einem Aspekt enthält der Bildsensor eine Speicherschaltung und eine Adressdekodierschaltung. Gemäß einem Aspekt kann die Aktivierung einer Fotodiode des Bildsensorarrays durch den Empfang eines oder mehrerer Photonen direkt als Eingang in eine Logikschaltung verwendet werden. Gemäß einer Ausführungsform enthält der Bildsensor Fotodioden, die in einem Lawinenfotodiodenmodus oder Geigermodus betrieben werden können. Gemäß einer Ausführungsform enthält der Bildsensor Fotodioden, die als schwellwertbasierte Zählpixel betrieben werden können. Der Bildsensor kann aus einem oder mehreren Substraten mit wenigstens einem ersten und zweiten Spannungsabschnitt hergestellt sein.

Description

Referenzdaten
Diese Patentanmeldung beansprucht die Priorität der am 07. April 2014 angemeldeten vorläufigen US-Patentanmeldung Nr. 61/976,435, der am 29. Oktober 2014 angemeldeten vorläufigen US-Patentanmeldung Nr. 62/072,320 und der am 29. Oktober 2014 angemeldeten vorläufigen US-Patentanmeldung Nr. 62/072,327, deren Inhalte vollumfänglich hier umfasst sind.
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf das Gebiet integrierter Schaltkreise. Insbesondere betrifft es einen Bildsensor, basierend auf Lawinenfotodioden, die die Entfernung zu Objekten messen.
Hintergrund
Entfernungsbestimmung ist ein Prozess, bei dem die Entfernung von einem Detektor zu einem gewünschten Objekt ermittelt wird. Konventionelle Entfernungsmesssysteme haben eine oder mehrere Funktionen, umfassend Annäherungserfassung, Fernerfassung und/oder dreidimensionale (3D) Abbildungen. Diese Systeme enthalten typischerweise eine Abfragequelle (z. B. eine Lichtquelle) zur Beleuchtung des gewünschten Objektes und ein Bildsensorarray (z. B. einen komplementären Metalloxidhalbleiter (CMOS) Bildsensor) zum Erfassen eines Antwortsignals aus der Wechselwirkung der Abfragequelle und des Objektes. Konventionelle Lichtabfragesysteme können Bilder aufnehmen unter Verwendung eines sequentiellen Frame basierten Bildsensors und wenden Bildverarbeitung und Mustererkennungsalgorithmen auf die erfassten Bilder an. Die Algorithmen basieren typischerweise auf der Kenntnis der projizierten Übertragungsmuster (z. B. strukturiertes Licht) oder Phasen korrelierten Strahlablenkungen der Abfragequelle. Typische Bildsensoren benötigen die Verwendung vieler Photonen (z. B. 1000 oder mehr Photonen) für jeden Pixel, um ein optisches Signal mit einem angemessenen Signal-zu-Rauschverhältnis (SNR) zu erreichen, wegen der eingeschränkten Empfindlichkeit von jedem der entsprechenden Pixel. Die SNR-Anforderungen des gewöhnlichen Bildsensors andererseits erzeugen bestimmte Anforderungen an die Leistung der Lichtquelle (z. B. kann der Abfragestrahl im sichtbaren Wellenlängenbereich und/oder dem Infrarot (IR) Wellenlängenbereich liegen). Anders ausgedrückt muss der Abfragestrahl in der Lage sein, eine angemessene Anzahl Photonen für die Erfassung bereit zu stellen, um die notwendige Information in Bezug auf die gescannte Umgebung (oder Objekt) heraus zu ziehen.
Ein Bildsensor mit erhöhter Empfindlichkeit (z. B. einer mit Lawinenfotodioden) ermöglicht die Signalerfassung mit weniger einfallenden Photonen der Abfragequelle und wird trotzdem empfindlicher in Bezug auf das Hintergrundrauschen. Wenn die Entfernung zu einem gewünschten Objekt groß ist, haben die Photonen der Abfragequelle eine große Flugzeit (TOF-Time of Flight). Für ein System, basierend auf reflektierter (oder zurückgestreuter) Beleuchtung des gewünschten Objektes, erfordert die radiometrische Streuung der Abfragequelle (durch 1/R⁴, wobei R = die Entfernung entsprechend dem Ausgangs- und -Zurückpfades), das die Leistung der Abfragequelle groß ist, um ein angemessenes SNR über die großen Erfassungsabstände hin bereit zu stellen. In solchen Fällen kann das Signal der „Szene” durch den Hintergrund überdeckt werden (z. B. hohe Strahlung aufgrund des hellen sonnigen Tages), was bewirkt, dass die Fotodioden des Bildsensors vor dem Empfang des Abfragesignals, das von dem gewünschten Objekt zurück kommt, aktiviert wird. Traditionell beschränken TOF-Abstandsprobleme, insbesondere der Energieverbrauch (der typischerweise mit der Entfernung der Abfrageobjekte zunimmt), die Verwendung von Vorrichtungen mit kleinem Formfaktor, z. B. Handheld und/oder tragbare Vorrichtungen für Anwendungen für beispielsweise virtuelle und/oder vergrößerte Realität. Konventionelle TOF-basierte Systeme sind zu energiehungrig und zu langsam (in Bezug auf Latenz und Bildrate), um in Mobiltelefonen, tragbaren Geräten und andere mobilen Anwendungen praktisch Anwendung zu finden.
In konventionellen Systemen wird das gesamte Bildsensorarray gesampelt (alle Pixel), um ein Graustufenbild zu erzeugen. Mit diesem System ist es nicht möglich, eine hohe Bildrate mit geringem Energiebedarf zu erzeugen, falls ein High-Definition (viele Pixel, z. B. 1280×720) verwendet wird – da der Datenstrom zu groß ist. Außerdem verwenden Bildsensoren mit High-Resolution typischerweise Speicher-inspirierte Arrayadressen und Auslesearchitekturen, was die temporär erhältliche Information schwer begrenzt, wobei diese temporäre Information mit der Ankunftszeit der Photonen bei dem Sensor in Beziehung steht. Eine große Menge an Pixeldaten muss aussortiert werden, um die gewünschten Ereignisse in dem gewöhnlichen Bildsensor zu finden, was ein Prozess mit hoher Energieineffizienz ist. Unter Berücksichtigung der großen Geschwindigkeit von Licht (etwa 0,3 Meter pro Nanosekunde) wäre selbst ein System mit einer feinen Zeitauflösung von beispielsweise 0,5 Nanosekunden beschränkt auf eine räumliche Auflösung von 0,5 Meter, was für viele Anwendungen zu grob wäre.
Zusammenfassung
Diese Zusammenfassung wird erstellt, um eine Auswahl an Konzepten in vereinfachter Form einzuführen, wie sie weiter unten detailliert beschrieben werden. Diese Zusammenfassung soll nicht die Kernelemente oder essentiellen Elemente des beanspruchten Gegenstandes identifizieren und es ist auch nicht beabsichtigt, diese Zusammenfassung zu verwenden, um den Umfang des beanspruchten Gegenstandes zu begrenzen.
Gemäß einem Aspekt stellen Ausführungsformen gemäß der vorliegenden Beschreibung eine Vorrichtung und ein Verfahren zum Erfassen eines Abstandes (z. B. Entfernung) zu einem Objekt bereit. Die Vorrichtung umfasst eine Abfragequelle zur Beleuchtung eines Objektes und einen Bildsensor mit hochsensitiven Fotodetektorvorrichtungen, die von einem Objekt reflektierte Beleuchtung zu erfassen und um aus der erfassten Beleuchtung ein Signal zu erzeugen. Eine Analyseschaltung, die mit der Abfragequelle und dem Bildsensor zusammenarbeitet ist in der Lage die Entfernung zu einem Objekt, basierend auf Triangulation, die von dem Bildsensorsignal erhalten wird, entsprechend der von dem Objekt reflektierten empfangen Beleuchtung zu ermitteln. Gemäß einer Ausführungsform wird eine Untermenge der Fotodetektorvorrichtung in dem Bildsensor gleichzeitig mit der Aktivierung der Abfragequelle aktiviert, wobei diese Aktivierung ein Entfernungsmesszeitintervall der Vorrichtung bestimmt und in diesem Zeitintervall eine Entfernung durch den Ort der entsprechenden Fotodetektorvorrichtung in dem Bildsensor, der in Antwort auf das einfallende reflektierte Licht ein Signal erzeugt, ermittelt wird. Gemäß einer Ausführungsform wird der Abstand zu einem Objekt, basierend auf einer Ladungsmenge, die in den Fotodetektorvorrichtungen während der Messzeitdauer in Antwort auf das einfallende reflektierte Licht gespeichert wird.
Gemäß Ausführungsformen der vorliegenden Erfindung wird ein System zur Messung einer Entfernung zu einem Projekt bereitgestellt. Das System enthält eine photonische Abfragequelle, die konfiguriert ist, um einen Abfragestrahl bei einem kontrollierten Winkel auszusenden. Der Abfragestrahl dient der Beleuchtung des Objektes. Das System enthält einen Bildsensor, der zusammen mit der Abfragequelle arbeitet und mit dieser gekoppelt ist. Der Bildsensor ist geeignet, um einen reflektierten Strahl, der durch die Beleuchtung des Objektes (durch den Abfragestrahl) zu empfangen, und der Bildsensor erzeugt ein Signal, basierend auf einer Charakteristik des reflektierten Strahls. Das System enthält eine Analyseschaltung, die zusammen mit der Abfragequelle arbeitet und mit dieser und dem Bildsensor gekoppelt ist. Die Analyseschaltung ist geeignet, um eine Entfernung zu einem Objekt, basierend auf dem geregelten Winkel der photonischen Abfragequelle und basierend auf dem von dem Bildsensor erzeugten Signal zu ermitteln.
Ein Bildsensor kann auf verschiedene Arten realisiert werden, um in einem Entfernungsmesssystem eingesetzt zu werden, inklusive Bildsensorarchitekturen, die geeignet sind, um Dreiecksmessverfahren auf ein Objekt anzuwenden, unter Verwendung der Adresse eines aktivierten Pixels und der Flugzeitinformation (Time-of-Flight-Information), bei den hierin beschriebenen Pixelniveau durchzuführen. Gemäß einem Aspekt erlaubt die Verwendung einer hochsensitiven Fotodiode (z. B. einer SPAD) die Identifizierung eines speziellen Ortes in dem Bildsensorarray, wenn das von einem Objekt reflektierte Licht einfällt, mit großer räumlicher Auflösung. Der gesamte Bildsensor kann binär ausgeführt sein, wenn ein Latch das direkt von einem SPAD Auslöseereignis getriggert wird. Alternativ dazu kann die hochempfindliche Fotodiode als ein Trigger in einem Pixelniveau (TOF 3D-System angewandt werden, bei dem ein Ladeniveau des Pixels proportional zu der Flugzeit von Photonen von der Abfragequelle zu dem erfassten Objekt und zurück zu dem Bildsensor ist.
Ein Bildsensor gemäß der Ausführungsformen der vorliegenden Erfindung kann mit gestapelter Substratorientierung hergestellt werden, wobei das oberste Substrat (das ist das Substrat, auf das die Beleuchtung einfällt) fotoempfindliche Elemente (z. B. Lawinenfotodioden) enthält und das unterste Substrat eine Kontrolllogik und Schaltkreise entsprechend der oben beschrieben Funktionalität enthält.
Ausführungsformen gemäß der vorliegenden Erfindung stellen ein 3D-Abbildungssystem bereit mit einer komplett digitalen Bildsensorarchitektur, wie im Folgenden beschrieben.
Gemäß einem Aspekt enthält ein Verfahren zur Erfassung eines optischen Ereignisses die Abfrage eines Objektes mit einem photonischen Abfragestrahl, das gleichzeitige Aktivieren eines Arrays an Pixeln mit der Aktivierung des photonischen Abfragestrahls, wobei die Pixel Lawinenfotodioden enthalten und ein Vorspannungsniveau der Lawinenfotodioden entsprechend der Pixelausrichtung in einem des Geigermodus oder des Lawinenmodus; Empfangen an dem Array von einem reflektierten Strahl des Abfrageobjektes; Erzeugen eines Signals entsprechend dem Einfallsort des reflektierten Strahls auf dem Array, wobei das Signal wenigstens einem aus der Pixel-Arrayadresse und einer Flugzeit (TOF) des photonischen Abfragestrahls und des reflektierten Strahls entspricht; und Erfassen eines Abstandes des Objektes basierend auf dem Signal.
Gemäß einer Ausführungsform wird die Abfrage auf einem geregelten Winkel des photonischen Abfragestrahls durchgeführt, wobei die Abfragequelle, die den Abfragestrahl aussendet und das Array in einer geregelten Entfernung voneinander angeordnet sind und wobei das Erfassen der Entfernung auf einem Dreiecksberechnungsverfahren des geregelten Winkels basiert und die geregelte Entfernung und ein Einfallswinkel durch die Pixel-Arrayadresse des reflektierten Strahls basiert. Gemäß einer weiteren Ausführungsform umfasst das Aktivieren des Arrays ein Verschalen, wobei das Verschalen die Aktivierung einer Vielzahl an Untergruppen des Arrays auf Zeit variable Art umfasst, wobei ein Untergruppenaktivierungszeitintervall für jede Untergruppe der Vielzahl an Untergruppen auf einem Wert des geregelten Winkels und einer Rate, mit der der geregelte Winkel variiert wird, basiert.
Gemäß einer weiteren Ausführungsform ist die Erzeugung des Signals auf das Empfangen des reflektierten Strahls durch einen Pixel in einer aktivierten Untergruppe der Vielzahl an Untergruppen gestützt und außerdem jegliche Erfassung des reflektierten Strahls durch einen Rest der Pixel in der aktivierten Untergruppe nicht enthalten ist in dem Signal. Gemäß einer Ausführungsform enthält das Erzeugen des Signals das Erzeugen eines gesetzten Signals durch eine Latch-Schaltung eines Pixels des Arrays in direkter Antwort auf das Pixel, das zum reflektierten Strahl erhält, wobei das gesetzte Signal wenigstens eines aus der Zeilenadresse und einer Spaltenadresse des Pixels an wenigstens eine aus einer Spaltendecodierschaltung und einer Zeilendecodierschaltung weiterleitet. Gemäß einer weiteren Ausführungsform entspricht das gesetzte Signal einem positiven Spannungspuls, der durch einen erdungsreferenzierten Fotodiodenstrom erzeugt wird. Gemäß einer Ausführungsform enthält das Erzeugen des Signals ein Spaltendecodierungssignal bei einem Pixel des Arrays in Antwort auf das Pixel, das den reflektierten Strahl empfängt, das Spaltendecodierungssignal die Spaltenadresse des Pixels an eine Zeilen-Latch-Schaltung weitergibt. Gemäß einer Ausführungsform enthalten Pixel des Arrays wenigstens eines von einem Ladungsspeicherelement und außerdem die Aktivierung des photonischen Abfragestrahls und die Initialisierung des Arrays an Lawinenfotodioden und die Beendigung einer Änderung des Ladeniveaus von wenigstens einem der Ladungsspeicherelemente während eines Zeitintervalls zwischen der Emission des Abfragestrahls und dem Empfangen des von dem Objekt reflektierten Strahls, wobei außerdem ein Ladeniveau der TOF entspricht.
Gemäß einem Aspekt der vorliegenden Beschreibung enthält ein optischer Ereignissensor zur Erfassung eines optischen Ereignisses ein Array an Pixeln, die gemeinsam mit einer photonischen Abfragequelle aktiviert werden können, wobei die Pixel Lawinenfotodioden enthalten, ein Spannungs-/Vorspannungsniveau der Lawinenfotodioden einem Betrieb der Pixel in einem von einem Geigermodus und einem Lawinenmodus entspricht; wobei das Array an Pixeln betrieben werden kann, um einen von dem Objekt reflektierten Strahl an dem Array zu empfangen und um ein Signal entsprechend dem Einfallsort des reflektierten Strahls auf dem Array zu erzeugen, wobei das Signal wenigstens einem einer Pixel-Arrayadresse und einer Flugzeit (TOF) des Abfragestrahls und des reflektierten Strahls entspricht und wobei das Array an Pixeln geeignet ist, um einen Abstand zu den Objekt, basierend auf dem Signal, zu ermitteln.
Gemäß einer Ausführungsform wird das Objekt bei einem geregelten Winkel der photonischen Abfragequelle abgefragt und außerdem sind die photonische Abfragequelle und das Array an Pixeln in einer geregelten Entfernung zueinander angeordnet und die Entfernung wird, basierend auf einen Dreiecksmessverfahren des geregelten Winkels, ermittelt und die geregelte Entfernung und ein Einfallswinkel durch die Pixel-Arrayadresse des reflektierten Strahls ermittelt. Gemäß einer weiteren Ausführungsform ist das Array geeignet, um zu verblenden und enthält das Aktivieren einer Vielzahl an Untergruppen des Arrays in einer Zeit veränderlichen Art, wobei eine Untergruppenaktivierungszeitdauer für jede Untergruppe der Vielzahl an Untergruppen auf einem Wert des geregelten Winkels und einer Rate, bei dem der kontrollierte Winkel variiert wird, basiert. Gemäß einer weiteren Ausführungsform wird das Signal, basierend auf der Erfassung des reflektierten Strahls, von einem ersten Pixel einer aktiven Untergruppe der Vielzahl an Untergruppen erzeugt und jede Erfassung des reflektierten Strahls von einem Rest der Pixel in der Untergruppe ist nicht in dem Signal enthalten. Gemäß einer Ausführungsform des Signals enthält das Signal ein gesetztes Signal einer Latch-Schaltung eines Pixel des Arrays, wobei das gesetzte Signal in direkter Antwort auf das Pixel den reflektierten Strahl empfängt, wobei das gesetzte Signal wenigstens eines der Zeilenadressen und einer Spaltenadresse des Pixels an wenigstens eines der Spaltendecodierschaltung und einer Zeilendecodierschaltung weiterleitet. Gemäß einer weiteren Ausführungsform entspricht das gesetzte Signal einem positiven Spannungspuls, der sich aus einem erdreferenzierten Fotodiodenstrom ergibt. Gemäß einer Ausführungsform enthält das Signal ein Spannungsdecodierungssignal bei einem Pixel des Arrays, das Spannungsdecodierungssignal empfängt in Antwort auf das Pixel den reflektierten Strahl, wobei das Spaltendecodierungssignal die Spaltenadresse des Pixels an eine Zeilen-Latch-Schaltung weitergibt. Gemäß einer weiteren Ausführungsform enthält das Array an Pixeln ein erstes Substrat, das geeignet ist, um bei einer ersten Spannung betrieben zu werden und ein zweites Substrat, das geeignet ist, um bei einer zweiten Spannung betrieben zu werden, wobei die erste Spannung höher ist als die zweite Spannung und wobei die Fotodiode in dem ersten Substrat enthalten ist und wobei die Logik und die Steuerschaltung des Pixelarrays in dem zweiten Substrat enthalten sind. Gemäß einer Ausführungsform enthalten die Pixel des Arrays wenigstens ein Ladungsspannungselement und außerdem wobei die Aktivierung des photonischen Abfragestrahls und das Array der Lawinendioden betreibbar ist, um eine Änderung des Ladeniveaus des wenigstens einen Ladespeicherelements während eines Zeitraums zwischen einer Emission des Abfragestrahls und dem Empfangen des von einem Objekt reflektierten Strahls zu veranlassen und zu ändern und außerdem wobei das Ladeniveau der Flugzeit (TOF) entspricht.
Gemäß einem Aspekt der vorliegenden Beschreibung umfasst eine mobile Entfernungsmessvorrichtung einen Prozessor; einen Speicher, der operativ mit dem Prozessor verbunden ist; eine photonische Abfragequelle, die geeignet ist, um einen Abfragestrahl auszusenden, um ein Objekt zu beleuchten; und einen Bildsensor mit einem Pixelarray und entsprechenden Ladungsspeicherelementen, wobei der Bildsensor operativ mit der Abfragequelle und dem Prozessor gekoppelt ist, wobei der Bildsensor geeignet ist, um einen reflektierten Strahl der durch die Beleuchtung eines Objektes durch den Abfragestrahl erzeugt wurde, zu empfangen und um ein Signal, basierend auf dem reflektierten Strahl auf dem Array zu erzeugen, wobei die Aktivierung der Abfragequelle und des Bildsensors eine Änderung des Ladeniveaus der Ladespeicherelemente während einer Zeitdauer zwischen der Emission des Abfragestrahls und dem Empfang eines von dem Objekt reflektierten Strahls initiiert und terminiert und außerdem wobei das Ladeniveau von dem Signal umfasst ist; wobei der Prozessor betrieben werden kann, um das Signal zu empfangen und die Entfernungsinformation des Objektes, basierend auf dem Signal auszugeben.
Gemäß einer Ausführungsform enthält das Array an Pixeln ein Array von Lawinenfotodioden, die in dem Geigermodus arbeiten. Gemäß einer weiteren Ausführungsform enthalten die Ladungsspeicherelemente einen Kondensator, wobei der Kondensator geeignet ist, um nach dem Empfang eines Signals das von einer Fotodiode des entsprechenden Pixels in Antwort auf den Empfang des reflektierten Strahl erzeugt wurde, das Laden zu beenden.
Während eine hochempfindliche, binärartige Fotodiode für den Betrieb der Bildsensorarchitekturen der vorliegenden Beschreibung verwendet wird, können ebenso auch gewöhnliche (z. B. aktiv) Pixelarchitekturen verwendet werden für beide Bildsensorarten (z. B. für die Dreiecksberechnung mittels Pixeladressen und für die Pixelniveau-TOF-Information). Der aktive Pixel erfordert ausreichende Empfindlichkeit, um eine sinnvolle Anzahl an Abfragequellenphotonen zu erfassen, um ein Spannungssignal zu erzeugen. Um jedoch einen Spannungsschwellwertansatz zu verwenden, können digitale Bildsensorarchitekturen gemäß der hier beschriebenen Ausführungsformen mit aktiven Pixeln realisiert werden – wobei aber bei der Verwendung von Lawinenfotodioden oder SPADs verwendet werden, sind keine Leseverstärker oder Analog-zu-Digital-Wandler notwendig für den Bitsensor.
Daher wird eine Menge an Bildsensorarchitekturimplementierungen betrachtet – Dreiecksverfahrensmessung unter Verwendung eines SPAD-Arrays; Dreiecksverfahrensmessung unter Verwendung eines aktiven Pixelarrays; TOF unter Verwendung eines SPAD-Arrays; und TOF unter Verwendung eines aktiven Pixelarrays. Jede dieser Architekturimplementierungen stellt viele Möglichkeiten zum Regeln des Betriebes des Bildsensors bereit. Die Möglichkeit, den Zeitpunkt zwischen der Aktivierung einer Abfragequelle und der Aktivierung eines Bildsensors zu ändern, erfordert die Regelung der Feldtiefe für ein Abfragefeld der Ansicht. Die Regelung der Ausgangsleistung der Abfragequelle ermöglicht Verbesserungen im Signal-zu-Rauschverhalten über das Umgebungslicht, genauso wie die Möglichkeit die Abfragequellenleistung für den gewünschten Bereich der Abfrage einzustellen – Objekte, die näher an dem Bildsensor angeordnet sind, benötigen weniger Beleuchtung als diejenigen, die weiter entfernt angeordnet sind. Die Ausgangsbildrate des Bildsensors kann durch Regeln der Anzahl der Pixel die für die vorliegende Messung aktiv sind, geändert werden. Diese Eigenschaften der Architekturen gemäß der vorliegenden Beschreibung ermöglichen eine Optimierung des Stromverbrauchs, der Bildrate und/oder der Bildauflösung eines 3D-Abbildungssystems.
Im Zusammenhang mit der vorliegenden Beschreibung bezieht sich der Ausdruck „Beleuchtung” allgemein auf eine elektromagnetische Welle im infraroten, sichtbaren und/oder ultravioletten Bereich.
In dem Zusammenhang der vorliegenden Beschreibung bezieht sich der Ausdruck „Multiplexer” auf einen elektrischen oder optoelektrischen Schalter mit Auswahleingängen, die entweder durch elektrische oder photonische Signal regelbar sind.
In dem Zusammenhang der vorliegenden Beschreibung bezieht sich der Ausdruck „Array” auf eine Anordnung von Elementen in R-Zeilen und C-Spalten, wobei R und C jeweils größer sind oder gleich als eins. Beispielsweise kann ein Array ein kompletter Satz an Fotodioden in einem Bildsensor und/oder Pixeln in einem Bildsensor sein. Außerdem kann R und C den gleichen oder ungleichen Wert aufweisen und ein Abstand zwischen den Zeilen und zwischen Spalten kann gleich oder ungleich sein. Die Ausdrücke „Unter-Gruppe” und „Untergruppe des Arrays” beziehen sich auf eine Gruppe von Arrayelementen, die kleiner ist als die Anzahl des kompletten Arrays, das entweder benachbart oder nicht-benachbart sein kann.
Das Vorangegangene ist eine Zusammenfassung und enthält daher notwendigerweise Vereinfachungen, Verallgemeinerungen und Weglassungen von Details; Daher ist es für den Fachmann klar, dass die Zusammenfassung lediglich zu Darstellungszwecken dient und nicht beabsichtigt ist in irgendeiner Weise zu beschränken. Andere Aspekte, erfinderische Merkmale und Vorteile der vorliegenden Erfindung, wie sie allein von den Ansprüchen definiert werden, werden durch die nichtbeschränkte und detaillierte Beschreibung im Folgenden klar.
Kurze Beschreibung der Figuren
Die beiliegenden Figuren, die eingebettet in einen Teil dieser Beschreibung sind, stellen Ausführungsformen der Erfindung dar und dienen zusammen mit der Beschreibung dazu, um die Prinzipien der Erfindung zu erklären:
1 zeigt ein beispielhaftes optisches Abfragesystem gemäß Ausführungsformen der vorliegenden Erfindung.
2 zeigt einen beispielhaften Lawinenfotodiodenpixel gemäß Ausführungsformen der vorliegenden Erfindung.
3 zeigt eine beispielhafte Strom-Spannungsbeziehung einer einzelnen Lawinenfotodiode gemäß Ausführungsform der vorliegenden Erfindung.
4 zeigt ein beispielhaftes optisches Abfragesystem, das in einer Umgebung mit einer Hintergrundstrahlungsquelle arbeitet gemäß Ausführungsformen der vorliegenden Erfindung.
5 zeigt eine beispielhafte schematische Darstellung einer Bildsensorarchitektur gemäß Ausführungsformen der vorliegenden Erfindung.
6 zeigt eine Darstellung einer Umgebung mit einer Vielzahl an Objekten zur Entfernungsbestimmung gemäß Ausführungsformen der vorliegenden Erfindung.
7 zeigt eine Darstellung einer Umgebung mit einer Vielzahl an Objekten zur Entfernungsbestimmung gemäß Ausführungsformen der vorliegenden Erfindung.
8 zeigt ein Ablaufdiagramm, das ein Verfahren zur Erfassung eines Abstandes zu einem Objekt darstellt gemäß Ausführungsformen der vorliegenden Erfindung.
9 zeigt ein beispielhaftes optisches Abfragesystem integriert in einer Host-Vorrichtung gemäß Ausführungsformen der vorliegenden Erfindung.
10 zeigt ein Blockdiagramm einer beispielhaften Pixelschaltung gemäß Ausführungsformen der vorliegenden Erfindung.
11 zeigt eine beispielhafte Pixelschaltung gemäß Ausführungsformen der vorliegenden Erfindung.
12 zeigt eine beispielhafte Pixelschaltung mit Puffer und Decoderelementen gemäß Ausführungsformen der vorliegenden Erfindung.
13 zeigt eine beispielhafte Schaltungslogik für Bildsensorspalten Selbst-Terminierung und Auslese-ripple-through-Funktionalität gemäß Ausführungsformen der vorliegenden Erfindung.
14 zeigt ein Blockdiagramm einer verbundenen Pixelschaltung gemäß Ausführungsformen der vorliegenden Erfindung.
15 zeigt eine schematische Darstellung einer Bildsensorarchitektur gemäß Ausführungsformen der vorliegenden Erfindung.
16 zeigt eine schematische Darstellung einer Bildsensorarchitektur gemäß Ausführungsformen der vorliegenden Erfindung.
17 zeigt eine schematische Halbleitervorrichtung mit wenigstens zwei Schichten mit Abschnitten, die geeignet sind, um bei einer ersten und einer zweiten Spannung betrieben zu werden gemäß Ausführungsformen der vorliegenden Erfindung.
18 zeigt ein Bildsensorarray mit einem gestapelten Waferdesign gemäß Ausführungsformen der vorliegenden Erfindung.
19 zeigt Prozessschritte zur Herstellung eines Bildsensorarrays mit einem gestapelten Waferdesign gemäß Ausführungsformen der vorliegenden Erfindung.
20 zeigt ein Bildsensorarray mit einem gestapelten Wafer-Design und einem reduzierten Pixelabstand gemäß Ausführungsformen der vorliegenden Erfindung.
21 zeigt ein Ablaufdiagramm, das ein Verfahren zur Herstellung einer Halbleitervorrichtung zeigt gemäß einer Ausführungsform der vorliegenden Erfindung.
Detaillierte Beschreibung
Gemäß einem Aspekt enthalten Ausführungsformen der vorliegenden Erfindung ein System mit einer Abfragequelle, die operativ mit einem Bildsensor gekoppelt ist. Die Abfragequelle (z. B. ein Laser, der auf eine Infrarot (IR) Wellenlänge abgestimmt ist) kann geeignet sein, um ein Objekt oder Objekte in dem Sichtfeld des Systems zu beleuchten und der Bildsensor ist geeignet, um von dem gewünschten Objekt reflektierte Strahlung zu erfassen. Der Bildsensor enthält ein Array von Hochfoto-sensitiven Detektoren (z. B. ein Array von Lawinenfotodioden). Gemäß einer Ausführungsform enthält eine Lawinenfotodiode eine p-n Übergangsvorrichtung, die jenseits des Durchbruchgebietes betrieben wird, die als Einzelphotonenlawinendiode (SPAD) betrieben wird, so dass ein einfallendes Photon in der Lage ist, eine selbsterhaltende Lawine (z. B. eine Lawinenfotodiode, die im sogenannten Geigermodus betrieben wird) auszulösen. In einer Ausführungsform antwortet der Bildsensor auf eines (oder einige) einfallende Photonen und erzeugt eine Signal anzeigende Photonenerfassung bei einer speziellen Bildsensorarrayadresse. Anders ausgedrückt entspricht der Empfang einiger weniger Photonen durch das Foto empfindliche Element eines Pixels der Detektion durch den Pixel, was zu einer Verringerung der Anzahl der Photonen führt, die notwendig sind, ein optisches Ereignis zu erfassen, wenn solch ein Pixel (im Vergleich zu einem Pixel, das auf konventionelle Art betrieben wird, mit Fotodioden, die hunderte an Photonen über eine bestimmte Zeitdauer kumulieren, um eine Beleuchtung zu detektieren und ein Signal auszugeben. Durch die genaue Positionsinformation, die durch die Pixeladresse erhalten wird, zusammen mit einem bekannten Abfragequellenwinkel und einer Entfernung zu dem Bildsensor, kann die Entfernung zu einem Objekt mit großer Genauigkeit und mit minimaler Schaltkreiskomplexität, Kosten und Energieverbrauch ermittelt werden. Außerdem ist der Bildsensor in der Lage durch Aktivierung von zeitabhängigen Untergruppen der Bildarraypixel (z. B. eine Rolling-Pixel-Untergruppe), zusammen mit der Aktivierung der Abfragequelle betrieben zu werden, um sowohl Hintergrundrauschen als auch die Systemleistungsanforderungen zu reduzieren. Eine derartige Verwendung erlaubt beispielsweise eine viel geringere optische Ausgangsleistung der entsprechenden Lichtquelle eines optischen Abfragesystems, wobei ein möglicher Vorteil der geringeren optischen Leistungsanforderungen die Sicherheit der menschlichen Augen ist.
Es ist klar, dass Einzel- oder Wenig-Photon-Ereigniserfassungspixel auf eine Vielzahl verschiedener optischer Abfrage basierter Sensorarten anwendbar ist, umfassend, aber nicht beschränkt darauf, auf Entfernungsmessung, TOF und 3D Abbildungsanwendungen. In einer Ausführungsform sind die einzelnen Pixel eines Bildsensorarrays geeignet, um TOF-Information empfangener reflektierter (oder rückgestreuter) Strahlung der gewünschten Objekte zu erfassen. Ein optisches Gehäuse kann in dem System enthalten sein, welches geeignet ist, um Wellenlängen eingehender Strahlung des Bildsensors zu filtern und/oder um eingehende Strahlung lichtempfindlicher Abschnitte des Pixels (z. B. um den Füllfaktor des Pixels zu verbessern) zu fokussieren. Gemäß einer Ausführungsform ist das Bildsensorarray geeignet, um synchrone Beleuchtung mit der Aktivierung der Abfragequelle zu erhalten. Das System der vorliegenden Beschreibung ist in der Lage, um über moderarte Entfernungen zwischen einem von der Abfragequelle empfangenen Photonenschwall und Hintergrundrauschen bei hellem Umgebungslicht mit einem Minimum an On-Chip-Schaltkreisen, Latenz und Energieverbrauch zu unterscheiden. 1 zeigt eine Übersicht einer Entfernungsbestimmungsvorrichtung gemäß einer Ausführungsform der vorliegenden Beschreibung. Es ist klar, dass ein optisches Abfragesystem, das solch einen Einzel- oder wenig Photonenpixel verwendet, in eine Hostvorrichtung wie beispielsweise eine mobile Vorrichtung (z. B. Smartphone, Tablet, usw.) oder andere Hostvorrichtungen integriert werden kann.
Im Folgenden wird nun im Detail auf verschiedene Ausführungsformen Bezug genommen. Obwohl der Gegenstand in Verbindung mit alternativen Ausführungsformen beschrieben wird, ist klar, dass es nicht die Absicht ist, den beanspruchten Gegenstand auf diese Ausführungsformen zu beschränken. Im Gegenteil, der beanspruchte Gegenstand soll auch alternativen, Modifikationen und Äquivalente umfassen, die im Umfang und Sinn des beanspruchten Gegenstandes liegen, wie er durch die anliegenden Patentansprüche definiert ist.
Außerdem werden in der folgenden detaillierten Beschreibung viele spezielle Details ausgeführt, um ein gründliches Verständnis des beanspruchten Gegenstandes zu vermitteln. Für den Fachmann ist jedoch klar, dass Ausführungsformen auch ohne diese speziellen Details oder mit Äquivalenten davon durchgeführt werden können. Andererseits werden wohlbekannte Verfahren, Prozeduren und Komponenten nicht im Detail beschrieben, um Aspekte und Eigenarten des Gegenstandes nicht unnötigerweise zu verschleiern.
Abschnitte der folgenden detaillierten Beschreibung sind dargestellt und diskutiert als ein Verfahren, obwohl Schritte und Sequenzen davon, die in Figuren (z. B. 8 und 21) offenbart sind, die Abläufe dieser Verfahren beschreiben, sind solche Schritte und Sequenzen nur beispielhaft. Ausführungsformen sind gut geeignet, um verschiedene andere Schritte und neue Aktionen der Schritte, die in den Ablaufdiagrammen und den Figuren dargestellt sind, auszuführen und können auch in einer anderen Sequenz als dargestellt und beschrieben, ausgeführt werden. Hierin beschriebene Ausführungsformen können in dem allgemeinen Zusammenhang computerausführbare Befehle wie sie in irgendeiner Form eines Computer-nutzbaren Mediums, so wie beispielsweise Programmmodule, die von einem oder mehreren Computer oder anderen Computervorrichtungen ausgeführt werden, diskutiert werden. Im Allgemeinen enthalten Programmmodule Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., die spezielle Aufgaben ausführen oder speziell abstrakte Datentypen implementieren. Die Funktionalität der Programmmodule kann, wie gewünscht, in verschiedene Ausführungsformen kombiniert oder verteilt werden.
Nur beispielhaft und ohne Beschränkung können Computer nutzbare Medien auch Computerspeichermedien und Kommunikationsmedien umfassen. Computerspeichermedien enthalten flüchtige und nichtflüchtige, entfernbare und nicht-entfernbare Medien, die auf irgendeine Art oder Technologie zum Speichern von Information, wie beispielsweise Computer lesbare Befehle, Datenstrukturen, Programmmodulen oder anderen Daten implementiert sind. Computerspeichermedien enthält, ist jedoch nicht darauf beschränkt, Zufallszugriffsspeicher (RAM), nur Lesespeicher (ROM), elektrische löschbare programmierbare ROM (EEPROM), Flashspeicher und andere Speichertechnologien, Compact-Disc ROM (CD-ROM), digital flüchtige Disks (DVDs) oder andere optische Speicher, magnetische Kassetten, magnetische Bänder, magnetische Diskspeicher oder andere Magnetspeichervorrichtungen oder andere Medien, die verwendet werden können, um die gewünschte Information zu speichern.
Kommunikationsmedien können Computer lesbare Befehle, Datenstrukturen, Programmmodule oder andere Daten in einem modulierten Datensignal, wie beispielsweise einer Trägerwelle oder einem anderen Transportmechanismus verkörpert sein und jegliche Informationsliefermedien enthalten. Der Ausdruck „moduliertes Datensignal” bedeutet ein Signal, das eine oder mehrere seiner Eigenschaften enthält, die auf solch eine Art gesetzt oder geändert wurden, um die Information in dem Signal zu kodieren. Beispielsweise und ohne Beschränkung enthalten die Kommunikationsmedien drahtgebundene Medien, wie beispielsweise ein drahtgebundenes Netzwerk oder direkt verbundene Verbindung und drahtlose Medien, wie beispielsweise akustische, Radiofrequenz (RF), Infrarot und andere drahtlosen Medien. Sämtliche Kombinationen der oben genannten sollen in dem Umfang der Computer lesbaren Medien enthalten sein.
In den folgenden Ausführungsformen wird eine Technik zum Erreichen einer hohen Auflösung, hohen Bildrate, niedrigem Energieverbrauch beschrieben. Ausführungsformen enthalten ein Verfahren zum Ermitteln eines Abstandes zu einem Objekt mit Schritten zur Beleuchtung des Objektes mit einem Abfragestrahl, Empfangen der reflektierten Beleuchtung von einem Objekt unter Verwendung eines hoch Foto sensitiven Bildsensors und Ermitteln eines Abstandes zu dem Objekt, basierend auf einer Adresse eines aktivierten Pixels unter Verwendung von Trigonometrie und/oder TOF-Information, die auf dem Pixelniveau ermittelt wurde.
SPAD-Steuerung
Gemäß einer Ausführungsform der vorliegenden Erfindung können Lawinenfotodioden eines Bildsensors (umfassend beispielsweise lokales und/oder globales variables Rückwärtsvorspannen-in-Sperrrichtung betreiben) verwendet werden, um die Empfindlichkeit zu erhöhen und die Belichtungszeitanforderungen zu reduzieren bei Entfernungsmess- und 3D-Abbildungsanwendungen. Eine Lawinenfotodiode im Geigermodus (z. B. eine SPAD) arbeitet in einer sehr extremen Sperrrichtungsbetriebsbedingung, abseits vom natürlichen Sperrrichtungsdurchbruch und kann nur temporär auf solch einer Spannung gehalten werden bis ein Ereignis veranlasst (sehr schnell) Strom zu erzeugen. Es gibt daher einen Zeitfaktor, wann solch eine Vorrichtung als Detektor verwendet wird, da die SPAD in solch einer extremen Sperrrichtungsbedingung nicht für sehr lange betrieben werden kann. Der von einer SPAD erzeugte große Strom, der durch einen Ereignistrigger ausgelöst wurde, kann zerstörerisch sein, so dass oft ein Widerstand zu der Diode hinzugefügt wird, um den Strom zu begrenzen, so dass für den Fall, dass die SPAD ”feuert” (z. B. sehr schnell Strom erzeugt) Strom auf einem sicheren Niveau für eine kurze Zeit ausgegeben wird. Einmal gefeuert, wird der SPAD Lawinenstrom von dem Widerstand oder einem anderen Lastmechanismus gedämpft. Die Spannung an der SPAD kann gepuffert werden (es kann aber auch genauso eine Änderung in der Polarität veranlasst werden) für den Pixelbetrieb. Ein Beispiel einer Lawinenfotodiode gemäß der vorliegenden Beschreibung ist in 2 dargestellt.
Eine SPAD antwortet sehr schnell auf ein Photonenereignis, und zwar in der Größenordnung von Picosekunden. Faktoren wie beispielsweise die Wellenlänge der einfallenden Photonen, Umgebungstemperatur, Zellgröße (Gebiet) der SPAD und die Höhe der Vorspannung (Überspannung), Quanteneffizienz und Dunkelzählrate (DCR) beeinflussen die Funktionalität der SPAD.
Einmal entladen, braucht die SPAD etwas Zeit, um wieder zu laden (sogenannte „Totzeit”), typischerweise etwa in dem Bereich von 20 bis 40 Nanosekunden. Typischerweise genügen einige zehn Photonen (etwa 20 Photonen abhängig von der Photonenwellenlänge und der Detektorzellgröße), um zuverlässig die schnelle Stromerzeugung der SPAD auszulösen.
Ein Pixel mit einer SPAD gemäß der vorliegenden Ausführungsform ist konfiguriert für eine variable Pixelempfindlichkeit auf einem lokalen und/oder globalen Niveau und kann gemäß dem Umgebungslicht und/oder tiefe der Feldanforderungen (z. B. kann die Rückwärtsvorspannungssteuerung verwendet werden, um die Fotodiodenempfindlichkeit gemäß der Belichtungsbeschränkungen und/oder Anforderungen einzustellen). In einem System von diesem Arbeitsmodus werden die Messbereichsgrenzen durch die Fotodiodenempfindlichkeit bestimmt. Im Geigermodus besitzt eine SPAD eine Dunkelzählrate (DCR), ein Maß des SPAD-Rauschens, dessen Wert von Faktoren, wie beispielsweise der SPAD-Zellgröße, der Temperatur der SPAD und der Überspannung (z. B. dem Spannungsniveau abseits des Durchbruchspannungsschwellwertes abhängt. Die DCR der SPAD, in Abwesenheit von irgendeiner Beleuchtung bietet ein statistisches Maß der Länge für die Zeit, die eine SPAD in dem Geigermodus bleiben kann, bevor ein Lawinenereignis erfahren wird. In Kombination mit Umgebungslicht stellt die DCR ein Hintergrundrauschsignal, das von dem der Übertragung des Abfragestrahls unterschieden werden muss, um ein aussagekräftiges Signal zu erhalten. Daher bietet die DCR, wenn sie kombiniert wird, mit den Umgebungsphotonen, die während der Flugzeit (TOF) akkumuliert werden, eine Abschätzung für den Maximalbereich, bei dem Objekte abgefragt werden können.
In einer Ausführungsform der vorliegenden Beschreibung wird ein optischer Notchfilter verwendet (z. B. bei Optiken 135 in 1), um zu verhindern, dass übermäßige Hintergrundrauschphotonen außerhalb der gewünschten Abfragewellenlänge die Pixel beeinflussen. Die Abfragequelle kann ausgewählt werden oder abgestimmt werden, um Wellenlängen nahe dem Zentrum des optischen Notchfilters zu emittieren. Gemäß einer weiteren Ausführungsform wird die zentrale Wellenlänge des optischen Notchfilters ausgewählt, um die Hintergrundstrahlung der Sonne zu minimieren – beispielsweise, um eine zentrale Wellenlänge entsprechend einer starken atmosphärischen Absorptionslinie, beispielsweise 850 Nanometer oder 940 Nanometer (z. B. die atmosphärische Absorptionslinien aufgrund des Wassers). Solch eine Realisierung der vorliegenden Beschreibung erlaubt beispielsweise eine höhere Fotodiodenverstärkung Ein Nachteil der verringerten Weite des optischen Filters ist es, dass auch eine Verringerung des Sichtfeldes des Systems auftritt. Eine einstellbare Abfragequelle kann bei zusätzlichen Kosten die SNR weiter verbessern. Die totale optische Leistung, genauso wie die Wellenlänge sollte berücksichtigt werden, wenn ein Betrieb in Umgebungen vorgenommen wird, bei dem Augenverletzungen auftreten könnten. Zusätzlich kann die Bildrate, basierend auf der Pixelempfindlichkeit (z. B. Belichtungszeitanforderungen) und/oder Ausleserate und/oder Pixelarraygröße ermittelt werden. Eine hohe Bildratenerneuerung kann ausgeführt werden, um adäquate hohe Nyquist Sampling Raten eines bewegenden Objekts zu erreichen.
Beispiele der vorliegenden Beschreibung stellen einen Bildsensor mit extrem empfindlichen Fotodioden bereit, wobei die Abstandsbestimmung zu einem Objekt durch ein neues Adressierungsschema, bei dem die Arrayadressen einer Pixelaktivierung, die von der einfallenden Abfragebeleuchtung veranlasst sind, durchgeführt werden. Es ist klar, dass die vorliegende Erfindung nicht auf die SPAD-Technologie beschränkt ist und dass jeder Fotodetektor mit ausreichender Empfindlichkeit verwendet werden kann.
Entfernungsmessung über integrierte Triangulation
Gemäß einem Aspekt stellen Ausführungsformen der vorliegenden Beschreibung ein photonisches Abfragesystem zur Ermittlung eines Abstandes zu einem Objekt bereit. 1 zeigt eine schematische Darstellung einer beispielhaften photonischen Abfragevorrichtung 105, um die Entfernung zu einem Objekt zu ermitteln gemäß einer Ausführungsform der vorliegenden Beschreibung. Die Abfragevorrichtung 105 enthält eine Abfragequelle 110 und einen Bildsensor 115. Die Abfragequelle 110 und Bildsensor 115 sind durch einen definierten Abstand 120 (als nicht beschränkendes Beispiel beträgt der Abstand 120 5 Zentimeter). Gemäß einer Ausführungsform kann der Abstand 120 in kontrollierter Weise verändert werden. Die Abfragequelle 110 ist konfiguriert, um einen Abfragestrahl 125 auszusenden und Bildsensor 115 ist konfiguriert, um die von einem Objekt in dem Sichtfeld der optischen Vorrichtung 105 zurückgeworfene Strahlung 130 zu detektieren. Bildsensor 115 enthält ein Array fotosensitiver Dioden 140, beispielsweise Lawinenfotodioden, die Pixel des Bildsensors 115 bilden.
Gemäß einer Ausführungsform der vorliegenden Beschreibung enthält Array 140 ein SPAD-Pixel 140a der aus zwei gestapelten Wafer (oder Substraten) gebildet wurde. Das SPAD-Pixel 140a kann in einem linearen Lawinenmodus oder in einem Geigermodus, basierend auf der Biasspannung betrieben werden. Das SPAD-Pixel 140a enthält einen fotosensitiven Bereich 145a und Pixelschaltkreise in dem Gebiet 150a (z. B. Hochspannungsleitung, Pixeleingang-/ausgangsleitung). Gemäß einer Ausführungsform werden Pixelschaltkreiselemente entsprechend der Pixelschaltkreislogik auf einem von der SPAD-Zelle separaten Substrat ausgebildet (z. B. wird das fotosensitive Gebiet auf einem Substrat, das den p/n-Übergängen entspricht, ausgebildet). Das heißt, ein Substrat mit einer Vielzahl an SPAD-Zellen kann oben auf einem Wafer mit einer Vielzahl an Logik- und Steuerschaltkreisen (z. B. Transistoren, Aktivierungsleitungen, etc.) gestapelt werden, wie es im Folgenden beschrieben wird. Gemäß einer Ausführungsform gemäß der vorliegenden Beschreibung enthält das Array 140 einen SPAD-Pixel 140b ausgebildet auf einem Wafer, wobei das fotosensitive Gebiet 145b benachbart zu der Pixelschaltkreislogik 150b (z. B. Hochspannungsleitung, Pixeleingang/-ausgang, TOF-Informationsspeicherelemente) angeordnet sein kann. Die Pixel 140a und 140b können wenigstens ein Flugzeit(TOF)-Element enthalten, das heißt, eine Lawinenfotodiode, die entweder im linearen Lawinenmodus oder Geigermodus arbeitet und die beispielsweise einen Speicherkondensator enthält, der geeignet ist, um Ladung entsprechend einem TOF-Wert zu speichern. Ein optisches System 135 kann in der Vorrichtung 105 enthalten sein, wobei die optische Vorrichtung 135 eintreffende Reflektionen fokussiert und/oder auf dem Bildsensor 115 filtert. Die optische Abfragevorrichtung 105 kann einen Umgebungslichtsensor (nicht gezeigt) enthalten. Wie in 1 dargestellt, wird der Abfragestrahl 125 auf ein Objekt 150 gerichtet und die zurückkommende Strahlung 130 fällt auf den Bildsensor 115.
Gemäß einer Ausführungsform ist die Abfragequelle 110 ein Laser, beispielsweise ein Laser mit einem resonanten MEMs-Scanning-Spiegel (z. B. ein Vertical Cavity Surface-Emitting Laser (VCSEL). Die Abfragequelle 110 kann eine Strahlung mit einer IR-Wellenlänge oder anderer Wellenlängen emittieren. Gemäß einer Ausführungsform ist der Spiegel resonant in der x-Richtung (z. B. entlang der Bildsensorarraysäulen) und gestuft in der y-Richtung (z. B. entlang der Bildsensorarrayzeilen). Ein resonanter Scanning-Laser ist in der Lage, einen Abfragestrahl 125 über ein Sichtfeld der Abfragevorrichtung 105 zu schwenken. Gemäß einer Ausführungsform erzeugt die Abfragequelle 110 einen Rasterscan mit Photonen hoher Intensität (z. B. Abfragestrahl 125) mittels des Lasers. In gemäß einer Ausführungsform, um die resonante Bewegung der Abfragequelle 110 über das Sichtfeld zu berücksichtigen, wird die Aktivierung des Abfragestrahls 125 geregelt, um eine im Wesentlichen gleichmäßige Strahlung über dem Bildsensor 115 zu erzeugen (z. B. sinusoidale Linearisierung des Tastverhältnisses in der Abfragequelle 110, basierend auf dem Abfragequellenwinkel 111).
Die Aktivierung der Abfragequelle 110 in einem kollimierten „Spot”-Modus, bei speziellen Winkeln (z. B. Abfragequellenwinkel 111) und mit einer definierten Pulsdauer, dient dazu, ein Gitterbild zu „Malen” und zwar ein Pixel zur Zeit auf dem Bildsensor 115. Die Scanning-Rate des Spiegels (und daher des Laserstrahls) ist ein wichtiger Faktor für den Zeitablauf in dem System, insbesondere die Pixelaktivierungszeiteinteilung wie im Folgenden diskutiert. Die Abfragequelle 110 und der Bildsensor 115 sind koplanar und beschränken das Sichtfeld eines Bildsensors 115 der Szene auf die gleiche Ebene wie das Sichtfeld der Vorrichtung 105. Das heißt, sämtliche zurückkommenden Photonen (z. B. zurückkommende Strahlung 130) liegt in der gleichen Ebene wie der Startstrahl 125. In Bezug auf das Array des Bildsensors 115 ist die Zeile mit einer erwarteten Fotodiodenanregung bekannt, basierend auf dem Winkel 111 der Abfragequelle 110. Die spezielle Spalte in der Zeile ist nicht bekannt, da die Entfernung zu dem Objekt 150 (daher der Antwortwinkel der Rückkehrbeleuchtung 130) unbekannt ist. Das Objekt 150 kann innerhalb des Sichtfelds der Vorrichtung 105 an verschiedenen Entfernungen/Orten sein.
Der Winkel, mit dem das Antwortlicht 130 in die Optik (Winkel 116) kommt, bestimmt die Spalte des Bildsensorarrays mit der Fotodiodenaktivierung (z. B. die Position innerhalb der Zeile) und daher die Entfernung (über Triangulation). Linsen und Optiken (z. B. Optik 135) der Vorrichtung 105, die den Bildsensor 115 enthalten, erkennen einen Spot (fester Winkel des Lichts) bei einer Entfernung bis zu einer Messbereichsgrenze der Betrachtung. Photonen von diesem Spot (der Spot auf dem Objekt 150) treffen auf eine Öffnung des Bildsensors 115 und werden auf einem Arrayelement (z. B. ein Pixel) fokussiert. Gemäß einer alternativen Ausführungsform arbeitet die Abfragequelle 110 in einem „Fächer”-Modus, bei dem ein Beleuchtungsstreifen emittiert wird. Gemäß einer Ausführungsform ist der Streifen im Wesentlichen senkrecht zur Achse der Abfragequellenbewegung (z. B. der Resonanzachse). Bei solch einer Ausführungsform kann die rückgestrahlte Beleuchtung 130 auf eine gesamte Spalte (oder Zeile) an Arrayelementen fallen, parallel zu der Orientierung des Abfragestrahls 125. Aufgrund der Eigenschaften des Abfrageobjekts (z. B. Objektkonturen) kann die zurückgestrahlte Beleuchtung 130 auch nicht planar zurückgeworfen werden und auf mehreren Spalten entsprechend der Konturen des Objektes einfallen. In dem Fächermodus sind alle Fotodiodenzeilen gleichzeitig aktiv. Die Ausgangsleistung zu der Abfragequelle kann erhöht werden, um die Verteilung über eine gesamte Linie (alle Zeilen) zu kompensieren. Die Bildsensorarchitektur 115 für solch eine Vorrichtung ist in der Lage einen Photonenstoß von der Abfragequelle 110 in hellem Sonnenlicht mit minimaler Latenz, minimalem Stromverbrauch und hoher Auffrischfrequenz – alles mit einem Minimum an On-Chip Schaltkreisen – zu berichten. Die Entfernungserfassung für ein Objekt wird ermittelt gemäß einer Ausführungsform unter Verwendung genauer Positionsdreiecksberechnungen über die Lage einer Fotodiode in einem Bildsensorarray 115 (z. B. die Arrayadresse). Wie im Folgenden diskutiert, enthalten aufgrund der Hintergrundrauschüberlegungen Ausführungsformen der vorliegenden Beschreibung fotosensitive Dioden des Bildsensors 115, die zum Erfassen synchronisiert (z. B. „begrenzt”) aktiviert werden, mit der Aktivierung des Abfragestrahls 125 für einen speziellen Messzeitraum. Ein hier beschriebenes System ist in der Lage, einen hohen Durchsatz über die hochsensitiven Pixelereignisse, die entsprechend der Pixeladressen berichtet werden, bereit zu stellen. Während Ausführungsformen gemäß der vorliegenden Beschreibung ein Mittel zur Berechnung einer Entfernung zu einem Objekt mittels einer TOF-Berechnung auf Pixelniveau bereit stellt, ist solch eine Information nicht notwendig für Ausführungsformen, bei denen die Entfernung entsprechend trigonometrische Information (das heißt Dreiecksberechnungsverfahren) berechnet wird. Ein Positionsansatz (z. B. Pixeladresse) ist in der Lage, die Kosten einer Information zu verringern. Außerdem werden die Rechenanforderungen verringert, da die Pixeladresse über beispielsweise eine Look-up-Tabelle gefunden wird. Außerdem erhöht eine Verkleinerung des Schaltkreises auf Pixelniveau die Auflösung des Systems für ein Array gleiche Größe, da der photonensensitive Abschnitt jedes Pixels größer wird als ein Anteil der gesamten Pixel (z. B. ein erhöhter Füllfaktor). Faktoren, wie beispielsweise Kosten und Größe sind von hoher Wichtigkeit, insbesondere für Anwendungen bei handgeführten und/oder tragbaren Vorrichtungen.
2 zeigt eine SPAD-Pixelarchitektur 140, gemäß Ausführungsformen der vorliegenden Erfindung. Gemäß einer Ausführungsform wird das Aktivieren des SPAD-Pixels durch ein Wortleitungs- und ein Begleitungssignal implementiert. Der SPAD-Pixel enthält eine Fotodiode 145. Der SPAD-Pixel enthält aktives und/oder passives Löschen über eine aktive oder resistive Last 220. Der SPAD-Pixel kann einen Puffer 225 enthalten. Gemäß einer Ausführungsform wird das aktive Löschen über eine aktive Last durchgeführt, wobei die Aktivierung davon auf einem Feedback (z. B. steigender Flankentrigger des SPAD Lawinenstroms) von einer optionalen Feedbacklöschschaltung 230. Die Quenchzeit kann in eine multiplexer-Decodierungs-Schalt-Overheadzeit miteingebaut werden. Gemäß einer Ausführungsform ist der Pixelzeilen und -spalten getriebene Reset eingebaut, um einen Reset von statistischen Rauschen (z. B. DCR, Umgebungslicht) gespeichert wird. Gemäß einer Ausführungsform ist die Hochspannungsversorgungsleitung statisch (d. h. nicht geschaltet) und die Massen referenzierte Wortleitungsaktivierung erlaubt einen Hochspannungsstrompfad.
3 zeigt eine SPAD Strom-Spannungscharakteristik 300 gemäß einer Ausführungsform der vorliegenden Beschreibung. Die Strom-Spannungscharakteristik 300 enthält Pfeile, die Phasen des SPAD-Betriebs anzeigen. Es ist ein Rückwärtsvorspannungsniveau V_Geiger dargestellt, wobei das Rückwärtsvorspannungsniveau V_Geiger eine Rückwärtsvorspannungsspannung jenseits der Durchbruchspannung V_Breakdown eines Halbleiter p-n Übergangs ist und den sogenannten Geigermodus einer Lawinenfotodiode (z. B. einer SPAD) zeigt. Bei dem Spannungsniveau V_Geiger entwickelt eine SPAD-Vorrichtung einen Strom (Lawine an Elektronen) aus der einfallenden Photonenstrahlung und thermisches Rauschen. Die SPAD-Verstärkung (z. B. Elektronenmultiplizierfaktor) ist im Wesentlichen linear abhängig von Überspannung und Gebiet der SPAD-Zellgröße. Ebenso nimmt die Wahrscheinlichkeit einer Photonen und/oder thermischen Aktivierung der SPAD (z. B. DCR) mit steigender Überspannung zu. Wenn der Lawinenstrom ausgelöst ist, wird die SPAD gelöscht, um einen außerordentlich hohen Stromfluss zu vermeiden. Ist die SPAD gelöscht und wieder zu einer geringeren Vorspannungsspannung zurückgekehrt, um die SPAD für weitere Aktivierung vorzubereiten, geht die SPAD-Vorspannungsspannung zurück zu V_Geiger. Typische Werte für die Zeit eines Durchbruchs einer SPAD (z. B. „feuern”) sind weniger als eine Nanosekunde, während das Löschen und Reset annähernd 20 bis 40 Nanosekunden sind. Das Löschen kann entweder passiv oder aktiv sein und gemäß einer bevorzugten Ausführungsform wird das aktive Löschen verwendet, um die Löschzeit zu minimieren und damit die Rate mit der eine SPAD viele Signale erzeugt, zu erhöhen.
4 zeigt eine Szene 400 mit einer hellen Beleuchtung und enthält eine schematische Darstellung einer beispielhaften photonischen Abfragevorrichtung 105, die betrieben wird, um einen Abstand zu einem Objekt 440 zu ermitteln und zwar mit einer Hintergrundstrahlungsquelle 401 (z. B. der Sonne), die das Objekt 440 beleuchtet. Die Abfragequelle 110 emittiert den Abfragestrahl 425 bei einem Winkel 411, der von dem Objekt 440 reflektiert (oder zurückgestreut) wird, um dann die zurückkommende Strahlung 430 von dem Bildsensor 115 (angeordnet bei der Entfernung 120 von dem Bildsensor 115) und bildet die Grundlage der Entfernungsbestimmung mit der photonischen Abfragevorrichtung 105. Zusammen mit dem Beleuchtungsstrahl 425 beleuchtet die Beleuchtungsquelle 401 konstant das Objekt 440 mit einem Photonenfluss, abhängig von der Ausgangsleistung der Strahlungsquelle 401 – in dem Fall der Sonne ist die Strahlung ein breites Spektrum. Photonen der Strahlungsquelle 401 beleuchten das Objekt 440 und bilden die reflektierte Strahlung 435, die auf dem Bildsensor 115 fällt.
Der Bildsensor 115, der hoch empfindliche Fotodioden enthält, unterscheidet nicht zwischen Photonen von der Abfragequelle 110 und denen der Strahlungsquelle 401. Für einen Bildsensor mit Lawinenfotodioden die im Geigermodus arbeiten (z. B. inklusive SPADs), antwortet eine einzelne Diode auf etwa 20 Photonen. Die Dunkelzählrate der SPAD, zusammen mit einem großen Photonenfluss von der Strahlungsquelle 401, führt zu einem schnellen Feuern einer SPAD in dem Bildsensor 215, was früher sein kann als der Empfang der zurückkommenden Strahlung 430 eines Objektes 440 bei einer moderaten Entfernung von der Vorrichtung 105. Die Beleuchtung der Abfragequelle 110 auf das Objekt 440 (z. B. das Übertragungssignal), zusammen mit der Beleuchtung des Objektes 440 bei der Strahlungsquelle 401, z. B. der Sonne (mit optischer Filterung, erzeugt die Sonnenbestrahlung bei der erfassten Wellenlänge – z. B. der Laserwellenlänge der Abfragequelle 110) ergibt das Signalhintergrundrauschverhältnis (SNR). Es ist daher vorteilhaft, die Fotodioden des Bildsensors 115 zu einem Zeitpunkt basierend auf der Aktivierung der Abfragequelle 110 zu aktivieren, um das SNR durch Minimierung der Anzahl der Umgebungsphotonen, die auf dem Bildsensor 115 während der Messung eintreffen, zu verbessern und die Gesamt DCR-Verteilung des Rauschens des Bildsensors 115 zu reduzieren durch reduzierte Pixelaktivierungszeit.
Betreffend das Hintergrundrauschen führen längere Messzeiten mit entsprechend größeren TOF zu einem Anstieg sowohl der Umgebungsphotonen, die empfangen werden und der Dunkelzielrate. Photonen treffen auf den Bildsensor 115 über die gesamte TOF des Abfragestrahls 425. Um ein aussagekräftiges Signal zum Erfassen der Entfernung zu dem Objekt 440 zu ermitteln, muss die zurückgesendete Strahlung 430 die erforderliche Anzahl an Photonen übermitteln, um eine erste eingeschaltete Fotodiode vor der Aktivierung durch das Umgebungslicht und der DCR aktivieren. Da die Abfragequelle 110, die typischerweise ein Laser ist, einen Impuls mit einer endlichen Pulsbreite emittiert, ist es möglich, die Anzahl an übertragenen Photonen die von der Abfragequelle 110 erwartet werden, zu berechnen. Während der Photonenfluss (z. B. die Rate des Photonenempfangs) von der Strahlungsquelle 401 über die Zeit stabil sein kann, kann der Photonenfluss von der Abfragequelle 110 viel höher sein, abhängig von der Ausgangsleistung und dem Tastverhältnis.
Das Zeitfenster innerhalb dessen eine SPAD aktiv ist, bevor ein Signal in Antwort an das Hintergrundrauschen erzeugt wird, bildet ein nützliches Zeitfenster für die Pixelaktivierung über eine Messperiode hinweg. Anders ausgedrückt ein zu messendes Objekt (z. B. Objekt 440) wird innerhalb einer solchen Entfernung sein, dass die TOF des Abfragestrahls 425 und der rückkehrenden Strahlung 430 nicht die Zeit überschreitet, in der eine SPAD aufgrund des Hintergrundrauschens feuern wird. Es gibt daher eine maximal nützliche TOF, die einen maximalen Bereich an Objektentfernungsmessung entspricht (Licht bewegt sich mit etwa 0,3 Meter pro Nanosekunde, wodurch aufgrund der Raus- und Zurücknatur der Messung die maximale Entfernung mal den Faktor 2 verringert). In den Messszenarien, bei denen die Entfernung zu einem Abfrageobjekt bekannt ist, kann die Akkumulation von Umgebungsphotonen (z. B. Hintergrundrauschen) durch das Koordinieren der Aktivierung des Bildsensors 115 mit der erwarteten kombinierten TOF des Abfragestrahls 425 und der zurückgesendeten Strahlung 430 minimiert werden, was auf der bekannten angenäherten Entfernung des Abfrageobjektes beruht. Anders ausgedrückt, kann die Aktivierung der Fotodioden des Bildsensors 115 TOF-gebunden sein, um Umgebungsphotonen von Entfernungen der Tiefe der Ansicht nach außerhalb der erwarteten Entfernung zu einem Abfrageobjekt zurück zu senden. Diese TOF muss nicht direkt von dem TOF spezifischen Schaltkreis gemessen werden, sondern kann auch basierend auf den Entfernungsmessungen gemäß der hierin beschriebenen Dreiecksmessverfahren bestimmt werden.
Das Pulsfenster und das Pixelfenster definieren eine Entfernungsmessungsperiode. Auf diese Art kann der Abfragestrahlwinkel 411 mit dem Rückkehrwinkel 416 korreliert werden, welche zusammen mit dem Abstand 420 eine Ermittlung des Abstandes zu dem Objekt 440 ermöglichen. Es ist wichtig, dass die empfangenen Photonen bei dem Bildsensor 115 eindeutig sind, so dass die bei dem Winkel 416 empfangen Photonen sicher dem Abfragequellwinkel 411, von dem die Photonen emittiert wurden, zugeordnet werden können. Andererseits kann eine Desynchronisierung zwischen dem Abfragestrahlwinkel 411 und dem Empfangswinkel 416 auftreten, was in einer fehlerhaften Berechnung der Entfernung zu dem Objekt 440 führt. Die Zeit jedoch, die für jeden Pixel verfügbar ist, muss durch das Photonenbudget und den Abstand begrenzt sein, genauso wie die Gesamtzeit, die für jede Schwenkung der Abfragequelle (z. B. 110) erlaubt ist oder der Bildsensor 115 wird aufgrund des Rauschens bestrahlt, genauso wie die Desynchronisierung der Übertragung und des Empfangs des Abfragestrahls. Es ist klar, dass die Funktion und die Terminierung des Bildsensors von großer Wichtigkeit ist für ein optisches Abfragesystem gemäß der vorliegenden Beschreibung. Das Konzept des Ermittelns des Abstandes zu einem Objekt, basierend auf Dreiecksberechnungen kann weiter verbessert werden durch die Architektur des Sensors, um dem von dem Sensor verbrauchten Energiebedarf und die falsche Information, die ein Array von hochsensitiven Lawinenfotodioden wegen des Rauschens erzeugt, zu verringern.
Falls beispielsweise ein gesamtes Array eines Bildsensors auf dem Geiermodus konfiguriert und aktiviert ist, würde ein großer Teil der SPADs nahezu simultan feuern, aber vielleicht nur eine (oder so) wäre aufgrund der Abfragequelle 110 (z. B. das Übertragungssignal), abhängig von der Belichtungszeit. Umgekehrt ist die selektive Aktivierung SPAD innerhalb des Arrays möglich, um Array basiertes DCR-Rauschen der gewünschten Bildsensor-115-Fläche, um dadurch das SNR der optischen Abfragequelle zu erhöhen.
Programmierbarer Bildsensor Zeilen- und Spaltenschließer
5 ist eine Darstellung einer beispielhaften Bildsensorarchitektur 500 gemäß Ausführungsformen der vorliegenden Offenbarung. Die Bildsensorarchitektur 500 enthält ein Array an Fotodioden 540, Start, Set-up-Entfernungssteuerungseingänge 505, Hochspannungs- und Versorgungsschaltungen 510, Multiplexer-Bänke 515, Leseverstärker 520, Erfassungs- und Latchschaltung 525, Multiplexer- Sequenzer 530, Adress-Latches 535 und Adress- und Kantentriggereingabe-/ausgabeschaltung 540. Die Architektur 500 enthält außerdem eine Untergruppe an Pixel 550 des Pixelarrays in dem Bildsensor, im Folgenden als „Untergruppe” oder „Untergruppe des Arrays” der Pixel bezeichnet, wobei das gesamte Array eine Größe von R-Pfeilen und C-Spalten aufweist.
Durch die Verwendung eines hochempfindlichen Fotodetektors in einem Bildsensor (z. B. Bildsensor 115 in 1) ist ein Niedrigenergie-, Hochauflösungsoptisches-Abfragesystem in der Lage, die Entfernung zu einem Objekt zu ermitteln. Typischerweise benötigt ein SPAD-Pixel 140 mit einer kleinen Zellgröße und bei IR Wellenlängen den Empfang von etwa 20 Photonen, um zu feuern. Gemäß einer Ausführungsform ist die korrekte Positionstrigonometrie allein durch das Berichten der Adresse eines Pixels, der das Signal erzeugt, bestimmt, innerhalb eines speziellen Zeitrahmens (z. B. Pixelzeitrahmen), basierend auf dem Empfang von Photonen eines einfallenden Abfragestrahls, der von einem gewünschten Objekt reflektiert wird. Da das optische Abfragesystem den Zeitpunkt der Aktivierung der Abfragequelle steuert (die Vorrichtung steuert, zu welche Zeit ein ausgehendes Signal erzeugt wird), ist die Vorrichtung in der Lage programmiert zu werden, um in etwa vorher zu berechnen, über welche Zeitdauer ein Rückgabesignal (für Objekte in einer bekannte Entfernung, z. B. innerhalb einer bekannte Tiefe des Feldes).
Um ein optisches Abfragesystem bei geringer Energie zu betreiben, muss die Energieeinsparung bei so vielen Komponenten wie möglich realisiert werden (wobei weiterhin eine brauchbare Auflösung sichergestellt werden muss). Während die Verwendung von hochsensitiven SPAD basierten Pixeln die Leistungsanforderung der Abfragequelle verringert, gibt es unter Berücksichtigung der Art, in der individuelle SPADs innerhalb des Bildsensorarrays aktiviert werden, weitere Ziele, die unter vorsichtiger Berücksichtigung bedacht werden müssen. Wie hier diskutiert, erfordert eine Lawinenfotodiode eine große Rückwärtsvorspannung, um in den Geigermodus zu kommen, wobei die Initiierung dessen (über beispielsweise die Hochspannungs- und Versorgungsschaltungen 510) eine gewisse Energie für jede einzelne Diode benötigt. Weiterhin ist eine Lawinendiode im Geigermodus (z. B. eine SPAD) nicht in der Lage, diesen Zustand unbegrenzt beizubehalten, sondern wird spontan mit dem Ablauf einer relativ kurzen Zeit (abhängig von Bedingungen, die beispielsweise Umgebungslicht, Zellgröße, Temperatur, Überspannung der Diode) nach relativ kurzer Zeit ablaufen. Es ist daher ungewünscht, alle Fotodioden in dem Bildsensorarray gleichzeitig zu aktivieren, da die Wahrscheinlichkeit für Feuerereignisse aufgrund einer Quelle, die nicht der Abfragequelle entspricht, zunimmt, genauso wie die verbrauchte Leistung durch Aktivierung der Fotodioden.
Ein Ansatz, um beides, die verbrauchte Leistung und die Wahrscheinlichkeit der Pixelaktivierung aufgrund einer Nicht-Abfragequelle zu reduzieren, ist es nur eine Untergruppe der Fotodioden in dem Bildsensor während einer Messperiode zu aktivieren. Anders ausgedrückt, wird eine „Seite” (z. B. ein Unterarray 550 an Pixeln) aktiviert und angeschaltet, um eine Abfragequellenübertragung während einer gegebenen Zeitdauer (z. B. einer Pixelaktivierungszeit) zu erfassen und ein Signal zu erzeugen, während andere Pixel in dem Bildsensorarray ausbleiben. Die Aktivierung einer geringeren Anzahl an Fotodioden reduziert den Energieverbrauch und reduziert ebenfalls die Wahrscheinlichkeit falscher spontaner Aktivierung aufgrund von Hintergrundrauschen (z. B. durch Entfernung von DCR, Umgebungslicht, Auslösungen von nicht eingeschalteten Pixel in den Array).
Für ein Sichtfeld, bei dem der Ort oder Entfernung des Objektes unbekannt ist, sind alle Pixel in dem Bildsensor optimal aktiviert, um mit größter Wahrscheinlichkeit die von einem Objekt in dem Sichtfeld reflektierte Strahlung zu detektieren. Die Abfrage eines Sichtfeldes mit etwas Wissen der vorherigen Position/Entfernung von Objekten darin wird durchgeführt unter Verwendung einer Untergruppe an Pixeln in dem Bildsensor. Eine Untergruppe an Pixeln kann verwendet werden, da das Wissen einer erwarteten Position/Entfernung zu einem Objekt in dem Sichtfeld eine erwartete (näherungsweise) Position der reflektierten Strahlung von diesem Objekt ermöglicht, bei einem gegebenen Abfragestrahlwinkel des Abfragesystems. Solch ein Szenario zeigt die Verwendung der Fähigkeit eines Abfragesystems den Bildsensor derart zu konfigurieren, um lediglich eine Untergruppe des Pixelarrays zu aktivieren. In Verbindung mit dem optischen Abfragesystem kann dies die Bildrate erhöhen und den Energieverbrauch des Abfragesystems verringern. Dieses Szenario kann beispielsweise während einem Update einer bekannten Szene in dem Sichtfeld (z. B. einem Sichtfeld, das erst kürzlich gemessen wurde) existieren.
Mit dem Wissen des zu messenden Volumenraumes (z. B. minimaler und maximaler Abstand) kann die Größe des Unterarrays 550 auf einer Vorhersage, wo die Photonen ankommen sollten, basieren. Die Größe des Unterarrays 550 könnte zu vergrößern oder zu verkleinern sein, entsprechend der Parameter, die der Position des Objektes in dem Sichtfeld, der Leistung der Abfragequelle, des Umgebungslichtniveaus, des Überspannungsniveaus, der individuellen SPADs, usw. Die spezifische Untergruppe an Fotodioden, die für eine spezielle Messperiode aktiv ist, kann von Messung zu Messung verändert werden (z. B. wenn die Abfragequelle bewegt wird, um verschiedene Abschnitte des Sichtfeldes zu untersuchen), wodurch ein „rollendes Unterarray” der aktiven Bildsensorfotodioden 550 erzeugt wird. Dies ist in 5 dargestellt durch verschiedene Sätze an Pixelunterarrays 550, die sich über die Zeit hinweg entlang des Sensorarrays bewegen, wie durch den gestrichelten Pfeil angedeutet. Als nicht-beschränkendes Beispiel ist ein Unterarray 550 konfiguriert durch drei benachbarte Zeilen des Bildsensorarrays und vier benachbarte Spalten (eine 3 × 4 Untergruppegröße). Als anderes nicht beschränkendes Beispiel ist ein Array-High Unterarray 550' konfiguriert, bei dem alle Zeilen und verschiedene (z. B. 3) benachbarte Spalten aktiv sind. Unterarray 550' kann verwendet werden, beispielsweise mit dem Abfragestrahl 125, der im Fächermodus (z. B. Linie) konfiguriert ist.
Gemäß einem Aspekt kann dieses rollende Unterarray 550 als eine Art rollender Verschluss für das optische Abfragesystem betrachtet werden. Die Bewegung des Unterarrays 550 wird typischerweise mit der gleichen Rate erhöht wie ein Pixel für eine Messperiode aktiviert/deaktiviert wird – auch als „Pixelrate” bezeichnet. Wie hierin beschrieben, ist die Pixelrate durch Faktoren wie die Winkelrate (z. B. Resonanzfrequenz eines MEMs basiert auf dem Scannerspiegel) mit der sich die Abfragequelle innerhalb des Messsichtfeldes bewegt, einem Modus der Abfragequelle (z. B. gestufter Modus oder „Fächer”-Modus), dem Umgebungslichtniveau, usw. Außerdem kann durch alleiniges Berichten eines Pixelereignisses über die Pixeladresse ein hoher Durchsatz an Information ermöglicht werden.
Die Terminierung der Pixeluntergruppen 550 Aktivierung in Bezug auf die Aktivierung der optischen Abfragequelle kann auf verschiedene Arten erreicht werden. In einem synchronen Modus kann die Zeit zwischen nachfolgenden Pulsen der Abfragequelle auf dem optischen Abfragesystemniveau ermittelt werden, durch Faktoren wie den Umgebungslichtlevel, die Leistung der Abfragequelle, die Pulszeit, usw., und das Untergruppenarray 550 wird zur gleichen Zeit aktiviert, zu der ein Puls von der Abfragequelle gefeuert wird. Anders ausgedrückt werden die Abfragequelle und das Pixelunterarray 550 synchronisiert und Puls bei Puls gesteuert. Beschränkungen für den Zeitraum zwischen den Pulsen sind beispielsweise die Anzahl der Photonen, die notwendig sind, um eine einzelne Fotodiode in der Untergruppe des Pixelunterarrays 550 zu aktivieren, genauso wie die maximale TOF zum Ermitteln der Objektposition (was die maximale Entfernung des detektierten Objektes vorschreibt). Gemäß einer Ausführungsform vervollständigt jeder Pixel eine Sequenz von Erreichen des Überschreitens eines Rückwärtsvorspannungsschwellwertes, Beibehalten eines Schwellwertes für das Maximum der TOF, Feuern (falls ein Photon detektiert wird), und Löschen innerhalb der Zeitspanne, in der ein Abfragequellenpuls aktiviert ist. Falls die Maximum-TOF größer ist als die Pulsdauer der Abfragequelle, sind viele Pulse der Abfragequelle während der gleichen Messzeitdauer des Pixelunterarrays 550 vorhanden, was zu einer Entfernungsermittlungsunklarheit führt. Eine trigonometrische Entfernungserfassung erfordert einen einzigen Abfragequellenwinkel zusammen mit einer einzigen Empfangspixeladresse. Es ist daher vorteilhaft für den Betrieb des optischen Abfragesystems die notwendige Zeit für die SPAD zur Vervollständigung eines Aktivierungs/Feuerungs-Resetzyklus zu minimieren, da es eine größere Frequenz für Abfragequellenpulse zusammen mit einer feineren Bildsensorarrayauflösung ermöglicht. Eine Möglichkeit, den SPAD-Betriebszyklus zu reduzieren ist die Verringerung der Löschzeit der SPAD. Dies kann durch Aktivierung des Löschens des SPAD erreicht werden, wobei eine aktive Last zu der Zeit aktiviert wird, zu der ein Lawinenstrom der SPAD einsetzt. Gemäß einer Ausführungsform wird sowohl der Abfragequellenpuls als auch das Pixelunterarray 550 erhöht und kein Ereignis wird aufgezeichnet, falls die TOF überschritten wird (Abfragequellenfrequenz)^–1.
Eine alternative Terminierung des Pixelunterarrays 550 ist der asynchrone Betrieb, wobei die Abfragequelle und das Pixelunterarray 550 gleichzeitig aktiviert werden, die Terminierung zwischen den Abfragequellenpulsen jedoch von der Terminierung der Detektionsereignisse bestimmt ist. Gemäß einer Ausführungsform emittiert die Abfragequelle einen Puls nur, wenn das Pixelunterarray 550 ein Rückkehrsignal (z. B. reflektierte Photonen) empfängt, oder wenn ein System-Timeout auftritt. Ein System-Timeout ist auf einem Systemniveau konfigurierbar, und kann auf einem Umgebungslichtniveau, einer maximalen Entfernung zu einem Objekt, Abfragequellenpulsleistung und Pulsbreite, usw. basieren. Auf diese Art kann ein variabler oder selbstterminierter Betrieb des optischen Abfragesystems implementiert werden. Für Objekte mit größerer Entfernung (z. B. mehrere Meter) kann die Bildrate des Systems variabel sein. Für nahe Objekte ermöglicht der Betrieb in einem asynchronen Modus einen schnelleren Abfragequellenpuls und Pixelunterarrayrate, da der maximale TOF-Timeout kein Faktor ist, wenn nahe Objekte für die Messung vorhanden sind.
Gemäß einer Ausführungsform der vorliegenden Beschreibung sind Multiplexer-Bänke 515 mit den Zeilen und Spalten des Bildsensorarrays gekoppelt. Gemäß einer Ausführungsform selektieren die Multiplexer-Bänke 515 die Ausgaben gemäß dem gegenwärtig aktivierten Unterarray, beispielsweise Auswählen von drei Reihen aus 768, 8-Bitauflösung, und 4 Spalten aus 1024, 8-Bitauflösung, entsprechend einem aktuellen Unterarray. Es sind jedoch auch andere Multiplexer-Bankkonfigurationen möglich. Die Ausgänge der Multiplexer-Bänke 515 sind entsprechend mit Zeilen- und Spalten-Leseverstärkern (oder Komparatoren) 520 verbunden. Gemäß einer Ausführungsform erzeugt die erste Fotodiode um ein Signal zu erzeugen in jeder der Zeilen eine „Gewinner-Nimmt-Alles”-Erfassung und Latch 525 – beispielsweise aus drei aktiven Zeilen, wird eins als Erfassungssignal ausgegeben. Genauso ist die Spalte entsprechend der Signalisierungsfotodiode in der Lage, einen Erfassungs- und Latch-525-Ausgang (z. B. 1 aus 4) zu erzeugen. Gemäß Ausführungsformen der vorliegenden Beschreibung zeigt das Ausgangssignal nur die Position der gefeuerten Pixel (z. B. nur die Adressen der Pixel der „Gewinner-Nimmt-Alles”-Erfassung und Latch), und enthält keine Information über andere Pixel. Andere Kombinationen von Erfassung und Latch 525 sind möglich, und liegen im Sinn und Umfang der vorliegenden Beschreibung. Die Kombination der ersten Zeilenadresse, die zu aktivieren ist und der ersten Spaltenadresse, die zu aktivieren ist, ergibt eine einzige Pixeladresse, die mit dem Abfragequellenstrahl, der während der Messzeitdauer aktiviert ist, in Verbindung steht. Diese Pixeladresse enthält das Ausgangssignal, entsprechend dem speziellen Abfragequellenwinkel. Beispielsweise kann der Ausgang des Bildsensors 2-Bit-Zeileninformation und 2-Bit-Spalteninformation entsprechen, da die Entfernungsinformation auf einer ermittelten Unterarray-Adresse basiert und daher Signalmanagement und Eingang/Ausgang Probleme im Vergleich zu konventionellen Entfernungssystemen deutlich reduziert werden können.
Es ist möglich, die SPAD-Terminierung extern anzusteuern, um ein Rauschen zu reduzieren, obwohl das zu Lasten des Systemmessbereichs (z. B. maximale Tiefe des Sichtfeldes) geht. Für eine reduzierte Chipgröße kann eine externe Terminierungs- und Steuerelektronik verwendet werden – wobei hierbei ein Ausgleich zwischen dem Design der Leiterplatte (PCB – printed circuit board) gegenüber dem Chipdesign besteht. Steuereingangssignale können verwendet werden, um eine Selbstterminierung zu erzeugen, über Kantentriggering, programmierbarem Setup, Pixelaktivierung und Multiplexer-Sequenzierung 530. Der Multiplexer-Sequenzierer 530 enthält Terminierungs- und Steuerlogik, die von dem Startsignal 505 ausgelöst wird.
Während der Messphase des optischen Abfragesystems kann, da die Abfragequelle den Übertragungswinkel des Abfragestrahls erhöht, das Vorhandensein von zwei Objekten bei verschiedenen Entfernungen von dem Abfragesystem zu einer Situation kommen, bei der ein plötzlicher Wechsel der Objektposition auftritt oder alternativ, bei der das Vorhandensein eines Objektes nicht zuverlässig erfasst wird. 6 und 7 stellen Ausführungsformen eines solchen Szenarios dar, bei der ein nahes Objekt wenigstens einen Teil eines entfernten Objekts verdeckt.
6 zeigt eine Umgebung 600, bei der ein nahes Objekt 610 und ein entferntes Objekt 615 durch die optische Abfragevorrichtung 105 gemessen werden. Bei einer ersten Messperiode wird ein Abfragestrahl 60 emittiert, der von einem nahen Objekt 610 reflektiert wird und auf den Bildsensor beim Winkel θ1 einfällt. In einer zweiten Messperiode, die der ersten Messperiode folgt, wird ein Abfragestrahl 62 emittiert, der von dem Objekt 615 beim Winkel θ2 reflektiert wird. Da die Objekte 610 und 615 sich in verschiedene Entfernungen befinden, unterscheiden sich die Rückkehrwinkel θ1 und θ2 in einem Maß, das von der relativen Entfernung zwischen den beiden Objekten 610 und 615 abhängt. Die Auswirkung dieser unterschiedlichen Rückkehrwinkel in nur einer Messperiode ist die, dass die Rückkehrstrahlung der zweiten Messung bei einer Arrayadresse empfangen wird, die mehrere Positionen von der Adresse des ersten empfangenen Signals entfernt liegt, was zu einer offensichtlichen Verschiebung in dem Empfangswinkel proportional zum Abstand zwischen den Objekten führt. Dieser Auslasswinkel wird in 6 θ_S bezeichnet. Dieses. Szenario verursacht eine Stufenfunktion in der Position des Objektes, die von Vorrichtung 105 ausgegeben wird, da die Entfernung unter Verwendung der Triangulation bestimmt wird. Im Allgemeinen existiert ein Gebiet 650, in dem Objekte, die von der Abfragevorrichtung 105 weiter entfernt sind als ein nahes Objekt, nicht dargestellt werden.
7 zeigt ebenso eine Umgebung 700 in einer Vielzahl an Objekten für die Messung, ein nahes Objekt 710 und ein entferntes Objekt 715. Die Geometrie der Objekte 710 und 715 ist derart, dass über einen bestimmten Bereich der Abfragestrahlwinkel die reflektierte Beleuchtung aus der einfallenden Beleuchtung des entfernten Objekts 715 von dem nahen Objekt 710 für den Empfang bei dem Bildsensor der Vorrichtung 105. Diese Situation wird allgemein als Objektverdeckung bezeichnet. In diesem Beispiel fällt ein erster Abfragestrahl 70 auf das entfernte Objekt 715, und verpasst knapp das Objekt 710, bildet den reflektierten Strahl 72 und fällt auf den Bildsensor der Vorrichtung 105. Der folgende Abfragestrahl 71 fällt auf das Objekt 715, aber die Reflektion von 71 ist durch das Objekt 710 von der Sicht auf den Bildsensor blockiert. Dies verursacht einen Fehler der Vorrichtung 105 in der Abstandsmessung der Abschnitte des entfernten Objekts 715, die durch das nahe Objekt 710 verdeckt sind. Zu einem späteren Punkt in dem Scanzyklus wird ein Abfragestrahl 78 emittiert, der auf das nahe Objekt 710 fällt und die reflektierte Beleuchtung wird wieder von dem Bildsensor der Abfragevorrichtung 105 empfangen. Im Allgemeinen existiert ein Gebiet 750, in dem Objekte, die weiter von der Abfragevorrichtung 105 entfernt sind als das Objekt 710 nicht abgebildet werden wegen der Verdeckung der rückkehrenden Beleuchtung.
Ein Ansatz, um diese plötzlichen Sprünge in dem Abfragestrahlrückkehrwinkel (z. B. in 6 und 7) zu berücksichtigen ist es, gleichzeitig eine große Gruppe an Pixeln zu aktivieren (z. B. die Größe eines Unterarrays oder Seite an Pixeln zu erhöhen, z. B. Unterarray 550 aus 5). Im Maximum kann diese Größe bis zur Hälfte des Sichtfeldes betragen (in der gleichen Dimension des Abfragestrahlscans, z. B. entlang der Säulen). In diesem Fall kann die Breite der Untergruppe der Pixel bis zur Hälfte der Säulen betragen. Außerdem kann das Unterarray des Pixels eine gewisse Tiefe orthogonal zur Scanrichtung (z. B. Zeilen) erfordern, um eine mechanische/optische Fehlausrichtung zwischen der gesteuerten und der wirklichen Position der Abfragequelle im Vergleich zum Bildsensor zu berücksichtigen, und/oder der Bewegung des optischen Abfragesystems in Bezug auf das Sichtfeld. Quellen der mechanischen/optischen Fehlausrichtung in der Abfragequellenposition enthalten die MEM-Steuerung und Antwortlinearität. Diese können durch Vergrößerung der Unterarraygröße der aktiven Pixel berücksichtigt werden. Der Entfernungserfassungsfehler durch Fehlausrichtung steht mit der Auflösung des Pixelarrays in Beziehung – ein fein aufgelöstes Array (kleine Pixelgröße) weist einen größeren Rückkehrpositionswinkel für eine gegebene Winkelmessausrichtung auf, da eine größere Anzahl an Pixeln ausgelassen wird. Während dieser Ansatz eine etwas größere Schaltkreiskomplexität und Energieverbrauch für das optische Abfragesystem verursacht, sollte ein Gleichgewicht gefunden werden zwischen der Wahrscheinlichkeit, die Rückkehr eines Satzes an Photonen des Abfragestrahls aufgrund einer zu kleinen Unterarraygröße (sampling) zu verpassen, und einem steigenden Hintergrundrauschen durch das Erkennen einer zu großen Fläche (z. B. Aktivieren von Pixeln.
Die Entfernung zwischen den nahen und den fernen Objekten (z. B. Objekt 610 und 615) bewirkt einen Skipwinkel – ein kleiner Zwischen-Objekt-Abstand ergibt einen kleineren Skipwinkel, der andererseits eine kleinere Unterarraygröße erfordert. In einer Ausführungsform gemäß der vorliegenden Offenbarung tritt eine Unterarraygrößenanpassung automatisch durchgeführt basierend auf dem erfassten Zwischen-Objektabstand in einem Sichtfeld der optischen Abfragevorrichtung (z. B. über den ermittelten Skipwinkel). Gemäß einer Ausführungsform wird die Unterarray 550 Größe dynamisch angepasst, unter Berücksichtigung von beispielsweise Änderungen in dem Skipwinkel, bewegenden Objekten in dem Sichtfeld, oder neu auftretenden Objekten.
Die Möglichkeit der optischen Abfragevorrichtung um die Aktivierung von Untergruppen an Pixeln in dem Sensorarray (z. B. Pixelunterarray 550 Größe) anzupassen ergibt eine weitere Funktionalität. Gemäß Ausführungsformen der vorliegenden Erfindung wird eine Bildrate, mit der die optische Abfragevorrichtung Bilder ausgibt, durch die Reduzierung der Anzahl an Zeilen, die in dem Bildsensorarray aktiviert sind, angepasst (z. B. ein Framezoom). Anders ausgedrückt wird die Framegröße durch Berücksichtigung von weniger als der gesamtmöglichen Arrayzeilen (z. B. Aktivieren von weniger als 768 Zeilen in der Bildsensorarchitektur 500) verringert, was zu einer Bildraten(framerate)-Erhöhung führt. Die Bildratenerhöhung ist proportional zur Verringerung der gescannten Zeilen (da die Scanzeit für die Spalten beibehalten wird, aufgrund der resonanten Bewegung der Abfragequelle). Der gesamte Frame kann erzeugt werden durch einen vollständigen Scan der Abfragequelle, beispielsweise einer Abfragequelle, die parallel zu einer Bildsensorzeilenachse resonant ist und in einer parallelen Achse zu den Bildsensorspalten gestuft ist. Die Pulse der Abfragequellenpulsaktivierung können auf die Regionen begrenzt werden, die in dem reduzierten Framegebiet enthalten sind, und ebenfalls kann ein rollendes Pixelunterarray 550 nur in dem reduzierten Framegebiet aktiviert werden. In einer Ausführungsform wird die Abfragequelle in einem Pulsspotmodus aktiviert, und die gestufte Bewegung der Abfragequelle ist reduziert, um allein die Zeilen in dem Framezoomgebiet abzudecken. Der Betrieb der Abfragequelle und des Bildsensors auf diese Art und Weise kann zu einem verringerten Energieverbrauch führen und zwar sowohl von der Abfragequelle als auch von dem Bildsensorarray. Außerdem kann wie oben angemerkt die Framerate erhöht werden, wenn ein spezielles Gebiet in dem Sichtfeld reingezoomt ist.
Es ist eine Vielzahl an Implementierungen zur Aktivierung einer Untergruppe der Bildsensorfotodioden möglich. Als beispielhafte Alternative zu einem rollenden Unterarray benachbarter Pixel wird ein grober erster Scan mit Aktivierung von acht getrennten Pixelsäulen durchgeführt, gefolgt von einem feineren Scan mit vier getrennten Säulen und dann zwei usw. Auf diese Art und Weise kann eine grobe Abschätzung der Position von Objekten in dem Sichtfeld sichergestellt werden. Verfeinerung der individuellen Positionen ist möglich, indem man von grob zu fein geht, wobei ein Feintuning von Objektpositionen aktiviert wird, und wobei auch Abfragequellenwinkel „Skip”-Winkel erzeugen. Gemäß einer Ausführungsform enthält ein Kalibrierungsmodus einen Grobscan, mit großen Säulenlücken der Pixel, die aktiv sind, und nachfolgendem Feintuning des Spaltenabstandes (z. B. Anzahl der Spalten in den Spalten-Lücken) und/oder des Scangebiets (z. B. der Ort des rollenden Unterarrays innerhalb des Bildsensorarrays). Auf die Art und Weise kann das Hintergrundrauschen reduziert werden, indem die Logikpulse in Bezug auf die Objektpositionen in dem gegenwärtigen Sichtfeld exakter gesetzt werden – z. B. die Logikpulse, die die Pixel der ermittelten Spalten aktivieren, um das verringerte rollende Unterarray zu bilden.
Gemäß einer Ausführungsform wird ein erster Scan durchgeführt, um einen ersten Frame mit maximaler Auflösung zu erzeugen, wobei der Ort der detektierten Empfangssignale erfasst, wo die Objekte anfangs positioniert sind. Nach diesem anfänglichem Scan mit großer Framerate werden Änderungen durchgeführt an Pixeln (Spalten), die aktiv sind, an der Belichtungsverzögerung, am Timing usw. Gemäß Ausführungsformen der vorliegenden Beschreibung werden diese Änderungen durch iterative Schleifen implementiert. Als ein nicht beschränkendes Beispiel wird erfasst, an welchem Punkt eine Signalerfassung stoppt (z. B. indem die Belichtung weiter verringert wird). Von diesem Punkt an wird die Belichtung bis zu einem Punkt erhöht, an dem ein Signal neu anfängt, was dann korreliert mit einer im Wesentlichen optimierten Lösung zum Abbilden von Objekten unter den vorliegenden Bedingungen. Auf diese Art und Weise kann eine deutliche Verringerung des Hintergrundrauschens realisiert werden, zusammen mit einer Vergrößerung des optischen Abfragebereichs. Diese Anpassungen sind auf Systemniveau implementiert.
Eine weitere Technik zum Erhöhen der Framerate des Bildsensors enthält einen Alle-Zeilen-Scanmodus (z. B. einen Array-High, swipe of interrogation source light „fan”). In diesem Modus kann die Pixelseite (z. B. Unterarray 550) eine Array-High-Seite sein mit einem bestimmten Untersatz an aktiven Spalten, die sich erhöhen mit den Abfragequellenpulsen. Die Framerate kann deutlich erhöht werden mit erhöhten Systembandbreitenanforderungen, da alle der Pixel mit jedem Winkelschwenk der Abfragequelle aktiviert werden.
Entfernungsmessung über integrierte Flugzeitmessung (time-of-flight)
Gemäß einer Ausführungsform der vorliegenden Erfindung ist ein Einfach- und/oder Wenig-Photonen-Erfassungsarray in der Lage mit zeitkodierter Photonenfeuerinformation pro Pixel (z. B. Pixel 140b) konfiguriert zu werden, verbunden mit Synchronisationsschnittstellen zwischen einer Abfragequelle (z. B. Lichtquelle) und dem Detektor, um TOF zu erlauben und um Entfernungsmessinformation zu erhalten. Als Beispiel erfordert es um 1 cm von freier Raumauflösung zu erhalten eine Ereignisauflösung von einer Genauigkeit von etwa 30 Pikosekunden (z. B. Photonenübertragungszeit von der Lichtquelle zu dem Abfragesystem zu der Zielszene und zurück zu dem Bildsensor des Abfragesystems). Der hier beschriebene Ansatz ermöglicht 3D-Abbildungen und Entfernungsmesssysteme von Hochleistungsübertragung oder Scanmustern zu Niedrigleistungphotonenbursts (z. B. blitzartige oder gepulste geführte Laserstrahlen) mit hochempfindlichen Photonenerfassungsarrays, die entwickelt sind, um x-, y-, und z-Koordinateninformationen und Ereigniszeit zu erreichen, zu entwickeln, um einen im Wesentlichen digitalen Photonendetektor zu erzeugen, der die Nachbearbeitungsanforderungen von Bilddaten verringert. Wie hier beschrieben kann ein SPAD-Pixelarray (z. B. Array von Fotodioden 140) in Kombination mit einer gepulsten und/oder gesteuerten Abfragequelle (z. B. Laserlichtquelle) für 3D-Abbildungen und Entfernungsmessanwendungen verwendet werden. Gemäß einer Ausführungsform sind die Abfragequelle und das Bildsensorarray koaxial durch die gleiche optische Öffnung angeordnet. Der Bildsensor und die Abfragequelle sollten sorgfältig ausgerichtet sein, da die hochempfindlichen SPAD-Vorrichtungen auf Umgebungslicht genauso reagieren wie auf die Abfragequelle. Gemäß einer Ausführungsform der vorliegenden Erfindung enthält ein optisches Abfragesystem eine Lichtquelle, die operativ mit einem Sensorelement verbunden ist. Als ein Beispiel kann die Lichtquelle ein Vertical-Cavity-Surface-Emitting-Laser (VCSEL) sein und das Sensorelement kann ein SPAD-basierter Pixel in einem Array an photonischen Pixeln sein. In solch einem System kann die Zeitverzögerung zwischen der Emission der Lichtquelle und dem Erfassen durch ein Pixel beobachtet werden, die Zeitverzögerung, die einer Übertragungszeit von wenigstens einem Photon von der Lichtquelle zu einem Abschnitt der Szene und zurück zu dem Sensorelement entspricht, oder der Übertragungszeit, die dem Abstand zwischen dem System und einem Abschnitt der Szene entspricht. Die TOF-Berechnung und das nachfolgende Auslesen kann in der SPAD-Pixelfunktionalität integriert sein, wobei das SPAD-Pixel in der Lage ist, einen Ladeintegrierer derart auszuschalten, dass das Pixel die TOF-Information (anders als z. B. das Speichern von optischer Stärkeinformation) speichert.
Die Überwachung der Zeitverzögerung kann durch verschiedene Schemata durchgeführt werden, wobei diese enthalten jedoch nicht beschränkt sind auf das Hinzufügen einer Ladespeichermöglichkeit zu der Pixelsensorzelle (z. B. Steuern des Ladeniveaus eines Kondensators). Es ist dann möglich, dass das Kondensatorladeniveau mit der Zeitverzögerung korreliert, und dadurch eine Abschätzung der Entfernung des Systems von der Szene liefert. Gemäß einer Ausführungsform ist ein Emissionsereignis der Lichtquelle in der Lage, die Entladung eines Kondensators zu veranlassen und ein Pixelerfassungsergeignis ist in der Lage, die Entladung des gleichen Kondensators zu beenden. In einem anderen Beispiel ist ein Emissionsereignis der Lichtquelle in der Lage, das Laden eines Kondensators zu veranlassen und ein Erfassungsereignis ist in der Lage, das Laden des gleichen Kondensators zu beenden. In einem weiteren Beispiel ist die Lasereinschaltflanke entsprechend der Emission eines Lichtpulses von dem VCSEL in der Lage verwendet zu werden, um eine Zeitmessaktivität zu veranlassen (z. B. Laden oder Entladen eines Kondensators). Auf die Detektion eines Rückkehrphotons durch den SPAD-Pixel entsprechend der Lichtquellenemission, eine führende Flanke des Lawinenstromanstiegs kann verwendet werden, um das Ende einer Zeitmessaktivität zu veranlassen (z. B. Ladungsniveauänderung des Kondensators wird beendet, was zu einem Kondensator führt, dessen Ladung proportional zu der Zeitspanne ist, die mit der Photonenübertragung assoziiert ist). In dem Fall, in dem kapazitive Ladung verwendet wird als Zeitmessinstrument, über das SPAD-Pixelarray, kann jeder Pixel eine Abstandbezogene Menge an Ladung in dem entsprechenden Speicherkondensator enthalten, was zu einem bestimmten Abschnitt der Szene korrespondiert und was ausgelesen und verarbeitet werden kann, um eine räumliche-zeitliche Information der Szene als Gesamtes bereitzustellen. Solche SPAD-Pixel können in Arrayform ähnlich der Techniken, wie sie zum Auslesen konventioneller CMOS-Bildsensoren(CIS)-Pixelarrays verwendet werden, ausgelesen werden.
Solch eine Ausführungsform stellt eine hohe Framerate bereit während kostspieliges MEMs-basiertes Strahlsteuern und andere Anforderungen umgangen werden können. Außerdem kann eine verkürzte und Niedrigniveaulichtquellenbeleuchtung verwendet werden aufgrund der erhöhten Empfindlichkeit des SPAD-Pixels. Es wird angemerkt, dass das Abbildungssystem gemäß einer Ausführungsform mit einem synchronen und/oder steuerbaren photonischen Abfragestrahl (z. B. Lichtquelle) verwendet werden kann, wobei die Abfragestrahlbeleuchtung eine Zeitreferenz bereitstellt. Da nur eine Gruppe an Pixeln innerhalb des Arrays getriggert wird, ist es zusätzlich möglich, lokale Entscheidungen auszuführen, um die Adressierung von Ereignissen zu veranlassen. Die vorliegende Ausführungsform kann auf die Verwendung eines vorher festgelegten Abfragemusters von einem beugenden optischen Gitter in dem Abfragestrahl mit entsprechenden Gebieten zur Abbildung innerhalb eines SPAD-Pixelarrays ausgedehnt werden (z. B. strukturierte Lichtansätze). Die beschriebenen Ausführungsformen haben geringere Lichtquellenleistungsanforderungen und die Möglichkeit, ein direktes Bild zu erzeugen, z. B. ein Prozessor (z. B. Prozesseinheit 902). Das heißt, oben beschriebene Abbildungssensorausführungsformen sind für die Integration in eine Hostvorrichtung sowie eine mobile Vorrichtung mit einem Hostprozessor gut geeignet. Das Pixelarray kann außerdem ein Pixelskalamikrolinsenarray enthalten, um den Füllfaktor des Pixels zu verbessern, das heißt um einfallendes Licht auf fotosensitive Gebiete des Pixels zu fokussieren. Das Pixelarray kann auch eine Empfindlichkeitssteuerung enthalten (z. B. durch Rückwärtsvorspannungsspannungsniveausteuerung), die auf Spaltenniveau, Zeilenniveau, Arraygebietsniveau, Pixelniveau, globales Niveau oder irgendwo anders implementiert werden kann. Passives und/oder aktives Löschen, Zeitsperren, Verwendung von Floatinggate-Programmieren (z. B. für Fehlkalibrierung und/oder Pixelentscheidungsschaltung) kann ebenso implementiert werden.
Gemäß einigen Ausführungsformen der vorliegenden Beschreibung hat ein Bildsensor ein Array an Fotodioden mit einer Kombination von TOF-aktivierten und nicht-TOF-aktivierten Pixeln (z. B. Pixel 140b und 140a). Als nicht beschränkendes Beispiel ist eine Untergruppe an TOF-Pixeln 140b in einem groben Gitter in einem Bildsensorarray, wobei die verbleibenden Pixel die Pixel 140a enthalten. So eine Anordnung kann verwendet werden, um die Kontrollsystemlogik zur Adressierung der Pixel in dem Array (z. B. zur Erzeugung des beweglichen Unterarrays 550) zu vereinfachen oder zu vergrößern. Wird die Steuerung des Eingangssignals von der Abfragequelle verwendet, kann eine Grob-Gitter-Kalibrierung durchgeführt werden unter der Verwendung von TOF-Information von den TOF-Pixeln 140b vergrößert durch einen Scan mit hoher Auflösung unter Verwendung der Pixel 140a des Bildsensorarrays. Eine Vielzahl an Steuerschemata ist möglich, die in der Lage sind, eine größere Genauigkeit und/oder schnelleres Windowing für das Bildsensorarray. Außerdem können TOF-Pixel 140b periodisch verwendet werden, um bei der Rauschabstoßung für die optische Abfragevorrichtung zu unterstützen (z. B. durch Bereitstellen einer direkten TOF-Messung an ein Objekt).
8 zeigt ein Ablaufdiagramm 800 eines Verfahrens zur Erfassung eines Abstandes zu einem Objekt unter Verwendung eines Abfragestrahls gemäß einer Ausführungsform der vorliegenden Erfindung. Die Schritte 801 bis 809 beschreiben beispielhaft Schritte des im Diagramm 800 dargestellten Prozesses gemäß verschiedener Ausführungsformen wie hierin beschrieben. In einer Ausführungsform ist das Ablaufdiagramm 800 in der Lage, um als computerausführbare Befehle in einem computerlesbaren Medium gespeichert zu werden und von einer Computervorrichtung, die einen Prozess zur Ermittlung eines Abstandes zu einem Objekt durchführt, ausgeführt werden kann.
Bei Schritt 801 wird ein Objekt mit einem photonischen Abfragestrahl abgefragt. Der Abfragestrahl kann beispielsweise der Abfragestrahl 125 der Abfragequelle 110 der optischen Abfragevorrichtung 105 sein. Gemäß einer Ausführungsform ist die Abfragequelle ein Laser mit einem resonanten MEM-Scanspiegel (z. B. vertical cavity surface-emitting laser (VCSEL)). Die Abfragequelle kann Strahlung mit einer IR-Wellenlänge oder einer anderen Wellenlänge aussenden. Gemäß einer Ausführungsform ist der Spiegel in x-Richtung (z. B. entlang der Bildsensorarrayspalten) resonant und gestuft in y-Richtung (z. B. erhöht entlang der Bildsensorarrayzeilen). Ein resonanter Scanningspiegel kann verwendet werden, um einen Abfragestrahl 125 über ein Sichtfeld für die Abfragevorrichtung 105 zu schwenken, und damit ein Objekt in dem Sichtfeld abzufragen. In einer Ausführungsform arbeitet der Laser in einem „Spot”-Modus; alternativ dazu kann eine Leseabfragequelle auch in einem „Fächer”-Modus arbeiten und einen breiten Streifen an Beleuchtung emittieren.
Bei Schritt 803 wird ein Array an Lawinenfotodioden (z. B. Array von SPAD-Fotodioden) aktiviert, wobei die Lawinenfotodioden im Geigermodus arbeiten, und die Aktivierung im Wesentlichen gleichzeitig mit der Aktivierung des photonischen Abfragestrahls auftritt. Gemäß einer Ausführungsform wird nur eine Untergruppe des Arrays während eines Pulses der Abfragequelle aktiviert. Gemäß einer Ausführungsform ändert sich die Untergruppe des Arrays auf Zeit-variierende Art, und wird zusammen mit den nachfolgenden Pulsen des Abfragestrahls (z. B. rollendes Unterarray 550) erhöht. Die Größe des Unterarrays kann auch geändert werden, und kann auf der Abfragequellenintensität und Bewegungsrate basieren, oder auf der Entfernung der Objekte in dem Sichtfeld oder von anderen Faktoren.
Bei Schritt 805 wird ein von dem Objekt reflektierter Strahl empfangen (z. B. Strahl 130 wird bei Bildsensor 115 empfangen). Ein optisches System (z. B. optisches System 135) kann in dem Bildsensor enthalten sein. Die optische Vorrichtung kann die einfallende Strahlung auf dem Bildsensor fokussieren und/oder filtern. Gemäß einer Ausführungsform tritt das Deaktivieren des Arrays gleichzeitig mit dem Empfang des reflektierten Strahls auf gefolgt von der Erzeugung des Signals bei Schritt 807.
Bei Schritt 807 wird ein Signal erzeugt, entsprechend einer Charakteristik des reflektierten Strahls. Gemäß einer Ausführungsform basiert die Erzeugung des Signals auf dem Empfangen des reflektierten Strahls durch ein erstes Arrayelement, das in der aktiven Untergruppe der Vielzahl der Untergruppen enthalten ist, und jegliche Detektion des reflektierten Strahls durch den Rest der Arrayelemente in dem Array durch die aktive Untergruppe ist nicht in dem Signal enthalten. In einer Ausführungsform enthält jede Fotodiode des Arrays der Lawinenfotodioden wenigstens ein Ladungsspeicherelement, und die Aktivierung des Arrays beendet eine Änderung des Ladeniveaus von dem wenigstens einen Ladespeicherelement während einer Zeitdauer zwischen einer Emission von dem Abfragestrahl und dem Empfangen des reflektierten Strahls von dem Objekt. Gemäß einer Ausführungsform ist das Speicherelement ein Kondensator, und das Ladeniveau ist in dem Signal enthalten und stellt eine Messung der Zeit zwischen der Emission der Abfragequelle und dem Empfang der reflektierten Beleuchtung bereit (z. B. TOF-Information).
Bei Schritt 809 wird eine Entfernung zu dem Objekt basierend auf dem Signal ermittelt. In einer Ausführungsform bestimmt der Winkel, dass das zurückgeworfene Licht in die Optik kommt (z. B. Winkel 116), die Spalte des Bildsensorarrays mit der Fotodiodenaktivierung (z. B. Position innerhalb der Zeile). Diese Pixeladresse zusammen mit einem optischen Abfragequellenwinkel (z. B. 111) bildet eine Abschätzung des zurückgeworfenen Lichtwinkels 116, und zusammen mit dem Abstand zwischen der Abfragequelle und dem Bildsensor bilden diese eine Entfernungsbestimmung (über Dreiecksmessverfahren). Gemäß einer Ausführungsform wird eine TOF-Berechnung und ein nachfolgendes Auslesen in die SPAD-Pixelfunktionalität (z. B. Pixel 105b) integriert, und der SPAD-Pixel stellt den Betrieb eines integralen Ladeintegrators derart fest, dass das Pixel TOF-Information speichert.
Beispielhafte Entfernungsmessvorrichtung
Eine optische Abfragevorrichtung gemäß der vorliegenden Offenbarung kann verschiedene Konfigurationen enthalten und kann in einer Host elektrischen Vorrichtung, die eine optische Abfragevorrichtung nutzt, verwendet werden. Solch elektronische Vorrichtungen enthalten tragbare Vorrichtungen und andere tragbare und nichttragbare Computervorrichtungen, sowie Gläser, Uhren, Mobiltelefone, Smartphones, Tablets und Laptops, sind jedoch nicht hierauf beschränkt. Wie in 9 dargestellt enthält eine beispielhafte Hostvorrichtung, die in der Ausführungsform der vorliegenden Erfindung implementiert sein kann, eine Universalzweckberechnungssystemumgebung 900. Die Hostvorrichtung enthält ein optisches Abfragesystem 907. Gemäß einer Ausführungsform umfasst das optische Abfragesystem 907: eine Abfragequelle auf dem System (z. B. Abfragequelle 110), die eine Zielszene beleuchtet (z. B. mit Laserlicht) während der Bilderfassung; ein Einzel- und/oder Wenige-Photonenpixelarray-Bildsensor (z. B. Bildsensor 115), der auf dem System an einer bestimmten Position (z. B. horizontal versetzt von der Abfragequelle 110) angeordnet ist; und ein Schaltkreis in dem Bildsensor, der ein optisches Bild der Zielszene in ein elektronisches Signal zur Bildverarbeitung umwandelt. Das optische Abfragesystem 907 enthält optional eine Abbildungslinse und/oder Mikrolinsenarray und/oder einen Filter (z. B. einen optischen Wellenlängenbandpassfilter), um Umgebungslicht während der Bilderfassung abzustoßen.
In der grundlegensten Konfiguration enthält das Rechensystem 900 wenigstens einen Prozessor 902 und wenigstens einen Speicher 904. Der Prozessor 902 repräsentiert im Allgemeinen jeglichen Typ oder jegliche Form einer Prozesseinheit, die geeignet ist, um Daten zu verarbeiten oder Befehle zu interpretieren oder auszuführen. In bestimmten Ausführungsformen empfängt der Prozessor 902 Befehle von einer Softwareanwendung oder einem Modul. Diese Befehle können den Prozessor 902 veranlassen, die Funktionen von einem oder mehr der beispielhaften Ausführungsformen wie oben beschrieben und/oder dargestellt auszuführen. Gemäß Ausführungsformen der vorliegenden Beschreibung ist der Prozessor 902 geeignet, um Bilder einer Zielszene von dem Bildsensor zu empfangen und Entfernungsinformation der Zielszene von dem Bild zu ermitteln.
Der Speicher 904 entspricht im Allgemeinen irgendeinem Typ oder einer Form an flüchtigen oder nicht-flüchtigen Speichervorrichtungen oder Medium, das geeignet ist, um Daten und/oder andere computerlesbare Befehle zu speichern. In bestimmten Ausführungsformen kann das Rechensystem 900 sowohl eine flüchtige Speichereinheit (z. B. den Speicher 904) und eine nicht-flüchtige Speichervorrichtung 908 enthalten. Das Rechensystem 900 enthält außerdem eine Displayvorrichtung 906, die operativ mit dem Prozessor 902 gekoppelt ist. Die Anzeigevorrichtung 906 ist im Allgemeinen konfiguriert, um eine grafische Nutzerschnittstelle (GUI – graphical user interface) anzuzeigen, welche eine leicht zu verwendende Schnittstelle zwischen einem Nutzer und dem Rechensystem darstellt.
Gemäß einer Ausführungsform enthält das Rechensystem 900 Befehle zum Durchführen der Prozesse gemäß der Aspekte der vorliegenden Beschreibung, wobei die Befehle auf dem Speicher 904 oder dem Speicher 908 gespeichert werden. Beispielsweise kann das Computersystem 900 Objektentfernungsbestimmungsbefehle 913 enthalten, wobei die Objektentfernungserfassungsbefehle 913 Befehle enthalten, die das Rechensystem 900 veranlassen, um einen Prozess zur Ermittlung einer Entfernung zu einem Objekt gemäß der Ausführungsformen der vorliegenden Beschreibung durchzuführen (z. B. Prozess 800).
Wie in 9 dargestellt kann das Rechensystem 900 auch wenigstens eine Eingangs/Ausgangs(I/O)-Vorrichtung 910 enthalten. Die I/O-Vorrichtung 910 repräsentiert irgendeinen Typ oder Form einer Eingabevorrichtung, die geeignet ist, eine Eingabe oder Ausgabe bereitzustellen oder zu empfangen, egal ob Computer-erzeugt oder vom Menschen erzeugt, wobei die Eingabe zu oder von dem Rechensystem 900 erfolgen kann. Beispiele einer I/O-Vorrichtung 910 enthalten ohne Beschränkung eine Zeige- oder Cursersteuer-Vorrichtung (z. B. eine Berührungs-sensitive Vorrichtung und/oder Maus), eine Spracherkennungsvorrichtung, eine Tastatur oder jegliche andere Eingabevorrichtung.
Die Kommunikationsschnittstelle 922 von 9 repräsentiert jeglichen Typ oder jegliche Form einer Kommunikationsvorrichtung oder Adapter zur Herstellung einer Kommunikation zwischen dem beispielhaften Rechensystem 900 und einer oder mehrerer zusätzlicher Vorrichtungen. Beispielsweise kann die Kommunikationsschnittstelle 922 eine Kommunikation zwischen dem Rechensystem 900 und einem privaten oder öffentlichen Netzwerk mit zusätzlichen Host-Vorrichtungen und/oder Rechensystemen durchführen. Beispiele einer Kommunikationsschnittstelle 922 enthalten, ohne Einschränkung, eine drahtlose Netzwerkschnittstelle (wie beispielsweise eine drahtlose Netzwerkschnittstellenkarte und/oder ein Bluetooth-Adapter), eine drahtgebundene Netzwerkschnittstelle (wie beispielsweise eine Netzwerkschnittstellenkarte), ein Modem und jegliche andere mögliche Schnittstellen. In einer Ausführungsform stellt die Kommunikationsschnittstelle 922 eine direkte Verbindung zu einem Remoteserver über eine direkte Verbindung zu einem Netzwerk, wie beispielsweise einem zellularen Netzwerk und/oder dem Internet her. Die Kommunikationsschnittstelle 922 kann auch indirekt eine Verbindung über jede andere mögliche Verbindung bereitstellen. Die Kommunikationsschnittstelle 922 kann auch einen Host-Adapter repräsentieren, der geeignet ist, um eine Kommunikation zwischen dem Rechensystem 900 und einem oder mehrerer zusätzlicher Netzwerk- oder Speichervorrichtungen über einen externen Bus oder Kommunikationskanal herzustellen.
Pixelschaltkreis
10 zeigt ein Blockdiagramm eines beispielhaften Pixelschaltkreises 1000 gemäß der Ausführungsformen der vorliegenden Erfindung. Der beispielhafte Pixelschaltkreis 1000 enthält eine Fotodiode 145, eine Latch-Schaltung 1005 und eine Dekodierungs- und Steuerschaltung 1010. Die Fotodiode 145 erzeugt nach dem Empfang der Beleuchtung einen Strompuls, der über einen elektrisch gekoppelten Widerstand in einen Spannungspuls umgewandelt werden kann (z. B. 220 in 2). Der Spannungspuls kann direkt für die Logik des Pixelschaltkreises 1000 verwendet werden, beispielsweise zur Verwendung, um direkt ein Fotodiodenaktivierungsereignis (z. B. Feuern) zu aktivieren, um ein Latch des Latch-Schaltkreises 1005 zu setzen.
11 zeigt eine beispielhafte schematische Pixelschaltung 1100 auf Transistorniveau gemäß einer Ausführungsform der vorliegenden Offenbarung. Der Pixelschaltkreis 1100 enthält Pufferelemente 1125 (z. B. entsprechend dem Puffer 225 aus 2), Latch-Elemente 1105 (z. B. entsprechend dem Latch 1005), und Dekodier- und Steuerelemente 1110 (z. B. entsprechend zum Dekodieren und Steuern 1010). Der Pixelschaltkreis aus 11 wird durch die Spalten- und Zeilenaktivierungssignale (ColHVen und RowEn) angesteuert, und weist eine Massen-referenzierte Fotodiode auf. Gemäß einer Ausführungsform ist eine Fotodiode konfiguriert, um im Geigermodus (z. B. als SPAD betrieben zu werden) zu arbeiten. Die Massen-referenzierte Fotodiode erzeugt nach dem Empfang ausreichender Photonenbestrahlung (z. B. mehrere Photonen) einen schnellen Strompuls, der über einen Widerstand in einen Spannungspuls gewandelt wird. Der Spannungspuls kann direkt für die Logik der Pixelschaltung verwendet werden, um dadurch direkt die Verwendung eines Fotodiodenaktivierungsereignisses (z. B. Feuern) zu aktivieren, um die Funktionalität des Bildsensors zu steuern. Der Spannungspuls kann beispielsweise ein positiver Puls sein (in Bezug auf Masse), der als Eingang für einen Transistor verwendet wird. Gemäß Ausführungsformen der vorliegenden Beschreibung ist der Spannungspuls, der von dem Fotodiodenereignis erzeugt wird, in der Lage, eine Logikniveauspannung zu erzeugen, die beispielsweise direkt in die CMOS-Logik eingegeben wird, um die Set-Reset-Latch-Schaltung der Elemente 1105 zu setzen (oder zu resetten).
Gemäß Ausführungsformen der vorliegenden Beschreibung enthält ein Bildsensor (z. B. Bildsensor 115) ein Array von Pixelschaltungen 1100, und ein gesetzter Wert für das Latch 1105 veranlasst das Bildsensorarray, die Adresse des gefeuerten Pixels zu berichten, was verwendet werden kann, um einen Rückkehrwinkel eines Abfragestrahls, der von einem Objekt reflektiert wird, zu ermitteln. Wie hierin beschrieben kann mittels eines ermittelten Rückkehrwinkels (z. B. Winkel 116 in 1) der Abstand zu einem Objekt über Dreiecksberechnungsverfahren ermittelt werden. Die Pixelarchitektur gemäß 11 erfordert keine analogen Leseverstärker mit hoher Verstärkung oder analoge Zeit-Zu-Digital-Wandler, was zu geringeren Leistungsanforderungen und Messlatenz für das System aufgrund der fehlenden Analogkomponenten führt. Die Pixelarchitektur 1100 gemäß 11 entspricht einem komplett digitalen Pixel.
Gemäß Ausführungsformen der vorliegenden Beschreibung ist die Fotodiode aktiv gelöscht, um die Zeitspanne zwischen potentiellen aufeinanderfolgenden Feuerungen der Fotodiode (z. B. um die Reset-Zeit einer SPAD nach einem Feuerereignis zu minimieren) zu steuern. Andererseits ist bei vielen anderen Ansätzen die Position eines Widerstands an der Spitze der Fotodiode und die Fotodiode ist an Masse verankert. Diese Architektur führt zu einem negativen Puls, falls eine SPAD von einem Photonenerfassungsereignis feuert, was weniger nützlich ist für ein System, das designt wurde, um ein Fotodiodenaktivierungsereignis direkt als eine direkte Eingabe für die CMOS-Logik zu verwenden. Üblicherweise kann eine SPAD AC-gekoppelt sein (z. B. eine Fotodiode gekoppelt mit einem Kondensator), um ein Niveauverschieben (level shifting) in einem passiven Schaltkreis durchzuführen. Solche Architekturen sind deutlich langsamer als die der vorliegenden Beschreibung und erlauben kein aktives Löschen oder Ansteuern eines Pixels. Außerdem werden bei den Architekturen gemäß der vorliegenden Beschreibung keine Leseverstärker zum Erfassen eines kleinen Stroms verwendet.
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Pixelschaltung 1100 angesteuert (z. B. wird die Fotodiode selektiv aktiviert). Im Ruhezustand ist die Fotodiode nicht geerdet und es existiert keine Spannung über die Fotodiode, und damit kann die Fotodiode nicht feuern, selbst falls Photonen einfallen. Gemäß den hier beschriebenen Ausführungsformen wird die Fotodiode separat vom Logikschaltkreis (genauso wie das Latch) von einer Hochspannungsleiste betrieben. Hochspannungskomponenten des Pixelschaltkreises 1100 sind beschränkt auf die Elemente innerhalb der Box 1145, nämlich die Hochspannungsversorgungsleitung, die Fotodiodenkathode und der Knotenpunkt A (z. B. Verbindung mit der Anode der Fotodiode). Wenn das Pixel aktiviert ist – durch Steuerleitungen (z. B. ColHVen und RowEn), die auf Systemniveau gesteuert werden – erzeugen Photonen, die auf der Fotodiode einfallen ein Signal (z. B. einen Strompuls aus einem Lawinendurchbruchsereignis), das zu einem Spannungspuls führt. Wie in 11 dargestellt kann an einem Knoten B nur dann ein Feuerpuls erzeugt werden, wenn FireEN, ColHVen und RowEn auf einem hohen Niveau sind. Diese Architektur stellt eine komplette Pixelansteuerungssteuerung bereit und daher eine Steuerung über den Satz an Pixeln in dem Bildsensorarray, die für jede spezielle Messperiode (z. B. spezielle, Allgemein-Zweck-Pixelsteuerung für variable Pixelseitengröße) aktiviert sind. Gemäß einer Ausführungsform wird in den Pufferelementen 1125 eine Spannungsklemme verwendet, um die Spannungsspitzen am Gate während eines Feuerereignisses der Fotodiode zu begrenzen. Außerdem dient durch die Begrenzung der Spannungsspitzen die Spannungsklemme dazu, um ein Spannungsniveau der Fotodiode beizubehalten, das näher an dem Zielfotodiodenvorspannungsniveau liegt und dadurch die Zeit, die benötigt wird, um die Fotodiode auf einen Fertig-Zustand für ein nachfolgendes Feuerereignis zu reduzieren.
Auf diese Art wird das Pixel angesteuert, und die (aktivierte) Masse-Referenzfotodiode ist in der Lage, auf das Feuerereignis hin ein Latch zu setzen. Gemäß einer Ausführungsform erlaubt RowEn in einem HV-Modus HV-Bildsensorspaltensteuerung, Spaltenzugriff im Lesemodus. HV-Vorspannung über die Diode kann durch Zeile und Spalte adressierbar sein, während ein Lesesignal einen Spannungskonflikt im HV-Modus vermeidet. Gemäß einer Ausführungsform ist das Lesen adressierbar durch ROW, und Spalten werden gesampelt für Feuerereignisinformation von den Bildsensorarrayfotodioden. Außerdem aktiviert die Steuerlogik ein Gesamtreset des Latches (z. B. für eine spätere Entfernungsmessung) – ein Latchresetsignal LtchRst wird über einen niedrigen Puls aktiviert und wird auf die aktiven Zeilen angewandt, um die Fotodioden zu resetten.
Die in 11 dargestellte Pixelarchitektur aktiviert ein schnelles energieeffizientes, selbst in Reihe bringendes Auslesen der gefeuerten Pixel für eine Bildsensorarchitektur. Gemäß einer Ausführungsform der vorliegenden Beschreibung klingt ein Pixel mit einem Feuerereignis in Antwort auf die von einem Objekt reflektierte und empfangene Strahlung, die von einer Abfragequelle eines Entfernungsmesssystems abgefragt wurde, ein. Dieses Latch aktiviert ein Auslesen der Adresse des Pixels, das gefeuert hat, und das mit dem Wissen des Abfragesystems (z. B. der Winkel des Abfragestrahls, die Entfernung zwischen der Abfragequelle und dem Bildsensor) Information bereitstellt, die notwendig ist, um eine Entfernung zu einem Abfrageobjekt zu ermitteln.
Bezugnehmend nun auf 12 wird eine beispielhafte Pixelschaltung 1200 mit einem Puffer 1225 und Dekoderelementen 1210 dargestellt. Die Pixelschaltung 1200 kann außerdem eine Löschfeedbackschaltung 1230 enthalten. Gemäß einer Ausführungsform kann die Pixelschaltung 1200 einen Spaltenadresswert erzeugen, falls ein Pixel des Bildsensorarrays 115 basierend auf der empfangenen Beleuchtung aktiviert ist. Die Spaltenadresse der Dekodierschaltung 1210 kann verwendet werden, um ein Zeilen-Latch am Ende der Zeile zu setzen, in dem das Pixel sitzt. Weiterhin können Aktivierungen des Pixels ein Deaktivierungssignal zu anderen Pixeln weitergeben (z. B. andere Pixelschaltkreise 1200) in derselben Zeile (z. B. zu denen, die zu anderen Spalten der Reihe gehören), und auf diese Art und Weise kann ein Signalkonflikt minimiert werden. Das bedeutet, eine erste Spalte aktiviert auf der ersten Zeile setzt ein Latch, wird außerhalb des Bildsensorarrays 115 gespeichert, und deaktiviert auch andere Pixel der Zeile. Die Pixelschaltung 1200 ist gut geeignet, um Bildsensorarchitekturen in einem Fächermodus (z. B. Linienscanmodus) abzufragen, beispielsweise die für 16 beschriebene Bildsensorarchitektur.
13 stellt eine Ausführungsform einer Schaltungslogik für Bildsensorspalten Selbst-Terminierungsaktivierung vor, und eine Auslesewellen-Durchfunktionalität, basierend auf einer Pixelarchitektur wie in 11 beschrieben. Gemäß Ausführungsformen der vorliegenden Beschreibung ist die Schaltkreislogik in der Lage, um ein Signal direkt von der Fotodiode (z. B. einem SPAD-Feuerereignis) zu empfangen, und dadurch (schnell) ein Latch zu setzen. Ein erstes Feuerereignis bei einem Pixel in dem Bildsensor kann dazu führen, dass andere Pixel deaktiviert werden. Als nicht-beschränkendes Beispiel werden, wenn ein Latch auf einer Zeile in dem Bildsensor gesetzt ist, alle anderen Pixel auf der Zeile über einen Selbst-Terminierungsschleife deaktiviert. Diese Architektur aktiviert eine präzise Ermittlung des Ortes der einfallenden Photonen auf dem Bildsensorarray. Mit dieser Information kann eine Entfernungserfassung durchgeführt werden wie in den Ausführungsformen beschrieben. Während ein Potential existiert, dass benachbarte Pixel ein Signal entwickeln (z. B. das benachbarte Photodiodenfeuern), kann dieses Potential im Wesentlichen durch sorgfältiges Steuern der Terminierung für die Beleuchtung durch die hier beschriebene Abfragequelle herbeigeführt werden, genauso oder zusammen mit der Bildsensoraktivierungsterminierung (z. B. Pixelunterarrayansteuerung).
Gemäß einer Ausführungsform enthalten SPAD-basierte Pixel ein selbst-terminiertes Latch, das verwendet wird, um den Ausleseschaltkreis zu betreiben, Energieverbrauch zu verringern und einen Ereignisaufstaumodus, der mit der Verwendung von Einzelphotonendetektoren in Vielphotonenzählumgebungen verknüpft ist, zu vermeiden. Systemniveauterminierungsbefehle (z. B. Spalten- und Zeilenaktivierungssignale) können verwendet werden, um selbst-terminierte asynchrone Logik auf Pixelniveau zu triggern. Gemäß Ausführungsformen der vorliegenden Beschreibung synchronisiert die Systemniveauterminierungdeaktivierung der Abfragequelle mit Aktivierung einer oder mehrerer Pixel in dem Bildsensor (z. B. ein Pixelunterarray, das in der Lage ist, sich in der Größe von einem Pixel bis zu dem vollen Bildsensorarray zu ändern). Wenn eine Spaltenaktivierung gesetzt ist, wird eine Terminierungsschleife für ein Pixel durch ein Set-Reset-Latch getriggert. Falls keine Fotodiodenaktivierung detektiert wird, wird das Latch nicht gesetzt, und der nächste Aktivierungspfad wird aktiviert, um das Bildsensorauslesen bei dem nächsten Pixel der aktivierten Zeile (z. B. dem Pixel der benachbarten Spalte) weiterzuführen. Die nächste Spalte wird solange nicht ausgelesen bis das aktuelle Pixel den Auslesezyklus beendet hat. Die Pixel berichten nacheinander in dem Bildsensor mit einer selbst-terminierten Auslesezeitdauer. Insbesondere sind nur die Pixel, die ein Aktivierungsereignis (z. B. ein SPAD-Feuern) erleben, und daher ein Latch-Setzen, diejenigen Pixel, die über einen gegebenen, verbundenen Abfragepuls berichten. Anders ausgedrückt ist der einzige Auslesebericht des Bildarrays die Adresse des ersten Pixels, der ein Latch setzt, und weiteres Pixelberichten wird durch Nicht-Aktivieren der in Reihenfolge folgenden Pixel während des Auslesens verhindert (z. B. ein Auslesen eines nachfolgenden Pixels wird nur aktiviert, falls das aktuelle Pixel kein Latch setzt). Nicht gesetzte Pixeladresse werden daher nacheinander während des Auslesens durch die asynchrone Führe-Hindurch-Logik (z. B. Wellen-Durch) ausgelassen, mit dem Auslesen, das schneller auftritt und mit geringeren Datenbandbreitenanforderungen als konventionelle Systeme, da nur die Adresse des ersten gefeuerten Pixels einer speziellen Zeile (oder Spalte) für Spalten-Bei-Spalten-Auslesekonfiguration) berichtet wird.
14 zeigt ein Blockdiagramm 1400 einer verbundenen Leseschaltung gemäß einer Ausführungsform der vorliegenden Beschreibung (z. B. Beispiel Seiten-Bei-Seiten-Logikschaltkreis mit globaler Terminierungsschaltung). Der Logikschaltkreis enthält Spaltenumgehungslogik zusammen mit einem externen Terminierungspulsgenerator für Spaltenaktivierung. Die Terminierung ist konfiguriert, damit ein Auslesen eines gegenwärtigen Spaltenzustandes durchgeführt werden kann, mit einer Aktivierung einer nächsten Spalte und Auslesen gemäß der gleichen Logik. Die spezielle Terminierung wird auf Systemniveau konfiguriert und kann gemäß der Abbildungsbedingungen angepasst werden (z. B. Umgebungslichtniveau, Abfragequellenleistung, ermittelten Abstand zu einem abgebildeten Objekt usw.). Gemäß Ausführungsformen der vorliegenden Beschreibung werden alle Spalten eingegeben, wenn ein Fotodiodenauslesen gesetzt ist (readout). Gemäß einem Aspekt wird eine Wellen-Durch-Logik aktiviert, wenn eine Spalte einen niedrigen Wert hat (z. B. eine Fotodiode ausgeschaltet ist). Da das Auslesen der Reihe nach durch das Array hindurchgeht, blockiert die erste Spalte, die einen High-Wert ausgibt, die Wellen-Durch-Logik und es ist möglich, einen Wert entsprechend dem High-Wert der Spalte zu setzen. Gemäß einer Ausführungsform setzt der Spalten-High-Wert eine ROM-Zeile auf einen High-Wert, bis ein Timer zurückgesetzt wird und ein Next-Enable-Signal gesetzt wird. Dieser Prozess wird in der nächsten Spalte (z. B. nacheinander) wiederholt bis die letzte Spalte in dem Array erreicht ist. Die ROM-Zeilen mit Fotodioden, die gesetzt wurden (z. B. von einem Spalten-High-Wert) werden bei dem Abbildungssensoreingangs/ausgangsschaltkreis ausgelesen. Die Auslesewellen-Wellen-Durch-Logik kann in verschiedenen Bildsensorausführungsformen implementiert werden inklusive der unten in den 15 und 16 beschriebenen Ausführungsformen, bei denen die Wellen-Durch-Logik während des Auslesens der ROM-Spaltenadresse oder entsprechend Zeilenspaltenregistern verwendet wird.
Bildsensorarchitektur
15 zeigt eine schematische Darstellung einer Bildsensorarchitektur 1500 gemäß einer Ausführungsform der vorliegenden Beschreibung. Die Bildsensorarchitektur 1500 enthält ein Array an Fotodioden, eine seriell programmierbare Schnittstelle (SPI), einen Spaltensteuermux, einen Zeilenmux, Eingangs/Ausgangs-Steuer- und Terminierungsschaltung, einen schnellen ROM-Dekoder und Konfigurationsschaltung für Zeilen- und Spaltenzuordner (sequencer). Jedes Pixel des Bildsensorarrays ist gesteuert und selbst-latching wie hier beschrieben (z. B. 10 und 11). Gemäß einem Aspekt ist der Bildsensor ein selbst-berichtender Pixelzuordner mit vorprogrammierter Unterarraygröße 550 (bis zu dem vollen Bildsensorarray). Das Pixel ist von Natur aus digital und hat einen Wert von entweder 1 oder 0, entsprechend zu einem Latch, das gesetzt oder nicht gesetzt ist während einer Entfernungsmesszeitdauer. Das Bildsensorarray wird in Nutzer-konfigurierbare Seiten unterteilt, die nacheinander erhöht werden können, wenn der Winkel des Abfragestrahls geändert wird und/oder die Adressen der aktivierten Pixel können mit dem Abfragestrahlübertragungsort im 3D-Raum koordiniert sein. Das Letzte erlaubt ein gleichzeitiges Auslesen eines beleuchteten Unterarrays von Pixeln während ein geometrisch separiertes Unterarray beleuchtet wird, wodurch die Bildrate (Frame-Rate) und der Durchsatz erhöht wird, und auf Systemlevel konfigurierbar ist.
Die Steuerlogik (z. B. 13 bis 14) am vorderen Ende des ROM-Dekoders aktiviert ein Pixel, wenn es durch eine Fotodiodenaktivierung gesetzt ist, um auf dem schnellen ROM-Dekoder zu veranlassen, dass alle anderen Pixel zu dem Zeitpunkt aus sind. Gemäß Ausführungsformen der vorliegenden Beschreibung ist der Ausgang des Bildsensorarrays ein Zeilentreibersignal für einen schnellen ROM-Dekoder, wobei das Signal zu einer Spalte des Bildsensors korrespondiert mit einem Feuerereignis, und der ROM-Dekoder beispielsweise eine Lookup-Tabelle mit der Adresse der aktivierten Spalte zur Bildsensororterfassung enthält. Die gegenwärtig aktivierte Zeile ist bekannt (da es von dem Abbildungssystem gesteuert ist) und der Spaltenort, der von dem ROM-Dekoder ermittelt wurde, stellt eine eindeutige Adresse der Fotodiode bereit, die aktiviert wurde. Auf diese Art klammert die Bildsensorarchitektur 1500 ein Aktivierungsereignis an das Pixel und dekodiert den Ort bei der Spalte (über den schnellen ROM-Dekoder). Alle Zeilen des Bildsensors werden zu Eingaben für den schnellen ROM-Dekoder, wobei die Pixel eine Logik enthalten wie in den Ausführungsformen beschrieben. Eine Bildsensorarchitektur gemäß der vorliegenden Erfindung gibt nur eine Arrayadresse eines Pixels aus, das während der Messzeitdauer (z. B. durch ein SPAD-Feuerereignis) aktiviert wurde, und alle anderen ungelesenen Pixel der Zeile sind deaktiviert und werden übergangen. Dadurch kann die Möglichkeit zum Feuern während eines Rauschens (z. B. Beleuchtung durch Umgebungslicht) und die Bandbreitenanforderungen zur Datenübertragung verringert werden.
High-Level(z. B. Systemlevel)-Terminierungsbefehle werden verwendet, um die Beleuchtungslichtpulse der Abfragequelle mit der Bildsensoraktivierung in dem Pixel zu synchronisieren. Die Terminierungsbefehle werden verwendet, um das selbst-terminierte Auslesen des Bildsensors zu veranlassen, welches das aufeinanderfolgende Berichten nur der Pixel betreibt, die in der dazugehörigen Lichtpulsperiode (z. B. die Pixel, die als asynchrone Statemaschinen betrieben werden) gefeuert wurden. Nachdem alle Zeilen ausgelesen sind, setzt ein globaler Reset (gesteuert auf Systemlevel) alle Pixel in dem Bildsensor für den nächsten Abfragestrahlpuls (z. B. nächste Messperiode). Die Zeilenauslesemechanismen verwenden die vorher genannte Hindurch-Geh-logische Funktionalität für jede Zeile, um nur die aktivierten Pixel (Zeilen) zu berichten. Alternativ dazu kann eine Registerbank verwendet werden, um einen Zeilenscan einzurasten, bei dem das Auslesen zu einem nachfolgenden Zeilenscan auftritt.
Bezugnehmend nun auf 16 ist nun ein Blockdiagramm einer Bildsensorarchitektur 1600 dargestellt gemäß einer Ausführungsform der vorliegenden Beschreibung. Verglichen mit der Bildsensorarchitektur 1500 ist die schnelle ROM-Dekodierfunktionalität der Bildsensorarchitektur 1600 auf dem individuellen Pixelniveau enthalten, und damit intern in dem Bildsensorarray (z. B. Pixelarchitektur aus 12). Der Set-Reset-Latch-Schaltkreis ist extern zu dem Array angeordnet, so dass ein Latch auf Zeilenniveau durchgeführt wird und lediglich ein Latch pro Zeile gesetzt wird. Die Architektur 1600 enthält Spaltenadresslatches (z. B. eine Registerbank), die erste Latches enthält, um einen Zeilenscan einzuklinken und zweite Latches, die über eine Verschiebung von den ersten Latches gesetzt werden können. Die zweiten Latches können während eines nachfolgenden Zeilenscans ausgelesen werden. Der Bildsensor klinkt daher auf Zeilenniveau ein und dekodiert auf Pixel(Zell)-Niveau. Wie hierin beschrieben ist in der Bildsensorschaltung eine Wellen-Hindurch(ripple-through)-Logik enthalten, so dass das Bildsensorarray entlang der Zeilenlatches am Ende der Zeilen ausgelesen wird (anders als die in 15 beschriebenen Spalten).
Bildsensorarchitektur 1600 kann für einen Linienscanabfragemodus konfiguriert sein, bei dem alle Bildsensorzeilen gleichzeitig aktiv sind. Basierend auf der Zeit, wenn die Abfragequelle aktiviert ist, sind eine oder mehrere Zeilenlinien des Bildsensorarrays aktiviert. Gemäß der Bildsensorarchitektur 1600 beansprucht die erste aktivierte Fotodiode einer Zeile den Adressbus für diese Zeile, und daher kann eine einzige Bildsensorarrayposition für die zurückkehrende Beleuchtung der Abfragequelle ermittelt werden. Gemäß einer Ausführungsform gibt es zehn Spaltenadresslinien pro Zeile (es können auch mehr oder weniger Adresslinien möglich sein), eine hart verdrahtete ROM-Adresse für jedes Pixel, so dass, wenn ein Pixel durch eintreffende Photonen aktiviert wird, ein diskretes (z. B. einzelnes) Spaltenadresssignal auf den Adressleitungen eines entsprechenden Registers gesetzt wird. Das ermöglicht dem Bildsensor die Kapazität, um Spaltenadressen des Pixels, das als letztes aktiviert wurde, zu identifizieren, falls eines während des Messvorgangs aktiviert wurde.
Diese Schaltkreiskonfiguration kann weniger platzeffizient sein als andere hierin beschriebene Bildsensorarchitekturen, es kann jedoch eine bessere Sensorflexibilität mit einem in jeder Zeile eingebetteten Spaltenadress-ROM realisiert werden. Die Bildsensorarchitektur 1600 ist in der Lage, um einen Unterarrayansatz durchzuführen (z. B. bewegliches Unterarray 550, 550'), um ein Hintergrundrauschen und andere Faktoren während einer Messzeitdauer zu kontrollieren und herbeizuführen. Gemäß einer Ausführungsform können komplette oder Teile von Zeilen in dem Bildsensor durch die Systemsteuerung im Wesentlichen gleichzeitig aktiviert werden, für entweder den Linienscan oder Punktscanabfragemodus, wobei der Bildsensor in der Lage ist, ein erstes Fotodiodenfeuerereignis in jeder Zeile zu berichten.
Der in 16 dargestellte Bildsensor mit einem Latch auf Zeilenniveau ermöglicht einen parallelen Betrieb in der Form, dass das Auslesen von gelatchten Werten (d. h. Zeilenwerten) gleichzeitig mit dem Freilegen der nächsten Linie in dem Bildsensorarray passieren kann. Gemäß Ausführungsformen der vorliegenden Beschreibung enthält der Bildsensor zwei Sätze an Registern, ein erstes Register für eingeklinkte (latched) Spaltenadressen (der Satz enthält ein Register pro Zeile) und einen zweiten Registersatz, um die Verschiebung des Wertes von dem ersten Registersatz zu empfangen. Auf diese Art kann mit einem ersten Messzyklus ein Wert der gelatchten Spaltenadresse für eine vorgegebene Zeile in das erste Register entsprechend dieser Zeile geschrieben werden. Der Wert wird dann in das zweite Register geschoben, und ermöglicht einen nachfolgenden gleichzeitigen Betrieb einer zweiten Messung (und Latch) mit einem ersten Betrieb (des ersten Messzyklus). Auf diese Art kann die Latenz eines Systems unter Verwendung eines Bildsensors gemäß der vorliegenden Beschreibung wesentlich reduziert werden.
Ein beispielhaftes Entfernungsmessszenario für eine Abbildungsvorrichtung, die die Bildsensorarchitektur 1600 nutzt, enthält eine Abfragequelle, die konfiguriert ist, um eine vertikale Linie an Beleuchtung (z. B. Linienscanmodus) zu emittieren. Der Abfragestrahl, der auf ein Objekt mit einer 3D-Kontur einfällt wird eine zurückkehrende Beleuchtung aufweisen, die nicht länger allein vertikal ist, sondern eine Varianz aufweist entsprechend der speziellen Kontur der 3D-Objektes. Diese zurückkehrende Strahlung wird daher einen nicht-einheitlichen Aspekt (z. B. nicht-einheitlich vertikal) aufweisen, entsprechend der kurvigen, gestrichelten Linie in 16. Die Bildsensorarchitektur arbeitet, um ein Zeilen-Latch zu setzen, wenn eine erste Fotodiode aktiviert ist (z. B. ein SPAD-Feuerereignis), und die Bildsensorschaltung ist geeignet, so dass das Setzen des Latches verhindert, dass andere benachbarte Fotodioden aktiviert werden bis ein Master-Reset durchgeführt wird. Der Master-Reset wird durchgeführt, um den Bildsensor für eine nachfolgende Messzeitdauer vorzubereiten. Gemäß Ausführungsformen der vorliegenden Beschreibung ist eine Entscheidungslogik in dem Bildsensorarray angeordnet, so dass eine erste detektierte Fotodiodenaktivierung einer Spalte, die Spaltenadresse für diese Messzeit für die gesamte Zeile beansprucht. Diese Entscheidungslogik wird auf jeder Zeile des Bildsensors wiederholt, so dass ein Zeile-Bei-Zeile-Setzen erreicht wird. Es ist klar, dass, obwohl die Entscheidungslogik auf Basis von Zeile-Bei-Zeile beschrieben wurde, die Bildsensorarchitektur auch für eine Spalten-Bei-Spalten-Logik und Messung konfiguriert sein kann.
Für einen vertikalen Abfragestrahl gibt es daher eine Konturlinie aktivierter Fotodioden des Bildsensors, eine pro Zeile, die zum Lesen aktiviert ist. Während eines Auslesens des Bildsensors veranlasst die Welle-Hindurch(ripple-through)-Logik, falls es eine Reihe gibt in der keine Fotodioden aktiviert sind, dass das Auslesen dieser Reihe übersprungen wird und die nachfolgende Zeile ausgelesen wird. Auf diese Art kann der Bildsensor sowohl in Auslesezeit als auch bezüglich der erforderlichen Leistung effizienter gemacht werden. Die Welle-Hindurch(ripple-through)-Logik macht weiter bis die nächste Zeile mit einem Latch, das während der Messzeitdauer gesetzt wurde, getroffen wird, an welchem Punkt ein Auslesen auftritt, um die Adresse der aktivierten Fotodiode auf dieser Zeile auszugeben. Die Welle-Hindurch-Logik ist selbst-terminiert und beginnt mit einem einzelnen Eingangstriggersignal für das Bildsensorarray.
Gemäß einer weiteren Ausführungsform der vorliegenden Beschreibung können Bildverarbeitung und Mustererkennungsparadigmen anders als die, die mit konventionellen CIS-Pixeln verwendet werden, angewandt werden, die auf einer binären Pixelausgabe in Kombination mit lokalem Entscheidungsherbeiführen, das durch die hohe Photonenempfindlichkeit möglich gemacht wird. Als ein nicht-beschränkendes Beispiel kann in dem Fall der SPAD-Pixel die Hochspannungsanschlüsse für das Rückwärtsvorspannen (reverse biasing) verwenden, die Implementierung eines Floating-Gate-Programmierschemas für die Fehlanpassungskalibrierung (mismatch calibration) und Pixelentscheidungsschaltungen verwendet werden. Gemäß einem weiteren Beispiel wird jeder Pixel mit einem parallelen Speicherarray, das dasselbe Adressierdekodierungsschema verwendet wie das Pixelarray kalibriert und bezüglich der Fehlanpassung digital korrigiert. Die hierin beschriebene Ausführungsform ist in der Lage, um beispielsweise mit einem massiv parallelen asynchronen Ereignisbus verwendet zu werden, falls die Verwendung zusammen mit einer entsprechenden Hochgeschwindigkeitsverbindung und anderen Komponenten verwendet wird. Die hierin beschriebene Ausführungsform kann auch in der Art implementiert werden, so dass eine Photoneneingangsterminierung und Geometrie (z. B. Punkt, Muster, Linie oder Blitz) mit der Abfragelichtquelle gesteuert wird und die Pixelentscheidungsantwort entsprechend der Abfragelichtquellenart angepasst wird. Gemäß einer Ausführungsform ist ein SPAD-Pixel so implementiert, dass er verschiedene Konfigurationen und/oder Betriebsverfahren verwendet, inklusive beispielsweise der Verwendung eines Stromspiegels (z. B. für Konstantstrombetrieb unabhängig von Lastbedingungen), ein Latching-Schema (z. B. um Ereignis-betriebene Aktivitäten zu initialisieren oder zu terminieren), interne getriggerte Lawinenereignisse (z. B. um Zeitmessaktivitäten zu initiieren usw.).
Einzelne oder gestapelte Waferbildsensorherstellung
Gemäß Ausführungsformen der vorliegenden Beschreibung kann eine Halbleitervorrichtung auf einem Substrat (z. B. Pixel 140b aus 1) oder auf gestapelten Substraten mit wenigstens zwei Schichten mit Abschnitten, die geeignet sind, um bei verschiedenen Spannungen betrieben zu werden (z. B. Pixel 140a in 1) hergestellt werden. Gemäß Ausführungsformen der vorliegenden Beschreibung enthält die Herstellung einer Einzelsubstrathalbleitervorrichtung das Ausbilden von Fotodioden (z. B. 145b aus 1), welches Masse-bezogene Fotodioden sein können, gemeinsam mit Schaltkreiselementen (z. B. 150b aus 1), die das gleiche Substrat wie die Fotodioden teilen, wobei die Schaltkreiselemente die Logik und die Steuerung (z. B. Latches, Dekodierung und Steuerung, Leselogik, Aktivierungssignale) bereitstellt wie in den verschiedenen Ausführungsformen beschrieben.
Bezugnehmend nun auf 17 wird ein Abschnitt einer Halbleitervorrichtung 1700 dargestellt. Die Halbleitervorrichtung enthält wenigstens zwei Schichten, eine erste Schicht 1740 und eine zweite Schicht 1750. Die erste Schicht 1740 enthält einen ersten Abschnitt 1745, und die zweite Schicht 1750 enthält einen zweiten Abschnitt 1755. Gemäß Ausführungsformen der vorliegenden Beschreibung ist der erste Abschnitt 1745 konfiguriert, um bei einer ersten Spannung betrieben zu werden und der zweite Abschnitt 1755 ist konfiguriert, um bei einer zweiten Spannung betrieben zu werden. Gemäß einer Ausführungsform sind die erste Spannung und die zweite Spannung voneinander verschieden. Gemäß einer Ausführungsform ist die erste Spannung größer als die zweite Spannung. Gemäß einer Ausführungsform enthält die erste Schicht 1740 Diffusionen, die eine Fotodiode (z. B. 145a in 1, eine aktive Fotodiode oder ein SPAD) enthalten und die zweite Schicht 1750 enthält einen Schaltkreis entsprechend der Logik und Steuerung (z. B. 150a aus 1, Latches, Dekodierung und Steuerung, Leselogik, Aktivierungssignale). Als nicht-beschränkendes Beispiel kann die Logik und Steuerschaltung der zweiten Schicht 1750 Schaltkreislogikfunktionalität wie in den Abschnitten aus 11 dargestellt enthalten, die nicht in dem Hochspannungsabschnitt 1145 enthalten sind. Die zweite Schicht 1750 kann Transistoren, Widerstände, Kondensatoren und andere Komponenten, die für einen Fachmann klar sind, enthalten, um die Logik und oben beschriebene Steuerfunktionalität bereitzustellen. Der erste Abschnitt 1745 kann ein Array an Fotodioden enthalten.
Gemäß einer Ausführungsform der vorliegenden Beschreibung wird ein Bildsensorarray hergestellt mit einem gestapelten Waferdesign, bei dem der oberste Wafer (z. B. ein Wafer, der der Oberseite eines Bildsensorarrays entspricht, das der einfallenden Strahlung ausgesetzt ist) dotiert, um SPAD-Zellen (z. B. ein SPAD-Wafer) zu bilden, und ein Bodenwafer wird ausgebildet, um Logik und Steuerschaltkreis aufzuweisen, um die Struktur und Funktionalität der beschriebenen Bildsensorausführungsformen bereitzustellen. Bezugnehmend nun auf 18 wird ein Abschnitt eines Bildsensors 115 dargestellt mit einem Wafer 1840, der SPAD-Zellen mit fotosensitiven Regionen 145 enthält, wobei der Wafer 1840 über einen Logik- und Steuerschaltkreiswafer 1850 gestapelt ist. Obwohl SPAD-Wafer 1840 und Logik- und Steuerschaltungswafer 1850 einzeln dargestellt sind, kann im Betrieb (d. h. implementiert in einem Entfernungsmesssystem) der SPAD-Wafer 1840 und Logik- und Steuerschaltungswafer 1850 auch aus zwei miteinander verbundenen Substraten (wie durch die gestrichelten Pfeile dargestellt) oder aus einem einzelnen Substrat wie hierin beschrieben hergestellt sein.
Im Gegensatz zu Implementierungen, wo jede SPAD-Zelle Steuer- und Logikschaltkreis auf dem gleichen Wafer enthält, erlaubt eine gestapelte Waferorientierung von SPAD-Wafer 1840 über einem Logik- und Schaltkreiswafer 1850 einen reduzierten Pixelabstand (pitch) (d. h. engere SPAD-Zellen). Beispielsweise kann der Pixelabstand (pitch) P etwa 3 bis 4 μm sein. Gemäß einer Ausführungsform der vorliegenden Beschreibung ist ein SPAD-Wafer ein Hochspannungs(HV)-Diffusionswafer, während der Logik- und Steuerschaltkreiswafer ein Niederspannungs(LV)-Wafer ist. Ein LV-Wafer erlaubt feinere Eigenschaften als ein HV-Wafer, zum Erhöhen der Anzahl an Transistoren, die auf dem Wafer auf einem vorgegebenen Platz ausgebildet werden können.
Bezugnehmend nun auf 19 sind die Prozessschritte 1905 bis 1915 zur Herstellung eines Bildsensorarrays 115 mit einem gestapelten Waferdesign dargestellt gemäß Ausführungsformen der vorliegenden Beschreibung. Der in 19 dargestellte Abschnitt des Bildsensorarrays 115 entspricht einem Schnitt A-A in 18. Bei Schritt 1905 ist der Logik- und Steuerschaltungswafer 1850 dargestellt mit Verarmungsgebieten, Verbindungen 1920 und einem Durchs-Silizium-Via 1930. Gemäß einer Ausführungsform ist der Logik- und Steuerschaltkreiswafer 1850 auf einem Niederspannungs-CMOS-Wafer ausgebildet.
Bei Schritt 1905 ist ein SPAD-Wafer 1840 gezeigt, wobei der SPAD-Wafer 1840 verarmte p-n-Übergänge enthält. SPAD-Wafer 1840 kann ein CMOS-Wafer sein, beispielsweise ein Hochspannungs-CMOS-Wafer. Die p-Diffusion kann einem fotosensitiven Gebiet einer SPAD-Zelle entsprechen und kann von n-Diffusionen umgeben sein, die als Barriere vor der Aktivierung der SPAD-Diode durch Nachbar-SPAD-Zellen funktioniert. Gemäß einer Ausführungsform können die SPAD-Dioden eine n-Wanne teilen. Benachbarte SPAD-Zellen des SPAD-Wafer 1840 können außerdem durch Isolationsgräben 1940 isoliert sein. SPAD-Wafer 1840 enthält Metallverbindungen 1920. Der SPAD-Wafer 1840 kann als Silizium-Auf-Isolator(silicon-on-insulator; SOI)-Wafer ausgebildet sein. Der Isolator kann beispielsweise eine Oxidschicht sein. Bei Schritt 1905 kann der SPAD-Wafer 1840 außerdem einen Unterstützungswafer (support wafer) enthalten. Der SPAD-Wafer 1840 und Logik- und Steuerschaltkreiswafer 1850 sind gemeinsam-designt (z. B. die Positionen der Zwischenverbindungen), und haben dieselbe Plattengröße (die size). Gemäß einer Ausführungsform entsprechen die Verbindungen 1920 einem Array an Kathoden/Anodenpads. Gemäß einer Ausführungsform kann die Hochspannungsverdrahtung auf die Kathodenverdrahtung nur auf den SPAD-Wafer 1840 begrenzt sein, wodurch die Isolationsanforderungen an den Logik- und Steuerschaltkreiswafer 1850 entfallen. In dieser Ausführungsform sind die Arrayverbindungen 1920 auf die Niederspannungsanode reduziert.
Bei Schritt 1910 wird der SPAD-Wafer 1840 Fläche-Auf-Fläche (face-to-face) über dem Logik- und Steuerschaltkreiswafer 1850 in gestapelter Orientierung (z. B. Flip-Chip-montiert) montiert, so dass die Zwischenverbindungen jedes Wafers zum Zentrum des Stapels zeigen. Die Wafer werden dann miteinander verbunden. Alle Zwischenverbindungen zwischen Logik- und Steuerschaltkreiswafer 1850 und SPAD-Wafer 1840 ist in der Mitte des Stapels verwirklicht (d. h. an der Flächenschnittstelle). Das heißt, keine der Verbindungsmetallarrays über die SPAD-Wafer-1840-Oberfläche schirmt die Diffusionen vor einfallender Strahlung ab. SPAD-Pixel haben eine Drahtverbindung pro Zelle (z. B. Anode), runter zum Logik- und Schaltkreiswafer 1850. Alle feinen Eigenschaften (für die Bildsensorlogik) sind in dem Logik- und Schaltkreiswafer 1850 angeordnet. Gemäß einer Ausführungsform ist die einzige Verbindung, die zwischen den Schichten der Wafer hergestellt ist, die Anodenverbindung. Beispielsweise stellt eine Hochspannungskathodenverbindung oben (SPAD) eine Verbindung entsprechend der Hochspannungsversorgung eines Bildsensorarrays bereit, während Niederspannungsverbindungen einer Zeilenaktivierung und Lesesignalen entsprechen.
Bei Schritt 1915 werden die verbundenen Wafer 1840 und 1850 einem Rückseitenschleifen unterzogen, um den Stapel zu dünnen, inklusive der Substratentfernung von dem Logik- und Steuerschaltkreiswafer 1850, um TSV 1930 freizulegen, und inklusive Unterstützungswaferentfernung von dem SPAD-Wafer 1840. Während TSV 1930 dargestellt ist, sind auch andere Verbindungen (z. B. Bonddrähte) möglich mit anderen Verbindungsschemata. Der Pixelabstand eines Bildsensorarrays ausgebildet gemäß Ausführungsformen der vorliegenden Beschreibung entspricht etwa 3 μm. Nach dem Rückseitenschleifen wird ein Mikrolinsenarray 1950 auf die Rückseite des SPAD-Wafers 1840 aufgebracht, um den Füllfaktor der SPAD-Pixel in dem Bildsensorarray 115 zu erhöhen. SPAD-Wafer 1840 ist für Rückseitenbeleuchtung konfiguriert. Vorteilhafterweise ist die Beleuchtungsempfindlichkeit für das Infrarotspektrum mit einem SPAD-Wafer 1840 ausgerichtet gemäß der oben beschriebenen Art erhöht, da die Empfindlichkeit eines fotosensitiven Elements auf Infrarotstrahlung bei größerer Tiefe von der einfallenden Oberfläche erhöht wird. Die Dicke 1725 des SPAD-Wafer 1840, was der Dicke eines epitaktisch gewachsenen Substrats entsprechen kann, kann basierend auf der speziellen optischen Abfragewellenlänge, mit dem ein optisches Abfragesystem arbeitet, ausgewählt werden.
Bezugnehmend nun auf 20 wird ein Bildsensorarray 115b mit einem gestapelten Waferdesign und einem verringerten Pixelabstand P' gemäß Ausführungsformen der vorliegenden Beschreibung darstellt. Bildsensorarray 115b enthält einen Wafer 2040 mit SPAD-Zellen mit fotoempfindlichen Gebieten 145, wobei der Wafer 2040 über einen Logik- und Steuerschaltkreiswafer 2050 gestapelt ist. Das Bildsensorarray 115b enthält Pixel mit einem verringerten Abstand P', aufgrund der geteilten HVn-Wannen und Zwischen-Zellen n-Diffusionen. Dies wird aufgrund der n-Wanne mit konstantem HV-Eingang, zusammen mit der Tatsache, dass nur lokale Übergänge durchbrechen bei direktem Photoneneinfall aktiviert. Da Bildsensorarrayarchitekturen gemäß der vorliegenden Beschreibung globale Steuerung der Hochspannungssignale aktiviert, können HVn-Wannen und Zwischen-Zellenisolation n-Diffusionen geteilt werden. Ein Bildsensor gemäß der Ausführungsform aus 20 weist eine n-Diffusion zusammen mit vielfachen p-Diffusionen auf. Dies ermöglicht die Bildsensorarraykonfiguration wie dargestellt mit einem Pixelabstand P' von beispielsweise 2 bis 3 μm, was außerdem die Auflösungsfähigkeit eines Bildsensors in einer Entfernungsmessvorrichtung erhöht. Bezugnehmend nun auf 20 ist ein Abbildungssensorarray 115b mit gestapeltem Waferdesign und einem reduzierten Pixelabstand P' entsprechend der Ausführungsformen der vorliegenden Beschreibung darstellt. Abbildungssensorarray 115b enthält einen Wafer 1840 mit SPAD-Zellen mit fotoempfindlichen Gebieten 145, wobei der Wafer 1840 über einen Logik- und Steuerschaltkreiswafer 1850 gestapelt ist. Das Bildsensorarray 115b enthält Pixel mit einem reduzierten Abstand P', wegen der geteilten HVn-Wannen und Zwischen-Zellen n-Diffusionen. Dies wird erreicht durch die n-Wanne mit einem konstanten HV-Eingang, gemeinsam mit der Tatsache, dass nur lokale Übergänge mit direktem Photoneneinfall durchbrechen. Da Bildsensorarrayarchitekturen gemäß der vorliegenden Beschreibung globale Steuerung von Hochspannungssignalen ermöglichen, können HVn-Wannen und Zwischen-Zellisolations-n-Diffusionen geteilt werden. Dies ermöglicht die dargestellte Bildsensorarraykonfiguration mit einem Pixelabstand P' von etwa 2 bis 3 μm, was außerdem die Auflösungsfähigkeit des Bildsensors in einer Entfernungsmessvorrichtung erhöht. Bezugnehmend nun auf 21 ist ein Ablaufdiagramm 2100 eines Verfahrens zur Herstellung einer Halbleitervorrichtung dargestellt gemäß einer Ausführungsform der vorliegenden Beschreibung. Die Halbleitervorrichtung kann ein Bildsensor (z. B. Bildsensor 115) sein.
Bei Schritt 2101 ist ein erster Abschnitt in einer ersten Schicht gebildet, wobei der erste Abschnitt geeignet ist, um als eine erste Spannung zu wirken. Der erste Abschnitt enthält eine Fotodiode, z. B. eine SPAD. Bei Schritt 2103 wird ein zweiter Abschnitt in einer zweiten Schicht ausgebildet, wobei der zweite Abschnitt geeignet ist, um bei einer zweiten Spannung betrieben zu werden. Die zweite Spannung kann von der ersten Spannung unterschiedlich sein. Gemäß einer Ausführungsform ist die erste Spannung größer als die zweite Spannung (z. B. entspricht die erste Spannung einem Hochspannungs-CMOS-Wafer und die zweite Spannung entspricht einem Niederspannungs-CMOS-Wafer). Der zweite Abschnitt enthält einen Logik- und Steuerschaltkreis, der konfiguriert ist, um selektiv ein Aktivierungssignal zu der Fotodiode in dem ersten Abschnitt weiterzuleiten und um eine Aktivierung von der Fotoelektrode zu empfangen.
Bei Schritt 2105 ist die Logiksteuerschaltung elektrisch mit der Fotodiode gekoppelt. Gemäß einer Ausführungsform sind die Logik- und Steuerschaltung und Fotodiode elektrisch über Damaszener Zwischenverbindungen gekoppelt. Gemäß einer Ausführungsform sind die Logik- und Steuerschaltung und Fotodiode über Via-Bond-Pads elektrisch verbunden.
Die folgenden Konzepte der vorliegenden Beschreibung stellen beispielhafte Ausführungsformen bereit.

1. Ein System zum Messen einer Entfernung zu einem Objekt, wobei das System umfasst: eine photonische Abfragequelle konfiguriert um einen Abfragestrahl bei einem kontrollierten Winkel zu emittieren, wobei der Abfragestrahl dazu dient, ein Objekt zu beleuchten; einen Bildsensor mit einem Array an Lawinenfotodioden konfiguriert um im Geigermodus zu arbeiten, wobei der Bildsensor operativ mit der Abfragequelle gekoppelt ist und konfiguriert ist, um einen reflektierten Strahl, erzeugt durch die Beleuchtung des Objektes durch den Abfragestrahl, zu empfangen und um ein Signal basierend auf dem Ort des Einfallens des reflektierten Strahls auf dem Array zu erzeugen; und eine Analyseschaltung, die operativ mit der Abfragequelle und dem Bildsensor gekoppelt ist, und konfiguriert ist, um einen Abstand zu dem Objekt basierend auf dem gesteuerten Winkel der photonischen Abfragequelle und auf dem Signal zu ermitteln.
2. System gemäß Anspruch 1, wobei der Bildsensor in einer kontrollierten Entfernung von der Abfragequelle angeordnet ist, und die Analyseschaltung konfiguriert ist, um den Abstand zu dem Objekt basierend auf Dreiecksvermessung (Triangulation) des kontrollierten Winkels, der kontrollierten Entfernung und einem Einfallswinkel, der durch den Ort des reflektierten Strahls auf dem Array bestimmt ist, zu ermitteln.
3. System gemäß Konzept 1, wobei der Bildsensor konfiguriert ist, um verschlossen zu werden (shutter), umfassend die Aktivierung einer Vielzahl an Untergruppen des Arrays in Zeit-variabler Art, wobei eine Untergruppenaktivierungszeitdauer für eine Untergruppe der Vielzahl an Untergruppen basierend auf einem Wert des kontrollierten Winkels und einer Rate, bei dem der kontrollierte Winkel verändert wird.
4. System gemäß Konzept 3, wobei das Signal basierend auf einer Erfassung des reflektierten Strahls durch ein erstes Arrayelement in einer aktiven Untergruppe der Vielzahl an Untergruppen entwickelt wird, und außerdem wobei eine Erfassung des reflektierten Strahls durch den Rest der Arrayelemente in der aktiven Untergruppe in dem Signal nicht enthalten ist.
5. System gemäß Konzept 3, wobei die Abfragequelle konfiguriert ist, um den Abfragestrahl bei einer Pulsdauer zu emittieren, und wobei die Untergruppenaktivierungszeitdauer außerdem auf der Pulsdauer basiert.
6. System gemäß Konzept 3, wobei der Bildsensor geeignet ist, um Rahmen/Bild-Zoom (frame zoom) durchzuführen, umfassend die Deaktivierung eines Gebiets des Arrays, wobei das Verschließen konfiguriert ist, um lediglich außerhalb des Gebiets des Arrays aufzutreten.
7. System gemäß Konzept 5, wobei die Pulsdauer eine selbst-terminierte Pulsdauer ist, basierend auf einer Flugzeit (time-of-flight) des Abfragestrahls, um zu dem Bildsensor bei einer maximalen Entfernung zurückzukehren.
8. System gemäß Konzept 5, wobei das System außerdem einen Umgebungslichtsensor aufweist, konfiguriert um ein Umgebungslichtniveau zu erfassen, und außerdem wobei die Pulsdauer auf einem erfassten Umgebungslichtniveau basiert.
9. System gemäß Konzept 1, wobei der Bildsensor integral eine Vielzahl an Fokussierungselementen aufweist, die angeordnet sind, um den reflektierten Strahl auf die fotosensitiven Gebiete des Arrays zu fokussieren.
10. Verfahren gemäß Konzept 3, wobei die Aktivierung des Array Bild/Rahmen-Zoomen (frame zooming) umfasst, wobei das Bild/Rahmen-Zoomen die Deaktivierung eines Gebiets des Arrays umfasst, und wobei das Verschließen nur außerhalb des Gebiets des Arrays auftritt.
11. Verfahren gemäß Konzept 3, wobei die Aktivierung des Arrays für eine Arrayaktivierungsdauer durchgeführt wird, und wobei die Initiierung der Arrayaktivierungsdauer auf einer Flugzeit(time-of-flight)-Abschätzung gemäß dem von einer vorher durchgeführten Dreiecksentfernungsvermessung zu dem Objekt ermittelten Abstand basiert.
12. Mobile Entfernungsmessungsvorrichtung umfassend: einen Prozessor; ein Speicher operativ gekoppelt zu dem Prozessor; eine photonische Abfragequelle konfiguriert, um einen Abfragestrahl für einen kontrollierten Winkel auszusenden, wobei der Abfragestrahl zur Bestrahlung eines Objektes dient; und einen Bildsensor mit einem Array und Fotodioden, wobei der Bildsensor operativ mit der Abfragequelle und dem Prozessor verbunden ist, und der Bildsensor geeignet ist, um einen reflektierten Strahl erzeugt durch die Beleuchtung des Objekts von dem Abfragestrahl zu empfangen, und ein Signal basierend auf dem Ort des Einfalls des reflektierten Strahls auf dem Array zu erzeugen, wobei der Prozessor konfiguriert ist, um eine Entfernung zu dem Objekt basierend auf dem kontrollierten Winkel der photonischen Abfragequelle und auf dem Signal zu ermitteln.
13. Vorrichtung gemäß Konzept 12, wobei der Bildsensor ein Array an Pixeln umfasst, jeder Pixel wenigstens eine Lawinenfotodiode enthält, die konfiguriert ist, um im Geigermodus zu arbeiten.
14. Vorrichtung gemäß Konzept 12, wobei die Photonenempfindlichkeit der Fotodioden in dem Array an Fotodioden entsprechend einer variablen Vorspannung konfigurierbar ist.
15. Sensor zum Messen einer Entfernung zu einem Objekt, wobei der Sensor aufweist: einen Bildsensor mit einem Array an Fotodioden, wobei der Bildsensor operativ mit einer Abfragequelle gekoppelt ist und konfiguriert ist, um einen reflektierten Strahl, erzeugt durch die Beleuchtung des Objektes durch einen Abfragestrahl der Abfragequelle zu empfangen und um ein Signal, basierend auf einer Arrayadresse einer Fotodiode des Arrays an Fotodioden, die durch den Einfall des reflektierten Strahls auf dem Array aktiviert sind, zu erzeugen; ein Speicher mit einer Latch-Schaltung, konfiguriert, um ein Setzsignal in direkter Antwort auf die Fotodiode, die den reflektierten Strahl empfängt, zu erzeugen, wobei das Setzsignal die Arrayadresse der Fotodiode berichtet; eine Adress-Kodier-Schaltung, konfiguriert, um die Arrayadresse zu speichern; eine Terminierungsschaltung, operativ mit der Adress-Kodier-Schaltung, gekoppelt, um die Arrayadresse zu lesen; und eine Analyse-Schaltung, operativ mit der Abfragequelle und dem Bildsensor gekoppelt und konfiguriert, um einen Abstand zu dem Objekt, basierend auf dem gesteuerten Winkel der photonischen Abfragequelle und auf der Arrayadresse zu ermitteln.
16. Sensor gemäß Konzept 15, wobei die Adress-Kodier-Schaltung einen Speicher enthält, der konfiguriert ist, um Spaltenadressen des Arrays an Fotodioden zu speichern und wobei jede Fotodiode des Arrays an Fotodioden operativ mit einer entsprechenden Latch-Schaltung gekoppelt ist.
17. Sensor gemäß Konzept 16, wobei die Terminierungsschaltung konfiguriert ist, um nacheinander einen Zustand der Spaltenadressen zu ermitteln und außerdem konfiguriert ist, um die Aktivierung der Terminierung eines Lesens für eine nächste Spaltenadresse auszusetzen bis die Spaltenadresse entsprechend der berichteten Arrayadresse erreicht ist.
18. Sensor gemäß Konzept 16, wobei jede Fotodiode des Arrays an Fotodioden operativ mit einer entsprechenden Adress-Dekodier-Schaltung gekoppelt ist, die konfiguriert ist, um eine entsprechende Spaltenadresse zu speichern und wobei jede Zeile des Arrays an Fotodioden operativ mit einer entsprechenden Zeilen-Latch-Schaltung gekoppelt ist.
19. Sensor gemäß Konzept 18, wobei das Setzsignal konfiguriert ist, um andere Fotodioden des Arrays an Fotodioden in derselben Zeile wie die Fotodiode, die den reflektierten Strahl empfängt, zu deaktivieren.
20. Sensor gemäß Konzept 18, wobei die Terminierungsschaltung konfiguriert ist, um einen Zustand der entsprechenden Zeilen-Latch-Schaltungen nacheinander zu ermitteln und außerdem konfiguriert ist, um die Aktivierung der Terminierung eines Lesens einer nächsten Zeilen-Latch-Schaltung zurückzuhalten bis die Zeilen-Latch-Schaltung entsprechend der berichteten Arrayadresse erreicht ist.
21. Sensor gemäß Konzept 15, wobei das Array an Fotodioden Lawinenfotodioden enthält, die konfiguriert sind, um im Geigermodus zu arbeiten.
22. Sensor gemäß Konzept 15, wobei das Array an Fotodioden aktive Fotodioden enthält und wobei außerdem eine Fotodiode des Arrays an Fotodioden aktiviert ist, wenn eine Spannung der Fotodioden einen Schwellwert, basierend auf den einfallenden Photonen, erreicht.
23. Sensor gemäß Konzept 15, wobei der Bildsensor in einem kontrollierten Abstand von der Abfragequelle angeordnet ist und die Analyseschaltung kontrolliert ist, um den Abstand zu dem Objekt, basierend auf Dreiecksberechnung (Triangulation) des kontrollierten Winkels, die kontrollierte Entfernung und einen Einfallswinkel, bestimmt durch die Arrayadresse der Fotodiode, zu ermitteln.
24. Sensor gemäß Konzept 15, wobei eine Steuerterminierungsschaltung Fotodioden des Arrays an Fotodioden mit einer kontrollierten Aktivierungsdauer aktiviert, basierend auf einer Flugzeit (Time-of-Flight) und einem Rückkehrwinkel des Abfragestrahls, um zu dem Bildsensor in einem maximalen Bereich zurückzukehren.
25. Sensor gemäß Konzept 22, wobei der Sensor außerdem einen Umgebungslichtsensor enthält, der konfiguriert ist, um ein Umgebungslichtniveau zu erfassen und außerdem, wobei die gesteuerte Aktivierungsdauer auf einem ermittelten Umgebungslichtlevel basiert.
26. Verfahren zur Ermittlung eines Abstandes zu einem Objekt, wobei das Verfahren umfasst: Abfragen des Objektes mit einem photonischen Abfragestrahl; auf dem Array Empfangen eines von der Abfrage des Objektes reflektierten Strahls; Erzeugen eines Signals entsprechend einer Arrayadresse einer Fotodiode des Arrays an Fotodioden, die durch Einfall des reflektierten Strahls auf das Array aktiviert wurden; und Ermitteln einer Entfernung zu dem Objekt, basierend auf dem Signal.
27. Verfahren gemäß Konzept 26, wobei die Erzeugung eines Signals eine Latch-Schaltung umfasst, die operativ mit der Fotodiode, die das Setzsignal in direkter Antwort zu der Fotodiode, die den reflektierten Strahl empfängt, gekoppelt ist.
28. Verfahren gemäß Konzept 27, außerdem umfassend das Deaktivieren anderer Fotodioden des Arrays an Fotodioden auf einer gleichen Zeile, wie die Fotodiode, die den reflektierten Strahl empfängt.
29. Verfahren gemäß Konzept 28, wobei das Array Lawinenfotodioden enthält, die im Geigermodus arbeiten.
30. Verfahren gemäß Konzept 26, wobei das Array aktive Fotodioden enthält und außerdem, wobei eine Fotodiode des Arrays an Fotodioden aktiviert ist, wenn eine Spannung der Fotodiode einen Schwellwert, basierend auf einfallenden Photonen, erreicht.
31. Verfahren gemäß Konzept 26, wobei das Abfragen bei einem kontrollierten Winkel des photonischen Abfragestrahls durchgeführt wird und wobei außerdem eine Abfragequelle den Abfragestrahl emittiert und das Array in einem kontrollierten Abstand voneinander angeordnet sind.
32. Verfahren nach Konzept 28, wobei die Ermittlung der Entfernung auf eine Dreiecksberechnung des kontrollierten Winkels, der kontrollierten Entfernung und einem Einfallswinkel der durch die Arrayadresse der Fotodiode ermittelt wird, basiert.
33. Eine Pixelschaltung umfassend: eine Fotodiode; eine Last, die wenigstens eines aktiven und eines passiven Elementes enthält, die elektrisch mit der Fotodiode gekoppelt sind; und eine Vielzahl an Transistoren, die mit der Fotodiode elektrisch gekoppelt sind, wobei die Vielzahl der Transistoren eine Latch-Schaltung enthält; wobei eine Steuerung der Fotodiode sich auf Masse bezieht und konfiguriert ist, die die Fotodiode selektiv zu aktivieren, wobei die Fotodiode konfiguriert ist, um einen Strom, basierend auf einfallenden Photonen auf die Fotodiode zu erzeugen und die Last konfiguriert ist, um den Strom in einem Spannungspuls zu wandeln und der Spannungspuls konfiguriert ist als Eingang, um ein Logikniveau der Latch-Schaltung zu setzen.
34. Pixelschaltung gemäß Konzept 33, wobei die Pixelschaltung außerdem eine Spannungs-Klemmschaltung enthält, die elektrisch mit der Fotodiode und der Steuerung gekoppelt ist und die Spannungs-Klemmschaltung konfiguriert ist, um ein Spannungsniveau des Spannungspuls, der an die Latch-Schaltung gegeben wird, zu begrenzen.
35. Pixelschaltung gemäß Konzept 33, wobei die Fotodiode eine Lawinenfotodiode ist, die konfiguriert ist, um im Geigermodus zu arbeiten und der Strom ein Lawinenstrom ist, der durch die Photonen ausgelöst wird.
36. Pixelschaltung gemäß Konzept 33, wobei die Fotodiode eine aktive Fotodiode ist und außerdem, wobei der Strom erzeugt wird, wenn eine Spannung der Fotodiode einen Schwellwert, basierend auf den, auf die Fotodiode auftreffenden Photonen, erreicht wird.
37. Halbleitervorrichtung umfassend: eine erste Schicht mit einem ersten Abschnitt, der geeignet ist, um bei einer ersten Spannung betrieben zu werden, der erste Abschnitt enthält eine Einzelphotonen-Lawinenfotodiode (SPAD); und eine zweite Schicht, umfassend einen zweiten Abschnitt, konfiguriert, um bei einer zweiten Spannung betrieben zu werden, der zweite Abschnitt enthält eine Logik- und Steuerschaltung elektrisch mit der SPAD gekoppelt und konfiguriert, um selektiv ein Aktivierungssignal an die SPAD weiterzuleiten und um ein Aktivierungssignal von der SPAD zu empfangen; wobei die ersten Spannung und die zweite Spannung voneinander verschieden sind.
38. Halbleitervorrichtung gemäß Konzept 37, wobei ein erstes Substrat eine erste Schicht enthält und ein zweites Substrat die zweite Schicht enthält.
39. Halbleitervorrichtung gemäß Konzept 38, wobei das erste Substrat und das zweite Substrat in einer Stapelstruktur angeordnet sind.
40. Halbleitervorrichtung gemäß Konzept 38, wobei das zweite Substrat ein Silziumdurchgangsloch (TSV) enthält, konfiguriert, um eine elektrische Konfiguration zu dem ersten Substrat und zu dem zweiten Substrat bereitzustellen.
41. Halbleitervorrichtung gemäß Konzept 37, wobei die erste Spannung größer ist als die zweite Spannung.
42. Halbleitervorrichtung gemäß Konzept 37, wobei ein Array an SPADs die SPAD enthält.
43. Halbleitervorrichtung nach Konzept 42, wobei die Logik- und Steuerschaltung eine Adress-Dekodierschaltung enthält, konfiguriert, um eine Arrayadresse des Arrays an SPAD zu speichern und eine Terminierungsschaltung, die operativ mit der Adress-Dekodierschaltung gekoppelt ist, um die Arrayadresse zu lesen.
44. Halbleitervorrichtung gemäß Konzept 43, wobei die Logik- und Steuerschaltung eine Latch-Schaltung enthält, die Latch-Schaltung konfiguriert ist, um ein Setzsignal in direkter Antwort auf die Aktivierung der SPAD in Antwort auf die empfangene Beleuchtung zu erzeugen, wobei das Setzsignal eine Arrayadresse der SPAD berichtet.
45. Halbleitervorrichtung gemäß Konzept 42, wobei eine Mitte-zu-Mitte-Entfernung zwischen benachbarten SPADs des Arrays an SPAD zwischen 3 und 5 Mikrometer liegt.
46. Halbleitervorrichtung gemäß Konzept 42, wobei der Mitte-zu-Mitte-Abstand zwischen benachbarten SPADs des Array an SPADs etwa 3 Mikrometer beträgt.
47. Halbleitervorrichtung gemäß Konzept 42 außerdem umfassend ein Mikrolinsenarray, angeordnet auf der ersten Schicht, wobei das Mikrolinsenarray angeordnet ist, um einfallende Strahlung auf das Array an SPADs zu fokussieren.
48. Verfahren zum Bilden einer Halbleitervorrichtung, wobei das Verfahren umfasst: Ausbilden eines ersten Abschnitts in einer ersten Schicht, konfiguriert, um bei einer ersten Spannung betrieben zu werden, der erste Abschnitt enthält eine Einzelphotonen-Lawinenfotodiode (SPAD); Ausbilden eines zweiten Abschnitts in einer zweiten Schicht, geeignet, um bei einer zweiten Spannung zu arbeiten, die von der ersten Spannung verschieden ist, der zweite Abschnitt enthält eine Logik- und Steuerschaltung, geeignet, um ein Aktivierungssignal an die SPAD selektiv weiterzuleiten und um ein Aktivierungssignal von der SPAD zu empfangen; und elektrisches Verbinden der Logik- und Steuerschaltung mit der SPAD.
49. Verfahren gemäß Konzept 48, wobei ein erstes Substrat die erste Schicht enthält, um ein zweites Substrat die zweite Schicht enthält.
50. Verfahren gemäß Konzept 49, außerdem umfassend die Anordnung des ersten Substrats auf dem zweiten Substrat in einer Stapelstruktur.
51. Verfahren gemäß Konzept 49 umfassend das Ausbilden eines Durchgangslochs (TSV) in dem zweiten Substrat konfiguriert, um eine elektrische Kommunikation zwischen dem ersten Substrat und dem zweiten Substrat zu ermöglichen.
52. Verfahren gemäß Konzept 48, wobei die erste Spannung größer ist als die zweite Spannung.
53. Verfahren gemäß Konzept 48, wobei ein Array an SPADs die SPAD enthält.
54. Verfahren gemäß Konzept 53, wobei die Logik- und Steuerschaltung eine Adressdekodierschaltung umfasst, konfiguriert, um eine Arrayadresse des Arrays an SPADs zu speichern und eine Terminierungsschaltung, die operativ mit der Adressdekodierschaltung zum Lesen der Arrayadresse gekoppelt ist.
55. Verfahren gemäß Konzept 54, wobei die Logik- und Steuerschaltung eine Latch-Schaltung enthält, die Latch-Schaltung geeignet ist, um ein Setzsignal in direkter Antwort an die Aktivierung der SPAD in Antwort an die empfangene Beleuchtung zu erzeugen, wobei das Setzsignal eine Arrayadresse der SPAD berichtet.
56. Verfahren gemäß Konzept 53, wobei ein Mitte-zu-Mitte-Abstand zu benachbarten SPADs des Arrays an SPADs zwischen 3 und 5 Mikrometer liegt.
57. Verfahren gemäß Konzept 53, wobei ein Mitte-zu-Mitte-Abstand zwischen benachbarten SPADs des Arrays an SPADs in etwa 2 Mikrometer beträgt.
58. Verfahren gemäß Konzept 53, außerdem umfassend, die Ausbildung eines Mikrolinsenarrays auf der ersten Schicht, wobei das Mikrolinsenarray angeordnet ist, um einfallende Strahlung auf das Array an SPADs zu fokussieren.

Obwohl der Gegenstand in einer Sprache geschrieben ist, die speziell für die strukturellen Eigenschaften und/oder methodischen Vorgänge geeignet ist, ist es klar, dass der Gegenstand der angehängten Konzepte nicht notwendig auf die speziellen Eigenschaften oder Vorgänge, wie oben beschrieben, beschränkt ist. Vielmehr dienen die speziellen Eigenschaften und Vorgänge, wie oben beschrieben, als Beispiele, um den Gegenstand der Patentansprüche zu implementieren.

Claims

Ein Verfahren zum Erfassen eines optischen Ereignisses, wobei das Verfahren umfasst: Abfragen eines Objekts mit einem photonischen Abfragestrahl; Aktivieren eines Arrays an Pixeln im Wesentlichen gleichzeitig mit der Aktivierung des photonischen Abfragestrahls, die Pixel enthalten Lawinenfotodioden, ein Vorspannungsniveau der Lawinendioden entspricht dem Pixelbetrieb in einem von dem Geigermodus oder Lawinenmodus; Empfangen eines von der Abfrage des Objektes reflektierten Strahls auf dem Array; Erzeugen eines Signals entsprechend dem Einfallsort des reflektierten Strahls auf dem Array, das Signal entspricht wenigstens einem von einer Pixelarrayadresse und einer Flugzeit (Time-of-Flight TOF) des photonischen Abfragestrahls und des reflektierten Strahls; und Ermitteln eines Abstandes zu dem Objekt, basierend auf dem Signal.
Verfahren gemäß Anspruch 1, wobei das Abfragen bei einem kontrolliertem Winkel des photonischen Abfragestrahls durchgeführt wird und außerdem eine Abfragequelle, die den Abfragestrahl emittiert und das Array in einem kontrollierten Abstand voneinander angeordnet sind und wobei die Ermittlung des Abstandes auf einer Dreiecksberechnung des kontrollierten Winkels, des kontrollierten Abstandes und des Einfallswinkels, ermittelt durch die Pixelarrayadresse des reflektierten Strahls, basiert.
Verfahren nach Anspruch 2, wobei die Aktivierung des Arrays ein Verschließen umfasst, wobei das Verschließen die zeitvariable Aktivierung einer Vielzahl an Untergruppen des Arrays umfasst, wobei eine Untergruppenaktivierungszeitdauer für jede Untergruppe der Vielzahl an Untergruppen auf einem Wert des kontrollierten Winkels und einer Rate, mit der der kontrollierte Winkel variiert wird, basiert.
Verfahren gemäß Anspruch 3, wobei die Erzeugung des Signals auf dem Empfangen des reflektierten Strahls durch einen Pixel in einer aktiven Untergruppe der Vielzahl an Untergruppen basiert und wobei außerdem jede Erfassung des reflektierten Strahls durch einen Rest der Pixel in der aktiven Untergruppe nicht in dem Signal enthalten ist.
Verfahren gemäß Anspruch 1, wobei die Erzeugung des Signals die Erzeugung eines Setzsignals durch eine Latch-Schaltung eines Pixels des Arrays in direkter Antwort auf den Pixel, der den reflektierten Strahl empfängt, umfasst, wobei das Setzsignal wenigstens eines einer Zeilenadresse und einer Spaltenadresse des Pixels an wenigstens einen aus einer Spaltendekodierschaltung und einer Zeilendekodierschaltung weitergibt.
Verfahren gemäß Anspruch 5, wobei das Setzsignal ein positiver Spannungspuls ist, der durch einen massebezogenen Fotodiodenstrom erzeugt ist.
Verfahren gemäß Anspruch 1, wobei das Erzeugen des Signals die Erzeugung eines Spaltendekodiersignals bei einem Pixel des Arrays in Antwort zu dem Pixel, das den reflektierten Strahl empfängt, umfasst, wobei das Spaltendekodiersignal die Spaltenadresse des Pixels zu einer Zeilen-Latch-Schaltung weitergibt.
Verfahren gemäß Anspruch 1, wobei Pixel des Arrays wenigstens ein Ladungsspeicherelement enthalten und außerdem die Aktivierung des photonischen Abfragestrahls und des Arrays der Lawinenfotodioden eine Änderung des Ladeniveaus des wenigstens einen Ladespeicherelements während einer Zeitdauer einer Emission des Abfragestrahls und des Empfangens des von dem Objekt reflektierten Strahls initiiert und terminiert und wobei außerdem das Ladeniveau mit der TOF korreliert ist.
Optischer Ereignissensor zur Erfassung eines optischen Ereignisses, wobei der optische Ereignissensor umfasst: ein Array an Pixeln, die nacheinander im Wesentlichen gleichzeitig mit der Aktivierung einer photonischen Abfragequelle aktiviert werden können, wobei die Pixel Lawinenfotodioden enthalten, ein Vorspannungsniveau der Lawinenfotodioden dem Betrieb der Pixel in einem eines Geigermodus und Lawinenmodus entspricht; wobei das Array an Pixeln betrieben werden kann, um bei dem Array einen von dem Objekt reflektierten Strahl zu empfangen und um ein Signal entsprechend dem Einfallsort des reflektierten Strahls auf dem Array zu erzeugen, wobei das Signal wenigstens einem einer Pixelarrayadresse und einer Flugzeit (TOF-Time-of-Flight) des Abfragestrahls und des reflektierten Strahls entspricht und wobei das Array an Pixeln betreibbar ist, um einen Abstand zu dem Objekt, basierend auf dem Signal zu ermitteln.
Optischer Ereignissensor gemäß Anspruch 9, wobei das Objekt bei einem gesteuerten Winkel der photonischen Abfragequelle abgefragt wird und wobei außerdem die photonische Abfragequelle und das Array an Pixeln in einer kontrollierten Entfernung voneinander angeordnet sind und wobei die Entfernung, basierend auf Dreiecksberechnungen des kontrollierten Winkels, des kontrollierten Abstandes und des Einfallswinkels ermittelt durch die Pixelarrayadresse des reflektierten Strahls bestimmt wird.
Optischer Ereignissensor gemäß Anspruch 10, wobei das Array zum Schließen betrieben werden kann, umfassend die Aktivierung einer Vielzahl an Untergruppen des Arrays in zeitvariabler Art, wobei eine Untergruppenaktivierungsdauer für jede Untergruppe der Vielzahl an Untergruppen auf einem Wert des gesteuerten Winkels und einer Rate mit der der gesteuerte Winkel variiert wird, basiert.
Optischer Ereignissensor gemäß Anspruch 11, wobei das Signal, basierend auf einer Ermittlung des reflektierten Strahls durch einen ersten Pixel in einer aktiven Untergruppe der Vielzahl an Untergruppen und wobei jede Erfassung des reflektierten Strahls durch einen Rest der Pixel in der aktiven Untergruppe nicht in dem Signal enthalten ist.
Optischer Ereignissensor gemäß Anspruch 9, wobei das Signal ein Setzsignal einer Latch-Schaltung eines Pixels des Arrays enthält und das Setzsignal in direkter Antwort zu dem Pixel, das den reflektierten Strahl empfängt, erzeugt wird, wobei das Setzsignal wenigstens eines einer Zeilenadresse und einer Spaltenadresse des Pixels an wenigstens eine aus einer Spaltendekodierschaltung und einer Zeilendekodierschaltung weiterleitet.
Optischer Ereignissensor gemäß Anspruch 13, wobei das Setzsignal ein positiver Spannungspuls ist, der durch den massebezogenen Fotodiodenstrom erzeugt wird.
Optischer Ereignissensor gemäß Anspruch 9, wobei das Signal ein Spaltendekodiersignal von einem Pixel des Arrays enthält, das Spaltendekodiersignal in Antwort an den Pixel, der den reflektierten Strahl empfängt, erzeugt wird, wobei das Spaltendekodiersignal die Spaltenadresse des Pixels an die Zeilen-Latch-Schaltung weitergibt.
Optischer Ereignissensor gemäß Anspruch 15, wobei das Array an Pixeln ein erstes Substrat enthält, das konfiguriert ist, um bei einer ersten Spannung zu arbeiten und ein zweites Substrat, das konfiguriert ist, um bei einer zweiten Spannung zu arbeiten, wobei die erste Spannung höher ist als die zweite Spannung und wobei die Fotodiode in dem ersten Substrat enthalten ist und wobei die Logik- und Steuerschaltung des Arrays an Pixeln in dem zweiten Substrat enthalten ist.
Optischer Ereignissensor gemäß Anspruch 9, wobei Pixel des Arrays wenigstens ein Ladungsspeicherelement enthalten und wobei außerdem die Aktivierung des photonischen Abfragestrahls und das Array an Lawinenfotodioden betreibbar ist, um eine Änderung des Ladungsniveaus wenigstens eines der Ladungsspeicherelemente während der Zeitdauer zwischen einer Emission des Abfragestrahls und des Empfangens des von dem Objekt reflektierten Strahls initiiert und terminiert und außerdem das Ladeniveau mit der TOF korrigiert.
Eine mobile Entfernungsmessvorrichtung umfassend: einen Prozessor; einen Speicher, der operativ mit dem Prozessor gekoppelt ist; eine photonische Abfragequelle, die konfiguriert ist, um einen Abfragestrahl zur Beleuchtung eines Objektes auszusenden; und einen Bildsensor mit einem Array an Pixeln und entsprechenden Ladungsspeicherelementen, wobei der Bildsensor operativ mit der Abfragequelle und dem Prozessor gekoppelt ist, wobei der Bildsensor konfiguriert ist, um einen reflektierten Strahl, der durch die Beleuchtung des Objektes durch den Abfragestrahl erzeugt wird, zu empfangen und um ein Signal, basierend auf dem reflektierten Strahl auf dem Array zu erzeugen, wobei die Aktivierung der Abfragequelle und des Bildsensors eine Änderung des Ladungsniveaus des Ladungsspeicherelements während einer Zeitdauer zwischen einer Emission des Abfragestrahls und dem Empfang des von dem Objekt reflektierten Strahls initiiert und terminiert und wobei außerdem das Ladeniveau in dem Signal enthalten ist; wobei der Prozessor betrieben werden kann, um das Signal zu empfangen und Abstandsinformation des Objektes, basierend auf dem Signal, ausgeben kann.
Mobile Entfernungsmessvorrichtung gemäß Anspruch 18, wobei das Array an Pixeln ein Array an Lawinenfotodioden enthält, die im Geigermodus betrieben werden.
Mobile Entfernungsmessvorrichtung gemäß Anspruch 19, wobei die Ladungsspeicherelemente einen Kondensator enthalten und der Kondensator geeignet ist, um das Laden nach dem Empfangen eines Signals, das von einer Diode eines entsprechenden Pixels in Antwort auf den Empfang des reflektierten Strahls erzeugt wurde, zu beenden.