DE102016205073B4 - Time of flight sensor - Google Patents

Abstract

Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor (200) zur Phasenmessung eines modulierten Lichtsmit mehreren Lichtlaufzeitpixeln (210),mit wenigsten vier Phasensignalleitungen (P0... P3) zur Bereitstellung von Phasensignalen (ph0.. ph3) für die Lichtlaufzeitpixel (210),wobeijede Lichtlaufzeitpixelzeile (S) einen gemeinsamen Multiplexer (230) aufweist, der mit den vier Phasensignalleitungen (P0... P3) verbunden ist,und dass der Multiplexer (230) Steuersignaleingänge aufweist,wobei der Multiplexer (230) derart ausgestaltet ist, dass in Abhängigkeit der an den Steuersignaleingängen anliegenden Signale eine Phasensignalleitung (P0.. P3) mit einem ersten Phasensignal (ph0... ph3) und eine weitere Phasensignalleitung (P0.. P3) mit einem zum ersten Phasensignal (ph3... ph0) komplementären Phasensignal ausgewählt wird,und mit einem Modulationstreiber (240), der die vom Multiplexer (230) ausgewählten Phasensignale (ph0... ph3) als Modulationssignal (ModA, ModB) an die Modulationsgates (Gam, Gbm) der Lichtlaufzeitpixel (210) in der jeweiligen Lichtlaufzeitpixelzeile (Z, S) weiterleitet,bei dem die Lichtlaufzeitpixel (210) des Lichtlaufzeitsensors (22) derart ausgestaltet sind, dass zwischen einem Rolling- oder Global-Shutter-Betrieb umgeschaltet werden kann, wobei jeder Multiplexer (230) mit einem Kontroller (250) zur Steuerung und Auswahl der Phasensignale (ph0.. ph3) verbunden ist,und der Kontroller derart angesteuert wird, das wenigsten zwei benachbarte Zeilen mit unterschiedlichen Phasenlagen (ph0... ph3) beaufschlagt werden,wobei die Lichtlaufzeitkamera eine Auswerteeinheit mit einem ersten und zweiten Eingangscache (501, 502) und einem ersten und zweiten Ausgangscache (503, 504) aufweist, die derart ausgestaltet ist,dass Pixel einer Pixelzeile (201) einzelnen oder in Pixelgruppen ausgewertet werden können und dass jeweils aus vier benachbarten Pixelzeilen mit unterschiedlichen Phasenlagen Entfernungsinformationen ermittelt werden,indem die Pixelzeilen sequentiell ausgelesen werden,wobei in einem ersten Schritt die Werte der Pixelzeile mit der 0°-Phase in dem ersten Eingangscache (501) und die Werte der Pixelzeile mit der 180°-Phase in dem zweiten Eingangscache (502) gespeichert werden,wobei die beiden Werte aus dem ersten und zweiten Eingangscache (501, 502) über eine arithmetisch-logische Einheit (600) miteinander verrechnet und das Ergebnis in einem ersten Ausgangscache (503) gespeichert werden,hiernach werden die Werte der Pixelzeile mit der 90°-Phase in dem ersten Eingangscache (501) und die Werte der Pixelzeile mit der 270°-Phase in dem zweiten Eingangscache (502) gespeichert,die beiden Werte aus dem ersten und zweiten Eingangscache (501, 502) werden über die arithmetisch-logische Einheit (600) miteinander verrechnet und das Ergebnis in einem zweiten Ausgangscache (504) gespeichert,nachfolgenden werden die Werte aus den ersten und zweiten Ausgangscache (503, 504) in die ersten und zweiten Eingangscache (501, 502) geladen und über die die arithmetisch-logische Einheit (600) verrechnet und ausgegeben.Time-of-flight camera with a time-of-flight sensor (200) for phase measurement of a modulated light with several time-of-flight pixels (210), with at least four phase signal lines (P0 ... P3) to provide phase signals (ph0 .. ph3) for the time-of-flight pixels (210), with each time-of-flight pixel line (S ) has a common multiplexer (230) which is connected to the four phase signal lines (P0 ... P3), and that the multiplexer (230) has control signal inputs, the multiplexer (230) being designed such that, depending on the Control signal inputs applied signals a phase signal line (P0 .. P3) with a first phase signal (ph0 ... ph3) and a further phase signal line (P0 .. P3) with a phase signal complementary to the first phase signal (ph3 ... ph0) is selected, and with a modulation driver (240) which sends the phase signals (ph0 ... ph3) selected by the multiplexer (230) as a modulation signal (ModA, ModB) to the modulation gates (Gam, G bm) forwards the time-of-flight pixel (210) in the respective time-of-flight pixel line (Z, S), in which the time-of-flight pixels (210) of the time-of-flight sensor (22) are designed in such a way that it is possible to switch between rolling or global shutter operation, with each multiplexer (230) is connected to a controller (250) for controlling and selecting the phase signals (ph0 ... ph3), and the controller is controlled in such a way that at least two adjacent lines have different phase positions (ph0 ... ph3) applied to them , wherein the time-of-flight camera has an evaluation unit with a first and second input cache (501, 502) and a first and second output cache (503, 504), which is designed such that pixels of a pixel line (201) can be evaluated individually or in pixel groups and that distance information is determined from four adjacent pixel lines with different phase positions by sequentially starting the pixel lines are read, the values of the pixel line with the 0 ° phase in the first input cache (501) and the values of the pixel line with the 180 ° phase in the second input cache (502) being stored in a first step, the two values from the first and second input cache (501, 502) are offset against each other via an arithmetic-logic unit (600) and the result is stored in a first output cache (503) The input cache (501) and the values of the pixel line with the 270 ° phase are stored in the second input cache (502), the two values from the first and second input cache (501, 502) are offset against each other via the arithmetic-logic unit (600) and the result is stored in a second output cache (504), then the values from the first and second output caches (503, 504) are loaded into the first and second input caches (501, 502) and via which the arith Metic-logical unit (600) offset and output.

Description

Die Erfindung betrifft einen Lichtlaufzeitsensor nach Gattung des unabhängigen Anspruchs.The invention relates to a time-of-flight sensor according to the preamble of the independent claim.

Der Lichtlaufzeitsensor betrifft insbesondere Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 B1 , US 6 587 186 B2 und auch DE 197 04 496 A1 beschrieben und beispielsweise von der Firma „ifm electronic GmbH‟ oder „PMD-Technologies GmbH‟ als Frame-Grabber O3D bzw. als CamCube zu beziehen sind.The time-of-flight sensor relates in particular to time-of-flight or 3D-TOF camera systems that obtain transit-time information from the phase shift of an emitted and received radiation. PMD cameras with photonic mixer detectors (PMD) are particularly suitable as time-of-flight or 3D TOF cameras, such as those described in the applications EP 1 777 747 B1 , US 6 587 186 B2 and also DE 197 04 496 A1 and can be obtained, for example, from the company "ifm electronic GmbH" or "PMD-Technologies GmbH" as a frame grabber O3D or as a CamCube.

Aus der DE 10 2012 204 512 A1 ist ein Lichtlaufzeitsensor zur Phasenmessung eines modulierten Lichts bekannt, bei dem für bestimmte Betriebsmodi die Phasenlage spaltenweise angepasst werden kann. Hierzu weisen die Spalten Modulationstreiber auf, die über Umschalter auf verschiedene Phasenlagen zugreifen können.From the DE 10 2012 204 512 A1 a time-of-flight sensor for phase measurement of modulated light is known, in which the phase position can be adjusted column by column for certain operating modes. For this purpose, the columns have modulation drivers that can access different phase positions via changeover switches.

Die DE 10 2010 063 579 A1 offenbart einen optischen Entfernungsmesser, mit einem Lichtlaufzeitsensor, der derart ausgestaltet ist, dass ein Reset bzw. eine Entladung der Akkumulationsgates bei Erreichen oder Überschreiten eines Grenzwertes eingeleitet wird. Der Reset erfolgt hierbei individuell und unabhängig voneinander für jedes Empfangspixel.the DE 10 2010 063 579 A1 discloses an optical range finder with a time-of-flight sensor which is designed in such a way that a reset or discharge of the accumulation gates is initiated when a limit value is reached or exceeded. The reset is done individually and independently of each other for each receiving pixel.

Die DE 10 2012 223 298 A1 beschäftigt sich mit einem Lichtlaufzeitsensor, mit wenigstens einem Lichtlaufzeitpixel und wenigstens einem Referenzpixel, wobei das Referenzpixel eine nichtlineare Kennlinie aufweist.the DE 10 2012 223 298 A1 deals with a time-of-flight sensor, with at least one time-of-flight pixel and at least one reference pixel, the reference pixel having a non-linear characteristic curve.

Die DE 197 04 496 A1 zeigt das grundsätzliche Prinzip eines photonischen Mischelements zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle. Unter anderem wird erwähnt, dass die Ausgestaltung des photonischen Mischelements in CMOS-Technologie ein Aktiv-Pixel-Design erlaubt, so dass grundsätzlich eine Auslese- und Signalvorverarbeitung auf dem Chip integrierbar ist.the DE 197 04 496 A1 shows the basic principle of a photonic mixing element for determining the phase and / or amplitude information of an electromagnetic wave. Among other things, it is mentioned that the configuration of the photonic mixing element in CMOS technology allows an active pixel design, so that, in principle, readout and signal preprocessing can be integrated on the chip.

Aufgabe der Erfindung ist es, die Zuverlässigkeit der Distanzmessungen einer Lichtlaufzeitkamera bzw. eines Lichtlaufzeitsensors zu verbessern.The object of the invention is to improve the reliability of the distance measurements of a time-of-flight camera or a time-of-flight sensor.

Die Aufgabe wird in vorteilhafter Weise durch den erfindungsgemäßen Lichtlaufzeitsensor nach Gattung des unabhängigen Anspruchs gelöst.The object is achieved in an advantageous manner by the time-of-flight sensor according to the invention according to the preamble of the independent claim.

Vorteilhaft ist ein Lichtlaufzeitsensor zur Phasenmessung eines modulierten Lichts mit mehreren Lichtlaufzeitpixeln vorgesehen,
mit wenigsten vier Phasensignalleitungen zur Bereitstellung von Phasensignalen für die Lichtlaufzeitpixel,
wobei jede Lichtlaufzeitpixelzeile einen gemeinsamen Multiplexer aufweist, der mit den vier Phasensignalleitungen verbunden ist,
und dass der Multiplexer Steuersignaleingänge aufweist, wobei der Multiplexer derart ausgestaltet ist, dass in Abhängigkeit der an den Steuersignaleingängen anliegenden Signale eine Phasensignalleitung mit einem ersten Phasensignal und eine weitere Phasensignalleitung mit einem zum ersten Phasensignal komplementären Phasensignal ausgewählt wird, und mit einem Modulationstreiber, der die vom Multiplexer ausgewählten Phasensignale als Modulationssignal an die Modulationsgates der Lichtlaufzeitpixel in der jeweiligen Lichtlaufzeitpixelzeile weiterleitet,
bei dem die Lichtlaufzeitpixel des Lichtlaufzeitsensors derart ausgestaltet sind, dass zwischen einem Rolling- oder Global-Shutter-Betrieb umgeschaltet werden kann,
wobei jeder Multiplexer mit einem Kontroller zur Steuerung und Auswahl der Phasensignale verbunden ist,
und der Kontroller derart angesteuert wird, das wenigsten zwei benachbarte Zeilen mit unterschiedlichen Phasenlagen beaufschlagt werden.A time-of-flight sensor for phase measurement of a modulated light with several time-of-flight pixels is advantageously provided,
with at least four phase signal lines to provide phase signals for the time-of-flight pixels,
each time-of-flight pixel row having a common multiplexer connected to the four phase signal lines,
and that the multiplexer has control signal inputs, the multiplexer being designed in such a way that, depending on the signals present at the control signal inputs, a phase signal line with a first phase signal and a further phase signal line with a phase signal complementary to the first phase signal is selected, and with a modulation driver that controls the forwards the phase signals selected by the multiplexer as a modulation signal to the modulation gates of the time-of-flight pixels in the respective time-of-flight pixel line,
in which the time-of-flight pixels of the time-of-flight sensor are designed in such a way that it is possible to switch between rolling or global shutter operation,
each multiplexer being connected to a controller for controlling and selecting the phase signals,
and the controller is activated in such a way that at least two adjacent lines have different phase positions applied to them.

Der vorgeschlagene Aufbau ermöglicht es so in einfacher Art und Weise zwischen einem Rolling- und Global-Shutter Betrieb umzuschalten, um so je nach geforderter Messaufgabe geeignet umschalten zu können. Ferner benötigt der gewählte Aufbau mit Multiplexer und Kontroller nur wenige Steuer- und Signalleitungen.The proposed structure makes it possible to switch between rolling and global shutter operation in a simple manner in order to be able to switch appropriately depending on the required measurement task. Furthermore, the selected structure with multiplexer and controller only requires a few control and signal lines.

Besonders vorteilhaft ist auch eine Lichtlaufzeitkamera mit dem vorgenannten Lichtlaufzeitsensor ausgestattet, wobei die Kamera vorzugsweise eine Auswerteeinheit aufweist, die derart ausgestaltet ist, dass Pixel einer Pixelzeile einzelnen oder in Pixelgruppen ausgewertet werden können.A time-of-flight camera is also particularly advantageously equipped with the aforementioned time-of-flight sensor, the camera preferably having an evaluation unit which is designed such that pixels of a pixel line can be evaluated individually or in pixel groups.

In einer weiteren vorteilhaften Ausgestaltung umfasst die Auswerteeinheit aus einem ersten und zweiten Eingangscache und einem ersten und zweiten Ausgangscache,
wobei die Auswerteeinheit derart ausgestaltet ist, dass jeweils aus vier benachbarten Pixelzeilen mit unterschiedlichen Phasenlagen Entfernungsinformationen ermittelt werden, indem die Pixelzeilen sequentiell ausgelesen werden,
wobei in einem ersten Schritt die Differenz zweier komplementärer Phasenlagen in einem ersten Cache und
in einem zweiten Schritt die Differenz zwei weiterer komplementärer Phasenlagen in einem zweiten Cache gespeichert werden,
und in einem dritten Schritt ausgehend von den Differenzen im ersten und zweiten Cache ein Entfernungswert ermittelt wird.In a further advantageous embodiment, the evaluation unit comprises a first and second input cache and a first and second output cache,
the evaluation unit being designed in such a way that distance information is determined from four adjacent pixel lines with different phase positions by sequentially reading out the pixel lines,
wherein in a first step the difference between two complementary phase positions in a first cache and
in a second step, the difference between two further complementary phase positions is stored in a second cache,
and in a third step a distance value is determined on the basis of the differences in the first and second cache.

Dieses Vorgehen hat den Vorteil, dass insbesondere in einem Rolling-Shutterbetrieb, die Entfernungsdaten als Tiefenbild beispielsweise an einen Video-Ausgang ausgegeben werden könnenThis procedure has the advantage that, particularly in a rolling shutter mode, the distance data can be output as a depth image, for example at a video output

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention is explained in more detail below on the basis of exemplary embodiments with reference to the drawings.

Es zeigen schematisch:

• 1 das Grundprinzip einer Lichtlaufzeitkamera nach dem PMD-Prinzip,
• 2 eine modulierte Integration der laufzeitverschobenen erzeugten Ladungsträger,
• 3 einen Querschnitt eines PMD-Pixel,
• 4 eine typische Beschaltung eines Lichtlaufzeitsensors,
• 5 eine erfindungsgemäße Beschaltung eines Lichtlaufzeitsensors,
• 6 eine zeilenweise Variation der Phasenlagen,
• 7 ein Beispiel einer automatisierten Signalverarbeitung
• 8 ein Zeitschema für einen Rolling-Shutter Betrieb
• 9 eine 4-Transistor-Beschaltung eines Lichtlaufzeitpixels,
• 10 ein Beispiel einer Multiplexerschaltung,
• 11 eine 3-Transistor-Beschaltung eines Lichtlaufzeitpixels.

They show schematically:

• 1 the basic principle of a time-of-flight camera based on the PMD principle,
• 2 a modulated integration of the delayed generated charge carriers,
• 3 a cross section of a PMD pixel,
• 4th a typical wiring of a time of flight sensor,
• 5 a circuit according to the invention of a time-of-flight sensor,
• 6th a line-by-line variation of the phase positions,
• 7th an example of automated signal processing
• 8th a timing scheme for a rolling shutter operation
• 9 a 4-transistor circuit of a time-of-flight pixel,
• 10 an example of a multiplexer circuit,
• 11 a 3-transistor circuit of a time-of-flight pixel.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.In the following description of the preferred embodiments, the same reference symbols designate the same or comparable components.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer LichtlaufzeitKamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a time-of-flight camera, as it is, for example, from the DE 197 04 496 A1 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtungslichtquelle 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist ein Pixel-Array, auf und ist insbesondere als PMD-Sensor ausgebildet.The time-of-flight camera system 1 comprises a transmission unit or a lighting module 10 with an illumination light source 12th and associated beam shaping optics 15th as well as a receiving unit or time-of-flight camera 20th with a receiving optics 25th and a time of flight sensor 22nd . The time of flight sensor 22nd has a pixel array and is designed in particular as a PMD sensor.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 220 gemeinsam mit einer bestimmten Modulationsfrequenz bzw. Modulationssignal mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Signal der ersten Phasenlage a des Modulators 220 mit dem empfangenen Signal, das die laufzeitbedingte zweiten Phasenlage b aufweist, gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.The measuring principle of this arrangement is essentially based on the fact that the transit time of the emitted and reflected light can be determined on the basis of the phase shift of the emitted and received light. For this purpose, the light source 12th and the time of flight sensor 22nd via a modulator 220 applied together with a specific modulation frequency or modulation signal with a first phase position a. The light source transmits according to the modulation frequency 12th emits an amplitude-modulated signal with phase a. This signal or the electromagnetic radiation is generated by an object in the illustrated case 40 reflects and, due to the distance covered, hits the time-of-flight sensor with a corresponding phase shift with a second phase position b 22nd . In the time of flight sensor 22nd becomes the signal of the first phase position a of the modulator 220 mixed with the received signal, which has the second phase position b due to the transit time, the phase shift or the object distance d being determined from the resulting signal.

Zur genaueren Bestimmung der zweiten Phasenlage b und somit der Objektentfernung d kann es vorgesehen sein, die Phasenlage a mit der der Lichtlaufzeitsensor 22 betrieben wird, um vorgestimmte Phasenverschiebungen Δφ zu verändern. Gleichwirkend kann es auch vorgesehen sein, die Phase, mit der die Beleuchtung angetrieben wird, gezielt zu verschieben.For a more precise determination of the second phase position b and thus the object distance d, provision can be made to match the phase position a with that of the time-of-flight sensor 22nd is operated to change predetermined phase shifts Δφ. With the same effect, provision can also be made for the phase with which the lighting is driven to be shifted in a targeted manner.

Das Prinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22, hier ohne Phasenverschiebung, angesteuert werden. Das vom Objekt 40 reflektierte Licht b trifft entsprechend seiner Lichtlaufzeit t_L phasenverschoben auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q während der ersten Hälfte der Modulationsperiode in einem ersten Integrationsknoten Ga und in der zweiten Periodenhälfte in einem zweiten Integrationsknoten Gb. Die Ladungen werden typischerweise über mehrere Modulationsperioden gesammelt bzw. integriert. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung und somit eine Entfernung des Objekts bestimmen.The principle of phase measurement is schematically shown in 2 shown. The upper curve shows the time course of the modulation signal with which the lighting 12th and the time of flight sensor 22nd , here without a phase shift. That from the object 40 Reflected light b hits the time-of-flight sensor with a phase shift in accordance with its time of flight t _L 22nd . The time of flight sensor 22nd collects the photonically generated charges q during the first half of the modulation period in a first integration node Ga and in the second half of the period in a second integration node Gb. The charges are typically collected or integrated over several modulation periods. The phase shift and thus a distance of the object can be determined from the ratio of the charges qa, qb collected in the first and second gate Ga, Gb.

Wie aus der DE 197 04 496 A1 bereits bekannt, kann die Phasenverschiebung des vom Objekt reflektierten Lichts und somit die Distanz, beispielsweise durch ein so genanntes IQ- (Inphase-Quadratur)-Verfahren ermittelt werden. Zur Bestimmung der Distanz werden vorzugsweise zwei Messungen mit um 90° verschobenen Phasenlagen des Modulationssignals durchgeführt, also beispielsweise φ_mod + φ₀ und φ_mod + φ₉₀, wobei aus der in diesen Phasenlagen ermittelte Ladungsdifferenz Δq(0°), Δq(90°) die Phasenverschiebung des reflektierten Lichts über die bekannte arctan-Beziehung ermittelt werden kann. $$\mathrm{\phi }=\text{arctan}\frac{\mathrm{\Delta }q\left(90°\right)}{\mathrm{\Delta }q\left(0°\right)}$$

As from the DE 197 04 496 A1 already known, the phase shift of the light reflected from the object and thus the distance can be determined, for example, by what is known as an IQ (in-phase quadrature) method. To determine the distance, two measurements are preferably made with 90 ° shifted phase positions of the modulation signal carried out, so for example φ _mod + φ ₀ and φ _mod + φ ₉₀ , where from the charge difference Δq (0 °), Δq (90 °) determined in these phase positions, the phase shift of the reflected light over the known arctan relationship can be determined. $$\mathrm{\phi }=\text{arctan}\frac{\mathrm{\Delta }q\left(90°\right)}{\mathrm{\Delta }q\left(0°\right)}$$

Zur Verbesserung der Genauigkeit können ferner weitere Messungen mit um beispielsweise 180° verschobenen Phasenlagen durchgeführt werden. $$\phi =\text{arctan}\frac{\mathrm{\Delta }q\left(90°\right)-\mathrm{\Delta }q\left(270°\right)}{\mathrm{\Delta }q\left(0°\right)-\mathrm{\Delta }q\left(180°\right)}$$

To improve the accuracy, further measurements can also be carried out with phase positions shifted by 180 °, for example. $$\phi =\text{arctan}\frac{\mathrm{\Delta }q\left(90°\right)-\mathrm{\Delta }q\left(270°\right)}{\mathrm{\Delta }q\left(0°\right)-\mathrm{\Delta }q\left(180°\right)}$$

Selbstverständlich sind auch Messungen mit zwei oder auch mehr als vier Phasen und einer entsprechend angepassten Auswertung denkbar.Of course, measurements with two or more than four phases and a correspondingly adapted evaluation are also conceivable.

3 zeigt schematisch ein Lichtlaufzeitpixel mit Modulationsgates Gam, Gbm in einem lichtempfindlichen Bereich eines Lichtlaufzeitpixels 210. Durch Ansteuern der Gates Gam, Gbm mit den Modulationssignalen ModA, ModB werden die im lichtempfindlichen Bereich erzeugten Ladungsträger phasensynchron den Integrationsknoten, -dioden, bzw. -gates Ga, Gb zugeführt. Im dargestellten Fall sind die Integrationsknoten als Dioden in einem p-dotierten Basismaterial ausgebildet. Die Dotierung kann selbstverständlich auch komplementär erfolgen. Die an den Integrationsknoten Ga, Gb gesammelten Ladungen werden dann über Ausleseschaltungen an die adressierten Spaltenleitungen 202 weitergegeben. 3 shows schematically a light transit time pixel with modulation gates Gam, Gbm in a light-sensitive area of a light transit time pixel 210 . By controlling the gates Gam, Gbm with the modulation signals ModA, ModB, the charge carriers generated in the light-sensitive area are fed phase-synchronously to the integration nodes, diodes or gates Ga, Gb. In the case shown, the integration nodes are designed as diodes in a p-doped base material. The doping can of course also take place in a complementary manner. The charges collected at the integration nodes Ga, Gb are then sent to the addressed column lines via readout circuits 202 passed on.

4 zeigt eine typische Anordnung zur Adressierung eines Pixelarrays. Zum Auslesen der einzelnen Pixel sind die Zeilenleitungen 201 des Pixelarrays 200 mit einem ersten Adressendekoder 100 und die Spaltenleitungen 202 mit einem Verstärker 310 verbunden, der wiederum von einem zweiten Adressendekoder 300 spaltenweise ansteuerbar ist. Der erste und zweite Adressendekoder 100, 300 sind mit einer Ansteuerlogik 500 verbunden. 4th shows a typical arrangement for addressing a pixel array. The row lines are used to read out the individual pixels 201 of the pixel array 200 with a first address decoder 100 and the column lines 202 with an amplifier 310 connected, in turn by a second address decoder 300 is controllable column by column. The first and second address decoders 100 , 300 are with a control logic 500 tied together.

Während des Auslesens übermittelt die Ansteuerungslogik 500 den beiden Adressendekodern 100, 300 Signale oder Codes, um bestimmte Zeilen und Spalten Z, S anzusprechen. In einer typischen Ausführungsform sind die Adressendekoder 100, 300 als Schieberegister ausgebildet, wobei zum Auslesen des Pixelarrays 200 beispielsweise eine logische 1 als Schaltsignal durch die Schieberegister 100, 300 mit einem vorgegebenen Takt bzw. Frequenz getrieben wird. Im vorliegenden Fall könnte die Spaltenfrequenz fünfmal höher als die Zeilenfrequenz gewählt werden, so dass das Pixelarray 200 zeilenweise ausgelesen wird.The control logic transmits during the readout 500 the two address decoders 100 , 300 Signals or codes to address certain rows and columns Z, S. In a typical embodiment, the are address decoders 100 , 300 designed as a shift register, for reading out the pixel array 200 for example a logical one 1 as a switching signal through the shift register 100 , 300 is driven with a predetermined clock rate or frequency. In the present case, the column frequency could be chosen five times higher than the row frequency, so that the pixel array 200 is read line by line.

Um ein Lichtlaufzeitpixel, wie es beispielsweise aus der DE 197 04 496 A1 bekannt ist, anzusteuern, ist es notwendig ein Modulationssignal ModA, ModB für die Modulationsgates Gam, Gbm bereitzustellen. Hierzu ist typischerweise eine Modulator 220 vorgesehen, der ausgehend von einem Taktsignal CLK Phasensignale ph0, ph1, ph2, ph3 ... für den Betrieb des Lichtlaufzeitsensors 22 zur Verfügung stellt. Die für den jeweiligen Messbetrieb benötigte Phasenlage ph wird beispielsweise über einen Multiplexer 230 ausgewählt und an einen Modulationstreiber 240 übergeben, der die Signale in der Regel verstärkt als Modulationssignal ModA, ModB spaltenweise in das Pixelarray weiter leitet.To get a time-of-flight pixel, for example from the DE 197 04 496 A1 is known to drive, it is necessary to provide a modulation signal ModA, ModB for the modulation gates Gam, Gbm. A modulator is typically used for this purpose 220 provided, based on a clock signal CLK phase signals ph0, ph1, ph2, ph3 ... for the operation of the time-of-flight sensor 22nd provides. The phase position ph required for the respective measuring operation is determined, for example, via a multiplexer 230 selected and sent to a modulation driver 240 passed, which usually amplifies the signals as modulation signal ModA, ModB in columns into the pixel array.

5 zeigt eine erfindungsgemäße Ausgestaltung, bei der für jede Pixelzeile 201 ein eigener Multiplexer 230 und Modulationstreiber 240 vorgesehen ist. Zudem ist der Modulator 220 so ausgebildet, dass alle für die Entfernungsmessung notwendigen Phasenlagen ph0.. ph3 vorgehalten werden. Dieses Vorgehen hat den Vorteil, dass für jede Pixelzeile die Phasenlage ph0.. ph3 individuell vorgegeben werden kann, und hierdurch zusätzliche Messmöglichkeiten in der Entfernungsmessung realisieren lassen. Insbesondere kann es vorgesehen sein, dass benachbarte Pixelzeilen mit unterschiedlichen Phasenlagen betrieben werden. Beispielsweise könnten jeweils vier Zeilen mit jeweils um 90° verschobenen Phasenlagen betrieben werden und diese vier Pixelzeilen in einer ersten Messung zu einem gemeinsamen Entfernungswert verrechnet werden. 5 shows an embodiment according to the invention in which for each row of pixels 201 its own multiplexer 230 and modulation drivers 240 is provided. In addition, the modulator is 220 designed in such a way that all phase positions ph0 .. ph3 required for distance measurement are available. This procedure has the advantage that the phase position ph0 .. ph3 can be specified individually for each pixel line, and this enables additional measurement options to be implemented in the distance measurement. In particular, it can be provided that adjacent pixel rows are operated with different phase positions. For example, four lines could be operated each with phase positions shifted by 90 ° and these four pixel lines could be offset in a first measurement to form a common distance value.

Die Schaltung hat ferner den Vorteil, dass alle vier Phasen ph0.. ph3 gleichzeitig zur Verfügung stehen, so dass vom Multiplexer 230 nicht nur die Phasenlage für die Messung, sondern auch die komplementäre Phasenlagen für den Betrieb der Modulationsgates Gam, Gbm ausgewählt werden können. Wird beispielsweise das erste Modulationsgate Gam mit einer Phasenlage ModA von 90° betrieben, so ist das zweite Modulationsgate Gbm mit einer um 180° verschobenen Phasenlage ModB, also mit 270° zu betreiben, die nun direkt über den Multiplexer 230 zugeschaltet werden kann.The circuit also has the advantage that all four phases ph0 .. ph3 are available at the same time, so that the multiplexer 230 not only the phase position for the measurement, but also the complementary phase positions for the operation of the modulation gates Gam, Gbm can be selected. If, for example, the first modulation gate Gam is operated with a phase position ModA of 90 °, the second modulation gate Gbm is to be operated with a phase position ModB shifted by 180 °, that is to say with 270 °, which is now operated directly via the multiplexer 230 can be switched on.

Die Auswahl der Phasenlagen erfolgt vorzugsweise über ein Kontroller 250 das über eine Steuersignalleitungen mit dem Multiplexer 220 verbunden ist. Ein solcher Kontroller 250 kann beispielsweise als Konfigurationsregister durch RS- oder auch D-Flipflops realisiert sein. Selbstverständlich sind auch andere Ausgestaltungen denkbar.The phase positions are preferably selected using a controller 250 that via a control signal line to the multiplexer 220 connected is. Such a controller 250 can, for example, be implemented as a configuration register using RS or D flip-flops. Of course, other configurations are also conceivable.

Ferner erlaubt die erfindungsgemäße Schaltung grundsätzlich auch ein so genanntes „correlated double sampling“ CDS. Dieses Sampling bietet sich insbesondere bei einem Rolling-Shutterbetrieb an, bei dem beispielsweise nach einem Reset des Pixels der Reset-Wert unmittelbar ausgelesen wird, bevor auf dem Hold-Knoten der Integrationswert aufgeprägt wird. Bei einem Global-Shutter-Betrieb hingegen müsste für ein CDS ein zusätzlicher Speicherknoten für die Erfassung des Reset-Wertes vorgesehen werden.Furthermore, the circuit according to the invention basically also allows a so-called " correlated double sampling “CDS. This sampling is particularly useful in rolling shutter operation, in which, for example, after a reset of the pixel, the reset value is read out immediately before the integration value is impressed on the hold node. In the case of global shutter operation, however, an additional storage node would have to be provided for a CDS to record the reset value.

Wie bereits eingangs beschrieben werden für die Ermittlung eines Tiefenbilds vorzugsweise vier Einzelbilder mit unterschiedlichen Phasenlagen zwischen optischer und elektrischer Modulation der Pixel benötigt. Typischerweise werden diese Bilder bzw. Phasenbilder seriell in einem Pixelarray aufgenommen. Für eine automatisierte Auslese und Berechnung der Tiefenkarte ist es dann notwendig vier Einzelbilder in einem zusätzlichen Cache zu speichern. Mit der erfindungsgemäß vorgeschlagenen Lösung ist es jedoch möglich, die Phasenbilder parallel zu erfassen.As already described at the beginning, four individual images with different phase positions between optical and electrical modulation of the pixels are preferably required to determine a depth image. Typically, these images or phase images are recorded serially in a pixel array. For an automated readout and calculation of the depth map, it is then necessary to store four individual images in an additional cache. With the solution proposed according to the invention, however, it is possible to record the phase images in parallel.

6 zeigt eine mögliche Betriebsweise eines Pixelarrays gemäß 5. Die Zeilen Z1 .. Zn sind hier jeweils mit unterschiedlen Phasenlagen beaufschlagt. Die Zeile Z1 mit 0°, Z2 mit 180°, Z3 mit 90°, Z4 mit 270° und Z5 dann wieder beginnend mit 0°. Die nachfolgenden Zeilen würden dann entsprechend folgen. Selbstverständlich können auch andere Reihenfolgen und insbesondere Phasenlagen gewählt werden. In den Spalten S1.. Sn liegen dann dementsprechend die Phasenlagen alternierend vor. Zur vereinfachten Auswertung können vorzugsweise zu einer gemeinsamen Pixelmatrix beispielsweise bestehend aus 4x4 Pixeln zusammengefasst werden. 6th FIG. 11 shows a possible mode of operation of a pixel array according to FIG 5 . The lines Z1 .. Zn are each acted upon with different phase positions. The line Z1 with 0 °, Z2 with 180 °, Z3 with 90 °, Z4 with 270 ° and Z5 then starting again with 0 °. The following lines would then follow accordingly. Of course, other sequences and, in particular, phase positions can also be selected. The phase positions are then accordingly alternating in the columns S1 .. Sn. To simplify the evaluation, a common pixel matrix, for example consisting of 4 x 4 pixels, can preferably be combined.

Die erfindungsgemäße Schaltung erlaubt zudem Betriebsweisen, die mit einer herkömmlichen Beschaltung nicht erreicht werden können.The circuit according to the invention also allows modes of operation that cannot be achieved with conventional wiring.

Das wirksame Pixel wird durch diese Verschaltung zwar relativ groß bietet jedoch einige Vorteile. Durch die gleichzeitige Modulation wird die Integrationszeit pro Tiefenbild auf ein Viertel reduziert. Hierdurch kann die Tiefenbild-Framerate entsprechend um einen Faktor vier erhöht werden.This interconnection makes the effective pixel relatively large, but offers some advantages. The simultaneous modulation reduces the integration time per depth image to a quarter. This allows the depth image frame rate to be increased accordingly by a factor of four.

Bei einer automatisierten On-Chip-Berechnung einer Tiefenkarte kann überdies die Größe des notwendigen Zwischenspeichers/Cache erheblich reduziert werden, da die notwendigen Phasenbilder direkt im Pixelarray, beispielsweise über die in 9 gezeigte 4-TransistorSchaltung, gespeichert werden.In the case of an automated on-chip calculation of a depth map, the size of the necessary intermediate memory / cache can also be reduced considerably, since the necessary phase images are provided directly in the pixel array, for example via the in 9 4-transistor circuit shown.

Durch geschickte Auslese können die notwendigen Rechenoperationen direkt bei der Auslese durchgeführt werden. Eine mögliche Auswerteeinheit ist beispielsweise in 7 gezeigt. Zunächst werden die Zeilen in einem Erfassungsschritt 700 nicht von oben nach unten, sondern jeweils die Zeilen, die aufeinander folgend als Rechenoperanden im nächsten Schritt benötigt werden ausgewählt. Zur arctan-Berechnung würde beispielsweise zunächst die Zeile, die die 0°-Phase integriert hat, ausgewählt. Die jeweiligen Werte würden in einem ersten Eingangs-Cache 501 gespeichert, der die Dimension einer Zeile besitzt. Anschließend wird die Zeile, welche die 180°-Phase integriert hat, ausgewählt und der Wert im zweiten Eingangs-Cache 502 gespeichert. Die beiden Werte aus 501 und 502 werden jetzt über die Arithmetisch-logische Einheit (ALU) 600 miteinander verrechnet (Signal-501 minus Signal-502) und das Ergebnis wird in einen ersten Ausgangs-Cache 503 gespeichert. Nun wird der Wert, der die 90°-Phase integriert hat, ausgelesen und im ersten Eingangs-Cache 501 geschrieben, die Zeile mit der 270°-Phase ausgelesen, in den zweiten Eingangs-Cache 502 gespeichert, verrechnet und das Ergebnis in den zweiten Ausgangs-Cache 504 gespeichert.The necessary arithmetic operations can be carried out directly during the readout by means of a skilful selection. A possible evaluation unit is, for example, in 7th shown. First of all, in a detection step 700, the lines are not selected from top to bottom, but rather the lines that are required consecutively as arithmetic operands in the next step. For the arctan calculation, for example, the line that has integrated the 0 ° phase would first be selected. The respective values would be stored in a first input cache 501, which has the dimension of one line. The line which has integrated the 180 ° phase is then selected and the value is stored in the second input cache 502. The two values from 501 and 502 are now offset against one another via the arithmetic-logic unit (ALU) 600 (signal-501 minus signal-502) and the result is stored in a first output cache 503. Now the value that has integrated the 90 ° phase is read out and written to the first input cache 501, the line with the 270 ° phase is read out, stored in the second input cache 502, offset and the result in the second Output cache 504 stored.

Die Werte aus den Ausgangs- Caches 503 und 504 werden nun in die Eingangs-Caches 501 und 502 geladen, miteinander verrechnet und in den Ausgangs-Cache 503 gespeichert. Dieser Cache kann dann beispielsweise an einem Video-Ausgang ausgegeben werden. Die ALU 600 muss dann dementsprechend gestaltet sein, dass sie die Rechenoperationen der Subtraktion und der Division ausführen kann.The values from the output caches 503 and 504 are now loaded into the input caches 501 and 502, offset against one another and stored in the output cache 503. This cache can then be output at a video output, for example. The ALU 600 must then be designed so that it can perform the arithmetic operations of subtraction and division.

Ferner ist es durch entsprechend Ausgestaltung des Modulators oder einer weiteren Außenbeschaltung möglich auch andere Phasenlagen zu realisieren. Insbesondere besteht die Möglichkeit ungerade Phasenlagen, beispielsweise 0°, 120°, 240°, zu realisieren. In einem solchen Fall wäre es nützlich, auch komplementäre Phasenlagen von 180°, 300° und 60° für die Modulationsgates zur Verfügung zu stellen. Die komplementären Signale könnten selbstverständlich alternativ auch durch Inverter erzeugt werden.Furthermore, it is also possible to implement other phase positions by appropriately designing the modulator or by using a further external circuit. In particular, there is the possibility of realizing odd phase positions, for example 0 °, 120 °, 240 °. In such a case it would be useful to also provide complementary phase positions of 180 °, 300 ° and 60 ° for the modulation gates. The complementary signals could of course alternatively also be generated by inverters.

Durch das gleichzeitige Erfassen aller für die Entfernungsmessung bzw. Bestimmung der Tiefenkarte notwendigen Phasenbilder können Artefakte durch sich bewegende Objekte und der Aufwand für die Berechnung der Tiefenbilder reduziert werden. Durch ein gleichzeitiges Auslesen aller Phasenlagen erübrigt sich grundsätzlich auch eine Zwischenspeicherung der Integrationen.Through the simultaneous acquisition of all phase images necessary for the distance measurement or determination of the depth map, artifacts due to moving objects and the effort for the calculation of the depth images can be reduced. By reading out all phase positions at the same time, there is basically no need for intermediate storage of the integrations.

In 8 ist exemplarisch ein möglicher Rolling-Shutter Betrieb in einem zeitlichen Verlauf dargestellt. Wie bereits im vorgenannten Beispiel werden die Zeilen Z1.. Zn mit wechselnden Phasenlagen ph0.. ph3 betrieben. In üblicher Weise wird für ein Pixel zunächst ein Reset re durchgeführt und nachfolgend die Ladungen in der vorliegenden Phasenlage integriert (int phn). Die Integration wird durch den anschließenden Readout r beendet und die nachfolgende Integration wieder mit einem Reset re eingeleitet.In 8th a possible rolling shutter operation is shown as an example over time. As in the above example, lines Z1 .. Zn are operated with alternating phase positions ph0 .. ph3. In the usual way, a reset re is first carried out for a pixel and then the charges are integrated in the present phase position (int phn). The integration is ended by the subsequent readout r and the subsequent integration is initiated again with a reset re.

Beim Rolling-Shutter-Betrieb ist es vorgesehen, dass die nachfolgenden Zeilen zeitversetzt arbeiten. So ist es möglich, beispielsweise die Pixel der ersten Zeile Z1 auszulesen, während die verbleibenden Zeilen weiterhin Ladungen integrieren. Sobald die erste Zeile Z1 ausgelesen ist, steht umgehend das Integrationsergebnis der zweiten Zeile Z2 zur Verfügung und so fort.In rolling shutter operation, the following lines are provided with a time delay. It is thus possible, for example, to read out the pixels of the first line Z1 while the remaining lines continue to integrate charges. As soon as the first line Z1 has been read out, the integration result of the second line Z2 is immediately available, and so on.

9 zeigt eine übliche 4-Transistor Ausleseschaltung für ein Lichtlaufzeitpixel mit einer Zwischenspeicherung. Die während dem Integrationsintervall am pn-Übergang des Integrationsknoten Ga, Gb gesammelten Ladungsträger/Elektronen werden während der Integration über den Hold-Transistor hold an den Sampletransistor weiter geleitet. Es erfolgt ein Ladungsgleich zwischen dem Integrationknoten Ga, Gb und dem so genannten Holdknoten bzw. dem Gate des Source-Folgers (SFT) bzw. Sampletransistors. Am Ende der Integrationszeit wird der Holdtransistor gesperrt und der Wert auf dem Holdknoten bis zur Auslese gespeichert. Über den Spaltenselektionschalter r_sel kann die Ladung dann abgerufen und auf die Spaltenleitung aufgeschaltet werden. Vor Beginn der nächsten Integration wird der pn-Übergang über den Resetschalter reset auf ein Resetpotenzial Vres gelegt. Währenddessen wird auch der Holdknoten durch öffnen des Hold-Transistors hold auf Vres zurückgesetzt. Nach dem Schließen des Resetschalters wird der Holdtransistor wieder geöffnet. 9 shows a conventional 4-transistor readout circuit for a time-of-flight pixel with intermediate storage. The charge carriers / electrons collected during the integration interval at the pn junction of the integration node Ga, Gb are passed on to the sample transistor via the hold transistor hold during the integration. There is an equal charge between the integration node Ga, Gb and the so-called hold node or the gate of the source follower (SFT) or sample transistor. At the end of the integration time, the hold transistor is blocked and the value is stored on the hold node until it is read out. The charge can then be called up via the column selection switch r_sel and switched to the column line. Before the start of the next integration, the pn junction is set to a reset potential Vres via the reset switch reset. Meanwhile, the hold node is also reset to Vres by opening the hold transistor hold. After closing the reset switch, the hold transistor is opened again.

Diese Schaltung ist insbesondere für einen Global-Shutter Betrieb geeignet. Durch permanentes Öffnen des Holdtransistors hold lässt sich grundsätzlich auch die Funktion einer 3-TransistorSchaltung für einen Rolling-Shutter Betrieb darstellen. Ein Lichtlaufzeitsensor mit dieser 4T-Schaltung erlaubt somit grundsätzlich ein Umschalten zwischen Rolling- und Global Shutter Betrieb.This circuit is particularly suitable for global shutter operation. By permanently opening the hold transistor hold, the function of a 3-transistor circuit for rolling shutter operation can basically also be displayed. A time-of-flight sensor with this 4T circuit basically allows switching between rolling and global shutter operation.

10 zeigt eine beispielhafte Realisierung eines Phasenmultiplexers 230 mit Transmissiongates bzw. Transmissionsgatter zur Auswahl eines Modulationsphasensignals und eines komplementären Modulationsphasensignals. In der ersten Stufe, werden die entsprechenden Phasen durch die Signale s0 und n_s0 am Eingang des Multiplexers aus der Gesamtmenge der Modulationsphasensignale ausgewählt. In der zweiten Stufe wird entschieden, welches der ausgewählten Modulationsphasensignale das Modulationssignal ModA und welches das komplementäre Modulationssignal ModB darstellt. Es entsteht keine zusätzliche Phasenverschiebung zwischen dem Modulationsphasensignals und dem komplementären Modulationsphasensignals, wie das bei Verwendung eines Inverters zur Erzeugung des komplementären Modulationsphasensignals der Fall wäre. 10 shows an exemplary implementation of a phase multiplexer 230 with transmission gates or transmission gates for selecting a modulation phase signal and a complementary modulation phase signal. In the first stage, the corresponding phases are selected from the total amount of modulation phase signals by the signals s0 and n_s0 at the input of the multiplexer. In the second stage it is decided which of the selected modulation phase signals represents the modulation signal ModA and which represents the complementary modulation signal ModB. There is no additional phase shift between the modulation phase signal and the complementary modulation phase signal, as would be the case if an inverter were used to generate the complementary modulation phase signal.

11 zeigt eine 3-Transistor Schaltung, die auf eine Zwischenspeicherung der Werte verzichtet und insbesondere bei eine Rolling-Shutter Betrieb eingesetzt werden kann. Die an den Integrationsknoten gesammelten Ladungen werden nicht zwischengespeichert, sondern die Integrationszeit wird so begonnen, dass sie zum vorgesehen Auslese-Zeitpunkt direkt durch den Auslesevorgang beendet werden kann. Der Integrationszeitpunkt richtet sich somit nach verfügbaren Slots auf den Adress- und Spaltenleitungen. 11 shows a 3-transistor circuit which dispenses with the intermediate storage of the values and can be used in particular in a rolling shutter mode. The charges collected at the integration nodes are not temporarily stored, but the integration time is started in such a way that it can be ended directly by the readout process at the intended readout time. The time of integration therefore depends on the available slots on the address and column lines.

BezugszeichenlisteList of reference symbols

11

LichtlaufzeitkamerasystemTime of flight camera system

1010

SendeeinheitSending unit

1212th

BeleuchtungslichtquelleIlluminating light source

1515th

StrahlformungsoptikBeam shaping optics

2020th

Empfangseinheit, LichtlaufzeitkameraReceiver unit, time-of-flight camera

2222nd

LichtlaufzeitsensorTime of flight sensor

2525th

EmpfangsoptikReceiving optics

4040

Objektobject

100100

AdressendekoderAddress decoder

200200

PixelarrayPixel array

201201

ZeilenleitungLine management

202202

SpaltenleitungenColumn lines

210210

Pixelpixel

220220

Modulatormodulator

230230

Multiplexermultiplexer

240240

ModulationstreiberModulation driver

250250

Konfigurationsregister, KontrollerConfiguration register, controller

300300

AdressendekoderAddress decoder

310310

Verstärkeramplifier

320320

Analog-Digital-WandlerAnalog-to-digital converter

500500

AnsteuerlogikControl logic

Claims (1)

Lichtlaufzeitkamera mit einem Lichtlaufzeitsensor (200) zur Phasenmessung eines modulierten Lichts mit mehreren Lichtlaufzeitpixeln (210), mit wenigsten vier Phasensignalleitungen (P0... P3) zur Bereitstellung von Phasensignalen (ph0.. ph3) für die Lichtlaufzeitpixel (210), wobei jede Lichtlaufzeitpixelzeile (S) einen gemeinsamen Multiplexer (230) aufweist, der mit den vier Phasensignalleitungen (P0... P3) verbunden ist, und dass der Multiplexer (230) Steuersignaleingänge aufweist, wobei der Multiplexer (230) derart ausgestaltet ist, dass in Abhängigkeit der an den Steuersignaleingängen anliegenden Signale eine Phasensignalleitung (P0.. P3) mit einem ersten Phasensignal (ph0... ph3) und eine weitere Phasensignalleitung (P0.. P3) mit einem zum ersten Phasensignal (ph3... ph0) komplementären Phasensignal ausgewählt wird, und mit einem Modulationstreiber (240), der die vom Multiplexer (230) ausgewählten Phasensignale (ph0... ph3) als Modulationssignal (ModA, ModB) an die Modulationsgates (Gam, Gbm) der Lichtlaufzeitpixel (210) in der jeweiligen Lichtlaufzeitpixelzeile (Z, S) weiterleitet, bei dem die Lichtlaufzeitpixel (210) des Lichtlaufzeitsensors (22) derart ausgestaltet sind, dass zwischen einem Rolling- oder Global-Shutter-Betrieb umgeschaltet werden kann, wobei jeder Multiplexer (230) mit einem Kontroller (250) zur Steuerung und Auswahl der Phasensignale (ph0.. ph3) verbunden ist, und der Kontroller derart angesteuert wird, das wenigsten zwei benachbarte Zeilen mit unterschiedlichen Phasenlagen (ph0... ph3) beaufschlagt werden, wobei die Lichtlaufzeitkamera eine Auswerteeinheit mit einem ersten und zweiten Eingangscache (501, 502) und einem ersten und zweiten Ausgangscache (503, 504) aufweist, die derart ausgestaltet ist, dass Pixel einer Pixelzeile (201) einzelnen oder in Pixelgruppen ausgewertet werden können und dass jeweils aus vier benachbarten Pixelzeilen mit unterschiedlichen Phasenlagen Entfernungsinformationen ermittelt werden, indem die Pixelzeilen sequentiell ausgelesen werden, wobei in einem ersten Schritt die Werte der Pixelzeile mit der 0°-Phase in dem ersten Eingangscache (501) und die Werte der Pixelzeile mit der 180°-Phase in dem zweiten Eingangscache (502) gespeichert werden, wobei die beiden Werte aus dem ersten und zweiten Eingangscache (501, 502) über eine arithmetisch-logische Einheit (600) miteinander verrechnet und das Ergebnis in einem ersten Ausgangscache (503) gespeichert werden, hiernach werden die Werte der Pixelzeile mit der 90°-Phase in dem ersten Eingangscache (501) und die Werte der Pixelzeile mit der 270°-Phase in dem zweiten Eingangscache (502) gespeichert, die beiden Werte aus dem ersten und zweiten Eingangscache (501, 502) werden über die arithmetisch-logische Einheit (600) miteinander verrechnet und das Ergebnis in einem zweiten Ausgangscache (504) gespeichert, nachfolgenden werden die Werte aus den ersten und zweiten Ausgangscache (503, 504) in die ersten und zweiten Eingangscache (501, 502) geladen und über die die arithmetisch-logische Einheit (600) verrechnet und ausgegeben.Time-of-flight camera with a time-of-flight sensor (200) for phase measurement of a modulated light with several time-of-flight pixels (210), with at least four phase signal lines (P0 ... P3) for providing phase signals (ph0 .. ph3) for the time-of-flight pixels (210), wherein each time-of-flight pixel line (S) has a common multiplexer (230) which is connected to the four phase signal lines (P0 ... P3), and that the multiplexer (230) has control signal inputs, the multiplexer (230) being designed such that in Depending on the signals present at the control signal inputs, a phase signal line (P0 .. P3) with a first phase signal (ph0 ... ph3) and another phase signal line (P0 .. P3) with a phase signal complementary to the first phase signal (ph3 ... ph0) is selected, and with a modulation driver (240), the phase signals (ph0 ... ph3) selected by the multiplexer (230) as a modulation signal (ModA, ModB) to the modulation gates (Gam, Gbm) of the light transit time pixels (210) in the respective Forward time of flight pixel line (Z, S), in which the time of flight pixels (210) of the time of flight sensor (22) are designed in such a way that it is possible to switch between rolling or global shutter operation, where each multiplexer (230) is connected to a controller (250) for controlling and selecting the phase signals (ph0 .. ph3), and the controller is controlled in such a way that at least two adjacent lines have different phase positions (ph0 ... ph3) applied to them The time-of-flight camera has an evaluation unit with a first and second input cache (501, 502) and a first and second output cache (503, 504), which is designed such that pixels of a pixel line (201) can be evaluated individually or in pixel groups and that distance information is determined from four adjacent pixel lines with different phase positions by sequentially reading out the pixel lines, wherein in a first step the values of the pixel line with the 0 ° phase in the first input cache (501) and the values of the pixel line with the 180 ° phase are stored in the second input cache (502), the two values from the first and two ite input cache (501, 502) are offset against each other via an arithmetic-logic unit (600) and the result is stored in a first output cache (503), after which the values of the pixel line with the 90 ° phase are stored in the first input cache (501) and the values of the pixel line with the 270 ° phase are stored in the second input cache (502), the two values from the first and second input cache (501, 502) are offset against one another via the arithmetic-logic unit (600) and the result in a second output cache (504), then the values from the first and second output cache (503, 504) are loaded into the first and second input caches (501, 502) and are calculated and output via the arithmetic-logic unit (600).

Images