DE102013203088B4

DE102013203088B4 - Lichtlaufzeitkamerasystem

Info

Publication number: DE102013203088B4
Application number: DE102013203088.6A
Authority: DE
Inventors: Ralph Wilks
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2013-02-25
Filing date: 2013-02-25
Publication date: 2017-05-11
Anticipated expiration: 2033-02-26
Also published as: DE102013203088A1

Abstract

Lichtlaufzeitkamerasystem mit einem Lichtlaufzeitsensor (22) bestehend aus mehreren Lichtlaufzeitpixeln (23), mit einer Beleuchtung (10, 12) zur Aussendung eines modulierten Lichts, und mit einer Ausleseeinheit (400) zur Erfassung von Signalen (Ua, Ub) an Integrationsknoten (Ga, Gb) der Lichtlaufzeitpixel (23), mit einem Modulator (30) und einem Phasenschieber (35), die mit dem Lichtlaufzeitsensor (22) und der Beleuchtung (10, 12) verbunden sind, wobei der Phasenschieber (35) zur Entfernungsbestimmung mindestens zwei Phasenlagen (0°, 90°, 180°, 270°) zwischen Lichtlaufzeitsensor (22) und Beleuchtung (10, 12) zur Verfügung stellt, wobei ausgehend von den an den Integrationsknoten (Ga, Gb) erfassten Signalen (Ua, Ub) Entfernungen und Helligkeitswerte ermittelt werden, dadurch gekennzeichnet, dass eine Integrationszeit (tint) mindestens einer Phasenlage (0°, 90°, 180°, 270°) zeitlich länger andauert als eine für die Entfernungsmessung relevante Modulationszeit (tRBel) der Beleuchtung (10, 12).

Description

Die Erfindung betrifft ein Lichtlaufzeitkamerasystem und ein Verfahren zum Betreiben eines solchen nach Gattung der unabhängigen Ansprüche.
Mit Lichtlaufzeitkamerasystem sollen nicht nur Systeme umfasst sein, die Entfernungen direkt aus der Lichtlaufzeit ermitteln, sondern insbesondere auch alle Lichtlaufzeit bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma 'ifm electronic GmbH' oder 'PMD-Technologies GmbH' als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Für die Bestimmung einer Entfernung bzw. einer entsprechenden Phasenverschiebung des reflektierten Lichts wird, wie in der DE 197 04 496 ausführlich beschrieben, im PMD-Sensor das reflektierte Licht mit dem modulierenden Signal gemischt. Diese Mischung liefert ein in Phase liegendes Signal (0°) und ein um 180° versetztes Signal, aus dem in bekannter Weise eine Entfernung bestimmt werden kann. Zur Verbesserung der Qualität der Entfernungsmessung kann es vorgesehen sein, die Sendemodulation gezielt beispielsweise um 90°, 180° oder 270° zu verschieben und vorzugsweise mittels einer IQ(Inphase, Quadratur)-Demodulation einen Phasenwinkel des reflektierten in Relation zum gesendeten Signal zu bestimmen. Dieses Vorgehen ist insbesondere nützlich zur Gewinnung von redundanten Informationen, um beispielsweise verschiedene parasitäre Effekte wie fixed pattern noise (FPN), Hintergrundlicht oder Asymmetrien des Sensors zu kompensieren.
Ferner ist aus der DE 10 2011 089 629 A1 ein Lichtlaufzeitsensor bekannt, bei dem zusätzlich zur Ermittlung eines Entfernungswerts Mittel zur Bestimmung eines Grauwerts offenbart sind. Grundsätzlich ist bekannt, dass beispielsweise durch Addition aller an den Integrationsknoten erfassten Ladungen eine insgesamt akkumulierte Ladung ermittelt werden und für die Bestimmung eines Grauwerts herangezogen werden kann. Beispielsweise wird vorgeschlagen, dass ein Lichtlaufzeitpixel ohne Modulation als reinen Photosensor zu betreiben. Alternativ wird ferner vorgeschlagen jedem Lichtlaufzeitpixel ein zusätzliches Intensitätspixel zuzuordnen.
Aus der DE 10 2012 203 341 A1 wird eine Vorrichtung mit einer 2D- und 3D-Kamera beschrieben, die über einen Strahlteiler verbunden im Wesentlichen den gleichen Erfassungsbereich überwachen können. Zur Einstellung der Belichtung der 2D-Kamera wird vorgeschlagen, die Integrationszeit der 2D-Kamera anzupassen.
Aufgabe der Erfindung ist es, zusätzlich zu den 3D-Informationen eine 2D-Information zu gewinnen.
Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Lichtlaufzeitkamerasystem nach Gattung des unabhängigen Anspruchs gelöst.
Vorteilhaft ist ein Lichtlaufzeitkamerasystem vorgesehen, mit einem Lichtlaufzeitsensor bestehend aus mehreren Lichtlaufzeitpixeln, mit einer Beleuchtung zur Aussendung eines modulierten Lichts,
und mit einer Ausleseeinheit zur Erfassung von Signalen an Integrationsknoten der Lichtlaufzeitpixel,
wobei ausgehend von den an den Integrationsknoten erfassten Signalen Entfernungen und Helligkeiten ermittelt werden,
wobei mindestens eine Integrationszeit zeitlich länger andauert als eine für die Entfernungsmessung relevante Modulationszeit der Beleuchtung.
Dieses Vorgehen hat den Vorteil, dass die Integrationszeit für eine optimale Belichtung eines 2D- bzw. Grauwertbildes, unabhängig von der für die Gewinnung eines 3D-Bildes notwendige Integrationszeit, verlängert bzw. angepasst werden kann.
Das Tiefenbild wird vornehmlich aus einer Signaldifferenz zu zwei unterschiedlichen Phasenlagen gewonnen, wobei zusätzlich ein Amplitudensignal zur Verfügung steht. Die Grauwerte bzw. ein 2D-Bild werden vorzugsweise aus den Intensitätssignalen und/oder den Amplitudensignalen des Lichtlaufzeitsensors gebildet.
Eine Eigenschaft des Amplitudenbildes ist, dass im Wesentlichen nur Licht der eigenen Modulation zu einem Signal auf dem Sensor führt. Dies kann vorteilhaft zu einer gezielten Beleuchtung einer Szenerie verwendet werden, wobei Grauwerte für ein 2D-Bild sowohl aus dem Amplituden- wie auch Intensitätssignal gewonnen werden können.
Dieses Vorgehen ist immer dann vorteilhaft, wenn die für das 2D-Bild interessanten Objekte auch von der PMD-Beleuchtung ausreichend beleuchtet werden können. Bei großen Öffnungswinkeln und/oder hohen Reichweiten und/oder geringen Reflektivitäten der Objekte ist dies nicht immer sichergestellt oder bedarf hoher Lichtleistungen. Dies kann zu Problemen bei Systemkosten, Stromverbrauch, Beleuchtungs-Lebensdauer, Augensicherheit, Abwärme, Optikdesign, Platzbedarf etc. führen.
Erfindungsgemäß ist es daher vorgesehen, die Generierung eines Grauwerts bzw. eines 2D-Bildes nicht nur auf die aktiv durch moduliertes Licht beleuchteten Bereiche zu beschränken, sondern die Integrationszeit der Lichtlaufzeitpixel so festzulegen, dass auch Bildbereiche, die nur unzureichend und/oder unmoduliert beleuchtet werden ein verwertbares Signal aufweisen. Zur Auswertung bzw. Generierung eines 2D-Bildes wird bevorzugt ein Intensitätssignal verwendet, dass die gesamte vorhandene Lichtmenge nutzt. Für eine Belichtung nicht beleuchteter Bereiche ist insbesondere bei Tageslicht im Außenraum hinreichend Licht vorhanden.
Vorteilhaft ist das System so ausgestaltet, dass die Beleuchtung mit verschiedenen Phasenlagen betrieben wird und die Integrationszeit für mindestens zwei Phasenlagen unterschiedlich lang ist.
Besonders günstig ist es, wenn die Integrationszeiten für zwei komplementäre, d. h. um 180° verschobene Phasenlagen, gleich lang und für die nicht komplementären Phasenlagen unterschiedlich lang ist.
Besonders nützlich ist es, das Lichtlaufzeitkamerasystem derart auszugestalten, dass mindestens eine Integrationszeit des Lichtlaufzeitsensors in Abhängigkeit einer erfassten Lichtmenge gesteuert wird.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
1 schematisch das grundlegende Prinzip der Photomischdetektion,
2 eine modulierte Integration der erzeugten Ladungsträger,
3 zwei zeitliche Verläufe der Ladungsintegration mit unterschiedlichen Phasenlagen,
4 Relation der Integration in einem IQ-Diagramm,
5 ein Querschnitt durch ein Lichtlaufzeitpixel und schematische Ladungsverteilung,
6 eine Ladungsverteilung eines Lichtlaufzeitpixel zu unterschiedlichen Beleuchtungsbedingungen,
7 einen typischen Verlauf von Beleuchtungs- und Integrationszeiten,
8 einen erfindungsgemäßen Verlauf von Beleuchtungs- und Integrationszeiten,
9 eine Beleuchtung mit einem zeitlichen Vorlauf,
10 eine Beleuchtung innerhalb einer Integrationszeit,
11 einen zeitlichen Verlauf mit sich verlängernden Integrationszeiten,
12 einen zeitlichen Verlauf mit phasenkorrelierenden Integrationszeiten,
13 einen zeitlichen Verlauf mit konstanten Integrationszeiten
14 einen Beleuchtungsverlauf mit einem modulierten und unmodulierten Anteil,
15 eine Schaltung für eine Hintergrundlichtausblendung (SBI),
16 schematisch einen Spannungsverlauf mit Hintergrundlichtausblendung,
17 einen zeitlichen Verlauf der Ladungsverteilungen mit Ladungskompensation.
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 bekannt ist.
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 weist ein ein- oder zweidimensionales Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M_o mit einer Basisphasenlage φ₀ beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals M₀ der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S_p1 mit der ersten Phaselage p1 bzw. p1 = φ₀ + φ_var aus. Dieses Signal S_p1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p2 = φ₀ + φ_var + Δφ(t_L) als Empfangssignal S_p2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M_o mit dem empfangenen Signal S_p2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Zur Verbesserung der Messgenauigkeit und/oder zur Erweiterung des Eindeutigkeitsbereichs kann es ferner vorgesehen sein, Lichtlaufzeitmessungen mit unterschiedlichen Modulationsfrequenzen durchzuführen. Zu diesem Zweck ist der Modulator 30 mit einem Modulationssteuergerät 38 verbunden, das vorzugsweise innerhalb eines vorgegebenen Frequenzspektrums Modulationsfrequenzen vorgeben kann.
Der Modulator 30 könnte beispielsweise als Frequenzsynthesizer ausgebildet sein, der über das Modulationssteuergerät 38 für die jeweilige Messaufgabe angesteuert wird.
Ferner ist die Empfangseinheit 20 mit einer Auswerteeinheit 27 verbunden. Die Auswerteeinheit 27 kann gegebenenfalls auch Bestandteil der Empfangseinheit 20 und insbesondere auch Teil des Lichtlaufzeitsensors 22 sein. Aufgabe der Auswerteeinheit 27 ist es, anhand der empfangenen Signale in Relation zur Modulationsfrequenz Phasenverschiebungen zu ermitteln und/oder auszuwerten. Die Mischung der empfangen Lichtstrahlen mit der Modulationsfrequenz erfolgt vorzugsweise im Lichtlaufzeitsensor 22 bzw. PMD-Sensor. Ferner kann das Modulationssteuergerät 38 auch Bestandteil der Auswerteeinheit 27 sein. Insbesondere kann es auch vorgesehen sein, dass die Auswerteeinheit 27 die Funktion des Modulationssteuergeräts 38 vollständig oder teilweise übernimmt.
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbreichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M₀ mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S_p2 entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ(t_L) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M₀ in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M₀ + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(t_L) und somit eine Entfernung d des Objekts bestimmen.
3a und 3b zeigen Verläufe der Ladungsdifferenz Δq = q_a – q_b/(q_a + q_b) in Abhängigkeit der Phasenverschiebung Δφ(t_L) des empfangenen Lichtsignals S_p2 mit unterschiedlichen Phasenlagen. Die 3a zeigt einen Verlauf für eine unverschobene Modulationsphase M₀ mit einer Phasenlage φ_var = 0°.
Bei einem Auftreffen des Signals S_p2 ohne Phasenverschiebung also Δφ(t_L) = 0°, beispielsweise, wenn das Sendesignal S_p1 direkt auf den Sensor gelenkt wird, sind die Phasen der Modulation M₀ und vom empfangenen Signal S_p2 identisch, so dass alle erzeugten Ladungsträger phasensynchron am ersten Gate Ga erfasst werden und somit ein maximales Differenzsignal mit Δq = 1 anliegt.
Mit zunehmender Phasenverschiebung nimmt die Ladung am ersten Akkumulationsgate Ga ab und am zweiten Akkumulationsgate Gb zu. Bei einer Phasenverschiebung von Δφ(t_L) = 90° sind die Ladungsträger qa, qb an beiden Gates Ga, Gb gleich verteilt und die Differenz somit Null und nach 180° Phasenverschiebung ”–1”. Mit weiter zunehmender Phasenverschiebung nimmt die Ladung am ersten Gate Ga wieder zu, so dass im Ergebnis die Ladungsdifferenz wieder ansteigt, um dann bei 360° bzw. 0° wieder ein Maximum zu erreichen.
Mathematisch handelt es sich hierbei um eine Korrelationsfunktion des empfangenen Signals S_p2 mit dem modulierenden Signal M₀.
Bei einer Modulation mit einem Rechtecksignal ergibt sich wie bereits dargestellt als Korrelationsfunktion eine Dreiecksfunktion. Bei einer Modulation mit beispielsweise einem Sinussignal wäre das Ergebnis eine Kosinusfunktion.
Wie 3a zeigt, ist eine Messung der Phase mit einer Phasenlage nur bis zu einer Phasenverschiebung Δφ(t_L) ≤ 180° eindeutig.
Zur maximalen Erfassung der Phasenverschiebung ist beispielsweise das IQ(Inphase-Quadratur) Verfahren bekannt, bei dem zwei Messungen mit um 90° verschobenen Phasenlagen durchgeführt werden, also beispielsweise mit der Phasenlage φ_var = 0° und φ_var = 90°. Das Ergebnis einer Messung mit der Phasenlage φ_var = 90° ist in 3b dargestellt.
Die Beziehung dieser beiden Kurven lässt sich in bekannter Art und Weise beispielsweise für sinusförmige Kurvenverläufe in einem IQ-Diagramm gern. 4 darstellen. In erster Näherung ist diese Darstellung ohne weiteres auch für die dargestellten Dreiecksfunktionen anwendbar.
Der Phasenwinkel lässt sich dann in bekannter Weise über eine arctan-Funktion bestimmen: φ = arctan Δq(90°) / Δq(0°)
Die Amplitude A des Signals ergibt sich aus den zwei Messungen wie folgt: A = √x² + y² = √(Δq(0°))² + (Δq(90°))²
Während die Intensität I typischerweise durch Summieren der Gesamtladungen ermittelt wird. I = q(0°) + q(90°) / 2
Um beispielsweise Asymmetrie des Sensors zu kompensieren, können zusätzliche um 180° verschobene Phasenmessungen durchgeführt werden, so dass sich im Ergebnis der Phasenwinkel wie folgt bestimmen lässt. φ = arctan Δq(90°) – Δq(270°) / Δq(0°) – Δq(180°)
Die Amplitude bestimmt sich dann wie folgt:
5 zeigt einen Querschnitt durch einen Pixel eines Photomischdetektors wie er beispielsweise aus der DE 197 04 496 C2 bekannt ist. Die Modulationsphotogates Gam, G0, Gbm bilden den lichtsensitiven Bereich eines PMD-Pixels. Entsprechend der an den Modulationsgates Gam, G0, Gbm angelegten Spannung werden die photonisch erzeugten Ladungen q entweder zum einen oder zum anderen Akkumulationsgate bzw. zu einem ersten und zweiten Integrationsknoten Ga, Gb gelenkt. Die beiden Integrationsknoten bilden einen so genannte A- und B-Kanal.
5b zeigt einen Potenzialverlauf, bei dem die Ladungen q in Richtung des ersten Integrationskonten Ga abfließen, während das Potenzial gemäß 5c die Ladung q in Richtung des zweiten Integrationsknoten Gb fließen lässt. Die Potenziale werden entsprechend der anliegenden Modulationssignale vorgegeben. Je nach Anwendungsfall liegen die Modulationsfrequenzen vorzugsweise in einem Bereich von 1 bis 100 MHz. Bei einer Modulationsfrequenz von beispielsweise 1 MHz ergibt sich eine Periodendauer von einer Mikrosekunde, so dass das Modulationspotenzial dementsprechend alle 500 Nanosekunden wechselt.
In 5a ist ferner eine Ausleseeinheit 400 dargestellt, die gegebenenfalls bereits Bestandteil eines als CMOS ausgebildeten PMD-Lichtlaufzeitsensors sein kann. Die als Kapazitäten bzw. Dioden ausgebildeten Integrationsknoten Ga, Gb integrieren die photonisch erzeugten Ladungen über eine Vielzahl von Modulationsperioden. In bekannter Weise kann die dann an den Integrationsknoten Ga, Gb anliegende Spannung beispielsweise über die Ausleseeinheit 400 hochohmig abgegriffen werden. Die Integrationszeiten sind vorzugsweise so zu wählen, dass für die zu erwartende Lichtmenge der Lichtlaufzeitsensor bzw. die Integrationsknoten und/oder die lichtsensitiven Bereiche nicht in Sättigung geraten.
6a zeigt eine Ladungsverteilung q, die sich bei einer rein aktiven, d. h. modulierten Beleuchtung ML einstellen kann. Die Ladungen verteilen sich entsprechend der erfassten Objektentfernung d auf die einzelnen Integrationsknoten Ga, Gb
Die Objektentfernung d lässt sich dann, wie bereits dargestellt, anhand der Ladungsdifferenzen der Integrationsknoten Ga, Gb bzw. des A- und B-Kanals aus mindestens zwei Messungen mit unterschiedlicher Phasenlage ermitteln. Darüber hinaus können die in den Kanälen A, B erfassten Ladungen q bzw. Spannungen U(q) für die Bereitstellung eines Grauwertes herangezogen werden, um beispielsweise ein Grauwertbild bzw. 2D-Bild zu erzeugen. Im einfachsten Fall kann hierzu bereits die Spannung in einem einzigen Kanal herangezogen werden. Vorteilhaft kann auch das Summensignal aus beiden A- und B-Kanälen verwendet werden. Auch ist es denkbar, die Signale aus mehreren Messungen zu akkumulieren und zu einem Grauwert zu verrechnen. Insbesondere ist es auch denkbar, die Signale aus dem A- und B-Kanal, das resultierende Summensignal und ggf. noch akkumulierte Signale aller Pixel zu einem so genannten HDR-Bild, also einem Bild mit einem hohen Dynamikumfang, zu verrechnen.
6b zeigt eine Ladungsverteilung an den Integrationsknoten Ga, Gb, bei der in der Messung nicht nur moduliertes Licht ML, sondern auch ein unmoduliertes Hintergrundlicht bzw. ein Gleichlichtanteil GL erfasst wird. Dieser Gleichlichtanteil GL wird aufgrund des Messprinzips, unter Vernachlässigung möglicher systembedingter Asymmetrien, zu gleichen Teilen auf beide Kanäle A, B verteilt. Auch hier kann, wie bereits zu 6a beschrieben, aus der Differenz der Signale eine Entfernung und aus den Kanalsignalen ein Grauwert bzw. für das Pixel-Array ein Grauwertbild ermittelt werden.
Die Signale, die aus der Summe beider Kanalsignale A, B gewonnen werden, bilden so genannte Intensitätssignale. Demgegenüber lässt sich aus der Ladungsdifferenz Δq bzw. Spannungsdifferenz ΔU(q) aus mindestens zwei Messungen mit unterschiedlicher Phasenlage, wie bereits zu 4 gezeigt, ein Amplitudensignal ermitteln. Ohne Gleichlichtanteil GL, entsprechend 6a, sind das Amplitudensignal und das Intensitätssignal grundsätzlich gleich.
Bei vorhandenem Gleichlichtanteil GL, entsprechend 6b, sind Amplituden- und Intensitätssignal unterschiedlich groß und können separat oder gemeinsam für weitere Auswertungen herangezogen werden. Das Amplitudensignal entspricht den durch die Modulation erzeugten Ladungsträgern und das Intensitätssignal den innerhalb der Integrationszeit insgesamt akkumulierten Ladungsträgern.
7 zeigt einen typischen Schaltsignalverlauf für eine Entfernungsmessung mit vier unterschiedlichen Phasenlagen 0°, 90°, 180°, 270°. Die Integrationszeit t_int der Integrationsknoten Ga, Gb ist im dargestellten Beispiel gleichlaufend mit der Einschaltdauer t_Bel der aktiven modulierten Beleuchtung synchronisiert. Je nach Anwendungsfall kann die Integrationszeit t_int ggf. auch kürzer als die Beleuchtungsdauer gewählt werden, insbesondere kann die Beleuchtung mit einem zeitlichen Vorlauf gestartet werden, um beispielsweise Einschwingvorgänge aus der Entfernungsmessung herauszunehmen. Wird die Szenerie nur vom modulierten Licht der PMD-Kamera beleuchtet ergibt sich eine Ladungsverteilung ohne Gleichlichtanteil entsprechend 6a. Bei einer typischen Messsituation wird jedoch auch Sonnenlicht oder eine künstliche Beleuchtung als Hintergrundlicht bzw. Gleichlicht GL miterfasst und führt zu einer Ladungsverteilung entsprechend 6b. Aus den Kanalsignalen können, wie bereits beschrieben, 3D- und 2D-Bilder ermittelt werden.
Die Integrationszeit des PMD-Sensors ist vorzugsweise so ausgelegt, dass die Lichtlaufzeitpixel in einer typischen Messsituation nicht in Sättigung geraten. Dies kann jedoch insbesondere bei einer durch Fremdlicht schwach beleuchteten Szenerie zu einem unterbelichteten 2D-Bild führen. Um zu einem optimal belichteten 2D-Bild zu gelangen, ist es erfindungsgemäß vorgesehen, die Belichtungszeit bzw. die Integrationszeit t_int auch im Hinblick auf ein verwertbares 2D- bzw. Grauwertbild zu optimieren.
Ein mögliches erfindungsgemäßes Vorgehen ist in 8 dargestellt, bei dem die Integrationszeit t_int der letzen Phasenmessung über die Dauer t_Bel der modulierten Beleuchtung hinaus verlängert wird. Das Fremdlicht bzw. Gleichlicht GL wird über die gesamte Integrationszeit t_int erfasst und führt zu einer Erhöhung des Gleichlichtanteils GL im Kanalsignal. Der entfernungsrelevante Modulationsanteil ML wird nur während der Dauer der modulierten Beleuchtung erfasst.
Die 2D-Funktionalität kann grundsätzlich auch aus einer Kombination aus Amplituden- und Intensitätssignal gewonnen werden, wobei das Amplitudensignal im Wesentlichen einer kurzen Belichtungszeit entspricht und vornehmlich für helle bzw. stark reflektierende Objekte geeignet ist und das Intensitätssignal über einen längeren Zeitraum integriert wird und insbesondere für dunkle Objekte geeignet ist.
Somit sind im 2D-Bild nicht nur Objekte darstellbar, die das Licht der modulierten Beleuchtung im ausreichenden Maße zurückwerfen, sondern auch alle durch Fremdlicht oder Gleichlichtanteile ausreichend beleuchtete Objekte. Dies hat den Vorteil, dass eine Szenerie vollständig als 2D-Bild erfasst werden kann und zusätzlich für bestimmte aktiv moduliert beleuchtete Bereich eine Tiefeninformation zur Verfügung steht. Insbesondere braucht so die Beleuchtung nur für die Erfassung von Tiefeninformationen ausgelegt werden und es wird keine zusätzliche Leistung für eine 2D-Belichtung benötigt.
Die Integrationszeit t_int ist vorzugsweise so zu wählen, dass die Lichtlaufzeitpixel nicht in Sättigung geraten. Vorzugsweise ist eine Integrationszeitregelung vorgesehen, die beispielsweise anhand der erfassten Signale die Integrationszeit t_int regelt. Insbesondere ist es denkbar, für die Integrationszeitregelung einen eigenen Belichtungsmesser, beispielsweise eine zusätzliche Photodiode, zu verwenden.
9 zeigt ein Beispiel bei dem die Beleuchtung mit einem Vorlauf zur Integrationszeit t_int gestartet wird, um beispielsweise Einschwingeffekte der Beleuchtung aus der eigentlichen Entfernungsmessung während der Integrationszeit t_int auszublenden. Die für die Entfernungsmessung relevante Modulationszeit t_RBel ist hierbei kürzer als die Gesamteinschaltdauer t_Bel der Beleuchtung. Zur Generierung einer optimalen 2D-Belichtung wurde die Integrationszeit t_int über die relevante Modulationszeit t_RBel hinaus verlängert.
In 10 ist ein Beispiel gezeigt, bei dem die Beleuchung innerhalb der Integrationszeit t_int hinzugeschaltet wird. In diesem Fall ist selbstverständlich die relevante Modulationszeit t_RBel gleich der Einschaltdauer t_Bel der Beleuchtung. Während der gesamten Integrationszeit wird ein Gleichlicht GL der beobachtente Szene erfasst, wobei während der Einschaltdauer der Beleuchtung zusätzlich das reflektierte modulierte Licht ML mit aufgenomen wird.
Ein derartiges Vorgehen ändert prinzipiell nichts an dem Verfahren zur Entfernungsermittlung, da nur durch moduliertes Licht die Ladungsverteilung an den Integrationsknoten Ga, Gb entfernungsabhängig verändert wird. Die Positon des Beleuchtungsintervalls kann grundsätzlich frei gewählt werden und beispielsweise auch zum Ende der Integrationszeit bzw. des Integrationsintervalls angeordnet werden.
11 zeigt eine Variante bei der zu unterschiedlichen Phasenlagen die Integrationszeit t_int variiert wird, um so eine optimale Belichtung zu erhalten oder ggf. durch Zusammenfassen aller Belichtungen ein Bild mit einem hohen Dynamikumfang zu berechnen.
Im Einzelfall können unterschiedliche Gesamtladungsmengen in den verschiedenen Phasenlagen jedoch zu Asymmetrien in der Phasenmessung führen. Um dies zu vermeiden, kann es vorteilhaft sein, wie in 12 dargestellt,, die Belichtungszeit bzw. Integrationszeit für die jeweils komplementäre Phasenlage gleich lang zu wählen.
Ebenso vorteilhaft kann es auch vorgesehen sein, die Belichtung- bzw. Integrationszeit t_int, wie in 13 gezeigt, für alle Phasen gleich lang zu wählen.
14 zeigt ein Ausführungsbeispiel, bei dem die erfasste Szene zusätzlich mit einem unmodulierten Licht beleuchtet wird. Hierbei kann es vorgesehen sein, dass die PMD-Beleuchtung 14 für die Entfernungsbestimmung zunächst moduliert und nachfolgend für eine weitere Aufhellung der Szene unmoduliert betrieben wird. Die obere Kurve in 14 zeigt einen entsprechenden zeitlichen Spannungsverlauf an den Integrationsknoten Ga, Gb. Während der Integration bei modulierter Beleuchtung nimmt die Spannung Ua, Ub an den Integrationsknoten Ga, Gb in Abhängigkeit der Objektentfernung d mit unterschiedlichen Steigungen ab. Für die Zeitdauer der unmodulierten Beleuchtung ist der Gradient des Spannungsabfalls für beide Integrationsknoten Ga, Gb bzw. Kanäle A, B konstant.
Selbstverständlich stellt sich qualitativ der skizzierte Spannungsverlauf immer dann ein, wenn der Modulationsphase eine Phase mit einem Gleichlichtanteil folgt, unabhängig davon, durch welche Lichtquelle der Gleichlichtanteil verursacht wird.
15 zeigt einen Lichtlaufzeitsensor 22 mit einer so genannten Hintergrundlichtausblendung bzw. SBI-Schaltung 500 (suppression of background illumination). Dargestellt ist ein einzelnes Lichtlaufzeitpixel 23 eines Lichtlaufzeitsensors 22 deren Integrationsknoten Ga, Gb mit einer Ausleseeinheit 400 verbunden sind, die vorzugsweise eine an den Integrationsknoten Ga, Gb anliegende Spannung Ua, Ub erfasst. In Abhängigkeit der erfassten Integrationsspannung Ua, Ub beaufschlagt die SBI-Schaltung 500 die Integrationsknoten Ga, Gb mit einem Kompensationsstrom i_k.
In 16 ist die Wirkungsweise der SBI-Schaltung schematisch dargestellt. Beginnend von einem Resetpotenzial bzw. Ruhepotenzial U₀ nimmt die Spannung an den Integrationsknoten Ga, Gb entsprechend des erfassten Modulation- und Gleichlichtanteils ab. Ohne SBI-Schaltung geht im dargestellten Fall der zweite Integrationsknoten Gb zum Zeitpunkt ts in Sättigung. Mit SBI-Schaltung 500 wird die Spannung des Integrationsknoten Ga, Gb, der die SBI-Einschaltschwelle Uon zuerst erreicht, konstant gehalten. Der hierzu notwendige Kompensationsstrom ik wird beiden Integrationsknoten Ga, Gb zugeführt, um entsprechende Ladungsträger abzuführen. Die Spannung des jeweils überkompensierten Integrationsknoten, hier Ga, nimmt entsprechend zu. Die entfernungsbedingte Ladungsdifferenz bleibt hierbei erhalten während das Intensitätssignal, also die Gesamtladungsmenge, nicht mehr eindeutig mit der Integrationszeit korreliert.
17 zeigt das grundsätzliche zeitliche Verhalten von Ladungsdifferenz Δq und Ladungssumme Σq. Die SBI-Schaltung ist selbstverständlich so aufgebaut, dass die Steigung des Ladungsdifferenzverlaufes idealerweise zeitlich konstant bleibt. So können die Ladungsdifferenzen Δq aus den verschiedenen Phasenlagen 0°, 90° unabhängig davon verwendet werden, ob die SBI-Schaltung angesprochen hat oder nicht. Ein aus der Amplitude gewonnen Grauwertbild ist ebenso unabhängig vom Einsatz der SBI-Schaltung.
Anders verhält es sich mit der Ladungssumme Σq oder in hieraus berechnetes Grauwertbild. Bis zum Einsatz der SBI-Schaltung zum Zeitpunkt t_SBI korrelieren die Grauwerte mit der zunehmenden Integrationszeit. Nach Einsetzen der SBI-Schaltung nimmt die Gesamtladungsmenge Σq infolge der Ladungskompensation ab.
Erfolgt der Einsatz der SBI-Schaltung für alle Pixel gleichzeitig lässt sich grundsätzlich noch ein Grauwertbild generieren, wobei jedoch mit zunehmender Integrationszeit das Signal bzw. die Helligkeit abnimmt.
Erfolgt der Einsatz der SBI-Schaltung pixelindividuell verliert sich die Kontrastbeziehung der Pixel untereinander und das ermittelte Grauwertbild ist nur noch bedingt aussagekräftig. Ist der Einschaltzeitpunkt tSBI der SBI-Schaltung für jedes Pixel bekannt, könnte gegebenenfalls die Grauwerte pixelindividuell korrigiert werden.
Grundsätzlich können vor Erreichen der SBI-Schwelle U₀, t_SBI Grauwertbilder ohne Beschränkung aus dem Intensitäts- und/oder Amplitudensignal ermittelt werden. Nach Erreichen der SBI-Schwelle sollten die Veränderung durch die SBI-Schaltung berücksichtig werden.

Claims

Lichtlaufzeitkamerasystem mit einem Lichtlaufzeitsensor (22) bestehend aus mehreren Lichtlaufzeitpixeln (23), mit einer Beleuchtung (10, 12) zur Aussendung eines modulierten Lichts, und mit einer Ausleseeinheit (400) zur Erfassung von Signalen (Ua, Ub) an Integrationsknoten (Ga, Gb) der Lichtlaufzeitpixel (23), mit einem Modulator (30) und einem Phasenschieber (35), die mit dem Lichtlaufzeitsensor (22) und der Beleuchtung (10, 12) verbunden sind, wobei der Phasenschieber (35) zur Entfernungsbestimmung mindestens zwei Phasenlagen (0°, 90°, 180°, 270°) zwischen Lichtlaufzeitsensor (22) und Beleuchtung (10, 12) zur Verfügung stellt, wobei ausgehend von den an den Integrationsknoten (Ga, Gb) erfassten Signalen (Ua, Ub) Entfernungen und Helligkeitswerte ermittelt werden, dadurch gekennzeichnet, dass eine Integrationszeit (t_int) mindestens einer Phasenlage (0°, 90°, 180°, 270°) zeitlich länger andauert als eine für die Entfernungsmessung relevante Modulationszeit (t_RBel) der Beleuchtung (10, 12).
Lichtlaufzeitkamerasystem nach Anspruch 1, bei dem das System so ausgestaltet ist, dass die Beleuchtung (10, 12) mit verschiedenen Phasenlagen (0°, 90°, 180°, 270°) betrieben wird und die Integrationszeit (t_int) für mindestens zwei Phasenlagen unterschiedlich lang ist.
Lichtlaufzeitkamerasystem nach einem der vorhergehenden Ansprüche, bei dem das System so ausgestaltet ist, dass die Beleuchtung (10, 12) für eine Entfernungsmessung moduliert und für eine Ausleuchtung unmoduliert betrieben wird.
Lichtlaufzeitkamerasystem nach einem der vorhergehenden Ansprüche, mit einer Integrationszeitregelung, die in Abhängigkeit eines erfasste Intensitäts- und/oder Amplitudensignals die Integrationszeit (t_int) regelt.
Lichtlaufzeitkamerasystem nach einem der vorhergehenden Ansprüche, bei der mindestens eine Integrationszeit (t_int) in Abhängigkeit einer erfassten Lichtmenge gesteuert wird.