DE10147807A1

DE10147807A1 - Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen

Info

Publication number: DE10147807A1
Application number: DE10147807A
Authority: DE
Inventors: Helmut Riedel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2001-09-27
Filing date: 2001-09-27
Publication date: 2003-04-24
Also published as: WO2003029839A1

Abstract

Die heutige Sensorik zur Umfelderfassung verwendet vorwiegend Mikrowellen-Radar oder Laser-Radar im infraroten Wellenlängenbereich. Beide Sensorprinzipien ermöglichen es derzeit nicht, Objekte sicher zu klassifizieren, da die Anzahl der verwendeten Pixel für eine Szenenanalyse mit Bildverarbeitung zu gering ist. Als ergänzende Systemkomponente wird daher zumeist eine hochauflösende Video-Kamera vorgeschlagen, mit der das Defizit der geringen Pixelzahl überwunden werden kann. DOLLAR A Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen und zur Ermittlung von Entfernungen und Annäherungsgeschwindigkeiten für Fahrzeuge mittels eines Bildaufnehmers, dadurch gekennzeichnet, dass im Bildaufnehmer eine Vielzahl von photoempfindlichen Pixelelementen matrixförmig angeordnet und beliebig viele benachbarte Pixelelemente parallel geschaltet werden. DOLLAR A Die Erfindung eignet sich insbesondere für die Anwendungen Pre-Crash, Stop & Go, Einparkhilfe, Totwinkelüberwachung oder für andere Aufgabenstellungen der Umfeldsensorik.

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Patentanspruchs 1.
Für die Steigerung der aktiven und passiven Sicherheit in künftigen Fahrzeugen gewinnt die Erfassung des Fahrzeugumfeldes ständig an Bedeutung. Hierfür wird Sensorik eingesetzt, die es ermöglicht, sowohl Hindernisse vor dem eigenen Fahrzeug, wie auch andere Fahrzeuge oder andere Verkehrsteilnehmer, z. B. Motorradfahrer, Radfahrer oder Fußgänger zu detektieren. Die Detektion muss rechtzeitig bei unterschiedlichen Geschwindigkeiten erfolgen können, so dass Maßnahmen zur Vermeidung einer Kollision oder zur Milderung ihrer unmittelbaren Folgen durch geeignete Auslösung von Airbags getroffen werden können.
Die heutige Sensorik zur Umfelderfassung verwendet vorwiegend Mikrowellen-Radar oder Laser-Radar im infraroten Wellenlängenbereich. Beide Sensorprinzipien ermöglichen es derzeit nicht, Objekte sicher zu klassifizieren, da die Anzahl der verwendeten Pixel für eine Szenenanalyse mit Bildverarbeitung zu gering ist. Als ergänzende Systemkomponente wird daher zumeist eine hochauflösende Video-Kamera vorgeschlagen, mit der das Defizit der geringen Pixelzahl überwunden werden kann.
Es ist daher Aufgabe der Erfindung, ein einfaches, sicheres und kostengünstiges Verfahren zu finden, das die Annäherungsgeschwindigkeit von Objekten bestimmt und gleichzeitig eine Klassifikation der Objekte ermöglicht.
Gelöst wird diese Aufgabe durch ein Verfahren mit den im Anspruch 1 angegebenen Merkmalen.
Das Verfahren nach Anspruch 1 ermöglicht die schnelle Bestimmung von Entfernung und Annäherungsgeschwindigkeit von Objekten sowie die Aufnahme von detaillierten Grauwert- und Entfernungsbildern mit einem einzigen Bildsensor. Es ermöglicht sowohl eine schnelle Punktmessung mit hoher Bildwiederholrate wie auch eine höher aufgelöste Szenenaufnahme mit geringerer Bildwiederholrate.
Die Erfindung eignet sich insbesondere für die Anwendungen Pre-Crash, Stop&Go, Einparkhilfe, Totwinkelüberwachung oder für andere Aufgabenstellungen der Umfeldsensorik.
Vorteilhafte Ausgestaltungen des Verfahrens nach Anspruch 1 sind in den Unteransprüchen angegeben.
Die Erfindung wird nun anhand eines Ausführungsbeispiels unter Zuhilfenahme der Zeichnung erläutert.
Es zeigen
Fig. 1 die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels,
Fig. 2 die Verschaltung einzelner photoempfindlicher PMD-Pixelelemente miteinander,
Fig. 3 die Adressierung der einzelnen photoempfindlichen Pixelelemente,
Fig. 4a-d die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer orthogonalen Gitterstruktur angeordneten Pixelelementen und
Fig. 5 die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer hexagonalen Gitterstruktur angeordneten Pixelelementen.
Die Fig. 1 zeigt die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels 1 als Photoelement. Ein PMD-Pixel 1 stellt ein sogenanntes "aktives Pixel" dar, d. h. die durch den Photoeffekt erzeugten Ladungsträger werden direkt im Pixel 1 durch aktive elektronische Bauelemente für die Signalauslesung weiterverarbeitet. Ein Transistor T1 wird zum Reset des PMD-Pixels 1 eingesetzt, ein Transistor T2 dient zum Abtasten der Photospannung, die auf einem Kondensator C während der Auslesephase gehalten wird. Ein Transistor T3 ist als Sourcefolger geschaltet, der das Photosignal während der Auslesephase puffert. Zwischen der Drain-Source-Strecke des Transistors T1 und der Drain-Source-Strecke des Transistors T2 befindet sich ein Netzknoten N1, und zwischen der Drain- Source-Strecke des Transistors T2 und dem Gate des Transistors T3 befindet sich ein Netzknoten N2. Für die zweite Hälfte des symmetrisch aufgebauten PMD-Pixels 1 sind die entsprechenden Bauelemente mit T1', T2', T3' und C' und die entsprechenden Netzknoten mit N1' und N2' bezeichnet.
Zur Parallelschaltung einzelner PMD-Pixel 1 werden deren jeweilige Knoten N1 über Schalter S1 (Fig. 2) miteinander verbunden. Weitere Schalter S2 (Fig. 2) verbinden auch die jeweiligen Knoten N2, so dass auch die Integrationskapazität an die vergrößerte Pixelfläche angepasst werden kann. Entsprechende Bezeichnungen für die entsprechenden Schalter der zweiten Hälfte eines PMD-Pixels 1 lauten S1' und S2'.
Die Schalter S1 und S2 können unabhängig voneinander betätigt werden. Insbesondere können in einem Verbund von Pixeln 1 zwar sämtliche photoempfindlichen Flächen über die Schalter S1 verbunden sein, jedoch nur eine geringere Anzahl von Integrationskapazitäten C bzw. C' über die Schalter S2 bzw. S2'. Dieses Vorgehen ermöglicht eine Erhöhung des Signalhubes an den verbundenen Integrationskapazitäten C bzw. C'.
In Fig. 2 ist die Verschaltung einzelner photoempfindlicher PMD- Pixelelemente 1 miteinander dargestellt. In einem Bildaufnehmer oder Bildaufnehmer 2, insbesondere einem PMD-Bildaufnehmer, sind mehrere PMD- Pixelelemente 1 orthogonal angeordnet und jedes PMD-Pixelelement 1 ist mit seinen orthogonal benachbarten PMD-Pixelelementen 1 verschaltet. Da jeder Netzknoten N1, N2, N1' bzw. N2' eines ersten PMD-Pixels 1 über jeweils einen Schalter S1, S2, S1' bzw. S2' mit den Netzknoten N1, N2, N1' bzw. N2' eines zweiten, eines dritten und eines vierten benachbarten PMD-Pixels 1verbunden ist, ergeben sich daraus 16 schaltbare Verbindungen zwischen einem PMD-Pixel 1 und den vier zu ihm benachbarten PMD-Pixeln 1.
In einem PMD-Bildaufnehmer 2 mit orthogonaler Array-Anordnung der PMD- Pixel 1 gemäß Fig. 2 kann die Adressierung der einzelnen PMD-Pixel 1 sowie die Schaltung der einzelnen Verbindungen zwischen den Netzknoten N1, N2, N1' bzw. N2' über horizontale und vertikale Adressregister erfolgen, wie dies in Fig. 3 dargestellt ist. Ein horizontales Adressregister 3 und ein vertikales Adressregister 4 übernehmen die Signalauslesung der PMD-Pixel 1, während jeweils zwei weitere horizontale bzw. vertikale Adressregister 5 und 6 bzw. 7 und 8 die Schalter S1 und S1' bzw. S2 und S2' für die Zeilen und Spalten der Array-Anordnung der PMD-Pixel 1 betätigen. Über die Ansteuerung der Adressregister 3 bis 8 lässt sich jedes gewünschte Pixelmuster konfigurieren.
In den Fig. 4a-d ist beispielhaft dargestellt, wie ein PMD-Bildaufnehmer 2 mit 8 × 8 PMD-Pixeln 1 in Fig. 4a in die Auflösungen 4 × 4 in Fig. 4b, 2 × 2 in Fig. 4c und in ein großes Einzelpixel in Fig. 4d überführt werden kann, um beispielsweise die Entfernung zu einem beleuchteten Objekt trotz schwacher Strahlungsleistung messen zu können. Die Zusammenfassung der PMD-Pixel 1 braucht keinem regelmäßigen Muster zu folgen, sondern kann ebenso frei wählbar und angepasst an die jeweils zu untersuchende Szene vorgenommen werden. So können z. B. auch einzelne Cluster von PMD-Pixeln 1 in einer sogenannten "Region of Interest (ROI)" geformt werden.
Ein PMD-Bildaufnehmer 2 mit z. B. 32 × 16 Pixeln kann im Extremfall durch eine elektrische Parallelschaltung sämtlicher photoempfindlicher Flächen der PMD-Pixel 1 zu einem einzigen PMD-Pixel 1 umgewandelt werden, das die 512-fache Bildaufnehmerfläche aufweist. Diese Flächenvergrößerung bewirkt unmittelbar den 512-fachen Photostrom und damit ein drastisch gesteigertes elektrisches Bildaufnehmersignal. Werden weniger PMD-Pixel 1 parallelgeschaltet, so lässt sich der genannte PMD-Bildaufnehmer 2 in seiner lateralen Auflösung innerhalb weiter Grenzen variieren.
Im Unterschied zu der in den Fig. 2 und 4 gezeigten orthogonalen Anordnung können die PMD-Pixel 1 eines PMD-Bildaufnehmers 2 auch hexagonal angeordnet sein, wie aus Fig. 5 hervor geht. Auch in einer solchen Ausführungsform können PMD-Pixel 1 paarweise oder blockweise zusammengefasst werden. Darüber hinaus bietet die hexagonale Anordnung auch den Vorteil, durch Zusammenfassen von jeweils sieben PMD-Pixeln 1 gemäß Fig. 5 ein ebenfalls hexagonales "Übergitter" realisieren zu können. Kreise 9 in Fig. 5 zeigen die PMD-Pixel 1, die jeweils um ein zentrales PMD-Pixel 1 im Übergitter angeordnet sind. In einer hexagonalen Anordnung gemäß Fig. 5 ergibt eine Verschaltung mit den Nachbarpixeln 1 insgesamt 24 schaltbare Verbindungen pro PMD-Pixel 1.
Sämtliche Zusammenfassungen von PMD-Pixeln 1, beispielsweise in einer orthogonalen Gitterstruktur nach den Fig. 2 und 4 oder in einer hexagonalen Gitterstruktur nach Fig. 5 können sowohl statisch realisiert als auch dynamisch von einem Bildtakt zum nächsten vorgenommen werden. Eine dynamische Anpassung der Pixelfläche eines Bildaufnehmers 2 ermöglicht es beispielsweise, eine zu untersuchende Szene mit sehr geringer lateraler Auflösung in einem ersten Bildtakt zunächst grob abzutasten. Durch sukzessive Steigerung der Auflösung in den folgenden Bildtakten können dann weitere Detailinformationen über die Szene gewonnen werden.
In schwach reflektierenden Szenen kann z. B. eine Signalschwelle der einzelnen PMD-Pixel 1 definiert werden, die zur sicheren Messung der Entfernungswerte erforderlich ist. Bei Erreichen dieser Signalschwelle wird die weitere dynamische Steigerung der lateralen Auflösung zugunsten eines besseren Signal-/Rauschverhältnisses dann beendet.
Der Bildaufnehmer 2 ist, wie bereits beschrieben, als Array-Anordnung von vielen PMD-Pixeln 1 ausgeführt. Die einzelnen PMD-Pixel 1 ermöglichen sowohl die Aufnahme von Grauwertbildern wie auch von Entfernungsbildern. Die Anzahl der PMD-Pixel 1 sowie deren Anordnung - orthogonal wie in den Fig. 2 und 4 oder hexagonal wie in Fig. 5 - und geometrische Abmessungen können an die Aufgabenstellung angepasst werden.
Wesentliches Merkmal des PMD-Bildaufnehmers 2 ist die Eigenschaft, dass die einzelnen PMD-Pixel 1 mit Hilfe einer elektronischen Schaltung, die auf dem PMD-Chip integriert ist, dynamisch zu einem einzigen großflächigen PMD-Pixel (Superpixel) zusammengefasst werden können, wie schematisch in den Fig. 4a-d dargestellt ist.
Bei geringer Beleuchtungsintensität liefern die kleinen Einzelpixel 1 des Bildaufnehmers 2 infolge ihrer geringen Fläche noch kein hinreichendes Bildaufnehmersignal. Ein solcher großflächiger Bildaufnehmer 2 hingegen weist eine hohe Lichtempfindlichkeit auf und kann daher auch bei geringer Beleuchtungsintensität zur Entfernungsmessung verwendet werden. Zudem kann bei einem derartigen Superpixel die Auslese des Bildaufnehmersignals viel schneller erfolgen als die sequentielle Auslese sämtlicher Einzelpixel, so dass auch höhere Annäherungsgeschwindigkeiten erfasst werden können.
Die Auslegung des gesamten Sensorsystems erfolgt in einer Weise, dass im Ruhezustand, d. h. bei hindernisfreier Fahrbahn, der PMD-Bildaufnehmer 2 zu einem einzigen großflächigen PMD-Pixel 1 (Superpixel) verschaltet ist. Infolge seiner hohen Lichtempfindlichkeit liefert dieser großflächige Bildaufnehmer 2 bei Annäherung eines Hindernisses oder bei Annäherung an ein Hindernis rechtzeitig den zugehörigen Entfernungswert. Durch wiederholte Messung kann aus der Differenz der erhaltenen Entfernungswerte und der Messzeitpunkte die Annäherungsgeschwindigkeit eines Hindernisses oder an ein Hindernis ermittelt werden.
Ist die Geschwindigkeit ermittelt, wird der Bildaufnehmer 1 in einen anderen Betriebsmodus umgeschaltet, in dem jedes Pixel 1 individuelle Entfernungs- und Grauwerte liefert und somit die Voraussetzungen für eine Objektklassifikation schafft.
Alternativ kann die Umschaltung des Bildaufnehmers 2 auch nach Erreichen einer vorgegebenen Entfernungsschwelle oder einer vorgegebenen minimalen Signalstärke erfolgen.
Falls die Beleuchtungsbedingungen kein hinreichendes Signal der Einzelpixel ermöglichen und daher nur ein stark verrauschtes Bild gewonnen werden kann, wird der Bildaufnehmer 2 wieder zu einem großflächigen Einzelpixel 1 (Superpixel) verschaltet. Durch einen derartigen Adaptionsmechanismus kann die Detektionssicherheit des Systems sehr hoch gehalten werden. Der Adaptionsmechanismus für die beiden Betriebsmodi kann auch mit Hilfe einer zusätzlichen Beleuchtungsmessung realisiert sein, wobei die Elemente zur Beleuchtungsmessung entweder auf dem Bildaufnehmer integriert sind oder diskret angeordnet sind.
Das erfindungsgemäße Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen weist die Eigenschaften eines großflächigen Ein-Pixel- Bildaufnehmers zur Abstandsmessung auf und verwendet denselben Bildaufnehmer auch als Bildsensor, mit dem Grauwert- und Entfernungsbilder mit einer Vielzahl von Pixeln aufgenommen werden können.

Claims

1. Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen und zur Ermittlung von Entfernungen und Annäherungsgeschwindigkeiten für Fahrzeuge mittels eines Bildaufnehmers (2), dadurch gekennzeichnet, dass im Bildaufnehmer (2) eine Vielzahl von photoempfindlichen Pixelelementen (1) matrixförmig angeordnet und beliebig viele benachbarte Pixelelemente (1) parallel geschaltet werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei hindernisfreier Fahrbahn alle photoempfindlichen Pixelelemente (1) des Bildaufnehmers (2) zur Ermittlung von Entfernungen zu einem einzigen großflächigen Pixel (1) parallel geschaltet werden.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass durch wiederholte Messung aus der Differenz der erhaltenen Entfernungswerte und der Messzeitpunkte die Annäherungsgeschwindigkeit eines Hindernisses oder an ein Hindernis ermittelt wird.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass nach Ermittlung der Annäherungsgeschwindigkeit der Bildaufnehmer (2) derart umgeschaltet wird, dass jedes Pixel (1) individuelle Entfernungs- und Grauwerte liefert.

5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen Entfernungsschwelle umgeschaltet wird.

6. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen minimalen Signalstärke umgeschaltet wird.

7. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Bildaufnehmer (2) nach Erreichen einer vorgegebenen minimalen Beleuchtungsintensität umgeschaltet wird.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Bildaufnehmer (2) in Abhängigkeit vom Ergebnis einer zusätzlichen Beleuchtungsmessung umgeschaltet wird.

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Vorrichtung zur zusätzlichen Beleuchtungsmessung in den Bildaufnehmer (2) integriert wird.

10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Vorrichtung zur zusätzlichen Beleuchtungsmessung diskret angeordnet wird.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass als photoempfindliche Pixelelemente (1) PMD-Pixelelemente (1) verwendet werden.