-
Die Erfindung betrifft ein optisches Messsystem zur tiefensensitiven Vermessung einer Szene, insbesondere ein Kamerasystem zur dreidimensionalen Abbildung der Szene, mit einem Kameramodul, welches als Hauptkomponenten eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene aufweist, und mit zumindest einer Auswerteeinrichtung zur Auswertung von entsprechenden Sensordaten.
-
Die Erfindung betrifft weiterhin die Verwendung eines derartigen optischen Messsystems zur tiefensensitiven Vermessung einer Szene.
-
Zur Ermittlung der Entfernungs- bzw. Tiefeninformationen einer Szene sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen (Time-of-Flight), Interferometrie oder Triangulation. Eines der bekannten Triangulationsverfahren ist das Projektionsverfahren, bei dem ein Beleuchtungsmuster auf die zu vermessende Oberfläche projiziert und aus Veränderungen des Musters durch die Objekte in der Szene eine Tiefeninformation abgeleitet wird. Die Beleuchtung mit einem derartigen Beleuchtungsmuster wird auch als strukturierte Beleuchtung bezeichnet, wobei die strukturierte Beleuchtung zusätzlich zu dieser räumlichen Strukturierung optional auch eine zeitliche Strukturierung aufweisen kann.
-
Die Druckschrift
WO 2015/199615 A1 zeigt ein bildgebendes System zur dreidimensionalen Abbildung einer Szene, mit einem Kameramodul, welches als Hauptkomponenten eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene sowie als weitere Komponente eine Auswerteeinrichtung zur Auswertung von entsprechenden Sensordaten aufweist. Ein derartiges System kann auch als Einzelmodul-System bezeichnet werden.
-
Bei vorgegebenen Basisbreite b und vorgegebenem Öffnungswinkel des Kameramoduls ergibt sich eine bestimmte Genauigkeit der Tiefenschätzung einer Tiefe senkrecht zur Projektionsebene der Beleuchtungseinrichtung. Die Genauigkeit d
z der Tiefenschätzungen ist proportional zu
mit der Brennweite f, der Basisbreite b und der Tiefe Z, die senkrecht zur Projektionsebene definiert ist. Die Meßgenauigkeit der Disparitäten in Pixeln ist dabei als konstant angenommen. Um die Reichweite zu verdoppeln wäre eine 4-fache Basisbreite nötig. Neben der unhandlichen mechanischen Größe nimmt auch der Rechenaufwand zu, da ein größerer Bereich an Pixel-Disparitäten ausgewertet werden muss.
-
Aufgabe der Erfindung ist es, ein optisches Messsystem und eine entsprechende Verwendung dieses Systems anzugeben, die die Realisierung einer größere Reichweite ermöglichen ohne die angesprochenen Schwierigkeiten aufzuwerfen.
-
Die Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.
-
Bei dem erfindungsgemäßen optischen Messsystem mit den im Oberbegriff des Anspruchs 1 genannten Merkmalen ist vorgesehen, dass das System weiterhin (i) zumindest ein weiteres Kameramodul, welches als Hauptkomponenten ebenfalls eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene aufweist, sowie (ii) Synchronisationsmittel zum Synchronisieren des Betriebs der Hauptkomponenten unterschiedlicher Kameramodule umfasst. Die Auswerteeinrichtung ist insbesondere eine Auswerteeinrichtung zur Auswertung der Sensordaten aller bildgebenden Sensoren des Systems. Als Beleuchtungseinrichtung zur strukturierten Beleuchtung kann beispielsweise ein Projektor dienen, der Beleuchtungsmuster auf die zu vermessende Szene projiziert.
-
Die Kameramodule sind einzeln positionierbar, zum Beispiel auf statischen oder mobilen Plattformen wie etwa einer mobilen Arbeitsmaschine, einem Fahrzeug oder einer statischen Plattform. Während die Anordnung der Hauptkomponenten Beleuchtungseinrichtung und bildgebender Sensor bei den Modulen modulintern wohldefiniert ist, bedarf es bei der Kombination von Hauptkomponenten verschiedener Module einer Kalibrierung. Die Synchronisationsmittel werden sowohl für diese Kalibrierung als auch für den eigentlichen (Mess- bzw. Kamera-)Betrieb des Systems benötigt.
-
Durch eine geschickte Auswertung kann nun der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung und einem bildgebenden Sensor, also dem erwähnten Einzelmodul-System, reduziert werden. Dazu wird ein Nahbereich der Szene durch die einzelnen Module detektiert, während ein Fernbereich über eine Kombination der Module detektiert wird. Ein „überlappender Sichtbereich“ im Nahbereich ist im Vergleich zu einem Einzelmodul-System größer. Durch diese Maßnahmen sind hohe Reichweiten auch bei kleinen Modulgrößen möglich.
-
Mit Vorteil ist die Auswerteeinrichtung oder zumindest eine der Auswerteeinrichtungen derart ausgebildet, dass sie die Sensordaten der Kameramodule für einen Nahbereich der Szene einzeln auswertet, und für einen Fernbereich der Szene die Sensordaten der Kombination von mindestens zwei der Kameramodule auswertet.
-
Gemäß einer bevorzugten Ausführungsform der Erfindung ist das System eingerichtet, im Mess- bzw. Kamerabetrieb die Sensoren unterschiedlicher Kameramodule sowohl mit der Beleuchtungseinrichtung des jeweils eigenen Kameramoduls als auch mit der Beleuchtungseinrichtung des weiteren Kameramoduls oder zumindest eines der weiteren Kameramodule zu betreiben.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfassen die Synchronisationsmittel ein die Kameramodule datenübertragungstechnisch verbindendes Datenübertragungssystem. Im einfachsten Fall wird dies über ein einfaches Datenkabel realisiert.
-
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfassen die Synchronisationsmittel weiterhin eine Steuereinrichtung (auch Controller genannt) zum Ansteuern der Hauptkomponenten mehrerer Kameramodule, insbesondere aller Kameramodule des Systems.
-
Insbesondere ist vorgesehen, dass die Steuereinrichtung Teil eines der Kameramodule oder eine modulexterne Steuereinrichtung ist.
-
Gemäß einer bevorzugten Ausgestaltung der Erfindung ist die Auswerteeinrichtung Teil eines der Kameramodule oder eine modulexterne Auswerteeinrichtung.
-
Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist das System eingerichtet, in einem Kalibrierbetrieb mehrere Sensoren mit der Beleuchtung derselben Beleuchtungseinrichtung zu betreiben.
-
Bei der Verwendung eines optischen Messsystems zur tiefensensitiven Vermessung, insbesondere zur dreidimensionalen Abbildung, einer Szene ist vorgesehen, dass das System ein vorstehend genanntes optisches Messsystem ist. Durch diese Maßnahme sind hohe Reichweiten bei kleinen Modulgrößen möglich. Durch eine geschickte Auswertung kann der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung und einem bildgebenden Sensor (Einzelmodul-System) reduziert werden.
-
Dabei ist insbesondere vorgesehen, dass die Sensordaten der Kameramodule für einen Nahbereich der Szene einzeln ausgewertet werden und für einen Fernbereich der Szene die Sensordaten der Kombination von mindestens zwei der Kameramodule auswertet werden. Die Auswertung erfolgt bevorzugt durch die Auswerteeinrichtung, eine der Auswerteeinrichtungen oder die Auswerteeinrichtungen in Kombination.
-
Weiterhin ist bevorzugt vorgesehen, dass die Sensoren unterschiedlicher Kameramodule sowohl mit der Beleuchtungseinrichtung des eigenen Kameramoduls als auch mit der Beleuchtungseinrichtung eines anderen dieser Kameramodule betrieben werden.
-
Die Erfindung betrifft weiterhin ein Verfahren zum Kalibrieren eines vorstehend genannten optischen Messsystems, wobei mehrere Sensoren mit derselben Beleuchtungseinrichtung betrieben werden.
-
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
-
Es zeigen:
- 1 eine schematische Darstellung eines optisches Messsystems zur tiefensensitiven Vermessung einer Szene gemäß einer bevorzugten Ausführungsform der Erfindung,
- 2 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem ersten Betriebsmode,
- 3 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem zweiten Betriebsmode,
- 4 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem dritten Betriebsmode und
- 5 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem vierten Betriebsmode oder bei einem Kalibrierbetrieb.
-
Die 1 zeigt eine schematische Darstellung eines optisches Messsystems 10 zur tiefensensitiven Vermessung einer Szene 12. Das in diesem Beispiel gezeigte optische Messsystem 10 ist ein Kamerasystem 14 zur dreidimensionalen Abbildung dieser Szene 12. Das optische Messsystem 10 weist mehrere Kameramodule16, 18 auf. Im gezeigten Beispiel sind dies zwei Kameramodule, nämlich ein erstes Kameramodul 16 und ein weiteres Kameramodul 18. Jedes dieser Kameramodule 16, 18 weist als Hauptkomponenten 20, 22 eine Beleuchtungseinrichtung 20 zur strukturierten Beleuchtung der Szene 12 und einen bildgebenden Sensor 22 zur Abbildung der Szene 12 auf. Die Beleuchtungseinrichtungen 20 sind bevorzugt zeitanhängig betreibbar. Neben diesen Hauptkomponenten 20, 22 weist jedes der Kameramodule noch eine Elektronikeinheit 24 auf. Diese Elektronikeinheit 24 bildet einerseits eine Auswerteeinrichtung 26 zur Auswertung von Sensordaten und andererseits eine Steuereinrichtung 28 zur Steuerung des jeweiligen Kameramoduls 16, 18 und/oder zur Steuerung des Gesamtsystems 10, 14. Jedes der Kameramodule 16, 18 weist weiterhin eine Schnittstelle 30 auf, über die das jeweilige Kameramodul 16, 18 bzw. seine Komponenten 20 ,22, 24 datenübertragungstechnisch nach außen verbindbar sind. Zwischen den Kameramodulen 16, 18 ist über die Schnittstellen 30 und eine die Schnittstellen 30 verbindende Datenleitung 32 (z.B. in Form eines Kabels) ein Datenübertragungssystem 34 geschaffen.
-
Eine der beiden Steuereinrichtungen 28, beispielsweise die Steuereinrichtung 28 des einen Kameramoduls 16 bildet die Steuereinrichtung 28 des Mess- bzw. Kamerasystems 10, 14. Sie ist daher in Bezug auf zumindest einige Funktionen des Systems 10, 14 eine der anderen Steuereinrichtung 28 übergeordnete Steuereinrichtung 36. Das Messsystem 10 weist weiterhin Synchronisationsmittel 38 zum Synchronisieren des Betriebs der Hauptkomponenten 20, 22 der unterschiedlichen Kameramodule 16, 18 auf. Diese Synchronisationsmittel 36 werden von den Elektronikeinheiten 24, den Schnittstellen 30 sowie der Datenleitung 32 gebildet.
-
Die Kameramodule 16, 18 sind einzeln positionierbar, zum Beispiel auf einer statischen oder mobilen Plattform 40. Während die Anordnung der Hauptkomponenten Beleuchtungseinrichtung 20 und bildgebender Sensor 22 innerhalb der zugehörigen Kameramodule 16, 18 wohldefiniert ist, bedarf es bei der Kombination von Hauptkomponenten 20, 22 verschiedener Module 16, 18 einer Kalibrierung. Die Synchronisationsmittel 38 werden sowohl für diese Kalibrierung als auch für den eigentlichen (Mess- bzw. Kamera-)Betrieb des Systems 10, 14 benötigt.
-
Auch bei den Auswerteeinrichtungen 26 bildet eine der Auswerteeinrichtungen 26 eine übergeordnete Auswerteeinrichtung 42 des Mess- bzw. Kamerasystems 10, 14. Alternativ ist auch denkbar, dass das Mess- bzw. Kamerasystem 10, 14 zusätzlich noch eine modulexterne Auswerteeinrichtung als Auswerteeinrichtung 42 des Mess- bzw. Kamerasystems 10, 14 aufweist (nicht gezeigt). Die Auswerteeinrichtungen 26, 42 sind dabei so eingerichtet, dass sie die Sensordaten der Kameramodule 16, 18 für einen Nahbereich der Szene 12 einzeln und für einen Fernbereich der Szene 12 die Sensordaten der Kombination von beiden Kameramodulen 16, 18 auswerten.
-
Durch diese Maßnahmen sind hohe Mess- bzw. Abbildungsreichweiten auch bei kleinen Modulgrößen der Kameramodule 16, 18 möglich. Durch eine geschickte Auswertung kann der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung 20 und einem bildgebenden Sensor 22 reduziert werden.
-
Die notwendige Kalibrierung erfolgt auf den Sensoren 22 oder auf der zumindest einen mit den Sensoren 22 verbundenen Auswerteeinrichtung 26, entweder manuell getriggert durch den Benutzer bzw. in der Fahrzeugproduktion oder ständig automatisch im Hintergrund. Die letzte Variante ist in der Regel zu präferieren, um dynamische Einflüsse auf die Kalibrierung ausgleichen zu können. Bei der Kalibrierung werden die Distanzdatenschätzungen der einzelnen Kameramodule 16, 18 (Einzel-Module) verwendet, um die Suchbereiche für die Korrespondenzschätzungen klein zu halten.
-
Um besonders fremdlichrobust zu sein, empfiehlt sich eine Amplituden-Modulation des ausgesendeten Lichtsignals der Beleuchtungseinrichtungen
20 („Structured Light from ToF“). Die bildgebenden Sensoren
22 sind dann vorzugsweise auf für den Empfang eines amplitudenmodulierten Lichtsignals ausgebildet. Besonders bevorzugt kann für den Empfang des modulierten Lichts der bildgebende Sensor
22 als PMD-Sensor ausgebildet sein, wie sie beispielsweise in der
DE 197 04 496 A1 beschrieben sind. Durch Bildung der Differenz beider Kanäle (
A,
B) lässt sich das Hintergrundlicht ausblenden und der Sensor ist im Wesentlichen nur für das modulierte Licht empfindlich. Ebenso oder zusätzlich ist es denkbar, zwei um 180° in der Phase versetzte Messungen durchzuführen.
-
Mögliche Synchronisations-Schemata für den laufenden Betrieb finden sich in den 2 bis 5. Diese Figuren zeigen graphische Darstellungen der zeitlichen Bildauswertungs-Sequenzen beim laufenden (Mess- bzw. Kamera-)Betrieb in vier verschiedenen Betriebsmodi. Die in 5 gezeigte graphische Darstellung entspricht aber auch zeitlichen Bildauswertungs-Sequenzen bei einem Kalibrierbetrieb. Bezogen sind die Graphen auf die jeweiligen Komponenten: Beleuchtungseinrichtung 20, Sensor 22 und Auswerteeinrichtung 26 des einen Moduls 16 (hier gekennzeichnet mit L1, S1, A1) und des weiteren Moduls 18 (hier gekennzeichnet mit L2, S2, A2).
-
Im laufenden Betrieb empfiehlt sich die zeitliche Bildauswertungs-Sequenz nach 2 mit den Hauptkomponenten-Kombinationen L1, S1; L2, S2; L1, S2; und L2, S1. Hierbei können die Kombinationen L1, S1 und L2, S2 gleichzeitig stattfinden, wenn verschiedene Modulationsfrequenzen verwendet werden. Das Gleiche gilt für L1, S2 und L2, S1 nach 3. Die bildegebenden Sensoren 22 sind dann dementsprechend für den Empfang der jeweiligen Frequenz der Amplitudenmodulation ausgebildet. Besonders vorteilhaft sind auch die Sensoren 22 als PMD-Sensor bzw. mit Zweikanaligen Pixeln ausgebildet.
-
Anstatt zwei Bilder für den Fernbereich II auszuwerten kann auch ein einzelnes Paar genügen, wie in 4 angedeutet. Ein weiterer Betriebsmodus besteht im gleichzeitigen Betrieb der beiden Sensoren 22 (gekennzeichnet durch S1, S2) mit einer Lichtquelle 20 (gekennzeichnet mit L1 oder alternativ L2), nach 5. Hierbei wird die Dauer einer Akquise minimiert, und die Auswerteeinrichtung 26 (hier mit A1 gekennzeichnet) des einen Kameramoduls 16 berechnet den Nahbereich I, die Auswerteeinrichtung 26 (hier mit A2 gekennzeichnet) des weiteren Kameramoduls 18 berechnet den Fernbereich II.
-
Für den Kalibrier-Betrieb ist es günstig, beide Sensoren 22 (gekennzeichnet mit S1, S2) mit der gleichen Beleuchtungseinrichtung 20 (hier mit L1 gekennzeichnet) des einen Kameramoduls 16 oder (hier mit L2 gekennzeichnet) des weiteren Kameramoduls 18 zu betreiben (5). Hierbei werden Korrespondenzen zwischen den Bildern der Sensoren 22 der beiden Kameramodule 16, 18 etabliert, die durch die Distanzmessung aus dem kalibrierten Modul 16 (hier gekennzeichnet mit S1, L1) sowie von der ungefähr bekannten Initial-Kalibrierung zwischen dem Sensor 22 des weiteren Kameramoduls 18 (gekennzeichnet mit S2) und der Beleuchtungseinrichtung 20 des einen Kameramoduls 16 (gekennzeichnet mit L1) eingeschränkt sind, sodass der Suchbereich klein bleibt. Wurden genügend viele unabhängige Korrespondenzen etabliert, so kann das System der Hauptkomponenten-Kombination S2, L1 kalibriert werden. Das Vorgehen zum Kalibrieren der Kombination S1,L2 ist analog.
-
Beide Sensoren 22 benötigen die Möglichkeit zum Datenaustausch; für die Kalibrierung müssen die Sensordaten von einem der beiden Sensoren 22 zur Auswerteeinrichtung 26 des jeweils anderen Kameramoduls 18, 16 versendet werden. Für den Live-Betrieb kann es günstig sein, die einzelnen Distanzbilder zu einem Ganzen zusammenzufügen. Der Datenaustausch kann entweder über einen gesonderten Kanal stattfinden (z.B. Ethernet), oder über das bereits vorhandene LVDS Kabel 32 (LVDS: Low Voltage Differential Signaling) im Wechsel mit den Modulations-Signalen.
-
Rechenaufwand: Für die Fernbereichs-Messungen genügt ein eingeschränkter Disparitäts-Bereich, da der Nahbereich I bereits durch die einzelnen Kameramodule 16, 18 abgedeckt ist.
-
Bezugszeichenliste
-
- 10
- Messsystem
- 12
- Szene
- 14
- Kamerasystem
- 16
- Kameramodul
- 18
- Kameramodul, weiteres
- 20
- Beleuchtungseinrichtung
- 22
- bildgebender Sensor
- 24
- Elektronikeinheit
- 26
- Auswerteeinrichtung
- 28
- Steuereinrichtung
- 30
- Schnittstelle
- 32
- Datenleitung
- 34
- Datenübertragungssystem
- 36
- übergeordnete Steuereinrichtung
- 38
- Synchronisationsmittel
- 40
- Plattform
- 42
- übergeordnete Auswerteeinrichtung
- I
- Nahbereich (Szene)
- II
- Fernbereich (Szene)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2015/199615 A1 [0004]
- DE 19704496 A1 [0030]