-
Die Erfindung betrifft eine 3D-Kamera zur Aufnahme von dreidimensionalen Bildern nach dem Oberbegriff von Anspruch 1.
-
Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen und so verschiedene Aufgaben im Bereich der Industriesensorik zu lösen.
-
In der Automatisierungstechnik können anhand solcher Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit kann beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband unterstützt werden.
-
In mobilen Anwendungen gewinnt ein Fahrzeug über dreidimensionale Bilddaten Informationen über seine Umgebung und insbesondere einen geplanten Fahrweg. Dies kann für eine autonome Fortbewegung oder eine Fahrassistenz genutzt werden.
-
Wenn eine Anwesenheit von Personen möglich oder, wie an einem sogenannten kooperativen Arbeitsplatz, sogar erwünscht und vorgesehen ist, treten häufig sicherheitstechnische Aspekte hinzu. Eine typische sicherheitstechnische Anwendung besteht in der Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein. Mit der zusätzlichen Tiefeninformation lassen sich dreidimensionale Schutzbereiche definieren, die genauer an die Gefahrensituation anpassbar sind als zweidimensionale Schutzfelder, und es kann auch besser beurteilt werden, ob sich eine Person in kritischer Weise an die Gefahrenquelle annähert.
-
Zur Ermittlung der Tiefeninformationen sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen (Time-of-Flight), Interferometrie oder Triangulation. Unter den Triangulationsverfahren wiederum können Lichtschnitt- und Projektionsverfahren sowie Stereoskopie unterschieden werden. Beim Lichtschnittverfahren wird das Objekt unter dem Sensor bewegt und aus den gewonnenen streifenbasierten Tiefeninformationen eine 3D-Punktewolke erzeugt. Beim Projektionsverfahren wird beispielsweise ein Streifenmuster auf die abzutastende Oberfläche projiziert und aus Veränderungen des Musters durch die Objekte in der Szene eine Tiefeninformation abgeleitet. Alternativ wird ein sogenanntes selbstunähnliches, also örtlich eindeutiges Muster projiziert. Das Projektionsverfahren mit einem strukturierten Muster wird beispielsweise in der
US 7 433 024 verwendet. Dabei wird eine Vielzahl von Referenzbildern des strukturierten Beleuchtungsmusters in unterschiedlichen Abständen eingelernt. Ein später aufgenommenes Bild wird mit diesen Referenzbildern verglichen, um Objektabstände zu schätzen. Stereoskopieverfahren sind dem räumlichen Sehen mit zwei Augen angelehnt und suchen in zwei aus unterschiedlicher Perspektive aufgenommenen Bildern einander zugeordnete Bildelemente, aus deren Disparität in Kenntnis der optischen Parameter der Stereokamera die Entfernung durch Triangulation geschätzt wird.
-
Eine wesentliche Herausforderung der bildbasierten 3D-Messtechnik ist, unter den verschiedensten Umgebungsbedingungen flächige, zuverlässige Entfernungsinformationen zu liefern. Für ein passives Stereosystem beispielsweise sind kontrastlose oder sich wiederholende Bildbereiche problematisch, da keine eindeutige Zuordnung von Bildelementen der beiden Aufnahmen möglich ist. Durch eine zusätzliche strukturierte Beleuchtung wird auch solchen Szenen ein ausreichender Kontrast aufgeprägt, so dass der robuste Einsatz für beliebige, auch zuvor unbekannte Szenen ermöglicht wird. Das Beleuchtungsmuster sorgt dafür, dass sich auch in Bereichen ohne natürliche Struktur zuverlässig Korrespondenzen finden lassen. Projektionsverfahren sind ohnehin auf eine Beleuchtung angewiesen.
-
Herkömmlich sind die Beleuchtungsmuster meist statisch. Als Mustergenerator werden unter anderem optische Phasenplatten (
EP 2 166 304 A1 ), diffraktive optische Elemente (
US 2007/0263904 A1 ), Dias (
US 2008/0240502 A1 ) oder unregelmäßige Mikrolinsenarrays (
US 2010/0118123 A1 ) vorgeschlagen.
-
Ein statisches Beleuchtungsmuster bringt aber Nachteile mit sich. Durch Überlagerung des eigenen Beleuchtungsmusters mit natürlicher Textur der Szenerie oder mit Beleuchtungsmustern anderer Sensoren kann es nämlich passieren, dass Bereiche überbelichtet sind oder die gewünschte Kontrastverbesserung in Summe wieder verlorengeht. Es kommt daher möglicherweise wieder zu einer Kontrast- beziehungsweise Eindeutigkeitsverschlechterung, die letztlich die Qualität und Zuverlässigkeit der Entfernungsinformationen beeinträchtigt. Ein weiterer unerwünschter Nebeneffekt des statischen Beleuchtungsmusters ist, dass die Aufnahmen für eine Visualisierung oder klassische Bildverarbeitung der natürlichen Textur wegen des Beleuchtungsmusters unbrauchbar sind.
-
Die
EP 2 019 281 A1 beschreibt ein Verfahren, bei dem zunächst in einem Optimierungsprozess eines 3D-Sensors ein Gegenstand ohne Beleuchtung aufgenommen wird. Daraus wird ein Kontrastdatensatz gewonnen, der mit einem für unterschiedliche Setups vorgegebenen optimalen Kontrastdatensatz verglichen wird. Daraus wird dann ein Beleuchtungsmuster bestimmt. Allerdings geht die
EP 2 019 281 A1 nicht näher darauf ein, wie sich das gewünschte Beleuchtungsmuster in Echtzeit erzeugen und umschalten lässt.
-
In der
EP 2 553 383 B1 wird mit einem Stereoverfahren ein Sichtfeld auf Objekte überwacht. Dazu wird geprüft, ob es in dem Sichtfeld Regionen geringer Textur gibt, die keine Entfernungsbestimmung zulassen. Ist das der Fall, wird in solche Regionen mit einer Beleuchtung künstliche Textur projiziert, bis für eine konfigurierte Überwachungsgrenze ausreichend Textur bereitgestellt ist. Das ist ein vergleichsweise langsames und zielloses iteratives Vorgehen, weil in jeder Iteration nur festgestellt wird, welche Regionen noch zu kontrastschwach sind, nicht aber welches Beleuchtungsmuster das Problem lösen würde und wie es in den erforderlichen Bereichen erzeugt werden kann.
-
Es ist deshalb Aufgabe der Erfindung, in einer 3D-Kamera für einen ausreichenden Kontrast in der aufzunehmenden Szenerie zu sorgen.
-
Diese Aufgabe wird durch eine 3D-Kamera zur Aufnahme von dreidimensionalen Bildern nach Anspruch 1 gelöst. Die 3D-Kamera nimmt mit einem Bildsensor zweidimensionale Bilddaten auf und berechnet daraus in an sich bekannter Weise dreidimensionale Bilder. Die 3D-Kamera kennt außerdem ein gewünschtes strukturiertes Beleuchtungsmuster, welches überall für ausreichend Kontrast sorgen würde. Dieses strukturierte Beleuchtungsmuster kann aber nicht einfach statisch projiziert werden, da es sich in der Szenerie noch mit den natürlichen Kontrasten, Fremdbeleuchtungen insbesondere anderer 3D-Kameras und ähnlichen Effekten überlagert. Deshalb wird zunächst eine Vorabaufnahme ohne strukturiertes Beleuchtungsmuster erzeugt, also ohne künstlichen Kontrast durch die eigene Beleuchtung. Darin werden beispielsweise Kontraste in den zweidimensionalen Bilddaten oder unzuverlässige Bereiche beziehungsweise Lücken in einem aus der Vorabaufnahme erzeugten dreidimensionalen Bild ausgewertet. Daraus wird berechnet, welches zu projizierende strukturierte Beleuchtungsmuster in dem Überwachungsbereich unter Berücksichtigung der Vorabaufnahme das gewünschte strukturierte Beleuchtungsmuster erzeugt.
-
Die Erfindung geht nun von dem Grundgedanken aus, die Adaption anhand einer Vorabaufnahme hochdynamisch und in Echtzeit vorzunehmen. Dazu ist als Beleuchtungseinheit ein echtzeitfähiger Projektor vorgesehen, der ein pixelaufgelöstes, quantisiertes strukturiertes Beleuchtungsmuster projiziert. Anders ausgedrückt erzeugt der Projektor ein Pixelmuster mit schwarz-weißen Pixeln oder Grauwerten. Besonders geeignet als Projektor sind schaltbare Halbleiterarrays mit einer Vielzahl von LEDs oder Laserdioden, insbesondere VCSELs. Dabei entspricht praktisch ein Pixel einer Lichtquelle. Ein anderer geeigneter Projektor nutzt ein Mikro-Display, insbesondere ein LCoS (Liquid Crystal on Silicon).
-
Die Erfindung hat den Vorteil, dass flächendeckend und zuverlässig dreidimensionale Bilder unabhängig vom Kontrast der betrachteten Szenerie erzeugt werden. Eine Kontrastverschlechterung durch Überlagerungseffekte mit natürlichem Kontrast oder fremden Lichtquellen wird ausgeglichen. Dies gelingt in Echtzeit und funktioniert daher auch in schnell bewegten Szenerien. Die erfindungsgemäße 3D-Kamera besitzt die Fähigkeit, gezielt auf andere Sensoren beziehungsweise deren Beleuchtungsmuster zu reagieren. Dadurch können beispielsweise mehrere 3D-Kameras nebeneinander gemeinsam und lückenlos beziehungsweise teilüberlappend einen großen Überwachungsbereich abdecken. In mobilen Anwendungen insbesondere an fahrenden Objekten tolerieren sich die 3D-Kameras untereinander durch entsprechende intelligente Anpassung der Beleuchtungsmuster.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, den Überwachungsbereich für die Vorabaufnahme mit Hilfe der Beleuchtungseinheit homogen auszuleuchten. Damit wird natürlicher Kontrast auch in dunklen Bereichen der Szenerie erkannt. Eine homogene Ausleuchtung ist überhaupt nur möglich, weil die Beleuchtungseinheit umschaltbar ist, und das auch mit der erforderlichen kurzen Reaktionszeit. Eine Zusatzbeleuchtung wie gelegentlich im Stand der Technik zur verbesserten Visualisierung vorgeschlagen, kann durch diese Doppelfunktion ersetzt werden. Ein homogen ausgeleuchtetes Bild kann nicht nur für die Vorabaufnahme genutzt werden, sondern auch als zweidimensionales Bild zur Visualisierung oder klassischen Bildverarbeitung oder um das dreidimensionale Bild, das ja nur Entfernungen enthält, auch mit der tatsächlichen Textur zu überlagern und so dreidimensional darzustellen.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, den Überwachungsbereich mit einer homogenen, jedoch im Randbereich überhöhten Intensitätsverteilung auszuleuchten. So wird die homogene Ausleuchtung tatsächlich in der Aufnahme erreicht und gleicht einen Randbereichsabfall von Projektions- beziehungsweise Empfangsoptik aus. Hier wird die schnelle Anpassungsfähigkeit der Beleuchtungseinheit für einen weiteren vorteilhaften Effekt ausgenutzt.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, wiederholt mit einer Aufnahmefrequenz dreidimensionale Bilder aufzunehmen, dazwischen zyklisch Vorabaufnahmen zu erzeugen und damit das zu projizierende strukturierte Beleuchtungsmuster dynamisch anzupassen. Die Anpassung an eine Szenerie erfolgt somit nicht im Rahmen eines Setups, sondern hochdynamisch im Betrieb unter ständiger Berücksichtigung der Veränderungen in der Szenerie. Erneut ist die Echtzeitfähigkeit der Beleuchtungseinheit dafür die Voraussetzung.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, vor der Aufnahme jedes dreidimensionalen Bildes eine Vorabaufnahme zu erzeugen und mit deren Hilfe ein zu projizierendes strukturiertes Beleuchtungsmuster zu berechnen. In einer solchen Ausführungsform wird jedes dreidimensionale Bild nach individueller Optimierung mit einem neu angepassten Beleuchtungsmuster aufgenommen. Die Vorabaufnahme enthält außerdem jeweils für jedes dreidimensionale Bild die in Echtzeit aufgenommenen zugehörigen zweidimensionalen Bilddaten zur Visualisierung oder für klassische Bildauswertungen.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, das zu projizierende strukturierte Beleuchtungsmuster nur für einen Teilbereich des Überwachungsbereichs zu berechnen. Ein solcher Teilbereich kann beispielsweise ein interessierender Teilbereich (ROI, region of interest), ein Schutzfeld oder ein bestimmtes Objekt sein. Außerhalb des Teilbereichs wird beispielsweise homogen beleuchtet, ein nicht gesondert angepasstes Beleuchtungsmuster projiziert oder gar nicht beleuchtet. So wird Auswertungsaufwand und gegebenenfalls Leistung für die Beleuchtung eingespart. Eine ähnliche Anpassung der Beleuchtung und Auswertung an sich verändernde Aufgaben in Echtzeit besteht darin, mit einer gröberen lateralen Auflösung und Entfernungsauflösung zu arbeiten, bis ein Objekt in einem definierten Entfernungsbereich eintritt, und dann Beleuchtungsmuster und dreidimensionale Bildberechnung auf eine höhere oder die volle Auflösung umzuschalten.
-
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, in das zu projizierende strukturierte Beleuchtungsmuster eine Zusatzinformation einzublenden. Dabei handelt es sich um einen Teil des strukturierten Beleuchtungsmusters, der für eine Kontrasterhöhung zur zuverlässigeren Erfassung nichts zu tun hat, sondern beispielsweise einen Status, einen Hinweis oder eine Warnung in die Szenerie projiziert, vorzugsweise auf den Boden, um dem Anwender oder anderen Personen eine Hilfestellung zu geben. Beispiele sind Schutzfeldgrenzen, eine Ausrichthilfe, eine Wartungsanforderung, Konturen erkannter Objekte oder eine geplante oder tatsächliche Fahrtrichtung eines Fahrzeugs, an dem die 3D-Kamera montiert ist.
-
Die 3D-Kamera ist vorzugsweise als Stereokamera ausgebildet und weist dazu mindestens zwei Kameramodule mit jeweils einem Bildsensor in zueinander versetzter Perspektive sowie eine Stereoskopieeinheit auf, in der mittels eines Stereoalgorithmus‘ einander zugehörige Teilbereiche in von den beiden Kameramodulen aufgenommenen Bilddaten erkannt werden und deren Entfernung anhand der Disparität berechnet wird. Diese Stereokamera wird durch die Beleuchtungseinheit zu einem aktiven Stereosystem mit adaptiver Beleuchtungsanpassung. Die Stereoeinheit ist funktional derjenige Teil der Auswertungseinheit, der aus den Bilddaten dreidimensionale Bilder berechnet.
-
Dabei sind Implementierungen auf einem gemeinsamen oder einem eigenen Chip denkbar.
-
Die 3D-Kamera weist bevorzugt eine Triangulationseinheit auf, welche zur Berechnung des dreidimensionalen Bildes das zu projizierende strukturierte Beleuchtungsmuster mit den Bilddaten des Bildsensors korreliert. Damit werden Entfernungen durch ein einleitend kurz erläutertes Projektionsverfahren geschätzt (aktive Triangulation), mit im Prinzip denselben Korrelationsalgorithmen wie bei einer Stereokamera, jedoch unter Verwendung nur einer Kamera und des Beleuchtungsmusters. Das adaptive Beleuchtungsverfahren sorgt dafür, dass das Beleuchtungsmuster überall gut zu sehen ist. Im Gegensatz zu einem Stereoverfahren ist es hier aber nicht möglich, sich auf natürliche Kontraste zu verlassen und entsprechende Teilbereiche unbeleuchtet zu lassen, da die 3D-Erfassung auf dem Beleuchtungsmuster basiert und dies nicht nur eine Hilfe zur besseren Merkmalserfassung ist. Ein Projektionsverfahren kann mit einem Stereoverfahren kombiniert werden, denn jedes Kameramodul einer Stereokamera kann auch dafür eingesetzt werden. Dies dient beispielsweise der redundanten oder diversitärredundanten Entfernungsschätzung mit anschließender Plausibilisierung oder Verrechnung.
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die einzige Abbildung der Zeichnung zeigt in:
-
1 eine schematische Darstellung einer 3D-Kamera.
-
1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer 3D-Kamera 10 zur Aufnahme von dreidimensionalen Bildern, auch als Entfernungsbilder oder Tiefenkarten bezeichnet, eines Raum- oder Überwachungsbereichs 12. Diese Tiefenkarten werden beispielsweise für eine der einleitend genannten Anwendungen weiter ausgewertet.
-
In der 3D-Kamera 10 sind zwei Kameramodule 14a–b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Überwachungsbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a–b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a–b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a–b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Der Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a–b bilden.
-
Beispielsweise zwischen den beiden Bildsensoren 16a–b angeordnet ist eine Beleuchtungseinheit 22 mit mindestens einer Lichtquelle 24 und einer Sendeoptik 26. Alternativ zu einer integrierten Beleuchtungseinheit 22 ist auch eine externe Beleuchtungseinheit denkbar. Die Beleuchtungseinheit 22 wird über eine in 1 nur als Verbindungslinie gezeigte elektrische Schnittstelle angesteuert und ermöglicht in Echtzeit die Projektion eines pixelbasierten, quantisierten strukturierten Beleuchtungsmusters 28, das vereinfachend als Punktmuster dargestellt ist. Praktisch sollte das Beleuchtungsmuster 28 vorzugsweise zumindest lokal eindeutig oder selbstunähnlich in dem Sinne sein, dass Strukturen des Beleuchtungsmusters 28 nicht zu Scheinkorrelationen führen, beziehungsweise einen Beleuchtungsbereich eindeutig kennzeichnen.
-
Die Beleuchtungseinheit 22 ist in der Lage, in Echtzeit ein über die elektrische Schnittstelle vorgegebenes beliebiges Pixelmuster als strukturiertes Beleuchtungsmuster 28 zu projizieren. Eine solche adaptive, dynamische Beleuchtungseinheit 22 kann beispielsweise durch Einsatz eines Mikro-Displays (LCoS, Liquid Crystal on Silicon) mit einer Lichtquelle in Form von einer oder mehreren Hochleistungs-LEDs oder Laserdioden, insbesondere in einem Array, realisiert werden. Derartige Mikro-Displays arbeiten insbesondere in einer reflektiven Anordnung und prägen dem zunächst noch unstrukturierten Licht der Lichtquelle das Pixelmuster des Beleuchtungsmusters 28 auf. Alternativ nutzt die Beleuchtungseinheit 22 ein schaltbares Array von LEDs oder Laserdioden, insbesondere VCSELs. Hier bilden die einzelnen Lichtquellen 24 selbst die Pixel des Beleuchtungsmusters 28.
-
Mit den beiden Bildsensoren 16a–b und der Beleuchtungseinheit 22 ist eine kombinierte Auswertungs- und Steuerungseinheit 30 verbunden, die im Rahmen dieser Beschreibung nur als Auswertungseinheit bezeichnet wird. Mittels der Auswertungseinheit 30 wird das jeweils zu projizierende strukturierte Beleuchtungsmuster 28 vorgegeben berechnet beziehungsweise vorgegeben, und sie empfängt Bilddaten der Bildsensoren 16a–b. Aus diesen Bilddaten berechnet eine Stereoeinheit 32 der Auswertungseinheit 30 mit einem an sich bekannten Stereoalgorithmus dreidimensionale Bilddaten des Überwachungsbereichs 12.
-
Über einen Ausgang 34 kann die 3D-Kamera dreidimensionale Bilddaten, aber auch andere Messergebnisse ausgeben, beispielsweise Rohbilddaten eines Kameramoduls 14a–b, Auswertungsergebnisse wie Objektdaten oder die Identifizierung bestimmter Objekte. Speziell in sicherheitstechnischer Anwendung kann das Erkennen eines unzulässigen Eingriffs in Schutzfelder, die in dem Überwachungsbereich 12 definiert wurden, zur Ausgabe eines sicherheitsgerichteten Abschaltsignals führen. Dazu ist der Ausgang 34 vorzugsweise als Sicherheitsausgang (OSSD, Output Signal Switching Device) ausgeführt.
-
Beleuchtungseinheit 22 und Bildsensoren 16a–b sollten vorzugsweise einen Registrier- beziehungsweise Kalibrierprozess durchlaufen, damit die genaue Zuordnung zwischen Beleuchtungspixeln und den aufgenommenen Pixeln bestimmt ist. Bei einer integrierten Beleuchtungseinheit 22 wie in 1 dargestellt, geschieht dies bevorzugt schon ab Werk, während eine externe Beleuchtungseinheit 22 im Feld kalibriert werden muss.
-
Erfindungsgemäß ist vorgesehen, dass das jeweils projizierte Beleuchtungsmuster 28 dynamisch an die aktuelle Szenerie angepasst ist. Das entsprechende in der Auswertungseinheit 30 implementierte Vorgehen wird im Folgenden beschrieben.
-
In einem ersten Schritt erfolgt eine Vorabaufnahme unter homogener Beleuchtung durch die Beleuchtungseinheit 22. Dabei kann die adaptive Beleuchtungseinheit 22 vorteilhaft verwendet werden, um den u. a. durch die Empfangsoptiken 18a–b und die Sendeoptik 26 verursachten natürlichen Randlichtabfall gezielt durch Intensitätsüberhöhung der Randbereiche auszugleichen. In einer alternativen Ausführungsform wird die Beleuchtungseinheit 22 für die Vorabaufnahme ausgeschaltet.
-
Aus den in der Vorabaufnahme erfassten Bilddaten der Bildsensoren 16a–b sowie gegebenenfalls eines daraus in der Stereoeinheit 32 erzeugten dreidimensionalen Bildes werden Kontrast- und gegebenenfalls Entfernungsinformationen der aktuellen Szenerie berechnet. Diese Informationen fließen dann in die Berechnung eines zu projizierenden Beleuchtungsmusters 28 ein. Das zu projizierende Beleuchtungsmuster 28 kann außerdem auf einem bekannten optimalen Beleuchtungsmuster basieren, das überall oder zumindest an allen relevanten Stellen für ausreichenden Kontrast sorgen würde. Jedenfalls berücksichtigt das zu projizierende Beleuchtungsmuster die Informationen aus der Vorabaufnahme, um zu erreichen, dass die Überlagerung aus dem zu projizierenden Beleuchtungsmuster und den in der aktuellen Szenerie bereits vorhandenen Kontrasten oder Strukturen, die über die Vorabaufnahme bekannt sind, eine zuverlässige 3D-Erfassung ermöglicht. Vorzugsweise wird so nur an Stellen mit unzureichenden Kontrastverhältnissen beziehungsweise unzuverlässigen Entfernungswerten ein Beleuchtungsmuster 28 appliziert.
-
Im nächsten Schritt projiziert die Beleuchtungseinheit 22 das berechnete zu projizierende Beleuchtungsmuster in den Überwachungsbereich 12. Es folgt eine Aufnahme der beiden zweidimensionalen Ausgangsbilder mit den Bildsensoren 16a–b und deren Verrechnung zu einem dreidimensionalen Bild in der Stereoeinheit 32. Vorzugsweise liefert der Stereoalgorithmus zugleich eine Beurteilung der Qualität beziehungsweise Zuverlässigkeit der jeweiligen Entfernungen.
-
Damit ist dann ein Aufnahmezyklus beendet, und es folgt eine weitere Vorabaufnahme. Alternativ kann das zuletzt berechnete zu projizierende Beleuchtungsmuster erneut zur Erfassung des nächsten dreidimensionalen Bildes verwendet werden, was dann natürlich eine entsprechend verlangsamte Adaption insbesondere an schnell veränderliche Szenerien zur Folge hat. Die generierten End- und Zwischenergebnisse, wie dreidimensionale Bilddaten der Stereoeinheit 32, zweidimensionale Bilddaten der Bildsensoren 16a–b oder Zuverlässigkeits- beziehungsweise Qualitätsinformationen können in beliebiger Kombination an der Schnittstelle 34 zum Abruf bereitgestellt werden.
-
Erfindungsgemäß ist es möglich, das Beleuchtungsmuster 28 und die Auswertung der Bilddaten sehr schnell während des Betriebs an die Umgebungssituation anzupassen. So kann beispielsweise in bestimmten Situationen, etwa bei Annäherung eines Objekts oder an ein Objekt, der gesamte Überwachungsbereich 12 oder auch nur ein Teil davon (ROI, region of interest) höher strukturiert beleuchtet und ausgewertet werden als in anderen Situationen, etwa bei freiem Sichtfeld einer an einem Fahrzeug angebrachten 3D-Kamera 10. In den zuletzt erwähnten mobilen Anwendungen an einem insbesondere selbstgesteuerten Fahrzeug (AGV, Automated Guided Vehicle) ist auch eine gezielte Anpassung von Beleuchtung und Auswertung an die Bewegungsrichtung, etwa bei Kurvenfahrten, oder die Geschwindigkeit realisierbar.
-
In einer weiteren Ausführungsform werden mit dem Beleuchtungsmuster 28 zusätzliche Informationen projiziert, die für den Anwender oder andere Personen vorteilhaft sind. Dies können beispielsweise Grenzen des Sicht- oder Auswertungsbereichs, definierte Schutzfelder, Konturen von erkannten Objekten oder Ausrichthilfen für die Installation sein. Als Hinweis oder Warnung kann von einem Fahrzeug eine Fahrtrichtungsanzeige oder dergleichen auf den Boden projiziert werden.
-
Obwohl die Erfindung anhand der in 1 dargestellten Stereokamera erfolgt, sind auch andere 3D-Kameras denkbar, insbesondere mit nur einer insbesondere hochauflösenden Kamera und dem einleitend genannten Projektionsverfahren (aktive Triangulation) durch Korrelation mit dem Beleuchtungsmuster 28. Es kann also ein Kameramodul 14a–b entfallen, und die Stereoeinheit 32 ist entsprechend zu einer Triangulationseinheit umgestaltet. Ein Projektionsverfahren kann aber auch zusätzlich in der Stereokamera unter Verwendung eines der Kameramodule 14a–b implementiert werden, wobei dann die Stereoeinheit 32 für beide Verfahren ausgebildet ist, insbesondere um tatsächlich beide Verfahren diversitär-redundant zur Verfügung zu stellen. Das Projektionsverfahren kann dann sogar in sich redundant einmal für jedes der Kameramodule 14a–b durchgeführt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7433024 [0006]
- EP 2166304 A1 [0008]
- US 2007/0263904 A1 [0008]
- US 2008/0240502 A1 [0008]
- US 2010/0118123 A1 [0008]
- EP 2019281 A1 [0010, 0010]
- EP 2553383 B1 [0011]
