DE202015102019U1 - Kamera zur Aufnahme von Bildern eines Erfassungsbereichs - Google Patents

Kamera zur Aufnahme von Bildern eines Erfassungsbereichs Download PDF

Info

Publication number
DE202015102019U1
DE202015102019U1 DE202015102019.8U DE202015102019U DE202015102019U1 DE 202015102019 U1 DE202015102019 U1 DE 202015102019U1 DE 202015102019 U DE202015102019 U DE 202015102019U DE 202015102019 U1 DE202015102019 U1 DE 202015102019U1
Authority
DE
Germany
Prior art keywords
camera
change
images
movement
evaluation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE202015102019.8U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Priority to DE202015102019.8U priority Critical patent/DE202015102019U1/de
Publication of DE202015102019U1 publication Critical patent/DE202015102019U1/de
Expired - Lifetime legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Kamera (10), insbesondere 3D-Kamera, die einen Bildsensor (16, 16a–b) zur Aufnahme von Bildern eines Erfassungsbereichs (12), einen Inertialsensor (30) zum Erkennen einer Bewegungsänderung der Kamera (10) und eine Auswertungseinheit (26, 28, 34) zur Verarbeitung der Bilder und der Bewegungsänderung aufweist, dadurch gekennzeichnet, dass die Auswertungseinheit (26) dafür ausgebildet ist, anhand einer Bewegungsänderung während der Aufnahme ein Zuverlässigkeitsmaß der Bilder zu erzeugen.

Description

  • Die Erfindung betrifft eine Kamera zur Aufnahme von Bildern eines Erfassungsbereichs nach dem Oberbegriff von Anspruch 1.
  • Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten mit Abstands- oder Entfernungswerten für die einzelnen Pixel des 3D-Bildes, das auch als Entfernungsbild oder Tiefenkarte bezeichnet wird. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen und so verschiedene Aufgaben im Bereich der Industriesensorik zu lösen.
  • In der Automatisierungstechnik können anhand solcher Bildinformationen Objekte erfasst und klassifiziert werden, um weitere automatische Bearbeitungsschritte davon abhängig zu machen, welche Objekte vorzugsweise einschließlich ihrer Position und Orientierung erkannt wurden. Damit kann beispielsweise die Steuerung von Robotern oder verschiedenartigen Aktoren an einem Förderband unterstützt werden.
  • In mobilen Anwendungen gewinnt ein Fahrzeug über dreidimensionale Bilddaten Informationen über seine Umgebung und insbesondere einen geplanten Fahrweg. Dies kann für eine autonome Fortbewegung oder eine Fahrassistenz genutzt werden.
  • Wenn eine Anwesenheit von Personen möglich oder, wie an einem sogenannten kooperativen Arbeitsplatz, sogar erwünscht und vorgesehen ist, treten häufig sicherheitstechnische Aspekte hinzu. Eine typische sicherheitstechnische Anwendung besteht in der Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein. Mit der zusätzlichen Tiefeninformation lassen sich dreidimensionale Schutzbereiche definieren, die genauer an die Gefahrensituation anpassbar sind als zweidimensionale Schutzfelder, und es kann auch besser beurteilt werden, ob sich eine Person in kritischer Weise an die Gefahrenquelle annähert. Zu den sicherheitstechnischen Anwendungen zählt auch die Absicherung der Bewegung eines Fahrzeugs.
  • Zur Ermittlung der Tiefeninformationen sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen (Time-of-Flight), Interferometrie oder Triangulation. Unter den Triangulationsverfahren wiederum können Lichtschnitt- und Projektionsverfahren sowie Stereoskopie unterschieden werden. Beim Lichtschnittverfahren wird das Objekt unter dem Sensor bewegt und aus den gewonnenen streifenbasierten Tiefeninformationen eine 3D-Punktewolke erzeugt. Beim Projektionsverfahren wird beispielsweise ein Streifenmuster auf die abzutastende Oberfläche projiziert und aus Veränderungen des Musters durch die Objekte in der Szene eine Tiefeninformation abgeleitet. Alternativ wird ein sogenanntes selbstunähnliches, also örtlich eindeutiges Muster projiziert. Das Projektionsverfahren mit einem strukturierten Muster wird beispielsweise in der US 7 433 024 verwendet. Dabei wird eine Vielzahl von Referenzbildern des strukturierten Beleuchtungsmusters in unterschiedlichen Abständen eingelernt. Ein später aufgenommenes Bild wird mit diesen Referenzbildern verglichen, um Objektabstände zu schätzen. Stereoskopieverfahren sind dem räumlichen Sehen mit zwei Augen angelehnt und suchen in zwei aus unterschiedlicher Perspektive aufgenommenen Bildern einander zugeordnete Bildelemente, aus deren Disparität in Kenntnis der optischen Parameter der Stereokamera die Entfernung durch Triangulation geschätzt wird.
  • Speziell bei mobilen Anwendungen, etwa an einem Stapler oder Flurförderzeug, kann es zu großen Erschütterungen des Fahrzeugs und damit auch einer daran montierten Kamera kommen. Dadurch treten Bewegungsartefakte wie ein Verschmieren der Bilder auf. Es ist in manchen Fällen möglich, dies durch Analyse und Bewertung der Bilddaten zu korrigieren oder zumindest zu erkennen. Das bedeutet aber einen großen Rechenaufwand und ist auch nur bedingt erfolgreich.
  • Für einfache Fotokameras ist bekannt, die Eigenbewegung mit einem Sensor zu erkennen, um ein Verwackeln zu kompensieren, etwa durch entsprechende Gegenbewegung in der Optik. Das ist aber nicht für eine wesentlich komplexere 3D-Kamera gedacht und funktioniert auch nur für kleine Eigenbewegungen.
  • Die DE 10 2009 007 842 A1 offenbart ein videobasiertes Fahrerassistenzsystem mit einer Stereokamera, die aus Daten eines Drehraten- beziehungsweise Beschleunigungssensors eine Winkel- und Lageänderung zwischen zwei Aufnahmen bestimmt und den daraus resultierenden Pixelversatz korrigiert. Das hilft aber nicht gegen Bewegungsartefakte innerhalb einer Aufnahme.
  • Aus der US 5 585 875 ist ein Vibrationskorrektursystem in einer Kamera bekannt. Es erkennt mit einem Sensor Eigenbewegungen, die etwa durch Handzittern verursacht sind, und umfasst ein optisches Korrektursystem dafür. Dieses Korrektursystem wird blockiert, wenn darin oder in dem Sensor eine Fehlfunktion erkannt wird. Das ist für eine automatisch arbeitende Kamera, erst recht in sicherheitstechnischer Anwendung, kein gangbarer Weg, weil damit starke Erschütterungen und deren Auswirkungen nicht aus der Welt geschafft werden.
  • Daher ist Aufgabe der Erfindung, die Zuverlässigkeit einer bewegten Kamera zu verbessern.
  • Diese Aufgabe wird durch eine Kamera zur Aufnahme von Bildern eines Erfassungsbereichs nach Anspruch 1 gelöst. Vorzugsweise handelt es sich um eine 3D-Kamera, welche aus den Signalen eines oder mehrerer Bildsensoren dreidimensionale Bilder erzeugt. Je nach 3D-Verfahren ist die entsprechende Auswertung zumindest teilweise in den Bildsensor integriert. Die Kamera umfasst einen Inertialsensor, also einen Sensor, der eine Bewegungsänderung der Kamera erkennt. Dabei geht es in erster Linie um plötzliche Bewegungsänderungen wie beim Fahren über eine Bodenwelle. Übliche Beschleunigungs- und Bremsvorgänge oder Kurvenfahrten eines Fahrzeugs können zwar auch über einen Inertialsensor erfasst werden, sind aber im Vergleich zu den Belichtungs- oder Erfassungszeiten oft unkritisch. Die Erfindung geht nun von dem Grundgedanken aus, die Bewegungsänderung während einer Aufnahme zu bewerten. Dadurch kann ein Zuverlässigkeitsmaß gewonnen werden, dass Auskunft darüber gibt, wie stark das Bild vermutlich durch die Bewegungsänderung beeinträchtigt ist. Das Zuverlässigkeitsmaß kann eine Zahl oder ein Zahlenfeld sein, das die Beeinträchtigung wegen der Bewegungsänderung quantifiziert, aber auch eine einfache Information wie „verwackelt“ oder „nicht verwackelt“. Anders ausgedrückt wird geprüft, ob das Bild verwackelt ist und inwieweit es in diesem Falle dennoch verwendet werden kann.
  • Die Erfindung hat den Vorteil, dass eine zuverlässige Bilderfassung auch unter Erschütterungen ermöglicht wird. Sofern im Moment der Erschütterung kein zuverlässiger Betrieb möglich ist, wird das also erkannt. Damit werden einerseits falsch positive Detektionen von Objekten verhindert, die real gar nicht vorhanden sind. Sie würden sonst möglicherweise als Hindernisse, unzulässige Schutzfeldeingriffe und dergleichen bewertet, also die Verfügbarkeit unnötig reduzieren. Andererseits kann es nicht mehr vorkommen, dass aufgrund einer Erschütterung ein tatsächlich vorhandenes Hindernis übersehen wird. Dies wäre gerade in einer sicherheitstechnischen Anwendung hochkritisch, da es zu Unfällen führen kann. Die Erschütterung wird erfindungsgemäß erkannt und kann in der Signalauswertung berücksichtigt werden oder zumindest zuverlässig erkannt werden, wann die Kamera keine ausreichend verlässlichen Bilder liefert.
  • Der Inertialsensor ist bevorzugt ein Beschleunigungssensor und/oder ein Drehratensensor. So wird die Bewegungsänderung in Translations- und/oder Rotationsrichtung bestimmt. Eine plötzliche Rotation wird regelmäßig das geringere Problem sein, so dass vorzugsweise die Beschleunigung gemessen wird.
  • Die Auswertungseinheit ist bevorzugt dafür ausgebildet, die Bewegungsänderung während der Aufnahme und/oder das Zuverlässigkeitsmaß mit den zugehörigen Bildern zu speichern oder auszugeben. So kann die Bewegungsänderung in einer Nachbearbeitung, insbesondere eine Bildkorrektur verwendet werden, oder es erfolgt eine nachträgliche Neubewertung der Beeinträchtigung durch die Bewegungsänderung. Durch Speichern oder Ausgeben des Zuverlässigkeitsmaßes sind die aufgenommenen Bilder quasi markiert oder getaggt, und daran wird rasch erkannt, ob und inwieweit die Qualität der Bilder wegen einer Bewegungsänderung als herabgesetzt betrachtet wird.
  • Die Auswertungseinheit ist dafür ausgebildet, die Bewegungsänderung in Amplitude und/oder Richtung auszuwerten und gegebenenfalls mit dem Bild zu speichern. Die Amplitude ist offensichtlich ein quantitatives Maß für die Erschütterung und differenziert so zwischen kleinen und großen Erschütterungen. Auch die Richtung kann aber eine Rolle spielen, da je nach Anwendung Bewegungsänderungen in bestimmten Richtungen kritischer sind als in anderen Richtungen.
  • Die Auswertungseinheit ist bevorzugt dafür ausgebildet, in Abhängigkeit von dem Zuverlässigkeitsmaß die Bewegungsänderung zu ignorieren, andere Verfahren zu Verarbeitung der Bilddaten einzusetzen oder die Bilder zu verwerfen. Das Bild wird also je nach Qualitätseinbuße durch Bewegungsänderung anders behandelt. Eine Möglichkeit ist die genannte, ein nur leicht beeinträchtigtes Bild ganz normal zu behandeln, bei einer stärkeren Bewegungsänderung andere, in der Regel mächtigere oder zumindest störtolerantere Bildverarbeitungen einzusetzen und ein Bild, das unter zu starker Bewegungsänderung gewonnen wurde, gar nicht mehr auszuwerten.
  • Die Auswertungseinheit ist bevorzugt dafür ausgebildet, ein Warn- oder Abschaltsignal zu erzeugen, wenn das Zuverlässigkeitsmaß für eine Mindestanzahl von aufeinanderfolgenden Aufnahmen unter einem Mindestwert liegt. Das ist besonders in sicherheitstechnischen Anwendungen relevant, etwa der Überwachung eines Schutzfeldes oder einer Hinderniserkennung an einem Fahrzeug. Dafür wird zuverlässig festgestellt, wenn aufgrund von Bewegungsänderungen keine ausreichende Erfassung durch die Kamera erwartet werden kann, um eine überwachte Gefahrenquelle in einen sicheren Zustand zu überbringen, beispielsweise eine Maschine abzuschalten oder ein Fahrzeug abzubremsen. Es werden vorzugsweise direkt aufeinander folgende Bilder geprüft, aber dies muss nicht ganz streng befolgt werden. So kann beispielsweise auch eine Abschaltung erfolgen, wenn beispielsweise von N Aufnahmen nur eine oder wenige Aufnahmen brauchbar sind. Zudem ist denkbar, das jeweilige Zuverlässigkeitsmaß quantitativ zu bewerten. So können beispielsweise mehrere Bilder ohne Warnung oder Abschaltung toleriert werden, deren Zuverlässigkeitsmaß nur knapp unter dem Mindestwert liegt, während schon eines oder wenige völlig verwackelte Bilder eine Warnung oder Abschaltung auslösen.
  • Die Kamera ist bevorzugt zur Aufnahme von dreidimensionalen Bildern als Stereokamera ausgebildet und weist dazu mindestens zwei Kameramodule mit jeweils einem Bildsensor in zueinander versetzter Perspektive sowie eine Stereoskopieeinheit auf, in der mittels eines Stereoalgorithmus‘ einander zugehörige Teilbereiche in von den beiden Kameramodulen aufgenommenen Bilddaten erkannt werden und deren Entfernung anhand der Disparität berechnet wird. Das Stereoskopieverfahren hat wie alle 3D-Verfahren auch ohne Bewegungsänderung die zusätzliche Schwierigkeit, überhaupt lückenlos Entfernungsdaten zu gewinnen. Diese erhöhte Komplexität macht es noch sinnvoller, zumindest Störungen durch Bewegungsänderungen durch andere Maßnahmen auszugleichen oder wenigstens zu erkennen. Die Stereokamera kann eine Beleuchtungseinheit zur Erzeugung eines strukturierten Beleuchtungsmusters aufweisen, um unabhängig von Umgebungsbedingungen zu werden.
  • Eine denkbare Alternative zu einer Stereokamera ist eine Kamera nach dem Projektionsverfahren beziehungsweise mit aktiver Triangulation, die zur Aufnahme von dreidimensionalen Bildern eine Triangulationseinheit aufweist, welche zur Berechnung des dreidimensionalen Bildes ein projiziertes strukturiertes Beleuchtungsmuster mit Bilddaten des Bildsensors korreliert. Hier ist die Beleuchtungseinheit nicht optional, sondern Teil des 3D-Verfahrens.
  • Die Kamera ist bevorzugt zur Aufnahme von dreidimensionalen Bildern als Lichtlaufzeitkamera ausgebildet und weist dazu eine Beleuchtungseinheit und eine Lichtlaufzeiteinheit auf, um die Lichtlaufzeit eines Lichtsignals zu bestimmen, das von der Beleuchtungseinheit ausgesandt, an Objekten in dem Erfassungsbereich remittiert und in dem Bildsensor erfasst wird. Bei Lichtlaufzeitkameras ist häufig die Auswertung zumindest teilweise in den Bildsensor integriert. Bei einigen Phasenverfahren wird beispielsweise ein dreidimensionales Bild aus vier Aufnahmen erzeugt. Das dauert mit typischerweise einigen 10 ms vergleichsweise lang, so dass Erschütterung großen Einfluss haben kann.
  • Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
  • 1 eine schematische Darstellung einer Stereokamera; und
  • 2 eine schematische Darstellung einer Lichtlaufzeitkamera.
  • 1 zeigt eine schematische Darstellung einer 3D-Kamera 10 zur Aufnahme von dreidimensionalen Bildern eines Erfassungsbereichs 12 in einer Ausführungsform als Stereokamera. Die nachfolgend an Ausführungsbeispielen beschriebene Bewertung der Erschütterung oder Bewegungsänderung der 3D-Kamera 10 ist prinzipiell auch für einfache, also zweidimensionale Kameras interessant, insbesondere bei deren Einsatz in der Sicherheitstechnik. Allerdings zielt die Erfindung vorzugsweise auf 3D-Kameras, da hier Bewegungsänderungen besonders kritisch sind und es schon ohne eine Bewegungsproblematik oftmals schwer genug ist, lückenlose Bilder zu gewinnen. Deshalb wird die Erfindung auch anhand von 3D-Kameras erläutert, wobei durch konkrete Beschreibung einer Stereokamera und später eine Lichtlaufzeitkamera keine Beschränkung auf einen bestimmten Typ 3D-Kamera impliziert sein soll. Auch andere 3D-erfahren sind denkbar, insbesondere ein einleitend genanntes Projektionsverfahren mit nur einer Kamera und Korrelation mit deren Beleuchtungsmuster (aktive Triangulation).
  • Die 3D-Kamera 10 kann beispielsweise in mobiler Anwendung an einem Fahrzeug montiert sein und von einem Fahrerassistenzsystem oder sogar zum autonomen Fahren (AGV, automated guided vehicle) genutzt werden. Erschütterungen, Vibrationen oder sonstige ungünstige Bewegungsänderungen treten aber auch in eigentlich statischer Montage auf, beispielsweise an feststehenden Maschinen, die Erschütterungen ausgesetzt sind oder selbst zumindest in einigen Arbeitsschritten vibrieren.
  • In der 3D-Kamera 10 sind zwei Kameramodule 14a–b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Erfassungsbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a–b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a–b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a–b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann.
  • In der Mitte zwischen den beiden Kameramodulen 14a–b ist eine Beleuchtungseinheit 20 mit einer Lichtquelle 22 dargestellt, wobei diese räumliche Anordnung nur als Beispiel zu verstehen ist. Die Beleuchtungseinheit 20 kann abweichend von der Darstellung anders und auch extern angeordnet sein. Für passive Stereoskopie könnte auf die Beleuchtungseinheit 20 sogar verzichtet werden. Die Beleuchtungseinheit 20 erzeugt mit Hilfe eines Mustererzeugungselements 24 in dem Erfassungsbereich 12 ein strukturiertes Beleuchtungsmuster. Das Beleuchtungsmuster sollte vorzugsweise zumindest lokal eindeutig oder selbstunähnlich in dem Sinne sein, dass Strukturen des Beleuchtungsmusters nicht zu Scheinkorrelationen führen, beziehungsweise einen Beleuchtungsbereich eindeutig kennzeichnen.
  • Mit den beiden Bildsensoren 16a–b und der Beleuchtungseinheit 20 ist eine kombinierte Steuerungs- und Auswertungseinheit 26 verbunden, die im Folgenden nur als Auswertungseinheit 26 bezeichnet wird. Mittels der Auswertungseinheit 26 wird das strukturierte Beleuchtungsmuster erzeugt, und sie empfängt Bilddaten der Bildsensoren 16a–b. Aus diesen Bilddaten berechnet eine Stereoskopieeinheit 28 der Auswertungseinheit 26 mit einem an sich bekannten Stereoskopiealgorithmus dreidimensionale Bilddaten (Entfernungsbild, Tiefenkarte) des Erfassungsbereichs 12. Die Auswertungseinheit 26 und die Stereoskopieeinheit 28 können abweichend von der Darstellung in beliebiger Weise auf einem oder mehreren digitalen Bausteinen verteilt implementiert sein und auch analoge Schaltungsteile aufweisen.
  • In die 3D-Kamera 10 ist weiterhin ein Inertialsensor 30 integriert, der Bewegungsänderungen detektiert und zu deren Übermittlung mit der Auswertungseinheit 26 verbunden ist. Der Inertialsensor 30 bestimmt die Drehrate und/oder Beschleunigung der 3D-Kamera 10 und ist dafür in einer beliebigen bekannten Weise ausgebildet, beispielsweise als Piezokeramik oder wegen dessen besonderer Kompaktheit als MEMS (Micro Electro Mechnical System). Die Auswertungseinheit 26 bewertet anhand der Bewegungsänderungen während einer Aufnahme in einem Zuverlässigkeitsmaß, inwieweit dadurch eine Beeinträchtigung der erzeugten dreidimensionalen Bilder verursacht wird. Dabei kann es sich sowohl um Einzelbilder als auch eine Reihe aufeinanderfolgender Bilder handeln.
  • Beispielsweise werden dreidimensionale Bilder verworfen, als ungültig oder zumindest potentiell fehlerhaft markiert, wenn der Inertialsensor 30 während deren Aufnahme eine Erschütterung registriert hat, deren Amplitude über einem festgelegten Grenzwert liegt. Mit Hilfe des Inertialsensors 30 kann zum einen verhindert werden, dass es während einer Erschütterung zu einer falsch positiven Objektdetektion kommt, also aus Bewegungsartefakten ein Objekt erkannt wird, das gar nicht existiert. Dies würde zu unnötigen Reaktionen und damit einer Einschränkung der Verfügbarkeit eines Systems führen, dessen Teil die 3D-Kamera 10 ist.
  • Besonders im Falle sicherheitstechnischer Anwendungen, in denen die 3D-Kamera 10 beispielsweise ein Schutzfeld oder die Umgebung eines Fahrzeugs überwacht, besteht aufgrund der Bewertung mit Hilfe des Inertialsensors 30 die Möglichkeit, problematische Situationen zu erkennen und gegebenenfalls ein Warn- oder Abschaltsignal zu erzeugen. So wird beispielsweise eine Maschine oder ein Fahrzeug vorsorglich gestoppt, wenn mehr als N aufeinanderfolgende Bilder wegen zu starker Erschütterung ungültig beziehungsweise potentiell fehlerhaft sind. Dadurch wird verhindert, dass möglicherweise ein sicherheitskritisches Objekt übersehen wird und es deshalb zu einem Unfall kommt.
  • Die während einer Erschütterung aufgenommenen dreidimensionalen Bilder müssen nicht zwingend komplett verworfen werden. Alternativ können diese Bilder mittels speziell angepasster Algorithmen unter Verwendung des Zusatzwissens von dem Inertialsensor 30 analysiert und ausgewertet werden, dass eine Erschütterung während der Bildaufnahme aufgetreten ist, gegebenenfalls auch unter Berücksichtigung der aus den Messdaten des Inertialsensors 30 bekannten Amplitude und Richtung.
  • Je nach Anwendung kann nicht allein die Amplitude, sondern auch die vektorielle Richtung der Auslenkung einer Bewegungsänderung beziehungsweise Erschütterung relevant sein. Beispielsweise kann es sein, dass eine Auslenkung in Richtung der Sensorachse (Messrichtung) kritischer ist als senkrecht zur Messrichtung oder umgekehrt. Daher kann das Zuverlässigkeitsmaß, insbesondere die Identifizierung oder Markierung von ungültigen oder potenziell fehlerhaften dreidimensionalen Bildern, neben der Amplitude der Erschütterung auch abhängig von der Richtung der Auslenkung sein, wobei zumindest bestimmte Inertialsensoren 30 auch in der Lage sind, diese Richtung mit zu erfassen.
  • In einer weiteren Ausführungsform werden mehrere Schwellwerte für die gegebenenfalls richtungsabhängig bewertete Amplitude der Bewegungsänderung oder für das Zuverlässigkeitsmaß definiert, um je nach Grad der Beeinträchtigung durch die Erschütterung selektiv zu reagieren. Beispielsweise wird eine geringfügige Erschütterung ohne besondere Maßnahme hingenommen, eine gewisse Erschütterung führt zum Erzeugen oder Verarbeiten eines dreidimensionalen Bildes mit speziellen Algorithmen, und erst bei schwerer Erschütterung wird ein dreidimensionales Bild komplettes Verworfen.
  • Über einen Ausgang 32 kann die 3D-Kamera 10 dreidimensionale Bilder oder andere Messergebnisse ausgeben, beispielsweise die von dem Inertialsensor 30 bestimmte Bewegungsänderung, Rohbilddaten eines Kameramoduls 14a–b, aber auch Auswertungsergebnisse wie Objektdaten oder die Identifizierung bestimmter Objekte. Speziell in sicherheitstechnischer Anwendung kann das Erkennen eines unzulässigen Eingriffs in Schutzfelder, die in dem Erfassungsbereich 12 definiert wurden, oder das bereits erläuterte Aufeinanderfolgen von N Bildern bei zu großer Erschütterung zur Ausgabe eines sicherheitsgerichteten Abschaltsignals führen. Dazu ist der Ausgang 32 dann vorzugsweise als Sicherheitsausgang (OSSD, Output Signal Switching Device) ausgeführt und die 3D-Kamera 10 insgesamt im Sinne einschlägiger Sicherheitsnormen ausfallsicher aufgebaut.
  • 2 zeigt in einer weiteren Blockdarstellung eine alternative Ausführungsform der 3D-Kamera 10 als Lichtlaufzeitkamera. Dabei bezeichnen hier und im Folgenden die gleichen Bezugszeichen gleiche oder einander entsprechende Merkmale. Auf der relativ groben Ebene der Darstellung unterscheidet sich die Lichtlaufzeitkamera von einer Stereokamera hauptsächlich durch das Fehlen eines zweiten Kameramoduls. Ein solcher Aufbau ist auch derjenige einer 3D-Kamera, die Entfernungen in einem Projektionsverfahren aus entfernungsabhängigen Veränderungen des Beleuchtungsmusters schätzt. Ein weiterer Unterschied besteht darin, dass die Auswertung eine andere ist. Dazu ist anstelle der Stereoskopieeinheit 28 eine Lichtlaufzeiteinheit 34 in der Auswertungseinheit 26 vorgesehen, welche die Lichtlaufzeit zwischen Aussenden und Empfangen eines Lichtsignals misst. Die Lichtlaufzeiteinheit 34 kann auch direkt zumindest teilweise in den Bildsensor 16 integriert sein, beispielsweise in einem PMD-Chip (Photonmischdetektion). Entsprechend ist in einer 3D-Kamera für ein Projektionsverfahren eine angepasste Einheit zum Auswerten des Beleuchtungsmusters vorgesehen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 7433024 [0006]
    • DE 102009007842 A1 [0009]
    • US 5585875 [0010]

Claims (8)

  1. Kamera (10), insbesondere 3D-Kamera, die einen Bildsensor (16, 16a–b) zur Aufnahme von Bildern eines Erfassungsbereichs (12), einen Inertialsensor (30) zum Erkennen einer Bewegungsänderung der Kamera (10) und eine Auswertungseinheit (26, 28, 34) zur Verarbeitung der Bilder und der Bewegungsänderung aufweist, dadurch gekennzeichnet, dass die Auswertungseinheit (26) dafür ausgebildet ist, anhand einer Bewegungsänderung während der Aufnahme ein Zuverlässigkeitsmaß der Bilder zu erzeugen.
  2. Kamera (10) nach Anspruch 1, wobei der Inertialsensor (30) ein Beschleunigungssensor und/oder ein Drehratensensor ist.
  3. Kamera (10) nach Anspruch 1 oder 2, wobei die Auswertungseinheit (26) dafür ausgebildet ist, die Bewegungsänderung während der Aufnahme und/oder das Zuverlässigkeitsmaß mit den zugehörigen Bildern zu speichern oder auszugeben.
  4. Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (26) dafür ausgebildet ist, die Bewegungsänderung in Amplitude und/oder Richtung auszuwerten.
  5. Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (26) dafür ausgebildet ist, in Abhängigkeit von dem Zuverlässigkeitsmaß die Bewegungsänderung zu ignorieren, andere Verfahren zur Verarbeitung der Bilddaten einzusetzen oder die Bilder zu verwerfen.
  6. Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (26) dafür ausgebildet ist, ein Warn- oder Abschaltsignal zu erzeugen, wenn das Zuverlässigkeitsmaß für eine Mindestanzahl von aufeinanderfolgenden Aufnahmen unter einem Mindestwert liegt.
  7. Kamera (10) nach einem der vorhergehenden Ansprüche, die zur Aufnahme von dreidimensionalen Bildern als Stereokamera ausgebildet ist und dazu mindestens zwei Kameramodule (14a–b) mit jeweils einem Bildsensor (16a–b) in zueinander versetzter Perspektive sowie eine Stereoskopieeinheit (28) aufweist, in der mittels eines Stereoalgorithmus‘ einander zugehörige Teilbereiche in von den beiden Kameramodulen (14a–b) aufgenommenen Bilddaten erkannt werden und deren Entfernung anhand der Disparität berechnet wird.
  8. Kamera (10) nach einem der Ansprüche 1 bis 6, die zur Aufnahme von dreidimensionalen Bildern als Lichtlaufzeitkamera ausgebildet ist und dazu eine Beleuchtungseinheit (20) und eine Lichtlaufzeiteinheit (34) aufweist, um die Lichtlaufzeit eines Lichtsignals zu bestimmen, das von der Beleuchtungseinheit (20) ausgesandt, an Objekten in dem Erfassungsbereich (12) remittiert und in dem Bildsensor (16) erfasst wird.
DE202015102019.8U 2015-04-23 2015-04-23 Kamera zur Aufnahme von Bildern eines Erfassungsbereichs Expired - Lifetime DE202015102019U1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE202015102019.8U DE202015102019U1 (de) 2015-04-23 2015-04-23 Kamera zur Aufnahme von Bildern eines Erfassungsbereichs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE202015102019.8U DE202015102019U1 (de) 2015-04-23 2015-04-23 Kamera zur Aufnahme von Bildern eines Erfassungsbereichs

Publications (1)

Publication Number Publication Date
DE202015102019U1 true DE202015102019U1 (de) 2016-07-27

Family

ID=56682371

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202015102019.8U Expired - Lifetime DE202015102019U1 (de) 2015-04-23 2015-04-23 Kamera zur Aufnahme von Bildern eines Erfassungsbereichs

Country Status (1)

Country Link
DE (1) DE202015102019U1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4060286A3 (de) * 2021-03-19 2022-12-07 Topcon Corporation Vermessungssystem, vermessungsverfahren und vermessungsprogramm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585875A (en) 1992-12-22 1996-12-17 Nikon Corporation Camera having anti-vibration function
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102009007842A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zum Betrieb eines videobasierten Fahrerassistenzsystems in einem Fahrzeug

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585875A (en) 1992-12-22 1996-12-17 Nikon Corporation Camera having anti-vibration function
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102009007842A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zum Betrieb eines videobasierten Fahrerassistenzsystems in einem Fahrzeug

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4060286A3 (de) * 2021-03-19 2022-12-07 Topcon Corporation Vermessungssystem, vermessungsverfahren und vermessungsprogramm

Similar Documents

Publication Publication Date Title
EP3011225B1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
EP3421189B1 (de) Verfahren zum überwachen einer maschine
DE102010037744B3 (de) Optoelektronischer Sensor
EP1543270B1 (de) Verfahren und vorrichtung zum absichern eines gefahrenbereichs
EP2275990B1 (de) 3D-Sensor
EP2835973B1 (de) 3D-Kamera und Verfahren zur Erfassung von dreidimensionalen Bilddaten
DE102009031732B3 (de) Entfernungsmessender optoelektronischer Sensor
EP2025991B1 (de) Vorrichtung und Verfahren zur dreidimensionalen Überwachung eines Raumbereichs mit mindestens zwei Bildsensoren
EP3611422B1 (de) Sensoranordnung und verfahren zum absichern eines überwachungsbereichs
DE102017111885B4 (de) Verfahren und System zum Überwachen einer Maschine
DE102007025373B3 (de) Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
DE102009034848B4 (de) Optoelektronischer Sensor
DE102006048163A1 (de) Kamerabasierte Überwachung bewegter Maschinen und/oder beweglichen Maschinenelementen zur Kollisionsverhinderung
DE102007023101A1 (de) Optoelektronische Sensoranordnung und Verfahren zur Überwachung eines Überwachungsbereiches
EP3650740A1 (de) Sicherheitssystem und verfahren zum überwachen einer maschine
DE202015105376U1 (de) 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
EP3572971B1 (de) Absichern eines überwachungsbereichs mit mindestens einer maschine
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
DE202010012985U1 (de) Sensoranordnung zur Objekterkennung
EP3893145B1 (de) Absicherung einer gefahrenstelle
DE102010036852B4 (de) Stereokamera
DE102016101793B3 (de) Optoelektronische Vorrichtung zur Absicherung einer Gefahrenquelle
DE202015102019U1 (de) Kamera zur Aufnahme von Bildern eines Erfassungsbereichs
DE102012105401B3 (de) 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten
DE102019127826B4 (de) Sicherer optoelektronischer Sensor und Verfahren zum Absichern eines Überwachungsbereichs

Legal Events

Date Code Title Description
R207 Utility model specification
R150 Utility model maintained after payment of first maintenance fee after three years
R151 Utility model maintained after payment of second maintenance fee after six years
R158 Lapse of ip right after 8 years