DE102018117274A1

DE102018117274A1 - Sichere Kamera und Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten

Info

Publication number: DE102018117274A1
Application number: DE102018117274.5A
Authority: DE
Inventors: Armin Hornung; Matthias Neubauer; Michael Schott
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2018-07-17
Filing date: 2018-07-17
Publication date: 2020-01-23

Abstract

Es wird eine sichere Kamera (10) mit mindestens einem Bildsensor (16a, 16b) zur Aufnahme von Bilddaten (52) eines Überwachungsbereichs (12) und mit einer Auswertungseinheit (24) angegeben, die dafür ausgebildet ist, Rauscheinflüsse auf die Bilddaten (52) zu bewerten, um eine für eine sichere Erfassung von Objekten (28) ausreichende Bildqualität zu gewährleisten und ein Pixel (x,y) als ungültig zu bewerten, wenn in einem Analysefenster (54) in einer Umgebung des Pixels (x,y) Rauscheinflüsse zu groß werden.

Description

Die Erfindung betrifft eine sichere Kamera und ein Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten nach dem Oberbegriff von Anspruch 1 beziehungsweise 12.
Das primäre Ziel der Sicherheitstechnik ist, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.
In der Sicherheitstechnik beziehungsweise für den Personenschutz eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN ISO 13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie Funktionstests, sichere Auswertung beispielsweise durch redundante Auswertungskanäle oder eine Überwachung der Verschmutzung optischer Bauteile.
In sicherheitstechnischen Anwendungen werden unter anderem Kameras eingesetzt. Dazu zählen auch 3D-Kameras in unterschiedlichen Technologien, beispielsweise Stereoskopie, Triangulation, Lichtlaufzeit oder Auswertung der Störung passiver zweidimensionaler Muster oder von projizierten Beleuchtungsmustern. Solche 3D-Kameras nehmen im Gegensatz zu einer üblichen zweidimensionalen Kamera Bilder auf, die in ihren Pixeln einen Abstandswert enthalten. Diese tiefenaufgelösten oder dreidimensionalen Bilddaten werden auch als Tiefenkarte bezeichnet.
In einer Stereokamera werden mit Hilfe einer Stereokorrelationsfunktion aus einem Ausgangsbildpaar von linken und rechten Grauwertbildern Disparitäten zwischen korrespondierenden Bildmerkmalen bestimmt. Die Disparität wird anhand der Kameraparameter in einen Abstand zu dem Objektpunkt beziehungsweise einem Tiefenwert umgerechnet, und ein Bild aus solchen Tiefenwerten wird als Tiefenkarte bezeichnet.
Die Tiefenkarte ist mit einer systematischen und einer statistischen Messunsicherheit behaftet. Beim Einsatz für die sichere Detektion von Objekten im Personenschutz mit garantierter Detektionswahrscheinlichkeit muss die Messunsicherheit unter einem definierten Niveau gehalten werden. Wird dieses Niveau überschritten, ist eine Objekterkennung nicht mehr unter allen Gegebenheiten zuverlässig und sicher möglich.
Auslöser für Rauschen in der Tiefenkarte ist vor allem das Rauschen in den Eingangsbildern. Fehlender Kontrast kann durch eine sehr niedrige Remission der Szene hervorgerufen werden. Dann überwiegen die Rauschanteile der Sensorelektronik. Um den Kontrast in der Szene zu erhöhen, kann eine aktive, strukturierte Beleuchtung eingesetzt werden. Ebenso kann Fremdlicht den Kontrast mindern, da der Schrotrauschanteil des Fremdlichtes den Kontrast der strukturierten Beleuchtung übersteigen kann.
Die EMVA-Norm 1288, „Standard for Characterization of Image Sensors and Cameras“ Release 3.1, 30.12.2016, herausgegeben von der European Machine Vision Association, stellt Verfahren vor, um Parameter und Spezifikationen für Kameras und Bildsensoren einheitlich zu messen. Selbst wenn es aber gelingt, den Bildsensor vollständig zu charakterisieren, so braucht es dafür erheblichen Aufwand und berücksichtigt noch nicht die aktuellen Bedingungen im Betrieb und in der Szenerie.
Die Arbeit von Geissler, Alexander, et al. „Contrast-to-noise ratio (CNR) as a quality parameter in fMRI." Journal of Magnetic Resonance Imaging 25.6 (2007): 1263-1270 befasst sich mit einer CNR-Analyse von Bilddaten in der funktionellen Magnetresonanztomographie. Die Anwendung stellt ganz andere Anforderungen als eine sicherheitstechnische Überwachung und ist auch technisch beispielsweise zur Stereoskopie grundverschieden.
Aus der EP 2 842 104 B1 ist ein Verfahren bekannt, mit dem ein minimaler Kontrast im Sichtfeld eines Bildsensors sichergestellt wird. Dazu wird eine texturlose Kugel als Referenzziel an einem Ort minimalen Kontrasts platziert und der Kontrast auf deren Oberfläche mit einem Schwellwert verglichen. Zur Berechnung des Kontrasts wird ein Quotient gebildet, dessen Zähler die Differenz aus Intensitätsmaximum und Intensitätsminimum und dessen Nenner das Intensitätsminimum auf der Kugel ist. Dazu sind jedoch zusätzliche Schritte zur Konfigurationszeit mit dem Referenzziel erforderlich, und dies ersetzt auch nicht weitere Maßnahmen zur Laufzeit, um festzustellen, ob sich die Bedingungen gegenüber der Konfiguration verändert haben, zumal das Referenzziel zur Laufzeit nicht in der Szenerie verbleibt.
In der US 2017/0195605 A1 werden die Belichtungszeiten eines Kamerasystems zum automatischen Lesen von Nummernschildern an die Jahreszeit, Tageszeit und den geophysikalischen Einsatzort angepasst, um Anforderungen an das Signal-Rauschverhältnis zu erfüllen. Diese Anpassung wäre für eine sicherheitstechnische Anwendung viel zu pauschal und ungewiss. Außerdem ist das typische Einsatzgebiet der Sicherheitstechnik ein industrielles Umfeld im Innenbereich, wo die künstlichen Bedingungen gar keine Abhängigkeit von den in US 2017/0195605 A1 gewählten Parametern zeigen.
Die WO 2017/079458 A1 offenbart die Aufnahme von Tiefenkarten mit einer am Kopf getragenen Anzeige (HMD, Head mounted display) mittels einer Stereokamera. Dabei gibt es verschiedene Modi in Abhängigkeit von dem jeweiligen Signal-Rauschverhältnis der aufgenommenen Bilder. Bereits das Anwendungsgebiet ist offensichtlich sehr unterschiedlich von demjenigen der Sicherheitstechnik.
Es ist daher Aufgabe der Erfindung, die Bewertung einer ausreichenden Bildqualität in einer sicheren Kamera zu verbessern.
Die Aufgabe wird durch eine sichere Kamera und ein Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten nach Anspruch 1 beziehungsweise 12 gelöst. Die Kamera ist sicher im Sinne der einleitend genannten oder vergleichbarer Normen und damit für den Einsatz in sicherheitstechnischen Anwendungen beziehungsweise dem Personenschutz geeignet. Mindestens ein Bildsensor nimmt ein Bild auf, und die Rauscheinflüsse auf das Bild werden bewertet. Dadurch wird sichergestellt, dass die Bildqualität ausreicht, um eine sichere Erfassung von Objekten zu ermöglichen.
Die Erfindung geht von dem Grundgedanken aus, Pixel der aufgenommenen Bilder anhand einer lokalen Bewertung der Umgebung zu bewerten. Dazu wird ein Analysefenster als das jeweils zu prüfende Pixel umgebender Bildbereich ausgewertet. Falls die Bildqualität in einer durch das Analysefenster gebildeten lokalen Nachbarschaft nicht ausreicht, wird das Pixel als ungültig bewertet. Die Bewertung wird für weitere Pixel wiederholt, vorzugsweise für alle Pixel eines Bildes oder zumindest diejenigen Pixel, die einem sicherheitsrelevanten Bereich entsprechen.
Die Erfindung hat den Vorteil, dass die sichere Funktion der Kamera garantiert werden kann. Messungenauigkeiten beziehungsweise Rauschen bleiben in einem zulässigen Rahmen. Da lokal für das jeweilige Pixel anhand des Analysefensters erkannt wird, ob ein Bildbereich diese Voraussetzungen erfüllt, können weitere Auswertungsschritte differenzieren, ob die spätere Objektdetektion noch sicher möglich ist. So kann zugunsten einer höheren Verfügbarkeit unterschieden werden, ob Messungenauigkeiten, die eine Messtoleranz überschreiten, tatsächlich sicherheitskritisch sind. Die Bewertung der Bildqualität lässt sich zur Laufzeit durchführen. Es ist kein separater Schritt zur Konfigurationszeit mit eigenem Referenzziel notwendig. Die Auswertung der lokalen Analysefenster ist schnell und effizient insbesondere auf Embedded-Hardware wie einem FPGA (Field Programmable Gate Array) oder einer GPU (Graphics Processing Unit) möglich.
Die Kamera ist vorzugsweise eine 3D-Kamera. Eine 3D-Kamera kann jede bekannte Technik verwenden, wie ein Triangulationsprinzip, bei dem zwei Kamerabilder einer bewegten Kamera oder einer Stereokamera untereinander beziehungsweise ein Kamerabild mit einem bekannten Projektionsmuster korreliert und Disparitäten geschätzt werden, oder ein Lichtlaufzeitprinzip mit direkter Laufzeitmessung von Lichtsignalen oder Phasenmessung.
Die Kamera ist bevorzugt für ein Detektionsvermögen ausgelegt, bei dem Objekte ab einer Mindestgröße sicher erfasst werden. Das Detektionsvermögen ist eine in den einschlägigen Normen spezifizierte Eignung eines sicheren Sensors. Die entsprechende Auslegung der Kamera betrifft ihren Aufbau, also ihre Optik, ihren Bildsensor und weitere mögliche, noch nicht genannte Komponenten wie etwa eine Beleuchtung, und die sichere Auswertung. Das Detektionsvermögen schließt erst einmal nicht aus, dass auch kleinere Objekte erfasst werden. Für Objekte, die kleiner sind als die Mindestgröße, ist aber der Schutz nicht garantiert, beispielsweise wird ein Finger bei einer für Armschutz ausgelegten Kamera nicht sicher erfasst. Deshalb werden Objekte kleiner als die Mindestgröße möglicherweise mittels Filtern in der Auswertung ausgeschlossen. Es ist auch möglich, eine Mindestgröße oberhalb des Detektionsvermögens zu wählen, also eine an sich bereitgestellte Auflösung nicht auszunutzen. Als Zahlenbeispiele seien 14 mm für Fingerschutz oder im Bereich von 30-80 mm für den Schutz von Extremitäten genannt, insbesondere 55 mm für Oberarmschutz.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, Rauscheinflüsse anhand eines Signal-Rauschverhältnisses und/oder eines Kontrast-Rauschverhältnisses zu bewerten, insbesondere durch einen Vergleich mit einem Schwellwert. Die Schwelle kann durch Simulation, Einlernen, Kalibrationsmessungen oder eine Charakterisierung beispielsweise nach einem Standard wie der einleitend genannten EMVA-Norm 1288 festgelegt sein.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, für die Bewertung ein Intensitätsminimum I_max und ein Intensitätsmaximum I_min in dem Analysefenster zu bestimmen. Die beiden Werte I_max und I_min können mit wenig Rechenaufwand bestimmt werden und erlauben eine zuverlässige Bewertung.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, das Signal-Rauschverhältnis aus einem Quotienten von Intensitätsmaximum I_max und Intensitätsminimum I_min und/oder das Kontrast-Rauschverhältnis aus einem Quotienten zu bestimmen, der aus der Differenz I_max - I_min von Intensitätsmaximum I_max und Intensitätsminimum I_max und dem Intensitätsminimum I_min gebildet ist. Das sind sehr einfache Rechenvorschriften, die aber eine ausreichende Bewertung zulassen. Mathematisch genauer wäre es, die Wurzel von I_min heranzuziehen, was auch möglich ist, aber stattdessen in dem Vergleichswert beziehungsweise der Schwelle berücksichtigt werden kann.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, für die Bewertung mindestens einen zweithöchsten und/oder zweitniedrigsten Intensitätswert in dem Analysefenster zu bestimmen. Es wird also nicht der jeweils höchste Wert I_max und niedrigste Wert I_min herangezogen, sondern der nächstgrößere beziehungsweise nächstkleinere, oder in denkbarer Erweiterung auch die weiteren, drittgrößten und drittkleinsten und so fort. Dadurch können einzelne Ausreißer ignoriert werden. Statt sich jeweils auf einen Wert festzulegen, ist auch ein gewichtetes Mittel der n größten beziehungsweise kleinsten Werte denkbar.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, bei der Berechnung eines Signal-Rauschverhältnisses und/oder Kontrast-Rauschverhältnisses den Einfluss von Quantisierungsrauschen und/oder Dunkelrauschen zu ignorieren. Insbesondere werden entsprechende Terme in einer Modellierung vernachlässigt und weggelassen.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, mittels mindestens eines abgedunkelten Pixels des Bildsensors ein Rauschmaß für das Dunkelrauschen zu bestimmen und mit einem oberen Schwellwert zu vergleichen. Eine derartige Überwachung stellt sicher, dass das Dunkelrauschen höchstens ein bestimmtes Niveau erreicht, und dies rechtfertigt dann auch die Vernachlässigung von Dunkelrauschtermen bei der Berechnung eines Signal-Rauschverhältnisses und/oder Kontrast-Rauschverhältnisses. Wird der durch den oberen Schwellwert festgesetzte Grenzwert überschritten, so kann die Auswerteeinheit dies signalisieren, damit geeignete Maßnahmen folgen, wie eine Markierung der Daten als unzuverlässig bis hin zu einer sicherheitsgerichteten Reaktion, weil die Kamera nicht verlässlich messfähig ist.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, die Bilddaten zyklisch zur Laufzeit zu bewerten. Dadurch ist jederzeit sichergestellt, dass das Rauschen eine sichere Objekterkennung zulässt. Die Bewertung erfolgt insbesondere für jede Aufnahme (Frame) oder zumindest einmal je Ansprechzeit. In diesem Zusammenhang bedeutet Ansprechzeit einen vollständigen Auswertungszyklus, bis die Auswertungseinheit jeweils neu darüber entscheidet, ob es eine Gefahrensituation gibt und eine sicherheitsgerichtete Reaktion eingeleitet werden muss. In einer Ansprechzeit können mehrere Aufnahmen erzeugt und gemeinsam ausgewertet werden.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, mehrere Bildaufnahmen statistisch zu bewerten. Die Bewertung erfolgt also nicht auf Basis nur einer Aufnahme, sondern mehrerer Aufnahmen. Insbesondere werden Intensitätsminimum I_max und Intensitätsmaximum I_min über Analysefenster in mehreren Aufnahmen bestimmt, oder es wird eine Varianz oder ein sonstiges Variabilitätsmaß für die Änderungen der Pixel im Analysefenster gebildet.
Die Kamera ist vorzugsweise eine Stereokamera mit zwei Bildsensoren zur Aufnahme zweier Bilder aus versetzter Perspektive, deren Auswertungseinheit für ein Stereoskopieverfahren ausgebildet ist, bei dem aus den beiden Bildern anhand von Merkmalskorrespondenzen Disparitäten geschätzt werden, wobei vor dem Stereoskopieverfahren Rauscheinflüsse beider Bilder einzeln bewertet und dann die dabei als ungültig bewerteten Pixel auf Basis der geschätzten Disparitäten einander zugeordnet werden. Für eine Objekterfassung auf Basis einer Tiefenkarte eines Stereoverfahrens werden somit direkt die Eingangsdaten der Tiefenkartenberechnung für sich analysiert und dazu die Eingangsbilder einzeln bewertet. Dann wird die Disparitätskarte genutzt, um die Ergebnisse zu konsolidieren und ungültige Pixel in dem einen Eingangsbild in richtiger Weise mit dem anderen Eingangsbild zu verknüpfen. Bei einem Stereoverfahren ist das Analysefenster bevorzugt mindestens so groß wie das Korrelationsfenster, innerhalb dessen Merkmalskorrespondenzen gesucht werden, beispielsweise gleich groß beziehungsweise den Rand um wenige Pixel überschreitend.
Die Auswertungseinheit ist bevorzugt dafür ausgebildet, ein sicheres Ausgangssignal für eine sicherheitsgerichtete Reaktion zu erzeugen, wenn zu viele Pixel als ungültig bewertet sind. Das kann sich auf ein aufgenommenes Bild selbst beziehen, insbesondere ein Eingangsbild eines Stereoverfahrens, auf die konsolidierte Zwischenauswertung beider Einfangsbilder oder auf die darauf erzeugte Tiefenkarte. Eine gewisse Anzahl von ungültigen Pixeln kann noch toleriert werden, um unnötige sicherheitsgerichtete Reaktionen zu vermeiden und die Verfügbarkeit zu steigern. Beispielsweise sind ungültige Pixel so lange nicht kritisch, wie sie relativ verstreut liegen und insbesondere die davon betroffenen Nachbarschaftsbereiche kleiner sind als das Detektionsvermögen, sich also kein Objekt der Mindestgröße dort verbergen kann. Umgekehrt ist aber auch denkbar, mit einem globalen Maß bei einer bestimmten Anzahl ungültiger Pixel sicherheitsgerichtet zu reagieren, weil dann einfach angenommen wird, dass die momentanen Aufnahmebedingungen zu ungünstig sind, um Objekte noch sicher zu detektieren.
Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.
Das Verfahren ist vorzugsweise sicher in einem umfassenden Sinn, dass die Kamera eigene Ausfälle bemerkt und die gesamte Auswertungskette durch Maßnahmen wie Tests oder Zweikanaligkeit Fehler aufdeckt und dann sicherheitsgerichtet reagiert. Die Erfindung bezieht sich speziell auf den Schritt, dass Rauscheinflüsse nicht zu groß werden und damit insbesondere ein bestimmtes Signal-Rauschverhältnis beziehungsweise Kontrast-Rauschverhältnis garantiert werden kann. Das gilt nicht zwingend für jeden Bildbereich, da zum einen einzelne oder einige Pixel noch nicht notwendig ein Sicherheitsproblem darstellen und zum anderen nicht alle Bildbereiche sicherheitsrelevant sein müssen, etwa bei konfigurierten, zu überwachenden Teilbereichen des Überwachungsbereichs.
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:

1 eine schematische dreidimensionale Darstellung einer 3D-Kamera und ihres Überwachungsbereichs;
2 ein beispielhaftes Ablaufschema für eine Bewertung von Rauscheinflüssen in einer sicheren Stereokamera; und
3 eine schematische Darstellung eines aufgenommenen Bildes zur Erläuterung eines Analysefensters als Nachbarschaft eines zu bewertenden Pixels.

1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer Stereokamera 10 zur Aufnahme einer Tiefenkarte. Die Stereokamera 10 dient nur als ein Beispiel für eine erfindungsgemäße sichere Kamera. Ebenso denkbar wären Kameras einschließlich der einleitend genannten anderen 3D-Kameras mit Bestimmung der Lichtlaufzeit oder einer Auswertung der Störung passiver zweidimensionaler Muster oder mit Korrelation von Bild und projizierten Beleuchtungsmustern.
Zur Erfassung eines Raumbereichs 12 sind zwei Kameramodule 14a, 14b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Raumbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a, 16b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a, 16b ist je ein Objektiv 18a, 18b mit einer abbildenden Optik zugeordnet, welche in der Praxis als jedes bekannte Abbildungsobjektiv realisiert sein können. Der maximale Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a, 20b bilden.
Zwischen den beiden Bildsensoren 16a, 16b ist eine Beleuchtungseinheit 22 vorgesehen, um den Raumbereich 12 mit einem strukturierten Muster auszuleuchten. Die dargestellte Stereokamera ist demnach für aktive Stereoskopie ausgebildet, bei der das Muster auch einer an sich strukturlosen Szenerie überall auswertbare Kontraste aufprägt. Alternativ ist keine oder eine homogene Beleuchtung vorgesehen, um die natürlichen Objektstrukturen im Raumbereich 12 auszuwerten, was aber regelmäßig zu zusätzlichen Bildfehlern führt.
Mit den beiden Bildsensoren 16a, 16b und der Beleuchtungseinheit 22 ist eine Steuer- und Auswertungseinheit 24 verbunden. Die Steuer- und Auswertungseinheit 24 kann in verschiedenster Hardware implementiert sein, beispielsweise digitalen Bausteinen wie Mikroprozessoren, ASICs (Application Specific Integrated Circuit), FPGAs (Field Programmable Gate Array), GPUs (Graphics Processing Unit) oder Mischformen davon, die beliebig auf interne und externe Komponenten verteilbar sind, wobei externe Komponenten auch über Netzwerk oder eine Cloud eingebunden sein können, soweit Latenzen beherrscht oder toleriert werden können. Da das Erzeugen der Tiefenkarte und deren Auswertung sehr rechenintensiv sind, wird vorzugsweise eine zumindest teilweise parallele Architektur gebildet.
Die Steuer- und Auswertungseinheit 24 erzeugt mit Hilfe der Beleuchtungseinheit 22 das strukturierte Beleuchtungsmuster und empfängt Bilddaten der Bildsensoren 16a, 16b. Aus diesen Bilddaten berechnet sie mit Hilfe einer stereoskopischen Disparitätsschätzung die 3D-Bilddaten beziehungsweise die Tiefenkarte des Raumbereichs 12. Der gesamte erfassbare Raumbereich 12 oder auch Arbeitsbereich kann über eine Konfiguration eingeschränkt werden, beispielsweise um störende oder nicht notwendige Bereiche auszublenden.
Eine wichtige sicherheitstechnische Anwendung der Stereokamera 10 ist die Überwachung einer Maschine 26, die in der 1 durch einen Roboter symbolisiert ist. Die Maschine 26 kann auch wesentlich komplexer sein als gezeigt, aus vielen Teilen bestehen oder sogar eigentlich eine Anordnung mehrerer Maschinen sein, etwa mehrerer Roboter oder Roboterarme. Vorzugsweise wird die gefahrbringende Maschine 26 für die Auswertung als mindestens eine fixe oder wechselnde Gefahrenstelle modelliert. Eine Gefahrenstelle ist ein Raumbereich, in dem die Maschine 26 in einem jeweiligen Zeitabschnitt Arbeitsbewegungen ausführt, oder etwas allgemeiner ein Raumbereich, der zum Schutz vor Verletzungen durch die Arbeitsbewegungen von Personen nicht berührt werden darf. Eine Gefahrenstelle kann die Maschine 26 oder Teilbereiche der Maschine 26 mit etwas Abstand umgeben, um den Arbeitsbewegungen ausreichend Spiel zu lassen und um Gefahrenstellen durch einfache geometrische Körper wie Quader oder Kugeln darstellen zu können. Ebenso denkbar sind fest konfigurierte, auf Anwesenheit zu überwachende Raumbereiche ode rSchutzfelder.
Eine bevorzugte Auswertung ist eine Abstandsüberwachung beispielsweise für eine Mensch-Roboter-Kollaboration unter Berücksichtigung von DIN EN ISO 10218 beziehungsweise ISO/TS 15066. Dabei werden mit Hilfe der Bilddaten der Stereokamera 10 die Objekte 28 erfasst. Eine vorteilhafte Darstellungsform der Objektdetektionen ist eine 2D-Detektionskarte, deren Pixel an Positionen, in denen ein Objekt 28 einer Mindestgröße erfasst wurde, der dazu gemessene Entfernungswert eingetragen ist, und die sonst leer bleibt. Mit Hilfe dieser Objektdetektionen, die natürlich auch anders repräsentiert sein können, wird der kürzeste Abstand eines Objekts 28 zu der Maschine 26 beziehungsweise einer für die Maschine 26 erzeugten Gefahrenstelle berechnet.
Der kürzeste Abstand wird über eine sichere Schnittstelle 30 an eine Steuerung ausgegeben, entweder direkt an die Steuerung der Maschine 26 oder an eine Zwischenstation wie eine sichere Steuerung. In der Steuerung wird der kürzeste Abstand ausgewertet. Im Gefährdungsfall wird eine sicherheitsgerichtete Reaktion eingeleitet, um beispielsweise die Maschine 26 anzuhalten, abzubremsen oder ausweichen zu lassen. Ob dies erforderlich ist, kann neben dem kürzesten Abstand von weiteren Bedingungen wie den Geschwindigkeiten oder der Beschaffenheit von Objekt 28 und dem Maschinenbereich 26 der drohenden Kollision abhängen. Die Sicherheitsbewertung kann alternativ in der Steuer- und Auswertungseinheit 24 selbst erfolgen.
Eine Sicherheitsanwendung wie beschrieben, basierend auf einem kürzesten Abstand, ist auch nur ein Beispiel, es sind andere Sicherheitskonzepte denkbar. Die Erfindung befasst sich mit der Bewertung der Bildqualität und dem Rauschverhalten, nicht der konkreten Form der sicheren Kamera zur Erzeugung der Bilddaten oder der nachgelagerten Auswertung zur Objektdetektion und sicherheitsgerichteten Bewertung. Die erfindungsgemäße Bildbewertung als eine Maßnahme, um eine sichere Kamera wie die Stereokamera 10 insgesamt fehlersicher im Sinne von einschlägigen Sicherheitsnormen auszulegen, wird nun unter Bezugnahme auf die 2 und 3 genauer erläutert. Diese Beschreibung lehnt sich an eine Stereokamera 10 an. Zumindest die Bewertung eines Pixels, die zu 3 erläutert wird, ist aber auch für Kameras anwendbar, die nicht als Stereokamera 10 ausgebildet sind.
2 zeigt ein vereinfachtes Flussdiagramm für die Bewertung der Bildqualität in der Auswertungseinheit 24 der Stereokamera 10. Ausgangspunkte sind das linke Bild 32 und das rechte Bild 34 der beiden Kameramodule 14a, 14b. Daraus wird zum einen mit einem hier nicht im Detail beschriebenen Stereoalgorithmus eine Disparitätskarte 36 erzeugt. Die Disparitätskarte 36 enthält in ihren Pixeln eine jeweilige Disparität und damit eine Information, wie weit durch die unterschiedlichen Perspektiven der Kameramodule 14a, 14b, zueinander korrespondierende Merkmale im linken Bild 32 und im rechten Bild 34 zueinander verschoben sind. Die Merkmalskorrespondenzen werden vorzugsweise durch eine Korrelation gefunden, wobei Korrelationen zur Aufwandsbegrenzung nicht über das gesamte Bild, sondern nur in korrespondierenden Zeilen des linken und rechten Bildes gesucht werden. Aus der Disparitätskarte 36 kann die eigentlich gesuchte Tiefenkarte 38 erzeugt werden, indem die Disparitäten anhand von Kameraparametern wie dem Basisabstand zwischen den beiden Kameramodulen 14a, 14b in Tiefenwerte oder Abstände zu dem jeweiligen Bildmerkmal oder Objektpunkt umgerechnet sind. Die Erzeugung von Disparitätskarte 36 und Tiefenkarte 38 erfolgt zunächst ohne Bewertung des Rauschverhaltens mit den aufgenommenen Bildern. Allerdings ist eine optionale Vorfilterung mit Glättung, Verzeichnungs- oder Geometriekorrektur und dergleichen denkbar.
Die Messgenauigkeit der Tiefenkarte 38 wird in dieser Ausführungsform über die Qualität der Eingangsdaten analysiert. In einer jeweiligen Rauschanalyse 40, 42 wird ein geeignetes Rauschmaß wie ein Signal-Rauschverhältnis (SNR, Signal-to-noise ratio) und/oder ein Kontrast-Rauschverhältnis (CNR, Contrast-to-noise ratio) getrennt für das linke Bild 32 und das rechte Bild 34 berechnet. Diese Bewertung erfolgt nicht global, sondern lokal je Pixel über eine Bewertung von dessen Nachbarschaft, die später anhand der 3 genauer erläutert wird. Dabei ist die jeweils berücksichtigte Nachbarschaft, also die Größe der Analysefenster, vorzugsweise so groß gewählt, dass mindestens das zur Tiefenkartenerzeugung verwendete Korrelationsfenster umfasst wird. Nach der Rauschanalyse 40, 42 sind diejenigen Pixel markiert, die von der Bildbewertung als ungültig angesehen werden, wo also die ausreichende Messgenauigkeit nicht garantiert werden kann.
Die Tiefenkarte 38 ist bereits dort nicht verlässlich, wo die zugrundeliegende Disparität mit einem unzuverlässigen Pixel in nur einem Eingangsbild 32, 34 bestimmt wurde. Daher werden die unzulässigen Pixel vorzugsweise konsolidiert. In einer Umrechnung 44 werden die im rechten Bild 34 gefundenen ungültigen Pixel verschoben, damit deren Position zu dem linken Bild 32 passt. Die jeweils erforderliche Verschiebung ist gerade die Disparität aus der Disparitätskarte 36 an der jeweiligen Pixelposition, denn die Disparitätskarte 36 gibt die jeweilige ermittelte Verschiebung zwischen linkem Bild 32 und rechtem Bild 34 an. Anstelle dieser links-zentrierten Umrechnung könnten natürlich ebenso in einer rechts-zentrierten Umrechnung die ungültigen Pixel des linken Bildes 32 passend zu dem rechten Bild 34 verschoben werden, oder es wird eine mittenzentrierte Disparität berechnet. Es ist denkbar, dass die Disparitäten beziehungsweise die Tiefenkarte in einer anderen Auslösung vorliegen als die Eingangsbilder 32, 34, und in diesem Fall erfolgt eine Auflösungsanpassung. Nach der Umrechnung 44 findet eine Kombination 46 statt, in der nun sowohl die im linken Bild 32 wie auch die im rechten Bild 34 gefundenen ungültigen Pixel markiert sind.
Die Positionen der ungültigen Pixel entsprechen unmittelbar denjenigen in der Tiefenkarte, so dass die ungültigen Pixel nun auf die gefilterte Tiefenkarte 48 übertragen werden. In der gefilterten Tiefenkarte 48 sind jetzt diejenigen Pixel markiert, bei denen die Messunsicherheiten zu groß sind, um deren Wert als zuverlässig ansehen zu können, weil im linken Bild 32 und/oder im rechten Bild 34 ein zu niedriges Signal-Rauschverhältnis beziehungsweise Kontrast-Rauschverhältnis bestimmt wurde.
Es besteht nun noch die Möglichkeit, dass aufgrund einer fehlerhaften Korrelation in der Disparitätskarte 36 ein falscher Disparitätswert für ein Pixel ermittelt wurde. Das hat zur Folge, dass bei der Umrechnung 44 ein ungültiges Pixel falsch zugeordnet und demnach auch in der gefilterten Tiefenkarte 48 falsch markiert ist.
Deshalb wird vorzugsweise parallel zu den Rauschanalysen 40, 42 der Einzelbilder 32, 34 auch noch die Qualität der Korrelation bei der Suche nach korrespondierenden Merkmalen bewertet. Die Korrelationsbewertung 50 ist hier der Tiefenkarte 38 zugeordnet, obwohl das Korrelationsmaß eigentlich bei der Bestimmung der Disparitäten bestimmt wird, weil es hier konzeptionell darum geht, Tiefenwerte als ungültig zu markieren. Die gefilterte Tiefenkarte 48 enthält somit in dieser bevorzugten Ausführungsform mit zusätzlicher Korrelationsbewertung 50 ungültige Pixel, die auf zwei unterschiedlichen Wegen gefunden wurden, nämlich durch Rauschanalysen 40, 42 und Korrelationsbewertung 50. Es wäre alternativ sogar denkbar, überhaupt nur die Korrelationsbewertung 50 vorzunehmen, aber dann werden die Rauscheinflüsse nur implizit und nicht selektiv aufgedeckt. Das erschwert die Diagnose und Spezifizierung, außerdem ist es zuverlässiger, wenn das Rauschen als eigene Ursache untersucht und behandelt wird.
Wie nun mit den ungültigen Pixeln in der gefilterten Tiefenkarte 48 umgegangen wird, ist Sache der nachgelagerten Objekterfassung und sicherheitstechnischen Verarbeitung. Jedenfalls muss nicht sofort sicherheitsgerichtet reagiert werden, nur weil ein globales Rauschmaß übertroffen oder ein globales Kontrastmaß unterschritten ist, so dass eine verbesserte Verfügbarkeit möglich ist. Beispielsweise können einzelne ungültige Pixel oder ganze Nachbarschaften beziehungsweise Bereiche ausgeblendet werden, solange sie kleiner sind als das Detektionsvermögen. Bei größeren betroffenen Bereichen wird eine sicherheitsgerichtete Reaktion eingeleitet, die mit einem Diagnosehinweis verbunden sein kann, warum dies geschieht.
3 zeigt eine sehr schematische Darstellung eines aufgenommenen Bildes 52 zur Erläuterung eines Analysefensters 54 als Nachbarschaft eines zu bewertenden Pixels (x,y). Daran wird eine beispielhafte Implementierung der Bewertung des Pixels (x,y) anhand eines Signal-Rauschverhältnisses beziehungsweise Kontrast-Rauschverhältnisses erläutert.
Als Hilfsgröße wird jeweils das Maximum I_max und das Minimum I_min der Grauwert-Intensitäten / innerhalb des Analysefensters 54 berechnet: $I_{min} (x, y) = min_{j = - m \dots m} min_{k = - n \dots n} I (x + j, y + k)$
$I_{max} (x, y) = max_{j = - m \dots m} max_{k = - n \dots n} I (x + j, y + k)$
Das Analysefenster hat dabei die Größe (2m + 1) × (2n + 1) Pixel mit m, n > 0, wobei die Größe nach oben nicht etwa erst durch die Auflösung des Bildes 52 begrenzt ist, sondern nur eine Nachbarschaft betrachtet wird, die beispielsweise so groß wie oder nur etwas größer als das Korrelationsfenster des Stereoalgorithmus' ist.
Aus der einleitend genannten EMVA-Norm 1288 lässt sich hiermit ein Kontrast-Rauschverhältnis herleiten: ${CNR}_{dB} (x, y) = 20 {log}_{10} \frac{I_{max} (x, y) - I_{min} (x, y)}{K * \sqrt{σ_{d}^{2} + {DSNU}^{2} + σ_{q}^{2} {/K}^{2} + \frac{I_{min} (x, y)}{K} + {(\frac{{PRNU I}_{min} (x, y)}{K})}^{2}}} .$
Dabei bezeichnet $σ_{d}^{2}$
die Varianz des Dunkelrauschens, $σ_{q}^{2}$
die Varianz des Quantisierungsrauschens und K einen Verstärkungsfaktor des Gesamtsystems. DSNU (Dark Signal Non-Uniformity) und PRNU (Photo Response Non-Linearity) sind Terme für ein bestimmtes Rauschmuster des verwendeten Bildsensors (FPN, Fixed Pattern Noise). Grundgedanke dieser Formel ist, dass die Verteilungsfunktion des Rauschens bekannt ist und dieses entweder, wie $σ_{d}^{2} und σ_{q}^{2},$
einen konstanten Wert hat oder sich aus der Intensität ableiten lässt.
Einzelne Summanden im Nenner dieser Formel können vernachlässigt werden, wenn deren Einfluss gering ist. Dies kann für das Dunkelrauschen durch die Überprüfung eines Rauschmaßes auf abgedunkelten Pixeln sichergestellt werden. Dazu wird beispielsweise ein Bereich des Bildsensors 16a-b abgeschirmt, oder es werden Pixel gezielt geschwärzt. Das Signal abgedunkelter Pixel enthält keinen durch Empfangslicht erzeugten Anteil, so dass sich aus dessen Beobachtung ein Rauschmaß ermitteln lässt, etwa in Form von Minimal- und Maximalwerten, Mittelwert und/oder Varianz über eine Folge von Bildern. Bei zyklischer Berechnung der Varianz ist besonders vorteilhaft, den für die Berechnung der Varianz erforderlichen Mittelwert aus einem vorangegangenen Zyklus zu verwenden. Dadurch müssen nicht sämtliche Messwerte zwischengespeichert werden, was eine Implementierung auf einem ASIC oder FPGA erleichtert. Eine andere speichersparende Alternative ist, fortlaufend Summen und Quadratsummen von Messwerten zu bilden, aus denen Mittelwert und Varianz berechnet werden.
Da das Rauschen räumlich nicht korreliert ist, kann das Rauschmaß auch dadurch gewonnen werden, dass die Standardabweichung über eine Vielzahl von Pixeln innerhalb eines Bildes oder Bildbereiches berechnet wird. Diese räumliche Bestimmung wird in der EMVA-Norm 1288 erläutert. Sie erfolgt zweckmäßigerweise nach Subtraktion von zwei aufeinander folgenden Bildern oder Bildbereichen, um etwaige konstante Störeinflüsse zu reduzieren. Soll das Rauschmaß ausschließlich auf einem Bild berechnet werden, ist es sinnvoll, vorab pixelweise einen konstanten Versatz (FPN, Fixed Pattern Noise) zu bestimmen und diesen vor der Berechnung des räumlichen Rauschens zu subtrahieren. Auch das minimiert konstante Störeinflüsse.
Bietet der Bildsensor 16a-b getrennte Kanäle für die Signalkonvertierung an, beispielsweise in Form mehrerer Analog-Digital-Konverter, dann kann das Rauschmaß für jeden Kanal getrennt bewertet werden, indem jeweils die an einen Kanal angeschlossenen Pixel berücksichtigt werden, vorzugsweise in zeilen- oder spaltenweiser Auswertung. Dadurch wird ein stärkeres Rauschen in einem Kanal nicht durch die Verrechnung mit anderen Kanälen überdeckt und deshalb die Sensitivität gegenüber Einzeldefekten erhöht.
Für den bevorzugt betrachteten Fall, dass das Dunkelrauschen beherrscht wird und der Anteil des Schrotrauschens des Fremdlichtes relevant ist, reduziert sich die Formel auf: ${CNR}_{dB} (x, y) = 20 {log}_{10} \frac{I_{max} (x, y) - I_{min} (x, y)}{\sqrt{I_{min} (x, y)}} .$
Da die Berechnung der Quadratwurzel aufwendig ist, kann auch eine vereinfachte Formel verwendet werden: ${CNR}_{dB} (x, y) = 20 {log}_{10} (\frac{I_{max} (x, y) - I_{min} (x, y)}{I_{min} (x, y)})$
Da der Nenner hierdurch größer wird (I_min>1), werden Pixel eher als Ungültig markiert, was im Sinne der Sicherheit kein Problem darstellt. Da der Logarithmus eine monotone Funktion ist, kann stattdessen auch der nochmals einfachere Term $\frac{I_{max} (x, y) - I_{min} (x, y)}{I_{min} (x, y)}$
betrachtet werden.
Daraus wird das Signal-Rauschverhältnis analog vereinfacht ermittelt zu ${SNR}_{dB} (x, y) = 20 {log}_{10} (I_{max} (x, y) {/I}_{min} (x, y))$
Auch hier kann selbst oder stellvertretend wegen der Monotonie des Logarithmus der Term $I_{max} (x, y) {/I}_{min} (x, y)$
betrachtet werden.
Diese Werte für das Signal-Rauschverhältnis beziehungsweise das Kontrast-Rauschverhältnis werden nun beispielsweise mit einer Schwelle verglichen, die sie für eine ausreichende Verlässlichkeit nicht unterschreiten dürfen, ansonsten wird das Pixel (x,y) als ungültig markiert. Der erforderliche Schwellwert wird beispielsweise durch eine Systemsimulation des Bildsensors 16a, 16b oder empirisch insbesondere durch Korrelation mit Rauschen der Tiefenkarte bestimmt oder mittels EMVA-Charakterisierung etwa nach der einleitend genannten EMVA-Norm 1288 berechnet. Die Bewertung wird dann für das nächste Pixel fortgesetzt, vorzugsweise für alle Pixel des Bildes 52 oder zumindest diejenigen, die sicherheitsrelevanten Teilen des Raumbereichs 12 entsprechen.
Für eine robustere Schätzung kann statt des Minimums beziehungsweise Maximums der Intensität in dem Analysefenster 54 auch der zweithöchste beziehungsweise zweitniedrigste Wert oder allgemein der k-höchste beziehungsweise k-niedrigste Wert verwendet werden, sei es direkt oder durch Gewichtung verschiedener k-höchster beziehungsweise k-niedrigster Werte. Dadurch werden Ausreißer ignoriert beziehungsweise geringer gewichtet und einzelne Bildsensorfehler toleriert.
Weiterhin ist möglich, nicht nur einzelne Aufnahmen von Bildern zu bewerten, sondern mehrere Aufnahmen (Frames) statistisch auszuwerten. Prinzipiell kann dabei auch das Rauschen der Tiefenkarte 38 bewertet werden und nicht (nur) dasjenige in dem linken Bild 32 und dem rechten Bild 34.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2842104 B1 [0010]
US 2017/0195605 A1 [0011]
WO 2017/079458 A1 [0012]

Zitierte Nicht-Patentliteratur

EN ISO 13849 [0003]
Geissler, Alexander, et al. „Contrast-to-noise ratio (CNR) as a quality parameter in fMRI.“ Journal of Magnetic Resonance Imaging 25.6 (2007): 1263-1270 [0009]
DIN EN ISO 10218 [0038]

Claims

Sichere Kamera (10) mit mindestens einem Bildsensor (16a, 16b) zur Aufnahme von Bilddaten (52) eines Überwachungsbereichs (12) und mit einer Auswertungseinheit (24), die dafür ausgebildet ist, Rauscheinflüsse auf die Bilddaten (52) zu bewerten, um eine für eine sichere Erfassung von Objekten (28) ausreichende Bildqualität zu gewährleisten, dadurch gekennzeichnet, dass die Auswertungseinheit (24) dafür ausgebildet ist, ein Pixel (x,y) als ungültig zu bewerten, wenn in einem Analysefenster (54) in einer Umgebung des Pixels (x,y) Rauscheinflüsse zu groß werden.
Kamera (10) nach Anspruch 1, wobei die Auswertungseinheit (24) dafür ausgebildet ist, Rauscheinflüsse anhand eines Signal-Rauschverhältnisses und/oder eines Kontrast-Rauschverhältnisses zu bewerten, insbesondere durch einen Vergleich mit einem Schwellwert.
Kamera (10) nach Anspruch 1 oder 2, wobei die Auswertungseinheit (24) dafür ausgebildet ist, für die Bewertung ein Intensitätsminimum (I_max) und ein Intensitätsmaximum (I_min) in dem Analysefenster (54) zu bestimmen.
Kamera (10) nach Anspruch 3, wobei die Auswertungseinheit (24) dafür ausgebildet ist, das Signal-Rauschverhältnis aus einem Quotienten (I_max/I_min) von Intensitätsmaximum (I_max) und Intensitätsminimum (I_min) und/oder das Kontrast-Rauschverhältnis aus einem Quotienten ((I_max- I_min)/I_min) zu bestimmen, der aus der Differenz (I_max- I_min) von Intensitätsmaximum (I_max) und Intensitätsminimum (I_min) und dem Intensitätsminimum (I_min) gebildet ist.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, für die Bewertung mindestens einen zweithöchsten und/oder zweitniedrigsten Intensitätswert in dem Analysefenster (54) zu bestimmen.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, bei der Berechnung eines Signal-Rauschverhältnisses und/oder Kontrast-Rauschverhältnisses den Einfluss von Quantisierungsrauschen und/oder Dunkelrauschen zu ignorieren.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, mittels mindestens eines abgedunkelten Pixels des Bildsensors (16a-b) ein Rauschmaß für das Dunkelrauschen zu bestimmen und mit einem oberen Schwellwert zu vergleichen.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, die Bilddaten zyklisch zur Laufzeit zu bewerten, insbesondere für jede Aufnahme oder zumindest einmal je Ansprechzeit.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, mehrere Bildaufnahmen statistisch zu bewerten.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Kamera eine Stereokamera mit zwei Bildsensoren (16a, 16b) zur Aufnahme zweier Bilder (32, 34) aus versetzter Perspektive ist, deren Auswertungseinheit (24) für ein Stereoskopieverfahren ausgebildet ist, bei dem aus den beiden Bildern (32, 34) anhand von Merkmalskorrespondenzen Disparitäten geschätzt werden, wobei vor dem Stereoskopieverfahren Rauscheinflüsse beider Bilder (32, 34) einzeln bewertet (40, 42) und dann die dabei als ungültig bewerteten Pixel auf Basis der geschätzten Disparitäten einander zugeordnet (44, 46) werden.
Kamera (10) nach einem der vorhergehenden Ansprüche, wobei die Auswertungseinheit (24) dafür ausgebildet ist, ein sicheres Ausgangssignal (30) für eine sicherheitsgerichtete Reaktion zu erzeugen, wenn zu viele Pixel als ungültig bewertet sind.
Verfahren zur sicheren Aufnahme und Auswertung von Bilddaten (52) eines Überwachungsbereichs (12), bei dem Bilddaten (52) aufgenommen und Rauscheinflüsse auf die Bilddaten (52) bewertet werden, um eine für eine sichere Erfassung von Objekten (28) ausreichende Bildqualität zu gewährleisten, dadurch gekennzeichnet, dass ein Pixel (x, y) der Bilddaten (52) ungültig bewertet wird, wenn in einem Analysefenster (54) in einer Umgebung des Pixels (x, y) Rauscheinflüsse zu groß werden.