-
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach dem Oberbegriff von Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor. Die Trainingsdaten entstehen aus Bilddaten eines Überwachungsbereichs einer Sicherheitsanwendung.
-
Derartige Sicherheitsanwendungen dienen dazu, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.
-
Herkömmlich werden vor allem optoelektronische Sensoren wie Lichtgitter oder Laserscanner für eine sicherheitstechnische Überwachung eingesetzt. In jüngerer Zeit treten 3D-Kameras hinzu. Ein gängiges Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus. Andere Eingriffe in das Schutzfeld, beispielsweise durch statische Maschinenteile, können vorab als zulässig eingelernt werden. Oft sind den Schutzfeldern Warnfelder vorgelagert, wo Eingriffe zunächst nur zu einer Warnung führen, um den Schutzfeldeingriff und damit die Absicherung noch rechtzeitig zu verhindern und so die Verfügbarkeit der Anlage zu erhöhen. Es sind auch Alternativen zu Schutzfeldern bekannt, etwa darauf zu achten, dass zwischen Maschine und Person ein von der Relativbewegung abhängiger Mindestabstand eingehalten ist („speed and separation“).
-
In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile, insbesondere einer Frontscheibe, und/oder Vorsehen von einzelnen Testzielen mit definierten Reflexionsgraden, die unter den entsprechenden Scanwinkeln erkannt werden müssen.
-
Prinzipiell wäre es wünschenswert, die aufwändigen Sicherheitssensoren durch übliche 2D-Kameras mit Bildauswertung zu ersetzen. Das würde die Hardwarekosten reduzieren, das Einrichten einer Sicherheitsanwendung vereinfachen und die Flexibilität erhöhen. Bislang scheitert dies aber daran, dass eine den Sicherheitsnormen entsprechende zuverlässige Bildauswertung allenfalls für Spezialfälle möglich ist, und dann auch nur unter erheblichen Aufwänden für die Entwicklung der Auswertungsverfahren und deren sicherheitstechnische Zulassung.
-
In den letzten Jahren wurden ganz unabhängig von der Sicherheitstechnik erhebliche Fortschritte auf dem Gebiet der künstlichen neuronalen Netze erzielt. Diese Technologie erreicht breite Anwendungsreife durch neue Architekturen der neuronalen Netze („Deep Learning“) und durch die stark gestiegene verfügbare Rechnerleistung insbesondere in Form von modernen Grafikprozessoren. Eine wichtige Herausforderung bei der Verwendung neuronaler Netze zur Situationsbewertung und Problemlösung ist die Notwendigkeit des Anlernens des neuronalen Netzes mit repräsentativen Trainingsdaten. Bevor das neuronale Netz die gestellte Aufgabe zuverlässig erledigen kann, muss es mit vergleichbaren Situationen und deren vorgegebener Bewertung konfrontiert werden. Anhand dieser Beispielszenen lernt das neuronale Netz das richtige Verhalten. Um einen repräsentativen Datensatz zugrunde legen zu können, müssen sehr viele solcher Szenen erfasst und manuell bewertet werden. Die Beschaffung dieser Datensätze stellt einen sehr großen Aufwand dar.
-
Die
EP 2 527 868 B1 offenbart einen Laserscanner mit einem Speicher für Abschaltereignisse und einer Diagnoseeinheit, um sie zu klassifizieren. Das soll dabei helfen, die Verfügbarkeit zu erhöhen, indem immer wieder auftretende Abschaltungsursachen aufgrund der Diagnose beseitigt werden. Es wird die Möglichkeit erwähnt, ein neuronales Netz zu nutzen, um Abschaltereignisse mit möglichen Abhilfemaßnahmen zu verknüpfen. Die eigentliche Sicherheitsfunktion leistet jedoch stets der Laserscanner auf herkömmliche Weise, und die
EP 2 527 868 B1 zielt auch an keiner Stelle darauf ab, daran etwas zu verändern.
-
Es ist weiterhin bekannt, eine Kamera in einen Laserscanner zu integrieren, um den Scanbereich und die im realen Überwachungsbereich unsichtbaren virtuellen Schutzfelder zu visualisieren. Auch hier bleibt die eigentliche Sicherheitsfunktion allein die Domäne des Laserscanners.
-
Die
EP 2 770 459 B1 offenbart einen optoelektronischen Codeleser und ein Verfahren zur Diagnose und Verbesserung des Leseverhaltens. Dabei werden unter bestimmten Bedingungen Bilder eines Lesevorgangs und der Rahmenbedingungen gespeichert und in einer Datenbank gesammelt. Mit Hilfe der Datenbank kann dann anschließend ein verbesserter Decoder entwickelt werden. Mit Sicherheitstechnik hat die
EP 2 770 459 B1 nichts zu tun.
-
Es ist daher Aufgabe der Erfindung, die sicherheitstechnische Überwachung zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren zum Erzeugen von Trainingsdaten für ein künstliches neuronales Netz nach Anspruch 1 sowie einen entsprechenden optoelektronischen Sensor nach Anspruch 10 gelöst. In einer Sicherheitsanwendung wird wie einleitend erläutert eine Gefahrenquelle von mindestens einem sicheren Sensor überwacht. Der Sensor löst bei Erkennung einer Gefahr eine sicherheitsgerichtete Reaktion aus. Aus dem Überwachungsbereich werden Bilddaten aufgenommen.
-
Die Erfindung geht nun von dem Grundgedanken aus, die Bilddaten als Trainingsdaten für ein künstliches neuronales Netz zu nutzen. Für die Bilddaten liegt nämlich bereits eine hochwertige sicherheitstechnische Qualifizierung vor, denn der sichere Sensor hat in der den Bilddaten entsprechenden Situation eine klare Entscheidung getroffen, ob eine Gefahr vorliegt oder nicht. Als Trainingsdaten werden Bilddaten zusammen mit einer sicherheitstechnischen Bewertung gespeichert, die aus dem Verhalten des sicheren Sensors abgeleitet ist.
-
Unter einer Sicherheitsanwendung wird hier weiter als der eigentliche Begriff auch ein Aufbau verstanden, in dem eine für eine Sicherheitsanwendung geeignete Anordnung mit mindestens einem sicheren Sensor Bilddaten eines Szenarios liefert, das einer Absicherungssituation entspricht, etwa eine Testanwendung. Es kommt für die Erfindung nicht auf eine tatsächlich bestehende Gefahr an, sondern auf nutzbare Bilddaten samt Bewertung.
-
Die Erfindung hat den Vorteil, dass ohnehin für Sicherheitsanwendungen eingesetzte, bereits vorhandene sichere Sensoren zusätzlich zur Erzeugung von klassifizierten Trainingsdatensätzen herangezogen werden. Somit entsteht automatisch ein Trainingsdatenpool, bei dem die Bewertung nicht eigens für das Training erfolgt, sondern lediglich die sicherheitstechnische Bewertung des sicheren Sensors genutzt wird, die für die Sicherheitsanwendung ohnehin stattfinden muss. So wird eine wichtige technische Voraussetzung für die Entwicklung sicherer 2D-Kamerassensoren auf Basis neuronaler Netze geschaffen. Es werden erhebliche Aufwände für die Beschaffung von Trainingsdaten und deren manuelle Klassifizierung eingespart.
-
Die Bilddaten werden vorzugsweise als sicherheitskritisch oder nicht sicherheitskritisch bewertet, je nachdem, ob der sichere Sensor zum Zeitpunkt der Aufnahme der Bilddaten eine sicherheitsgerichtete Absicherung auslöst oder nicht. In den meisten Sicherheitsanwendungen ist die wichtigste Entscheidung binär, nämlich ob eine Absicherung erfolgen muss oder nicht. Daher ist zu erwarten, dass ein neuronales Netz auch besonders gut mit einem Trainingsdatensatz mit diesen beiden Ergebniskategorien eingelernt wird. Eine sicherheitsgerichtete Absicherung zum Zeitpunkt der Aufnahme der Bilddaten bedeutet nicht zwingend eine völlig zeitliche Übereinstimmun. Es darf Abweichungen zumindest im Rahmen der Zeitauflösung von sicherem Sensor und Bilddatenerfassung geben, und möglicherweise auch gezielte zusätzliche Abweichungen.
-
In bevorzugter Weiterbildung werden noch Unterkategorien gebildet, die Trainingsdaten also in mehr Klassen unterteilt als nur in die beiden Kategorien sicherheitskritisch und nicht sicherheitskritisch. So kann eine besondere nicht sicherheitskritische Situation vorliegen, wenn zunächst ein Objekt in gefährlicher Nähe zur Gefahrenquelle erkannt wurde, die Gesamtsituation aber dennoch als unkritisch eingestuft wird, beispielsweise weil das Objekt zu klein ist oder sofort wieder verschwindet, wie im Falle eines Regentropfens. Solche Grenzfälle können sogar besonders instruktiv sein.
-
Die als Trainingsdaten gespeicherten Bilddaten weisen bevorzugt zumindest ein Bild vor und/oder ein Bild nach dem Auslösen einer sicherheitsgerichteten Absicherung durch den sicheren Sensor auf. Obwohl denkbar ist, dass nur genau ein Bild lang eine transiente sicherheitskritische Situation bestand, werden in aller Regel die Bilder nach einem Abschaltereignis weiterhin eine sicherheitskritische Situation zeigen. Die Bilder vor dem Abschaltereignis umgekehrt stammen aus nicht sicherheitskritischen Situationen, da ja der sichere Sensor vorher nicht angesprochen hat. Solche Bilddaten entsprechen wiederum Grenzfällen, die für das Einlernen und eine hohe Zuverlässigkeit des neuronalen Netzes besonders wertvoll sein können.
-
Der sichere Sensor nimmt bevorzugt auch die Bilddaten auf. Anders ausgedrückt ist der sichere Sensor selbst eine Kamera. Als sichere Kamera sind darin spezialisierte sichere Auswertungsverfahren implementiert. Ein Ziel des Speicherns von Trainingsdaten könnte dann sein, diese Auswertungsverfahren durch die generische Auswertung eines neuronalen Netzes zu ersetzen und damit Erweiterungen und Änderungen in der Sicherheitsanwendung zuzulassen. Ein anderes Beispiel ist eine sichere 3D-Kamera. Bei einer Stereoskopiekamera können die zweidimensionalen Ausgangsbilder als Bilddaten verwendet werden. Auch andere 3D-Kameras liefern ein zweidimensionales Bild, etwa eine TOF-Kamera (Time of Flight, Lichtlaufzeitverfahren), welche über die Phase des Empfangslichts die Entfernung schätzt und über die Intensität zugleich die Textur erfasst.
-
Die Bilddaten werden alternativ von einer zusätzlichen nicht sicheren Kamera aufgenommen. Es entsteht also eine Kombination aus einem sicheren Sensor für die Sicherheitsanwendung und einer nicht sicheren Kamera, welche den Überwachungsbereich zusätzlich beobachtet. Die zusätzliche Kamera kann zum Einrichten, Warten oder für sonstige Visualisierungszwecke ohnehin vorgesehen sein, aber auch speziell angebracht werden, um Trainingsdaten zu generieren. Die Mehrkosten für eine einfache Kamera sind im Vergleich zu den spezialisierten Sicherheitssensoren gering. Einige nicht abschließende Beispiele solcher Anordnungen sind ein sicherer Laserscanner mit einer nicht sicheren 3D-TOF-Kamera, allgemein ein Laserscanner oder Lichtgitter mit irgendeiner Kamera.
-
Die Trainingsdaten werden vorzugsweise an einen Server übertragen. Server steht hier als Überbegriff für jegliches Steuerungs- oder Computernetzwerk unabhängig von der konkreten Hardware und Art der Übertragung. Das ermöglicht, die Trainingsdaten aus der Ferne abzurufen. Insbesondere können auf diese Weise zahlreiche Sicherheitsanwendungen über beliebige Entfernungen zum Aufbau einer Trainingsdatenbank beitragen („Cloud“). Dabei können nach Belieben produktive Sicherheitsanwendungen und Testaufbauten einbezogen werden. Es ist denkbar, die Trainingsdaten alternativ lokal zu speichern, beispielsweise auf einem Speicherchip der Kamera.
-
Die erfindungsgemäß gewonnenen Trainingsdaten werden bevorzugt zum Trainieren eines künstlichen neuronalen Netzes genutzt. Das Einlernen wird durch die mit den Bilddaten abgespeicherte sicherheitstechnische Bewertung ermöglicht. Aufgrund des automatisierten Sammelns und Bewertens entsteht ein großer Pool von Trainingsdaten, der auch zum Einlernen komplexer Architekturen von neuronalen Netzen geeignet ist.
-
Das künstliche neuronale Netz wird bevorzugt zur Überwachung einer Gefahrenquelle darauf trainiert, anhand von Bilddaten des Überwachungsbereichs zu erkennen, ob eine gefährliche Situation vorliegt, die eine sicherheitsgerichtete Absicherung der Gefahrenquelle erfordert. Die Funktion des neuronalen Netzes ist also, die sicherheitstechnische Bewertung zu übernehmen. Dabei geht es aber nicht nur darum, die Funktion des sicheren Sensors zu reproduzieren. Vielmehr ist die Besonderheit eines neuronalen Netzes, auch Situationen bewerten zu können, die nicht explizit eingelernt werden. Eine 2D-Kamera mit dem eingelernten neuronalen Netz ist daher sogar flexibler einsetzbar als die einzelnen sicheren Sensoren, mit deren Hilfe der Trainingsdatenpool aufgebaut wurde. Die Entscheidung des neuronalen Netzes muss nicht binär sein, denn auch die Absicherungsmaßnahme kann abgestuft sein, etwa warnen, langsamer werden, ausweichen und nur als letzter Ausweg ein Nothalt.
-
Bevorzugt wird nach dem Trainieren anhand von Trainingsdaten die Zuverlässigkeit der Erkennung nachgewiesen. Der sicherheitstechnische Nachweis der Zuverlässigkeit ist ein wichtiger Schritt für eine sicherheitstechnische Zulassung. Das neuronale Netz muss sicherheitskritische Situationen mit einer Verlässlichkeit entsprechend einer angestrebten Sicherheitsstufe erkennen. Statt oder zumindest in Erleichterung eines mühsamen statistischen Nachweises vor Ort im Testbetrieb können Trainingsdaten verwendet werden. Dazu werden vorzugsweise andere Teile der Trainingsdaten herangezogen als für das Einlernen, um sich die Unabhängigkeit zu erhalten.
-
Der erfindungsgemäße optische Sensor ist vorzugsweise eine Kamera und dafür ausgebildet, Bilddaten aufzunehmen und daraus nach dem erfindungsgemäßen Verfahren Trainingsdaten zu erzeugen. Die Kamera weist dafür vorzugsweise eine Auswertungseinheit auf, womit eine externe Auswertungseinheit eingeschlossen sein soll. Außerdem ist vorzugsweise eine Schnittstelle vorgesehen, um die Trainingsdaten auszugeben, wobei die Schnittstelle eine Speicherkarte oder ein Anschluss für ein übergeordnetes System wie ein Netzwerk oder eine Cloud sein kann. Die Kamera kann selbst als sicherer Sensor in der Sicherheitsanwendung fungieren, oder sie wird mindestens mittelbar mit dem sicheren Sensor verbunden, um Informationen über dessen sicherheitstechnische Bewertung zu erhalten.
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
- 1 eine schematische Darstellung einer Sicherheitsanwendung mit einem Sicherheitslaserscanner und einer Kamera zur Erzeugung von bewerteten Trainingsdaten;
- 2 eine schematische Darstellung einer weiteren Sicherheitsanwendung mit einer Stereokamera als sicherem Sensor, die zugleich Bilddaten für die Erzeugung von bewerteten Trainingsdaten liefert;
- 3 ein beispielhaftes Ablaufdiagramm der Sicherheitsanwendung;
- 4 ein beispielhaftes Ablaufdiagramm der Erzeugung von Trainingsdaten unter Ausnutzung der sicherheitstechnischen Bewertung durch eine Sicherheitsanwendung; und
- 5 eine Blockdarstellung einer sicheren Kamera auf Basis eines künstlichen neuronalen Netzes.
-
5 zeigt eine Sicherheitsanwendung, in der eine sichere Kamera 100 einen Roboterarm 102 als Beispiel einer Gefahrenquelle überwacht. Die Kamera 100 kann als einfache 2D-Kamera ausgebildet sein, wobei vorzugsweise zur Einhaltung von Sicherheitsstandards Maßnahmen zur Selbstprüfung wie einleitend genannt beachtet sind. Als Auswertungseinheit fungiert ein künstliches neuronales Netz 104. Es ist darauf trainiert, sicherheitskritische Situationen zu erkennen und in solchen Fällen ein sicherheitsgerichtetes Abschaltsignal auszugeben. In der Darstellung ist die sichere Kamera 100 dafür mit einer Sicherheitssteuerung 106 verbunden, die ihrerseits mit dem Roboterarm 102 verbunden ist. Die Ansteuerung des Roboterarms 102 kann auch direkt durch die Kamera 100 erfolgen, ohne den Weg über eine Sicherheitssteuerung 106.
-
Das von der sicheren Kamera 100 aufgenommene Bild enthält ausreichend Bildinformationen für eine sicherheitstechnische Anwendung. Herkömmlich scheitert der Einsatz in der Sicherheitstechnik an fehlender Zuverlässigkeit und Geschwindigkeit der Bildauswertung. Dafür ist in der sicheren Kamera 100 das künstliche neuronale Netz 104 vorgesehen. Solche künstlichen neuronalen Netze leisten aufgrund von neuen Architekturen wie die Verwendung zahlreicher versteckter Schichten (Deep Learning) vergleichbar komplexe Aufgaben in anderen Anwendungen. Deshalb wird der konkrete Aufbau des künstlichen neuronalen Netzes 104 nicht weiter ausgeführt, sondern als an sich bekannt vorausgesetzt.
-
Derartige Architekturen bedürfen aber eines meist riesigen Vorrats an bewerteten Trainingsdaten. Außerdem muss für Sicherheitsanwendungen die Zuverlässigkeit nachgewiesen werden.
-
Erfindungsgemäß werden solche Trainingsdaten aus Sicherheitsanwendungen gewonnen, in denen sichere Sensoren beziehungsweise Sensorsysteme zugleich Bilddaten erfassen und im Rahmen der bestehenden Sicherheitsfunktion eine Bewertung der Szene vornehmen, die eine automatische Klassifizierung der Bilddaten auf Basis der sensoreigenen Sicherheitsbewertung des sicheren Sensors erlaubt. Eine Kamera zur Erfassung von Bilddaten kann ohnehin in der Sicherheitsanwendung vorhanden sein oder für die Erzeugung von Trainingsdaten ergänzt werden. Sicherheitsanwendungen werden also erweitert, um neben der eigentlichen Sicherheitsfunktion Trainingsdaten in Form von durch die Sicherheitsanwendung klassifizierten Bilddaten für eine auf neuronalen Netzen basierende sichere Kamera, beispielsweise eine sichere Kamera 100 gemäß 5 zu sammeln.
-
1 zeigt eine erste Anordnung einer Sicherheitsanwendung mit einem sicheren Laserscanner 10 und einer zusätzlichen vorzugsweise nicht sicheren Kamera 12 zur Überwachung eines Roboterarms 14 als beispielhafte Gefahrenquelle in einem Überwachungsbereich 16. Erkennt der Laserscanner 10 in seiner Überwachungsebene 18 eine gefährliche beziehungsweise sicherheitskritische Situation, so wird ein sicherheitsgerichteter Abschaltbefehl an den Roboterarm 14 ausgegeben. In 1 ist der Laserscanner 10 indirekt über eine Sicherheitssteuerung 20 an den Roboterarm 14 angeschlossen, die in anderen Ausführungsformen entfallen kann.
-
Parallel dazu nimmt die Kamera 12 Bilddaten des Überwachungsbereichs 16 auf. Diese Bilddaten werden mit Hilfe des Laserscanner 10 bewertet. Dazu ist die Kamera 12 mit dem Laserscanner 10 verbunden und erfährt auf diese Weise ständig, ob der Laserscanner derzeit die Situation im Überwachungsbereich 16 als sicherheitskritisch bewertet oder nicht. Somit kann die Kamera 12 ihre Bilddaten auf Basis der sicherheitstechnischen Bewertung des Laserscanners 10 klassifizieren. In einer anderen Ausführungsform erfolgt das Speichern und Bewerten von Bilddaten nicht in der Kamera 12, sondern einer separaten Auswertungseinheit, die mit Laserscanner 10 und Kamera 12 verbunden ist.
-
Die Kamera 12 kann Zusatzfunktionen über die reine Absicherung und Erzeugung von Bilddaten für Trainingsdaten hinaus erfüllen und dazu insbesondere als 3D-Kamera ausgebildet sein. Wie in allen Ausführungsbeispielen wird der interne Aufbau der Sensoren, wie Laserscanner 10 und Kamera 12, als bekannt vorausgesetzt, und die Erfindung ist nicht auf bestimmte Bauformen beschränkt. Gerade der Laserscanner 10 ist ohnehin rein beispielhaft und kann durch ein Lichtgitter und jeden anderen sicheren Sensor einschließlich solcher mit nicht optischem Sensorprinzip beziehungsweise Kombinationen von beliebigen Sensoren ausgetauscht werden, die gemeinsam sicher sind, da es für die Erfindung nicht darauf ankommt, auf welche Weise die Sicherheitsanwendung zu ihrer sicherheitstechnischen Bewertung gelangt.
-
Die als Trainingsdaten fungierenden bewerteten Bilddaten der Kamera 12 werden in einer Trainingsdatenbank 22 gesammelt. Da in einer Sicherheitsanwendung die allermeisten Bilder einer nicht sicherheitskritischen Situation entsprechen, sollte bevorzugt nur ein kleiner Teil der Bilddaten in der Trainingsdatenbank 22 gespeichert werden. Beispielsweise werden bewertete Bilddaten nur nach Verstreichen einer Zeitspanne, etwa einmal pro Stunde, und nach einem sicherheitskritischen Ereignis gespeichert.
-
In einer einfachen Ausführungsform ist in der Kamera 12 ein Speicherchip vorgesehen, auf dem die Trainingsdaten zwischengespeichert und hin und wieder händisch in die Trainingsdatenbank 22 übertragen werden. Im Zuge der fortschreitenden Vernetzung von Sensoren, Steuerungen und übergeordneten Netzwerken sowie der Integration cloudbasierter Services wird es aber immer üblicher, einen Sensor wie die Kamera 12 über eine entsprechende Datenschnittstelle anzuschließen. Dann wird der Rückfluss von Trainingsdaten wesentlich vereinfacht, die nicht mehr abgeholt werden müssen, sondern automatisiert an die Trainingsdatenbank 22 weitergegeben werden. Dadurch wird auch ermöglicht, die Trainingsdatenbank 22 aus einer Vielzahl von Sicherheitsanwendungen zu füllen, die im Prinzip überall auf der Welt verteilt sein können.
-
2 zeigt eine weitere Anordnung einer Sicherheitsanwendung. Dabei bezeichnen gleiche Bezugszeichen die gleichen oder einander entsprechenden Merkmale, die nicht erneut erläutert werden. Im Unterschied zu 1 ist der sichere Sensor in diesem Fall eine sichere 3D-Stereokamera 24 mit zwei einzelnen Kameras 12a-b. Eine 3D-Auswertungseinheit 26 berechnet aus den zwei Rohbildern in zueinander versetzter Perspektive der Kameras 12a-b Entfernungen und verwendet diese 3D-Informationen sowie möglicherweise bekannte Voraussetzungen der Szene zur sicherheitstechnischen Bewertung. In der Darstellung fungiert die rechte Kamera 12a als nicht sichere Kamera zur Aufnahme von Bilddaten, die bewertet und als Trainingsdaten ausgegeben werden. Ebenso könnten dazu die linke Kamera 12b oder beide Kameras 12a-b herangezogen werden. Jedenfalls muss keine zusätzliche nicht sichere Kamera eingesetzt werden, so dass der Trainingsdatensatz von bewerteten zweidimensionalen Bilddaten durch minimale Modifikation praktisch ohne Mehraufwand erstellt wird.
-
Die 1 und 2 stellen nur zwei beispielhafte Sicherheitsanwendungen dar. Es wurde schon ausgeführt, dass es für die Erfindung nicht darauf ankommt, welche Sensoren oder Kombinationen von Sensoren die sicherheitstechnische Bewertung vornehmen. Durch die Sicherheitsanwendung wird ohnehin mit einer Methode, die originär weder mit neuronalen Netzen noch deren Training zu tun hat, eine sicherheitstechnische Bewertung hoher Zuverlässigkeit durchgeführt. Indem dabei Bilddaten erfasst werden, sei es durch eine zusätzliche Kamera 12 wie in 1 oder eine schon vorhandene Kamera 12a-b wie in 2, macht die Erfindung sich diese sicherheitstechnische Bewertung zunutze, um zusätzlich zu der Sicherheitsanwendung Trainingsdaten ohne nennenswerten Zusatzaufwand zu gewinnen.
-
Durch Einbeziehen verschiedener Sicherheitsanwendungen und/oder lange Betriebsdauern entsteht eine hohe Anzahl und Vielfalt von Trainingsdatensätzen. Es ist denkbar, Testanwendungen aufzubauen, um gezielt Trainingsdaten zu erzeugen. Außerdem kann man auch einzulernenden Situationen gezielt stellen und muss nicht nur den Normbetrieb heranziehen. Dadurch lassen sich insbesondere rasch nacheinander Eingriffssituationen stellen, in denen unter kontrollieren Bedingungen der Befehl zur sicherheitsgerichteten Abschaltung nicht ausgeführt wird und das zeitraubende mühsame Wiederanfahren der Anlage entfällt. Außerdem können dies Eingriffssituationen sein, die in Bezug auf eine sicherheitstechnische Bewertung besonders schwierig oder kritisch sind, insbesondere aus Sicht des neuronalen Netzes.
-
Nach einem ähnlichen Gedankengang ist es auch möglich, die eher generischen Trainingsdaten aus einer Vielzahl von Sicherheitsanwendungen zu sortieren und zu spezifizieren. Dafür werden Trainingsdaten zusätzlich mit einer Information gespeichert, aus welcher Sicherheitsanwendung sie stammen. Dann kann das neuronale Netz differenzierter eingelernt werden. Ein Sonderfall ist, dass für eine bestimmte Anwendung eine höhere Sicherheitsstufe gewünscht ist. Dann besteht die Möglichkeit, nur Trainingsdaten dieser speziellen Anwendung für das Einlernen zu nutzen oder sogar speziell dafür zu erzeugen. Das neuronale Netz wird dann für diese Anwendung viel genauer und sicherheitstechnisch zuverlässiger entscheiden können.
-
3 zeigt ein beispielhaftes, sehr vereinfachtes Ablaufdiagramm einer Sicherheitsanwendung. Diese Schritte erfolgen vorzugsweise in dem sicheren Sensor, beispielsweise dem Laserscanner 10 oder der 3D-Stereokamera 24 beziehungsweise deren 3D-Auswertungseinheit, oder in einer angeschlossenen Sicherheitssteuerung 20 auf Basis von Rohdaten der sicheren Sensoren.
-
Dabei werden in einem Schritt S1 Daten aus dem Überwachungsbereich erfasst. In einem Schritt S2 werden die erfassten Daten ausgewertet, um zu entscheiden, ob eine sicherheitskritische Situation vorliegt. Das kann auf Basis von Schutzfeldern oder einer Überwachung von Mindestabständen geschehen, wie einleitend erläutert. In einer nicht sicherheitskritischen Situation ist der Zyklus schon beendet, und die Überwachung setzt sich mit Schritt S1 im nächsten Zyklus fort.
-
Im Falle einer sicherheitskritischen Situation wird in einem Schritt S3 eine sicherheitsgerichtete Reaktion ausgelöst, die im Beispiel der 1 und 2 den Roboterarm 14 absichert. Danach muss die Anlage in einem Schritt S4 wiederanlaufen, nachdem die gefährliche Situation bereinigt ist, ehe der nächste Zyklus mit Schritt S1 beginnt.
-
4 zeigt ein beispielhaftes Ablaufdiagramm für die Erzeugung von bewerteten Bilddaten parallel zu dem Ablauf der Sicherheitsanwendung gemäß 3. In einem Schritt 11 werden Bilddaten aufgenommen. Bei einer separaten Kamera 12 wie in 1 ist dies ein eigener Schritt. In einer Sicherheitskamera 12b wie in 2, die bereits der Sicherheitsauswertung zugrunde liegt, erfolgt der Schritt S11 implizit.
-
In einem Schritt S12 wird dann geprüft, wie die Sicherheitsanwendung die in den Bilddaten festgehaltene Situation bewertet. Dazu wird die sicherheitstechnische Bewertung aus Schritt S2 herangezogen. Das ist folglich in 1 die Bewertung des Laserscanners 10 und in 2 diejenige der 3D-Stereokamera 24 beziehungsweise von deren 3D-Auswertungseinheit 26.
-
Sofern die aktuelle Situation sicherheitskritisch ist, wird dies im beispielhaften Ablauf nach 4 zugleich als Auslöser herangezogen, die bewerteten Bilddaten in einem Schritt S13 tatsächlich als Trainingsdaten zu speichern. Dies ist ein bevorzugtes Vorgehen, denn auf die Erkennung derartiger Situationen kommt es später für das neuronale Netz an.
-
Nach einer sicherheitskritischen Situation sollte in einem Schritt S14 das Wiederanlaufen der Anlage abgewartet werden. Die bis dahin aufgenommenen Bilddaten während der Maßnahmen zum Wiederanlaufen entsprechen keiner für ein Training relevanten Situation. Der Ablauf beginnt dann wieder in einem neuen Zyklus bei Schritt S11.
-
War umgekehrt in Schritt S12 die Situation nicht sicherheitskritisch, so ist klar, dass die aktuellen Bilddaten entsprechend bewertet werden. Solche Bilddaten werden in der überwiegenden Zahl der Fälle entstehen und müssen nicht alle gespeichert werden. Daher wird in einem weiteren Schritt S15 geprüft, ob ein zyklisches Speichern beispielsweise einmal pro Stunde erfolgen soll. Ist das der Fall, werden im Schritt S13 die Bilddaten als Trainingsdaten gespeichert. Anschließend kann der Ablauf direkt wieder bei Schritt S11 beginnen, da kein Wiederanlaufen erforderlich ist. Der Ablauf kehrt auch für den neuen Zyklus zu Schritt S11 zurück, wenn die Bilddaten nicht gespeichert werden sollen.
-
Der Ablauf nach 4 ist beispielhaft. Es muss nicht zwingend so sein, dass das Vorliegen einer sicherheitskritischen Situation wie in Schritt S12 auch als Auslöser zum Speichern von Trainingsdaten genutzt wird. Auch müssen keine Bilddaten zyklisch nach Schritt S15 gespeichert werden. Besonders relevante nicht sicherheitskritisch bewertete Bilddaten erhält man beispielsweise auch unmittelbar vor einem sicherheitskritischen Ereignis. Daher kann es vorteilhaft sein, eine gewisse Historie von Bilddaten zwischenzuspeichern und dann mit den Bilddaten zu der sicherheitskritischen Situation auch Bilddaten des Zeitraums unmittelbar davor als Trainingsdaten zu speichern. Erfindungsgemäß kann jedes Bild automatisiert sicherheitstechnisch bewertet werden. Die Auswahl, welche dieser Bilder tatsächlich als Trainingsdaten übernommen werden, ist ein davon zunächst unabhängiger nachgelagerter Aspekt.
-
Das Einlernen des neuronalen Netzes ist nicht die einzige Herausforderung. Für eine sicherheitstechnische Anwendung in einer Kamera 100 wie in 5 muss auch ein Nachweis der Zuverlässigkeit geführt werden. Mangels deterministischer Beschreibung ist ein statistischer Nachweis denkbar. Dafür kann die Trainingsdatenbank 22 ebenfalls genutzt werden. Es wird dann je nach Sicherheitsstufe gefordert, dass die Bewertungen der Trainingsdatensätze mit einer gewissen Fehlerquote reproduziert werden. Dabei ist aus sicherheitstechnischer Sicht irrelevant, wenn zu viele Situationen sicherheitskritisch eingestuft werden, nicht aber für den Anwender, der unnötige Einschränkungen der Verfügbarkeit nur in sehr engem Rahmen akzeptieren wird. Vorzugsweise sollten die Datensätze vorab in Lern- und Verifikationsdaten geteilt werden, da das neuronale Netz während eines Nachweises auf die Lerndatensätze mit einer täuschend hohen Genauigkeit reagieren würde.
-
Die erfindungsgemäß gewonnenen Trainingsdaten haben demnach eine doppelte Bedeutung für eine sichere Kamera 100 auf Basis eines neuronalen Netzes 104: Sie dienen dazu, das neuronale Netz 104 einzulernen und den Nachweis zu führen, dass es mit ausreichender Verlässlichkeit arbeitet. Das erhöht den Bedarf an einer großen Anzahl verlässlich bewerteter Trainingsdaten, die erfindungsgemäß praktisch ohne Mehraufwand, fast als Abfallprodukt bestehender Sicherheitsanwendungen entstehen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2527868 B1 [0007]
- EP 2770459 B1 [0009]
