-
Die Erfindung betrifft eine Vorrichtung mit einem Bearbeitungswerkzeug zur Bearbeitung mindestens eines Arbeitsbereiches nach dem Oberbegriff des Anspruchs 1 und ein Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches mit einem Bearbeitungswerkzeug nach Anspruch 40.
-
Aus dem Stand der Technik ist aus der
DE 10 2012 219 871 A1 eine Vorrichtung zur Protokollierung von Verschraubungen bekannt. Hierbei wird, nachdem eine Schraube eindreht wurde und das Montagewerkzeug von einer Schraubposition abgehoben wurde, automatisch durch eine Digitalkamera ein Bild aufgezeichnet. Auf dem aufgezeichneten Bild ist die Schraube und deren unmittelbare Umgebung enthalten.
-
Bei der Bearbeitung des Objekts, beispielsweise durch einen menschlichen Nutzer des Bearbeitungswerkzeugs, können menschliche Fehler auftreten. Daher kann es erforderlich sein, dass die Vorrichtung Systeme zur maschinellen und/oder automatischen Qualitätssicherung umfasst, um menschliche Fehler zu verhindern, zu vermeiden und/oder zu korrigieren.
-
Der Erfindung liegt daher das Problem zugrunde, Fehler bei der Bearbeitung des mindestens einen Arbeitsbereiches zu vermeiden und die Qualität der Bearbeitung zu erhöhen.
-
Dieses Problem wird erfindungsgemäß durch eine Vorrichtung und ein Verfahren zur Bearbeitung mindestens eines Arbeitsbereiches gelöst.
-
Eine Vorrichtung zur Bearbeitung mindestens eines Arbeitsbereiches eines Objekts umfasst ein Bearbeitungswerkzeug. Eine derartige Bearbeitung kann beispielsweise Industriemontage und insbesondere Verschraubung und Vernietung an einem Objekt wie einem Fahrzeug sein, ist jedoch nicht darauf begrenzt. Das Bearbeitungswerkzeug kann in einer Ausgestaltung durch ein Montagewerkzeug, wie einen Industrieschrauber, ein Handmontagegerät, einen Pistolenschrauber, eine Nietpistole, ein Klammergerät, ein Bohrgerät, ein Axialschrauber oder einen Winkelschrauber gebildet sein.
-
An dem Bearbeitungswerkzeug sind eine Bildaufnahmevorrichtung, beispielsweise ein Kameramodul, zur Erzeugung von mindestens einem Bild des mindestens einen Arbeitsbereiches und mindestens ein Sensor, beispielsweise ein Inertialsensor, zur Erzeugung von Sensordaten während der Bearbeitung des mindestens einen Arbeitsbereiches angeordnet.
-
Das mindestens eine Bild und die Sensordaten können zur dynamischen Identifikation von Arbeitsbereichen oder Arbeitspunkten, an denen das Bearbeitungswerkzeug auf den Arbeitsbereich einwirkt nutzbar sein. Das mindestens eine Bild kann hierbei den Arbeitsbereich, einen Ausschnitt des Arbeitsbereiches mit dem Arbeitspunkt und, optional, zusätzlich einen Abschnitt, beispielsweise eine Werkzeugspitze, des Bearbeitungswerkzeugs zeigen. Das mindestens eine Bild kann beispielsweise ein Wärmebild oder eine 2-D oder 3-D Aufnahme oder Darstellung sein. Insbesondere kann das mindestens eine Bild eine Topographie der Oberfläche des mindestens einen Arbeitsbereiches sein. Das mindestens eine Bild kann auch durch Abtastung der Oberfläche erzeugbar sein. In einer Ausgestaltung kann die Abtastung lichttechnisch erfolgen. Zur Abtastung kann beispielsweise Ultraschall- oder Laserabtastung verwendet werden. Insbesondere können zur Abtastung ein Laserscanner oder eine Time-of-Flight-Kamera verwendet werden.
-
Selbstverständlich können das mindestens eine Bild und/oder die Sensordaten vor und/oder nach der Bearbeitung des mindestens einen Arbeitsbereiches erzeugbar sein. In einer Ausgestaltung sind das mindestens eine Bild und/oder die Sensordaten bei Annäherung des Bearbeitungswerkzeugs an den mindestens einen Arbeitsbereich erzeugbar. Denkbar und möglich ist es auch, dass das mindestens eine Bild in Abhängigkeit der Sensordaten erzeugbar ist. Beispielsweise kann die Erzeugung des mindestens einen Bildes durch die Erzeugung bestimmter Sensordaten oder eines bestimmten Musters von Sensordaten beginnen oder enden. Umgekehrt kann auch die Erzeugung von Sensordaten in Abhängigkeit des mindestens einen Bildes erfolgen. Beispielsweise kann ein bestimmtes Bild oder ein bestimmtes Muster auf einem Bild die Erzeugung von Sensordaten durch den mindestens einen Sensor starten oder beenden.
-
In einer Ausgestaltung mit einem durch einen Industrieschrauber gebildeten Bearbeitungswerkzeug kann beispielsweise ein als eine Schraubsteuerung ausgebildeter Sensor messen, ob ein korrekter Drehwinkel erreicht wurde. Somit können beispielsweise fehlerhafte Drehwinkel messbar sein. Bei der Bearbeitung einer Vielzahl von Arbeitsbereichen können für jeden Arbeitsbereich die Drehwinkel durch die Schraubsteuerung messbar sein. In einer weiteren Ausgestaltung kann der mindestens eine Sensor durch eine inertiale Messeinheit (IMU), einen Lagesensor, einen akustischen Sensor, einen Ultraschallsensor, einen Beschleunigungssensor, einen Vibrationssensor, der insbesondere ein Spiel einer Werkzeugkomponente, insbesondere beim Start der Bearbeitung des Objekts durch das Bearbeitungswerkzeug, detektieren kann, einen Abstandssensor, insbesondere eine time-of-flight(TOF)-Kamera, einen QR-Code Scanner, einen Barcode Scanner oder einen Magnetfeldsensor gebildet sein. Der mindestens eine Magnetfeldsensor kann insbesondere anhand des Erdmagnetfeldes die Position und/oder Lage des Bearbeitungswerkzeugs relativ zu dem Objekt und/oder des Arbeitsbereiches bestimmen. Hierbei kann der Magnetfeldsensor ausnutzen, dass unterschiedliche Arbeitsbereiche das Erdmagnetfeld lokal unterschiedlich modifizieren, also eine Signatur im Erdmagnetfeld aufweisen. Selbstverständlich ist eine Vielzahl von Sensoren denkbar und möglich, die unterschiedlich ausgebildet sind. Die Sensordaten können beispielsweise Ortspeilungsdaten umfassen. Die Ortspeilungsdaten können insbesondere mittels markerbasiertem Tracking oder unter Ausnutzung einer vorhandenen Funkinfrastruktur, die insbesondere drahtlose Techniken wie WLAN, Bluetooth, Ultra-Wideband oder ZigBee umfasst, erzeugbar sein.
-
Insbesondere kann also die Erzeugung des mindestens einen Bildes durch eine Abstandsmessung beginnen oder enden. Beispielsweise kann die Aufnahme des mindestens einen Bildes durch vorherige Laserentfernungsmessung gestartet werden.
-
Die Vorrichtung umfasst weiterhin eine Auswerteeinheit, beispielsweise ein Verarbeitungsgerät wie einen Industrie-PC. Die Auswerteeinheit kann eine Software umfassen, die Module für die Aufnahme, Verarbeitung und Auswertung von Bildern umfasst. Zur Auswertung weist die Auswerteeinheit ein Rechenmodell auf, das zur Auswertung des mindestens einen Bildes und der Sensordaten dienen kann. Mit dem Rechenmodell ist der mindestens eine Arbeitsbereich und/oder eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches identifizierbar. Also kann mittels der Auswertung durch das Rechenmodell der bearbeitete oder zu bearbeitende Arbeitsbereich bestimmbar sein. Die Auswerteeinheit kann also auch dazu dienen, die Umgebung systematisch und/oder statistisch anhand des mindestens einen Bildes und/oder der Sensordaten zu analysieren.
-
Weiterhin kann ein zu bearbeitender oder bearbeiteter Arbeitspunkt des mindestens einen Arbeitsbereiches durch das Rechenmodell bestimmbar sein. Zusätzlich können Vorbedingungen für die Bearbeitung des Arbeitspunktes mittels des Rechenmodells bestimmbar sein. Eine Vorbedingung ist beispielsweise die Verwendung einer Werkzeugkomponente, eines zu montierenden Bauteils und/oder eine Lage oder Position des Bearbeitungswerkzeugs. Mit dem Rechenmodell kann auch mittels des mindestens einen Bildes und/oder der Sensordaten eine relative Lage des Bearbeitungswerkzeugs zum Arbeitspunkt oder zu dem mindestens einen Arbeitsbereich bestimmbar sein.
-
Das Rechenmodell wurde mittels maschinellen Lernens anhand von Bildern von Arbeitsbereichen und Sensordaten trainiert. Das Training kann erfolgen, bevor eine Bearbeitung des Objekts zum ersten Mal durch das Bearbeitungswerkzeug erfolgt. Beim Training wird in einer Ausgestaltung in einem ersten Schritt ein Bild als Referenzbild von jedem Arbeitsbereich und/oder Arbeitspunkt aufgenommen. Insbesondere können verschiedene Situationen und Kombinationen von Bildern und Sensordaten während der Bearbeitung des mindestens einen Arbeitsbereiches aufgenommen werden. Außerdem können (repräsentative) Positionen, Lagen und/oder Winkel des Bearbeitungswerkzeugs, insbesondere Werkzeugpositionen, relativ zu dem Arbeitsbereich und/oder Arbeitspunkt aufgenommen werden.
-
In einem Ausführungsbeispiel umfasst maschinelles Lernen mindestens ein neuronales Netz, mindestens ein faltendes neuronales Netz (convolutional neural network), mindestens ein Bag-of-Words und/oder mindestens einen unkorrelierten Entscheidungsbaum (random forest). Weitere Methoden des maschinellen Lernens sind selbstverständlich denkbar und möglich.
-
In einem zweiten Schritt kann in einem Ausführungsbeispiel das Rechenmodell aus mindestens einem Bild und/oder den Sensordaten mindestens einen Klassifikator erzeugen. Der mindestens eine Klassifikator kann mindestens ein wesentliches Merkmal des mindestens einen Bildes und/oder der Sensordaten repräsentieren. Ein wesentliches Merkmal kann eine Bildinformation und/oder Sensorinformation sein, die relevanter ist als andere Bildinformationen und/oder Sensorinformationen. Ein wesentliches Merkmal kann beispielsweise ein Abschnitt des mindestens einen Bildes und/oder der Sensordaten sein, der sich von einem benachbarten Abschnitt mehr unterscheidet als andere miteinander benachbarte Abschnitte des mindestens einen Bildes und/oder der Sensordaten sich voneinander unterscheiden. Optional kann ein wesentliches Merkmal dazu dienen, einen bestimmten Arbeitsbereich aus verschiedenen Winkel, Lagen und/oder Positionen des Bearbeitungswerkzeugs und zu erkennen. Insbesondere kann ein wesentliches Merkmal auch dazu dienen, bei einer Bewegung des Bearbeitungswerkzeugs relativ zu dem bearbeiteten oder zu bearbeitenden Arbeitsbereich durch die Auswerteeinheit zu erkennen, dass der Arbeitsbereich derselbe ist, solange das wesentliche Merkmal vorhanden ist (feature tracking). Eine Bewegung des Bearbeitungswerkzeugs relativ zu dem bearbeiteten oder zu bearbeitenden Arbeitsbereich kann beispielsweise eine Änderung der Lage oder Position, insbesondere des Winkels und/oder des Abstands zu dem zu bearbeitenden Arbeitsbereich sein.
In einer Ausführung ist ein dunkler Kreis auf einer hellen Fläche ein wesentliches Merkmal des mindestens einen Bildes. Ebenso kann eine Abfolge von Bildern ein wesentliches Merkmal enthalten, das durch den mindestens einen Klassifikator repräsentierbar ist. Ebenso können Kombinationen des mindestens einen Bildes und der Sensordaten ein wesentliches Merkmal enthalten, das durch den mindestens einen Klassifikator repräsentierbar ist.
-
Insbesondere kann das Rechenmodell optisch ähnliche Arbeitsbereiche, bei denen die Bilder identisch sind, anhand der Sensordaten unterscheiden. Beispielsweise kann bei optisch gleichen Schraubstellen (aufgrund von Symmetrie des Objekts) anhand eines Winkels des Bearbeitungswerkzeugs relativ zu dem Objekt eine Unterscheidung der Schraubstellen möglich sein.
-
Mittels des mindestens einen Klassifikators kann das Rechenmodell in einer Ausgestaltung anhand von mindestens einem Bild und/oder Sensordaten den mindestens einen Arbeitsbereich identifizieren. In einer Ausgestaltung kann ein Wahrscheinlichkeitsgrad für die Identifikation durch das Rechenmodell ermittelt werden. Der Wahrscheinlichkeitsgrad kann angeben, mit welcher Wahrscheinlichkeit der mindestens eine Arbeitsbereich der identifizierte Arbeitsbereich ist (Konfidenz). Beispielsweise kann der Wahrscheinlichkeitsgrad für eine richtige Identifikation zwischen 0,00 (geringer Wahrscheinlichkeitsgrad) und 1,00 (hoher Wahrscheinlichkeitsgrad) liegen.
-
In einer Variante kann zusätzlich ein alternativer Wahrscheinlichkeitsgrad dafür bestimmt werden, dass der mindestens eine Arbeitsbereich ein anderer als der identifizierte Arbeitsbereich ist. Aus der Differenz zwischen dem Wahrscheinlichkeitsgrad für den identifizierten Arbeitsbereich und dem alternativen Wahrscheinlichkeitsgrad kann eine Zuverlässigkeit der Identifikation geschätzt werden. Die Zuverlässigkeit der Identifikation kann hierbei mit der Größe der Differenz steigen. Also kann die Sicherheit einer Vorhersage durch Score-Unterschiede zwischen erstbester zu zweitbester Vorhersage, dass der Arbeitsbereich ein identifizierter oder ein alternativer Arbeitsbereich ist, quantifiziert werden. Ist der Unterschied groß, ist die Vorhersage eher sicher. Ist der Unterschied marginal, erhöht sich die Verwechslungsgefahr und damit auch die Unsicherheit.
-
Zusätzlich kann durch das Rechenmodell mittels des mindestens einen Klassifikators eine Erfüllung einer Vorbedingung anhand des mindestens einen Bildes und/oder der Sensordaten bestimmbar sein.
-
In einer Ausführung kann der mindestens eine Klassifikator eine pixelweise Bewertung, z.B. in Form einer Heatmap, bereitstellen. Die Bewertung kann angeben, welche Teile des aktuellen Bildes besonders hohe Übereinstimmungen und/oder Unterschiede zu bereits bekannten Bildern im Trainingsdatensatz haben. Das Rechenmodell kann also dazu ausgebildet sein, dem mindestens einen Bild Bewertungsinformationen visuell zu überlagern. Die Bewertungsinformationen können auf einem Ähnlichkeitsvergleich mindestens eines Abschnitts des mindestens einen Bildes mit dem mindestens einen Klassifikator und/oder Bildern von Arbeitsbereichen, mit dem das Rechenmodell trainiert wurde, beruhen. Beispielsweise können die Bewertungsinformationen angeben, wie ähnlich der mindestens eine Abschnitt mit dem mindestens einen Klassifikator und/oder Bildern von Arbeitsbereichen, mit dem das Rechenmodell trainiert wurde, ist.
-
Das mindestens eine Bild mit den visuell überlagerten Bewertungsinformationen kann einem Nutzer anzeigbar sein. Die Bewertungsinformationen können genutzt werden, um Anomalien in dem mindestens einen Bild festzustellen. Eine Anomalie kann beispielsweise eine (unerwünschte, zufällige) Verdeckung eines Abschnitts des mindestens einen Bildes sein. Beispielsweise kann ein Objektiv einer Kamera der Bildaufnahmevorrichtung durch einen Gegenstand oder ein Körperteil des Nutzers (zufällig, ungewollt) verdeckt sein. Derartige Gegenstände können beispielsweise ein Kabel, eine Leitung und / oder ein Seil sein. Ebenso kann eine Unregelmäßigkeit des mindestens einen Arbeitsbereiches oder des Bearbeitungswerkzeuges, insbesondere der Werkzeugkomponente, über die Bewertungsinformationen detektiert werden.
-
In einer Ausführungsvariante ist die Auswerteeinheit dazu ausgebildet statische Bereiche auf dem mindestens einen Bild zu erkennen, die trotz Bewegung des Bearbeitungswerkzeuges relativ zu dem Objekt auf einer Abfolge mehrerer Bilder unverändert sind. Statische Bereiche des mindestens einen Bildes können über alle Trainingsbilder und/oder Sensordaten während des Trainingsprozesses, also beim Training des Rechenmodells, identifiziert werden. Ein statischer Bereich kann beispielsweise ein Abschnitt einer Werkzeugkomponente, insbesondere eines Bearbeitungstools, sein. Anhand des statischen Bereiches kann eine fehlerfreie Funktion der Bildaufnahmevorrichtung kontrollierbar sein. Wenn sich beispielsweise der statische Bereich in Bezug auf Abbildungsparameter wie Helligkeit oder Schärfe ändert, könnte ein Kameradefekt, eine Kameraverschmutzung, eine Kamerafehlstellung und/oder eine Kamerafehleinstellung vorliegen.
-
In einem Ausführungsbeispiel extrahiert das Rechenmodell aus dem mindestens einen Bild Merkmale, gewichtet und komprimiert die Merkmale anschließend, um wesentliche Merkmale zu finden, und erzeugt aus dem mindestens einen wesentlichen Merkmal den mindestens einen Klassifikator. Die Erzeugung des mindestens einen Klassifikators kann beispielsweise darin resultieren, dass das Rechenmodell beim Identifizieren des mindestens einen Arbeitsbereiches anhand des mindestens einen Bildes den mindestens einen Arbeitsbereich anhand der Form und/oder Anordnung von Löchern in dem mindestens einen Arbeitsbereich identifiziert. Zum Training des Rechenmodells kann auch gehören, dass ein bereits trainierter Arbeitsbereich durch das Rechenmodell identifiziert wird und das Resultat (richtig oder falsch) zur Verbesserung des Rechenmodells genutzt wird (supervised learning; back propagation). Dadurch kann die Gewichtung der Merkmale verbessert werden.
-
In einem Ausführungsbeispiel, in dem das Rechenmodell anfangs nicht trainiert ist, kann das Rechenmodell folgendermaßen trainierbar sein: In einem ersten Schritt wird von mindestens einem Arbeitspunkt mit der Bildaufnahmevorrichtung mindestens ein Bild erzeugt. In einem zweiten Schritt wird für das mindestens eine Bild überprüft, ob das Rechenmodell den mindestens einen Arbeitspunkt anhand des mindestens einen Bildes identifizieren kann. Im Falle einer falschen Identifizierung wird in einem dritten Schritt das mindestens eine Bild einem Trainingsdatensatz oder einem Datenpool für den mindestens einen Klassifikator hinzugefügt, mit dem der mindestens eine Klassifikator neu trainiert wird. Die Schritte werden wiederholt, bis der mindestens eine Arbeitspunkt durch das Rechenmodell richtig oder mit einem gewünschten Wahrscheinlichkeitsgrad, beispielsweise über 0,75, identifiziert wird. In einer Variante ist der mindestens eine Arbeitspunkt als ein Schraubpunkt ausgebildet.
-
In einem Ausführungsbeispiel dient das mindestens eine Bild zur Korrektur der Sensordaten durch die Auswerteeinheit. Beispielsweise kann eine Messung der Beschleunigung, des Winkels, der Lage und/oder der Position, insbesondere relativ zu dem mindestens einen Arbeitsbereich, durch den mindestens einen Sensor, insbesondere einen Inertialsensor, mittels des mindestens einen Bildes korrigierbar sein. Zur Korrektur der Sensordaten kann zum Beispiel eine Erkennung von (wesentlichen) Merkmalen, wie Löchern oder Kanten des Objekts, insbesondere des mindestens einen Arbeitsbereiches, auf dem mindestens einen Bild nutzbar sein. Eine Korrektur kann beispielsweise umfassen, dass eine gemessene Beschleunigung anhand der Bewegung eines wesentlichen Merkmals auf mindestens drei Bildern korrigiert wird. Ebenso kann die Messung einer Drehrichtung des Bearbeitungswerkzeugs durch den mindestens einen Sensor mittels des mindestens einen Bildes korrigierbar sein.
-
In einer weiteren Ausgestaltung ist eine Werkzeugkomponente, wie eine Verlängerung, eine Nuss und/oder ein Bit, durch die Auswerteeinheit, insbesondere mittels der Bildaufnahmevorrichtung und/oder des mindestens einen Sensors, bestimmbar. Die Auswerteeinheit kann beispielsweise anhand des mindestens einen Bildes und/oder der Sensordaten erkennen, welche Größe oder welcher Typ eines Bits an dem Bearbeitungswerkzeug angeordnet ist. Insbesondere kann die Werkzeugkomponente anhand eines charakteristischen Musters, eines Labels und/oder einer Markierung an der Werkzeugkomponente bestimmbar sein. Beispielsweise kann die Markierung optisch sein. Denkbar und möglich sind jedoch auch andere, insbesondere magnetische, Barcode oder QR-Code Markierungen. Zusätzlich kann ein Verschleiß der Werkzeugkomponente durch die Auswerteeinheit, insbesondere durch die Bildaufnahmevorrichtung und/oder den mindestens einen Sensor, erkennbar sein. Beispielsweise kann ein Verschleiß der Werkzeugkomponente anhand eines Spiels der Werkzeugkomponente, insbesondere eines Schrauber/Bit-Systems, erkennbar sein. Die Auswerteeinheit kann dazu ausgebildet sein, beispielsweise anhand des Spiels der Werkzeugkomponente oder anhand des Verschleißes, eine Benutzungsdauer der Werkzeugkomponente zu bestimmen, die angibt, wie lange die Werkzeugkomponente bereits genutzt wurde.
-
In einem Ausführungsbeispiel kann eine Lage oder Position des Bearbeitungswerkzeugs, wie beispielsweise ein Winkel relativ zu dem mindestens einen Arbeitsbereich, oder eine Position relativ zu dem Objekt durch die Auswerteeinheit bestimmbar sein.
-
Weiterhin kann ein Bauteil, wie eine Schraube, durch die Auswerteeinheit bestimmbar sein. Insbesondere kann das Fehlen, also das Nichtvorhandensein eines Bauteils, an dem Objekt, ein fehlerhaftes Bauteil, eine fehlerhafte Position eines Bauteils an dem Objekt und/oder ein geometrischer Fehler des Bauteils durch die Auswerteeinheit erkennbar sein. Zudem kann die Auswerteeinheit dazu ausgebildet sein, weitere Abweichungen des mindestens einen Arbeitsbereiches, wie farbliche Abweichungen, zu erkennen. In einer weiteren Ausgestaltung ist die Auswerteeinheit dazu ausgebildet, einen Bereich des Objekts, der nicht zu bearbeiten ist, zu identifizieren und/oder von dem mindestens einen Arbeitsbereich zu unterscheiden.
-
In einer Variante ist eine Hinweisvorrichtung vorgesehen, die dazu ausgebildet ist, einen notwendigen Austausch der mindestens einen Werkzeugkomponente des Bearbeitungswerkzeugs einem Nutzer des Bearbeitungswerkzeugs anzuzeigen. Beispielsweise kann die Hinweisvorrichtung dem Nutzer anzeigen, dass die Werkzeugkomponente auszuwechseln ist, wenn ein vorbestimmter Grad von Verschleiß der Werkzeugkomponente überschritten ist. Ebenso kann die Hinweisvorrichtung anzeigen, dass eine andere als die derzeit an dem Bearbeitungswerkzeug angeordnete Werkzeugkomponente zur Bearbeitung des Arbeitsbereiches erforderlich ist. In einer Variante kann die Hinweisvorrichtung den Austausch der mindestens einen Werkzeugkomponente mittels Auswertung des mindestens einen Bildes und/oder der Sensordaten überwachen. Beispielsweise kann die Hinweisvorrichtung den Nutzer anhand des mindestens einen Bildes und/oder der Sensordaten beim Austausch der Werkzeugkomponente überwachen und gegebenenfalls auf Fehler beim Austausch hinweisen.
-
In einem Ausführungsbeispiel ist das Rechenmodell dazu ausgebildet, anhand einer Abfolge von Bildern und/oder Sensordaten einen Montageschritt in einem Montageprozess zu identifizieren. Eine Abfolge von Bildern kann beispielsweise durch mehrere Bilder gebildet sein, die in einem zeitlichen Abstand zueinander erzeugt wurden. Ebenso kann eine Abfolge von Sensordaten beispielsweise durch mehrere Abschnitte von Sensordaten gebildet sein, die in einem zeitlichen Abstand zueinander erzeugt wurden. Ein Montageschritt kann beispielsweise eine Änderung einer Lage und/oder einer Position des Bearbeitungswerkzeugs und/oder eine Einwirkung oder eine Abfolge von Einwirkungen auf den mindestens einen Arbeitsbereich durch das Bearbeitungswerkzeug umfassen. Ein Montageprozess kann eine Abfolge von Montageschritten sein. In einer Ausgestaltung umfasst ein Montageschritt eine Verschraubung an einem Arbeitspunkt wie einer Schraubstelle.
-
In einem Ausführungsbeispiel ist die Auswerteeinheit dazu ausgebildet, basierend auf einer Nutzereingabe einen Schlüsselbereich des mindestens einen Bildes zum Training des Rechenmodells auszuwählen. Ein Schlüsselbereich kann ein Bildbereich (region of interest) sein, der zur Erzeugung des mindestens einen Klassifikators durch das Rechenmodell genutzt werden soll. Der Bildbereich kann insbesondere mindestens ein wesentliches Merkmal enthalten. Die Auswahl eines Schlüsselbereichs kann dazu genutzt werden, einen Hintergrund des mindestens einen Bildes zum Training des Rechenmodells unbeachtet zu lassen. Der Hintergrund kann beispielsweise ein Bereich sein, der weniger Merkmale als ein Bereich aufweist, der näher (entlang einer Achse von dem Bearbeitungswerkzeug zu dem Objekt) als der Hintergrund an dem Arbeitspunkt angeordnet ist. Beispielsweise kann die Auswahl des Schlüsselbereiches Zeit für das Training des Rechenmodells sparen. Grundsätzlich kann der Hintergrund auch zur Identifizierung des mindestens einen Arbeitsbereiches durch das Rechenmodell, beispielsweise mittels der unterschiedlichen Tiefenschärfe des Hintergrundes bei verschiedenen Arbeitsbereichen, genutzt werden.
-
In einer alternativen Ausführung ist der Hintergrund, insbesondere eine Fernbereich, automatisch beispielsweise anhand eines Schwellwerts der Tiefenschärfe, mittels der Auswerteeinheit maskierbar. Ein maskierter Bereich wird nicht zur Auswertung berücksichtigt.
-
In einer Ausgestaltung kann eine Entfernung zwischen dem Bearbeitungswerkzeug und dem Objekt mittels eines Entfernungsmessmoduls des Bearbeitungswerkzeugs messbar sein. In einer Ausgestaltung umfasst das Entfernungsmessmoduls einen zum Arbeitspunkt ausgerichteten Laserstrahl in Kombination mit einer Kamera. Mittels des Entfernungsmessmoduls kann eine zu erreichende Montagetiefe ermittelbar sein. Somit kann eine weitere Qualitätsaussage hinzugefügt werden, mit deren Hilfe eine erfolgreiche Bearbeitung des mindestens einen Arbeitsbereiches erkennbar sein kann. Beispielsweise kann es vorkommen, dass bei Fehlverschraubungen, die voreingestellten Parameter erreicht wurden und eine i.O.-Verschraubung durch die Auswerteeinheit angezeigt wird. Die Messung der Montagetiefe kann in solchen Fällen dazu dienen, festzustellen, dass ein Kopf, beispielsweise ein Schraubenkopf, des zu montierenden Bauteils, beispielsweise einer Schraube, noch nicht aufliegt und somit eine Fehlmontage, beispielsweise eine Fehlverschraubung, vorliegt.
-
Das Entfernungsmessmodul kann beispielsweise eine TOF-Kamera umfassen, mit der eine Laufzeitmessung (time-of-flight; TOF) durchführbar ist. Optional kann die Entfernung des Hintergrundes bei verschiedenen Arbeitsbereichen mit dem Entfernungsmessmoduls bestimmt werden. Hierbei kann die Entfernung des Hintergrundes auch zur Identifizierung des mindestens einen Arbeitsbereiches durch das Rechenmodell genutzt werden.
-
In einer weiteren Ausgestaltung ist die Auswerteeinheit dazu ausgebildet, basierend auf einer Nutzereingabe einen Schlüsselbereich des mindestens einen Bildes zur Identifizierung des mindestens einen Arbeitsbereiches auszuwählen. Der Nutzer kann beispielsweise während der Bearbeitung des Arbeitsbereiches durch das Bearbeitungswerkzeug den Schlüsselbereich auswählen.
-
In einem Ausführungsbeispiel ist die Bildaufnahmevorrichtung dazu ausgebildet, eine Vielzahl von Bildern vor, während und/oder nach der Einwirkung des Bearbeitungswerkzeuges auf den mindestens einen Arbeitsbereich zu erzeugen. Grundsätzlich kann die Bildaufnahmevorrichtung zu jeder Zeit Bilder erzeugen. In einer Variante erzeugt die Bildaufnahmevorrichtung mindestens ein Bild, wenn das Bearbeitungswerkzeug zur Bearbeitung auf den mindestens einen Arbeitsbereich einwirkt. Die Bildaufnahmevorrichtung kann dazu ausgebildet sein, basierend auf Sensordaten die Erzeugung von Bildern automatisch zu starten und/oder zu beenden. Beispielsweise kann die Bildaufnahmevorrichtung die Erzeugung von Bildern beenden, wenn das Bearbeitungswerkzeug von dem Nutzer abgelegt wird. Das Ablegen des Bearbeitungswerkzeugs kann beispielsweise mittels eines (Inertial-) Sensors messbar sein. Die Bildaufnahmevorrichtung kann die Erzeugung von Bildern beispielsweise starten, wenn ein Nutzer das Bearbeitungswerkzeug an den mindestens einen Arbeitsbereich annähert.
-
In einer Ausgestaltung ist eine Anzahl der erzeugten Bilder pro Zeiteinheit durch die Bildaufnahmevorrichtung variierbar. Die Bildaufnahmevorrichtung kann also eine Rate der Bildaufnahme variieren. Ebenso kann eine (kabellose) Übertragungsrate, also eine Frequenz der Übertragung, von Bildern und/oder Sensordaten von der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor an die Auswerteeinheit variierbar sein. Beispielsweise kann die Übertragungsrate gering sein, wenn das Bearbeitungswerkzeug abgelegt ist, und hoch sein, wenn der mindestens eine Arbeitsbereich durch das Bearbeitungswerkzeug bearbeitet wird. In einer Ausführung sind Zeiten und Wege beim zyklischen Ablegen des Bearbeitungswerkzeugs mittels der Sensordaten abschätzbar. Insbesondere kann eine Übertragung mit einer hohen Frequenz zu Beginn der Bearbeitung des mindestens einen Arbeitsbereiches oder bei Annäherung an den mindestens einen Arbeitsbereich gestartet werden. Grundsätzlich können zu jedem Zeitpunkt beim Betrieb der Vorrichtung Bilder und/oder Sensordaten mit einer geringen Frequenz von der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor an die Auswerteeinheit übertragen werden.
-
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens eine Kamera. Die mindestens eine Kamera kann zur Aufnahme des mindestens einen Bildes nutzbar sein. Zur Aufnahme eines vergrößerten Bildes kann die mindestens eine Kamera ein Zoomobjektiv umfassen. Die mindestens eine Kamera kann dann in den mindestens einen Arbeitsbereich hineinzoomen. Selbstverständlich kann die mindestens eine Kamera das Zoomobjektiv zur Aufnahme eines verkleinerten Bildes nutzen. Die mindestens eine Kamera kann dann aus dem mindestens einen Arbeitsbereich herauszoomen.
-
Die Bildaufnahmevorrichtung, insbesondere die mindestens eine Kamera, kann mittels eines Adapters an dem Bearbeitungswerkzeug angeordnet sein. Der Adapter kann spezifisch für das Bearbeitungswerkzeug ausgebildet sein. Über den Adapter kann die Bildaufnahmevorrichtung, insbesondere die mindestens eine Kamera, an Bearbeitungswerkzeugen verschiedenen Typs anordbar sein. Verschiedene Typen von Bearbeitungswerkzeug können sich durch unterschiedliche Formen, zum Beispiel rund oder eckig im Querschnitt, unterscheiden, so dass ein Adapter zur Montage der Bildaufnahmevorrichtung erforderlich ist.
-
In einem Ausführungsbeispiel ist die mindestens eine Kamera relativ zu dem Bearbeitungswerkzeug verstellbar. Beispielsweise kann die mindestens eine Kamera relativ zu dem Bearbeitungswerkzeug beweglich und/oder rotierbar an dem Bearbeitungswerkzeug gelagert sein. Die mindestens eine Kamera kann beispielsweise um eine Werkzeugachse rotierbar und/oder entlang der Werkzeugachse verschieblich sein. Die Werkzeugachse kann sich entlang des Bearbeitungswerkzeugs im Wesentlichen von einem Griff zum Angreifen durch den Nutzer zu einer Werkzeugspitze zur Bearbeitung des mindestens einen Arbeitsbereiches erstrecken.
-
In einer Ausgestaltung ist die mindestens eine Kamera als Barcodeleser ausgebildet oder kann zum Lesen von Barcodes genutzt werden.
-
In einem weiteren Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens zwei Kameras zur gleichzeitigen Erzeugung von mindestens zwei Bildern des mindestens einen Arbeitsbereiches. Die durch die mindestens zwei Kameras erzeugten Bilder können überlappende, identische oder verschiedene Bereiche des mindestens einen Arbeitsbereiches zeigen. Die mindestens zwei Bilder können zudem zu einem Panorama aneinander angesetzt werden (stitching), miteinander (inhaltlich) verschmelzbar oder fusionierbar sein und/oder als ein Stereobild ausgebildet sein. Ein Stereobild kann insbesondere dazu dienen, Tiefeninformationen zu berechnen. Die mindestens zwei Kameras können also eine 3D-Ansicht erzeugen. Mithilfe der 3D-Ansicht können Nah- und Fernbereich, also beispielsweise der mindestens eine Arbeitsbereich und ein Hintergrund, unterschieden werden.
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung mindestens ein Objektiv. Das mindestens eine Objektiv kann das Ende mindestens einer Glasfaser umfassen. Durch das mindestens eine Objektiv nimmt die Bildaufnahmevorrichtung das mindestens eine Bild auf. Mindestens eine optische Achse des mindestens einen Objektivs kann einen Arbeitspunkt schneiden, in dem das Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich einwirkt. Ebenso kann mindestens eine Detektionsachse des mindestens einen Sensors den Arbeitspunkt schneiden. Die mindestens eine Detektionsachse des mindestens einen Sensors kann beispielsweise eine Richtung sein, in die der mindestens eine Sensor ausgerichtet ist.
-
In einem alternativen Ausführungsbeispiel ist die mindestens eine optische Achse des mindestens einen Objektivs der Bildaufnahmevorrichtung und/oder die mindestens eine Detektionsachse des mindestens einen Sensors parallel zu einer Einwirkungsachse, entlang der das Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich einwirkt, erstreckt. Die parallele Ausrichtung der mindestens einen optischen Achse und der Einwirkungsachse kann eine achsenparallele Blickrichtung ermöglichen. In einer Variante sind eine Vielzahl von Objektiven der Bildaufnahmevorrichtung und/oder eine Vielzahl von Sensoren ringförmig um die Einwirkungsachse angeordnet. Beispielsweise kann eine parallele Ausrichtung der Einwirkungsachse und der mindestens einen optischen Achse und/oder der mindestens einen Detektionsachse mittels einer Integration von mindestens einer Kamera und/oder mindestens eines Sensors in einem Ringbauteil, wie einem Adapterring, ermöglicht werden. Das Ringbauteil kann an dem Bearbeitungswerkzeug angeordnet sein. Die Einwirkungsachse kann sich durch die ringförmige Öffnung des Ringbauteils erstrecken. Weiterhin kann das Ringbauteil mindestens ein Objektiv umfassen,.
-
In einem Ausführungsbeispiel schneidet eine Verbindungsgerade zwischen zwei Objektiven, insbesondere zwischen zwei Enden zweier Glasfasern, und/oder zwischen zwei Sensoren die Einwirkungsachse. Also können sich die zwei Objektive und/oder die zwei Sensoren bezogen auf die Einwirkungsachse gegenüberliegen.
-
In einer Ausgestaltung umfasst die Bildaufnahmevorrichtung mindestens eine Beleuchtungsvorrichtung. Mittels der Beleuchtungsvorrichtung kann der mindestens eine Arbeitsbereich beleuchtbar sein. In einer Variante ist nur ein Abschnitt des mindestens einen Arbeitsbereiches mit der Beleuchtungsvorrichtung beleuchtbar. Ebenso kann die Beleuchtungsvorrichtung das Bearbeitungswerkzeug oder zumindest einen Teil davon beleuchten. Insbesondere kann die Beleuchtungsvorrichtung eine Werkzeugkomponente des Bearbeitungswerkzeugs beleuchten, mit der das Bearbeitungswerkzeug an dem mindestens einen Arbeitsbereich angreift. Die Beleuchtungsvorrichtung kann beispielsweise mindestens eine Lichtquelle umfassen. Das Spektrum der mindestens einen Lichtquelle kann grundsätzlich jede beliebige Wellenlänge oder ein Spektrum von Wellenlängen umfassen. Insbesondere kann die mindestens eine Lichtquelle ein Vollspektrum oder Infrarotlicht abgeben. Dadurch kann die Vorrichtung unabhängig von einer externen Beleuchtung, beispielsweise der Beleuchtung einer Werkstatt sein.
-
Die mindestens eine Lichtquelle kann Licht synchronisiert mit der Erzeugung des mindestens einen Bildes, insbesondere mit der Aufnahme des mindestens einen Bildes durch die mindestens eine Kamera, abgeben. Ebenso können auch die Tiefeninformationen der Bildaufnahmevorrichtung dazu genutzt werden, die mindestens eine Lichtquelle zu steuern. Beispielsweise kann ein Fernbereich geringer ausgeleuchtet sein als ein Nahbereich. Die entfernteren Bereiche können also geringer ausgeleuchtet werden.
-
Grundsätzlich kann die mindestens eine Lichtquelle selbstverständlich Licht zu jedem beliebigen Zeitpunkt und mit jeder beliebigen zeitlichen Länge und/oder in jedem beliebigen Zeitintervall abgeben. Insbesondere kann die mindestens eine Lichtquelle Licht zur Markierung einer Position, insbesondere eines zu bearbeitenden Arbeitspunktes, des mindestens einen Arbeitsbereiches abgeben. Die Lichtquelle kann beispielsweise als ein Projektor ausgebildet sein. Mit der Lichtquelle kann dann mindestens ein Muster auf den mindestens einen Arbeitsbereich projizierbar sein. Das mindestens eine Muster kann beispielsweise eine Bezeichnung eines Abschnitts des mindestens einen Arbeitsbereiches oder eine Richtungsanweisung beinhalten. Das mindestens eine Muster kann in beliebige Richtungen von dem Bearbeitungswerkzeug auf den mindestens einen Arbeitsbereich projizierbar sein. Somit kann die Gefahr eines falschen Ansetzens des Bearbeitungswerkzeugs durch den Benutzer verringert werden. Außerdem kann eine Einlernzeit eines neuen Mitarbeiters verringert werden.
-
In einer Ausgestaltung umfasst die Beleuchtungsvorrichtung eine Projektionseinheit, mit der der zu bearbeitende Arbeitspunkt bereits bei der Annäherung des Bearbeitungswerkzeug an den Arbeitsbereich erkennbar und markierbar ist.
-
In einem Ausführungsbeispiel umfasst die Vorrichtung ein Simulationssystem, mit dem der mindestens eine Arbeitsbereich zur Erzeugung des mindestens einen Bildes, der Sensordaten und/oder des mindestens einen Klassifikators simulierbar ist. Beispielsweise kann mittels des Simulationssystems für die Auswerteeinheit ein Arbeitsbereich zum Training simuliert werden. Dazu kann das Simulationssystem mindestens ein Bild und/oder Sensordaten der Auswerteeinheit zur Verfügung stellen. Die Auswerteeinheit kann dann aus dem mindestens einen Bild und/oder den Sensordaten mindestens einen Klassifikator erzeugen. In einer Variante leitet das Simulationssystem den mindestens einen Klassifikator aus dem mindestens einem simulierten Bild und/oder den Sensordaten ab. Der mindestens eine Klassifikator kann dann zur Identifizierung des mindestens einen Arbeitsbereiches zur Verfügung gestellt werden. Beispielsweise kann der mindestens eine Klassifikator der Auswerteeinheit zur Verfügung gestellt werden und/oder in einen Klassifikatorspeicher (classificator repository) übertragen werden. Insbesondere kann das Simulationssystem ein 3D-Modell des mindestens einen Arbeitsbereiches simulieren und der Auswerteeinheit zum Training zur Verfügung stellen. Dazu kann das Simulationssystem ein System für rechnerunterstütztes Konstruieren (CAD-System) umfassen. Das 3D-Modell des mindestens einen Arbeitsbereiches kann von dem Rechenmodell abhängen. Insbesondere kann das 3D-Modell des mindestens einen Arbeitsbereiches in Abhängigkeit einer Methode des maschinellen Lernens gewählt werden.
-
Mittels des Simulationssystems können Arbeitsbereiche von Objekten (virtuell) trainierbar sein, also, optional, bevor das Objekt physisch vorliegt. Ebenso kann eine Vielzahl von Varianten von Arbeitsbereichen virtuell trainierbar sein. In einer Ausgestaltung kann das Simulationssystem unterschiedliche Perspektiven der Bildaufnahmevorrichtung simulieren. Unterschiedliche Perspektiven der Bildaufnahmevorrichtung können beispielsweise unterschiedliche Blickwinkel der mindestens einen Kamera der Bildaufnahmevorrichtung sein. Von dem Training abweichende Perspektiven können beispielsweise aufgrund einer Änderung der Werkzeugkomponente, z.B. Benutzung einer Verlängerung, entstehen. Mittels des Simulationssystems kann der mindestens eine Klassifikator für eine unterschiedliche Perspektive neu erzeugbar sein.
-
In einer Ausgestaltung ist der mindestens eine Arbeitsbereich während der Einwirkung des Bearbeitungswerkzeugs auf den mindestens einen Arbeitsbereich, also in Echtzeit, mit dem Simulationssystem simulierbar. Durch die Simulation in Echtzeit kann eine Anpassung des Rechenmodells, insbesondere die Erzeugung zusätzlicher Klassifikatoren, während der Bearbeitung des Arbeitsbereiches ermöglicht werden.
-
In einer Variante ist der mindestens eine Klassifikator insbesondere für ausgewählte Arbeitsbereiche und/oder Arbeitspunkte, insbesondere wichtige Schraubstellen (A- und B-Verschraubungen), von dem Simulationssystem abrufbar. Beispielsweise ist der mindestens eine Klassifikator mittels einer App der Auswerteeinheit abrufbar.
-
In einem Ausführungsbeispiel umfasst die Bildaufnahmevorrichtung zur Erzeugung von Bildern des mindestens einen Arbeitsbereiches ein mobiles Endgerät, insbesondere ein Mobilgerät, ein Handy oder ein Smartphone. Das mobile Endgerät kann an dem Bearbeitungswerkzeug anordenbar sein. Selbstverständlich ist hiermit nicht ausgeschlossen, dass die Bildaufnahmevorrichtung mindestens eine weitere Kamera zur Erzeugung von Bildern des mindestens einen Arbeitsbereiches umfasst. Zusätzlich oder alternativ kann das mobile Endgerät mindestens einen Sensor umfassen. Der mindestens eine Sensor des mobilen Endgeräts kann beispielsweise eine Position, Lage und/oder einen Ort des Bearbeitungswerkzeugs zur Erzeugung von Sensordaten bestimmen. Zur Übertragung der Bilder und/oder der Sensordaten kann das mobile Endgerät mit der Auswerteeinheit verbunden sein.
-
In einer Variante erzeugt das mobile Endgerät Sensordaten, die einen Zustand des Bearbeitungswerkzeugs, insbesondere Schrauber und Schraubdaten, darstellen. Ein Zustand des Bearbeitungswerkzeuges kann beispielsweise eine verwendete Leistung, An- und Ausschaltdaten, ein Drehmoment, eine Schraubzeit, eine Schraubkurve, eine Drehzahl, ein Winkel relativ zum Objekt und/oder andere Einstellungen des Bearbeitungswerkzeuges umfassen. Die Schraubkurve kann beispielsweise ein Verhältnis eines Drehmoments des Bearbeitungswerkzeugs an einer Schraube zu einem gedrehten Winkel der Schraube oder zu einer Schraubzeit sein. Das mobile Endgerät kann zur Erzeugung der Sensordaten, beispielsweise kabellos, insbesondere mittels WLAN, mit dem Bearbeitungswerkzeug verbunden sein.
-
In einem weiteren Ausführungsbeispiel kann das mobile Endgerät Klassifikatoren von dem Klassifikatorspeicher empfangen und zur Identifizierung des mindestens einen Arbeitsbereiches anhand der erzeugten Bilder und Sensordaten nutzen.
-
In einem Ausführungsbeispiel sind die erzeugten Bilder und Sensordaten in Verbindung mit einer Kennzeichnung des bearbeiteten Objekts und/oder bearbeiteten Arbeitsbereiches abspeicherbar. Das Objekt oder der Arbeitsbereich kann anhand der Kennzeichnung eindeutig identifizierbar sein. Somit können die Bilder und Sensordaten langfristig zur Qualitätsauswertung nutzbar sein. Insbesondere kann mittels der Qualitätsauswertung eine statistische Analyse von Serviceniederlassungen und Servicepersonal ermöglicht werden.
-
In einem Ausführungsbeispiel ist die Auswerteeinheit dazu ausgebildet in einer Abfolge einer Vielzahl von bekannten Bildern und/oder bekannten Sensordaten, in der mindestens ein unbekanntes Bild und/oder mindestens ein Abschnitt von unbekannten Sensordaten enthalten ist, das mindestens eine unbekannte Bild und/oder den mindestens einen unbekannten Abschnitt von Sensordaten zu erkennen. Eine Abfolge von bekannten Bildern kann beispielsweise eine Bildsequenz während der Bearbeitung des Objekts sein, innerhalb der die Auswerteeinheit alle Bilder wiedererkennt. Wiedererkennen kann bedeuten, dass der Wahrscheinlichkeitsgrad der Identifikation über einer bestimmten Schwelle liegt. Die Schwelle kann beispielsweise 0,75 oder 0,95 betragen. Die Auswerteeinheit kann die Bilder insbesondere dann wiedererkennen, wenn die Bilder im Training zuvor trainiert wurden. Das mindestens eine unbekannte Bild kann beispielsweise ein Bild oder eine Bildsequenz sein, die im Training zuvor nicht trainiert wurde. Das Gleiche trifft auf eine Abfolge von bekannten Sensordaten zu. Die Dauer eines Abschnitts von unbekannten Sensordaten kann hierbei geringer sein als die Dauer der vorhergehenden und nachfolgenden bekannten Sensordaten.
-
In einem Ausführungsbeispiel kann die Auswerteeinheit weiterhin dazu ausgebildet sein, mittels maschinellen Lernens trainiert zu werden, anhand des mindestens einen unbekannten Bildes und/oder des mindestens einen Abschnitts von unbekannten Sensordaten den mindestens einen bekannten Arbeitsbereich zu identifizieren. Insbesondere kann das mindestens eine unbekannte Bild und/oder der mindestens eine unbekannte Abschnitt von Sensordaten zur Erzeugung mindestens eines Klassifikators genutzt werden. Das kann dadurch erreicht werden, dass das mindestens eine unbekannte Bild und/oder der mindestens eine unbekannte Abschnitt von Sensordaten in den Datenpool für den nächsten Klassifikator-Durchlauf übernommen werden. Aus dem Datenpool kann mindestens ein Klassifikator in einem Klassifikator-Durchlauf erzeugt oder verbessert werden. Dadurch kann die Wahrscheinlichkeit einer Identifizierung des Arbeitsbereiches erhöht werden.
-
Mit anderen Worten kann der mindestens eine Klassifikator während des Betriebs der Vorrichtung kontinuierlich verbessert werden. Dazu kann die Vorrichtung während des Betriebs Bilder zum Nachtrainieren sammeln.
-
In einer ersten Variante ist das Rechenmodell dazu ausgebildet, durch sich selbst trainiert zu werden. Dies geschieht durch unüberwachtes Lernen, also ohne einen Experten. Hierbei kann das mindestens eine Bild zum Nachtrainieren benutzt werden. Voraussetzung dafür ist, dass der mindestens eine Arbeitsbereich anhand des mindestens einen Bildes durch das Rechenmodell mit einem hohen Wahrscheinlichkeitsgrad, beispielsweise einem Wahrscheinlichkeitsgrad über 0,75, identifiziert wurde. Also kann grundsätzlich jedes Bild, bei dem der Klassifikator mit hoher Sicherheit eine Vorhersage machen kann, zum Nachtrainieren benutzt werden. Dabei wird angenommen, dass die Vorhersage richtig war. Durch das Training des Rechenmodells durch sich selbst kann der Gesamtwahrscheinlichkeitsgrad richtiger Identifizierung einer Vielzahl von Arbeitsbereichen erhöht werden. Also sollte die Gesamtsicherheit von Vorhersagen über die Zeit weiter ansteigen.
-
In einer zweiten Variante ist das Rechenmodell dazu ausgebildet, durch einen Nutzer trainiert zu werden. Dies geschieht durch überwachtes Lernen, also mit Hilfe eines Experten. Hierbei kann das mindestens eine Bild zum Nachtrainieren benutzt werden. Voraussetzung dafür ist, dass der mindestens eine Arbeitsbereich anhand des mindestens einen Bildes durch das Rechenmodell mit einem niedrigen Wahrscheinlichkeitsgrad, beispielsweise einem Wahrscheinlichkeitsgrad unter 0,45, identifiziert wurde. Es werden also im Gegensatz zu der ersten Variante Bilder gesammelt, bei denen der Klassifikator eine hohe Unsicherheit bei der Vorhersage hat. Ein Nutzer kann das Rechenmodell durch Vorgabe der Identifizierung des mindestens einen Arbeitsbereiches trainieren, den mindestens einen Arbeitsbereich anhand des mindestens einen Bildes zu erkennen. Das mindestens eine Bild wird also von einem Experten nachgelabelt, d.h. die richtige Erkennung wird zugeordnet, und kann dann zum Nachtrainieren benutzt werden.
-
Selbstverständlich können bei beiden Varianten anstatt oder auch zusätzlich zu dem mindestens einen Bild Sensordaten zum Nachtrainieren genutzt werden.
-
Grundsätzlich kann die Auswerteeinheit auch dazu ausgebildet sein, mindestens eine unbekannte Kombination von mindestens einem Bild und mindestens einem Abschnitt von Sensordaten zu erkennen. Hierbei ist es denkbar und möglich, dass das mindestens eine Bild und der mindestens eine Abschnitt von Sensordaten jeweils bekannt sind. Die Auswerteeinheit kann dann weiterhin dazu ausgebildet sein, mittels maschinellen Lernens trainiert zu werden, anhand der mindestens einen unbekannten Kombination den mindestens einen bekannten Arbeitsbereich zu identifizieren.
-
In einem Ausführungsbeispiel ist eine Kontrolleinheit vorgesehen, die dazu ausgebildet ist, eine Abfolge von Arbeitsbereichen, die durch das Bearbeitungswerkzeug bearbeitet wurden, zu dokumentieren. Die Kontrolleinheit kann also dokumentieren, welche Arbeitsbereiche bearbeitet wurden und in welcher Reihenfolge die Arbeitsbereiche bearbeitet wurden. Zusätzlich kann die Kontrolleinheit eine verwendete Werkzeugkomponente, ein verwendetes Bauteil, wie beispielsweise eine verschraubte Schraube, das mindestens eine Bild und/oder die Sensordaten dokumentieren. Die Verwendung eines Bauteils kann durch die Kontrolleinheit beispielsweise zur Planung der Logistik von Bauteilen oder als Verwendungsnachweis dokumentierbar sein. Zusätzlich zur Dokumentation des verwendeten Bauteils kann die Lage und/oder das Umfeld des Bauteils dokumentiert werden.
-
Die Kontrolleinheit ist in einer Variante dazu ausgebildet, eine Abfolge von Arbeitsbereichen und/oder Arbeitspunkten zur Bearbeitung durch das Bearbeitungswerkzeug vorzugeben. Die Kontrolleinheit kann insbesondere dazu ausgebildet sein, mindestens zwei Arbeitsbereiche in einer Abfolge von Arbeitsbereichen zur Bearbeitung durch das Bearbeitungswerkzeug zu gruppieren. Beispielsweise können durch die Kontrolleinheit Arbeitsbereiche oder für einen Arbeitsbereich Arbeitspunkte, die mit einer Werkzeugkomponente und/oder identischen Zuständen des Bearbeitungswerkzeugs, wie Winkel relativ zum Objekt oder Drehmoment, zu bearbeiten sind, gruppiert werden.
-
In einer Ausgestaltung kann die Kontrolleinheit fehlerhaft bearbeitete Arbeitsbereiche während der Bearbeitung eines Arbeitsbereiches oder nach Bearbeitung der Vielzahl von Arbeitsbereichen oder einer Gruppe der Vielzahl von Arbeitsbereichen zuordnen. Gegebenenfalls kann die Kontrolleinheit fehlerhaft bearbeitete Arbeitsbereiche zur erneuten Bearbeitung vorgeben. Ebenso kann eine fehlerhafte Reihenfolge bei der Bearbeitung von Arbeitsbereichen durch die Kontrolleinheit erkennbar sein.
-
Zur Dokumentation der bearbeiteten Arbeitsbereiche und/oder Arbeitspunkte kann die Kontrolleinheit mit dem Bearbeitungswerkzeug, der Bildaufnahmevorrichtung, dem mindestens einen Sensor und/oder der Auswerteeinheit zum Austausch von Daten, beispielsweise per Funk oder Kabel, verbunden sein.
-
In einem Ausführungsbeispiel ist eine Steuereinheit vorgesehen, die mit dem Bearbeitungswerkzeug, der Kontrolleinheit und/oder der Auswerteeinheit verbunden ist und mit der das Bearbeitungswerkzeug steuerbar ist. Mittels der Steuereinheit können Zustände des Bearbeitungswerkzeugs wie eine Drehzahl oder ein Drehmoment anpassbar sein. Selbstverständlich können mittels der Vorrichtung Zustände des Bearbeitungswerkzeugs automatisch anhand des identifizierten Arbeitsbereiches anpassbar sein. Mit einer dynamischen Erkennung des aktuell zu bearbeiteten Arbeitspunktes kann der Zustand des Bearbeitungswerkzeugs in Echtzeit angepasst werden. Insbesondere können damit auch Arbeitspunkte und/oder Arbeitsbereiche mit gleichen Anforderungen an den Zustand des Bearbeitungswerkzeugs mittels der Kontrolleinheit gruppierbar sein.
-
In einem weiteren Ausführungsbeispiel ist eine Signalvorrichtung zur Ausgabe eines Signals an einen Nutzer des Bearbeitungswerkzeugs vorgesehen. Mit dem Signal kann dem Nutzer signalisierbar sein, dass mindestens ein Arbeitsbereich nicht erkannt wurde, mindestens ein Arbeitsbereich fehlerhaft bearbeitet wurde und/oder mindestens ein Arbeitsbereich in einer Abfolge von Arbeitsbereichen nicht bearbeitet wurde. Die Signalvorrichtung kann gegebenenfalls einem Nutzer des Bearbeitungswerkzeugs die Notwendigkeit von Nacharbeit an mindestens einem Arbeitsbereich signalisieren. Die Signalvorrichtung kann dem Nutzer ebenso signalisieren, dass die Auswerteeinheit einen Arbeitsbereich nicht identifizieren kann. In einer Variante signalisiert die Signalvorrichtung dem Nutzer ein Ergebnis einer Bestimmung durch die Auswerteeinheit und/oder Kontrolleinheit. Die Signalvorrichtung kann also grundsätzlich zur Ausgabe von Signalen der Kontrolleinheit und/oder der Auswerteeinheit an den Nutzer dienen. In einer Ausführung, in der die Auswerteeinheit bestimmt hat, dass eine Werkzeugkomponente bereits länger als die vorgeschriebene Benutzungsdauer genutzt wurde, kann die Signalvorrichtung beispielsweise ein Signal zum Austausch der Werkzeugkomponente ausgeben.
-
Das Signal kann beispielsweise an dem Bearbeitungswerkzeug ausgegeben werden. Beispielsweise kann das Signal ein Ton, ein Licht oder eine Vibration sein. Selbstverständlich sind beliebige Signale denkbar und möglich.
-
In einem Ausführungsbeispiel umfasst die Vorrichtung einen Testarbeitsbereich zum Kalibrieren der Vorrichtung. Ein Nutzer kann beispielsweise die Bildaufnahmevorrichtung und insbesondere die mindestens eine Kamera mittels des Testarbeitsbereiches kalibrieren. Die Auswerteeinheit kann dazu ausgebildet sein, automatisch zu erkennen, dass eine Kalibrierung erforderlich ist. Der Testarbeitsbereich kann ebenso dazu ausgebildet sein, Beschädigungen und/oder Verschmutzungen an dem Bearbeitungswerkzeug zu erkennen. Zur Erkennung von Beschädigungen und/oder Verschmutzungen kann eine Standardbearbeitungsroutine an dem Testarbeitsbereich durchgeführt werden. Abweichungen in dem mindestens einen Bild und/oder den Sensordaten von dem erwarteten mindestens einen Bild und/oder den erwarteten Sensordaten können ein Hinweis auf Beschädigungen und/oder Verschmutzungen sein. Ein möglicher Ablauf kann einen oder die folgenden Schritte umfassen: 1. Heranfahren an den Testarbeitsbereich. 2. Überprüfen der Funktion des Bearbeitungswerkzeuges. 3. Kalibrieren des Bearbeitungswerkzeuges. 4. Fokussieren der Bildaufnahmevorrichtung auf den Testarbeitsbereich. 5. Verschmutzung und/oder Beschädigung erkennen. 6. Verschmutzung und/oder Beschädigung beheben.
-
Die Vorrichtung umfasst in einem Ausführungsbeispiel mindestens eine Schnittstelle, die zur Anbindung an ein anderes System vorgesehen ist. Über die Schnittstelle können Informationen zwischen der Vorrichtung und dem anderen System austauschbar sein. Beispielsweise kann die Schnittstelle als eine Anwendungsprogrammierschnittstelle (API) ausgebildet sein. Insbesondere kann die Vorrichtung mittels der Schnittstelle aus der Ferne (remote) beispielsweise von einem Server oder einem mobilen Gerät erreichbar sein. Ebenso kann die Vorrichtung mittels der Schnittstelle zentral, beispielsweise durch einen Server, verwaltbar oder steuerbar sein.
-
In einer weiteren Ausgestaltung umfasst das Bearbeitungswerkzeug ein Display zur Anzeige von Kontextinformationen, beispielsweise des mindestens einen Bildes, der Sensordaten und/oder Parameter, Einstellungen oder Zustände des Bearbeitungswerkzeuges für den Benutzer, insbesondere nach Erkennung des mindestens einen Arbeitsbereiches.
-
In einem Ausführungsbeispiel kann eine Nutzung der Vorrichtung folgende jeweils optionale Schritte umfassen: In einem ersten Schritt sucht eine Person mit dem Objekt, beispielsweise einem Kraftfahrzeug, eine Vertragswerkstatt auf. Die Person benötigt eine Reparatur an dem Objekt (Garantie oder kritisches Bauteil). In einem zweiten Schritt meldet die Vertragswerkstatt mittels der Vorrichtung die Reparatur bei einem Server, beispielsweise einem Server eines OEM-Netzwerks, an. In einem dritten Schritt erhält die Vertragswerkstatt gegebenenfalls ein erforderliches Bauteil, beispielsweise ein Ersatzteil für das Objekt. Außerdem erhält die Vertragswerkstatt eine Freigabe von zur Reparatur. In einem vierten Schritt erhält die Vorrichtung mindestens einen Klassifikator über die Schnittstelle von dem Server, der optional in den Klassifikatorspeicher geladen wird. Grundsätzlich kann die Vorrichtung Daten zur Überwachung und/oder Sicherstellung einer ordentlichen Bearbeitung erhalten.
-
In einem fünften Schritt des Ausführungsbeispiels beginnt die Bearbeitung des Objekts - beispielsweise eine Montage oder Reparatur. Dafür ist das Bearbeitungswerkzeug vorgesehen. Das Bearbeitungswerkzeug ist dem OEM bekannt, mit dem Server über die Schnittstelle verbunden und/oder hat eine OEM-Freigabe erhalten. In einem sechsten Schritt wird der mindestens eine Klassifikator geladen. Der mindestens eine Klassifikator wird hierbei der Auswerteeinheit zur Verfügung gestellt. Der mindestens eine Klassifikator kann spezifisch für das Kraftfahrzeug der Person sein. In einem siebten Schritt ordnet ein Nutzer der Vorrichtung, beispielsweise ein Werkstatt-MA, die Bildaufnahmevorrichtung an dem Bearbeitungswerkzeug an. Die Bildaufnahmevorrichtung kann beispielsweise eine mobile Kamera oder ein Handy sein. In einem achten Schritt führt der Nutzer die Bearbeitung des Objekts mit dem Bearbeitungswerkzeug mit vorgegebenen Werten, also beispielsweise einem vorgegebenen Zustand und/oder vorgegebenen Situationen durch. Die Bearbeitung wird mittels des Bearbeitungswerkzeug, insbesondere der Bildaufnahmevorrichtung und/oder dem mindestens einen Sensor (im Umfeld durch Klassifikator erkennbar), optional über die Kontrolleinheit dokumentiert. In einem neunten Schritt werden die Daten zur Überwachung und/oder Sicherstellung einer ordentlichen Bearbeitung mit dem mindestens einen Bild und/oder den Sensordaten durch die Auswerteeinheit und/oder Kontrolleinheit abgeglichen. Übereinstimmen der Daten und Bilder ergibt den Nachweis einer erfolgreichen Bearbeitung.
-
In einer Variante ist der mindestens eine Klassifikator dazu vorgesehen, eine Diagnose an dem Objekt durchzuführen. Mittels des mindestens einen Klassifikators kann beispielsweise eine fehlerhafte Stelle an dem Objekt identifizierbar sein.
-
In einer weiteren Variante kann der mindestens eine Klassifikator durch aktuelle Diagnosewerte optimiert werden. Beispielsweise kann bei Feststellung einer fehlerhaften oder nicht gelernten Stelle in mindestens einem Arbeitsbereich des Objekts der mindestens eine Arbeitsbereich nachlernbar sein.
-
In einer zusätzlichen Variante kann der OEM anhand einer eindeutigen Identifikationsnummer des Objekts, insbesondere des Kraftfahrzeugs, über die Schnittstelle, beispielsweise über eine Intranet-Verbindung, mindestens einen aktuell gültigen Klassifikator zur Verfügung stellen.
-
Grundsätzlich kann das System zudem zur allgemeinen Diagnose genutzt werden. Ein trainierter Arbeitsbereich mit mindestens einer Struktur, beispielsweise an einem Kraftfahrzeug, kann zur Überprüfung von Problemen, wie fehlenden, verschobenen und/oder defekten Bauteilen, genutzt werden. Beispielsweise kann bei einer Testfahrt mit einem Kraftfahrzeug, bei dem ein Problem vermutet wird, die Bildaufnahmevorrichtung auf einen Bereich ausgerichtet werden, der möglicherweise ein Problem hat. Der Bereich kann unter Fahrbedingungen bei der Testfahrt visuell mittels der Bildaufnahmevorrichtung überprüft werden. In einer Ausgestaltung kann die Vorrichtung ebenso Bauteile, die unter Windlast und/oder Beschleunigung und anderen äußeren Einflüssen, insbesondere während der Testfahrt, deformiert werden, erfassen. Unzulässige Deformationen z.B. aufgrund von Beschädigungen können mittels der Vorrichtung detektierbar sein. Die Deformationen können weiterhin registrierbar und dokumentierbar sein.
-
Ein erfindungsgemäßes Verfahren kann dabei selbstverständlich unter Nutzung einer erfindungsgemäß vorgeschlagenen Vorrichtung genutzt werden, sodass vorstehend und nachstehend genannte Vorteile und Merkmale von Ausführungsvarianten einer solchen Vorrichtung auch für Ausführungsvarianten eines vorgeschlagenen Verfahrens gelten und umgekehrt.
-
Im Folgenden werden Ausführungsbeispiele exemplarisch darstellt. Dabei zeigt:
- 1 Vorrichtung zur Bearbeitung mindestens eines Arbeitsbereiches eines Objekts;
- 2A Training eines Rechenmodells und Anwendung des Rechenmodells;
- 2B Erzeugung eines Klassifikators;
- 2C Konfidenz, mit der ein Arbeitsbereich in einem Winkel des Bearbeitungswerkzeugs identifizierbar ist;
- 3A Vorrichtung mit einem Klassifikatorspeicher;
- 3B Vorrichtung mit einem Simulationssystem;
- 4 Vorrichtung mit einer Steuereinheit;
- 5 Vorrichtung mit einer Kontrolleinheit, einer Signalvorrichtung und einem Sim ulationssystem;
- 6A Bearbeitungswerkzeug mit einer Bildaufnahmevorrichtung mit einer Beleuchtungsvorrichtung;
- 6B Vorrichtung mit einer Beleuchtungsvorrichtung;
- 7 Vorrichtung mit optischer Achse und Detektionsachse;
- 8 Vorrichtung mit einer optischen Achse und einer Detektionsachse parallel zu einer Einwirkachse;
- 9 Vorrichtung zur Bestimmung eines Bauteils;
- 10 Vorrichtung mit einer Werkzeugkomponente;
- 11 Schnittansicht einer Vorrichtung mit einer Bildaufnahmevorrichtung mit zwei Objektiven;
- 12 perspektivische Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber;
- 13 seitliche Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber;
- 14 perspektivische Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber zur Bearbeitung eines Fahrzeugs;
- 15A perspektivische Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber mit Werkzeugkomponente;
- 15B perspektivische Ansicht eines Bearbeitungswerkzeugs in einer Ausführung als Industrieschrauber zur Bearbeitung eines Fahrzeugsitzes;
- 16A Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 0°;
- 16B Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 3°;
- 16C Arbeitsbereich mit wesentlichen Merkmalen bei einem Winkel von 8°;
- 17A fehlendes Bauteil an einem Kraftfahrzeug; und
- 17B nachträglich montiertes Bauteil an einem Kraftfahrzeug.
-
1 zeigt eine Vorrichtung mit einem Bearbeitungswerkzeug 1 zur Bearbeitung eines Arbeitsbereiches A eines Objekts B. Der Arbeitsbereich A ist über eine Oberfläche des Objekts B erstreckt. In der gezeigten Ausführungsvariante ist der Arbeitsbereich A rechtwinklig ausgebildet. Grundsätzlich ist eine beliebige Form des Arbeitsbereiches A denkbar und möglich. Innerhalb des Arbeitsbereiches A ist ein Arbeitspunkt P angeordnet, mit dem das Bearbeitungswerkzeug 1 wechselwirkt. Das Bearbeitungswerkzeug 1 kann beispielsweise ein Montageschrauber, ein Drehmomentschlüssel oder ein anderes Werkzeug sein. Die Bearbeitung des Objekts B kann beispielsweise zur Montage oder Reparatur erfolgen.
-
An dem Bearbeitungswerkzeug 1 ist eine Bildaufnahmevorrichtung 12 zur Erzeugung von mindestens einem Bild 121 des Arbeitsbereiches A des Objekts B angeordnet. Weiterhin ist an dem Bearbeitungswerkzeug 1 ein Sensor 13 zur Erzeugung von Sensordaten 131 angeordnet. Die Vorrichtung umfasst außerdem eine Auswerteeinheit 2 mit einem Rechenmodell 21.
-
Das Rechenmodell 21 wird mittels maschinellen Lernens anhand von Bildern 120 von Arbeitsbereichen A und Sensordaten 130 trainiert, wie in 2A gezeigt. Anhand eines Bildes 121 eines Arbeitsbereiches A ist der Arbeitsbereich A mit dem Rechenmodell 21 während der Bearbeitung des Arbeitsbereiches A identifizierbar. Selbstverständlich kann der Arbeitsbereich A vor der Bearbeitung, beispielsweise bei der Annäherung des Bearbeitungswerkzeugs 1 an den Arbeitsbereich A, mit dem Rechenmodell 21 identifizierbar sein. Anhand von Sensordaten 131 kann der Arbeitsbereich A ebenso identifizierbar sein. Insbesondere kann der Arbeitsbereich A über eine Position, eine Beschleunigung oder eine Lage des Bearbeitungswerkzeugs 1 im Raum identifizierbar sein. Dafür kann der Sensor 13 beispielsweise als ein Positionssensor, ein Beschleunigungssensor oder ein Lagesensor ausgebildet sein. Der Arbeitsbereich A kann auch über ein akustisches Profil, also den Verlauf eines Schallsignals über der Zeit, identifizierbar sein. Insbesondere kann der Arbeitspunkt P anhand des Schalls, der beim Ansetzen des Bearbeitungswerkzeugs 1 an den Arbeitspunkt P entsteht, identifizierbar sein. Dafür kann der Sensor 13 als ein akustischer Sensor ausgebildet sein. Zudem kann der Arbeitsbereich A auch anhand einer Kombination von mindestens einem Bild 121 und Sensordaten 131 identifizierbar sein.
-
Mit dem Rechenmodell 21 ist weiterhin eine Situation während der Bearbeitung des mindestens einen Arbeitsbereiches A identifizierbar. Eine Situation kann durch Merkmale des Bearbeitungswerkzeugs 1, wie einen Zustand, insbesondere ein Drehmoment, Sensordaten 131 und Bilder 121 des Arbeitsbereiches A einzeln, in Kombination oder in der Zusammenschau während der Bearbeitung des mindestens einen Arbeitsbereiches A gekennzeichnet sein.
-
Beim Training bildet das Rechenmodell 21 Klassifikatoren 221, 222, 231, 232 basierend auf Sensordaten 130, Bildern 120 und/oder Merkmalen, wie einem Zustand, des Bearbeitungswerkzeugs 1. 2B zeigt Bildung eines Klassifikators 221 basierend auf einem Bild 120. Das Bild 120 zeigt einen Arbeitsbereich A, der durch ein Bearbeitungswerkzeug 1 bearbeitet wird, wobei eine Werkzeugkomponente 11 mit dem Arbeitsbereich A wechselwirkt. In einem ersten Schritt S1 extrahiert das Rechenmodell 21 Merkmale und bildet eine Merkmalszuordnung. Die Merkmale werden in einem zweiten Schritt S2 gewichtet und komprimiert. Aus dem Ergebnis der Gewichtung und Kompression bildet das Rechenmodell 21 in einem dritten Schritt S3 einen Merkmalsvektor. Der Merkmalsvektor dient zur Erzeugung des Klassifikators 221.
-
Bei der Anwendung, gezeigt in 2A, greift das Rechenmodell 21 auf die beim Training trainierten Bilder 120 und Sensordaten 130, insbesondere auf die Klassifikatoren 221 zurück, um anhand der Bilder 121 und Sensordaten 131 den Arbeitsbereich A und/oder eine Situation zu identifizieren. In einer Variante berücksichtigt das Rechenmodell 21 zusätzlich Kombinationen von Bildern 121 und Sensordaten 131. Die Identifikation eines Arbeitsbereiches A anhand des mindestens einen Bildes 121 kann dann von den Sensordaten 131 abhängen. Beispielsweise kann eine beim Training bestimmte Position oder Lage des Bearbeitungswerkzeugs 1 erforderlich sein, um den mindestens einen Arbeitsbereich A anhand des mindestens einen Bildes 121 zu identifizieren. Dadurch können insbesondere fehlende oder falsche Positionen und/oder Lagen des Bearbeitungswerkzeugs 1 ermittelbar sein. In einer Variante kann die Auswerteeinheit 2 erlaubte Positionen und/oder Lagen des Bearbeitungswerkzeugs 1 einem Nutzer, beispielsweise über eine Signalvorrichtung 5, vorgeben. Außerdem kann das Rechenmodell 21 die fehlenden Positionen und/oder Lagen, beispielsweise als Reaktion auf eine Eingabe des Nutzers nachlernen.
-
Das Rechenmodell 21 kann auch auf anderweitig, beispielsweise an einer anderen Auswerteeinheit, gebildete oder importierte Klassifikatoren zurückgreifen, um anhand von Bildern 121 und Sensordaten 131 den Arbeitsbereich A und/oder eine Situation zu identifizieren. Zusätzlich kann das Rechenmodell 21 dazu ausgebildet sein, von unbekannten Bildern 121' und/oder unbekannten Sensordaten 131' einen Arbeitsbereich A oder eine Situation aus einem Kontext nachzulernen. Ein Kontext kann beispielsweise eine Abfolge von bekannten Bildern 121 und/oder bekannten Sensordaten 131 sein, in der unbekannte Bilder 121 und/oder Sensordaten 131 enthalten sind. Nachdem ein unbekanntes Bild 121' und/oder unbekannte Sensordaten 131' von einem Arbeitsbereich A oder einer Situation durch das Rechenmodell 21 nachgelernt wurden, ist der Arbeitsbereich A oder die Situation durch das Rechenmodell 21 identifizierbar.
-
2C zeigt eine Zuordnung eines Winkels des Bearbeitungswerkzeugs 1 zwischen 0° und 360° relativ zu dem Arbeitsbereich A zu einem Wahrscheinlichkeitsgrad, der angibt, mit welcher Konfidenz der Arbeitsbereich A anhand mindestens eines Bildes 121, durch das Rechenmodell 21 identifiziert ist. Der Winkel ist hierbei stellvertretend für beliebige Parameter und insbesondere jeden beliebigen Zustand und/oder jede beliebige Situation anzusehen. Selbstverständlich ist es auch denkbar und möglich, eine derartige Zuordnung für Sensordaten 131 durchzuführen. Die nachfolgenden Ausführungen gelten daher ebenso für Sensordaten 131 und für Kombinationen von Sensordaten 131 und Bildern 121.
-
Ein innerer Bereich 251 gibt an, welchen Wahrscheinlichkeitsgrad bisher erfasste Bilder erreicht haben. Ein mittlerer Bereich 252 gibt an, welcher Wahrscheinlichkeitsgrad für das mindestens eine Bild 121 potentiell erreichbar wäre. Ein äußerer Bereich 253 gibt an, welcher Wahrscheinlichkeitsgrad theoretisch maximal erreichbar wäre. Das mindestens eine Bild 121 ist bei einem bestimmten Winkel aufgenommen. Wenn bisher erfasste Bilder, die in einem Winkel des Bearbeitungswerkzeugs 1, der benachbart zu dem bestimmten Winkel ist, einen höheren Wahrscheinlichkeitsgrad erzielen als das mindestens eine Bild 121, wird das mindestens eine Bild 121 zum Training des Rechenmodells 21 verwendet. Insbesondere kann das mindestens eine Bild 121 in einen Datenpool für den nächsten Klassifikator-Durchlauf (Pool der Referenzbilder) übernommen werden. Beispielsweise kann eine Differenzschwelle vorgesehen sein, die angibt, wieviel höher der Wahrscheinlichkeitsgrad der bisher erfassten Bilder im Vergleich zu dem mindestens einen Bild 121 sein muss, um das mindestens eine Bild 121 zum Training des Rechenmodells 21 zu verwenden. Die Differenzschwelle kann in einer Ausführung 0,25 sein. Ebenso kann der Wahrscheinlichkeitsgrad des mindestens einen Bildes 121 im Vergleich zu mit dem potentiell oder theoretisch maximal erreichbaren Wahrscheinlichkeitsgrad zugrunde gelegt werden, um zu bestimmen, ob das mindestens eine Bild 121 zum Training des Rechenmodells 21 zu verwenden ist. Die Differenzschwelle ist dann relativ zu dem potentiell oder theoretisch maximal erreichbaren Wahrscheinlichkeitsgrad.
-
Bei der in 3A dargestellten Bildaufnahmevorrichtung 12 zeigt das erzeugte Bild 121 den Arbeitsbereiches A bei der Bearbeitung durch das Bearbeitungswerkzeug 1. Darauf ist ein kreisförmiges Bauteil T erkennbar. Ebenso kann das Bild 121 einen beliebigen anderen Ausschnitt des Objekts B zeigen. Insbesondere kann das Bild 121 einen Ausschnitt des Objekts B zeigen, der voraussichtlich durch das Bearbeitungswerkzeug 1 bearbeitet werden wird oder der durch das Bearbeitungswerkzeug 1 bearbeitet wurde.
-
Weiterhin ist an dem Bearbeitungswerkzeug 1 ein Sensor 13 zur Erzeugung von Sensordaten 131 angeordnet. Die Sensordaten 131 zeigen eine Überlagerung von zwei Wellenformen mit verschiedenen Frequenzen. Selbstverständlich kann der Sensor 13 die Sensordaten 131 zu jedem beliebigen Zeitpunkt erzeugen. Insbesondere kann der Sensor 13 Sensordaten 131 vor der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 oder nach der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 erzeugen.
-
Die Vorrichtung umfasst weiterhin eine Auswerteeinheit 2. Die Auswerteeinheit 2 empfängt Bilder 121 und Sensordaten 131 jeweils von der Bildaufnahmevorrichtung 12 und dem Sensor 13 zur Auswertung. Dazu ist die Auswerteeinheit 2 mit der Bildaufnahmevorrichtung 12 und dem Sensor 13 verbunden. Selbstverständlich kann die Auswerteeinheit 2 die Bilder und Sensordaten 131 per Funk oder über einen anderen Übertragungsweg empfangen. In einer Variante ist die Auswerteeinheit 2 an dem Bearbeitungswerkzeug 1 angeordnet.
-
Die Auswerteeinheit 2 weist ein Rechenmodell 21 auf, das dazu ausgebildet ist, aus den Bildern 121 und/oder den Sensordaten 131 jeweils einen Klassifikator 221, 231 zu erzeugen. Die Klassifikatoren 221, 231 repräsentieren jeweils mindestens ein wesentliches Merkmal der Bilder 121 und/oder der Sensordaten 131. Zur Veranschaulichung erzeugt die Auswerteeinheit 2 als Klassifikator 221 für das Bild 121 eine Scheibe. Für die Sensordaten 131, die Überlagerung von zwei Wellenformen, wählt die Auswerteeinheit 2 in 3A die Wellenform mit der geringeren Frequenz als Klassifikator 231 aus. Grundsätzlich hängt die Erzeugung des Klassifikators von dem Rechenmodell 21 ab. Die dargestellten Beispiele dienen lediglich der Veranschaulichung.
-
Die von der Auswerteeinheit 2 erzeugten Klassifikatoren 221, 231 sind in einem Klassifikatorspeicher 24 speicherbar. Zur Identifizierung des mindestens einen Arbeitsbereiches A und/oder einer Situation während der Bearbeitung des mindestens einen Arbeitsbereiches A (Anwendung) sind die Klassifikatoren 221, 231 durch die Auswerteeinheit 2 und/oder das Bearbeitungswerkzeug 1 von dem Klassifikatorspeicher 24 abrufbar. Dazu kann der Klassifikatorspeicher 24 beispielsweise kabellos mit dem Bearbeitungswerkzeug 1 verbunden sein.
-
In 3B ist ein Simulationssystem 6 mit der Auswerteeinheit 2 verbunden. Das Simulationssystem 6 simuliert den Arbeitsbereich A. Es kann dazu genutzt werden, Klassifikatoren 222, 232 zu erzeugen. Ebenso kann das Simulationssystem 6 dazu genutzt werden, simulierte Bilder 120' oder Sensordaten 130' der Auswerteeinheit 2 zur Verfügung zu stellen. Die simulierten Bilder 120' oder Sensordaten 120' können zur Erzeugung von Klassifikatoren 222, 232 durch das Rechenmodell 21 genutzt werden. Das Simulationssystem 6 kann insbesondere lösbar mit der Auswerteeinheit 2 verbunden sein. In einer Variante ist das Simulationssystem 6 zum Training mit der Auswerteeinheit 2 verbindbar und während der Anwendung verzichtbar.
-
Das Simulationssystem 6 in 3B erzeugt außerdem einen Klassifikator 222, der zur Identifikation eines Arbeitsbereiches A mit einem rechteckigen Bauteil T nutzbar ist. Ein weiterer durch das Simulationssystem 6 erzeugter Klassifikator 232 ist zur Identifikation von Sensordaten mit einer eckigen Wellenform nutzbar. Die von dem Simulationssystem 6 erzeugten Klassifikatoren 222, 232 sind in dem Klassifikatorspeicher 24 speicherbar. Selbstverständlich kann das Simulationssystem 6 Klassifikatoren 222, 232 für beliebige Arbeitsbereiche A und/oder Situationen erzeugen. Insbesondere können die Klassifikatoren 222, 232 in Echtzeit, also beispielsweise während der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 mit dem Simulationssystem 6 erzeugbar sein. Durch das Simulationssystem 6 kann beispielsweise sichergestellt sein, dass Varianten von Arbeitsbereichen A oder Objekten B durch die Auswerteeinheit 2 identifizierbar sind, die nicht anhand von Bildern 120 von Arbeitsbereichen A und Sensordaten 130 trainiert wurden.
-
In dem in 4 gezeigten Ausführungsbeispiel umfasst die Vorrichtung eine Steuereinheit 4 zur Steuerung des Bearbeitungswerkzeugs 1. Die Steuereinheit 4 ist hierzu mit dem Bearbeitungswerkzeug 1 mittels eines Kabels 123 verbunden. Selbstverständlich kann die Steuereinheit 4 mit dem Bearbeitungswerkzeug 1 kabellos, integral oder anderweitig verbunden sein. Insbesondere kann die Steuereinheit 4 auch über die Auswerteeinheit 2 mit dem Bearbeitungswerkzeug 1 verbunden sein. Ebenso kann die Steuereinheit 4 mit dem Bearbeitungswerkzeug 1 und der Auswerteeinheit 2 verbunden sein.
-
Die Vorrichtung in 5 umfasst neben einem Simulationssystem 6 eine Kontrolleinheit 3, die dazu ausgebildet ist, zu dokumentieren und/oder zu protokollieren, welche Arbeitsbereiche A durch das Bearbeitungswerkzeug 1 bearbeitet wurden. Die Kontrolleinheit 3 kann hierfür eine Abfolge von Arbeitsbereichen A, die durch das Bearbeitungswerkzeug 1 bearbeitet wurden, speichern. Die Kontrolleinheit 3 ist mit der Auswerteeinheit 2 verbunden. Die Auswerteeinheit 2 leitet also Informationen über die bearbeiteten Arbeitsbereiche A an die Kontrolleinheit 3 weiter. Ebenso kann die Steuereinheit 4 mit der Kontrolleinheit 3 verbunden sein. Die Steuereinheit 4 kann also Informationen über die bearbeiteten Arbeitsbereiche A an die Kontrolleinheit 3 weiterleiten.
-
Weiterhin ist eine Signalvorrichtung 5 mit der Auswerteeinheit 2 verbunden. Die Signalvorrichtung 5 kann beispielsweise an dem Bearbeitungswerkzeug 1 angeordnet sein. Die Signalvorrichtung 5 kann auch an einer anderen Komponente der Vorrichtung angeordnet sein oder als eine eigenständige Einheit separat ausgebildet sein. Ebenso kann die Signalvorrichtung 5 in eine Komponente der Vorrichtung, beispielsweise die Auswerteeinheit 2, integriert sein. Mittels der Signalvorrichtung 5 ist ein Signal an einen Nutzer des Bearbeitungswerkzeugs 1 ausgebbar. Das Signal dient beispielsweise dazu, dem Nutzer zu signalisieren, dass die Auswerteeinheit 2 einen Fehler festgestellt hat. Ein Fehler kann beispielsweise die Bearbeitung eines falschen Arbeitsbereiches A, die fehlerhafte Bearbeitung eines Arbeitsbereiches A und/oder die Bearbeitung von Arbeitsbereichen A in einer falschen Abfolge sein.
-
Ein Testarbeitsbereich 7 dient zum Kalibrieren der Vorrichtung. Eine Kalibrierung der Vorrichtung kann beispielsweise erforderlich sein, um die Wahrscheinlichkeit der Identifikation eines Arbeitsbereiches A zu erhöhen. An dem Testarbeitsbereich 7 kann beispielsweise überprüfbar sein, ob die Bildaufnahmevorrichtung 12 ordnungsgemäß funktioniert. Insbesondere die Bildaufnahmevorrichtung 12 ist mittels des Testarbeitsbereiches 7 kalibrierbar.
-
Die Bildaufnahmevorrichtung 12 kann Bilder mittels mindestens einer Kamera erzeugen. Dazu kann die Bildaufnahmevorrichtung 12 an einer bei der Bearbeitung des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 dem Arbeitsbereich A zugewandten Seite des Bearbeitungswerkzeugs 1 angeordnet sein, wie in 6A gezeigt. Selbstverständlich kann die Bildaufnahmevorrichtung 12 an einer beliebigen Stelle des Bearbeitungswerkzeugs 1 angeordnet sein. Insbesondere kann die Bildaufnahmevorrichtung 12 eine Vielzahl von Kameras umfassen, die an verschiedenen Stellen des Bearbeitungswerkzeugs 1 angeordnet sind. Mittels der Vielzahl von Kameras können Bilder einer Umgebung des Bearbeitungswerkzeugs 1, eines oder mehrerer Arbeitsbereiche A und/oder verschiedener Perspektiven auf einen Arbeitsbereich A und/oder einer Umgebung des Arbeitsbereiches A durch die Bildaufnahmevorrichtung 12 erzeugbar sein.
-
Die Bildaufnahmevorrichtung 12 umfasst ein Objektiv 122, dessen optische Achse O einen Arbeitspunkt P schneidet, an dem das Bearbeitungswerkzeug 1 den Arbeitsbereich A bearbeitet. Der Arbeitspunkt P kann dadurch im Zentrum des durch die Bildaufnahmevorrichtung 12 erzeugten Bildes angeordnet sein. Selbstverständlich ist es auch denkbar, dass der Arbeitspunkt P an einer beliebigen Stelle des Bildes angeordnet ist. Zur Verstellung des auf dem Bild gezeigten Ausschnitts des Objekts B kann die Bildaufnahmevorrichtung 12 relativ zu dem Bearbeitungswerkzeug 1 verstellbar sein. Auch ist es denkbar und möglich, dass die Bildaufnahmevorrichtung 12 dazu ausgebildet ist, in einen Arbeitsbereich A hinein und heraus zu zoomen. Hierfür kann die Bildaufnahmevorrichtung 12 mindestens eine Kamera mit einem Zoomobjektiv umfassen.
-
Grundsätzlich kann die optische Achse O eine Einwirkungsachse E, entlang der das Bearbeitungswerkzeug 1 auf den Arbeitsbereich A einwirkt, schneiden, wie in 7 gezeigt. In dem in 8 gezeigten Ausführungsbeispiel ist die optische Achse O parallel zu der Einwirkungsachse E erstreckt.
-
An der Bildaufnahmevorrichtung 12 ist eine Beleuchtungsvorrichtung 14 angeordnet, die den Arbeitsbereich A und einen Teil des Bearbeitungswerkzeugs 1 beleuchtet. Die Beleuchtungsvorrichtung 14 gibt hierfür Licht im Wesentlichen entlang der optischen Achse der Bildaufnahmevorrichtung 12 in Richtung des Arbeitsbereiches A ab. Das Licht der Beleuchtungsvorrichtung 14 beleuchtet insbesondere den Arbeitspunkt P. Selbstverständlich kann die Beleuchtungsvorrichtung 14 Licht jeder beliebigen Wellenlänge in jede beliebige Richtung abgeben. Ebenso ist es denkbar und möglich, dass die Beleuchtungsvorrichtung 14 an einer anderen Stelle des Bearbeitungswerkzeugs 1 wie in 6B gezeigt und insbesondere an dem mindestens einen Sensor 13 angeordnet ist. Die Beleuchtungsvorrichtung 14 kann eine Vielzahl von Lichtquellen umfassen, die an verschiedenen Stellen des Bearbeitungswerkzeugs 1 angeordnet sind und Licht in jede beliebige Richtung abgeben. Die Beleuchtungsvorrichtung 14 kann ständig Licht abgeben, Licht beim Bearbeiten des Arbeitsbereiches A durch das Bearbeitungswerkzeug 1 abgeben oder Licht synchron mit der Aufnahme mindestens eines Bildes durch die Bildaufnahmevorrichtung 12 und/oder der Erzeugung von Sensordaten durch den mindestens einen Sensor 13 abgeben.
-
Der Sensor 13 ist an einer dem Nutzer abgewandten Spitze des Bearbeitungswerkzeugs 1, insbesondere der Spitze des Bearbeitungswerkzeugs 1 angeordnet. Grundsätzlich kann der Sensor 13 an jeder beliebigen Stelle des Bearbeitungswerkzeugs 1 und insbesondere innerhalb des Bearbeitungswerkzeugs 1 angeordnet, also integriert, sein. Eine Detektionsachse D des Sensors 13 kann den Arbeitspunkt P auf dem Arbeitsbereich A schneiden, wie in 7 gezeigt. Die Detektionsachse D kann grundsätzlich entlang einer Richtung erstreckt sein, in der der Sensor 13 die Sensordaten 131 mit der größten Genauigkeit erzeugt. Beispielsweise kann bei einem Sensor 13, der als ein Mikrofon ausgebildet ist, die Detektionsachse D senkrecht zu einer Öffnung des Mikrofons erstreckt sein.
-
Die Detektionsachse D kann insbesondere auch parallel zu der Einwirkungsachse E erstreckt sein, wie in 8 gezeigt. Grundsätzlich kann die Detektionsachse D in jede beliebige Richtung erstreckt sein. Selbstverständlich ist es auch denkbar und möglich, dass der mindestens eine Sensor 13 Sensordaten 131 in mehrere Richtungen mit größter Genauigkeit erzeugt.
-
9 zeigt einen Arbeitsbereich A mit einer Mutter T. Ein derartiges Bauteil T ist durch die Auswerteeinheit 2 bestimmbar. Insbesondere ist die Position des Bauteils T durch die Auswerteeinheit 2 bestimmbar. Grundsätzlich kann jedes beliebige Bauteil T durch die Auswerteeinheit 2 bestimmbar sein. Zusätzlich kann das Fehlen, also das Nichtvorhandensein eines Bauteils T oder ein fehlerhaftes Bauteil T durch die Auswerteeinheit 2 erkennbar sein.
-
10 zeigt ein Bearbeitungswerkzeug 1 mit einer Verlängerung. Eine derartige Werkzeugkomponente 11 kann auf dem mindestens einen Bild 121 abgebildet sein. Die Auswerteeinheit 2 kann dann anhand des Bildes das Vorhandensein der Werkzeugkomponente 11 bestimmen. Ebenso kann die Auswerteeinheit 2 eine falsche Werkzeugkomponente 11, die nicht zur Bearbeitung des Arbeitsbereiches A geeignet ist, erkennen. Zur Erkennung durch die Auswerteeinheit 2 über die Bildaufnahmevorrichtung 12 kann die Werkzeugkomponente 11 beispielsweise eine Markierung umfassen. Selbstverständlich kann die Werkzeugkomponente 11 auch durch den mindestens einen Sensor 13 erkennbar sein.
-
11 zeigt eine Bildaufnahmevorrichtung 12, deren Objektive 122a, 122b ringförmig um die Einwirkungsachse E angeordnet sind. Eine Verbindungsgerade zwischen zwei Objektiven 122a, 122b schneidet die Einwirkungsachse E. Eine Vielzahl von Objektiven kann beispielsweise sternförmig um die Einwirkungsachse E angeordnet sein. Eine Vielzahl von Bilder, die durch die Vielzahl von Objektiven aufnehmbar sind, kann eine Vielzahl von Perspektiven des Arbeitsbereiches A zur Verfügung stellen. Andere Anordnungen von Objektiven, beispielsweise verteilt über eine Oberfläche des Bearbeitungswerkzeugs 1 oder in Clustern, sind natürlich denkbar und möglich.
-
12 zeigt ein Ausführungsbeispiel mit einem Industrieschrauber als Bearbeitungswerkzeug 1. Das Bearbeitungswerkzeug 1 umfasst eine Verlängerung als Werkzeugkomponente 11. Die Bildaufnahmevorrichtung 12 umfasst eine Kamera mit einem Objektiv 122 und ist mittels eines Adapters 15 seitens der Werkzeugkomponente 11 mit dem Bearbeitungswerkzeug 1 verschraubt. Ein Kabel 123 ist dazu vorgesehen, die Bildaufnahmevorrichtung 12 mit der Auswerteeinheit 2 zu verbinden. Selbstverständlich ist eine kabellose Verbindung zwischen Bildaufnahmevorrichtung 12 und Auswerteeinheit 2 ebenso denkbar und möglich, wie in 13 gezeigt.
-
Die Bildaufnahmevorrichtung 12 erzeugt das mindestens eine Bild 121 von dem mindestens einen Arbeitsbereich A in einem Bereich innerhalb eines Bildaufnahmekegels 124. Der Bildaufnahmekegel 124 schneidet die Werkzeugkomponente 11. Die Werkzeugkomponente 11 ist also auch auf dem mindestens einen Bild 121 abgebildet. Selbstverständlich kann der Bildaufnahmekegel 124 andere oder auch keinen Abschnitt des Bearbeitungswerkzeug schneiden. Insbesondere kann der Bildaufnahmekegel 124 mittels einer verstellbaren Bildaufnahmevorrichtung 12 anpassbar sein.
-
Ein Bild 121, auf dem die Werkzeugkomponente 11 abgebildet ist, ist in 14 gezeigt. Der Arbeitspunkt P ist im Zentrum des Bildes 121 angeordnet. Die Werkzeugkomponente 11, gebildet durch eine Verlängerung und ein Bit, ist vom Rand des Bildes 121 ins Zentrum zu dem Arbeitspunkt P erstreckt. Merkmale des Arbeitsbereiches A, anhand derer die Auswerteeinheit 2 den Arbeitsbereich A, optional in Kombination mit Sensordaten, identifiziert, sind durch geschlossene Formen und Linien dargestellt. Das Objekt B ist durch ein Fahrzeug gebildet.
-
Ein weiteres Ausführungsbeispiel ist in 15A gezeigt. Die Werkzeugkomponente 11 ist durch ein Bit gebildet. Mittels der Werkzeugkomponente 11 wird in 15B an einem Arbeitspunkt P ein Bauteil T, gebildet durch eine Schraube, an einem durch einen Fahrzeugsitz gebildeten Objekt B verschraubt. Der Arbeitsbereich A ist durch ein Ende einer Sitzschiene gebildet. Die Bildaufnahmevorrichtung 12 erzeugt in dieser Ausführung mindestens ein Bild 121 der Sitzschiene, des Bits und der Schraube zur Identifizierung des Arbeitsbereiches.
-
Die 16A-16C zeigen jeweils ein Bild 121 eines Arbeitsbereiches A an einer Kraftfahrzeugtür. Der Winkel des Bearbeitungswerkzeuges 1 in 16A ist als 0° in einer Bildebene, die im Wesentlichen parallel zum dem Arbeitsbereich A angeordnet ist, definiert. Es sind mehrere wesentliche Merkmale 121a, 121b, 121c, 121d, 121f, 121g auf dem Arbeitsbereich A sichtbar. Die wesentlichen Merkmale 121a, 121b, 121c, 121d, 121f, 121g sind durch Löcher, Schrauben und eine Abdeckung gebildet. Das Bearbeitungswerkzeug 1 ist in 16B um 3° relativ zu dem Bearbeitungswerkzeug 1 in 16A in der Bildebene gedreht. Durch die Drehung ist ein größerer Abschnitt des wesentlichen Merkmals 121g, das mit einem Rechteck gekennzeichnet ist, sichtbar. Das Bearbeitungswerkzeug 1 in 16C ist um weitere 5° auf 8° relativ zu 16C in der Bildebene gedreht. Durch die Drehung haben sich die wesentlichen Merkmale 121a, 121b, 121c, 121d, 121f, 121g weiter innerhalb des Bildes 121 verschoben. Ein weiteres wesentliches Merkmal 121e, das zuvor durch die Werkzeugkomponente 11 verdeckt war, ist sichtbar. Die in 16A-C gezeigten Bilder bilden eine aufeinanderfolgenden Serie von Bildern. Grundsätzlich haben die Bilder einer Serie von Bildern keinen Bezug zueinander. Mittels der Auswerteeinheit 2 lassen sich die Bilder 121 über die enthaltenen wesentlichen Merkmale 121a, 121b, 121c, 121d, 121e, 121f, 121g verknüpfen, um einen Bezug zwischen den Bildern einer Serie von Bilder herzustellen (Feature-Erkennung). Durch die Verknüpfung von Bildern kann ein Wahrscheinlichkeitsgrad den bearbeiteten Arbeitsbereich zu identifizieren erhöhbar sein.
-
17A zeigt einen Arbeitsbereich A eines Kraftfahrzeugs, an dem ein Bauteil T fehlt. Mittels der Vorrichtung ist das Fehlen des Bauteils detektierbar. Dazu bestimmt die Auswerteeinheit 2 das fehlende Bauteil T. Die Auswerteeinheit 2 erkennt also das Fehlen, also das Nichtvorhandensein des Bauteils T, an dem Kraftfahrzeug. 17B zeigt den Arbeitsbereich A des Kraftfahrzeugs, an dem die Schraube T montiert ist.
-
Bezugszeichenliste
-
- 1
- Bearbeitungswerkzeug
- 11
- Werkzeugkomponente
- 12
- Bildaufnahmevorrichtung
- 120
- Bild (Training)
- 120'
- Bild (Simulation)
- 121
- Bild
- 121a, 121b, 121c, 121d, 121e, 121f, 121g
- Wesentliches Merkmal
- 121'
- unbekanntes Bild
- 122, 122a, 122b
- Objektiv
- 123
- Kabel
- 124
- Bildaufnahmekegel
- 13
- Sensor
- 130
- Sensordaten (Training)
- 130'
- Sensordaten (Simulation)
- 131
- Sensordaten
- 131'
- unbekannte Sensordaten
- 14
- Beleuchtungsvorrichtung
- 15
- Adapter
- 2
- Auswerteeinheit
- 21
- Rechenmodell
- 221, 222, 231, 232
- Klassifikator
- 24
- Klassifikatorspeicher
- 3
- Kontrolleinheit
- 4
- Steuereinheit
- 5
- Signalvorrichtung
- 6
- Simulationssystem
- 7
- Testarbeitsbereich
- 8
- Hinweisvorrichtung
- 9
- Schnittstelle
- A
- Arbeitsbereich
- B
- Objekt
- D
- Detektionsachse
- E
- Einwirkungsachse
- O
- optische Achse
- P
- Arbeitspunkt
- S1
- erster Schritt
- S2
- zweiter Schritt
- S3
- dritter Schritt
- T
- Bauteil
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012219871 A1 [0002]