EP3271116B1

EP3271116B1 - Device and method for screwing

Info

Publication number: EP3271116B1
Application number: EP16712766.1A
Authority: EP
Inventors: Armin Baumgartner
Original assignee: Nexustec GmbH
Current assignee: Nexustec GmbH
Priority date: 2015-03-17
Filing date: 2016-03-16
Publication date: 2020-02-12
Anticipated expiration: 2036-03-16
Also published as: WO2016146705A1; DE102015103941A1; EP3271116A1

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verschrauben von Gegenständen, insbesondere bei der Herstellung und/oder Montage von Fahrzeugen.The present invention relates to a device and a method for screwing objects, in particular in the manufacture and / or assembly of vehicles.

Bei der Herstellung bzw. der Montage von Kraftfahrzeugen ist heutzutage ein hoher Automatisierungsgrad erreicht. Insbesondere beim Verschrauben von Fahrzeugteilen wie etwa von Teilen der Karosserie oder des Fahrgestells, des Motors oder des Antriebstrangs ist eine hohe Zuverlässigkeit bei der Einhaltung des an der jeweiligen Verschraubungsstelle vorgeschriebenen Drehmoments von hoher Wichtigkeit. Derartige Verschraubungen werden oft in manueller Arbeit durch Fachkräfte ausgeführt. Dabei ist es bekannt, die Durchführung und insbesondere Überwachung des Verschraubungsvorgangs nach dem Vier-Augen-Prinzip durchzuführen. Dabei betätigt eine Person das Verschraubungswerkzeug wie etwa einen Drehmomentschlüssel mit aufgesetzter Nuss, und eine zweite Person beobachtet und protokolliert das am Werkzeug angezeigte Drehmoment. Eine solche Verfahrensweise ist ersichtlich mit einem hohen Personaleinsatz und den damit verbundenen Kosten belastet.A high degree of automation is achieved today in the manufacture or assembly of motor vehicles. In particular when screwing vehicle parts such as parts of the body or the chassis, the engine or the drive train, a high degree of reliability is of great importance in complying with the torque prescribed at the respective screwing point. Such screw connections are often carried out manually by specialists. It is known to carry out and in particular monitor the screwing process according to the four-eyes principle. One person actuates the screwing tool, such as a torque wrench with the nut attached, and a second person observes and records the torque displayed on the tool. Such a procedure is evidently burdened with a high level of personnel and the associated costs.

Ferner ist ein Schraubenschlüssel bekannt, der zur elektrischen Erfassung und Protokollierung des Drehmoments fähig ist. Damit kann eine Protokollierung der jeweils durchgeführten Verschraubungsfälle in ihrer Reihenfolge erreicht werden. Es ist damit jedoch nicht möglich, die protokollierten Verschraubungsfälle einem jeweiligen Verschraubungsort am Fahrzeug zuzuordnen. Damit im Nachhinein nachvollzogen werden kann, an welcher Stelle am Fahrzeug bzw. dem zu verschraubenden Gegenstand die jeweils protokollierten Drehmomente aufgetreten sind, ist auch hier eine manuelle Zuordnung, Aufzeichnung, Quittierung bzw. Protokollierung erforderlich.Furthermore, a wrench is known which is capable of electrically recording and logging the torque. This allows logging of the screwing cases carried out in their order. However, it is not possible to assign the logged screwing cases to a specific screwing location on the vehicle. In order to be able to understand afterwards at which point on the vehicle or the object to be screwed the respective logged torques occurred, manual assignment, recording, acknowledgment or logging is also required here.

Aus der Medizintechnik ist es gemäß einer Eigenentwicklung der Anmelderin bekannt, Eingriffe am Körper mit Video zu überwachen, wobei vorzugsweise mit Infrarotbildern gearbeitet wird. Bei diesem System werden über MIP-Punkte ISO-Oberflächen aufgespannt, die gegeneinander überlagert werden. Für das System ist eine registrierte Videoüberlagerung von Realbildern und "Konstruktionsdaten" nötig. Markierungen am Werkzeug erleichtern dabei die Zuordnung und das Nachvollziehen der vorgenommenen Operationsschritte.From medical technology, it is known, according to an in-house development by the applicant, to monitor interventions on the body with video, preferably using infrared images. In this system, ISO surfaces are spanned using MIP points, which are superimposed on one another. A registered video overlay of real images and "construction data" is required for the system. Markings on the tool make it easier to assign and understand the operations performed.

Aus der DE 10 2010 032 553 A1 geht eine Vorrichtung zum Überwachen von Drehmoment- und Verbindungsbedingungen während des Fertigungsprozesses in der Automobilindustrie hervor. Diese Vorrichtung weist einen Rotationssensor auf, der einen Projektor zum Projizieren eines vorbestimmten Musters und einen Bildwandler 66 bzw. Kamera aufweist. Hiermit werden dreidimensionale Daten erzeugt, so dass eine Überwachung der von einem mechanischen Befestigungsmittel zurückgelegten Rotationsdistanz möglich ist. Eine Befestigungseinrichtung wird anhand dieser visuellen Informationen und/oder von Drehmomentdaten und/oder von Verbindungsdaten entsprechend angesteuert.From the DE 10 2010 032 553 A1 shows a device for monitoring torque and connection conditions during the manufacturing process in the automotive industry. This device has a rotation sensor which has a projector for projecting a predetermined pattern and an image converter 66 or camera. This generates three-dimensional data so that it is possible to monitor the rotational distance covered by a mechanical fastener. A fastening device is based on this visual information and / or torque data and / or connection data are controlled accordingly.

Die DE 10 2012 003 809 A1 betrifft ein System, mit welchen das Drehmoment, das zum Öffnen eines Kunststoff-Schraubverschlusses einer Flasche notwendig ist, berührungslos ermittelt wird. Dies erfolgt durch Detektieren entsprechender Marken mittels einer Kamera.The DE 10 2012 003 809 A1 relates to a system with which the torque required to open a plastic screw cap of a bottle is determined without contact. This is done by detecting appropriate marks using a camera.

In der EP 1 963 786 B1 ist ein System zum Verfassen einer Position eines Objektes beschrieben. Hierbei werden die Objekte optisch erfasst.In the EP 1 963 786 B1 describes a system for writing a position of an object. The objects are captured optically.

Aus der US 2008/0115589 A1 geht ein Drehmomentschlüssel hervor, der eine Dreh-moment-Messeinrichtung aufweist. Dieses System weist weiterhin eine Kamera und einen sichtbaren Zeiger auf. Der sichtbare Zeiger ist beispielsweise ein Lichtsignal, das eine bestimmte Verbindung markiert, die mit dem Drehmomentschlüssel angezogen werden soll. Mit der Kamera kann die angezogene Verbindung aufgenommen werden und daraus automatisch ermittelt werden, welche Verbindung als nächstes anzuziehen ist, so dass dem Benutzer eine exakte Reihenfolge vorgegeben wird. Weiterhin können auch Informationen über die einzelnen Verbindungen gespeichert werden.From the US 2008/0115589 A1 is a torque wrench that has a torque measuring device. This system also has a camera and a visible pointer. The visible pointer is, for example, a light signal that marks a specific connection that is to be tightened with the torque wrench. The tightened connection can be recorded with the camera and it can be used to automatically determine which connection is to be tightened next, so that the user is given an exact sequence. Information about the individual connections can also be saved.

Aus der US 2008/0061145 A1 geht ein Verbindungswerkzeug, wie z. B. ein Schraubendreher, hervor, mit welchem Verbindungsteile verbunden werden können. Den Verbindungsteilen ist eine Markierung zugeordnet. Das Werkzeug weist eine Leseeinrichtung auf, die diese Markierung erfassen kann. Die Markierung kann beispielsweise ein Barcode sein. Diese Information kann mit entsprechenden Informationen einer Datenbank verglichen werden.From the US 2008/0061145 A1 goes a connection tool such. B. a screwdriver, with which connecting parts can be connected. A marking is assigned to the connecting parts. The tool has a reading device that can detect this marking. The marking can be a barcode, for example. This information can be compared with corresponding information from a database.

In der US 2014/0137669 A1 ist ein Drehmomentbestimmungssystem beschrieben, das aus vorbestimmten Winkelstellungen das entsprechende Drehmoment ermittelt. Die Winkelstellungen können mit einem Röntgensystem erfasst werden.In the US 2014/0137669 A1 describes a torque determination system that determines the corresponding torque from predetermined angular positions. The angular positions can be recorded using an X-ray system.

In der DE 10 2013 017 007 A1 ist ein Roboter offenbart, bei dem der mit dem Roboter ausgeübte Kraft- und Drehmomenteintrag bestimmt werden kann. Ein weiteres Beispiel ist in WO 2013111387 offenbart.In the DE 10 2013 017 007 A1 discloses a robot in which the force and torque input exerted by the robot can be determined. Another example is in WO 2013111387 disclosed.

Es ist eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum Verschrauben von oder an Gegenständen, insbesondere bei der Herstellung bzw. Montage von Fahrzeugen, zu schaffen, die es ermöglichen, die jeweils aufgebrachten Drehmomente unter Zuordnung zu den jeweils abgearbeiteten Verschraubungsorten mit geringerem Personalaufwand und ohne Veränderungen am zu verschraubenden Gegenstand zuverlässig zu protokollieren.It is an object of the present invention to provide a device and a method for screwing on or to objects, in particular in the manufacture or assembly of vehicles, which make it possible to reduce the torques applied in each case by assigning them to the respectively processed screwing locations with less Record personnel costs reliably and without changes to the object to be screwed.

Die vorstehende Aufgabe wird durch die Merkmale der unabhängigen Ansprüche 1 und 12 gelöst. Vorteilhafte Weiterbildungen und bevorzugte Ausführungsformen der vorliegenden Erfindung bilden den Gegenstand der Unteransprüche.The above object is solved by the features of independent claims 1 and 12. Advantageous further developments and preferred embodiments of the present invention form the subject of the subclaims.

Die vorliegende Erfindung geht von der Grundidee aus, einen Arbeitsbereich mit dem zu verschraubenden Gegenstand und einer Werkzeugeinheit die zum Schrauben von Schraubverbindungselementen ausgebildet ist, durch eine Bildaufnahmeeinheit zu überwachen und die aufgenommenen Bilder zu analysieren, um zumindest den Gegenstand und einen Verschraubungsort, an dem eine Verschraubung vorgenommen wird, zu erkennen und automatisch ein Protokoll zu erzeugen, in welchem der erkannte Gegenstand und Verschraubungsort sowie ein bei der Verschraubung aufgebrachtes und erfasstes Drehmoment bzw. ein ausgeübter Drehwinkel miteinander in Bezug gebracht werden. Wahlweise können die Datensätze des Protokolls, die im Zusammenhang mit der vorliegenden Erfindung als Protokolltupel bezeichnet werden, auch Daten, welche die ebenfalls durch Bildanalyse erkannte Werkzeugeinheit wiedergeben, und/oder einen Zeitstempel, der eine Zeit, an welcher das Drehmoment bzw. der Drehwinkel aufgebracht wurde, und/oder anhand eines Arbeitsplans erzeugte Vorgaben hinsichtlich eines Verschraubungsorts an dem Gegenstand und/oder eines Schraubfalls und/oder einer Werkzeugauswahl aufweisen. Die Protokolltupel können auch zur Überwachung des Verschraubungsvorgangs, zur Überprüfung des Verschraubungserfolgs- und/oder Fortschritts, zur Rückmeldung von Vorgaben und/oder Überprüfungsergebnissen an einen Benutzer und zur Führung des Benutzers verwendet werden. Rückmeldungen können durch optische und/oder akustische Signalisierung und/oder Bildanzeige erfolgen.The present invention is based on the basic idea of monitoring a work area with the object to be screwed and a tool unit which is designed for screwing screw connection elements by means of an image recording unit and analyzing the recorded images in order to at least identify the object and a screwing location at which one Bolting is carried out to recognize and automatically generate a log in which the recognized object and bolting location as well as a torque applied and recorded during the bolting or an applied angle of rotation are related to each other. Optionally, the data records of the protocol, which are referred to in the context of the present invention as a protocol tuple, can also be data which represent the tool unit also recognized by image analysis, and / or a time stamp, which is a time at which the torque or the angle of rotation is applied was, and / or have specifications generated on the basis of a work plan with regard to a screwing location on the object and / or a screwing case and / or a tool selection. The protocol tuples can also be used for monitoring the screwing process, for checking the screwing success and / or progress, for reporting back specifications and / or check results to a user and for guiding the user. Feedback can be provided by optical and / or acoustic signaling and / or image display.

Bevorzugt werden die Protokolltupel erst dann gesichert, wenn festgestellt wurde, dass die Werkzeugeinheit von der Verschraubungsstelle entfernt wurde; und/oder die erfassten Daten hinsichtlich des Gegenstands und des Verschraubungsorts und des aufgebrachten Drehmoments bzw. des ausgeführten Drehwinkels, vorzugsweise auch hinsichtlich der Werkzeugeinheit, mit Vorgaben übereinstimmen; und/oder ein abgearbeiteter Schraubfall durch einen Benutzer quittiert wird. Eine Sicherung kann beispielsweise, aber nicht nur, als Ausdruck, dauerhafte Speicherung in einem nichtflüchtigen Speicher oder Datenträger, Übertragung an eine entfernte Verwaltungsstelle, etc. erfolgen. Das erfasste und in dem Protokolltupel, insbesondere in dem gesicherten Protokolltupel, enthaltene Drehmoment ist vorzugsweise ein maximales an dem Verschraubungsort aufgebrachtes Drehmoment.The protocol tuples are preferably only saved when it has been established that the tool unit has been removed from the screwing point; and / or the recorded data with regard to the object and the screwing location and the applied torque or the executed rotation angle, preferably also with respect to the tool unit, correspond to specifications; and / or a completed screwdriving case is acknowledged by a user. A backup can take place, for example, but not only, as a printout, permanent storage in a non-volatile memory or data carrier, transfer to a remote administration point, etc. The torque recorded and contained in the protocol tuple, in particular in the secured protocol tuple, is preferably a maximum torque applied at the screwing location.

Das Erkennen des Gegenstands kann auch anhand der Punkte erfolgen, die einen bestimmten Körper beschreiben, der Bestandteil des Gegenstandes ist. Die Punkte dieses Körpers stellen somit Referenzpunkte dar. Es sind unterschiedliche Algorithmen bekannt, mit welchen aus räumlichen Bildern, das heißt Bildern, die dreidimensionale Informationen über die erfassten Gegenstände umfassen, einzelne Körper extrahiert und mit einem Datenmodell beschrieben werden.The object can also be recognized on the basis of the points which describe a specific body which is part of the object. The points of this body thus represent reference points. Different algorithms are known with which individual bodies are extracted from spatial images, that is to say images that include three-dimensional information about the objects detected, and are described with a data model.

Das Bestimmen bzw. Erkennen des Gegenstandes erfolgt vorzugsweise durch Vergleichen der Referenzpunkte mit den entsprechenden Punkten in einem dreidimensionalen Modell des Gegenstandes.The object is preferably determined or recognized by comparing the reference points with the corresponding points in a three-dimensional model of the object.

Ein solches Modell kann aus Konstruktionsdaten abgeleitet werden. Vorzugsweise wird ein solches Modell des Gegenstandes jedoch in einem leeren Lernprozess erstellt, in dem mehrere räumliche Aufnahmen mit der Bildaufnahmeeinheit erstellt werden. Das Modell wird dann aus diesen räumlichen Aufnahmen erzeugt, indem diese Aufnahmen übereinander gelagert und abgeglichen werden. Ein solches von den räumlichen Bildern bzw. Aufnahmen abgeleitete Modell beschreibt den Gegenstand in einer Art und Weise, die den räumlichen Bildern, die im späteren Betrieb mit der Bildaufnahmeeinheit erfasst werden, sehr ähnlich ist.Such a model can be derived from design data. However, such a model of the object is preferably created in an empty learning process in which several spatial recordings are made with the image recording unit. The model is then generated from these spatial recordings by superimposing and comparing these recordings. Such a model derived from the spatial images or recordings describes the object in a manner that is very similar to the spatial images that are captured in later operation with the image recording unit.

Die Verwendung einer Stereokamera zur Erzeugung derartiger räumlicher Bilder des Gegenstandes und der Vergleich mit einem dreidimensionalen Modell des Gegenstandes erlaubt es, die Stereokamera mit unterschiedlichen Blickrichtungen auf den Gegenstand zu richten und trotzdem einen zuverlässigen Abgleich mit dem Modell zu erzielen, wodurch der Gegenstand und dessen Position im Koordinatensystem der Stereokamera zuverlässig erfasst werden kann, auch wenn aus unterschiedlichen Blickrichtungen die räumlichen Bilder vom Gegenstand erfasst werden.The use of a stereo camera to generate such spatial images of the object and a comparison with a three-dimensional model of the object allows the stereo camera To aim at the object with different viewing directions and still achieve a reliable comparison with the model, whereby the object and its position in the coordinate system of the stereo camera can be reliably detected, even if the spatial images of the object are captured from different viewing directions.

Als eine Werkzeugeinheit im Sinne der Erfindung kann jedwedes Verschraubungswerkzeug verstanden werden, das es ermöglicht, ein beim Verschrauben aufgebrachtes Drehmoment zu erfassen, zu messen, anzuzeigen, zu erkennen etc. Insbesondere kann die Werkzeugeinheit als sogenannter Drehmomentschlüssel ausgestaltet sein, der eine Hebeleinheit mit einer Werkzeugaufnahme aufweist, wobei in bzw. an der Werkzeugaufnahme ein auswechselbares Werkzeug aufgenommen bzw. aufnehmbar ist. Das auswechselbare Werkzeug kann etwa eine sogenannte Nuss oder ein sogenannter Bit, mit oder ohne Verlängerung, sein und ist für einen jeweiligen Schraubfall an das zu schraubende Schraubverbindungselement angepasst bzw. anpassbar. Weitere Beispiele für geeignete Werkzeugeinheiten sind beispielsweise, aber nicht nur, ein Schraubendreher oder ein Schlagschrauber.Any screwing tool can be understood as a tool unit in the sense of the invention, which makes it possible to record, measure, display, recognize, etc. a torque applied during screwing. In particular, the tool unit can be designed as a so-called torque wrench, which is a lever unit with a tool holder has, with an interchangeable tool being received or receivable in or on the tool holder. The interchangeable tool can be a so-called nut or a so-called bit, with or without an extension, and is adapted or adaptable to the screw connection element to be screwed for a particular screwing case. Other examples of suitable tool units include, but are not limited to, a screwdriver or an impact wrench.

Die Anzeige des Drehmoments kann beispielsweise, aber nicht nur, durch eine optische Anzeige wie etwa einen Zeiger, eine Skala, eine Uhr oder eine Digitalanzeige und/oder und durch Sensieren und Übertragen von Messdaten, erfolgen. Dabei werden zur Erfassung des Drehmoments im letzteren Fall die Sensordaten an eine Datenverarbeitungseinheit drahtlos oder leitungsgebunden übertragen und dort ausgewertet, und wird im ersteren Fall das durch die Bildaufnahmeeinheit gelieferte Bild auch dahin ausgewertet, das durch die optische Anzeige angezeigte Drehmoment zu erkennen. Zum Sensieren des Drehmoments kann ein entsprechender Sensor vorgesehen sein. Die Drehvorgabenausgabeeinrichtung ist vorzugsweise in bzw. an der Hebeleinheit angeordnetThe torque can be displayed, for example, but not only, by means of an optical display such as a pointer, a scale, a clock or a digital display and / or by sensing and transmitting measurement data. In the latter case, the sensor data are transmitted to a data processing unit in a wireless or wired manner and evaluated there to record the torque, and in the former case the image supplied by the image recording unit is also evaluated to identify the torque indicated by the optical display. A corresponding sensor can be provided for sensing the torque. The rotation specification output device is preferably arranged in or on the lever unit

In bevorzugten Ausführungsformen tragen die Werkzeugeinheit, insbesondere die Hebeleinheit und/oder das auswechselbare Werkzeug, eine Identifikationsmarkierung. Die Identifikationsmarkierung kann beispielsweise, aber nicht nur, einen Strichkode, einen Farbcode, einen 2D-Barcode und/oder eine Lochmarkierung, aufweisen. Die Identifikationsmarkierung ermöglicht es, die Werkzeugeinheit anhand der Identifikationsmarkierung zu erkennen. Die Identifikationsmarkierung kann an einer auswechselbaren Markierungseinheit angebracht sein, welche an geeigneter Stelle an der Werkzeugeinheit angebracht bzw. anbringbar ist.In preferred embodiments, the tool unit, in particular the lever unit and / or the exchangeable tool, carry an identification mark. The identification marking can, for example, but not only, have a bar code, a color code, a 2D barcode and / or a hole marking. The identification mark makes it possible to recognize the tool unit on the basis of the identification mark. The identification marking can be attached to an exchangeable marking unit, which can be attached or attached to the tool unit at a suitable location.

Eine Trägereinheit, welche wenigstens die Bildaufnahmeeinheit trägt, kann vorzugsweise in Form eines Brillengestells, einer Schutzbrille, eines Schutzhelms, eines Stirnbands oder Teil eines Kleidungsstücks wie etwa einer Schulterklappe, eines Kragens oder eines Gürtels ausgebildet sein oder Befestigungselemente zur Anbringung an einer Brille, einer Schutzbrille, einem Schutzhelm, einem Stirnband oder an einem Kleidungsstück wie etwa an einer Schulterklappe, einem Kragen, einem Gürtel aufweisen. Damit kann ein Verwender die Bildaufnahmeeinheit am Körper tragen. Wenn die Bildaufnahmeeinheit am Kopf getragen wird, folgt eine Bilderfassung in vorteilhafter Weise den Kopfbewegungen des Verwenders.A carrier unit, which carries at least the image recording unit, can preferably be designed in the form of a spectacle frame, protective glasses, protective helmets, a headband or part of a piece of clothing such as a shoulder flap, a collar or a belt, or fastening elements for attachment to glasses, protective glasses , a hard hat, a headband, or on a piece of clothing such as a shoulder patch, collar, or belt. This allows a user to wear the image recording unit on the body. When the image recording unit is worn on the head, image acquisition advantageously follows the user's head movements.

Vorzugsweise ist die Bildaufnahmeeinheit ausgebildet, um ein räumliches Bild zu erzeugen. Hierzu weist die Bildaufnahmeeinheit insbesondere eine erste Bilderfassungseinheit und eine zweite Bilderfassungseinheit, die räumlich getrennt voneinander angeordnet sind, auf.The image recording unit is preferably designed to generate a spatial image. For this purpose, the image acquisition unit has in particular a first image acquisition unit and a second image acquisition unit, which are arranged spatially separated from one another.

Es versteht sich, dass das Verfahren für eine Vielzahl von Verschraubungsorten bzw. Schraubfällen wiederholt werden kann.It goes without saying that the method can be repeated for a large number of screwing locations or screwing cases.

Die Erkennung des Gegenstands erfolgt vorzugsweise anhand vorgegebener, ortsunveränderlicher erster Erkennungspunkte an dem Gegenstand, wobei die ersten Erkennungspunkte durch Vergleich mit einem vorab gespeicherten Modell des Gegenstands erkannt werden, und wobei die ersten Erkennungspunkte vorzugsweise dem Gegenstand immanent sind. Die Erkennung des Verschraubungsorts erfolgt vorzugsweise anhand vorgegebener, ortsunveränderlicher zweiter Erkennungspunkte an der Werkzeugeinheit, wobei die zweiten Erkennungspunkte durch Vergleich mit einem vorab gespeicherten Modell der Werkzeugeinheit erkannt werden, wobei die zweiten Erkennungspunkte vorzugsweise der Werkzeugeinheit immanent sind. Dabei kann das Modell jeweils aus Konstruktionsdaten wie etwa CAD-Daten abgeleitet oder durch vorheriges Anlernen erzeugt werden.The object is preferably recognized on the basis of predefined, stationary first detection points on the object, the first detection points being recognized by comparison with a previously stored model of the object, and the first detection points preferably being immanent to the object. The location of the screw connection is preferably identified on the basis of predefined, stationary, second detection points on the tool unit, the second detection points being identified by comparison with a previously stored model of the tool unit, the second detection points preferably being immanent to the tool unit. The model can be derived from design data such as CAD data or generated by prior training.

Das Bild ist ein räumliches Bild, welches durch zwei räumlich getrennte Bilderfassungseinheiten (=Stereokamera) aufgenommen wird. Dabei kann zur Erkennung des Gegenstands eine durch die relative räumliche Lage der zwei Bilderfassungseinheiten definierte Geometriereferenz verwendet werden.The image is a spatial image, which is recorded by two spatially separate image acquisition units (= stereo camera). A geometry reference defined by the relative spatial position of the two image acquisition units can be used to recognize the object.

Weitere Merkmale, Aufgaben, Vorteile und Wirkungen der vorliegenden Erfindungen werden aus der nachstehenden Beschreibung spezieller Ausführungsbeispiele ersichtlich werden. Zur Veranschaulichung der Ausführungsbeispiele wird auf die beigefügte Zeichnung Bezug genommen. Dabei ist:

Fig. 1 ein Blockschaubild zur Veranschaulichung einer Vorrichtung zum Verschrauben von Gegenständen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 eine Ansicht einer Werkzeugeinheit, die in dem Ausführungsbeispiel verwendet werden kann;
Fig. 3 eine räumliche Ansicht einer auswechselbaren Markierungseinheit zum Anbringen einer Identifikationsmarkierung an der Werkzeugeinheit von Fig. 2;
Fig. 4 eine räumliche Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 5 eine räumliche Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 6 eine Ansicht einer Bildaufnahmeeinheit mit einer Trägereinheit gemäß einem noch weiteren Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 7 eine schematische Darstellung einer Verschraubungssituation zur Veranschaulichung eines Verfahrens zum Verschrauben von Gegenständen gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 8 ein Prinzipschaubild, welches ausgewählte Punkte in der in Fig. 7 gezeigten Situation in einem Koordinatensystem schematisch darstellt;
Fig. 9 ein Blockschaubild zur Veranschaulichung des Verfahrens zum Verschrauben von Gegenständen gemäß der vorliegenden Erfindung;.
Figur 10 eine Markierungseinheit mit einem zweidimensionalen Barcode.

Further features, objects, advantages and effects of the present inventions will become apparent from the following description of specific exemplary embodiments. To illustrate the exemplary embodiments, reference is made to the accompanying drawing. Here is:

Fig. 1 a block diagram illustrating an apparatus for screwing objects according to an embodiment of the present invention;
Fig. 2 a view of a tool unit that can be used in the embodiment;
Fig. 3 a spatial view of an interchangeable marking unit for attaching an identification mark to the tool unit of Fig. 2 ;
Fig. 4 a spatial view of an image recording unit with a carrier unit according to an embodiment of the present invention;
Fig. 5 a spatial view of an image recording unit with a carrier unit according to a further embodiment of the present invention;
Fig. 6 a view of an image recording unit with a carrier unit according to yet another embodiment of the present invention;
Fig. 7 is a schematic representation of a screwing situation to illustrate a method for screwing objects according to an embodiment of the present invention;
Fig. 8 a principle diagram, which selected points in the in Fig. 7 schematically shows the situation shown in a coordinate system;
Fig. 9 a block diagram illustrating the method for screwing objects according to the present invention.
Figure 10 a marking unit with a two-dimensional barcode.

Die vorliegende Erfindung wird nun anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben werden. Dabei ist zu verstehen, dass die bildlichen Darstellungen rein schematisch und nicht notwendigerweise maßstabsgetreu sind. Ebenso ist darauf hinzuweisen, dass die Zeichnungen und die nachfolgende Beschreibung sich auf die zum Verständnis der Erfindung hilfreichen Merkmale konzentrieren, ohne dass dadurch der Schutzbereich der vorliegenden Erfindung, der allein durch die beigefügten Ansprüche definiert ist, eingeschränkt werden soll.The present invention will now be described in detail by means of preferred embodiments with reference to the accompanying drawings. It should be understood that the pictorial representations are purely schematic and are not necessarily to scale. It should also be pointed out that the drawings and the following description concentrate on the features helpful for understanding the invention, without the The scope of the present invention, which is defined solely by the appended claims, is intended to be limited.

Fig. 1 ist ein Blockschaubild, welches eine Vorrichtung zum Verschrauben von Gegenständen in einem Verschraubungsfall schematisch veranschaulicht. Zur Durchführung einer Verschraubung an einem Gegenstand 100 wird eine Vorrichtung verwendet, die mehrere Elemente aufweist, nämlich eine Werkzeugeinheit 200, eine Bildaufnahmeeinhit 300, eine Datenverarbeitungseinheit 400 und eine Bildausgabeeinheit 500. Fig. 1 is a block diagram which schematically illustrates a device for screwing objects in a screwing case. To carry out a screw connection on an object 100, a device is used which has several elements, namely a tool unit 200, an image recording unit 300, a data processing unit 400 and an image output unit 500.

Gemäß der Darstellung in Fig. 1 weist der Gegenstand 100 eine Mehrzahl von Referenzpunkten 110 sowie einen Verschraubungsort 120 auf. Die Referenzpunkte 110 sind unveränderliche Erkennungspunkte an dem Gegenstand 100, die durch die Konstruktion des Gegenstands 100 vorgegeben sind. Die Referenzpunkte 110 können auch die Punkte sein, die einen bestimmten Körper des Gegenstandes beschreiben. Vorzugsweise werden als Referenzpunkte auch diejenigen Punkte verwendet, die einen langgestreckten Körper beschreiben. Ein in einer Modeldatenspeichereinheit 440 gespeichertes Datenmodell, welches die Erkennung und räumliche Zuordnung der Referenzpunkte 110 am Gegenstand 100 aus einer räumlichen bildlichen Darstellung ermöglicht, wird nachstehend genauer beschrieben. Dieses Model kann aus Konstruktionsdaten abgeleitet und/oder während eines Lernprozesses, bei dem mehrere räumliche Aufnahmen mit der Bildaufnahmeeinheit 300 erstellt werden, erzeugt werden. Vorzugsweise wird das Modell aus den mit der Bildaufnahmeeinheit 300 erfassten räumlichen Aufnahmen erzeugt, da ein solches Modell den im späteren Betrieb erfassten räumlichen Bildern sehr ähnlich ist. Die mehreren räumlichen Bildern werden zum Erzeugen des Modells einander überlagert und abgeglichen.As shown in Fig. 1 the object 100 has a plurality of reference points 110 and a screwing location 120. The reference points 110 are unchangeable recognition points on the object 100, which are predetermined by the construction of the object 100. The reference points 110 can also be the points that describe a specific body of the object. Those points which describe an elongated body are preferably also used as reference points. A data model which is stored in a model data storage unit 440 and which enables the recognition and spatial assignment of the reference points 110 on the object 100 from a spatial image is described in more detail below. This model can be derived from design data and / or generated during a learning process in which several spatial recordings are made with the image recording unit 300. The model is preferably generated from the spatial images acquired with the image acquisition unit 300, since such a model is very similar to the spatial images acquired in later operation. The multiple spatial images are superimposed and compared to create the model.

Der Verschraubungspunkt 120 ist durch einen Arbeitsplan vorgegeben und mit dem Verschraubungsfall verknüpft. Der Verschraubungsort 120, der in Fig. 1 dargestellt ist, ist vorzugsweise nur einer von vielen Verschraubungsorten, die gemäß dem Arbeitsplan abzuarbeiten sind. Ferner können mehr als drei Referenzpunkte an dem Gegenstand 100 definiert sein, zur räumlichen Orientierung sind jedoch mindestens drei Referenzpunkte 110 erforderlich, die vorzugsweise nicht auf einer Geraden liegen.The screw connection point 120 is specified by a work plan and linked to the screw connection case. The screwing location 120, which in Fig. 1 is shown, is preferably only one of many screwing locations that are to be processed according to the work schedule. Furthermore, more than three reference points can be defined on the object 100, but for spatial orientation, at least three reference points 110 are required, which are preferably not on a straight line.

Der Verschraubungsort 120 kann sowohl im Modell als auch mit der Bildaufnahmeeinheit 300 erfassten räumlichen Bildern hinter einem Teil des Gegenstandes 100 versteckt sein. Zur automatischen Erkennung des Gegenstandes 100 genügt es, wenn die Referenzpunkte in dem erfassten Bild sichtbar sind. Ist der Gegenstand 100 identifiziert und seine Anordnung im Raum bzw. im Koordinatensystem der Bildaufnahmeeinheit 300 bekannt, dann können auch solche versteckten Verschraubungsorte 120 identifiziert werden.The screwing location 120 can be hidden behind a part of the object 100 both in the model and in spatial images acquired with the image recording unit 300. For automatic recognition of the object 100, it is sufficient if the reference points are visible in the captured image. If the object 100 is identified and its arrangement in space or in the coordinate system of the image recording unit 300 is known, then such hidden screwing locations 120 can also be identified.

Die Verschraubungsorte 120 und die Referenzpunkte 110 können während des Lernprozesses eingegeben und in das zu erstellende Modell integriert werden. Hierbei kann der Arbeitsplan zum Lernen der Verschraubungsorte120 abgearbeitet werden.The screw locations 120 and the reference points 110 can be entered during the learning process and integrated into the model to be created. The work schedule for learning the screw locations 120 can be processed here.

Zur Verschraubung an dem Gegenstand 100 ist im vorliegenden Ausführungsbeispiel eine Schraube 150 vorgesehen. Gemäß der Darstellung in Fig. 1 wird zur Verschraubung eine Werkzeugeinheit 200 verwendet, die einen Drehmomentschlüssel und eine an die Schraube bzw. den Schraubenkopf der Schraube 150 angepasste Nuss 250 aufweist. Der Drehmomentschlüssel weist einen Hebelarm 210, einen Zapfen 220 zur Koppelung mit der Nuss 250 und eine Drehmomentanzeige 230 auf. An dem Hebelarm 210 ist eine Markierungseinheit 240 mit einer Identifikationsmarkierung angebracht. Die Identifikationsmarkierung ist so gestaltet, dass sie den Drehmomentschlüssel 200 eindeutig von anderen Werkzeugen unterscheidbar kennzeichnet und wird später anhand eines spezifischen Beispiels der Markierungseinheit 240 näher beschrieben. Der Drehmomentschlüssel wird als eine Werkzeugeinheit 200 im Sinne der vorliegenden Erfindung verstanden, wobei der Hebelarm 210 als eine Hebeleinheit, die Drehmomentanzeige 230 als eine Drehvorgabenausgabeeinrichtung, der Zapfen 220 als eine Werkzeugaufnahme und die Nuss 250 als ein auswechselbares Werkzeug verstanden wird. Der Zapfen 220 weist in an sich bekannter und üblicher Weise einen viereckigen Querschnitt auf, der mit einer viereckigen Vertiefung in der Nuss 250 zusammenpasst, und kann ein Federelement (nicht näher dargestellt) an einer Seite aufweisen, die mit einer seitlichen Innenwandung der Vertiefung in der Nuss 250 zusammenwirkt, um die Nuss 250 mit dem Zapfen 220 verliersicher, aber lösbar zu koppeln. Der Zapfen 220 kann ferner in einer Ratscheneinheit (nicht näher dargestellt) gelagert sein, was ein quasi-kontinuierliches Schrauben ohne wiederholtes Absetzen und Neu-Ansetzen des Werkzeuges ermöglicht.In the present exemplary embodiment, a screw 150 is provided for screwing onto the object 100. As shown in Fig. 1 a tool unit 200 is used for the screw connection, which has a torque wrench and a nut 250 adapted to the screw or the screw head of the screw 150. The torque wrench has a lever arm 210, a pin 220 for coupling with the nut 250 and a torque indicator 230. A marking unit 240 with an identification marking is attached to the lever arm 210. The identification marking is designed in such a way that it uniquely identifies the torque wrench 200 from other tools and will be described in more detail later using a specific example of the marking unit 240. The torque wrench is understood as a tool unit 200 in the sense of the present invention, with the lever arm 210 being understood as a lever unit, the torque indicator 230 as a rotation specification output device, the pin 220 as a tool holder and the nut 250 as a replaceable tool. The pin 220 has a square cross section in a manner known per se and customary, which mates with a square recess in the nut 250, and can have a spring element (not shown in more detail) on one side, which has a lateral inner wall of the recess in FIG Nut 250 cooperates in order to couple the nut 250 to the pin 220 in a captive but detachable manner. The pin 220 can also be mounted in a ratchet unit (not shown in detail), which enables quasi-continuous screwing without repeated setting down and reattaching of the tool.

Die Drehmomentanzeige 230 weist in dem vorliegenden Ausführungsbeispiel eine optische Anzeige 232 sowie einen Funksender 234 auf, was sowohl ein visuelles Ablesen des aufgebrachten Drehmoments als auch eine Übertragung des Drehmoments in Form von Messwertdaten bzw. - signalen an einen entsprechend eingerichteten Funkempfänger ermöglicht. Alternativ kann anstelle eines Funksenders auch eine Kabelschnittstelle oder ein angesetztes Kabel vorgesehen sein, um Messwertdaten bzw. -signale kabelgebunden zu übertragen. Es ist darauf hinzuweisen, dass die vorliegende Erfindung auch nur mit einer der optischen Anzeige und des Funksenders bzw. der Kabelschnittstelle/des Übertragungskabels funktioniert. Im Zusammenhang mit der vorliegenden Erfindung kommt es im Wesentlichen darauf an, das Drehmoment, das mit der Werkzeugeinheit beim Schrauben aufgebracht wird, in irgendeiner Form wahrnehmbar oder empfangbar auszugeben.In the present exemplary embodiment, the torque display 230 has an optical display 232 and a radio transmitter 234, which enables both a visual reading of the applied torque and a transmission of the torque in the form of measured value data or signals to an appropriately configured radio receiver. Alternatively, instead of a radio transmitter, a cable interface or an attached cable can also be provided in order to transmit measured value data or signals in a wired manner. It should be pointed out that the present invention also works with only one of the optical display and the radio transmitter or the cable interface / the transmission cable. In the context of the present invention, it is essentially a matter of outputting or receiving the torque that is applied with the tool unit during screwing in any form.

Anstelle des Drehmomentes kann auch der Drehwinkel einer Verschraubung erfasst werden. Das Erfassen des Drehwinkels erfolgt durch Detektion der Werkzeugeinheit 200 in ihren unterschiedlichen Drehstellungen mittels der Bildaufnahmeeinheit 300 und entsprechender Auswertung durch die Datenverarbeitungseinheit 400. Es gibt Montagevorschriften, welche bei Verschraubungen ein bestimmtes Drehmoment oder einen bestimmten Drehwinkel oder auch eine Kombination von beiden vorschreiben. Beispielsweise gibt es Montagevorschriften, die bei Verschraubungen zunächst ein bestimmtes Drehmoment vorschreiben. Wenn dieses Drehmoment erreicht ist, dann muss die Verschraubung noch um einen vorbestimmten Winkel (z.B. 45° oder 90°) weiter verschraubt werden. Die Drehvorgabenausgabeeinrichtung ist deshalb derart ausgebildet, dass sie sowohl ein Drehmoment als auch einen Drehwinkel vorgeben kann.Instead of the torque, the angle of rotation of a screw connection can also be recorded. The angle of rotation is detected by detecting the tool unit 200 in its different rotational positions by means of the image acquisition unit 300 and corresponding evaluation by the data processing unit 400. There are assembly instructions which apply to screw connections Prescribe a certain torque or a certain angle of rotation or a combination of both. For example, there are assembly instructions that first prescribe a certain torque for screw connections. When this torque is reached, the screw connection must be screwed on by a predetermined angle (eg 45 ° or 90 °). The rotation specification output device is therefore designed such that it can specify both a torque and an angle of rotation.

Gemäß der Darstellung in Fig. 1 weist die Bildaufnahmeeinheit 300 als wesentliche Bestandteile eine Kameraeinheit 310, eine Steuereinheit 320 und eine Funkschnittstelle 305 auf. Die Kameraeinheit 310 ist ausgebildet und ausgerichtet, um wenigstens einen Ausschnitt des Gegenstands 100 mit den Referenzpunkten 110 und dem Verschraubungsort 120 aufzunehmen, und liefert Bilddaten der aufgenommenen Bilder an die Steuereinheit 320. Die Steuereinheit 320 ist ausgebildet, um Bilddaten von der Kameraeinheit 310 zu empfangen und kann ausgebildet sein, um Steuerdaten an die Kameraeinheit 310 zu senden, um Aufnahmeparameter wie beispielsweise eine Fokussierung, eine Blende, eine Tiefenschärfe oder einen Bildausschnitt einzustellen. Die Steuereinheit 320 ist ferner mit der Funkschnittstelle 305 gekoppelt, und liefert dieser die von der Kameraeinheit 310 empfangenen Bilddaten so, dass die Funkschnittstelle 305 die aufgenommenen Bilddaten einer Gegenstelle bereitstellen kann.As shown in Fig. 1 The image acquisition unit 300 has as essential components a camera unit 310, a control unit 320 and a radio interface 305. The camera unit 310 is designed and aligned to record at least a section of the object 100 with the reference points 110 and the screwing location 120, and supplies image data of the recorded images to the control unit 320. The control unit 320 is configured to receive image data from the camera unit 310 and can be configured to send control data to the camera unit 310 in order to set recording parameters such as, for example, a focus, an aperture, a depth of field or an image section. The control unit 320 is also coupled to the radio interface 305 and supplies the latter with the image data received from the camera unit 310 such that the radio interface 305 can provide the recorded image data to a remote station.

Im vorliegenden Ausführungsbeispiel weist die Bildaufnahmeeinheit 300 ferner einen Laserpointer 330 als eine Laser-Zeigevorrichtung, eine Lautsprechereinheit 340 als eine akustische Ausgabeeinheit und eine Leuchtdiodeneinheit 350 als eine optische Ausgabeeinheit auf. Der Laserpointer 330, die Lautsprechereinheit 340 und die Leuchtdiodeneinheit 350 sind datentechnisch mit der Steuereinheit 320 gekoppelt, wobei die Steuereinheit 320 ausgebildet ist, um Steuerdaten an den Laserpointer 330, die Lautsprechereinheit 340 und die Leuchtdiodeneinheit 350 auszugeben.In the present exemplary embodiment, the image recording unit 300 also has a laser pointer 330 as a laser pointing device, a loudspeaker unit 340 as an acoustic output unit and a light-emitting diode unit 350 as an optical output unit. The laser pointer 330, the loudspeaker unit 340 and the light-emitting diode unit 350 are technically coupled to the control unit 320, the control unit 320 being designed to output control data to the laser pointer 330, the loudspeaker unit 340 and the light-emitting diode unit 350.

Gemäß der Darstellung in Fig. 1 weist die Datenverarbeitungseinheit 400 eine Funkschnittstelle 405, eine Steuereinheit 410, eine Bilddatenerfassungseinheit 420, eine Messdatenerfassungseinheit 430, eine Modelldatenspeichereinheit 440, eine Bildanalyseeinheit 450, eine Zeitgebereinheit 460, eine Protokolliereinheit 470, eine Arbeitsplan-Speichereinheit 480, eine Vorgabeeinheit 485 und eine Rückmeldungserzeugungseinheit 495 auf.As shown in Fig. 1 the data processing unit 400 has a radio interface 405, a control unit 410, an image data acquisition unit 420, a measurement data acquisition unit 430, a model data storage unit 440, an image analysis unit 450, a timer unit 460, a logging unit 470, a work plan storage unit 480, a specification unit 485 and a feedback generation unit 495 ,

Wie in Fig. 1 gezeigt, ist die Funkschnittstelle 405 ausgebildet, um eine drahtlose Daten- bzw. Signalübertragungsverbindung mit der Drehvorgabenausgabeeinrichtung 230 der Werkzeugeinheit 200 und der Funkschnittstellt 305 der Bildaufnahmeeinheit 300 zu etablieren und aufrecht zu erhalten. Die Steuereinheit 410 ist mit der Funkschnittstelle 405 gekoppelt und ist ausgebildet, um von der Bildaufnahmeeinheit 300 über die Funkschnittstelle 405 empfangene Bilddaten an die Bilddatenerfassungseinheit 420 zu liefern und von der Drehvorgabenausgabeeinrichtung 230 über die Funkschnittstelle 405 empfangene Drehmomentdaten an die Messdatenerfassungseinheit 430 zu liefern sowie Rückmeldungsdaten von der Rückmeldungserzeugungseinheit 495 zu empfangen. Die Bilddatenerfassungseinheit 420 ist ausgebildet, um Bilddaten von der Steuereinheit 410 zu empfangen und gegebenenfalls temporär und/oder dauerhaft zu speichern und der Bildanalyseeinheit 450 bereitzustellen. Die Modelldatenspeichereinheit 440 ist ausgebildet, um Modelldaten, welche konstruktive und geometrischen Charakteristika des Gegenstands 100 mit dessen unveränderlichen Referenzpunkten (110, Fig.1), der Werkzeugeinheit 200 bzw. deren Identifizierungsmerkmale zu speichern und der Bildanalyseeinheit 450 bereitzustellen. Die Bildanalyseeinheit 450 ist ausgebildet, um den Gegenstand 100, die Werkzeugeinheit 200 und den Verschraubungsort 120 an dem Gegenstand 100 durch einen Vergleich der von der Bilddatenerfassungseinheit 420 gelieferten Bilddaten mit den von der Modelldatenspeichereinheit 440 gelieferten Modelldaten automatisch zu erkennen und Daten, welche den erkannten Verschraubungsort und vorzugsweise die erkannte Werkzeugeinheit wiedergeben, der Protokollerzeugungseinheit 470 bereitzustellen.As in Fig. 1 is shown, the radio interface 405 is designed to establish and maintain a wireless data or signal transmission connection with the rotation specification output device 230 of the tool unit 200 and the radio interface 305 of the image recording unit 300. The control unit 410 is coupled to the radio interface 405 and is designed to deliver image data received from the image acquisition unit 300 via the radio interface 405 to the image data acquisition unit 420 and to supply torque data received from the rotation specification output device 230 via the radio interface 405 to the measurement data acquisition unit 430 and to provide feedback data from of the feedback generation unit 495. The image data acquisition unit 420 is designed to receive image data from the control unit 410 and, if appropriate, to store them temporarily and / or permanently and to make them available to the image analysis unit 450. The model data storage unit 440 is designed to store model data, which design and geometric characteristics of the object 100 with its unchangeable reference points (110, Fig.1 ) to store the tool unit 200 or its identification features and to make it available to the image analysis unit 450. The image analysis unit 450 is designed to automatically recognize the object 100, the tool unit 200 and the screwing location 120 on the object 100 by comparing the image data supplied by the image data acquisition unit 420 with the model data supplied by the model data storage unit 440 and data indicating the recognized screwing location and preferably reflect the recognized tool unit to be provided to the protocol generation unit 470.

Die Messdatenerfassungseinheit 430 ist ausgebildet, um von der Steuereinheit 410 empfangene Drehmomentdaten und Drehwinkel zu erfassen, gegebenenfalls vorübergehend und/oder dauerhaft zu speichern und der Protokollerzeugungseinheit 470 bereitzustellen.The measurement data acquisition unit 430 is designed to acquire torque data and rotation angles received from the control unit 410, to store them temporarily and / or permanently, if necessary, and to make them available to the protocol generation unit 470.

Die Protokollerzeugungseinheit 470 ist ausgebildet, aus den von der Bildanalyseeinheit 450 gelieferten Daten bezüglich des Verschraubungsorts und vorzugsweise der erkannten Werkzeugeinheit, den von der Messdatenerfassungseinheit 430 gelieferten Drehmomentdaten/Drehwinkeldaten und von der Zeitgebereinheit 460 gelieferten Zeitstempeln jeweilige Protokolltupel p zu erzeugen, einem Protokollspeicher 275 zur Sicherung zuzuführen und der Überprüfungseinheit 490 bereitzustellen. Die von der Protokollerzeugungseinheit 470 erzeugten Protokolltupel können ferner Vorgabedaten beinhalten, die von der Vorgabeerzeugungseinheit 485 geliefert werden. Die Vorgabeerzeugungseinheit 485 ist ausgebildet, um anhand eines der Arbeitsplanspeichereinheit 480 entnommenen Arbeitsplans Vorgabedaten zu erzeugen und diese der Protokollerzeugungseinheit 470 und der Überprüfungseinheit 490 bereitzustellen. Zur Synchronisierung mit dem tatsächlichen Arbeitsablauf kann die Vorgabeerzeugungseinheit 485 auch mit der Zeitgebereinheit 460 und der Bildanalyseeinheit 450 gekoppelt sein. So kann die Vorgabeerzeugungseinheit 485 beispielsweise anhand eines von der Zeitgebereinheit 460 gelieferten Zeit an einem Arbeitstakt orientierte Vorgabedaten erzeugen oder kann anhand eines von der Bildanalyseeinheit 450 gelieferten Verschraubungsort flexibel an eine individuell gewählte Arbeitsreihenfolge angepasste Vorgabedaten liefern.The protocol generation unit 470 is designed to generate respective protocol tuples p from the data provided by the image analysis unit 450 with regard to the screwing location and preferably the recognized tool unit, the torque data / rotation angle data provided by the measurement data acquisition unit 430 and a time stamp provided by the timer unit 460, a log memory 275 for backup to be supplied and made available to the checking unit 490. The protocol tuples generated by the protocol generation unit 470 may also include default data provided by the default generation unit 485. The specification generation unit 485 is designed to generate specification data on the basis of a work plan taken from the work plan storage unit 480 and to make it available to the protocol generation unit 470 and the checking unit 490. For synchronization with the actual workflow, the default generation unit 485 can also be coupled to the timer unit 460 and the image analysis unit 450. For example, the specification generation unit 485 can generate specification data based on a work cycle based on a time supplied by the timer unit 460 or can supply specification data flexibly adapted to an individually selected work sequence using a screwing location supplied by the image analysis unit 450.

Die Überprüfungseinheit 490 ist ausgebildet, die (noch nicht gesicherten) Protokolltupel p dahin zu überprüfen, ob die von der Vorgabeerzeugungseinheit 485 gelieferten Vorgaben erreicht sind oder nicht, und ein entsprechendes Überprüfungsergebnis der Rückmeldungserzeugungseinheit 495 bereitzustellen. Die Sicherung der Prokolltupel p in dem Protokollspeicher 475 kann an die Bedingung geknüpft sein, dass die von der Vorgabeerzeugungseinheit 485 gelieferten Vorgaben zumindest hinsichtlich des Verschraubungsorts und des erfassten Drehmoments bzw. erfassten Drehwinkels erreicht sind. Die Sicherung des Protokolltupels p kann auch durch manuelle Quittierung durch einen Verwender ausgelöst werden. Ferner kann eine Sicherung eines Protokolltupels p bei Abbruch des Verschraubungsvorgangs, etwa wenn das Werkzeug von der Schraube 150 abgesetzt wird, automatisch erfolgen.The checking unit 490 is designed to check the (not yet secured) protocol tuples p to determine whether or not the specifications provided by the default generating unit 485 have been reached and to provide a corresponding checking result to the feedback generating unit 495. The backup of the protocol tuple p in the log memory 475 can be linked to the condition that the specifications provided by the specification generation unit 485 have been achieved at least with regard to the screwing location and the detected torque or rotation angle. The protocol tuple p can also be saved by manual acknowledgment triggered by a user. Furthermore, a protocol tuple p can be saved automatically when the screwing process is terminated, for example when the tool is removed from the screw 150.

Die Rückmeldungserzeugungseinheit 495 ist ausgebildet, von der Protokollerzeugungseinheit 470 gelieferte Protokolltupel, und von der Vorgabeerzeugungseinheit 485 gelieferte Vorgabedaten und von der Überprüfungseinheit 490 gelieferte Überprüfungsergebnisse zu empfangen, hieraus eine Rückmeldung zu erzeugen und diese der Steuereinheit 410 bereitzustellen. Die Steuereinheit 410 ist ferner ausgebildet, um von der Rückmeldungserzeugungseinheit 495 empfangene Rückmeldungen über die Funkschnittstelle 405 der Bildaufnahmeeinheit 300 sowie einer nachstehend zu beschreibenden Bildausgabeeinheit 500 bereitzustellen.The feedback generation unit 495 is designed to receive protocol tuples provided by the protocol generation unit 470, and to receive default data provided by the default generation unit 485 and check results provided by the checking unit 490, to generate a feedback therefrom and to provide this to the control unit 410. The control unit 410 is also designed to provide feedback received from the feedback generation unit 495 via the radio interface 405 of the image recording unit 300 and an image output unit 500 to be described below.

Die Steuereinheit 320 der Bildaufnahmeeinheit 300 kann ausgebildet sein, um über die Funkschnittstelle 305 von der Datenverarbeitungseinheit 400 empfangene Rückmeldungen in Steuersignale an den Laserpointer 330, die Lautsprechereinheit 340, die Leuchtdiodeneinheit 350 und/oder die Kameraeinheit 310 umzusetzen. Daraufhin kann beispielsweise über die Lautsprechereinheit 340 die Rückmeldung in akustischer Form ausgegeben werden, kann über die Leuchtdiodeneinheit 350 ein optisches Bestätigungs- oder Warnsignal ausgegeben werden und/oder kann die Kameraeinheit 310 Bildaufnahmeparameter ändern. Sofern die von der Rückmeldungserzeugungseinheit 495 erzeugte Rückmeldung Vorgabedaten enthält, kann auch die Laserpointereinheit 330 einen auf den zu bearbeitenden Verschraubungsort 120 gerichteten Laserstrahl erzeugen, um eine Person an den entsprechenden Verschraubungsort 120 zu leiten.The control unit 320 of the image recording unit 300 can be designed to convert feedback received from the data processing unit 400 via the radio interface 305 into control signals to the laser pointer 330, the loudspeaker unit 340, the light-emitting diode unit 350 and / or the camera unit 310. Then, for example, the feedback can be output in acoustic form via the loudspeaker unit 340, an optical confirmation or warning signal can be output via the light-emitting diode unit 350 and / or the camera unit 310 can change image recording parameters. If the feedback generated by the feedback generation unit 495 contains default data, the laser pointer unit 330 can also generate a laser beam directed at the screwing location 120 to be processed, in order to guide a person to the corresponding screwing location 120.

Die vorstehend erwähnte Bildausgabeeinheit 500 ist im vorliegenden Ausführungsbeispiel als ein Tablet-PC vorgesehen, der eine Funkschnittstelle 510, eine Bildschirmeinheit 520 und eine Lautsprechereinheit 530 aufweist. Anhand der über die Funkschnittstelle 510 empfangenen Rückmeldung können, wie vorliegend dargestellt, Vorgabewerte für die zu wählende Schraube 150 sowie das hierfür vorgeschriebene Drehmoment (Anzugsmoment) ausgegeben werden.The above-mentioned image output unit 500 is provided in the present exemplary embodiment as a tablet PC which has a radio interface 510, a screen unit 520 and a loudspeaker unit 530. On the basis of the feedback received via the radio interface 510, as shown here, default values for the screw 150 to be selected and the torque (tightening torque) prescribed for this can be output.

Es versteht sich, dass das vorstehend beschriebene Prinzip viele Variationen und Optionen ermöglicht. Beispielsweise können eine grüne, eine rote und gegebenenfalls eine gelbe Leuchtdiode der Leuchtdiodeneinheit 350 der Bildaufnahmeeinheit 300 angesteuert werden, um ein Arbeitsergebnis einem Benutzer farbkodiert zu vermitteln. Beispielsweise kann das richtige Positionieren der Werkzeugeinheit 200 durch eine gelbe Illuminierung und das richtige erreichte Anzugsmoment durch eine grüne Illuminierung angezeigt werden. Durch Flackern mit unterschiedlicher Frequenz in gelber Farbe kann beispielsweise eine Annäherung an das vorgeschriebene Anzugsmoment, durch Flackern in roter Farbe ein zu hoher Anzugsmoment signalisiert werden. Zusätzlich kann auf dem Bildschirm 520 der Bildausgabeeinheit 500 der Arbeitserfolg durch eine Textnachricht oder eine farbliche Unterlegung angezeigt werden.It is understood that the principle described above enables many variations and options. For example, a green, a red and possibly a yellow light-emitting diode of the light-emitting diode unit 350 of the image recording unit 300 can be controlled in order to convey a work result to a user in a color-coded manner. For example, the correct positioning of the tool unit 200 can be indicated by a yellow illumination and the correct tightening torque reached by a green illumination. Flickering with different frequencies in yellow color can, for example, signal an approximation to the prescribed tightening torque, flickering in red color indicates that the tightening torque is too high. In addition, the work success can be displayed on the screen 520 of the image output unit 500 by means of a text message or a colored background.

Ein Ausführungsbeispiel des Drehmomentschlüssels (Werkzeugeinheit) 200 ist in Fig. 2 genauer dargestellt, und die Markierungseinheit 240 zur Verwendung an der Werkzeugeinheit 200 ist in Fig. 3 dargestellt. Dabei ist Fig. 2 eine Draufsicht der Werkzeugeinheit 200 (Drehmomentschlüssel), und Fig. 3 ist eine räumliche Ansicht der Markierungseinheit 240 in Form einer Manschette.An embodiment of the torque wrench (tool unit) 200 is shown in FIG Fig. 2 and the marking unit 240 for use on the tool unit 200 is shown in FIG Fig. 3 shown. It is Fig. 2 a plan view of the tool unit 200 (torque wrench), and Fig. 3 is a perspective view of the marking unit 240 in the form of a cuff.

Wie in Fig. 2 gezeigt, ist die Drehmomentanzeige 230 in Form einer Digitalanzeige ausgeführt. Die Digitalanzeige der Drehmomentanzeige 230 ist durch die Kameraeinheit 310 der Bildaufnahmeeinheit 300 (Fig. 1) gut erkennbar. Die Markierungseinheit 240 ist an der Hebeleinheit 210 nahe der Werkzeugaufnahme 220 angebracht. Alternativ zu einer Digitalanzeige kann das aufgebrachte Drehmoment auch durch ein Zeigerinstrument oder einen sich mit der Hebeleinheit 210 nicht mitverformenden Ausleger, gegebenenfalls in Verbindung mit einer an dem Hebelarm 210 angebrachten Skala, die sich bei Verformung des Hebelarms 210 an dem Ausleger entlang bewegt bzw. verschiebt, oder jeder andere geeignete optische Darstellungsweise angezeigt werden.As in Fig. 2 shown, the torque display 230 is in the form of a digital display. The digital display of the torque display 230 is provided by the camera unit 310 of the image recording unit 300 ( Fig. 1 ) good to see. The marking unit 240 is attached to the lever unit 210 near the tool holder 220. As an alternative to a digital display, the applied torque can also be achieved by means of a pointer instrument or a cantilever that does not deform with the lever unit 210, possibly in conjunction with a scale attached to the lever arm 210, which moves or shifts along the cantilever when the lever arm 210 is deformed , or any other suitable visual representation.

Wie in Fig. 3 gezeigt, ist die Markierungseinheit 240 in Form einer zweischaligen Manschette mit einem Oberteil 242 und einem Unterteil 243, die durch eine Reihe von Schrauben 244 verbunden sind, um die Markierungseinheit 240 an den Hebelarm 210 festzuklemmen, ausgebildet.As in Fig. 3 is shown, the marking unit 240 is designed in the form of a double-shell sleeve with an upper part 242 and a lower part 243, which are connected by a series of screws 244 in order to clamp the marking unit 240 to the lever arm 210.

Die Markierungseinheit 240 trägt ferner eine Identifikationsmarkierung in Form einerseits eines Strichcodes 246 und andererseits einer Lochmarkierung bzw. Lochkodierung 248. Beide Markierungsarten sind durch die Kameraeinheit 310 der Bildaufnahmeeinheit 300 gut ablesbar.The marking unit 240 also carries an identification marking in the form of a bar code 246 on the one hand and a hole marking or hole coding 248 on the other hand. Both types of marking can be easily read by the camera unit 310 of the image recording unit 300.

Fig. 10 zeigt eine alternatives Beispiel einer etwa rechteckförmigen Markierungseinheit 240, mit einem zweidimensionalen Barcode 247 zum Kodieren einer Identifikationsnummer für das jeweilige Werkzeug und an den Ecken mit jeweils einer Positionsmarke 248, anhand derer die Position des Werkzeuges im Raum bzw. im Koordinatensystem der Bildaufnahmeeinheit erfassbar ist. Der zweidimensionale Code ist um eine Mittellinie gespiegelt. Anhand der Positionsmarken 248 kann die Position des Werkzeuges im dreidimensionalen Koordinatensystem der Kamera einfach bestimmt werden. Fig. 10 shows an alternative example of an approximately rectangular marking unit 240 with a two-dimensional barcode 247 for coding an identification number for the respective tool and at the corners with a position mark 248, by means of which the position of the tool in space or in the coordinate system of the image recording unit can be detected. The two-dimensional code is mirrored around a center line. The position of the tool in the three-dimensional coordinate system of the camera can easily be determined using the position marks 248.

Diese Markierungseinheit 240 kann mit einem herkömmlichen Drucker ausgedruckt werden. Die Markierungseinheit 240 wird dann auf die Werkzeugeinheit 200, insbesondere den Hebelarm 210, geklebt.This marking unit 240 can be printed out with a conventional printer. The marking unit 240 is then glued onto the tool unit 200, in particular the lever arm 210.

Nach dem Befestigen der Markierungseinheit 240 an der Werkzeugeinheit 200 wird diese, gleichermaßen, ob die Befestigungseinheit eine Manschette oder ein aufgeklebtes Etikett ist, in einem Lernprozess abgetastet, sodass die Position der Markierungseinheit 240 auf der Werkzeugeinheit 200 eindeutig erfasst ist. Im späteren Betrieb kann dann anhand der Detektion der Markierungseinheit 240 eindeutig auf die Position der Werkzeugeinheit 200 im dreidimensionalen Koordinatensystem der Bildaufnahmeeinheit 300 geschlossen werden.After the marking unit 240 has been fastened to the tool unit 200, it is scanned in a learning process, regardless of whether the fastening unit is a sleeve or a glued-on label, so that the position of the marking unit 240 on the tool unit 200 is clearly detected. In later operation, the position of the tool unit 200 in the three-dimensional coordinate system of the image recording unit 300 can then be unambiguously determined based on the detection of the marking unit 240.

Zum bequemen Mitführen der Bildaufnahmeeinheit 300 durch einen Benutzer kann eine Trägereinheit vorgesehen sein, an welcher die Bildaufnahmeeinheit 300 kompakt oder verteilt am Körper getragen werden kann.A carrier unit can be provided for conveniently carrying the image recording unit 300 by a user, on which the image recording unit 300 can be carried in a compact or distributed manner on the body.

Einige konkrete Ausführungsbeispiele für die Bildaufnahmeeinheit 300 mit Trägereinheit 600 sind in Fign. 4 bis 6 schematisch dargestellt.Some specific exemplary embodiments for the image recording unit 300 with carrier unit 600 are shown in FIG FIGS. 4 to 6 shown schematically.

Gemäß der Darstellung in Fig. 4 ist die Trägereinheit 600 gemäß einem konkreten Ausführungsbeispiel in Form einer Schutzbrille ausgeführt. Diese Schutzbrille weist eine Maskeneinheit 622, welche Schutzgläser 624 einfasst, und ein hinter dem Kopf anliegendes elastisches Band 626 auf, wobei das Band 626 durch eine Verschlusseinheit 628 verstellbar ist. Die Bildaufnahmeeinheit 300 ist in diesem Ausführungsbeispiel seitlich an einem Übergang zwischen der Maskeneinheit 622 und dem elastischen Band 626 angebracht.As shown in Fig. 4 The carrier unit 600 is designed in the form of protective glasses in accordance with a specific exemplary embodiment. These protective glasses have a mask unit 622, which encloses protective glasses 624, and an elastic band 626 which lies behind the head, the band 626 being adjustable by a closure unit 628. In this exemplary embodiment, the image recording unit 300 is attached laterally at a transition between the mask unit 622 and the elastic band 626.

Gemäß der Darstellung in Fig. 5 ist die Trägereinheit 600 gemäß einem weiteren konkreten Ausführungsbeispiel in Form einer Schutzbrille mit einem Rahmen 642, der zwei Schutzgläser 644 aufnimmt, und zwei Bügeln 646, 646 ausgeführt, wobei die Bildaufnahmeeinheit 300 verteilt an der Trägereinheit 600 angeordnet ist. So ist jeweils eine Kameraeinheit 310 an dem rechten bzw. linken Bügel 646, 646 angebracht sind, ist eine Lautsprechereinheit 340, deren Gehäuse auch die Steuereinheit 320 und die Funkschnittstelle 305 (Fig. 1) aufnimmt, an dem linken Bügel 646 angebracht, und ist eine Leuchtdiodeneinheit 350 mit drei verschiedenfarbigen Leuchtdioden, die an einem Nasenwurzelteil des Rahmens 642 angebracht bzw. eingebaut. Eine Verkabelung 648 zwischen den Kameraeinheiten 310, der Leuchtdiodeneinheit 350 und der Lautsprechereinheit 340 mit Funkschnittstelle 305 und Steuereinheit 320 ist am oberen Rand des Rahmens 642 integriert.As shown in Fig. 5 According to a further specific exemplary embodiment, the carrier unit 600 is designed in the form of safety glasses with a frame 642 which accommodates two protective glasses 644 and two brackets 646, 646, the image recording unit 300 being arranged distributed on the carrier unit 600. A camera unit 310 is attached to the right and left bracket 646, 646, respectively, is a loudspeaker unit 340, the housing of which also contains the control unit 320 and the radio interface 305 ( Fig. 1 ), is attached to the left bracket 646, and is a light-emitting diode unit 350 with three differently colored light-emitting diodes, which are attached to a nose root part of the frame 642. Wiring 648 between camera units 310, light-emitting diode unit 350 and loudspeaker unit 340 with radio interface 305 and control unit 320 is integrated at the upper edge of frame 642.

Gemäß der Darstellung in Fig. 6 ist eine Trägereinheit 600 gemäß einem noch weiteren Ausführungsbeispiel der vorliegenden Erfindung als Schutzhelm 660 ausgebildet, an dessen Seiten jeweils eine Kameraeinheit 310 angebracht ist. Die Kameraeinheiten 310 können fest montiert sein, sie können an einer am Helm 660 integrierten Halterung angebracht sein, oder sie können mit einer Halterung integriert sein, die an dem Helm 660 anbringbar ist. Die weitere Gerätetechnik der Bildaufnahmeeinheit 300 kann in einer der Kameraeinheiten 310, auf beide Kameraeinheiten 310 verteilt oder in den Schutzhelm 660 integriert sein.As shown in Fig. 6 a carrier unit 600 is designed according to a still further exemplary embodiment of the present invention as a protective helmet 660, on the sides of which a camera unit 310 is attached in each case. The camera units 310 can be fixed, they can be attached to a holder integrated on the helmet 660, or they can be integrated with a holder that can be attached to the helmet 660. The further device technology of the image recording unit 300 can be distributed in one of the camera units 310, distributed over both camera units 310 or integrated in the protective helmet 660.

Fig. 7 ist eine räumliche schematische Darstellung einer Einsatzsituation im Sinne der vorliegenden Erfindung. Ein Benutzer 700 nimmt mithilfe des Drehmomentschlüssels 200 eine Verschraubung an einer Verschraubungsstelle 120 an einem Gegenstand 100, hier einem Kraftfahrzeug, vor. Der Benutzer 700 trägt eine Bildaufnahmeeinheit 300 mittels einer Trägereinheit 600 in Form eines Helms (vgl. Fig. 6). Drei Referenzpunkte 110, die konstruktiv vorgegeben und an sich unveränderlich sind, sind an dem Gegenstand 100 vorgegeben. An der Werkzeugeinheit 200 (Drehmomentschlüssel) sind drei Referenzpunkte 710 konstruktiv und/oder durch Markierungseinheit (240, Fig. 3) vorgegeben bzw. identifizierbar. Fig. 7 is a spatial schematic representation of an application situation in the sense of the present invention. A user 700 uses the torque wrench 200 to screw on a screw connection 120 on an object 100, here a motor vehicle. The user 700 wears an image recording unit 300 by means of a carrier unit 600 in the form of a helmet (cf. Fig. 6 ). Three reference points 110, which are structurally predetermined and unchangeable per se, are predetermined on the object 100. On the tool unit 200 (torque wrench) are three reference points 710 constructive and / or by marking unit (240, Fig. 3 ) specified or identifiable.

Wie in Fig. 7 ersichtlich, ist in dem dargestellten Anwendungsfall die Verschraubungsstelle 120 hinter Konstruktionselementen des Gegenstands 100 verborgen. Dennoch ist es möglich, anhand der Referenzpunkte 110 des Gegenstands 100 und der Referenzpunkte 710 der Werkzeugeinheit 200 festzustellen, an welcher Stelle am Gegenstand 100 die Werkzeugeinheit 200 ansetzt.As in Fig. 7 can be seen, the screw connection 120 is hidden behind construction elements of the object 100 in the illustrated application. Nevertheless, it is possible to determine from the reference points 110 of the object 100 and the reference points 710 of the tool unit 200 at which point on the object 100 the tool unit 200 starts.

Dieser Vorgang wird nachstehend anhand eines Prinzipschaubilds, das in Fig. 8 gezeigt ist, näher beschrieben werden. In Fig. 8 sind die Referenzpunkte 110 des Gegenstands 100 sowie die Referenzpunkte 710 der Werkzeugeinheit 200 in einem virtuellen Raum 800 dargestellt. Wie in Fig. 8 gezeigt, spannen die Referenzpunkte 110 des Gegenstands 100 ein erstes Referenzdreieck 810 auf, das eine erste Referenzebene 815 definiert, auf. Des Gleichen spannen die Referenzpunkte 710 der Werkzeugeinheit 200 ein zweites Referenzdreieck 820, das eine zweite Referenzebene 825 definiert, auf. Die Referenzpunkte 110, 710 werden von den Kameraeinheiten 310 der Bildaufnahmeeinheit 300 erfasst. Da die Kameraeinheiten 310 räumlich voneinander beabstandet sind, kann aus den gewonnenen Bilddaten eine Zuordnung der Referenzpunkte 110, 710 zu Koordinaten X1, X2, X3 des virtuellen Raums 800 erfolgen, womit die absolute Lage des Gegenstands 100 und der Werkzeugeinheit 820 in virtuellem Raum 800 sowie die relative Lage zwischen dem Gegenstand 100 und der Werkzeugeinheit 200 vollständig definiert sind. Es versteht sich, dass die hierfür erforderlichen mathematischen Vorgänge einschließlich der Erzeugung eines mathematischen Modells des Gegenstands 100 mit seinen Referenzpunkten 110, eines mathematischen Modells der Werkzeugeinheit 200 mit ihren Referenzpunkten 710, die Erzeugung einer räumlichen Abbildung aus zwei stereoskopischen Bildern und deren Zuordnung zu Koordinaten in einem virtuellen Raum in der Technik ebenso wohlbekannt sind wie die Techniken einer Bildanalyse, die zum Vergleich gelieferter Bilddaten mit dem vorher erzeugten und gespeicherten Modell herangezogen werden können, und daher an dieser Stelle nicht beschrieben werden müssen, sondern stattdessen auf den einschlägigen Stand der Technik verwiesen werden kann.This process is explained below using a principle diagram, which is shown in Fig. 8 is shown, are described in more detail. In Fig. 8 The reference points 110 of the object 100 and the reference points 710 of the tool unit 200 are shown in a virtual space 800. As in Fig. 8 As shown, the reference points 110 of the object 100 span a first reference triangle 810, which defines a first reference plane 815. The reference points 710 of the tool unit 200 also span a second reference triangle 820, which defines a second reference plane 825. The reference points 110, 710 are captured by the camera units 310 of the image recording unit 300. Since the camera units 310 are spatially spaced from one another, the obtained image data can be used to assign the reference points 110, 710 to coordinates X1, X2, X3 of the virtual space 800, so that the absolute position of the object 100 and the tool unit 820 in virtual space 800 as well the relative position between the object 100 and the tool unit 200 are fully defined. It goes without saying that the mathematical processes required for this, including the generation of a mathematical model of the object 100 with its reference points 110, a mathematical model of the tool unit 200 with its reference points 710, the generation of a spatial image from two stereoscopic images and their assignment to coordinates in A virtual space is just as well known in technology as the techniques of image analysis, which can be used to compare supplied image data with the previously generated and saved model and therefore do not need to be described here, but instead refer to the relevant prior art can be.

Die Figuren 5 und 6 zeigen jeweils eine Trägereinheit 600 mit zwei Kameraeinheiten 310, sodass diese Kameraeinheiten 310 jeweils eine Stereokamera bilden. In Figur 4 ist die Bildaufnahmeeinheit 300 lediglich schematisch dargestellt. Hierbei handelt es sich auch um eine Stereokamera. Die Verwendung einer Stereokamera gegenüber anderen bekannten Bildaufnahmeeinheiten zum Erfassen von dreidimensionalen Strukturen bietet den Vorteil, dass die dreidimensionalen Bilder sehr schnell erzeugt werden können. In einem Prototyp der Erfindung werden von der Bildaufnahmeeinheit 300 zwei räumliche Bilder pro Sekunde erzeugt. Es ist zweckmäßig, dass zumindest alle zwei Sekunden zumindest ein räumliches Bild erzeugt wird, vorzugsweise werden pro Sekunde zumindest ein, zwei oder zumindest drei Bilder erzeugt. Andererseits ist die Auflösung einer Stereokamera ausreichend, um den Bediener eindeutig die Verschraubungsorte 120 angeben zu können.The Figures 5 and 6 each show a carrier unit 600 with two camera units 310, so that these camera units 310 each form a stereo camera. In Figure 4 the image acquisition unit 300 is only shown schematically. This is also a stereo camera. The use of a stereo camera compared to other known image recording units for capturing three-dimensional structures offers the advantage that the three-dimensional images can be generated very quickly. In a prototype of the invention, the image recording unit 300 generates two spatial images per second. It is expedient that at least one spatial image is generated at least every two seconds, preferably at least one, two or at least three images are generated per second. On the other hand, the resolution of a stereo camera is sufficient to be able to clearly indicate the screwing locations 120 to the operator.

Die Verwendung der Stereokamera erlaubt es somit an einem Körper eines Bedieners angeordneten Trägereinheit 600 die Bildaufnahmeeinheit 300 vorzusehen, wobei der Bediener sich frei bewegen kann und eine an sich beliebige Position gegenüber dem Gegenstand 100 einnehmen kann, solange die Blickrichtung der Bildaufnahmeeinheit 300 auf den Gegenstand 100 gerichtet ist. Durch das Vergleichen des bzw. der erfassten räumlichen Bilder mit dem in der Modelldatenspeichereinheit 440 hinterlegten räumlichen Modell des Gegenstandes können die räumlichen Bilddaten schnell mit dem räumlichen Modell in Übereinstimmung gebracht werden. Hierdurch wird die relativen Positionen der Bildaufnahmeeinheit 300 bezüglich des Gegenstandes 100 eindeutig identifiziert, sodass das dreidimensionale Koordinatensystem der Bildaufnahmeeinheit 300 festgelegt ist und die Position des Gegenstandes 100 in diesem Koordinatensystem bestimmt ist. Zeigerelemente, wie zum Beispiel der Laserpointer 330 sind vorzugsweise mit der Bildaufnahmeeinheit 300 mechanisch verbunden, sodass auch deren Position im Koordinatensystem der Bildaufnahmeeinheit 300 eindeutig festgelegt ist.The use of the stereo camera thus allows the carrier unit 600 arranged on a body of an operator to provide the image recording unit 300, the operator being able to move freely and being able to assume any position in relation to the object 100 as long as the viewing direction of the image recording unit 300 is towards the object 100 is directed. By comparing the acquired spatial image (s) with the spatial model of the object stored in the model data storage unit 440, the spatial image data can quickly be brought into agreement with the spatial model. As a result, the relative positions of the image recording unit 300 with respect to the object 100 are uniquely identified, so that the three-dimensional coordinate system of the image recording unit 300 is fixed and the position of the object 100 is determined in this coordinate system. Pointer elements, such as the laser pointer 330, are preferably mechanically connected to the image recording unit 300, so that their position in the coordinate system of the image recording unit 300 is also clearly defined.

Ein Bediener, der die Trägereinheit 600 trägt, kann sich somit frei bezüglich des Gegenstandes 100 bewegen, wobei ihm einerseits die Verschraubungsorte 120 automatisch angezeigt bzw. vorgegeben werden und andererseits die Verschraubung vollständig (Drehmoment und/oder Drehwinkel; Zeitstempel) protokolliert wird.An operator who carries the carrier unit 600 can thus move freely with respect to the object 100, the screwing locations 120 being displayed or specified automatically on the one hand and the screwing completely (torque and / or angle of rotation; time stamp) being logged on the other hand.

Fig. 9 ist ein Blockschaubild zur Veranschaulichung von Prozessabläufen in der Implementierung eines erfindungsgemäßen Verfahrens zum Verschrauben von Gegenständen gemäß einer weiteren Ausführungsform der vorliegenden Erfindung. Fig. 9 is a block diagram illustrating process flows in the implementation of an inventive method for screwing objects according to a further embodiment of the present invention.

In Fig. 9 symbolisiert ein Bereich 910 eine physikalische Produktionsebene, symbolisiert ein Bereich 920 eine Datenverarbeitungsebene und symbolisiert ein Bereich 930 eine Werkzeugdatenebene. Eine erste Schnittstellenebene 921 stellt eine Verknüpfung zwischen der physikalischen Produktionsebene 910 und der Datenverarbeitungsebene 920 her, und eine zweite Schnittstellenebene 923 stellt eine Verknüpfung zwischen der Werkzeugebene 930 und der Datenverarbeitungsebene 920 her. Die physikalische Ebene 910 kann im Wesentlichen mit dem in Produktion stehenden Gegenstand 100 Bildaufnahmeeinheit 300 und der Bildausgabeeinheit 500 in Fig. 1 verglichen werden, die Datenverarbeitungsebene 920 kann im Wesentlichen mit der Datenverarbeitungseinheit 400 von Fig. 1 gleichgesetzt werden, und die Werkzeugebene 930 kann im Wesentlichen mit der Werkzeugeinheit 200 verglichen werden. Die Schnittstellenebene 921 kann dabei mit den Funkschnittstellen 305, 405, 510 und zugehörigen Funkübertragungsstrecken in Fig. 1 verglichen werden, und die Schnittstellenebene 923 kann im Wesentlichen mit einem in der Drehvorgabenausgabeeinrichtung 230 der Werkzeugeinheit 200 integrierten Funksender und der Funkschnittstelle 405 der Datenverarbeitungseinheit 400 in Fig. 1 verglichen werden.In Fig. 9 An area 910 symbolizes a physical production level, an area 920 symbolizes a data processing level and an area 930 symbolizes a tool data level. A first interface level 921 creates a link between the physical production level 910 and the data processing level 920, and a second interface level 923 creates a link between the tool level 930 and the data processing level 920. The physical level 910 can essentially with the object 100 in production image acquisition unit 300 and the image output unit 500 in Fig. 1 The data processing level 920 can essentially be compared with the data processing unit 400 of FIG Fig. 1 are equated, and the tool plane 930 can essentially be compared with the tool unit 200. The interface level 921 can with the radio interfaces 305, 405, 510 and associated radio transmission links in Fig. 1 can be compared, and the interface level 923 can essentially be compared with a radio transmitter integrated in the turning specification output device 230 of the tool unit 200 and the radio interface 405 of the data processing unit 400 in Fig. 1 be compared.

Ein Pfeil 912 in Fig. 9 symbolisiert einen Produktionsablauf etwa an einer Fahrzeugmontagestrecke bei der Fahrzeugproduktion. Sobald ein Fahrzeug an einem Montageort übernommen werden kann, erfolgt in einem Schritt 914 eine NOK-Meldung mit Fahrzeug-ID. Unter Umgehung der Datenverarbeitungsebene 920 kann die Montage des Fahrzeugs selbstverständlich auch auf manuellem Umweg (allgemein als Schritt 915 dargestellt) mit manueller OK-Setzung 916 durchgeführt werden. Erfindungsgemäß erfolgt die Montage, insbesondere das Setzen von Verschraubungen am Fahrzeug, jedoch unter Einbeziehung der Datenverarbeitungsebene 920. Dabei werden Daten aus der physikalischen Produktionsebene 910 über die Schnittstellenebene 921 in die Datenverarbeitungsebene 920 eingebracht und in der Datenverarbeitungsebene 920 bereitgestellte Daten über die Schnittstellenebene 921 in der physikalischen Produktionsebene 910 darstellbar gemacht. Hierzu erfolgt eine Abfrage 917, in Form einer sich ständig wiederholenden Schleife, bis von der Datenverarbeitungsebene 920 eine OK-Meldung 918 erfolgt. Nach manueller OK-Setzung 916 oder automatischer OK-Meldung 918 kann das Fahrzeug von der Montagestelle wieder in den Produktionsablauf 912 übergeben werden.An arrow 912 in Fig. 9 symbolizes a production process, for example on a vehicle assembly line during vehicle production. As soon as a vehicle can be picked up at an assembly location, a NOK message with vehicle ID is issued in step 914. Bypassing the data processing level 920, the assembly of the vehicle can of course also be carried out by manual detour (generally represented as step 915) with manual OK setting 916. According to the invention, the assembly, in particular the setting of screw connections on the vehicle, takes into account the data processing level 920. In this case, data from the physical production level 910 is introduced into the data processing level 920 via the interface level 921 and data provided in the data processing level 920 via the interface level 921 in the physical production level 910 can be represented. For this purpose, a query 917 takes place, in the form of a constantly repeating loop, until an OK message 918 is issued by the data processing level 920. After manual OK setting 916 or automatic OK message 918, the vehicle can be returned to the production process 912 from the assembly point.

In der Datenverarbeitungsebene 920 sind mehrere Verarbeitungsblöcke definiert. Dies sind insbesondere ein Startblock 940, ein Datenladeblock 950, ein Erkennungsblock 960, ein Navigationsblock 970 und ein Überwachungsblock 980. Auf der Werkzeugebene 930 ist im Wesentlichen ein Messdatenerzeugungsblock 990 zu beachten, in welchem auf Anforderung des Navigationsblocks 970 der Datenverarbeitungsebene 920 Messdaten am Werkzeug (Werkzeugeinheit 200, Fig. 1) erzeugt und dem Überwachungsblock 980 der Datenverarbeitungsebene 920 bereitgestellt werden. Die Anforderung und Bereitstellung von Daten zwischen der Datenverarbeitungsebene 920 und der Werkzeugebene 930 erfolgt über die Schnittstellenebene 923.Several processing blocks are defined in the data processing level 920. These are, in particular, a start block 940, a data load block 950, a recognition block 960, a navigation block 970 and a monitoring block 980. At the tool level 930, essentially a measurement data generation block 990 is to be observed, in which, on request of the navigation block 970 of the data processing level 920, measurement data on the tool ( Tool unit 200, Fig. 1 ) are generated and made available to the monitoring block 980 of the data processing level 920. The request and provision of data between the data processing level 920 and the tool level 930 takes place via the interface level 923.

Nach Implementierung des Startblocks 940 wird auf der Datenverarbeitungsebene 920 der Datenladeblock 950 implementiert, in welchem Daten zum Fahrzeug, der Schraubsituation und zum Werkzeug geladen werden. Sodann wird der Erkennungsblock 960 implementiert, in welchem zunächst in einem Schritt 962 eine Erkennung gestartet wird, dann in Schritt 964 eine Erkennung durchgeführt wird und nach Erkennung in Schritt 966 der erkannte Sachverhalt registriert wird. Der Start der Erkennung in Schritt 962 kann mit einer Aktivierung der Bilderkennungseinheit 300 in Fig. 1, insbesondere der Kameraeinheiten 310 verglichen werden. Die Durchführung der Erkennung in Schritt 964 entspricht beispielsweise der Erkennung des Fahrzeugs (Gegenstand 100), der Verschraubungsstelle 120 und der Werkzeugeinheit 200 durch Bildanalyse in der Bildanalyseeinheit 450 anhand der von der Kameraeinheit 310 gelieferten und durch die Bilddatenerfassungseinheit 420 erfassten Bilddaten im Vergleich mit den in der Modellspeichereinheit 440 gespeicherten Modelldaten, insbesondere anhand der vorgegebenen und unveränderlichen Referenzpunkte 110 und der Markierungseinheit 240 (Fig. 1) sowie an der Werkzeugeinheit 200 identifizierbaren Referenzpunkten 710 (Fig. 7). Die Registrierung der Erkennung in Schritt 966 entspricht der Erzeugung eines Datensatzes mit Daten, welche das erkannte Fahrzeug (den erkannten Gegenstand 100), die erkannte Werkzeugeinheit 200 und den erkannten Verschraubungsort 120 (Fig. 1) wiedergeben. Der erzeugte bzw. registrierte Datensatz wird dann dem Navigationsblock 970 übergeben.After implementation of the start block 940, the data loading block 950 is implemented on the data processing level 920, in which data about the vehicle, the tightening situation and the tool are loaded. Then the recognition block 960 is implemented, in which a recognition is first started in a step 962, then a recognition is carried out in a step 964 and after recognition in a step 966 the recognized situation is registered. The start of the recognition in step 962 can be carried out with an activation of the image recognition unit 300 in Fig. 1 , in particular the camera units 310. The execution of the recognition in step 964 corresponds, for example, to the recognition of the vehicle (object 100), the screwing point 120 and the tool unit 200 by image analysis in the image analysis unit 450 on the basis of the image data supplied by the camera unit 310 and captured by the image data acquisition unit 420 in comparison with the data in FIG the model storage unit 440 stored model data, in particular on the basis of the predetermined and unchangeable reference points 110 and the marking unit 240 ( Fig. 1 ) and reference points 710 identifiable on the tool unit 200 ( Fig. 7 ). The registration of the recognition in step 966 corresponds to the generation of a data record with data relating to the recognized vehicle (the recognized object 100), the recognized tool unit 200 and the recognized screwing location 120 ( Fig. 1 ) play. The generated or registered data record is then transferred to navigation block 970.

In dem Navigationsblock 970 erfolgt eine Navigation des Monteurs zur Schraubstelle in Schritt 972, die beispielsweise über die Laserzeigeeinrichtung 330 in Fig. 1, die Ausgabe von Vorgabedaten über die Bildausgabeeinheit 500 sowie optische und/oder akustische Signalisierungen über die Lautsprechereinheit 340 bzw. die Leuchtdiodeneinheit 350 in Fig. 1 erfolgen kann. Sobald erkannt worden ist, dass das Werkzeug (die Werkzeugeinheit) 200 mit der erforderlichen Schraube 150 an der vorgesehenen Verschraubungsstelle 120 angesetzt ist, erfolgt in Schritt 974 eine Erkennungsmeldung an den Überwachungsblock 980. Gleichzeitig erfolgt in Schritt 976 ein Start des Schraubvorgangs, der eine Anforderung von Messdaten von der Werkzeugeinheit 200 (Fig. 1) beinhaltet.In the navigation block 970, the fitter navigates to the screwing point in step 972, for example via the laser display device 330 in Fig. 1 , the output of default data via the image output unit 500 and optical and / or acoustic signaling via the loudspeaker unit 340 or the light-emitting diode unit 350 in Fig. 1 can be done. As soon as it has been recognized that the tool (tool unit) 200 with the required screw 150 is attached to the intended screwing point 120, a detection message is sent to the monitoring block 980 in step 974. At the same time, the screwing process is started in step 976, which is a request of measurement data from the tool unit 200 ( Fig. 1 ) includes.

Aufgrund der Anforderung durch den Navigationsblock 970 erzeugt der Verarbeitungsblock 990 auf der Werkzeugebene 930 Messdaten, welche dem aufgebrachten Drehmoment an der Werkzeugeinheit 200 (Fig. 1) entsprechen und überträgt diese ebenfalls an den Überwachungsblock.On the basis of the request from the navigation block 970, the processing block 990 generates measurement data on the tool level 930 which corresponds to the torque applied to the tool unit 200 ( Fig. 1 ) correspond and also transmits them to the monitoring block.

Der Überwachungsblock 980 führt in Schritt 982 eine Überwachung des Schraubvorgangs anhand der von der Werkzeugebene 930 (Verarbeitungsblock 990) gelieferten Messdaten und beendet die Überwachung in Schritt 984 bei Sollerreichung. Daraufhin erfolgt noch in Schritt 986 eine Generierung von Protokollen, wobei Protokolltupel erzeugt werden, welche den in Schritt 966 registrierten Datensatz zusammen mit den Daten, die das erfasste Drehmoment wiedergeben, erzeugt und gespeichert wird. Das Protokoll kann in Form von Log-Files und/oder Videoprotokollen 925 an die Schnittstellenebene 921 übergeben werden. Ebenso liefert der Überwachungsblock 980 eine OK-Meldung 927 an die Schnittstellenebene 921, wenn das Fahrzeug noch aktiv ist, und über die Schnittstellenebene 921 wird die OK-Meldung 927 in die oben beschriebene OK-Meldung 980 umgesetzt.In step 982, the monitoring block 980 monitors the screwing process on the basis of the measurement data supplied by the tool level 930 (processing block 990) and ends the monitoring in step 984 when the target is reached. Protocols are then generated in step 986, protocol tuples being generated which generate and store the data record registered in step 966 together with the data which represent the detected torque. The protocol can be transferred in the form of log files and / or video protocols 925 to the interface level 921. Likewise, the monitoring block 980 delivers an OK message 927 to the interface level 921 if the vehicle is still active, and the OK message 927 is converted into the OK message 980 described above via the interface level 921.

Es ist darauf hinzuweisen, dass der oben beschriebene Ablauf unter dem Regime einer vorgegebenen Taktung steht und im Rahmen dieses Taktes anhand eines Arbeitsplans (vgl. 480, Fig. 1) Schraubfälle abgearbeitet werden, wobei für jeden Schraubfall eine Schraubfall-ID erzeugt wird. Die Schraubfall-ID sowie die oben erwähnte Fahrzeug-ID sind jeweiliger Bestandteil der Protokolltupel des generierten Protokolls.It should be noted that the process described above is subject to a predetermined schedule and within the scope of this schedule using a work plan (cf. 480, Fig. 1 ) Bolting cases are processed, whereby a bolting case ID is generated for each bolting case. The tightening case ID and the vehicle ID mentioned above are part of the protocol tuple of the generated protocol.

Beim oben erläuterten Beispiel ist der Gegenstand 100 ein Kraftfahrzeug. Im Rahmen der Erfindung können auch andere Gegenstände, wie z.B. Luftfahrzeuge, medizinische Vorrichtungen oder dgl. Verwendet werden.In the example explained above, the object 100 is a motor vehicle. Other objects such as e.g. Aircraft, medical devices or the like are used.

Bei dem oben beschriebenen Ausführungsbeispielen trägt ein Bediener bzw. Monteur die Trägereinheit 600, auf welcher die Kameraeinheiten 310 angeordnet sind. Im Rahmen der Erfindung ist es auch möglich, einen automatischen Verschraubungsautomat vorzusehen, bei welchem die Werkzeugeinheit 200 automatisch zum jeweiligen Verschraubungsort 120 bewegt und betätigt wird. Hierzu kann beispielsweise ein Roboterarm vorgesehen sein.In the exemplary embodiments described above, an operator or fitter carries the carrier unit 600 on which the camera units 310 are arranged. Within the scope of the invention it is also possible to provide an automatic screwing machine in which the tool unit 200 is automatically moved and actuated to the respective screwing location 120. A robot arm can be provided for this purpose, for example.

Der Verschraubungsautomat und der zu verschraubende Gegenstand können relativ zueinander bewegt werden, wobei in den unterschiedlichen Positionen jeweils zumindest ein räumliches Bild des Gegenstands erfasst wird. Die Ortsauflösung der mit der Bildaufnahmeeinheit 300 erfassten räumlichen Bilder kann nicht genügen, um alleine anhand eines einzelnen räumlichen Bildes des Gegenstandes 100 die Werkzeugeinheit 200 ausreichend präzise zum Verschraubungsort 120 zu steuern. Falls dies der Fall ist, können zur Positionierung der Werkzeugeinheit 200 während des Positioniervorganges weitere räumliche Bilder aufgenommen werden, wobei hierin die Werkzeugeinheit 200 und der Gegenstand 100 erfasst sind, sodass anhand dieser Bilder die relative Position der Werkzeugeinheit 200 zum Gegenstand 100 bestimmt ist. Diese relative Position ist mit einer wesentlich höheren Ortsauflösung als die absolute Position des Gegenstandes 100 im dreidimensionalen Koordinatensystem der Kamera bestimmt. Somit kann mit einer geschlossenen Regelschleife die Werkzeugeinheit 200 sehr präzise vollautomatisch am Verschraubungsort 120 positioniert werden.The automatic screwing device and the object to be screwed can be moved relative to one another, with at least one spatial image of the object being recorded in the different positions. The spatial resolution of the spatial images captured with the image acquisition unit 300 cannot be sufficient to control the tool unit 200 sufficiently precisely to the screwing location 120 on the basis of a single spatial image of the object 100 alone. If this is the case, further spatial images can be recorded for positioning the tool unit 200 during the positioning process, the tool unit 200 and the object 100 being recorded therein, so that the relative position of the tool unit 200 to the object 100 is determined on the basis of these images. This relative position is determined with a significantly higher spatial resolution than the absolute position of the object 100 in the three-dimensional coordinate system of the camera. With a closed control loop, the tool unit 200 can thus be positioned very precisely and fully automatically at the screwing location 120.

Eine derartige Regelung mit geschlossener Regelschleife zur Positionierung der Werkzeugeinheit 200 kann auch bei einem "mobilen" System mit einer tragbaren Trägereinheit 600 verwendet werden, wobei dann dem Monteur optische, akustische oder sonstige Hinweise gegeben werden, wie er die Werkzeugeinheit 200 relativ zum Gegenstand 100 zu positionieren hat.Such a closed-loop control for positioning the tool unit 200 can also be used in a "mobile" system with a portable carrier unit 600, in which case the fitter is given visual, acoustic or other information as to how the tool unit 200 is relative to the object 100 has to position.

Es versteht sich, dass die vorstehende Beschreibung nur beispielhafte Ausführungsmöglichkeiten der vorliegenden Erfindung umfassen kann und die Erfindung nicht auf die beschriebenen spezifischen Ausführungsformen beschränkt ist, sondern allein durch die beigefügten Patentansprüche in ihrem breitesten Verständnis definiert ist.It is to be understood that the above description can only include exemplary embodiments of the present invention and the invention is not restricted to the specific embodiments described, but rather is defined in its broadest understanding solely by the appended claims.

Claims

A device for screwing objects, comprising:
- a tool unit (200) designed for screwing screw connection elements (150),

- a rotation default output means (230) designed to output the torque to be applied when screwing with the tool unit (200) and/or the angle of rotation to be achieved when screwing, and

- a data processing unit (400) designed to detect torque data or rotational angle data representing the torque applied during screwing or the rotational angle achieved during screwing,

- an image capturing unit (300) comprising a stereo camera for capturing a spatial image of a working area having at least a portion of an object (100) to be screwed together and providing the captured image data, and

- the data processing unit (400) comprises an image analysis unit (450) designed to recognize the object (100), the tool unit (200) and a screwing location on the object (100) in the captured image and to generate a protocol tuple (p) including data representing the recognized screwing location, the detected torque data and/or rotational angle data associated with each other, and

- characterized in that the device comprises a carrier unit (600) carrying at least the image capturing unit (300), the carrier unit being designed to be carried on the body of a user.
The device according to claim 1, characterized in that the data processing unit is designed such that the recognition of the object (100) takes place on the basis of at least three reference points (110) of the detected spatial image, wherein the recognition of the object (100) takes place preferably on the basis of a body which is a component of the object and is represented in the spatial image by a plurality of reference points.
The device according to claim 1 or 2, characterized in that the protocol tuple (p) further comprises data representing the recognized tool unit (200) and/or a time stamp representing a time at which the torque was applied or the angle of rotation was achieved.
The device according to any of claims 1 to 3, characterized in that the tool unit (200) has a lever unit (210) including a tool mount (220) and comprises an exchangeable tool (250) which is received or receivable in or on the tool mount (220), the tool (250) being adapted or adaptable to the screw connection element (150) to be screwed, wherein the rotation default output means (230) is preferably arranged in or on the lever unit (210).
The device according to any of the preceding claims, characterized in that the rotation default output means (230) comprises at least one of the following:
- an optical display (232) such as a pointer, scale, clock or digital display, the image analysis unit (450) of the data processing unit (400) being designed to recognize the torque indicated by the optical display (232) or the rotational angle from the image supplied by the image capturing unit (300);

- a data transmission unit (234) designed to transmit measurement data representing a sensed torque, wherein a receiving unit (405) of the data processing unit (400) is designed to receive the measurement data supplied by the data transmission unit (234), and wherein a measurement data detection unit (430) of the data processing unit (400) is designed to interpret and detect the received measurement data as the torque data.
The device according to any of the preceding claims, characterized in that the tool unit (200), in particular the lever unit (210) and/or the exchangeable tool (250), are provided with an identification mark (246, 248), in particular a bar code, a color code, a 2D bar code and/or a perforation mark, wherein the data processing unit (400) is designed to recognize the tool unit (200) by means of the identification mark (246, 248), the tool unit (200) preferably comprising an exchangeable marking unit (240) which is provided with the identification mark (246, 248).
The device according to any of the preceding claims, characterized in that the carrier unit (600) is realized in the form of a spectacle frame, protective goggles, a protective helmet, headband or part of a piece of clothing such as a shoulder flap, collar or belt, or comprises attachment members for attachment to spectacles, protective goggles, a protective helmet, headband or piece of clothing such as to a shoulder flap, collar or belt.
The device according to any of the preceding claims, characterized in that the data processing unit (400) comprises a default generation unit (485) which is designed to generate defaults with respect to a screwing location on the object (100) and/or a screwing case and/or a tool selection, preferably based on a previously stored workflow plan, wherein the protocol generation unit (470) is preferably designed to add defaults generated by the default generation unit (485) to the respective protocol tuple (p), and wherein the data processing unit (400) preferably comprises a verification unit (485) configured to verify the achievement of the defaults and generate a verification result; wherein preferably by an acoustic output unit (340) coupled to the data processing unit (400), wherein the data processing unit (400) is designed to transmit the defaults and/or the verification results to the acoustic output unit (340), and the acoustic output unit is designed to output acoustic indication, warning and/or confirmation signals corresponding to the defaults and/or verification results.
The device according to claim 7 or 8, further characterized by an optical output unit (330, 350) coupled to the data processing unit (400), wherein the data processing unit (400) is designed to transmit the defaults and/or the verification results to the optical output unit (330, 350), and the optical output unit (330, 350) is designed to output optical indication, marking, warning and/or confirmation signals corresponding to the defaults and/or verification results, wherein the optical output unit (330, 350) preferably comprises one or more light emitting diodes (350) of one or different colors, a laser pointing device (330) and/or a hologram generating means.
The device according to any of claims 7 to 9, further characterized by an image output unit (500) coupled to the data processing unit (400), wherein the data processing unit (400) is designed to transmit the defaults and/or the verification results to the image output unit (500), wherein the image output unit (500) is designed to output indications, instructions, warnings or confirmations corresponding to the defaults and/or verification results.
The device according to any of the preceding claims, further characterized by a protocol backup unit (475) designed to backup the protocol tuples (p) generated by the protocol generation unit (470), wherein the protocol generation unit (470) is designed to hand over a protocol tuple (p) to the protocol backup unit (475) preferably whenever at least one of the following conditions is satisfied:
- the tool unit (200) is removed from the screwing location (120);

- the data detected with respect to the object (100) and the screwing location and the torque applied, preferably also with respect to the tool unit (200), correspond to defaults;

- a processed screwing case is acknowledged by a user.
A method for screwing objects, comprising the steps:
- capturing a spatial image of a working area with a stereo camera, wherein the captured image comprises at least a portion of an object (100) to be screwed;

- recognizing the object (100) on the basis of at least three reference points (110) of the captured spatial image, and recognizing a screwing location on the object (100) from the one or more captured images;

- automatic detection of a torque applied during screwing by the tool unit (200) and/or an achieved angle of rotation;

- generating a protocol tuple of data representing the screwing location and the torque and/or the angle of rotation associated with each other, wherein
characterized in that
a carrier unit (600) carrying at least the image capturing unit (300) is carried on the body of a user.
The method according to claim 12, characterized in that the recognition of the object (100) is carried out on the basis of reference points which describe a body that is part of the object, and/or the recognition of the object is carried out by comparing the reference points with the corresponding points in a three-dimensional model of the object (100), preferably wherein the following steps are carried out:
- recognizing a tool unit (200) for screwing the object (100),

- creating data representing the recognized tool unit (200), and

- adding the data to the respective protocol tuple (p).
The method according to claim 12 or 13, further characterized by the steps:
- detecting a time at which the torque and/or the angle of rotation was applied,

- creating a time stamp that represents the detected time, and

- adding the time stamp to the respective protocol tuple (p).
The method according to any of claims 12 to 14, characterized in that the detection of the torque comprises at least one of the steps:
- evaluating the image and recognizing a torque indicator (230) at the tool unit (200) in the image;

- evaluating sensor data which are generated by the tool unit (200) and preferably transmitted to a data processing unit (400) in a wireless or wired manner.