DE10215885A1

DE10215885A1 - Automatic process control

Info

Publication number: DE10215885A1
Application number: DE10215885A
Authority: DE
Inventors: Werner Schreiber; Thomas Alt
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2002-03-20
Filing date: 2002-04-11
Publication date: 2003-10-02
Also published as: DE50312843D1; ATE472764T1

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Prozesskontrolle, bei welchem eine reale Arbeitsumgebung mit Hilfe einer Arbeitsumgebungserfassungseinrichtung erfasst wird. Eine automatische Protokollierung wird dadurch gewährleistet, dass reale Arbeitsvorgänge von Manipulatoren in der realen Arbeitsumgebung erfasst werden, dass die erfassten realen Arbeitsvorgänge mit zumindest einem vorgegebenen virtuellen Arbeitsvorgang verglichen werden und dass bei einem positiven Vergleichsergebnis die realen Arbeitsvorgänge automatisch protokolliert werden.The invention relates to a method for automatic process control, in which a real working environment is detected with the aid of a working environment detection device. Automatic logging is ensured in that real work processes are recorded by manipulators in the real work environment, that the recorded real work processes are compared with at least one predefined virtual work process and that if the result of the comparison is positive, the real work processes are automatically logged.

Description

Die Erfindung betrifft ein Verfahren zur automatischen Prozesskontrolle, bei welchem eine reale Arbeitsumgebung mit Hilfe einer Arbeitsumgebungserfassungseinrichtung erfasst wird. Des weiteren betrifft die Erfindung ein System zur automatischen Protokollierung von realen Arbeitsschritten, mit einer eine reale Arbeitsumgebung erfassenden Arbeitsumgebungserfassungseinrichtung und mit zumindest einem reale Arbeitsschritte ausführenden Manipulator. Schließlich betrifft die Erfindung auch die Verwendung eines erfindungsgemäßen Verfahrens und eines erfindungsgemäßen Systems. The invention relates to a method for automatic process control, in which a real work environment with the help of a work environment detection device is recorded. The invention further relates to a system for automatic Logging of real work steps, with a real working environment working environment detection device and with at least one real one Manipulator performing work steps. Finally, the invention also relates to Use of a method according to the invention and one according to the invention System.

Verfahren zur Protokollierung und Überprüfung von Arbeitsschritten sind aus dem Stand der Technik bekannt. Ein solches bekanntes Verfahren, das die Protokollierung und Überprüfung von Arbeitsschritten bei der Kommissionierung von Teilen in der Produktion ermöglicht, ist beispielsweise das sog. "Pick-To-Light"-Verfahren. Bei diesem Verfahren wird dem Mitarbeiter mit Hilfe direkt am Lagerort angebrachter Anzeigeinstrumenten angezeigt, welche Produktmengen bzw. welche Waren er zu entnehmen hat. Eine Bestätigung der Entnahme erfolgt per Knopfdruck durch den Anwender selbst. Dies ist jedoch nachteilig an dem bekannten Verfahren, da es dadurch möglich ist, dass Waren entnommen werden können, ohne dass eine Bestätigung erfolgt. Auch ist es dadurch möglich, dass Warenentnahmen bestätigt werden, die tatsächlich gar nicht stattgefunden haben. In diesen Fällen ist eine Bereitstellungssequenz für eine produktspezifische Kommissionierung unterbrochen. Die Lagerhaltung kann nicht mehr kontrolliert werden. Auch wenn mehrere Mitarbeiter bei der Kommissionierung eingesetzt werden, müssen deren Arbeitsabläufe und die Koordination ihrer Arbeitsschritte miteinander koordiniert werden. Procedures for logging and checking work steps are state of the art known in the art. Such a well known method, which is logging and Review of work steps when picking parts in production is possible, for example, the so-called "pick-to-light" method. With this procedure becomes available to the employee with the help of display instruments attached directly to the storage location displayed which product quantities or which goods he has to remove. A The user confirms the removal at the push of a button. This is however disadvantageous in the known method, since it is possible that goods can be removed without confirmation. It is also because of it possible that goods withdrawals are confirmed that are actually not have taken place. In these cases, there is a deployment sequence for one Product-specific picking interrupted. Warehousing can no longer to be controlled. Even if several employees are picking their work processes and the coordination of their Work steps are coordinated with each other.

Aus dem Stand der Technik sind ebenfalls sog. "Augmented Reality" (AR)-Systeme bekannt. Diese AR-Systeme ermöglichen eine Überlagerung der realen Umgebung mit einer rechnergenerierten Umgebung, der virtuellen Welt. So-called "Augmented Reality" (AR) systems are also from the prior art known. These AR systems allow the real environment to be overlaid a computer-generated environment, the virtual world.

Augmented Reality stellt eine Mensch-Maschine-Schnittstelle dar, mit deren Hilfe dem Anwender Informationen in sein Sichtfeld eingeblendet werden. Die eingeblendeten Informationen erweitern die Wahrnehmung der Anwender. Eine Einblendung kann bei Augmented Realtiy Systemen kontextabhängig sein, d. h. passend und abgeleitet vom jeweils betrachteten Objekt, z. B. einem Bauteil. Beispielsweise wird das reale Sichtfeld eines Monteurs durch eingeblendete Montagehinweise um für ihn wichtige Informationen erweitert. Als Informationen können prinzipiell jegliche Arten von Daten, insbesondere Bilder und/oder Texte eingeblendet werden. Der Anwender hat durch die Überlagerung von virtueller und realen Welt die Möglichkeit, Soll-Ist-Abgleiche durchzuführen. Darüber hinaus kann mit Hilfe eines Augmented Reality Systems eine komplexe Information jeglicher Art auch ohne Überlagerung mit dem realen Sichtfeld visualisiert werden. Augmented Reality represents a human-machine interface with the help of which User information can be displayed in his field of vision. The overlay Information extends users' perception. An overlay can appear at Augmented Realtiy Systems be context sensitive, d. H. fitting and derived from object under consideration, e.g. B. a component. For example, the real field of view a fitter by showing installation instructions for important information extended. In principle, any type of data, in particular, can be used as information Images and / or texts can be displayed. The user has through the overlay of virtual and real world the possibility to carry out target-actual comparisons. About that In addition, complex information can be created using an augmented reality system of any kind can be visualized without being overlaid with the real field of vision.

Zum Einsatz kommen AR-Systeme beispielsweise in der Flugzeugmontage. Hierbei werden durch das AR-System Informationen in das Sichtfeld eines Monteurs eingeblendet. Diese Informationen, beispielsweise Montageanleitungen, sind für den Monteur bei einem aktuell durchgeführten Arbeitsschritt hilfreich. In diesem Fall ersetzt das AR-System das herkömmliche Montagehandbuch. Vorzugsweise werden halbdurchlässige Datenbrillen eingesetzt, die sowohl den Blick des Monteurs auf ein gerade bearbeitetes reales Objekt freigeben als auch eine Einblendung verschiedenster Informationen erlaubt. Solche Datenbrillen sind beispielsweise aus T. P. Caudell, D. M. Mizell: "Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes", Proceedings of the Hawaii International Conference on Systems Sciences, pp. 659-669, IEEE Press, Januar 1992 beschrieben. Nachteilig an den beschriebenen Augmented Reality-Systemen ist, dass diese keine automatische Protokollerung von Arbeitsschritten ermöglichen. Werden durch den Monteur Fehler bei der Durchführung von Arbeitsschritten gemacht, fallen diese nicht auf. AR systems are used, for example, in aircraft assembly. in this connection the AR system puts information in the field of vision of a fitter appears. This information, for example assembly instructions, is for the Installer is helpful in a work step currently being carried out. In this case replaced the AR system is the conventional assembly manual. Preferably be semi-transparent data glasses are used, which both the fitter's eye on one release just edited real object as well as a display of various Information allowed. Such glasses are for example from T. P. Caudell, D. M. Mizell: "Augmented Reality: An Application of Heads-Up Display Technology to Manual Manufacturing Processes, "Proceedings of the Hawaii International Conference on Systems Sciences, pp. 659-669, IEEE Press, January 1992. Disadvantageous The augmented reality systems described is that they are not automatic Enable logging of work steps. Are errors by the fitter performed work steps, they are not noticeable.

Ausgehend von den beschriebenen Nachteilen des Standes der Technik lag der Erfindung das technische Problem zugrunde, eine automatische Protokollierung und Überprüfung von Arbeitsschritten zu ermöglichen. Based on the described disadvantages of the prior art Invention based on the technical problem, automatic logging and Enable review of work steps.

Das zuvor hergeleitete und aus dem Stand der Technik bekannte technische Problem wird erfindungsgemäß durch ein Verfahren gelöst, bei dem reale Arbeitsvorgänge von Manipulatoren in der realen Arbeitsumgebung erfasst werden, bei dem erfasste reale Arbeitsvorgänge mit zumindest einem vorgegebenen virtuellen Arbeitsvorgang verglichen werden und ein Vergleichsergebnis der realen Arbeitsvorgänge automatisch protokolliert wird. The technical problem previously derived and known from the prior art is solved according to the invention by a method in which real work processes of Manipulators are captured in the real work environment, in which the captured real Operations with at least one predetermined virtual operation be compared and a comparison result of the real work processes automatically is logged.

Als Arbeitsumgebungserfassungseinrichtung kommen Bilderfassungseinrichtungen mit Hilfe von Kameras, Infrarotsensoren, Radarsensoren, Ultraschallsensoren oder sonstige Mittel in Betracht, mit deren Hilfe eine Arbeitsumgebung hinreichend genau erfasst werden kann. Image acquisition devices come along as the working environment detection device Using cameras, infrared sensors, radar sensors, ultrasonic sensors or others Consider means with the help of which a working environment is recorded with sufficient accuracy can be.

Arbeitsvorgänge von Manipulatoren umfassen Tätigkeiten aller Art, die zur Erstellung eines Produkts notwendig sind. Insbesondere bezieht sich der Begriff auf Tätigkeiten zur Auswahl von Teilen innerhalb der Montage. Dabei kommen alle Industriegüter, insbesondere auch Kraftfahrzeuge, in Betracht. Operations of manipulators include activities of all kinds that are related to the creation of a product are necessary. In particular, the term refers to activities related to Selection of parts within the assembly. All industrial goods come especially motor vehicles.

Manipulatoren sind insbesondere menschliche Gliedmaßen, wie beispielsweise Arm und Finger oder auch Werkzeuge, wie beispielsweise Schraubenschlüssel. Manipulators are in particular human limbs, such as arm and Fingers or tools, such as wrenches.

Durch einen Vergleich von erfassten realen Vorgängen (Ist-Vorgang) mit einem vorgegebenen virtuellen Arbeitsvorgang (Soll-Vorgang) lässt sich feststellen, welcher Arbeitsvorgang tatsächlich vorgenommen worden ist. Ergibt ein Vergleich von Ist- Vorgang mit Soll-Vorgang ein positives Vergleichsergebnis, so lässt sich der Ist-Vorgang erfindungsgemäß automatisch protokollieren. Auch bei einem negativem Vergleichsergebnis ist eine Protokollierung möglich. Dadurch können auch fehlerhafte Arbeitsschritte oder nicht durchgeführte Arbeitsschritte ermittelt werden. By comparing recorded real processes (actual process) with a predetermined virtual work process (target process) can be determined which Operation has actually been undertaken. A comparison of actual Operation with target operation a positive comparison result, so the actual operation can automatically log according to the invention. Even with a negative A comparison of the results is possible. This can also result in faulty Work steps or work steps not performed are determined.

Gemäß einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass die erfasste reale Arbeitsumgebung in Relation zu einer virtuellen Arbeitsumgebung gesetzt wird und dass reale Arbeitsvorgänge von Manipulatoren in der virtuellen Arbeitsumgebung als virtuelle Arbeitsvorgänge virtueller Manipulatoren angezeigt werden. Dabei ist es vorteilhaft, dem Anwender die Position der zu manipulierenden Teile derart zu kennzeichnen, dass diese durch eine Überlagerung der Markierung mit dem realen Teil erkenntlich werden. Dadurch lässt sich der Arbeitsvorgang dem Anwender leicht erläutern. According to an advantageous embodiment, it is proposed that the real detected Working environment in relation to a virtual working environment and that real operations of manipulators in the virtual work environment as virtual Operations of virtual manipulators are displayed. It is advantageous that Mark the position of the parts to be manipulated in such a way that they can be recognized by an overlay of the marking with the real part. This makes it easy for the user to explain the work process.

Auch ist es vorteilhaft, wenn die zu manipulierenden Gegenstände im wahrgenommenen Bild hinsichtlich ihres räumlichen Ortes mit einem Rahmen oder einem Kreis gekennzeichnet werden. Der Anwender erkennt dann die zu manipulierenden Gegenstände leicht. It is also advantageous if the objects to be manipulated are perceived Image in terms of its spatial location with a frame or a circle be marked. The user then recognizes those to be manipulated Objects easily.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass die räumliche Position der Manipulatoren erkannt wird und mit einer Soll-Position der Manipulatoren in der virtuellen Arbeitsumgebung verglichen werden. Bei einer dem Fertigungsplan entsprechenden Ausführung der Tätigkeit ergibt sich eine Übereinstimmung der räumlichen Positionen von realen und virtuellen Manipulatoren, wodurch eine korrekte Ausführung protokolliert werden kann. Das manuelle Quittieren von durchgeführten Arbeitsschritten entfällt. According to a further advantageous embodiment, it is proposed that the spatial position of the manipulators is recognized and with a target position of the Manipulators in the virtual work environment can be compared. With one of the Production plan corresponding to the execution of the activity results in a Agreement of the spatial positions of real and virtual manipulators, whereby a correct execution can be logged. Manual acknowledgment of work steps carried out.

Eine Kontrolle der Protokollierung lässt sich vorteilhaft dadurch erreichen, dass das Vergleichsergebnis angezeigt wird. Dies kann sowohl negativ als auch positiv sein. Der Anwender kann sofort kontrollieren, ob der Durchgeführte Arbeitsschritt protokolliert wurde. A control of the logging can advantageously be achieved in that the Comparison result is displayed. This can be both negative and positive. The The user can immediately check whether the work step carried out is logged has been.

Vorteilhaft lässt sich das Verfahren einsetzen, wenn lediglich dokumentationspflichtige Arbeitsschritte erfasst und protokolliert werden. Dadurch wird die Bearbeitungsgeschwindigkeit deutlich erhöht. Auch ist es möglich, dass das Auslassen von dokumentationspflichtigen Arbeitsschritten protokolliert wird. The method can be used advantageously if only those requiring documentation Work steps are recorded and logged. This will make the Processing speed increased significantly. It is also possible that omission of work steps requiring documentation.

Eine Kontrolle eines aktuellen Produktionsfortschrittes sowie die Koordination einzelner Produktionsschritte lässt sich dadurch erreichen, dass die protokollierten Arbeitsschritte zentral gespeichert werden und dass mit Hilfe der zentral gespeicherten, protokollierten Arbeitsschritte ein Produktionsfortschritt dargestellt wird. A control of current production progress and the coordination of individual ones Production steps can be achieved in that the logged work steps be stored centrally and that with the help of the centrally stored, logged Work steps a production progress is shown.

Es wird bevorzugt, dass die räumliche Position des Manipulators und/oder die räumliche Position des Anwenders und/oder die räumliche Position des zu manipulierenden Arbeitsgegenstandes und/oder die räumliche Position des Anwenders im Bezug auf den Manipulator und den zu manipulierenden Gegenstand erfasst wird. Durch Erfassung der räumlichen Positionen lässt sich leicht der zu protokollierende Arbeitsvorgang erkennen. It is preferred that the spatial position of the manipulator and / or the spatial Position of the user and / or the spatial position of the manipulated Work object and / or the spatial position of the user in relation to the Manipulator and the object to be manipulated is detected. By capturing the the working process to be logged can be easily recognized in spatial positions.

Das erfindungsgemäße Problem wird gemäß eines weiteren Gegenstandes der Endung durch ein System gelöst, das sich dadurch kennzeichnet, dass eine Vergleichseinrichtung vorgesehen ist, dass eine Protokollierungseinrichtung vorgesehen ist, dass die Arbeitsumgebungserfassungseinrichtung geeignet ist, reale Arbeitsschritte zu erfassen, dass die Vergleichseinrichtung geeignet ist, die erfassten Arbeitsschritte mit gespeicherten virtuellen Arbeitsschritten zu vergleichen, und dass die Protokollierungseinrichtung geeignet ist, Vergleichsergebnisse zu protokollieren. The problem of the invention is according to a further subject of Solution solved by a system that is characterized by the fact that a Comparison device is provided that a logging device is provided is that the work environment detection device is suitable, real work steps to detect that the comparison device is suitable for using the recorded work steps compare stored virtual work steps, and that the Logging device is suitable for logging comparison results.

Bei einem solchen System ist ein Augmented Reality-System vorteilhaft, wobei dieses Augmented Reality-System geeignet ist, eine virtuelle Arbeitsumgebung in Relation zur erfassten Arbeitsumgebung wiederzugeben. Dem Anwender wird mit Hilfe des Augmented Reality-Systems die virtuelle Arbeitsumgebung angezeigt und er kann sich in Kenntnis der virtuellen Arbeitsumgebung in der realen Arbeitsumgebung bewegen. Montagehinweise und Anleitungen können ihm durch das Augmented Reality-System gegeben werden. In such a system, an augmented reality system is advantageous, with this Augmented reality system is suitable for a virtual work environment in relation to play recorded working environment. With the help of the Augmented Reality-Systems displayed the virtual work environment and he can himself move in the real work environment with knowledge of the virtual work environment. Assembly instructions and instructions can be provided by the augmented reality system are given.

Hierbei ist vorteilhaft, dass ein Datenbrille vorgesehen ist, wobei die Datenbrille geeignet ist, die virtuelle Umgebung in Relation zur erfassten realen Umgebung wiederzugeben. It is advantageous here that data glasses are provided, the data glasses being suitable is to reproduce the virtual environment in relation to the captured real environment.

Besonders vorteilhaft und zuverlässig ist eine Protokollierung, wenn eine Mustererkennungseinrichtung vorgesehen ist, wobei die Mustererkennungseinrichtung geeignet ist, die realen Arbeitsschritte mit Hilfe optischer Bilderkennungsverfahren zu erfassen. Logging is particularly advantageous and reliable if a Pattern recognition device is provided, the pattern recognition device is suitable to the real work steps with the help of optical image recognition processes to capture.

Ein weiterer Gegenstand der Erfindung ist die Verwendung eines vorbeschriebenen Verfahrens sowie eines vorbeschriebenen Systems in der Kraftfahrzeugproduktion. Die Erfindung ist nicht auf den Einsatz in der Kraftfahrzeugsproduktion beschränkt. Bei der Herstellung beliebiger Güter, bei der Wartung beliebiger existierender Güter oder bei der Demontage von Gütern lässt sich das erfindungsgemäße Verfahren und das erfindungsgemäße System ebenfalls einsetzen. Des weiteren ist die Erfindung auch bei der Bereitstellung von Gütern als Dienstleistung, beispielsweise im Versandhandel, einsetzbar. Another object of the invention is the use of a previously described Process and a previously described system in motor vehicle production. The The invention is not restricted to use in motor vehicle production. In the Manufacture of any goods, for the maintenance of any existing goods or for the The process according to the invention and the also use the system according to the invention. Furthermore, the invention is also in the provision of goods as a service, for example in mail order, used.

Die Erfindung wird im Nachfolgenden anhand einer Ausführungsbeispiele zeigenden Zeichnung näher erläutert. In der Zeichnung zeigen: The invention is shown below using an exemplary embodiment Drawing explained in more detail. The drawing shows:

Fig. 1 ein Augmented Reality-System; FIG. 1 is an augmented reality system;

Fig. 2 ein erfindungsgemäßes System; Fig. 2 shows an inventive system;

Fig. 3 ein weiteres erfindungsgemäßes System. Fig. 3 shows another system according to the invention.

Fig. 1 zeigt ein bekanntes Augmented Reality-System mit einem Datenspeicher 110, Softwareeinrichtungen 120a-n, einer Steuereinrichtung 130, einer Kamera 132 und einer Datenbrille 134. Die Steuereinrichtung 130 weist eine Vermessungseinrichtung 131 und eine Auswerteeinrichtung 133 auf. Fig. 1 shows a prior art augmented reality system with a data memory 110, software devices 120 a-n, a control device 130, a camera 132 and a data goggles 134th The control device 130 has a measuring device 131 and an evaluation device 133 .

Die Kamera 132, die vorteilhafterweise über eine drahtlose Verbindung mit der Steuereinrichtung 130 kommuniziert, nimmt ein Bild der Arbeitsumgebung auf. Die Bildinformationen werden über die drahtlose Verbindung an die Steuereinrichtung 130 übermittelt. Diese Daten werden dann innerhalb der Vermessungseinrichtung 131 kontinuierlich hinsichtlich bekannter Bildmuster analysiert. Durch die Analyse auf bekannte Bildmuster wird die relative Position der Kamera 132 im Bezug auf die räumliche Arbeitsumgebung bestimmt. Die so ermittelte relative Position der Kamera 134 wird an die Auswerteeinrichtung 133 übergeben. In der Auswerteeinrichtung 133 werden entsprechend der ermittelten Positionen geeignete virtuelle Informationen zusammengestellt. Bei der Zusammenstellung der virtuellen Informationen werden die Softwareeinrichtungen 120a-n genutzt. Die Softwareeinrichtungen 120a-n sind mit einem Datenspeicher 110 verbunden. Im Datenspeicher 110 sind virtuelle Informationen zu einer Vielzahl von möglichen Positionen innerhalb der Arbeitsumgebung abgelegt. Hierzu gehören u. a. relevante Arbeitsmaterialien und Montageanleitungen. Die zusammengestellten Informationen werden von den Softwareeinrichtungen 120a-n an die Auswerteeinrichtung 133 übergeben. In der Auswerteeinrichtung 133 wird ein virtuelles Bild erstellt, welches über eine vorzugsweise drahtlose Verbindung an die Datenbrille 134 übermittelt wird. In der Datenbrille 134 wird das virtuelle Bild projiziert und somit zur Überlagerung mit dem tatsächlich wahrgenommenen Bild der Arbeitsumgebung gebracht. Ein sich am Ort der realen Umgebung aufhaltender Anwender der Datenbrille 134 hat dadurch zum einen durch die Datenbrille hindurch eine freie Sicht auf die reale Arbeitsumgebung, zum anderen wird von der Steuereinrichtung 130 die virtuelle Information in Abhängigkeit von der betrachteten realen Umgebung in der Datenbrille präsentiert. Auf diese Weise findet im Sichtfeld des Anwenders eine Überlagerung der virtuellen Information mit der realen Arbeitsumgebung statt. The camera 132 , which advantageously communicates with the control device 130 via a wireless connection, takes a picture of the working environment. The image information is transmitted to the control device 130 via the wireless connection. These data are then continuously analyzed within the measuring device 131 with regard to known image patterns. The analysis for known image patterns determines the relative position of the camera 132 in relation to the spatial working environment. The relative position of the camera 134 determined in this way is transferred to the evaluation device 133 . Suitable virtual information is compiled in the evaluation device 133 in accordance with the determined positions. The software devices 120 a-n are used in the compilation of the virtual information. The software devices 120 a-n are connected to a data memory 110 . Virtual information on a large number of possible positions within the working environment is stored in the data memory 110 . This includes relevant working materials and assembly instructions. The compiled information is transferred from the software devices 120 a-n to the evaluation device 133 . A virtual image is created in the evaluation device 133 , which is transmitted to the data glasses 134 via a preferably wireless connection. The virtual image is projected in the data glasses 134 and thus made to overlap with the image of the working environment that is actually perceived. A user of the data glasses 134 located at the location of the real environment thereby has a clear view of the real work environment through the data glasses on the one hand, and on the other hand the control device 130 presents the virtual information as a function of the real environment under consideration in the data glasses. In this way, the virtual information is overlaid with the real work environment in the user's field of vision.

Fig. 2 zeigt ein erfindungsgemäßes System zur automatischen Protokollierung und Überprüfung von Arbeitsschritten. Erneut ist ein Augmented Reality-System 100 dargestellt, bei dem die Steuereinrichtung 130 über eine drahtlose Verbindung in Wirkverbindung mit den Softwareeinrichtungen 120 und dem Datenspeicher 110 steht. Außerdem ist ein Manipulator 231 dargestellt, wobei dies der Arm eines Anwenders ist. Der Manipulator 132 weist eine Markierung 230 auf. Fig. 2 shows an inventive system for automatically logging and checking steps. An augmented reality system 100 is shown again, in which the control device 130 is operatively connected to the software devices 120 and the data memory 110 via a wireless connection. A manipulator 231 is also shown, this being the arm of a user. The manipulator 132 has a marking 230 .

Die Bewegung des Manipulators 231, respektive die Bewegung der Markierung 230 wird über die Kamera 132 aufgenommen. Die Bewegung des Manipulators 231 dient als Eingangsinformation für das erfindungsgemäße Verfahren. Sie wird über die Bewegung der für die Kamera verfolgbaren Markierung 230 erfasst. Die Markierung 230 ist dabei fest am Manipulator 231 angebracht. Außerdem wird die räumliche Position des zu manipulierenden Gegenstandes erfasst. Die erfassten Bildinformationen werden durch die Steuereinrichtung 130 ausgewertet. The movement of the manipulator 231 or the movement of the marking 230 is recorded via the camera 132 . The movement of the manipulator 231 serves as input information for the method according to the invention. It is detected via the movement of the marking 230 that can be tracked by the camera. The marking 230 is firmly attached to the manipulator 231 . In addition, the spatial position of the object to be manipulated is recorded. The captured image information is evaluated by the control device 130 .

Dabei wird durch die Vermessungseinrichtung 131 die bestimmte räumliche Ist-Position des Manipulators 231 und gegebenenfalls die räumliche Ist-Position des zu manipulierenden Objektes (nicht dargestellt) ermittelt und an die Auswerteeinrichtung 133 übergeben. Mit den Softwareeinrichtungen 120a-n sowie den Datenspeichern 110 werden Informationen zu der ermittelten Ist-Position gesammelt. Die Informationen über die Ist-Position werden von der Steuereinrichtung 130 an die Vergleichseinrichtung 202 übermittelt. In der Vergleichseinrichtung 202 sind Soll- Positionen abgelegt. Durch einen Vergleich der Soll-Positionen mit den Ist-Positionen sowie von gespeicherten virtuellen Arbeitsvorgängen mit erfassten realen Arbeitsvorgängen lässt sich feststellen, ob ein vorgegebener Arbeitsvorgang durchgeführt wird. Bei einem positiven Vergleichsergebnis durch die Vergleichseinrichtung 202 wird der Arbeitsvorgang protokolliert und durch die Protokolliereinrichtung 204 abgespeichert. Unter eventueller Einbeziehung weiterer Informationen, wie beispielsweise Toleranzwerte, wird der durch die Manipulation beabsichtigte Arbeitsschritt als durchgeführt oder als nicht durchgeführt in der Protokolliereinrichtung 204 klassifiziert. Entsprechend dieser Klassifikation wird der Arbeitsschritt quittiert und in der Protokolliereinrichtung 204 abgelegt. Des weiteren wird eine graphische Repräsentation der Klassifikation in der Datenbrille 134 angezeigt. Auch ist es möglich, einen fehlerhaften Arbeitsschritt oder das Auslassen eines Arbeitsschrittes zu protokollieren. The determined spatial actual position of the manipulator 231 and possibly the actual spatial position of the object to be manipulated (not shown) are determined by the measuring device 131 and transferred to the evaluation device 133 . The software devices 120 a-n and the data memories 110 collect information about the determined actual position. The information about the actual position is transmitted from the control device 130 to the comparison device 202 . Target positions are stored in the comparison device 202 . By comparing the target positions with the actual positions as well as stored virtual work processes with recorded real work processes, it can be determined whether a given work process is carried out. In the event of a positive comparison result by the comparison device 202 , the work process is logged and stored by the logging device 204 . With the possible inclusion of further information, such as tolerance values, the work step intended by the manipulation is classified as carried out or not carried out in the logging device 204 . According to this classification, the work step is acknowledged and stored in the logging device 204 . Furthermore, a graphical representation of the classification is displayed in the data glasses 134 . It is also possible to log a faulty work step or the omission of a work step.

Fig. 3 zeigt eine beispielhafte Anwendung des erfindungsgemäßen Verfahrens. Der Anwender hat die Aufgabe, für ein zu produzierendes Gut die benötigten Teile bereitzustellen. Die benötigten Teile sind in einem Lager 300 abgelegt, wobei das Lager 300 aus verschiedenen Regalböden 302 besteht. Fig. 3 shows an exemplary application of the inventive method. The user has the task of providing the parts required for a product to be produced. The required parts are stored in a warehouse 300 , the warehouse 300 consisting of different shelves 302 .

Zunächst wird die Arbeitsumgebung mit Hilfe der Kamera erfasst und Zusatzinformationen werden aus den Datenspeichern 110 geladen. Außerdem werden notwendige Arbeitsschritte ermittelt. Die ermittelten Arbeitsschritte werden über die Datenbrille 134 dem Benutzer angezeigt. In dem vorliegenden Beispiel wird der Lagerort (der Regalboden) des zu entnehmenden Teils über die Datenbrille 134 mittels geeigneter Einblendung 304 angezeigt. Der Benutzer weiß nun, dass er das entsprechende Teil entnehmen muss. Er entnimmt das Teil unter Verwendung des Manipulators 231. Über die Kamera 132 wird die Bewegung der Markierung 230 erkannt und mit einer Soll-Bewegung verglichen. Entspricht die Bewegung der Markierung 230 einer Soll-Bewegung, so wird dies in der Vergleichseinrichtung 202 erkannt und eine erfolgreiche Ausführung des Arbeitsschrittes wird in der Protokolliereinrichtung 204 protokolliert. Eine erfolgreiche oder eine negative Protokollierung wird dem Anwender über die Datenbrille 134 signalisiert. First of all, the working environment is recorded using the camera and additional information is loaded from the data memories 110 . Necessary work steps are also determined. The determined work steps are displayed to the user via data glasses 134 . In the present example, the storage location (the shelf) of the part to be removed is displayed via data glasses 134 by means of suitable overlay 304 . The user now knows that he has to remove the corresponding part. He removes the part using manipulator 231 . The movement of the marking 230 is recognized by the camera 132 and compared with a target movement. If the movement of the marking 230 corresponds to a desired movement, this is recognized in the comparison device 202 and a successful execution of the work step is logged in the logging device 204 . Successful or negative logging is signaled to the user via data glasses 134 .

Durch das erfindungsgemäße System ist es zum einen möglich, dem Anwender Montageanleitungen zu geben, und zum anderen wird überprüft, ob diese Anweisungen korrekt ausgeführt werden. Schließlich wird eine korrekte als auch eine inkorrekte Ausführung eines Arbeitsschrittes protokolliert. BEZUGSZEICHENLISTE 100 Augmented Reality-System
110 Datenspeicher
120a-n Softwareeinrichtungen
130 Steuereinrichtung
131 Vermessungseinrichtung
132 Kamera
133 Auswerteeinrichtung
134 Datenbrille
202 Vergleichseinrichtung
204 Protokolliereinrichtung
230 Markierung
231 Manipulator
300 Regal
302 Regalboden
304 eingeblendeter Regalboden
The system according to the invention makes it possible, on the one hand, to give the user assembly instructions, and, on the other hand, it is checked whether these instructions are being carried out correctly. Finally, a correct as well as an incorrect execution of a work step is logged. REFERENCE SIGN LIST 100 Augmented Reality System
110 data memories
120 a-n software facilities
130 control device
131 measuring device
132 camera
133 evaluation device
134 data glasses
202 comparison device
204 logging device
230 mark
231 manipulator
300 shelf
302 shelf
304 displayed shelf

Claims

1. Verfahren zur automatischen Prozesskontrolle, bei welchem eine reale Arbeitsumgebung mit Hilfe einer Arbeitsumgebungserfassungseinrichtung erfasst wird, dadurch gekennzeichnet,
dass reale Arbeitsvorgänge von Manipulatoren in der realen Arbeitsumgebung erfasst werden,
dass die erfassten realen Arbeitsvorgänge mit zumindest einem vorgegebenen virtuellen Arbeitsvorgang verglichen werden, und
dass ein Vergleichsergebnis der realen Arbeitsvorgänge automatisch protokolliert wird. 1. A method for automatic process control, in which a real working environment is detected with the aid of a working environment detection device, characterized in that
that real work processes are recorded by manipulators in the real work environment,
that the recorded real work processes are compared with at least one predetermined virtual work process, and
that a comparison result of the real work processes is automatically logged.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erfasste reale Arbeitsumgebung in Relation zu einer virtuellen Arbeitsumgebung gesetzt wird, und dass reale Arbeitsvorgänge von Manipulatoren in der virtuellen Arbeitsumgebung als virtuelle Arbeitsvorgänge virtueller Manipulatoren angezeigt werden. 2. The method according to claim 1, characterized in that the detected real Work environment in relation to a virtual work environment, and that real operations of manipulators in the virtual Work environment displayed as virtual operations of virtual manipulators become.

3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass eine erfasste räumliche Position der Manipulatoren mit einer Soll-Position der Manipulatoren in der virtuellen Arbeitsumgebung verglichen wird. 3. The method according to any one of claims 1 or 2, characterized in that a detected spatial position of the manipulators with a target position of the Manipulators in the virtual work environment is compared.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Vergleichsergebnis angezeigt wird. 4. The method according to any one of claims 1 to 3, characterized in that the comparison result is displayed.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass dokumentationspflichtige Arbeitsschritte erfasst und protokolliert werden. 5. The method according to any one of claims 1 to 4, characterized in that work steps requiring documentation are recorded and logged.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die protokollierten Arbeitsschritte zentral gespeichert werden und dass mit Hilfe der zentral gespeicherten protokollierten Arbeitsschritte ein Produktionsfortschritt dargestellt wird. 6. The method according to any one of claims 1 to 5, characterized in that the logged work steps are stored centrally and with the help of the centrally stored logged work steps is a production progress is pictured.

7. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die räumliche Position des Manipulators und/oder die räumliche Position des Anwenders und/oder die räumliche Position des zu manipulierenden Arbeitsgegenstandes und/oder die relative räumliche Position des Anwenders in Bezug auf den Manipulator und den zu manipulierenden Arbeitsgegenstand erfasst wird. 7. The method according to any one of claims 1 to 7, characterized in that the spatial position of the manipulator and / or the spatial position of the User and / or the spatial position of the manipulated Work object and / or the relative spatial position of the user in Relation to the manipulator and the work object to be manipulated is recorded.

8. System zur automatischen Protokollierung von realen Arbeitsschritten, insbesondere für ein Verfahren nach einem der Ansprüche 1 bis 7,
mit einer eine reale Arbeitsumgebung erfassenden Arbeitsumgebungserfassungseinrichtung, und
mit zumindest einem reale Arbeitsschritte ausführenden Manipulator, dadurch gekennzeichnet,
dass eine Vergleichseinrichtung vorgesehen ist,
dass eine Protokollierungseinrichtung vorgesehen ist,
dass die Arbeitsumgebungserfassungseinrichtung geeignet ist, reale Arbeitsschritte zu erfassen,
dass die Vergleichseinrichtung geeignet ist, die erfassten Arbeitsschritte mit gespeicherten virtuellen Arbeitsschritten zu vergleichbar, und
dass die Protokollierungseinrichtung geeignet ist, Vergleichsergebnisse zu protokollieren. 8. System for automatic logging of real work steps, in particular for a method according to one of claims 1 to 7,
with a real-world work environment detection device, and
with at least one real manipulator performing manipulator, characterized in
that a comparison device is provided
that a logging device is provided,
that the work environment detection device is suitable for detecting real work steps,
that the comparison device is suitable for comparing the recorded work steps with stored virtual work steps, and
that the logging device is suitable for logging comparison results.

9. System nach Anspruch 8, dadurch gekennzeichnet, dass ein Augmented Reality System vorgesehen ist, wobei das Augmented Reality System geeignet ist, eine virtuelle Arbeitsumgebung in Relation zur erfassten realen Arbeitsumgebung wiederzugeben. 9. System according to claim 8, characterized in that an augmented Reality system is provided, the augmented reality system being suitable is, a virtual working environment in relation to the captured real Play work environment.

10. System nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass eine Datenbrille vorgesehen ist, wobei die Datenbrille geeignet ist, die virtuelle Umgebung in Relation zur erfassten realen Arbeitsumgebung wiederzugeben. 10. System according to any one of claims 8 or 9, characterized in that Data glasses are provided, the data glasses being suitable, the virtual To reproduce the environment in relation to the recorded real working environment.

11. System nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass eine Mustererkennungseinrichtung vorgesehen ist, wobei die Mustererkennungseinrichtung geeignet ist, die realen Arbeitsschritte mit Hilfe optischer Bilderkennungsverfahren zu erfassen. 11. System according to any one of claims 8 to 10, characterized in that a pattern recognition device is provided, the Pattern recognition device is suitable, using the real work steps to capture optical image recognition processes.

12. Verwendung eines Verfahrens nach Anspruch 1 oder eines Systems nach Anspruch 8 in der Kraftfahrzeugsproduktion. 12. Use of a method according to claim 1 or a system according to Claim 8 in motor vehicle production.