DE102021117714A1 - Automatic seam detection for a welding process - Google Patents

Automatic seam detection for a welding process Download PDF

Info

Publication number
DE102021117714A1
DE102021117714A1 DE102021117714.6A DE102021117714A DE102021117714A1 DE 102021117714 A1 DE102021117714 A1 DE 102021117714A1 DE 102021117714 A DE102021117714 A DE 102021117714A DE 102021117714 A1 DE102021117714 A1 DE 102021117714A1
Authority
DE
Germany
Prior art keywords
computer
input data
weld
visual input
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021117714.6A
Other languages
German (de)
Inventor
Muhammad Sarmad
Jawad Tayyub
Rabia Ali
Alexander Vogel
Elmar Wosnitza
Philipp Leufke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Endress and Hauser SE and Co KG
Original Assignee
Endress and Hauser SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Endress and Hauser SE and Co KG filed Critical Endress and Hauser SE and Co KG
Priority to DE102021117714.6A priority Critical patent/DE102021117714A1/en
Priority to PCT/EP2022/068122 priority patent/WO2023280679A1/en
Publication of DE102021117714A1 publication Critical patent/DE102021117714A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/04Automatically aligning, aiming or focusing the laser beam, e.g. using the back-scattered light
    • B23K26/044Seam tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen einer Schweißnahtposition (5) in einem Schweißprozess, insbesondere einem Laserschweißprozess, wobei das Verfahren die Schritte umfasst: Empfangen von visuellen Eingabedaten (6) einer Schweißkante; Bereitstellen der visuellen Eingabedaten (6) als Eingabe an ein neuronales Netz (8), das konfiguriert ist, um die Schweißnahtposition (5) basierend auf den visuellen Eingabedaten (6) zu bestimmen; und Ausgeben der Schweißnahtposition (5). Die vorliegende Erfindung bezieht sich ferner auf ein Datenverarbeitungssystem (9), eine Schweißeinrichtung (16), ein Computerprogramm und ein computerlesbares Medium.The present invention relates to a computer-implemented method for detecting a weld seam position (5) in a welding process, in particular a laser welding process, the method comprising the steps of: receiving visual input data (6) of a weld edge; providing the visual input data (6) as input to a neural network (8) configured to determine the weld location (5) based on the visual input data (6); and outputting the weld position (5). The present invention also relates to a data processing system (9), a welding device (16), a computer program and a computer-readable medium.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen einer Schweißnahtposition in einem Schweißprozess, ein Datenverarbeitungssystem, das Mittel zum Ausführen des Verfahrens umfasst, eine Schweißeinrichtung, die ein solches Datenverarbeitungssystem umfasst, ein Computerprogramm und ein computerlesbares Medium.The present invention relates to a computer-implemented method for detecting a weld seam position in a welding process, a data processing system that includes means for executing the method, a welding device that includes such a data processing system, a computer program, and a computer-readable medium.

Schweißen ist auf verschiedenen Gebieten der Technik, insbesondere zum Zusammenfügen oder Reparieren von Metallkomponenten, weit verbreitet. Häufig werden Schweißprozesse mindestens teilweise automatisiert durchgeführt, z. B. unter Verwendung von Schweißrobotern oder computergeführten Schweißprozessen. Die verschiedenen verfügbaren Schweißtechnologien, wie Wolfram-Inertgasschweißen, Metall-Inertgasschweißen oder Punktschweißen sind grundsätzlich aus verschiedenen Dokumenten des Standes der Technik bekannt und werden in dieser Anmeldung nicht ausführlich beschrieben. Eine andere Schweißtechnologie, die zunehmend an Beliebtheit gewinnt, ist Laserschweißen, was auf mehrere Vorteile zurückzuführen ist, z. B. eine hohe Präzision, geringe Wärmeeinflusszonen, eine hohe Energiedichte, eine hohe Schweißgeschwindigkeit und geringe Formverzerrungen.Welding is widely used in various fields of technology, particularly for joining or repairing metal components. Welding processes are often carried out at least partially automatically, e.g. B. using welding robots or computer-controlled welding processes. The various welding technologies available, such as tungsten inert gas welding, metal inert gas welding or spot welding, are basically known from various prior art documents and are not described in detail in this application. Another welding technology that is gaining increasing popularity is laser welding, which is due to several advantages such as: B. high precision, small heat-affected zones, high energy density, high welding speed and low shape distortions.

Die Effizienz und Genauigkeit einer Schweißung hängt stark von einer präzisen Erkennung der Schweißnahtposition ab, insbesondere bei Laserschweißprozessen, bei denen strenge Präzisionsanforderungen erfüllt werden müssen. Die Schweißnahtposition ist als eine zusammenzufügende Kante definiert, z. B. zwischen zwei zu verschweißenden Komponenten. Die Erkennung und Steuerung der Nahtposition erfolgt üblicherweise entweder vollständig manuell oder unter Verwendung verschiedener Arten von Messaufnehmern, z. B. Verdrängungs- oder Ultraschallmessaufnehmern. Die meisten Messaufnehmer sind jedoch mit spezifischen Problemen verbunden. Beispielsweise erfordern Ultraschallmessaufnehmer einen stabilen interferenzfreien Zustand, der in einem Industrieumfeld schwer zu erreichen ist.The efficiency and accuracy of a weld depends heavily on accurate weld location detection, especially in laser welding processes where stringent precision requirements must be met. The weld location is defined as an edge to be joined, e.g. B. between two components to be welded. The detection and control of the seam position is usually done either entirely manually or using different types of transducers, e.g. B. displacement or ultrasonic transducers. However, most sensors come with specific problems. For example, ultrasonic transducers require a stable interference-free condition, which is difficult to achieve in an industrial environment.

Bei visuellen Messsystemen, die für die Nahterkennung verwendet werden, insbesondere Messsystemen mit Hilfslichtquellen, wird die Nahtposition häufig mittels eines angewandten Algorithmus basierend auf der visuellen Eingabe über die Fügestelle erkannt. Auch diese Systeme erfordern üblicherweise regelmäßiges menschliches Eingreifen, um erkannte Nahtpositionen zu korrigieren und zu verifizieren, z. B. den Hough-Algorithmus zur Kantenerkennung (Qian-Qian Wu et al., „A study on the modified hough algorithm for imaging processing in weld seam tracking“, Journal of Mechanical Science and Technology, 29, (11): 4859 - 4865,
2015) oder den Canny-Algorithmus zur Kantenerkennung (Jin-Yun Lu et al., „The weld image edge-detection algorithm combined with canny operator and mathematical morphology“, Proceedings of the 32nd Chinese Control Conference, pp. 4467-4470, 2013).
In visual measurement systems that are used for seam detection, in particular measurement systems with auxiliary light sources, the seam position is often detected using an applied algorithm based on the visual input about the joint. Also these systems usually require regular human intervention to correct and verify detected seam positions, e.g. B. the Hough algorithm for edge detection (Qian-Qian Wu et al., "A study on the modified hough algorithm for imaging processing in weld seam tracking", Journal of Mechanical Science and Technology, 29, (11): 4859 - 4865 ,
2015) or the Canny algorithm for edge detection (Jin-Yun Lu et al., "The weld image edge-detection algorithm combined with canny operator and mathematical morphology", Proceedings of the 32nd Chinese Control Conference, pp. 4467-4470 , 2013).

Menschliches Eingreifen in dem Nahterkennungsprozess bei Schweißsystemen ist nicht nur zeitintensiv, sondern führt auch zu unterschiedlichen Qualität und unterschiedlichen Ergebnissen aufgrund einer sinkenden menschlichen Leistung mit steigenden Arbeitszeiten und subjektiven Erwägungen unterschiedlicher Personen.Human intervention in the seam detection process in welding systems is not only time-consuming, but also leads to different quality and different results due to decreasing human performance with increasing working hours and subjective considerations of different people.

EP2792447B1 betrifft ein(e) Schweißpositionserkennungseinrichtung und -verfahren, bei denen eine Bildgebungsvorrichtung in einem vorgegebenen Zeitintervall Bilder eines bestrahlten Abschnitts eines zu schweißenden Materials und eines Umgebungsbereichs davon erkennt, eine Bildverarbeitungsvorrichtung, die eine Position des bestrahlten Abschnitts identifiziert, indem sie eine Bildverarbeitungsberechnung aus zwei oder mehr Bildern durchführt, die von der Bildgebungsvorrichtung erkannt wurden, wobei eine Richtung und ein Betrag einer parallelen Bewegung von Punkten in den Bildern berechnet werden, und eine Anzeigevorrichtung, welche die Position des bestrahlten Abschnitts anzeigt, wobei die Position durch die Bildverarbeitungsvorrichtung identifiziert wird. EP2792447B1 relates to a welding position detection device and method in which an imaging device detects images of an irradiated portion of a material to be welded and a surrounding area thereof at a predetermined time interval, an image processing device that identifies a position of the irradiated portion by performing an image processing calculation of two or performs more images recognized by the imaging device, wherein a direction and an amount of parallel movement of points in the images are calculated, and a display device that displays the position of the irradiated portion, the position being identified by the image processing device.

Mehrere weitere Ansätze zum Bereitstellen eines hohen Grades an Automatisierung bei Nahterkennungsprozessen unter Verwendung von visuellen Eingabedaten, wie Bildern, beruhen auf Verfahren mit strukturiertem Licht, die auf optischer Triangulation basieren, beschrieben z. B. von Yanbiao Zou und Tao Chen in „Laser vision seam tracking system based on image processing and continuous convolution operator tracker“, Optics and Lasers in Engineering, 105: 141-149, 2018. Beschrieben wurden auch ähnliche Verfahren zum Erkennen und Steuern der Bewegung eines Schweißbrenners in Echtzeit (Xinde Li et al., „Automatic welding seam tracking and identification“, IEEE Transactions on industrial electronics, 64(9):7261-7271, 2017). Solche Verfahren, die in der Regel auf selbst erstellten Algorithmen unter Verwendung von Oberflächenmustern beruhen, werden jedoch häufig bei Fügestellen mit relativ schmalen Spalten oder bei zu schweißenden Komponenten und Materialien problematisch, die einen relativ schwachen Kontrast zueinander oder zu einem Hintergrund aufweisen. Um den Einfluss von Hintergrundartefakten reduzieren und die Konzentration auf die Schweißnaht unterstützen zu können, wurde vorgeschlagen (Yanbiao Zou und Weilin Zhou in „Automatic seam detection and tracking system for robots based on laser vision“, Mechatronics, 63:102261, 2019; Mitchell Dinham et al. in „Experiments on automatic seam detection for a mig welding robot“, International Conference on Artificial Intelligence and Computational intelligence, pp. 390-397, Springer, 2011; Andres Ryberg et al. in „Stereo vision for path correction in off-line programmed robot welding“, 2010 IEEE International Conference on Industrial Technology, pp. 170-1705, IEEE, 2010), nur gewisse Regionen von Interesse als Eingabe zu berücksichtigen. Die vorgeschlagenen Verfahren sind jedoch immer noch hinsichtlich der erzielbaren Auflösung und Präzision begrenzt.Several other approaches to providing a high degree of automation in seam detection processes using visual input data such as images are based on structured light methods based on optical triangulation, described e.g. B. by Yanbiao Zou and Tao Chen in "Laser vision seam tracking system based on image processing and continuous convolution operator tracker", Optics and Lasers in Engineering, 105: 141-149, 2018. Similar methods for detecting and controlling the Movement of a welding torch in real time (Xinde Li et al., "Automatic welding seam tracking and identification", IEEE Transactions on industrial electronics, 64(9):7261-7271, 2017). However, such methods, which are usually based on self-created algorithms using surface patterns, often become problematic in the case of joints with relatively narrow gaps or with components and materials to be welded that have a relatively weak contrast to one another or to a background. In order to be able to reduce the influence of background artifacts and support concentration on the weld seam, it has been suggested (Yanbiao Zou and Weilin Zhou in "Automatic seam detection and tracking system for robots based on laser vision", Mechatronics, 63:102261, 2019; Mitchell Dinham et al. in "Experiments on automatic seam detection for a mig welding robot", International Conference on Artificial Intelligence and Computational intelligence, pp. 390-397, Springer, 2011; Andres Ryberg et al. in "Stereo vision for path correction in off-line programmed robot welding", 2010 IEEE International Conference on Industrial Technology, pp. 170-1705, IEEE, 2010) to consider only certain regions of interest as input. However, the proposed methods are still limited in terms of the resolution and precision that can be achieved.

Daher besteht die der vorliegenden Erfindung zugrunde liegende objektive technische Aufgabe darin, eine verbesserte Möglichkeit zur Kantenerkennung in einem Schweißprozess bereitzustellen.Therefore, the objective technical task on which the present invention is based is to provide an improved possibility for edge detection in a welding process.

Die Aufgabe wird durch das Verfahren nach Anspruch 1, das Datenverarbeitungssystem nach Anspruch 10, die Schweißeinrichtung nach Anspruch 11, das Computerprogramm nach Anspruch 12 und das computerlesbare Medium nach Anspruch 13 gelöst.The object is achieved by the method according to claim 1, the data processing system according to claim 10, the welding device according to claim 11, the computer program according to claim 12 and the computer-readable medium according to claim 13.

In Bezug auf das Verfahren wird die objektive technische Aufgabe durch ein computerimplementiertes Verfahren zum Erkennen einer Schweißnahtposition in einem Schweißprozess, insbesondere einem Laserschweißprozess, gelöst, wobei das Verfahren die Schritte umfasst: Empfangen von visuellen Eingabedaten einer Schweißkante, Bereitstellen der visuellen Eingabedaten als eine Eingabe in ein neuronales Netz, das konfiguriert ist, um die Schweißnahtposition basierend auf den visuellen Eingabedaten zu bestimmen, und Ausgeben der Schweißnahtposition.With regard to the method, the objective technical problem is solved by a computer-implemented method for detecting a weld seam position in a welding process, in particular a laser welding process, the method comprising the steps of: receiving visual input data of a weld edge, providing the visual input data as an input in a neural network configured to determine the weld location based on the visual input data and outputting the weld location.

Neuronale Netze (NN), welche zum Gebiet des Maschinenlernens gehören, basieren auf einer Vielzahl von miteinander verbundenen Einheiten, die als künstliche Neuronen bezeichnet werden, welche typischerweise in verschiedenen Schichten organisiert sind und in der Lage sind, komplexe und nichtlineare Beziehungen zu erkennen. In Bezug auf die vorliegende Erfindung führt die Verwendung eines neuronalen Netzes zum automatischen Erkennen einer Schweißnahtposition in einem Schweißprozess zu einer sehr hohen Robustheit und hohen Auflösung. Das Erreichen der erforderlichen Auflösung, insbesondere bis auf eine Pixel-Ebene oder einen Millimeter-Bereich, insbesondere Submillimeter-Bereich, ohne dass menschliches Eingreifen erforderlich ist, kann sichergestellt werden. Eine solche hohe Präzision ist im Stand der Technik nicht auf vollständig automatisierte Weise erreichbar.Neural networks (NN), which belong to the field of machine learning, are based on a multitude of interconnected units called artificial neurons, which are typically organized in different layers and are able to recognize complex and non-linear relationships. In relation to the present invention, using a neural network to automatically detect a weld seam position in a welding process results in very high robustness and high resolution. It can be ensured that the required resolution is achieved, in particular down to a pixel level or in a millimeter range, in particular in the sub-millimeter range, without the need for human intervention. Such high precision cannot be achieved in a fully automated manner in the prior art.

Somit stellt die vorliegende Erfindung eine überlegene Präzision und einen vollständigen Automatisierungsgrad der Schweißnahterkennung bereit. Die hohe Präzision gewährleistet auch eine korrekte und präzise Positionierung einer Schweißzone, was für eine hohe Qualität des Schweißens unabdingbar ist.Thus, the present invention provides superior precision and a full automation level of weld seam detection. The high precision also ensures correct and precise positioning of a welding zone, which is essential for high quality welding.

Die visuellen Eingabedaten können z. B. ein Bild, eine Reihe von Bildern oder ein Video sein. Die Eingabedaten können mittels einer Vorrichtung zur visuellen Messung, z. B. einer Kamera, gesammelt werden. Es ist entweder möglich, die gesamten Eingabedaten, z. B. ein Bild, als Eingabe zu verwenden oder eine bestimmte Region von Interesse auszuschneiden, die den Schweißnahtbereich vor dem Verarbeiten der Eingabedaten isoliert. Die Eingabedaten können auch einem beliebigen Datenverarbeitungsmittel unterzogen werden, z. B. zum Abschneiden von Schatten und Blendeffekten im Hintergrund, bevor die visuellen Eingabedaten dem neuronalen Netz als Eingabe bereitgestellt werden.The visual input data can e.g. B. an image, a series of images or a video. The input data can be measured by a visual measurement device, e.g. B. a camera, are collected. It is either possible to use the entire input data, e.g. an image, as input or to clip a specific region of interest that isolates the weld area prior to processing the input data. The input data can also be subjected to any data processing means, e.g. B. to clip shadows and glare in the background before the visual input data is provided as input to the neural network.

Das neuronale Netz wird vorzugsweise trainiert, bevor es in dem Verfahren gemäß der vorliegenden Erfindung eingesetzt wird. In diesem Fall wird ein trainiertes neuronales Netz für das Verfahren eingesetzt. Das Training erfolgt vorzugsweise durch einen individuell erstellten und/oder markierten Datensatz von Eingabedaten von Schweißnähten, insbesondere in Bezug auf die jeweilige bestimmte Schweißeinrichtung, die zum Schweißen verwendet wird.The neural network is preferably trained before being used in the method according to the present invention. In this case, a trained neural network is used for the method. The training is preferably carried out using an individually created and/or marked data set of input data from weld seams, in particular in relation to the specific welding device used for welding.

In einer Ausführungsform ist das neuronale Netz ein neuronales Faltungsnetz (Convolutional Neural Network, CNN). CNNs haben den Vorteil, dass im Vergleich zu anderen Klassifizierungsalgorithmen weniger Vorverarbeitung der Eingabedaten erforderlich ist. CNNs sind in der Lage, räumliche und zeitliche Abhängigkeiten in einem Bild zu erfassen und somit die Präzision des Verfahrens gemäß der vorliegenden Erfindung zu verbessern.In one embodiment, the neural network is a convolutional neural network (CNN). CNNs have the advantage of requiring less pre-processing of the input data compared to other classification algorithms. CNNs are able to detect spatial and temporal dependencies in an image and thus improve the precision of the method according to the present invention.

Ferner ist es von Vorteil, wenn das Convolutional Neural Network ein, insbesondere modifiziertes, U-Net Convolutional Neural Network ist. Diese wurden von Olaf Ronneberger et al., in „U-net: Convolutional networks for biomedical image segmentation“, CoRR, abs/1505.04597, 2015, vorgeschlagen. Im Vergleich zu anderen Faltungsnetzen können U-Net Faltungsnetze auf Basis von kleineren Trainingsdatensätzen arbeiten, die dennoch eine hoch präzise Segmentierung liefern. Während U-Net-Faltungsnetze ursprünglich hauptsächlich für biomedizinische Anwendungen entwickelt wurden, ist eine Erkenntnis der vorliegenden Erfindung, dass durch Modifikation einer solchen Architektur eine erhöhte Präzision im Hinblick auf die automatische Nahtpositionserkennung erreicht werden kann.Furthermore, it is advantageous if the convolutional neural network is a U-Net convolutional neural network, in particular a modified one. These were proposed by Olaf Ronneberger et al., in "U-net: Convolutional networks for biomedical image segmentation", CoRR, abs/1505.04597, 2015. Compared to other convolutional networks, U-Net convolutional networks can work on the basis of smaller training data sets, which still provide highly precise segmentation. While U-Net convolutional networks were originally developed primarily for biomedical applications, it is a finding of the present invention that increased precision with regard to automatic suture position detection can be achieved by modifying such an architecture.

In einer bevorzugten Ausführungsform umfasst das Verfahrengemäß der vorliegenden Erfindung den Schritt des Bereitstellens der visuellen Eingabedaten an ein Vorverarbeitungsmodul, das einen Binärklassifizierer einschließt, der konfiguriert ist, um die visuellen Eingabedaten basierend auf mindestens einem vorgebbaren Kriterium zu klassifizieren, das sich auf einen Qualitätsparameter der visuellen Eingabedaten bezieht. Wenn die visuellen Eingabedaten als Bilder bereitgestellt werden, kann der Qualitätsparameter z. B. ein Bildqualitätsparameter sein.In a preferred embodiment the method according to the present invention comprises Invention invention the step of providing the visual input data to a pre-processing module that includes a binary classifier configured to classify the visual input data based on at least one predeterminable criterion related to a quality parameter of the visual input data. If the visual input data is provided as images, the quality parameter can be e.g. B. be an image quality parameter.

Es ist von Vorteil, wenn sich das vorgebbare Kriterium auf eine Klarheit der visuellen Eingabedaten, das Vorhandensein von Beleuchtungsartefakten oder das Vorhandensein einer Fügestelle in den Eingabedaten bezieht.It is advantageous if the criterion that can be specified relates to the clarity of the visual input data, the presence of lighting artifacts or the presence of a joint in the input data.

Der Klassifizierer kann entweder auf einem beliebigen Standarddatenverarbeitungsalgorithmus basieren, z. B. einem Filteralgorithmus, z. B. in Bezug auf die Helligkeit der visuellen Eingabedaten, oder auch auf beliebigen anderen Filter- oder Verarbeitungsmitteln. Der Klassifizierer kann jedoch auch als ein neuronales Netz, insbesondere ein trainiertes neuronales Netz, oder als ein Teil einer neuronalen Netzarchitektur ausgeführt sein, wobei der Klassifizierer dazu konfiguriert ist, die visuellen Eingabedaten basierend auf dem vorgebbaren Kriterium zu klassifizieren. Nur visuelle Eingabedaten, die das vorgebbare Kriterium erfüllen, werden als Eingabe zu dem neuronalen Netz weitergeleitet, das konfiguriert ist, um die Schweißnahtposition zu bestimmen.The classifier can either be based on any standard data processing algorithm, e.g. B. a filter algorithm, z. B. in relation to the brightness of the visual input data, or also on any other filtering or processing means. However, the classifier can also be designed as a neural network, in particular a trained neural network, or as part of a neural network architecture, with the classifier being configured to classify the visual input data based on the predefinable criterion. Only visual input data that meets the specifiable criterion is passed as input to the neural network configured to determine weld location.

Das Vorverarbeitungsmodul dient zum weiteren Verbessern der Präzision und Genauigkeit der Schweißnahtpositionserkennung, da nur visuelle Eingabedaten einer ausreichenden Qualität zu dem neuronalen Netz weitergeleitet werden, das konfiguriert ist, um die Position der Schweißnaht zu bestimmen.The pre-processing module is used to further improve the precision and accuracy of the weld location detection since only visual input data of sufficient quality is passed to the neural network configured to determine the location of the weld.

Darüber hinaus wird die Sicherheit des Prozesses der Erkennung der Schweißnahtposition erhöht, da in einer unbekannten Situation, z. B. wenn die Fügestelle in den visuellen Eingabedaten nicht eindeutig erkannt werden kann, die Durchführung des Schweißprozesses verhindert werden kann.In addition, the safety of the weld position detection process is increased, because in an unknown situation, e.g. B. if the joint in the visual input data can not be clearly identified, the implementation of the welding process can be prevented.

Der Klassifizierer wird grundsätzlich trainiert, normale und abnormale Eingabedaten zu erkennen, indem er visuelle Eingabedaten, die unter das mindestens eine vorgebbare Kriterium fallen, von solchen Daten unterscheidet, die das Kriterium nicht erfüllen. Alle Eingabedaten, die von den, insbesondere vorgebbaren, normalen Bedingungen abweichen, die durch das Kriterium definiert werden, werden als abnormal gekennzeichnet und nicht als Eingabe zu dem neuronalen Netz weitergeleitet, das konfiguriert ist, um die Position der Schweißnaht zu bestimmen.In principle, the classifier is trained to recognize normal and abnormal input data by distinguishing visual input data that falls under the at least one specifiable criterion from data that does not meet the criterion. Any input data that deviates from the, in particular, specifiable, normal conditions defined by the criterion are marked as abnormal and are not passed as input to the neural network that is configured to determine the position of the weld.

Es ist auch von Vorteil, dass das Vorverarbeitungsmodul ferner einen Warnoperator einschließt, der konfiguriert ist, um eine Warnung auszugeben, falls visuelle Eingabedaten das vorgebbare Kriterium nicht erfüllen. Wenn das Kriterium nicht erfüllt wird, kann z. B. Unterstützung durch einen Bediener der Schweißeinrichtung, für die das Verfahren der vorliegenden Erfindung verwendet wird, eingeholt werden, was die Sicherheit des Schweißprozesses weiter erhöht. In solchen Fällen kann eine Warnung, insbesondere ein visuelles und/oder akustisches Signal, ausgegeben werden und/oder der Schweißprozess kann angehalten werden, bis der Prozess von dem Bediener überprüft worden ist.It is also advantageous that the pre-processing module further includes a warning operator configured to issue a warning if visual input data does not meet the predeterminable criterion. If the criterion is not met, e.g. B. Assistance can be obtained from an operator of the welding equipment for which the method of the present invention is used, which further increases the safety of the welding process. In such cases, a warning, in particular a visual and/or acoustic signal, can be issued and/or the welding process can be stopped until the process has been checked by the operator.

In einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung wird die Schweißnahtposition in Form einer mathematischen Funktion ausgegeben, welche die Schweißnaht darstellt, insbesondere durch Ausgeben mindestens eines Parameters, der die mathematische Funktion kennzeichnet. Die mathematische Funktion kann im Voraus spezifiziert sein und für die verwendete Schweißeinrichtung übernommen werden. Zum Beispiel gibt es Schweißmaschinen, bei denen die Werkstücke horizontal und/oder vertikal bewegt werden können, um die Schweißnaht entlang der Schweißkante herzustellen, aber auch Maschinen, bei denen das Schweißsystem bewegt wird, während die Werkstücke in einer festen Position bleiben, oder bei denen sowohl die Werkstücke als auch das Schweißsystem beweglich angeordnet sind. Bei jedem Typ müssen unterschiedliche mathematische Funktionen zum Definieren oder Beschreiben der Schweißnahtposition ausgewählt werden.In a further preferred embodiment of the present invention, the weld seam position is output in the form of a mathematical function which represents the weld seam, in particular by outputting at least one parameter which characterizes the mathematical function. The mathematical function can be specified in advance and adopted for the welding equipment used. For example, there are welding machines where the workpieces can be moved horizontally and/or vertically to make the weld along the weld edge, but also machines where the welding system is moved while the workpieces remain in a fixed position, or where both the workpieces and the welding system are movably arranged. Each type requires different mathematical functions to be selected to define or describe the weld location.

Die mathematische Funktion kann z. B. eine beliebige, insbesondere stetige, Funktion sein. Es ist jedoch von Vorteil, wenn die mathematische Funktion eine Linie ist, insbesondere eine vertikale oder horizontale Linie. Dies ermöglicht eine Kennzeichnung der Funktion durch Ausgeben eines oder zweier Parameter und stellt somit eine eindeutige Ausgabe der Schweißnahtposition bereit.The mathematical function can e.g. B. any, especially continuous, function. However, it is an advantage if the mathematical function is a line, especially a vertical or horizontal line. This allows the function to be identified by outputting one or two parameters, thus providing an unambiguous output of the weld seam position.

Eine weitere bevorzugte Ausführungsform schließt ein, dass die Schweißnahtposition in Form einer Kantenmaske ausgegeben wird. Die Kantenmaske definiert die Schweißnahtposition und kann mit der mathematischen Funktion in Beziehung stehen, welche die Schweißnahtposition beschreibt. Zum Beispiel kann die Schweißnahtposition als eine Grenze zwischen zwei unterschiedlichen Bereichen der Kantenmaske definiert sein.Another preferred embodiment includes the weld location being output in the form of an edge mask. The edge mask defines the weld location and can be related to the mathematical function that describes the weld location. For example, the weld position can be defined as a boundary between two different areas of the edge mask.

Die technische Aufgabe wird auch durch ein Datenverarbeitungssystem gelöst, welches Mittel zum Ausführen des Verfahrens gemäß der vorliegenden Erfindung umfasst.The technical problem is also solved by a data processing system which means for carrying out the method according to the present invention.

Ferner wird das der vorliegenden Erfindung zugrunde liegende objektive technische Problem durch eine Schweißeinrichtung gelöst, insbesondere eine Laserschweißeinrichtung, die das Datenverarbeitungssystem gemäß der vorliegenden Erfindung umfasst.Furthermore, the objective technical problem on which the present invention is based is solved by a welding device, in particular a laser welding device, which comprises the data processing system according to the present invention.

Die objektive technische Aufgabe wird auch durch ein Computerprogramm gelöst, das Anweisungen umfasst, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, die Schritte des Verfahrens gemäß der vorliegenden Erfindung durchzuführen, und schließlich durch ein computerlesbares Medium, das Anweisungen umfasst, die, wenn sie von einem Computer ausgeführt werden, den Computer veranlassen, das Verfahren gemäß der vorliegenden Erfindung auszuführen.The objective technical problem is also solved by a computer program comprising instructions which, when the program is executed by a computer, cause the computer to perform the steps of the method according to the present invention, and finally by a computer-readable medium comprising instructions , which when executed by a computer cause the computer to execute the method according to the present invention.

Es sei darauf hingewiesen, dass die in Verbindung mit dem Verfahren beschriebenen Ausführungsformen entsprechend auch für das Datenverarbeitungssystem, die Schweißeinrichtung, das Computerprogramm und das computerlesbare Medium gelten.It should be pointed out that the embodiments described in connection with the method also apply correspondingly to the data processing system, the welding device, the computer program and the computer-readable medium.

Die Erfindung wird in Bezug auf die folgenden Figuren näher erläutert.

  • 1 veranschaulicht die Vorteile einer Erkennung der Schweißnahtposition mit Genauigkeit auf Pixel-Ebene,
  • 2 zeigt ein Blockdiagramm einer ersten bevorzugten Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung,
  • 3 zeigt ein Blockdiagramm einer zweiten bevorzugten Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung einschließlich eines Vorverarbeitungsmoduls, und
  • 4 zeigt ein Schema einer Schweißeinrichtung gemäß der vorliegenden Erfindung.
The invention is explained in more detail with reference to the following figures.
  • 1 illustrates the benefits of detecting weld location with pixel-level accuracy,
  • 2 shows a block diagram of a first preferred embodiment of the method according to the present invention,
  • 3 shows a block diagram of a second preferred embodiment of the method according to the present invention including a pre-processing module, and
  • 4 shows a schematic of a welding device according to the present invention.

In den Figuren sind identische Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, identical elements are provided with the same reference numbers.

1 veranschaulicht die Wichtigkeit einer hoch genauen und präzisen Schweißnahterkennung. Zwei Komponenten 2 und 3, insbesondere Metallkomponenten, sind entlang der Schweißnaht 5 zu verschweißen. Wird die Schweißnahtposition 1 an der Schweißnaht 5 korrekt und präzise erkannt (1a), so wird auch die Schweißzone 4 genau entlang der Schweißkante 5 bereitgestellt. Das Ergebnis ist eine qualitativ hochwertige und stabile Schweißnaht. Bereits ein sehr kleiner Versatz (z. B. ein Versatz von weniger als einem Millimeter) zwischen der erkannten Nahtposition 1 und der Schweißnahtposition 5 führt zu einer stark reduzierten Qualität der Schweißverbindung zwischen den zwei Komponenten 2 und 3, wie in 1b veranschaulicht, da die Schweißzone 4, in der die Schweißverbindung hergestellt ist, nicht mehr an der Position der Schweißkante zentriert ist. Ein größerer Versatz, auch wenn immer noch im Millimeterbereich, kann auch verhindern, dass überhaupt eine Fügestelle zwischen den zwei Komponenten 2 und 3 erzeugt wird, wie in 1c gezeigt. Somit ist es von größter Wichtigkeit, die Schweißnahtposition 1 genau und präzise zu erkennen, bevor die zu verschweißenden Komponenten 2 und 3 zusammengefügt werden. 1 illustrates the importance of highly accurate and precise weld seam detection. Two components 2 and 3, in particular metal components, are to be welded along the weld seam 5. Is weld seam position 1 correctly and precisely recognized at weld seam 5 ( 1a) , so the welding zone 4 is provided exactly along the welding edge 5. The result is a high-quality and stable weld. Even a very small offset (e.g. an offset of less than one millimeter) between the detected seam position 1 and the weld seam position 5 leads to a greatly reduced quality of the welded joint between the two components 2 and 3, as in 1b illustrated because the weld zone 4 in which the weld joint is made is no longer centered on the position of the weld edge. A larger offset, even if still in the millimeter range, can also prevent that a joint is created at all between the two components 2 and 3, as in 1c shown. Thus, it is of the utmost importance to accurately and precisely detect the weld seam position 1 before the components 2 and 3 to be welded are assembled.

Eine solche Schweißnahtpositionserkennung kann automatisch und präzise mittels des Verfahrens gemäß der vorliegenden Erfindung erreicht werden. In 2 wird eine erste Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung gezeigt. Visuelle Eingabedaten 6 werden beispielhaft in Form eines Bildes der Fügestelle bereitgestellt, d. h. hier ein Bild der Schweißkante der zwei zu verschweißenden Metallkomponenten 2 und 3. Die visuellen Eingabedaten 6 können von jedem Verarbeitungsmittel [nicht gezeigt] verarbeitet werden, bevor die Eingabedaten 6 als Eingabe für das neuronale Netz 8 des Schweißnahtpositionserkennungsblocks 7 verwendet werden, der z. B. ein Computerprogramm sein kann oder Teil eines Datenverarbeitungssystems 9 zum Ausführen des Verfahrens sein kann. Das Verarbeitungsmittel kann das Auswählen einer Region von Interesse in den Eingabedaten 6 oder das Abschneiden von Schatten und Blendeffekten im Hintergrund einschließen.Such a weld position detection can be achieved automatically and precisely by the method according to the present invention. In 2 a first embodiment of the method according to the present invention is shown. Visual input data 6 is provided by way of example in the form of an image of the joint, ie here an image of the weld edge of the two metal components 2 and 3 to be welded. The visual input data 6 can be processed by any processing means [not shown] before the input data 6 is used as input for the neural network 8 of the weld seam position detection block 7 can be used, which e.g. B. can be a computer program or can be part of a data processing system 9 for carrying out the method. The processing means may include selecting a region of interest in the input data 6 or cropping shadows and glare in the background.

Um die Schweißnahtposition 5 zu erkennen, werden die Eingabedaten 6 als Eingabe an das neuronale Netz 8 bereitgestellt, das konfiguriert ist, um die Schweißnahtposition 5 basierend auf den visuellen Eingabedaten 6 zu bestimmen. Es gibt unterschiedliche Möglichkeiten, die Schweißnahtposition 5 auszugeben. Optional kann die Schweißnahtposition 5 in Form einer Kantenmaske 10a ausgegeben werden, die in dem optionalen Block 10 erzeugt wird, wie im ausgegebenen 12 Bild der Schweißnaht der zwei Komponenten 2 und 3 veranschaulicht. Die Schweißnahtposition 5 kann aber auch in Form einer mathematischen Funktion ausgegeben werden, die vorzugsweise durch mindestens einen relevanten Parameter definiert ist, der die mathematische Funktion der Schweißnahtposition 5 beschreibt. Im vorliegenden Fall ist die Schweißnahtposition 5 eine mathematische Funktion in Form einer horizontalen Linie 11, die durch einen einzelnen Parameterabschnitt definiert ist, wie auch im ausgegebenen 12 Bild der Schweißnaht der zwei Komponenten 2 und 3 veranschaulicht.In order to recognize the weld position 5 the input data 6 is provided as input to the neural network 8 which is configured to determine the weld position 5 based on the visual input data 6 . There are different ways to output weld position 5. Optionally, the weld location 5 can be output in the form of an edge mask 10a generated in the optional block 10, as illustrated in the output 12 image of the weld of the two components 2 and 3. However, the weld seam position 5 can also be output in the form of a mathematical function, which is preferably defined by at least one relevant parameter that describes the mathematical function of the weld seam position 5 . In the present case, the weld position 5 is a mathematical function in the form of a horizontal line 11 defined by a single parameter bin, as also illustrated in the output 12 image of the weld of the two components 2 and 3.

Vorzugsweise ist das neuronale Netz 8 in Form eines modifizierten U-Net Convolutional Network ausgeführt. Unter der Annahme, dass eine binäre Kantenmaske 10 als Ausgang bereitgestellt wird, wie es für das in 2 und 3 gezeigte Beispiel der Fall ist, und eine Architektur bereitgestellt wird, die in diese eindimensionale Ausgabe umgewandelt wird, kann ein pixelweiser binärer Kreuz-Entropie-Verlust LED, wobei sich ED auf die Kantenerkennung bezieht, verwendet werden, um die U-Net-Architektur zu trainieren, wobei der binäre Kreuz-Entropie-Verlust definiert werden kann als L E D = 1 W i 1 w y i  log ( p ( y i ) ) + ( 1 y i ) log ( p ( 1 y i ) ) ;

Figure DE102021117714A1_0001
wobei der Verlust für jedes Pixel W berechnet wird, und wobei yi die Klassenbezeichnung ist und p(yi) die Wahrscheinlichkeit der vorhergesagten Klasse ist.The neural network 8 is preferably implemented in the form of a modified U-Net convolutional network. Assuming that a binary edge mask 10 is provided as an output, as is the case for the in 2 and 3 example shown, and providing an architecture that converts to this one-dimensional output, a pixel-by-pixel binary cross-entropy loss L ED , where ED refers to edge detection, can be used to describe the U-Net architecture to train, where the binary cross-entropy loss can be defined as L E D = 1 W i 1 w y i log ( p ( y i ) ) + ( 1 y i ) log ( p ( 1 y i ) ) ;
Figure DE102021117714A1_0001
where the loss is calculated for each pixel W, and where y i is the class label and p(y i ) is the probability of the predicted class.

In einer anderen bevorzugten Ausführungsform werden die Eingabedaten 6 zuerst einem Vorverarbeitungsmodul 13 bereitgestellt, das einen Binärklassifizierer 14 einschließt, um die visuellen Eingabedaten 6 basierend auf mindestens einem vorgebbaren Kriterium zu klassifizieren, z. B. Aufteilen der Eingabedaten 6 in normale und abnormale Bilder basierend auf mindestens einem vorgebbaren Kriterium, das sich auf einen Qualitätsparameter der visuellen Eingabedaten 6 bezieht. Für das in 3 gezeigte Beispiel schließt das Vorverarbeitungsmodul ferner einen Warnoperator 15 ein, der konfiguriert ist, um eine Warnung auszugeben, falls visuelle Eingabedaten das vorgebbare Kriterium nicht erfüllen. Der Warnoperator 15 kann z. B. so ausgeführt sein, dass er einen Alarm bereitstellt, der den Schweißprozess stoppt. Wenn andererseits das vorgebbare Kriterium erfüllt ist, werden die Eingabedaten 6 in Block 7 übertragen und als Eingabe in das neuronale Netz 8 bereitgestellt.In another preferred embodiment, the input data 6 is first provided to a pre-processing module 13, which includes a binary classifier 14 to classify the visual input data 6 based on at least one predeterminable criterion, e.g. B. Dividing the input data 6 into normal and abnormal images based on at least one predefinable criterion that relates to a quality parameter of the visual input data 6. for the inside 3 In the example shown, the pre-processing module further includes a warning operator 15 configured to issue a warning if visual input data does not meet the predeterminable criterion. The warning operator 15 can e.g. B. be designed to provide an alarm that stops the welding process. On the other hand, if the predefinable criterion is met, the input data 6 are transmitted in block 7 and made available as input to the neural network 8 .

Der Binärklassifizierer 14 kann in Form eines beliebigen standardmäßigen Datenverarbeitungsalgorithmus, z. B. eines Filteralgorithmus, ausgeführt sein. Er kann jedoch auch in Form eines neuronalen Netzes ausgeführt sein, das zusammen mit oder getrennt von dem neuronalen Netz 8 trainiert werden kann. Für das Beispiel eines binären Klassifizierers 14 in Form eines neuronalen Netzes dienen die visuellen Eingabedaten 6 als Eingabe, und die Ausgabe kann eine Kennzeichnung sein, die z. B. entweder eine „1“ (normales Bild) oder eine „0“ (abnormales Bild) angibt. Abnormal kann den Fällen entsprechen, in denen die Eingabedaten 6 keine Klarheit darüber geben, ob eine Schweißnaht bereits in den Eingabedaten 6 vorhanden ist. Ein binärer Kreuz-Entropie-Verlust LEC, wobei sich EC auf die Kantenklassifizierung bezieht, die verwendet wird, um den Binärklassifizierer basierend auf N Trainingsbildern zu trainieren, kann dann berechnet werden als L E C = 1 N i = 1 N y i  log ( p ( y i ) ) + ( 1 y i ) log ( p ( 1 y i ) ) ,

Figure DE102021117714A1_0002
wobei yi die Klassenkennzeichnung ist (hier: „1“ oder „0“) und p(yi) die Wahrscheinlichkeit der vorhergesagten Klasse ist. Die Ausgabe des Vorverarbeitungsmoduls 13 wird dann angegeben als L a b e l i = E C ( I i ) ,
Figure DE102021117714A1_0003
wobei EC das Kantenklassifizierungsmodul 14 ist, Ii das i-te Bild ist und Labeli die Kennzeichnung für normal/abnormal oder das entsprechende i-te Eingabebild ist.Binary classifier 14 may take the form of any standard data processing algorithm, e.g. B. a filter algorithm, be executed. However, it can also be implemented in the form of a neural network, which can be trained together with or separately from the neural network 8 . For the example of a binary neural network classifier 14, the visual input data 6 serves as input and the output may be a label, e.g. B. indicates either a "1" (normal image) or a "0" (abnormal image). Abnormal may correspond to cases where the input data 6 does not provide clarity as to whether a weld already exists in the input data 6 . A binary cross entropy loss L EC , where EC refers to the edge classification used to train the binary classifier based on N training images, can then be computed as L E C = 1 N i = 1 N y i log ( p ( y i ) ) + ( 1 y i ) log ( p ( 1 y i ) ) ,
Figure DE102021117714A1_0002
where y i is the class identifier (here: "1" or "0") and p(y i ) is the probability of the predicted class. The output of the pre-processing module 13 is then given as L a b e l i = E C ( I i ) ,
Figure DE102021117714A1_0003
where EC is the edge classification module 14, I i is the ith image, and Labeli is the normal/abnormal label or the corresponding ith input image.

Bei Verwendung eines Vorverarbeitungsmoduls 13 arbeitet der Schweißnahtpositionserkennungsblock 7 nur dann, wenn das Vorverarbeitungsmodul 13 eine Kennzeichnung „1“ für die entsprechenden visuellen Eingabedaten 1 ausgibt, z. B. eine Kennzeichnung, die dem Erfüllen des vorgebbaren Kriteriums entspricht. Die Ausgabe von Block 7 und Modul 13 kann geschrieben werden als M a s k i = { E D ( I i ) , f a l l s   L a b e l i = = 1 0, a n d e r e n f a l l s , }

Figure DE102021117714A1_0004
When using a pre-processing module 13, the weld position detection block 7 only works if the pre-processing module 13 outputs an identification "1" for the corresponding visual input data 1, e.g. B. a label that corresponds to the fulfillment of the predetermined criterion. The output of block 7 and module 13 can be written as M a s k i = { E D ( I i ) , f a l l s L a b e l i = = 1 0, a n i.e e right e n f a l l s , }
Figure DE102021117714A1_0004

Die zusätzliche Verwendung des Vorverarbeitungsmoduls 13 erhöht die Erkennungsgenauigkeit weiter. Das Vorverarbeitungsmodul stellt sicher, dass störende Eingabedaten 6, die z. B. durch eine Fehlplatzierung von Teilen, Unschärfen, Maschinenfehlern oder dergleichen verursacht werden, herausgefiltert werden.The additional use of the pre-processing module 13 further increases the recognition accuracy. The pre-processing module ensures that interfering input data 6, e.g. B. caused by a misplacement of parts, blurring, machine errors or the like, are filtered out.

4 zeigt schließlich eine schematische Zeichnung einer Schweißeinrichtung 16, die für das vorliegende Beispiel eine Laserschweißeinrichtung ist. Die Einrichtung 16 schließt ein optisches Messsystem in Form einer Kamera zum Erzeugen der visuellen Eingabedaten 6 der Fügestelle der zwei auf einer Werkstückplattform befindlichen Komponenten 2 und 3 ein, die um eine Mittelachse gedreht werden kann. Die Einrichtung 16 schließt ferner ein Schweißsystem, hier in Form eines Lasersystems 18 ein, bei dem ein Laser zum Herstellen von Schweißverbindungen der Werkstücke 2 und 3 verwendet wird. Das Lasersystem ist so angeordnet, dass es horizontal und vertikal bewegt und um eine Mittelachse gedreht werden kann, um einer beliebigen zu verschweißenden Nahtposition zu folgen. Die Schweißeinrichtung 16 kann ferner einen Computer oder ein beliebiges Datenverarbeitungssystem umfassen, das ausgebildet ist, um eine Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung auszuführen. 4 finally shows a schematic drawing of a welding device 16, which is a laser welding device for the present example. The device 16 includes an optical measurement system in the form of a camera for generating the visual input data 6 of the joint of the two components 2 and 3 located on a workpiece platform which can be rotated about a central axis. The device 16 further includes a welding system, here in the form of a laser system 18, in which a laser is used to produce welded joints of the workpieces 2 and 3. The laser system is arranged to be moved horizontally and vertically and rotated about a central axis to follow any seam position to be welded. The welder 16 may further include a computer or any data processing system configured to carry out an embodiment of the method according to the present invention.

BezugszeichenlisteReference List

11
erkannte Schweißnahtpositionrecognized weld seam position
22
zu verschweißende Komponentecomponent to be welded
33
zu verschweißende Komponentecomponent to be welded
44
Schweißzonesweat zone
55
Schweißnahtpositionweld position
66
visuelle Eingabedatenvisual input data
77
SchweißnahtpositionserkennungsblockWeld position detection block
88th
neuronales Netz, das konfiguriert ist, um die Schweißnahtposition zu bestimmenneural network configured to determine weld location
99
Datenverarbeitungssystemdata processing system
1010
Block zum Erzeugen der Kantenmaske 10aBlock for generating the edge mask 10a
1111
mathematische Funktion, insb. in Form einer Liniemathematical function, especially in the form of a line
1212
Ausgabebildoutput image
1313
Vorverarbeitungsmodulpreprocessing module
1414
Binärklassifiziererbinary classifier
1515
Warnoperatorwarning operator
1616
Schweißeinrichtungwelding device
1717
Kameracamera
1818
Lasersystemlaser system
1919
Werkstückplattformworkpiece platform

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • EP 2792447 B1 [0006]EP 2792447 B1 [0006]

Claims (13)

Computerimplementiertes Verfahren zum Erkennen einer Schweißnahtposition (5) in einem Schweißprozess, insbesondere einem Laserschweißprozess, wobei das Verfahren die Schritte umfasst: Empfangen von visuellen Eingabedaten (6) einer Schweißkante; Bereitstellen der visuellen Eingabedaten (6) als Eingabe an ein neuronales Netz (8), das konfiguriert ist, um die Schweißnahtposition (5) basierend auf den visuellen Eingabedaten (6) zu bestimmen; und Ausgeben der Schweißnahtposition (5).Computer-implemented method for detecting a weld seam position (5) in a welding process, in particular a laser welding process, the method comprising the steps: receiving visual input data (6) of a weld edge; providing the visual input data (6) as input to a neural network (8), configured to determine the weld location (5) based on the visual input data (6); and Output of the weld seam position (5). Computerimplementiertes Verfahren nach Anspruch 1, wobei das neuronale Netz (8) ein neuronales Faltungsnetz (Convolutional Neural Network) ist.Computer-implemented method claim 1 , where the neural network (8) is a convolutional neural network. Computerimplementiertes Verfahren nach Anspruch 2, wobei das neuronale Faltungsnetz ein, insbesondere modifiziertes, U-Net Convolutional Neural Network ist.Computer-implemented method claim 2 , wherein the neural convolutional network is a, in particular modified, U-Net Convolutional Neural Network. Computerimplementiertes Verfahren nach einem der vorstehenden Ansprüche, umfassend den Schritt des Bereitstellens der visuellen Eingabedaten an ein Vorverarbeitungsmodul (13), das einen Binärklassifizierer (14) einschließt, der konfiguriert ist, um die visuellen Eingabedaten (6) basierend auf mindestens einem vorgebbaren Kriterium, das sich auf einen Qualitätsparameter der visuellen Eingabedaten (6) bezieht, zu klassifizieren.Computer-implemented method according to one of the preceding claims, comprising the step of providing the visual input data to a pre-processing module (13) which includes a binary classifier (14) which is configured to classify the visual input data (6) based on at least one predeterminable criterion that refers to a quality parameter of the visual input data (6). Computerimplementiertes Verfahren nach Anspruch 4, wobei sich das vorgebbare Kriterium auf eine Klarheit der visuellen Eingabedaten (6), das Vorhandensein von Beleuchtungsartefakten oder das Vorhandensein einer Fügestelle in den Eingabedaten (6) bezieht.Computer-implemented method claim 4 , wherein the predefinable criterion relates to a clarity of the visual input data (6), the presence of lighting artifacts or the presence of a joint in the input data (6). Computerimplementiertes Verfahren nach Anspruch 4 oder 5, wobei das Vorverarbeitungsmodul (13) ferner einen Warnoperator (15) einschließt, der konfiguriert ist, um eine Warnung auszugeben, falls visuelle Eingabedaten (6) das vorgebbare Kriterium nicht erfüllen.Computer-implemented method claim 4 or 5 , wherein the pre-processing module (13) further includes a warning operator (15) configured to issue a warning if visual input data (6) does not meet the predeterminable criterion. Computerimplementiertes Verfahren nach einem der vorstehenden Ansprüche, wobei die Schweißnahtposition (5) in Form einer mathematischen Funktion ausgegeben wird, welche die Schweißnaht darstellt, insbesondere durch Ausgeben mindestens eines Parameters, der die mathematische Funktion kennzeichnet.Computer-implemented method according to one of the preceding claims, in which the weld seam position (5) is output in the form of a mathematical function which represents the weld seam, in particular by outputting at least one parameter which characterizes the mathematical function. Computerimplementiertes Verfahren nach Anspruch 7, wobei die mathematische Funktion eine Linie (11) ist, insbesondere eine vertikale oder horizontale Linie.Computer-implemented method claim 7 , where the mathematical function is a line (11), in particular a vertical or horizontal line. Computerimplementiertes Verfahren nach einem der vorstehenden Ansprüche, wobei die Schweißnahtposition (5) in Form einer Kantenmaske (10a) ausgegeben wird.Computer-implemented method according to one of the preceding claims, wherein the weld seam position (5) is output in the form of an edge mask (10a). Datenverarbeitungssystem (9), umfassend Mittel zum Ausführen des Verfahrens nach einem der vorstehenden Ansprüche.Data processing system (9) comprising means for carrying out the method according to any one of the preceding claims. Schweißeinrichtung (16), umfassend das Datenverarbeitungssystem (9) nach Anspruch 10.Welding device (16), comprising the data processing system (9). claim 10 . Computerprogramm, das Anweisungen umfasst, die, wenn das Programm von einem Computer ausgeführt wird, den Computer veranlassen, die Schritte des Verfahrens nach einem der vorstehenden Ansprüche auszuführen.A computer program comprising instructions which, when the program is executed by a computer, cause the computer to perform the steps of the method of any preceding claim. Computerlesbares Medium, das Anweisungen umfasst, die, wenn sie von einem Computer ausgeführt werden, den Computer veranlassen, das Verfahren nach einem der vorstehenden Ansprüche auszuführen.A computer-readable medium comprising instructions which, when executed by a computer, cause the computer to perform the method of any preceding claim.
DE102021117714.6A 2021-07-08 2021-07-08 Automatic seam detection for a welding process Pending DE102021117714A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021117714.6A DE102021117714A1 (en) 2021-07-08 2021-07-08 Automatic seam detection for a welding process
PCT/EP2022/068122 WO2023280679A1 (en) 2021-07-08 2022-06-30 Automatic seam detection for a welding process

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021117714.6A DE102021117714A1 (en) 2021-07-08 2021-07-08 Automatic seam detection for a welding process

Publications (1)

Publication Number Publication Date
DE102021117714A1 true DE102021117714A1 (en) 2023-01-12

Family

ID=82608505

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021117714.6A Pending DE102021117714A1 (en) 2021-07-08 2021-07-08 Automatic seam detection for a welding process

Country Status (2)

Country Link
DE (1) DE102021117714A1 (en)
WO (1) WO2023280679A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503417B (en) * 2023-06-29 2023-09-08 武汉纺织大学 Automatic recognition, positioning and size calculation method for ultra-long weld joint and typical defect

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334807A (en) 2008-07-28 2008-12-31 中国航空工业第一集团公司北京航空制造工程研究所 Electro-beam welding joint melting-coagulation area shape factor modeling and solving method
CN104636760A (en) 2015-03-11 2015-05-20 西安科技大学 Positioning method for welding seam
EP2792447B1 (en) 2011-12-15 2018-01-24 JFE Steel Corporation Laser welding position-detecting device and welding position-detecting method
CN109702293B (en) 2019-01-22 2020-01-14 清华大学 Welding penetration quality real-time control method based on visual detection
CN112548273A (en) 2020-12-14 2021-03-26 天津科技大学 Weld joint automatic tracking method based on deep neural network
CN113012217A (en) 2019-12-22 2021-06-22 李新春 Image processing-based construction method of convolution neural network for welding seam positioning
CN113034512A (en) 2021-03-15 2021-06-25 南京理工大学 Weld joint tracking method based on feature segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334807A (en) 2008-07-28 2008-12-31 中国航空工业第一集团公司北京航空制造工程研究所 Electro-beam welding joint melting-coagulation area shape factor modeling and solving method
EP2792447B1 (en) 2011-12-15 2018-01-24 JFE Steel Corporation Laser welding position-detecting device and welding position-detecting method
CN104636760A (en) 2015-03-11 2015-05-20 西安科技大学 Positioning method for welding seam
CN109702293B (en) 2019-01-22 2020-01-14 清华大学 Welding penetration quality real-time control method based on visual detection
CN113012217A (en) 2019-12-22 2021-06-22 李新春 Image processing-based construction method of convolution neural network for welding seam positioning
CN112548273A (en) 2020-12-14 2021-03-26 天津科技大学 Weld joint automatic tracking method based on deep neural network
CN113034512A (en) 2021-03-15 2021-06-25 南京理工大学 Weld joint tracking method based on feature segmentation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SINGH, A., Kalaichelvi, V., Karthikeyan, R.: Application of convolutional neural network for classification and tracking of weld seam shapes for tal brabo manipulator. In: Materials Today: Proceedings, 2020, 28. Jg., S. 491-497. doi: 10.1016/j.matpr.2019.12.149 [inhaltsgleiche Version online abrufbar über https://www.researchgate.net/profile/Abhilasha-Singh-25/publication/338569015_Application_of_Convolutional_Neural_Network_for_Classification_and_Tracking_of_Weld_Seam_Shapes_for_TAL_Brabo_Manipulator/links/61ee477b9a753545e2f15c24/Application-of-Convolutional-Neural-Network-for-Classification-and-Tracking-of-Weld-Seam-Shapes-for-TAL-Brabo-Manipulator.pdf]
YANG, L., et al.: Automatic detection and location of weld beads with deep convolutional neural networks. In: IEEE Transactions on Instrumentation and Measurement, 2020, 70. Jg., S. 1-12. doi: 10.1109/TIM.2020.3026514

Also Published As

Publication number Publication date
WO2023280679A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
EP2726244B1 (en) Method of detecting defects in a non-linear weld seam or a non-linear cutting gap during a laser-machining process ; corresponding laser-machining device
DE102018129441B4 (en) System for monitoring a laser processing process, laser processing system and method for monitoring a laser processing process
DE102018129425B4 (en) System for recognizing a machining error for a laser machining system for machining a workpiece, laser machining system for machining a workpiece by means of a laser beam comprising the same, and method for detecting a machining error in a laser machining system for machining a workpiece
DE102011081668B4 (en) Apparatus and method for determining the shape of the end of a weld
EP2365890B1 (en) Method and device for monitoring a laser machining operation to be performed on a workpiece and laser machining head having such a device
DE19716293A1 (en) Apparatus for controlling parameters of a laser welding process
DE102006051556A1 (en) Process for structuring solar modules and structuring device
EP1640101A2 (en) Method and device for controlling an automated machining process
EP3102361B1 (en) Method for identifying an edge contour of an opening on a machining head, and machining tool
DE102021117714A1 (en) Automatic seam detection for a welding process
DE102020104484A1 (en) Method for optical distance measurement for a laser machining process, measuring system for optical distance measurement for a laser machining device and laser machining device with the same
DE102022203359A1 (en) Monitoring device, in particular for a laser material processing system, laser material processing system, method and computer program
DE102012207045B4 (en) Image processing apparatus and method
EP4192645A1 (en) Method and flat bed machine tool for detecting a fitting position of a supporting bar
DE102008052579A1 (en) Safety system for working device, comprises unit and camera which is arranged at unit, where movement of unit is monitored by camera, based on degree of freedom of unit
DE102018103474A1 (en) A SYSTEM AND METHOD FOR OBJECT DISTANCE DETECTION AND POSITIONING
EP3961559B1 (en) Method and device for detecting defects during surface modification method
DE102018214307A1 (en) System and method for quality inspection in the manufacture of individual parts
EP4145233A1 (en) Contour determination for a laser cutting machine
DE112021001443T5 (en) IMAGE PROCESSING DEVICE, WORK INSTRUCTION CREATING SYSTEM AND WORK INSTRUCTION CREATING METHOD
DE102011085677A1 (en) Monitoring a laser machining operation to be performed on a workpiece, comprises learning a process environment and classifying a current process result, where learning step comprises monitoring a laser machining process by a camera
EP2447734B1 (en) Method for generating data and aligning an environment sensor of a motor vehicle
WO2020043362A1 (en) System and method for assisting a surface treatment
EP2808843A2 (en) Method of parameterisation of an image processing system for the monitoring of a machine tool
EP1475748B1 (en) Method and apparatus for acquisition of objects

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009660000

Ipc: G06V0030194000

R163 Identified publications notified