WO2021151412A1 - Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen - Google Patents

Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen Download PDF

Info

Publication number
WO2021151412A1
WO2021151412A1 PCT/DE2021/000017 DE2021000017W WO2021151412A1 WO 2021151412 A1 WO2021151412 A1 WO 2021151412A1 DE 2021000017 W DE2021000017 W DE 2021000017W WO 2021151412 A1 WO2021151412 A1 WO 2021151412A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
vehicle
camera
master camera
cameras
Prior art date
Application number
PCT/DE2021/000017
Other languages
English (en)
French (fr)
Inventor
Jan Nabatian
Original Assignee
Jan Nabatian
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102020000581.0A external-priority patent/DE102020000581A1/de
Application filed by Jan Nabatian filed Critical Jan Nabatian
Publication of WO2021151412A1 publication Critical patent/WO2021151412A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8829—Shadow projection or structured background, e.g. for deflectometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a device and a method for the automatic detection of damage to vehicles.
  • Dent lights or reflective lamps are often used to visually highlight dents in surfaces, in particular of sheet metal and painted sheet metal, for example in the vehicle industry. This is intended to visually highlight dents so that the dents can be pressed out with appropriate tools. This facilitates any filling work that becomes necessary.
  • Such devices are, for example, fixed in a stationary manner to a frame and aligned at a certain angle so that the dent can be easily recognized by the operator. It depends on the different reflection of the light on the sheet metal, so that due to the reflection of the light, the bulge appears for the viewer.
  • the dent reflectors are attached to the vehicle or to a sheet metal or glass element of the vehicle, for example, by means of a suction cup or clamping base.
  • the reflector is aligned with a flexible arm so that it remains permanently in a position that enables the viewer to optimally grasp the bump.
  • the dent reflectors often have a static striped pattern. Modern optical measuring systems are limited in the following points:
  • optical measuring systems can only measure / inspect matt surfaces
  • optical measuring systems can only measure stationary objects
  • the optical measuring systems can only record a limited surface area at the same time
  • the optical measuring systems can only inspect the surface geometry (e.g. dents / dents / uneven sheet metal), but no fine scratches / colors / color gradients / gaps / tire / rim marks
  • the measuring systems are complex to operate. Usually one or more measurement technicians are required for the measurement.
  • the measuring systems provide the individually evaluated raw images as output for the user. This has the disadvantage that the quality inspector is not given a quick overview of all detected defects and their position on the vehicle.
  • US 2017/0132801 A1 describes a system and method for inspecting reflective surfaces.
  • the embodiments described herein relate to systems and methods for inspecting specular surfaces that include inverse synthetic aperture imaging (“ISAI”) and specular surface geometry imaging (“SSGI”).
  • ISAI inverse synthetic aperture imaging
  • SSGI specular surface geometry imaging
  • Embodiments can make it possible to observe, image and manipulate an object under test while it is moving.
  • several optical input sources can be provided so that the object does not have to see all optical sensors at once.
  • a multi-stage surface inspection can be provided, whereby an object to be inspected can be inspected at several stages of an inspection system, such as for an automobile painting process, inspection on the pri- mer, inspection of the paint or inspection of the final assembly.
  • SSGI image modules are also described for performing microdeflectometry.
  • the disadvantage of the known devices is that they can only be used to detect surface defects of vehicles to a very limited extent. This is particularly the case since the vehicle surfaces are generally not flat, but rather convex.
  • the known systems are prone to errors in the event of fluctuating light conditions, reflective surfaces and objects in motion and are not robust with regard to tolerances of the vehicle position.
  • the vehicle must be precisely aligned before the measurement.
  • Current systems are not robust against uneven movements of the vehicle to be measured. The vehicle often has to be moved at a constant speed during the measurement.
  • the object of the invention is therefore to provide a method for the identification and localization of surface defects which enables the inspection of the entire optically perceptible area, for example a vehicle surface.
  • Error objects can be:
  • the installed actual attachment differs from the target attachment (especially wheel / tire combination and trim)
  • Defect objects are objects that are visually similar and can typically be classified as objects by humans, for example a scratch on a darkly painted vehicle surface appears as a white line, regardless of which vehicle model is examined or whether the scratch is on the front flap or on the door is located.
  • Anomalies can be:
  • Missing attachment any number of other visually perceptible defects in a vehicle, including the position of the add-on parts such as front flap, tailgate, doors, trim strips, headlights.
  • Anomalies can typically not be classified visually as defect objects, for example a waviness of the sheet metal on the bonnet appears visually very different from a waviness on the fender, since the bonnet has a rather flat shape and the fender has a strongly convex shape. If an indentation point is located exactly on an edge or corner of a component, it appears visually very different than if it were located in the middle of the component. If the front flap of a sports car is missing, it looks very different visually than if, for example, the door is missing on an SUV.
  • the aim is to automatically detect defect objects and anomalies during vehicle production.
  • a tunnel of lights with several light sources in the form of strips e.g. fluorescent tube, LED light-weight tube.
  • Graphics processors that receive and evaluate the images from the cameras and calculate the output.
  • neural networks are the basis of so-called “deep learning” - based object detectors for the purpose of detecting faulty objects, as well as “deep generative models” (e.g. Generative Adversarial Networks and / or Variational Autoencoder) for the purpose of detecting anomalies.
  • deep learning e.g. Generative Adversarial Networks and / or Variational Autoencoder
  • a light tunnel already exists, it can be used. Alternatively, a light tunnel is built based on the standard light tunnel. The cameras are then mounted and aligned in the light tunnel. The number of cameras can vary depending on the vehicle model. If different models are manufactured on the same production line, additional cameras may also be required.
  • the cameras are aligned so that as large a part of the vehicle surface as possible is captured.
  • defect objects and anomalies should stand out as clearly as possible on the captured images.
  • a perspective parallel to the vehicle surface is recommended.
  • An angled perspective is recommended for sheet metal deformations (e.g. waviness, indentations).
  • An additional camera hereinafter referred to as “MasterffyOne”, is aligned so that it recognizes the vehicle's construction card and reads it out automatically.
  • the construction card usually contains information about the vehicle such as the vehicle number, vehicle model and paint color.
  • the vehicle model and the paint color can also be recognized directly via an object tracking algorithm and / or image classification model.
  • An additional camera hereinafter referred to as “MasteraTwo”, is aligned in such a way that it records the position of the vehicle in the light tunnel (for example from a bird's eye view).
  • an already installed camera can be defined as the master camera Two, provided that the image section is suitable.
  • the MasterbigTwo is used to recognize when the next vehicle passes a defined point in the light tunnel and to track the position of the vehicle in the light tunnel. If the Master Camera Two detects that the vehicle is passing a previously defined point (e.g. a virtual line in the image section), hereinafter referred to as the start line, the cameras begin to capture the image. If the master camera Two detects that the vehicle is passing another previously defined point (e.g. a virtual line in the image section), hereinafter referred to as the end line, the image acquisition stops. Alternatively, one or more light barriers can be used to track the position of the vehicle in the light tunnel. Function of the setup pre-processing
  • ROI Region of Interest, "target region”
  • ROI Region of Interest, "target region”
  • critical areas In practice, damage often occurs in certain areas of the body, so-called critical areas.
  • the particularly critical areas should be defined as ROI in order to check them specifically for damage.
  • the ROI on the image to be evaluated can be determined using either a conventional (rule-based) algorithm or an object detector based on deep learning.
  • a filter such as "Gaussian unsharpness” or “unsharp masking” can optionally be used before the actual evaluation in order to increase the visibility of the damage on the image or in the respective ROI .
  • the parameters of the cameras are adjusted based on the information from the MasterCameraOne. If the MasterpressiveOne detects, for example, that a black-painted convertible is passing through the setup, this information is saved in a temporary config file. In the next step, this information is loaded in order to adjust the exposure time and ROI of the cameras accordingly. For example, if the vehicle is painted black, the exposure time of the cameras is increased; if the vehicle is white, the exposure time of the cameras is reduced.
  • the aim is for the (monochrome) images to have the same brightness as possible, even if the paint colors of the vehicles to be examined differ.
  • a deep learning based object detector is used to detect faulty objects in images.
  • Current object detector models are for example: YOLO, Faster-RCNN, SSD. These are able to classify and localize previously trained objects in images.
  • the object detector provides the class of the object (e.g. scratches, “dust inclusions”) and its coordinates in the image as output.
  • the object detector must be trained before it can be used (so-called monitored learning); for this purpose, as many different images as possible of relevant defect objects are made.
  • the error objects are then marked in the image (so-called labeling). If a sufficiently large number of images has been marked (labeled), the resulting data set is used to train the object detector (so-called model training).
  • the output is the weights of the neural network on which the decisions / outputs of the object detector are based. These weights are now exported to the locally installed computer on which another object detector is running. Alternatively, the object detector can also be taught in directly on the locally installed computer, if it is powerful enough. The object detector on the locally installed computer is now able to classify and localize the previously learned defect objects in the respective image sections of the cameras.
  • an object detector is trained in such a way that the entire vehicle is classified and localized in the image.
  • the object detector is trained in such a way that it can differentiate between different vehicle classes (eg coupe, convertible) and / or paint colors (eg light, somewhat light, neutral, somewhat dark, dark).
  • vehicle classes eg coupe, convertible
  • paint colors eg light, somewhat light, neutral, somewhat dark, dark.
  • a conventional detection and / or tracking algorithm can also be used (e.g. based on a Kalman filter).
  • the use of conventional algorithms has the advantage that they do not have to be learned, which means that data mining is no longer necessary, which in practice is often time-consuming and therefore expensive.
  • reference point of the vehicle can also be tracked. If, for example, the position of the front edge of the front flap in the light tunnel is known, as well as the vehicle model and its dimensions, the position of the vehicle in the light tunnel can also be determined. If the setup is not in final assembly but, for example, in the body shop, it is to be expected that the vehicles are on body carriers (so-called "skits"). If this is the case, only the position of the body beam could be tracked in order to determine the vehicle position in the light tunnel.
  • Object detectors are able to efficiently classify and localize previously trained objects in previously unseen images, but have the decisive disadvantage that training data sets are required in order to be trained (so-called monitored learning).
  • anomalies cannot be visually classified as defect objects, since they are visually very different from one another. If only one object detector were to be used to detect damage, it would have to be trained for many different visually appearing anomalies, which in a real-world application would lead to a great deal of effort, because a training data set would have to be created for each visually different anomaly.
  • Every major automaker has CAD models of their vehicles, with each drawing having a three-dimensional coordinate system.
  • the point 0; 0; 0 is exactly the center of the front axle.
  • it can be of considerable added value to be able to read out the exact coordinates of the surface damage. This would make it possible to remove the error automatically in the next step. This can be done, for example, by a robotic arm with a polishing machine.
  • the position of the detected errors on the vehicle surface is also essential for a user-friendly display of all errors found in a user interface.
  • the aim is to obtain a robust estimate of the 3D coordinates of the damage detected on the images from the cameras. Robust in that it does not matter whether, for example, the assembly line moves unevenly or the vehicle has a certain tolerance in the alignment / position on the assembly line, which is common in practice.
  • the starting point is that there is an image with visible damage as well as the class and location of the damage in the image. It is also known from which camera or which perspective the picture was taken. The position and dimensions of the vehicle in the light tunnel are also known. If, in one exemplary embodiment, this image comes from a camera that is mounted on the right (from the vehicle perspective), for example, it can be concluded that the damage is also on the right of the vehicle. If the detected damage is relatively far down in the picture, it can be concluded that the fault on the vehicle is at the bottom right.
  • the vehicle is, for example, in the middle of the light tunnel and the detected fault is also in the middle of the image, it can be concluded that the fault must also be in the middle of the vehicle, e.g. in the area of the B-pillar.
  • a virtual grid / grid network is placed over the (3D) CAD model of the vehicle, hereinafter referred to as the “grid vehicle”, as an aid.
  • the grid vehicle consists of vertical and horizontal lines.
  • the lines of the raster vehicle that define the X coordinates are referred to below as X lines.
  • the lines of the raster vehicle that define the YZ coordinates are referred to below as YZ lines.
  • the individual rectangles of the grid vehicle are referred to below as "fields".
  • YZ line is placed over the image sections of the cameras, hereinafter referred to as the “grid image section”.
  • the coordinates of the (horizontal) YZ lines can now be predefined for each image section of the individual cameras via a comparison with the vehicle CAD model, since the position and dimensions of the vehicle in the light tunnel, as well as the position and perspective of the cameras, are known.
  • Each YZ line on the respective raster image section now corresponds to a YZ line on the raster vehicle.
  • a continuous estimation of the coordinates of the X-lines begins. Since the position of the vehicle or the tracked reference point in the light tunnel as well as its dimensions and position of the cameras and their perspectives are known, the coordinates of the X-lines in the respective image sections can be continuously estimated. The estimation of the X coordinates ends when the vehicle crosses the end line.
  • the evaluation is displayed using a user Interface, comprising the data of the evaluation, the vehicle number and a visual representation of the vehicle, which makes it easier for the quality assurance person to get a quick overview of all damage recorded on the vehicle.
  • the user interface also has other functions that aim to provide the quality inspector with a quick overview of the damage currently occurring. This also has the advantage that systematic damage can be identified quickly and easily.
  • a machine or a robot for example a polishing robot, needs essential information such as the defect class and also the coordinates of the detected defects that are to be repaired.
  • the system therefore has an interface which outputs the error information.
  • the setup could now give a signal that the vehicle is not ready for delivery, but the error can be corrected by simply polishing.
  • a robot arm would be in the next section of the conveyor belt.
  • the tape stops as soon as the vehicle is at a predefined location. This can be done with another master camera that tracks the vehicle, or alternatively one or more light barriers or distance sensors.
  • the robot now knows the position of the vehicle and the coordinates of the scratch.
  • the head of the robot has a laser pointer, a camera and a polishing machine with a pressure sensor. First, the robot moves to the estimated location of the scratch. The camera then detects the scratch and the laser point on the vehicle surface.
  • the robot arm Since the estimate is probably not 100% correct, the robot arm now corrects the position until the laser point is exactly above the scratch and then begins the polishing process. After the polishing process is complete, the robot moves back, switches off the laser pointer and verifies with the help of the camera and a locally installed computer, on which the same object detector is used as for the detection of faulty objects, whether the Scratches were actually successfully polished out. If this is the case, the belt continues to run normally and the vehicle can be marked as ready for delivery. If an error is still detected after polishing, the vehicle is marked as not ready for delivery and also has to be reworked by human beings. The marking takes place in a database locally or in the cloud.
  • a schematic flow diagram is given as follows for the structure of the setup: a. Clarify with the customer which damage should be recorded / complained about and how sensitively the system should work. b. Installation of local computers, master cameras and cameras c. Align the master camera d. Define start line and end line e. Defining one or more reference points in order to track the vehicle or to track the entire vehicle f. Alignment of the cameras g. Define one or more ROIs for the respective cameras h. Defining and comparing the raster vehicle with the raster image section of the respective cameras i. Data mining for the purpose of learning the damage j. Model training to learn the damage k. Optional: Export model on the locally installed computer if the model training took place on a separate computer
  • Step e - k may have to be carried out for different vehicle models if several vehicles are assembled on one line.
  • Master camera Two detects Vehicle crosses the starting line III.
  • Cameras are activated and the camera software reads the previously created config file of the MasterCameraOne. Based on the information in the config file, the camera software fits the parameters of the image capture to like Belich-up time and ROI's
  • Separate object detector detects actual attributes (e.g. built-in wheel / tire combination) and compares them with the target attributes. If an actual attribute deviates from the target attribute, this is classified as an error object.
  • actual attributes e.g. built-in wheel / tire combination
  • ROI is recognized on the respective image, image sections outside the ROI are cut out
  • IX Object detector and / or anomaly detection algorithm analyzes the respective ROI and outputs the type of damage detected and their position in the image
  • the newly acquired data can be used to train the model again (so-called re-training) with the aim of continuously improving the measurement results of the setup.
  • robot in the next belt section: i. If there is an attribute that “can be easily fixed”, such as a slight scratch, a signal is sent to the next section of the conveyor, where the robot is located ii. Information on error attribute and estimated coordinates are transmitted to robots iii. The robot pans head in front of the estimated coordinates of the surface flaw iv. The robot corrects its position with the help of the camera and laser and starts polishing at v. The robot polishes the fault and moves back a little vi. The robot camera verifies that a surface defect has actually been fixed vii.
  • the vehicle can be marked as "ready for delivery”; If this is not the case, the vehicle is marked as “not ready for delivery” and also goes through the “human rework” step.
  • the method according to the invention is not only specialized in one application, for example only flush with the gap or only surface geometry.
  • the method according to the invention is much more flexible than systems that exclusively use conventional algorithms. Further advantages and advantageous embodiments of the invention can be found in the following description of the figures, the drawings and the claims.
  • Fig. 1 shows:
  • a setup 100 and a light tunnel 101 comprising several light modules 110, e.g., fluorescent tubes, LED light-weight tubes or the like. as well as a plurality of cameras 102, which are aligned such that as high a part of the vehicle surface as possible can be recorded.
  • the setup 100 is supplemented by further horizontally angled cameras in order to also capture as high a part of the front and rear of the vehicle as possible.
  • FIG. 1 shows vehicles 108 which pass through the light tunnel. These vehicles can already be fully assembled or at an earlier stage of production, e.g. in the paint shop. In this case, the fully assembled vehicle would not pass through the light tunnel, but only the painted body.
  • the construction card 105 of the vehicle 108 is shown. These construction cards are usually visibly attached to the vehicles on the assembly line and contain information about the vehicle such as vehicle number, paint color, vehicle model.
  • the master camera One 103 is shown, which is aligned in such a way that it can read out the construction card of the vehicle. If the vehicles do not have a construction card, the Master CameraOne is aligned in such a way that the vehicle model and the paint color are clearly visible on the image section.
  • Light sources 111 can be: An LED strip or fluorescent tubes, over which there can be a diffuser.
  • the light sources 111 form several lines of light running vertically to the vehicle, which in the optimal case enclose the entire vehicle without interruption.
  • a locally installed computer 106 is arranged, which receives and evaluates the images from cameras 102, in particular monochrome cameras, and one or more master cameras 103, and calculates the output.
  • a powerful computer 107 with one or more powerful graphics processors, on which one or more neural networks can be trained, is arranged.
  • the neural networks are the basis of so-called “deep learning” - based object detectors for the purpose of detecting faulty objects, as well as “deep generative models” (e.g. Generative Adversarial Networks and / or Variational Autoencoder) for the purpose of detecting anomalies
  • Fig. 2 shows:
  • a setup 100 like the master camera Two 104, which is aligned so that the position of the vehicle in the light tunnel can be detected.
  • Fig. 3 shows:
  • a light module 110 having light sources 111 extending vertically to the vehicle in line form.
  • a black background 112 is located between the light sources 111 to eliminate unwanted reflections.
  • Fig. 4 shows:
  • the ROI for paint damage 124 corresponds to the reflection of the light module 121 on the vehicle surface in image 125.
  • the reflection of the light source 122 and the reflection of the black background 123 are shown.
  • Fig. 5 shows:
  • a vehicle 108 from the side perspective 130 An ROI for checking particularly critical points or also for checking gap and flush dimensions 131 is shown.
  • Particularly critical points are usually points that are particularly prone to errors due to undesired deformation of the sheet metal (e.g. due to adhesive being drawn into the oven).
  • Fig. 6 shows: An image section with a grid 140 virtually overlaid, having an auxiliary line X coordinate 141 and auxiliary lines Y coordinate 142. The individual fields of the grid 143, a damage 144 visible on the image, are shown.
  • Fig. 7 shows:
  • the computation of the X coordinate 158 of the damage 144 for the output in vehicle coordinates If the defined reference point 152 on the vehicle or body support exceeds the virtual starting line 156, a continuous calculation of the distance 154 between the starting line and the reference point begins. The calculation of the distance 154 ends as soon as the reference point 152 exceeds the defined end line 157.
  • the X coordinate 158 is calculated. This is calculated as follows: [
  • Fig. 8 shows:
  • a vehicle with a virtually superimposed grid like the directional arrows of the vehicle coordinate system common in the automotive industry.
  • Fig. 9 shows:
  • VE trained autoencoder
  • the autoencoder is trained with images without anomalies, so-called “normal images”.
  • the intuition is that the trained autoencoder 179 reconstructs normal images with little deviation, but cannot exactly reconstruct images that deviate from normality, i.e. images with anomalies. If the reconstruction costs, i.e. the difference between the original and the reconstructed image, are high, i.e. the reconstruction costs are above a defined threshold value, then it is probably an abnormal image 177.
  • the reconstructed image 173 looks exactly or almost exactly like the original image 171, are the Reconstruction costs are low, i.e. they are below a defined threshold value. If this is the case, the original image 171 is classified as a normal image 178.
  • Fig. 10 shows:
  • An AE 179 is combined with a GAN by combining the decoder and the generator in one.
  • the learned feature representations of the images (so-called image feature presentations) in the discriminator 181 can be used as the basis for the AE reconstruction goal.
  • the objective function of the generator 175 is to generate 173 results which the discriminator 181 cannot distinguish from original images 171. Since the autoencoder and the GAN are only trained with normal images without anomaly, the generator 175 will most likely work well for normal images, but poorly for abnormal images. If the original image is a normal image without an anomaly, the generator can probably reconstruct this image very well and the discriminator classifies the generated image as a normal image. If, on the other hand, the original image is an abnormal image, the generator can probably reconstruct this image very poorly and in this case the discriminator classifies the generated image as generated, i.e. abnormal.
  • ROI critical point e.g. gap / flush dimension or point where sheet metal deformations occur frequently, e.g. due to adhesive being drawn in
  • the X-axis of the vehicle coordinate system usually corresponds to the center of the front axle
  • Figure 10 180 Typical structure of an autoencoder, having an encoder and decoder.
  • Figure 10 180 Anomaly detection, functionality with autoencoder and GAN

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Vorgeschlagen wird eine Vorrichtung zur automatischen Erkennung von Schäden an Fahrzeugen, umfassend einen Lichtertunnel (101), wobei der Lichtertunnel (101) mehrere Lichtquellen in Streifenform (111), mindestens eine Kamera (102), mindestens eine MasterkameraOne (103), mindestens eine MasterkameraTwo (104), mindestens einen lokalen Computer (106) mit einem oder mehreren leistungsfähigen Grafikprozessoren, der die Bilder der mindestens einen Kamera (102), der MasterkameraOne (103) und der MasterkameraTwo (104) empfängt, auswertet und einen Output berechnet, und mindestens einen weiteren leistungsfähigen Computer (106) mit einem oder mehreren leistungsfähigen Grafikprozessoren, in denen ein oder mehrere künstliche Neuronale Netzwerke als Objekt-Detektoren verfügbar und trainierbar sind, aufweist, sowie ein Verfahren zu dessen Durchführung.

Description

Vorrichtung und Verfahren zur automatischen Erkennung von Beschädigungen an Fahrzeugen
Beschreibung
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur automatischen Erkennung von Beschädigungen an Fahrzeugen.
Stand der Technik
Zur optischen Herausstellung von Dellen in Oberflächen insbesondere von Blechen und lackierten Blechen, beispielsweise in der Fahrzeugindustrie, werden häufig Dellenleuchten bzw. Reflexionslampen verwendet. Damit sollen Beulen visuell herausgestellt werden, so dass mit entsprechenden Werkzeugen die Beulen herausgedrückt werden können. Dadurch werden notwendig werdende Spachtelarbeiten erleichtert. Derartige Vorrichtungen werden beispielsweise mit einem Gestell stationär befestigt und in einem bestimmten Winkel ausgerichtet, so dass die Beule für den Bearbeiter gut erkennbar ist. Hierbei kommt es auf die unterschiedliche Reflexion des Lichtes auf dem Blech an, so dass aufgrund der Reflexion des Lichtes die Beule für den Betrachter hervortritt.
Die Dellenreflektoren werden beispielsweise durch einen Saugfuß oder Klemmfuß am Fahrzeug bzw. an einem Blech oder Glaselement des Fahrzeuges befestigt. Mit einem flexiblen Arm wird der Reflektor ausgerichtet, so dass er dauerhaft in einer Stellung verharrt, die es dem Betrachter in optimaler Weise ermöglicht die Beule zu erfassen. Die Dellenreflektoren weisen oftmals ein statisches Streifenmuster auf. Moderne Optische Messsysteme sind in folgenden Punkten limitiert:
• Die optischen Messysteme können nur matte Oberflächen vermessen/inspizieren
(keine spiegelnden)
• Die optischen Messysteme können nur ruhende Objekte vermessen
• Die optischen Messysteme können nur einen limitierten Oberflächenbereich simultan erfassen
• Die optischen Messysteme können nur die Oberflächengeometrie inspizieren (z.B. Beulen/Dellen/Blechunruhe), aber keine feinen Krat- zer/Farben/Farbverläufe/Spaltmaße/Reifen- / Felgenmarke
• Es gibt zwar Spalt- und Bündigkeitsmessgeräte, die mit Lasern funktionieren, jedoch können diese dann ausschließlich nur die Spalt- und Bündigkeitsmaße messen.
• Die Messsysteme sind aufwendig zu bedienen. Meistens wird ein oder werden mehrere Messtechniker für die Messung benötigt.
• Die Messysteme sind sehr anfällig gegenüber schwankenden Lichtverhältnissen
• Die Messsysteme liefern als Output für den Nutzer die einzeln ausgewerteten Roh bil- der. Dies hat den Nachteil, dass dem Qualitätsprüfer keinen schnellen Überblick über alle detektierten Fehler und deren Position auf dem Fahrzeug vermittelt wird.
• Die Messsysteme benötigen sehr viel Platz, da oft versucht wird durch Trennwände/Tunnel möglichst viel Fremdlicht abzuschirmen. Daher ist auch keine Integration in den bestehenden Fertigungsprozess möglich.
Die US 2017/0132801 A1 beschreibt ein System und Verfahren zur Inspektion von spiegelnden Oberflächen. Die hierin beschriebenen Ausführungsformen beziehen sich auf Systeme und Verfahren zur Inspektion von spiegelnden Oberflächen, die eine inverse Bildgebung mit synthetischer Apertur ("ISAI") und eine Bildgebung mit spiegelnder Oberflächengeometrie ("SSGI") umfassen. Ausführungsformen können es ermöglichen, ein zu prüfendes Objekt zu beobachten, abzubilden und zu bearbeiten, während es sich weiter bewegt. Darüber hinaus können mehrere optische Eingangsquellen vorgesehen werden, so dass das Objekt nicht alle optischen Sensoren auf einmal sehen muss. Weiterhin kann eine mehrstufige Oberflächeninspektion vorgesehen werden, wobei ein zu inspizierendes Objekt an mehreren Stufen eines Inspektionssystems inspiziert werden kann, wie beispielsweise für einen Automobillackierprozess, Inspektion am Pri- mer, Inspektion am Lack oder Inspektion an der Endmontage. SSGI-Bildmodule werden auch für die Durchführung der Mikrodeflektometrie beschrieben.
Nachteilig an den bekannten Vorrichtungen ist, dass damit nur sehr einge- schränkt Oberflächenfehler von Fahrzeugen erkannt werden können. Dies ist insbesondere der Fall, da die Fahrzeugoberflächen in der Regel nicht eben, sondern konvex ausgebildet sind.
Des Weiteren sind die bekannten Systeme fehleranfällig bei schwankenden Lichtver- hältnissen, reflektierenden Oberflächen und Objekten in Bewegung sowie nicht robust gegenüber Toleranzen der Fahrzeugposition. Meistens muss das Fahrzeug vor der Messung genau ausgerichtet werden. Aktuelle Systeme sind nicht robust gegenüber ungleichmäßigen Bewegungen des zu messenden Fahrzeugs. Oft muss das Fahrzeug während der Messung in einer konstanten Geschwindigkeit bewegt werden.
Aufgabe der Erfindung ist es daher, ein Verfahren zur Identifikation und Lokalisie rung von Oberflächenfehlern zur Verfügung zu stellen, die die Inspektion der gesamten optisch wahrnehmbaren Fläche, beispielsweise einer Fahrzeugoberflä- che ermöglicht.
Offenbarung der Erfindung
Die Erfindung wird durch die Merkmale des Hauptanspruchs offenbart. Ausführungsformen und Weiterbildungen sind Gegenstand der sich an den Hauptanspruch anschließenden weiteren Ansprüche.
Beschädigungen werden im Folgenden in „Fehlerobjekte“ und „Anomalien“ unterteilt.
Fehlerobjekte können sein:
• Leichter Kratzer (kann poliert werden)
• Tiefer Kratzer (muss neu lackiert werden)
• Dellen
• Beulen
• Läufer (Lack)
• Pickel (Lack)
• Krater (Lack)
• Eingeschlossene Partikel im Lack (z.B. Staub)
• Spalt- und Bündigkeltsmaße NIO (insbesondere Position der Zierleisten)
• Verbautes Ist-Anbauteil weicht vom Soll- Anbauteil ab (insbesondere Rad/Reifen Kombination und Zierleisten)
• Beliebig viele weitere optisch wahrnehmbare, als Objekt klassifizierbare Beschädigungen einer Fahrzeugoberfläche
Fehlerobjekte sind Objekte, die sich visuell ähneln und typischerweise vom Menschen als Objekte klassifiziert werden können, beispielsweise erscheint ein Kratzer auf einer dunkel lackierten Fahrzeugoberfläche als weiße Linie, unabhängig welches Fahrzeug- Modell untersucht wird oder ob sich der Kratzer auf der Frontklappe oder auf der Türe befindet.
Anomalien können sein:
• Welligkeiten
• Einzugstellen
• Dellen/Beulen auf stark konkav/konvexen Oberflächen
• Fehlendes Anbauteil • Beliebig viele weitere visuell wahrnehmbare Fehler eines Fahrzeugs einschließlich der Position der Anbauteile wie z.B. Frontklappe, Heckklappe, Türen, Zierleisten, Scheinwerfer.
Anomalien können typischerweise visuell nicht als Fehlerobjekte klassifiziert werden, beispielsweise erscheint eine Welligkeit des Blechs auf der Frontklappe visuell ganz anders als eine Welligkeit am Kotflügel, da die Frontklappe eine eher flache Form und der Kotflügel eine stark konvexe Form hat. Befindet sich eine Einzugstelle genau an einer Kante oder Ecke eines Bauteils, erscheint diese visuell ganz anders als wenn sie sich in der Mitte des Bauteils befinden würde. Fehlt die Frontklappe eines Sportwagens, sieht dies visuell ganz anders aus, als wenn beispielsweise die Türe an einem SUV fehlt.
Ziel ist es, Fehlerobjekte und Anomalien während der Fahrzeugfertigung automatisch zu erkennen.
Dazu benötigt werden:
• Ein Lichtertunnel, aufweisend mehrere Lichtquellen in Streifenform (z.B. Leuchtstoffröhre, LED-Leichtstoffröhre).
• Mehrere Kameras (üblicherweise Monochrom-Kameras)
• Eine MasterkameraOne
• Eine MasterkameraTwo
• Ein lokal installierter Computer mit einem oder mehreren leistungsfähigen
Grafikprozessoren, der die Bilder der Kameras empfängt, auswertet und den Output berechnet.
• Ein weiterer Computer mit einem oder mehreren leistungsfähigen Grafikprozessoren, auf denen ein oder mehrere künstliche Neuronale Netzwerke, im Folgenden „Neuronale Netzwerke“ genannt, trainiert werden. Die Neuronalen Netzwerke sind die Grundlage von sogenannten „Deep Learning“- basierten Objekt-Detektoren zwecks Erkennung von Fehlerobjekten, so wie „Deep Generative Models“ (z.B. Generative Adversarial Networks und/oder Variational Autoencoder) zwecks der Erkennung von Anomalien.
• Optional: Eine oder mehrere Lichtschranken zwecks Erkennung, wann das nächste Fahrzeug eine bestimmte Stelle im Lichtertunnel passiert. Aufbau des Setup
Ist ein Lichtertunnel bereits vorhanden, kann dieser genutzt werden. Alternativ wird ein Lichtertunnel nach Vorbild der gängigen Lichtertunnel aufgebaut. Anschließend werden die Kameras im Lichtertunnel montiert und ausgerichtet. Die Anzahl der Kameras kann je nach FahrzeugModell variieren. Werden verschiedene Modelle auf der gleichen Fertigungslinie gefertigt, könnten ebenfalls zusätzliche Kameras benötigt werden.
Die Kameras werden so ausgerichtet, dass ein möglichst großer Teil der Fahrzeugoberfläche erfasst wird. Außerdem sollten Fehlerobjekte und Anomalien möglichst deutlich auf den erfassten Bildern herausstechen. Beispielsweise empfiehlt sich für Lackschäden (z.B. Kratzer, Staubeinschlüsse usw.) eine Perspektive parallel zur Fahrzeugoberfläche. Für Blechverformungen (z.B. Welligkeiten, Einzugstellen) empfiehlt sich eine angewinkelte Perspektive.
Eine zusätzliche Kamera, nachfolgend „MasterkameraOne“ genannt, wird so ausgerichtet, dass sie die Baukarte des Fahrzeugs erkennt und diese automatisiert ausliest. Auf der Baukarte befinden sich üblicherweise Informationen über das Fahrzeug wie beispielsweiße Fahrzeugnummer, FahrzeugModell und Lackfarbe. Alternativ zum Auslesen der Baukarte kann das FahrzeugModell und die Lackfarbe auch über ein Objekt- Tracking Algorithmus und/oder BildklassifizierungsModell direkt erkannt werden.
Eine zusätzliche Kamera, nachfolgend „MasterkameraTwo“ genannt, wird so ausgerichtet, dass sie die Position des Fahrzeugs im Lichtertunnel erfasst (beispielsweise aus der Vogelperspektive). Alternativ kann auch eine bereits installierte Kamera als MasterkameraTwo definiert werden, sofern der Bildausschnitt passend ist.
Die MasterkameraTwo wird verwendet um zu erkennen, wann das nächste Fahrzeug eine definierte Stelle im Lichtertunnel passiert und um die Position des Fahrzeugs im Lichtertunnel zu verfolgen. Erkennt die MasterkameraTwo, dass das Fahrzeug eine vorher definierte Stelle (z.B. eine virtuelle Linie im Bildausschnitt), nachfolgend Startlinie genannt, passiert, beginnen die Kameras mit der Bilderfassung. Erkennt die MasterkameraTwo, dass das Fahrzeug eine weitere vorher definierte Stelle (z.B. eine virtuelle Linie im Bildausschnitt), nachfolgend Endlinie genannt, passiert stoppt die Bilderfassung. Alternativ können eine oder mehrere Lichtschranken verwendet werden, um die Position des Fahrzeugs im Lichtertunnel zu verfolgen. Funktion des Setup Pre-Processing
Nachdem die Kamera ein Bild erfasst hat, erfolgt das sogenannte „pre-processing" (zu Deutsch: Vorverarbeitung). Je nachdem welcher Typ Beschädigung erkannt werden soll und wie der Lichtertunnel aufgebaut ist, ist es häufig sinnvoller nur einen Ausschnitt des erfassten Bildes, nachfolgend ROI (Region of Interest, „Zielregion“) genannt, auf Beschädigungen zu überprüfen, als das hochauflösende Gesamtbild. Dies reduziert die Menge der auszuwerten Daten signifikant. Da unterschiedliche Beschädigungen unterschiedliche Eigenschaften haben, ist es in der Praxis oft sinnvoll, verschiedene ROI's für verschiedene Beschädigungen zu definieren. Da beispielsweise kleinere Lackschäden wie Kratzer und Staubeinschlüsse nur deutlich in unmittelbarer Nähe der Reflexion der Lichtlinien gut sichtbar sind, macht es diesbezüglich Sinn, auch nur den Bildbereich in unmittelbarer Umgebung der Lichtlinien nach kleineren Lackschäden abzusuchen, also als ROI zu definieren.
In der Praxis treten Beschädigungen oft gehäuft an bestimmten Bereichen der Karosserie auf, sog. kritische Bereiche. In diesem Fall sollten die besonders kritischen Bereiche als ROI definiert werden um diese gezielt auf Beschädigungen zu überprüfen.
Die Ermittlung der ROI auf dem auszuwertenden Bild kann entweder mit einem konventionellen (regelbasierten) Algorithmus oder einem Deep-Learning basierten Objekt- Detektor erfolgen. Um die Bildqualität zu erhöhen bzw. die Auswertung zu optimieren, kann optional vor der eigentlichen Auswertung noch ein Filter angewendet werden wie beispielsweise „Gaußsche Unschärfe“ oder „Unscharfmaskierung“, um die Sichtbarkeit der Beschädigung auf dem Bild bzw. in der jeweiligen ROI zu erhöhen.
Ermittlung des Fahrzeug-Modells und der Lackfarbe durch die MasterkameraOne
Basierend auf den Informationen der MasterkameraOne werden die Parameter der Kameras angepasst. Erkennt die MasterkameraOne beispielsweise, dass ein schwarz lackiertes Cabrio das Setup passiert, werden diese Informationen in einer Temporären Config-Datei abgespeichert. Im nächsten Schritt werden diese Informationen geladen, um Belichtungszeit und ROI der Kameras entsprechend anzupassen. Ist das Fahrzeug beispielsweise schwarz lackiert, wird die Belichtungszeit der Kameras erhöht, ist das Fahrzeug weiß, wird die Belichtungszeit der Kameras gesenkt. Ziel ist es, dass die (monochromen) Bilder möglichst dieselbe Helligkeit haben, auch wenn sich die Lackfarben der zu untersuchenden Fahrzeuge unterscheiden.
Erkennung Fehlerobjekte auf den Bildern der Kameras
Um Fehlerobjekte in Bildern zu erkennen, wird ein Deep-Learning basierter Objekt- Detektor, nachfolgend „Objekt-Detektor“ genannt, verwendet. Aktuell gängige Objekt - Detektor Modelle sind beispielsweise: YOLO, Faster-RCNN, SSD. Diese sind in der Lage, zuvor antrainierte Objekte in Bildern zu klassifizieren und zu lokalisieren. Der Objekt-Detektor liefert als Output die Klasse des Objekts (z.B. Kratzer“, „Staubeinschluss“) und dessen Koordinaten im Bild. Der Objekt-Detektor muss vor seinem Einsatz angelernt werden (sog. überwachtes Lernen), hierzu werden möglichst viele verschiedene Bilder von relevanten Fehlerobjekten gemacht. Anschließend werden die Fehlerobjekte im Bild markiert (sog. Labeling). Wurde eine ausreichend große Zahl an Bildern markiert (gelabelt), wird der dadurch entstandene Datensatz dazu verwendet, den Objekt-Detektor zu trainieren (sog. Model Training). Ist das Training abgeschlossen, erhält man als Output die Gewichte des Neuronalen Netzwerks, auf dem die Entscheidungen/Outputs des Objekt-Detektors basieren. Diese Gewichte werden nun auf den lokal installierten Computer exportiert, auf dem ein weiterer Objekt-Detektor läuft. Alternativ kann das Anlernen des Objekt-Detektors auch direkt auf dem lokal installierten Computer erfolgen, wenn dieser leistungsfähig genug ist. Nun ist der Objekt- Detektor auf dem lokal installierten Computer fähig, die zuvor angelernten Fehlerobjekte in den jeweiligen Bildausschnitten der Kameras zu klassifizieren und zu lokalisieren.
Ermittlung der Fahrzeugposition im Lichtertunnel durch die MasterkameraTwo
Analog zur Erkennung der Fehlerobjekte wird ein Objekt-Detektor so angelernt, dass das gesamte Fahrzeug im Bild klassifiziert und lokalisiert wird. Im Idealfall wird der Objekt-Detektor so angelernt, dass er zwischen verschiedenen Fahrzeugklassen (z.B. Coupe, Cabrio) und/oder Lackfarben (z.B. hell, etwas hell, neutral, etwas dunkel, dunkel) unterscheiden kann. Alternativ zu einem Deep-Learning basierten Objekt-Detektor kann auch ein konventioneller Detection- und/oder Tracking Algorithmus verwendet werden (z.B. auf Basis eines Kalman Filters). Die Verwendung von konventionellen Algorithmen hat den Vorteil, dass diese nicht angelernt werden müssen, dadurch entfällt das Datamining, welches in der Praxis häufig zeitintensiv und daher teuer ist.
Alternativ zum Tracken des gesamten Fahrzeugs kann auch lediglich ein oder mehrere markante Punkte, nachfolgend Referenzpunkt genannt, des Fahrzeugs getrackt werden. Ist beispielsweise die Position der vorderen Kante der Frontklappe im Lichtertunnel bekannt, so wie das Fahrzeugmodell und dessen Maße, kann dadurch ebenfalls die Position des Fahrzeugs im Lichtertunnel ermittelt werden. Befindet sich das Setup nicht in der Endmontage, sondern beispielsweise im Karosseriebau, ist damit zu rechnen, dass sich die Fahrzeuge auf Karosserieträgern (sog. „Skit“) befinden. Ist dies der Fall, könnte auch lediglich die Position des Karosserieträgers getrackt werden, um die Fahrzeugposition im Lichtertunnel zu ermitteln.
Erkennung Anomalien auf den Bildern der Kameras
Objekt-Detektoren sind zwar in der Lage, zuvor antrainierte Objekte effizient in zuvor ungesehenen Bildern zu klassifizieren und zu lokalisieren, haben aber den entscheidenden Nachteil, dass Trainingsdatensätze benötigt werden um angelernt zu werden (sog. Überwachtes Lernen).
Anomalien können typischerweise visuell nicht als Fehlerobjekte klassifiziert werden, da sie sich optisch stark voneinander unterscheiden. Würde man ausschließlich einen Objekt-Detektor zur Erkennung von Beschädigungen einsetzen, müsste dieser auf viele unterschiedlich visuell erscheinende Anomalien angelernt werden, was in einer Echtwelt-Anwendung zu einem hohen Aufwand führen würde, weil für jede visuell unterschiedlich erscheinende Anomalie ein Trainingsdatenset erstellt werden müsste.
Um Anomalien effizient in Bildern zu erkennen, werden daher Deep generative Models verwendet wie beispielsweise Autoencoder und/oder Generative Adversarial Networks. Hierbei geht es um den Rekonstruktionsfehler. Vorliegend wird beispielsweise ein Autoencoder verwendet, um eine Normalität in den Bildausschnitten der Kameras zu lernen. Die Intuition ist, dass der trainierte Autoencoder normale Bilder mit geringer Abweichung rekonstruiert, aber von der Normalität abweichende Bilder nicht genau re- konstruieren kann. Dies hat den entscheidenden Vorteil, dass das Trainingsdatenset nur aus Bildern von normalen Bildern, also Bildern ohne sichtbare Beschädigungen, bestehen muss. Der Data-Mining Aufwand ist dadurch erheblich geringer.
Lokalisierung von Beschädigungen auf einer Fahrzeugoberfläche
Jeder größere Autohersteller hat CAD-Modelle seiner Fahrzeuge, wobei jede Zeichnung ein dreidimensionales Koordinatensystem aufweist. Der Punkt 0;0;0 ist standardmäßig genau die Mitte der Vorderachse. Für den Hersteller kann es ein erheblicher Mehrwert sein, die exakten Koordinaten des Oberflächenschadens auslesen zu können. Dies würde es ermöglichen, den Fehler im nächsten Schritt maschinell zu entfernen. Dies kann beispielsweise durch einen Roboterarm mit einer Poliermaschine erfolgen.
Die Position der erkannten Fehler auf der Fahrzeugoberfläche ist außerdem essenziell für eine nutzerfreundliche Darstellung aller gefundenen Fehler in einem User Interface. Ziel ist es eine robuste Schätzung der 3D Koordinaten der auf den Bildern der Kameras detektierten Beschädigungen zu erhalten. Robust dahingehend, dass es keine Rolle spielt, ob sich beispielsweiße das Montageband ungleichmäßig bewegt oder das Fahrzeug eine gewisse Toleranz bei der Ausrichtung/Position auf dem Montageband hat, was in der Praxis üblich ist.
Ausgangspunkt ist, dass über ein Bild mit einer sichtbaren Beschädigung so wie die Klasse und die Position der Beschädigung im Bild verfügt wird. Außerdem ist bekannt, von welcher Kamera bzw. welcher Perspektive das Bild aufgenommen wurde. Außerdem sind die Position und die Maße des Fahrzeugs im Lichtertunnel bekannt. Stammt in einem Ausführungsbeispiel dieses Bild von einer Kamera, die beispielsweise rechts (aus Fahrzeug-Perspektive) montiert ist, lässt sich daraus schließen, dass sich die Beschädigung auch rechts am Fahrzeug befindet. Befindet sich die erkannte Beschädi gung relativ weit unten im Bild, lässt sich daraus schließen, dass der Fehler am Fahrzeug rechts unten ist.
Ist nun auf der Masterkamera zu sehen, dass sich das Fahrzeug beispielsweise in der Mitte des Lichtertunnels befindet und ist der detektierte Fehler ebenfalls in der Mitte des Bildes, lässt sich daraus schließen, dass sich der Fehler auch in der Mitte das Fahrzeugs, also beispielsweiße im Bereich der B-Säule befinden muss.
Fügt man diese Informationen zusammen, lässt sich daraus schließen, dass der Fehler im Bereich der B-Säule so wie rechts unten am Fahrzeug befindet.
Um das Verfahren zu präzisieren und praktisch umzusetzen, wird als Hilfsmittel ein virtuelles Raster / Gitternetz über das (3D) CAD Modell des Fahrzeugs, nachfolgend „Raster-Fahrzeug“ genannt, gelegt. Das Raster-Fahrzeug besteht aus vertikalen und horizontalen Linien. Die Linien des Raster-Fahrzeug, welche die X-Koordinaten definieren, werden nachfolgend als X-Linien bezeichnet. Die Linien des Raster-Fahrzeug, welche die YZ-Koordinaten definieren, werden nachfolgend als YZ-Linien bezeichnet. Die einzelnen Rechtecke des Raster-Fahrzeug werden nachfolgend als „Felder“ bezeichnet.
Zusätzlich wird ein weiteres Raster über die Bildausschnitte der Kameras gelegt, nachfolgend „Raster-Bildausschnitt“ genannt. Die Koordinaten der (horizontalen) YZ-Linien können nun über einen Abgleich mit dem Fahrzeug CAD Modell für jeden Bildausschnitt der einzelnen Kameras vordefiniert werden, da die Position und die Maße des Fahrzeugs im Lichtertunnel, so wie die Position und Perspektive der Kameras bekannt sind. Jede YZ Linie auf dem jeweiligen Raster-Bildausschnitt entspricht nun einer YZ- Linie auf dem Raster-Fahrzeug.
Registriert die Masterkamera, dass das Fahrzeug die Startlinie im Lichtertunnel passiert, beginnt eine kontinuierliche Schätzung der Koordinaten der X-Linien. Da die Posi tion des Fahrzeuges bzw. des getrackten Referenzpunktes im Lichtertunnel sowie dessen Maße und Position der Kameras und deren Perspektiven bekannt sind, können die Koordinaten der X-Linien in den jeweiligen Bildausschnitten laufend geschätzt werden. Die Schätzung der X Koordinaten endet, wenn das Fahrzeug die Endlinie überschrei tet.
Darstellung des Ergebnisses der Auswertung in einem User Interface
Sind alle detektierten Beschädigungen klassifiziert und deren Position auf dem Gesamtfahrzeug berechnet, erfolgt die Darstellung der Auswertung über ein User- Interface, umfassend die Daten der Auswertung, der Fahrzeugnummer und einer visuellen Darstellung des Fahrzeuges, die es dem Qualitätssicherer erleichtert, sich einen schnellen Überblick über alle am Fahrzeug erfassten Beschädigungen zu verschaffen. Das User-Interface verfügt außerdem über weitere Funktionen, die darauf abzielen dem Qualitätsprüfer einen schnellen Überblick über die aktuell auftretenden Beschädigungen zu verschaffen. Dies hat außerdem den Vorteil, dass systematisch auftretende Beschädigungen schnell und einfach erkannt werden können.
Schnittstelle für weitere Industrie 4.0 Anwendungen
Um Fehler maschinell ausbessern zu können, benötigt eine Maschine bzw. ein Roboter, beispielsweise ein Polier-Roboter, essenzielle Informationen wie beispielsweise die Fehlerklasse und auch die Koordinaten der detektierten Fehler, die ausgebessert werden sollen. Daher verfügt das System über eine Schnittstelle, welche die Fehlerinformationen ausgibt.
Automatische Korrektur des Fehlers
Es wird davon ausgegangen, dass ein leichter Kratzer erkannt wurde und dessen Koordinaten mit hinreichender Genauigkeit abgeschätzt wurden. Das Setup könnte nun ein Signal geben, dass das Fahrzeug nicht auslieferungsbereit ist, der Fehler jedoch durch einfaches Polieren behoben werden kann. Im nächsten Bandabschnitt würde ein Roboterarm stehen. Das Band hält an, sobald sich das Fahrzeug an einer vordefinierten Stelle befindet. Dies kann mit einer weiteren Masterkamera geschehen, die das Fahrzeug trackt, oder alternativ einer oder mehrerer Lichtschranken oder Abstandssensoren. Der Roboter kennt nun die Position des Fahrzeuges, so wie die Koordinaten des Kratzers. Der Kopf des Roboters weist einen Laser Pointer, eine Kamera und eine Poliermaschine mit Drucksensor auf. Zuerst bewegt sich der Roboter zur geschätzten Position des Kratzers. Anschließend erkennt die Kamera den Kratzer und den Laser Punkt auf der Fahrzeugoberfläche. Da die Schätzung wahrscheinlich nicht 100% korrekt ist, korrigiert der Roboterarm nun die Position, bis sich der Laser Punkt exakt über dem Kratzer befindet und beginnt dann den Poliervorgang. Nachdem der Poliervorgang abgeschlossen ist, fährt der Roboter zurück, schaltet den Laser Pointer aus und verifiziert mit Hilfe der Kamera und einem lokal installierten Computer, auf dem derselbe Objekt-Detektor ausgeführt wird wie zur Erkennung von Fehlerobjekten, ob der Kratzer auch tatsächlich erfolgreich herauspoliert wurde. Ist dies der Fall, läuft das Band normal weiter und das Fahrzeug kann als auslieferungsbereit markiert werden. Wird nach dem Polieren immer noch ein Fehler erkannt, wird das Fahrzeug als nicht auslieferungsbereit markiert und muss zusätzlich zur „menschlichen Nacharbeit“. Die Markierung erfolgt in einer Datenbank lokal oder in der Cloud.
Ein schematisches Ablaufdiagramm ist wie folgt zum Aufbau des Setup angegeben: a. Mit dem Kunden klären, welche Beschädigungen erfasst/beanstandet werden sollen und wie sensibel das System arbeiten soll. b. Installation Lokaler Computer, Masterkamera und Kameras c. Ausrichten Masterkamera d. Definieren Startlinie und Endlinie e. Definieren einer oder mehrerer Referenzpunkte, um das Fahrzeug zu tracken bzw. Tracken des Gesamtfahrzeuges f. Ausrichten der Kameras g. Definieren einer oder mehrerer ROI’s für die jeweiligen Kameras h. Defininieren und Abgleichen der Raster-Fahrzeug mit dem Raster- Bildausschnitt der jeweiligen Kameras i. Datamining zwecks Anlernen der Beschädigungen j. Model Training zwecks Anlernen der Beschädigungen k. Optional: Export Model auf dem lokal installierten Computer, falls das Model Training auf einem separaten Computer stattgefunden hat
Schritt e - k muss möglicherweise für verschiedene Fahrzeugmodelle durchgeführt werden, falls mehrere Fahrzeuge auf einem Band montiert werden.
Die Funktion wird folgendermaßen erläutert:
I. MasterkameraOne erkennt: Fahrzeugtyp, Lackfarbe, FahrzeugNr und speichert diese Informationen in einer Config Datei
II. MasterkameraTwo erkennt: Fahrzeug überschreitet Startlinie III. Optional: Auslesen der Soll-Attribute (wie. Z.B. Soll-Felgenmarke) via. Baukarte und/oder Zugriff auf Datenbank des Herstellers
IV. Kameras werden aktiviert und Kamerasoftware liest zuvor erstellte Config Datei der MasterkameraOne aus. Basierend auf den Informationen in der Config Datei passt die Kamerasoftware die Parameter der Bilderfassung an, wie z.B. Belich tungszeit und ROI's
V. Kameras starten die Bilderfassung
VI. Optional: Separater Objekt Detektor erkennt Ist-Attribute (z.B. verbaute Rad/Reifenkombination) und vergleicht diese mit den Soll-Attributen. Weicht ein Ist-Attribut vom Soll-Attribut ab, wird dies als Fehlerobjekt klassifiziert.
VII. ROI wird auf dem jeweiligen Bild erkannt, Bildausschnitte außerhalb der ROI werden herausgeschnitten
VIII. Bilder bzw. verbliebene ROI's werden für die Auswertung optimiert (pre- processing)
IX. Objekt Detektor und/oder Anomalie Detection algorithmus analysiert die jeweilige ROI und gibt Art der detektierten Beschädigungen, sowie deren Position im Bild aus
X. Schätzen der Koordinaten aller gefunden Beschädigungen
XI. Anzeigen der gefundenen Fehler in einem User Interface auf einem Gerät mit Display (z.B. Desktop, Laptop, Tablet, Smartphone) für den Qualitätsprüfer
XII. Abspeichern der gefundenen Fehler und deren Positionen in einer zentralen Datenbank lokal oder in einer Cloud
XIII. Abspeichern der ROI mit Beschädigung/Anomalie als Bild und speichere Metadaten (Datum, Uhrzeit, FahrzeugNr, Modell...) lokal oder in einer Cloud
XIV. Gegebenenfalls Weitergeben der Fehlerinformationen via Schnittstelle an andere Maschinen / Roboter
XV. Sobald eine vorher definierte Anzahl an Fahrzeugen das Setup passiert hat können die neu gewonnenen Daten genutzt werden um das Modell erneut zu Trainieren (sog. Re-Training) mit dem Ziel die Messergebnisse des Setups stetig zu verbessern.
Falls sich im nächsten Bandabschnitt ein Polier- Roboter, nachfolgend „Roboter“ genannt befindet: i. Falls ein Attribut vorliegt, das „einfach behoben werden kann“ wie z.B. ein leichter Kratzer, wird ein Signal an den nächsten Bandabschnitt gesendet, wo der Roboter steht ii. Informationen über Fehlerattribut und geschätzte Koordinaten werden an Roboter übertragen iii. Der Roboter schwenkt mit Kopf vor die geschätzten Koordinaten des Oberflächenfehlers iv. Der Roboter korrigiert mit Hilfe der Kamera und Laser seine Position und setzt zum Polieren an v. Der Roboter poliert die Fehlerstelle und fährt ein Stück zurück vi. Die Roboterkamera verifiziert, dass ein Oberflächenfehler tatsächlich behoben wurde vii. Falls ein leichter Fehler erfolgreich behoben wurde und keine weiteren Ist Attribute von den Soll Attributen abweichen, kann das Fahrzeug als „auslieferungsbereit“ markiert werden; Ist dies nicht der Fall, wird das Fahrzeug als „nicht auslieferungsbereit“ markiert und durchläuft zusätzlich den Schritt der „menschlichen Nacharbeit“.
Die erfindungsgemäße Vorrichtung sowie das Verfahren haben dabei den Vorteil, dass
• Eine geringe Hardwarekomplexität erforderlich ist, daher ist das Verfahren mit der erfindungsgemäßen Vorrichtung kostengünstiger als aktuelle Systeme, die oft viele teure Sensoren (Abstandssensor, Lichtschranke...) verwenden.
• Es wird eine einfache Integration in den bestehenden Fertigungsprozess ermöglicht, da die Kameras einfach im bereits existierenden Lichtertunnel montiert werden können. Der Aufbau kann während laufendem Fertigungsprozess erfolgen, keine Unter brechungen notwendig.
• Das hier beschriebene Verfahren funktioniert, auch wenn die Toleranz der Fahrzeugposition mehrere cm beträgt.
• Das erfindungsgemäße Verfahren ist nicht lediglich auf einen Anwendungsfall spezialisiert, z.B. nur Spalt-Bündigkeit oder nur Oberflächengeometrie. Durch den Einsatz von Deep-Learning basierten Modellen ist das erfindungsgemäße Verfahren sehr viel flexibler als Systeme, die ausschließlich konventionelle Algorithmen verwenden. Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung sind der nach- folgenden Figurenbeschreibung, den Zeichnungen und den Ansprüchen entnehmbar.
Nachfolgend wird ein Ausführungsbeispiel der erfindungsgemäßen Lösung anhand der beigefügten schematischen Zeichnungen näher erläutert. Es zeigen:
Fig. 1 zeigt:
Ein Setup 100 und einen Lichtertunnel 101, aufweisend mehrere Lichtmodule 110, z.B. z.B. Leuchtstoffröhre, LED-Leichtstoffröhren o.dgl. sowie mehrere Kameras 102, die so ausgerichtet sind, dass ein möglichst hoher Teil der Fahrzeugoberfläche erfasst werden kann. Im Optimalfall wird das Setup 100 noch um weitere horizontal angewinkelte Kameras ergänzt, um ebenfalls einen möglichst hohen Teil der Vorder- und Rückseite des Fahrzeuges zu erfassen.
Des Weiteren zeigt die Fig. 1 Fahrzeuge 108, die den Lichtertunnel passieren. Diese Fahrzeuge können bereits fertig montiert sein oder sich in einem früheren Stadium der Fertigung, z.B. in der Lackiererei befinden. In diesem Fall würde nicht das fertig montierte Fahrzeug den Lichtertunnel passieren, sondern lediglich die lackierte Karosserie.
Es ist die Baukarte 105 des Fahrzeugs 108 dargestellt. Diese Baukarten sind üblicherweise sichtbar an den Fahrzeugen auf dem Montageband angebracht und beinhalten Informationen über das Fahrzeug wie beispielsweise Fahrzeugnummer, Lackfarbe, Fahrzeugmodell.
Gezeigt wird die MasterkameraOne 103, die so ausgerichtet ist, dass sie die Baukarte des Fahrzeugs auslesen kann. Falls die Fahrzeuge nicht über eine Baukarte verfügen, wird die MasterkameraOne so ausgerichtet, dass auf dem Bildausschnitt das Fahrzeugmodell und die Lackfarbe gut erkennbar sind.
Dargestellt sind mehrere Lichtmodule 110, die im Optimalfall die gesamte Oberfläche des Lichtertunnels 101 umfassen. Im Optimalfall besteht der Lichtertunnel 101 nicht aus einzelnen Lichtmodulen 110 wie in Figur 1 dargestellt, sondern aus einem durchgängigen, gebogenen Modul. Lichtquellen 111 können sein: Eine LED-Leiste oder Leuchtstoffröhren, darüber kann sich eine Streuscheibe befinden. Die Lichtquellen 111 bilden mehrere vertikal zum Fahrzeug verlaufende Lichtlinien, die im Optimalfall das gesamte Fahrzeug ohne Unterbrechung umschließen. Des Weiteren ist ein lokal installierter Computer 106 angeordnet, der die Bilder der Kameras 102, insbesondere Monochrom-Kameras, sowie eine oder mehrere Masterkameras 103 empfängt, auswertet und den Output berechnet.
Weiterhin ist ein leistungsstarker Computer 107, mit einem oder mehreren leistungsfähiger Grafikprozessoren, auf dem ein oder mehrere neuronale Netzwerke trainiert werden können, angeordnet.
Die Neuronalen Netzwerke sind die Grundlage von sogenannten „Deep Learning“- basierten Objekt-Detektoren zwecks Erkennung von Fehlerobjekten, so wie „Deep Generative Models“ (z.B. Generative Adversarial Networks und/oder Variational Autoencoder) zwecks der Erkennung von Anomalien
Fig. 2 zeigt:
Ein Setup 100, so wie die MasterkameraTwo 104, die so ausgerichtet wird, dass die Position des Fahrzeugs im Lichtertunnel erfasst werden kann.
Fig. 3 zeigt:
Ein Lichtmodul 110 aufweisend vertikal zum Fahrzeug verlaufenden Lichtquellen 111 in Linienform. Zwischen den Lichtquellen 111 befindet sich ein schwarzer Hintergrund 112 für die Eliminierung von unerwünschten Reflexionen.
Fig. 4 zeigt:
Eine ROI für die Überprüfung von Lackschäden. Die ROI für Lackschäden 124 entspricht der Spiegelung des Lichtmoduls 121 auf der Fahrzeugoberfläche im Bild 125.
Es wird die Reflexion der Lichtquelle 122 und die Spiegelung des schwarzen Hintergrundes 123 dargestellt.
Fig. 5 zeigt:
Ein Fahrzeug 108 aus der seitlichen Perspektive 130. Es ist eine ROI für die Überprüfung von besonders kritischen Stellen oder auch zur Überprüfung von Spalt- und Bündigkeitsmaßen 131 dargestellt. Besonders kritische Stellen sind üblicherweise Stellen, welche besonders Fehleranfällig für unerwünschte Verformungen des Blechs sind (z.B. durch Klebereinzug im Ofen).
Fig. 6 zeigt: Einen Bildausschnitt mit virtuell darübergelegtem Raster 140, aufweisend eine Hilfslinien X-Koordinate 141 und Hilfslinien Y-Koordinate 142. Es sind die einzelnen Felder des Rasters 143, eine auf dem Bild sichtbare Beschädigung 144, dargestellt.
Des Weiteren zeigt Fig. 6 die Mitte des Bildes der Kamera 145 sowie die Distanz 146 zwischen der Mitte des Bildes der Kamera 145 und der sichtbaren Beschädigung 144. Die Distanz 146 wird erst in Pixel gemessen und anschließend in Millimeter umgerechnet (z.B. mit Hilfe eines Koeffizienten, Koeffizient*DistanzPixel = DistanzMillimeter).
Fig. 7 zeigt:
Die Berechnung der X-Koordinate 158 der Beschädigung 144 für den Output in Fahr zeugkoordinaten. Überschreitet der definierte Referenzpunkt 152 am Fahrzeug oder Karosserieträger die virtuelle Startlinie 156, beginnt eine kontinuierliche Berechnung der Distanz 154 zwischen Startlinie und Referenzpunkt. Die Berechnung der Distanz 154 endet, sobald der Referenzpunkt 152 die definierte Endlinie 157 überschreitet.
Wird eine Beschädigung auf einem Bild der Kamera 102 klassifiziert und im Bild lokalisiert, erfolgt die Berechnung der X-Koordinate 158. Diese wird wie folgt berechnet: [|Distanz zwischen Virtueller Startlinie und Referenzpunkt! 154] - [|Distanz zwischen X- Achse des Fahrzeugkoordinatensystems und Referenzpunkt! 153] - [|Distanz zwi schen Virtueller Startlinie und Mitte Bildausschnitt der Kamera| 155] + [Distanz zwischen Mitte Bildausschnitt X und Beschädigung 146]
Fig. 8 zeigt:
Ein Fahrzeug mit einem virtuell darübergelegten Gitternetz, so wie die Richtungspfeile des in der Automobilindustrie üblichen Fahrzeug-Koordinatensystems.
Fig. 9 zeigt:
Einen Algorithmus für die Detektion von Anomalien auf den Bildern 171 mit Hilfe eines trainierten Autoencoders (sog. VE) 179, aufweisend einen Encoder 174 und einen Decoder/Generator 175. Der Autoencoder wird mit Bildern ohne Anomalien trainiert, sog. „normale Bilder“. Die Intuition ist, dass der trainierte Autoencoder 179 normale Bilder mit geringer Abweichung rekonstruiert, aber von der Normalität abweichende Bilder, also Bildern mit Anomalie, nicht genau rekonstruieren kann. Sind die Rekonstruktionskosten, also der Unterschied zwischen dem originalen und dem rekonstruierten Bild hoch, also liegen die Rekonstruktionskosten über einem definierten Schwellenwert, handelt es sich wahrscheinlich um ein anormales Bild 177. Sieht das rekonstruierte Bild 173 dagegen genau oder fast genauso aus wie das originale Bild 171 , sind die Rekonstruktionskosten gering, also liegen unter einem definierten Schwellenwert. Ist dies der Fall, wird das originale Bild 171 als normales Bild 178 Klassifiziert.
Fig. 10 zeigt:
Einen Algorithmus für die Detektion von Anomalien auf den Bildern 171 mit Hilfe eines trainierten Autoencoders (sog. AE) 179, aufweisend einen Encoder 174 und Decoder/Generator 175 und einem Generative Adversarial Network (sog. GAN) 183, umfas send zwei neuronale Netze, einen Generator 175 und einen Diskriminator 181. Es wird eine AE 179 mit einem GAN kombiniert, indem der Decoder und der Generator in einem zusammengefasst werden. Durch die Kombination des AE 179 mit einem GAN 183 können die gelernten Merkmalsrepräsentationen der Bilder (sog. Image feature re- presentations) im Diskriminator 181 als Basis für das AE Rekonstruktionsziel verwendet werden.
Die Zielfunktion des Generators 175 ist, Ergebnisse zu erzeugen 173, die der Diskrimi nator 181 nicht von originalen Bildern 171 unterscheiden kann. Da der Autoencoder und das GAN ausschließlich mit normalen Bildern ohne Anomalie angelernt werden, funktioniert der Generator 175 für normale Bilder sehr wahrscheinlich gut, aber für anormale Bilder schlecht. Ist das originale Bild ein normales Bild ohne Anomalie, kann der Generator dieses Bild wahrscheinlich sehr gut rekonstruieren und der Diskriminator stuft das generierte Bild als normales Bild ein. Ist das originale Bild dagegen ein anormales Bild, kann der Generator dieses Bild wahrscheinlich sehr schlecht rekonstruieren und der Diskriminator stuft das generierte Bild in diesem Fall als generiert, also anormal ein.
Alle in der Beschreibung, den nachfolgenden Ansprüchen und den Zeichnungen dargestellten Merkmale können sowohl einzeln als auch in beliebiger Kombination miteinander erfindungswesentlich sein. Bezugszeichenliste
Figur 1:
100 Setup
101 Lichtertunnel
102 Kamera
103 MasterkameraOne
105 Markierung Fahrzeug (Baukarte)
106 Lokaler Computer
107 Leistungsfähiger Computer
108 Fahrzeug/Karosse
110 Lichtmodul
111 Lichtquelle
Figur 2:
100 Setup
104 MasterkameraTwo
Figur 3:
110 Lichtmodul
111 Lichtquelle
112 Schwarzer Hintergrund
Figur 4:
120 Typische ROI („Region of Interest“, „Zielregion“) für Lackschäden
121 Reflexion Lichtmodul
122 Reflexion Lichtquelle
123 Reflexion schwarzer Hintergrund
124 ROI Beschädigungen Lack (z.B. leichter Kratzer)
125 Voller Bildausschnitt der Kamera
Figur 5:
130 Fahrzeug seitliche Perspektive 131 ROI kritische Stelle (z.B. Spalt/Bündigkeitsmaß oder Stelle, an der gehäuft Blechverformungen auftreten wie z.B. durch Klebereinzug)
Figur 6:
140 Bildausschnitt mit virtuell darübergelegten Hilfslinien
141 Hilfslinie X-Koordinate
142 Hilfslinie YZ-Koordinate
143 Feld
144 Beschädigung
145 Mitte Bildausschnitt X der Kamera
146 Distanz zwischen Mitte Bildausschnitt X und Beschädigung
147 Distanz zwischen Mitte Bildausschnitt der Kamera und der X-Koordinate der Beschädigung
Figur7:
150 Berechnung der X-Koordinate der Beschädigung in Fahrzeugkoordinaten
145 Mitte Bildausschnitt der Kamera
146 Distanz zwischen Mitte Bildausschnitt X und Beschädigung
151 X-Achse des Fahrzeugkoordinatensystems, entlang dieser Achse ist X = 0. Üblicherweise entspricht die X-Achse des Fahrzeugkoordinatensystems der Mitte der Vorderachse
152 Referenzpunkt der permanent von MasterkameraTwo getrackt wird
153 |Distanz zwischen X-Achse des Fahrzeugkoordinatensystems und Referenzpunkt!
154 |Distanz zwischen Virtueller Startlinie und Referenzpunkt!
155 |Distanz zwischen Virtueller Startlinie und Mitte Bildausschnitt der Kamera|
156 Definierte Startlinie
157 Definierte Endlinie
158 X-Koordinate der Beschädigung für den Output in Fahrzeugkoordinaten
159 Laufrichtung
Figur 8
160 Fahrzeug mit einem virtuell darüber gelegten Gitternetz Figur 9
170 Anomalie Detektion Funktionsweise mit Autoencoder und Schwellenwert 171 Originales Bild
172 Kodiertes Bild
173 Rekonstruiertes Bild
174 Encoder 175 Decoder/Generator
176 Berechnung der Rekonstruktionskosten (RC=|Originales Bild - Rekonstruiertes Bild|)
177 Output = Anormales Bild, falls die Rekonstruktionskosten über dem Schwellenwert liegen 178 Output = Normales Bild, falls die Rekonstruktionskosten unter dem Schwellenwert liegen
179 Typischer Aufbau eines Autoencoders, aufweisend einen Encoder und Decoder Figur 10 180 Anomalie Detektion Funktionsweise mit Autoencoder und GAN
181 Diskriminator
182 Output des Diskriminators: Anormales Bild / Normales Bild
183 Typischer Aufbau eines GAN, aufweisend einen Generator und Discriminator

Claims

Ansprüche
1. Vorrichtung zur automatischen Erkennung von Schäden an Fahrzeugen, umfassend einen Lichtertunnel (101), dadurch gekennzeichnet, dass der Lichtertunnel (101) mehrere Lichtquellen (111) in Streifenform, mindestens eine Kamera (102), mindestens eine MasterkameraOne (103), mindestens eine MasterkameraTwo (104), mindestens einen lokalen Computer (106) mit einem oder mehreren leistungsfähigen Grafikprozessoren, der die Bilder der mindestens einen Kamera (102), der MasterkameraOne (103) und der MasterkameraTwo (104) empfängt, auswertet und einen Output berechnet, wobei zur Er kennung von Fehlerobjekten Deep Learning basierte Objekt-Detektoren vorhanden sind.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass mindestens ein weiterer leistungsfähiger Computer (106) mit einem oder mehreren leistungsfä higen Grafikprozessoren, in denen ein oder mehrere künstliche Neuronale Netzwerke trainierbar sind, angeordnet und mit dem lokalen Computer (106) zu einer Datenübertragung verbunden ist.
3. Vorrichtung nach einem der vorhergehenden Ansprüche 1 oder 2, dadurch ge kennzeichnet, dass die MasterkameraOne (103) und die MasterkameraTwo (104) entweder definierte Kameras (102) oder gesondert angeordnete Kameras sind.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens eine Zielregion (120, 124, 131) am Fahrzeug für die Überprüfung von Schäden ausgewählt ist.
5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass mit der Zielregion (120, 124, 131) unterschiedliche Arten von Schäden, nämlich mit der Zielregion (120) Lackschäden, mit der Zielregion (124) Lackbeschädigungen und mit der Zielregion (131) kritische Stellen detektierbar sind.
6. Vorrichtung nach einem der Ansprüche 4 bis 5, dadurch gekennzeichnet, dass die jeweiligen Zielregionen (120, 124, 131) mit speziell auf die Zielregion antrainierten Objekt-Detektoren und/oder Modellen zwecks der Erkennung von Anomalien AE und/oder GAN (170,180) ausgewertet werden.
7. Vorrichtung nach einem der vorhergehenden Ansprüche 4 bis 6, dadurch ge kennzeichnet, dass nur die jeweiligen Zielregionen (120, 124, 131) der erfassten Bilder der Kameras (102) bei der Auswertung berücksichtigt sind.
8. Vorrichtung nach einem der vorhergehenden Ansprüche 4 bis 7, dadurch gekennzeichnet, dass die ermittelten Informationen der MasterkameraOne (103) in einer temporären Config-Datei gespeichert und im nächsten Schritt von der Software der Kameras (102) ladbar sind, um die Belichtungszeit anzupassen und die Zielregion (131) für ein entsprechendes Fahrzeugmodell zu definieren.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung zur Erkennung von Anomalien trainierte Autoencoder (179), aufweisend einen Encoder (174) und einen Decoder (175), umfasst.
10. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass zur Erkennung von Anomalien ein AE (179) mit einem GAN (183) kombiniert sind, indem der Decoder (175) und ein Generator (175) des GAN in einem zusammengefasst sind.
11. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Berechnung von Koordinaten von Schäden am Fahrzeug innerhalb des Lichtertunnels (101) eine definierte Startlinie (156) und eine definierte Endlinie (157) ausgebildet sind und am Fahrzeug ein Referenzpunkt (152) angegeben ist, der von der MasterkameraTwo (104) permanent getrackt wird.
12. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lokalisierung der detektierten Schäden mit Hilfe eines vordefinierten virtuellen Gitternetzes (160), welches über das 3d Modell des Fahr zeugs gelegt wird, erfolgt.
13. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Lokalisierung der detektierten Schäden mit Hilfe eines vordefinierten Gitternetzes (140), welches über die Bilder der Kameras (102) gelegt wird, erfolgt.
14. Vorrichtung nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass die Koordinaten der YZ-Linien (142) eines vordefinierten Gitternetzes (140) mit Hilfe eines 3D Fahrzeugmodells und dem weiteren virtuellen Gitternetz (160) vordefiniert sind.
15. Verfahren zur automatischen Erkennung von Beschädigungen an Fahrzeugen mit folgenden Schritten: a. Auswählen der zu erkennenden Schäden an einem Fahrzeug sowie Auswählen der Genauigkeit der Erfassung der erkannten Schäden. b. Installieren mindestens eines lokalen Computers (106), mindestens einer Mas- terkameraOne (103) sowie mindestens einer MasterkameraTwo (104) und mindestens einer weiteren Kamera (102) c. Ausrichten der mindestens einen MasterkameraOne (103) sowie der mindes tens einen MasterkameraTwo (104) d. Definieren einer Startlinie (156) und einer Endlinie (157) e. Definieren einer oder mehrerer Referenzpunkte (152), um das Fahrzeug zu tra- cken f. Ausrichten der mindestens einen Kamera (102) sowie der MasterkameraOne (103) und der MasterkameraTwo (104) g. Definieren einer oder mehrerer Zielregionen (120, 124, 131) für die jeweiligen Kameras (102) sowie der MasterkameraOne (103) und der MasterkameraTwo (104) h. Definieren und Abgleichen des Fahrzeugs mit einem virtuell über das Fahrzeug gelegten Gitternetzes (160) mit einem Raster-Bildausschnitt der jeweiligen Kameras (102) sowie der MasterkameraOne (103) und der MasterkameraTwo (104) i. Datamining zum Anlernen der Schäden j. Model Training zum Anlernen der Schäden
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass im Anschluss an die Schritte a. bis j. folgende Schritte folgen: k. Exportieren Model auf den lokalen Computer (106)
L. Abspeichern der gefundenen Fehler und deren Positionen in einer zentralen Datenbank lokal oder in einer Cloud m. Abspeichern der Zielregionen (120, 124, 131) mit der Angabe von Schäden als Bild und Abspeichern von Metadaten lokal oder in einer Cloud
17. Verfahren nach einem der Ansprüche 15 oder 16 mit folgendem weiteren Schritt:
Anzeigen der gefundenen Schäden in einem User Interface auf einem Gerät mit einem Display für den Qualitätsprüfer.
18. Verfahren nach einem der Ansprüche 15 bis 17 mit folgendem weiteren Schritt: Weitergeben von Informationen über Schäden über eine Schnittstelle an andere Maschinen und/oder Roboter.
19. Verfahren nach einem der Ansprüche 15 bis 18 mit folgendem weiteren Schritt: Nach Passieren eines Setups (100) einer vorher definierten Anzahl an Fahrzeugen Nutzen der neu gewonnenen Daten, um das Modell erneut zu trainieren mit dem Ziel, die Messergebnisse des Setups (100) stetig zu verbessern.
20. Verfahren nach einem der Ansprüche 15 bis 19 mit folgenden weiteren Schritten, falls sich im nächsten Bandabschnitt ein Roboter befindet: i. Senden eines Signals an den nächsten Bandabschnitt, wo der Roboter steht, falls ein Schaden vorliegt, der einfach behoben werden kann viii. Informieren des Roboters über den Schaden und geschätzte Koordinaten ix. Schwenken des Kopfs des Roboters vor die geschätzten Koordinaten des Oberflächenfehlers x. Korrigieren der Position des Roboters mit Hilfe der Kamera und Laser xi. Ansetzen zum Polieren xii. Polieren des Schadens durch den Roboter xiii. Zurückfahren des Roboters xiv. Verifizieren durch eine Roboterkamera, dass der Schaden tatsächlich behoben wurde
21. Verfahren nach einem der Ansprüche 15 bis 20 mit folgendem weiteren Schritt: xv. Markieren des Fahrzeugs als auslieferungsbereit, falls ein leichter Schaden erfolgreich behoben wurde und keine weiteren Ist Attribute von den Soll Attributen abweichen.
22. Verfahren nach einem der Ansprüche 15 bis 20 mit folgendem weiteren Schritt: xvi. Markieren des Fahrzeugs als nicht auslieferungsbereit, falls ein leichter Schaden nicht behoben wurde und zusätzlich Durchlaufen des Schritts der menschlichen Nacharbeit.
PCT/DE2021/000017 2020-01-27 2021-01-27 Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen WO2021151412A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102020000581.0A DE102020000581A1 (de) 2020-01-27 2020-01-27 Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern
DE102020000581.0 2020-01-27
DE102020003234.6 2020-05-26
DE102020003234 2020-05-26

Publications (1)

Publication Number Publication Date
WO2021151412A1 true WO2021151412A1 (de) 2021-08-05

Family

ID=74867369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2021/000017 WO2021151412A1 (de) 2020-01-27 2021-01-27 Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen

Country Status (1)

Country Link
WO (1) WO2021151412A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210325313A1 (en) * 2018-07-31 2021-10-21 Dhruv Kasavala Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
CN113805694A (zh) * 2021-08-26 2021-12-17 上海大学 一种基于脑机接口与计算机视觉的辅助抓取***及方法
US20220254008A1 (en) * 2021-02-05 2022-08-11 Fyusion, Inc. Multi-view interactive digital media representation capture
CN115922713A (zh) * 2022-12-07 2023-04-07 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132801A1 (en) 2015-09-14 2017-05-11 Sightline Innovation Inc. System and method for specular surface inspection
EP3388781A1 (de) * 2015-12-07 2018-10-17 Universidad De Zaragoza System und verfahren zur fehlerdetektion bei spiegelnden oder halbspiegelnden oberflächen mittels einer fotogrammetrischen projektion
CN110363238A (zh) * 2019-07-03 2019-10-22 中科软科技股份有限公司 智能车辆定损方法、***、电子设备及存储介质
DE102018118602B3 (de) * 2018-07-31 2019-11-28 Sarma Aryasomayajula Verfahren und Vorrichtung zur Erkennung und Analyse von Oberflächenfehlern dreidimensionaler Objekte mit einer reflektierenden Oberfläche, insbesondere von Kraftfahrzeugkarosserien
KR20190137669A (ko) * 2018-06-01 2019-12-11 한화손해보험주식회사 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132801A1 (en) 2015-09-14 2017-05-11 Sightline Innovation Inc. System and method for specular surface inspection
EP3388781A1 (de) * 2015-12-07 2018-10-17 Universidad De Zaragoza System und verfahren zur fehlerdetektion bei spiegelnden oder halbspiegelnden oberflächen mittels einer fotogrammetrischen projektion
KR20190137669A (ko) * 2018-06-01 2019-12-11 한화손해보험주식회사 자동으로 사고 차량의 파손 정도를 산출하는 장치, 방법 및 컴퓨터 프로그램
DE102018118602B3 (de) * 2018-07-31 2019-11-28 Sarma Aryasomayajula Verfahren und Vorrichtung zur Erkennung und Analyse von Oberflächenfehlern dreidimensionaler Objekte mit einer reflektierenden Oberfläche, insbesondere von Kraftfahrzeugkarosserien
CN110363238A (zh) * 2019-07-03 2019-10-22 中科软科技股份有限公司 智能车辆定损方法、***、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210325313A1 (en) * 2018-07-31 2021-10-21 Dhruv Kasavala Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
US11674907B2 (en) * 2018-07-31 2023-06-13 Dhruv Kasavala Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
US20220254008A1 (en) * 2021-02-05 2022-08-11 Fyusion, Inc. Multi-view interactive digital media representation capture
CN113805694A (zh) * 2021-08-26 2021-12-17 上海大学 一种基于脑机接口与计算机视觉的辅助抓取***及方法
CN115922713A (zh) * 2022-12-07 2023-04-07 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法
CN115922713B (zh) * 2022-12-07 2024-02-13 南京航空航天大学 一种基于多机械臂协同的汽车整车配置防错检测方法

Similar Documents

Publication Publication Date Title
WO2021151412A1 (de) Vorrichtung und verfahren zur automatischen erkennung von beschädigungen an fahrzeugen
DE102017210558B3 (de) Verfahren und Vorrichtung zur Vermessung von Karosserieschäden
DE102006010735B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
EP3183721B1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
EP1332334B2 (de) Messeinrichtung zur berührungslosen messung von reifen
US20130057678A1 (en) Inspection system and method of defect detection on specular surfaces
DE112020004391T5 (de) Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
DE102020216406A1 (de) Inspektionssystem und verfahren für fahrzeugunterboden
EP2989594B1 (de) Vorrichtung und verfahren zum erkennen von beschriftungen auf fahrzeugreifen
WO2000063681A2 (de) Bildbearbeitung zur vorbereitung einer texturnalyse
DE102020000581A1 (de) Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern
DE102010002258A1 (de) Verfahren und Vorrichtung zum Bestimmen von Abständen an einem Fahrzeug
DE102017223160B4 (de) Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
EP0997201A2 (de) Lackfehlererkennung und Beseitigung
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
WO2020201217A1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
CN113376707B (zh) 一种用于车架的视觉检测***及其检测方法
DE10103555B4 (de) Verfahren zur Beurteilung einer Farbschicht
DE102015223500B4 (de) Verfahren und Vorrichtung zur Prüfung der Funktionalität einer außenseitigen Lichteinrichtung eines Fahrzeugs
WO2017041795A1 (de) Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
EP3659113B1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
DE102019208448A1 (de) Verfahren zur Überprüfung eines Geräts oder einer Maschine
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE102022000729A1 (de) Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21710877

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21710877

Country of ref document: EP

Kind code of ref document: A1